Analyse des mégadonnées et gestion des mégadonnées : 10 choses que vous devez absolument savoir

Savoir ce qui se passe dans le monde du Big Data est important simplement parce que tout dans notre monde contemporain est connecté et génère des données ;
il suffit de penser à notre smartphone avec toutes ses applications des moins lourdes à celles comme Facebook qui échangent de grandes quantités de données, etc.
Big Data Analytics parce que les données ont un effet sur l'impact dans la vie quotidienne et dans l'IoT (Internet of Thinks) l'internet des objets ; ils aident à tracer des modèles et à prendre des décisions, ils aident à comprendre les phénomènes (KPI ou métriques) et donc à savoir quoi faire.

Index pour Big Data Analytics et Big Data Management

Big Data Management car toute cette quantité de données doit être gérée, stockée et maintenue pour ce qui est nécessaire et dans le temps qu'il faut, précisément pour pouvoir faire des requêtes de plus en plus fréquentes et de plus en plus en rapport avec des algorithmes d'intelligence artificielle.

Si nous allons relire un article de 2012 tiré de ORDINATEUR.COM, il contenait déjà une prédiction calculée précisément pour 2020 à savoir que chacun d'entre nous, sans distinction d'hommes, de femmes ou d'enfants, aurait généré 5 200 Go de données, considérant que la majeure partie d'entre elles ne passe pas entre nos mains mais est générée précisément par les systèmes qui se parlent.

Les chiffres ci-dessus sont vraiment effrayants mais la plupart d'entre eux, même s'ils sont générés, ne sont pas utilisés mais restent silencieux même s'ils pourraient être utiles.

Analyse des mégadonnées et gestion des mégadonnées : exemples de la quantité de données générées

La quantité de données générées quotidiennement est si élevée que les ressources pour pouvoir gérer toute cette grande quantité d'informations doivent être au-dessus de l'imaginable ...

Toutes ces statistiques collectées par le site INTERNETLIVESTATS.COM (si vous le visitez vous verrez qu'ils ont déjà beaucoup changé) donnent une idée de la quantité de données pouvant être produites et que cela nécessite des ressources de niveau qui doivent être mises en place pour l'analyse des données uniquement.

Maintenant, nous vous donnons un "échantillon" des statistiques entre deux dates précisément pour réaliser à quel point le Big Data lié aux actions (dans ce cas Big Data Analytics) croît de façon spectaculaire le premier au 31 mars 2020 et le second, jusqu'à aujourd'hui, nous écrivons , soit le 05 octobre 2020 (et cela affecte la gestion du Big Data).

TOTAL DES INTERNAUTES 4 517 295 074 sont des internautes dans le monde au 31 mars 2020 sur une population totale de 7 530 000 000 de personnes

big data : internautes

1 760 112 297 le nombre de sites Internet sur le réseau

234 691 422 222 e-mails envoyés aujourd'hui seulement

6 367 266 286 recherches effectuées dans le moteur de recherche Google

6 089 703 messages écrits aujourd'hui seulement

6 495 686 845 vidéos vues sur Youtube aujourd'hui

694 298 082 tweets créés par les utilisateurs aujourd'hui seulement

130 661 933 messages écrits sur le Tumblr social

76 418 304 photos téléchargées sur Instagram aujourd'hui

2 462 581 363 utilisateurs Facebook actuellement actifs

807 074 031 utilisateurs Google+

284 244 253 utilisateurs actifs sur Pinterest

358 637 469 utilisateurs Twitter à ce jour

353.156.804 chats réalisés sur Skype

136 016 sites piratés aujourd'hui

3 845 503 smartphones vendus aujourd'hui

620 949 ordinateurs vendus aujourd'hui

6 996 126 755 Go de trafic déplacé aujourd'hui

380 066 comprimés vendus aujourd'hui

3 724 132 MWh d'électricité consommée e

3 039 645 tonnes d'émissions de CO2 générées par internet

Toutes ces statistiques recueillies par le site INTERNETLIVESTATS.COM (si vous le visitez vous verrez qu'elles auront déjà beaucoup changé) donnent une idée de la quantité de données pouvant être produites et que cela nécessite un niveau de ressources qu'il faut mettre en place pour la seule analyse des données.

Plus on traverse les années, plus la quantité de données collectées à tous les niveaux augmente, afin d'étudier les comportements, d'analyser les ventes, d'étudier les effets des décisions, etc.

Les données et donc le Big Data aujourd'hui, sont fondamentales pour comprendre les phénomènes ; les données sont une ressource essentielle pour la croissance économique, la compétitivité, l'innovation, la création d'emplois et le progrès de la société en général.

Voyons comment le COMMISSION EUROPÉENNE a structuré cette infographie qui nous fait réaliser combien d'aspects peuvent être touchés par le traitement du Big Data :

Analyse des mégadonnées et gestion des mégadonnées : le potentiel de traitement

Le décodage du génome humain en 2003 a pris 10 ans, avec les capacités de calcul d'aujourd'hui cela prend 1 semaine alors que dans le futur cela ne pourrait prendre que quelques heures.

Tout cela parce que nous avons des autoroutes (large bande) qui permettent l'échange de grandes quantités de données tandis que, grâce à la collecte via le cloud, nous pouvons également les disposer à distance et, grâce aux hautes performances des ordinateurs actuels, nous pouvons générer des rapports , modèles statistiques et ainsi de suite avec un grand naturel.

Analyse des mégadonnées et gestion des mégadonnées : applications réelles

Dans tous les aspects de notre vie, les données et leurs connaissances peuvent affecter positivement les améliorations qui nous permettent et nous permettront d'augmenter notre vie quotidienne à 360 degrés en augmentant chaque aspect.

En voyage, ils peuvent aider à gérer les feux de circulation et les flux de circulation intelligents, ils peuvent améliorer la compréhension et le diagnostic des problèmes de santé en améliorant notre vie moyenne à la fois en termes de qualité avec moins de maladies et en termes de prolongation de la vie réelle.

Dans les chaînes d'approvisionnement agro-zootechniques, ils peuvent aider à rendre l'utilisation des ressources naturelles de plus en plus efficace, tandis que dans la production industrielle, ils contribuent à mettre en œuvre l'efficacité et la productivité.

Dans notre maison, ils peuvent aider à gérer les systèmes intelligents de maison intelligente.

Analyse des mégadonnées et gestion des mégadonnées et nouvelle économie

Le monde entier qui tourne autour du traitement de grandes quantités de données et des systèmes d'intelligence artificielle a bénéficié au cours des 20 dernières années d'énormes investissements réalisés par les principaux acteurs du marché.

Plus les années passent, plus les entreprises qui traitent du big data prennent de l'importance et sont à leur tour rachetées par de plus grandes entreprises car, à l'avenir, parmi les éléments dont on ne peut se passer on retrouve :

Stockage et cloud computing en général

Traitement et gestion des mégadonnées

Les infrastructures de communication

Systèmes d'intelligence artificielle

Crowdstrike et Elastic ont réalisé d'excellentes valorisations au moment de l'introduction en bourse ($ 7 milliards et $ 5 milliards respectivement).

Parmi les autres introductions en bourse figuraient PagerDuty ($ 1,8 milliard), Anaplan ($ 1,8 milliard) et Domo ($ 500 millions).

Il y a eu des acquisitions majeures, telles que Qualtrics (acquis par SAP pour 8 milliards de $), Medidata (acquis post-IPO par Dassault pour 5,8 milliards de $), Hortonworks (fusionné avec Cloudera ajoutant 5,2 milliards de $ en valeur), Imperva (acquis par Thoma Bravo pour 2,1 milliards de $), AppNexus (acquis par AT&T pour 2 milliards de $), Cylance (acquis par BlackBerry pour 1,4 milliard de $), Datorama (acquis par Salesforce pour 800 millions de $), Treasure Data (acquis par Arm pour 600 millions de $), Attunity (racheté post-IPO par Qlik pour 560 millions de $), Dynamic Yield (racheté par McDonalds pour 300 millions de $) et la liste est encore longue.

Même au niveau des startups, les investissements sont de plus en plus énormes car il y a de plus en plus d'entreprises sur le marché… la nôtre Groupe d'innovation Big Data c'est la preuve concrète de cela.

Sur le site de MATTTURK.COM Matt Turck met à jour annuellement le tableau explicatif de tous les regroupements d'entreprises opérant dans ce monde et que nous publions : Big_Data_Landscape_Final

Analyse des mégadonnées et gestion des mégadonnées : selon IBM

Plusieurs acteurs majeurs dans ce domaine donnent des définitions quasi univoques du Big Data mais caractérisent ses aspects de différentes manières :

Selon l'un des principaux opérateurs du monde du big data, IBM, en effet, ces grandes sources de données se caractérisent par 4 V :

Volumes de données et donc amplitude des quantités, Variété ou variété de données et donc types, Véracité ou fiabilité de celles-ci et Vitesse ou vitesse pour leur collecte et leur traitement.

Dans tableau suivant toutes les caractéristiques essentielles selon eux :

http://www.ibmbigdatahub.com/infographic/four-vs-big-data

Analyse des mégadonnées et gestion des mégadonnées : sources selon IBM

Analyse des mégadonnées et gestion des mégadonnées : leurs évolutions

Nous avons vu jusqu'à présent comment les interactions que nous effectuons chaque jour avec Facebook, Whatsapp, e-mail, navigation sur le Web, achats, etc., impliquent la collecte de données par une myriade de sujets qui, au-delà du traitement approprié de celles-ci selon le réglementations en vigueur dans les différents pays pour le traitement des données sensibles (RGPD sur la vie privée), elles sont stockées par un nombre égal de sources.

Il suffit de penser à Universal Analytics ou à Facebook Insights de Google qui représentent à eux seuls des quantités impressionnantes de Big Data à analyser et à mettre en corrélation les uns avec les autres.

Les compétences informatiques d'aujourd'hui ont permis de relier des sources de données quasi inépuisables afin de les structurer ou de les relier au contraire après les avoir rationalisées.

Analyse des mégadonnées et gestion des mégadonnées : types de Big Data

Structuré : format de données organisé avec un schéma fixe, par exemple SGBDR

Semi-structuré : données partiellement organisées qui n'ont pas de format fixe, telles que XML, JSON, etc.

Non structuré : données non organisées avec un motif inconnu, telles qu'un fichier audio, un fichier vidéo, etc.

Analyse des mégadonnées et gestion des mégadonnées : valeur dans le présent et dans le futur

Comme on le dit de plus en plus… l'avenir est dans les données et, surtout, dans la corrélation entre elles.

L'augmentation des capacités de calcul offrira la possibilité de relier des ensembles de données et des modèles de tracé.

L'augmentation des capacités de stockage nous permettra d'étendre les recherches sur de plus longues périodes en offrant une plus grande fiabilité aux modèles eux-mêmes.

Retour en haut de page
fr_FRFrench
Erreur: Alerte: Le contenu est protégé !!