Аналитика больших данных и управление большими данными: 10 вещей, которые вам обязательно нужно знать

Знание того, что происходит в мире больших данных, важно просто потому, что все в нашем современном мире связано и генерирует данные;
просто подумайте о нашем смартфоне со всеми его приложениями, от менее тяжелых до таких, как Facebook, которые обмениваются большими объемами данных и т. д.
Аналитика больших данных, потому что данные влияют на повседневную жизнь, а в IoT (Internet of Thinks) - Интернет вещей; они помогают отслеживать модели и принимать решения, они помогают понимать явления (KPI или метрики) и, следовательно, знать, что делать.

Индекс для аналитики больших данных и управления большими данными

Управление большими данными, потому что всем этим объемом данных необходимо управлять, хранить и поддерживать то, что необходимо, и в течение необходимого времени, именно для того, чтобы иметь возможность делать запросы, которые становятся все более частыми и все чаще связаны с алгоритмами искусственного интеллекта.

Если мы пойдем перечитать пост 2012 года, взятый из COMPUTERWORLD.COM, он уже содержал прогноз, рассчитанный точно на 2020 год, который заключается в том, что каждый из нас, независимо от мужчин, женщин или детей, сгенерировал бы 5200 ГБ данных, учитывая, что большая часть из них не проходит через наши руки, а создается именно системы, которые общаются друг с другом.

Вышеупомянутые числа действительно пугающие, но большинство из них, даже если они сгенерированы, не используются, но хранят молчание, даже если могут быть полезны.

Аналитика больших данных и управление большими данными: примеры того, сколько данных генерируется

Количество данных, генерируемых ежедневно, настолько велико, что ресурсы, необходимые для управления всем этим большим объемом информации, должны быть выше мыслимых ...

Вся эта статистика собирается сайтом INTERNETLIVESTATS.COM (если вы посетите его, вы увидите, что они уже сильно изменились) дают представление о том, сколько данных может быть произведено и что для этого требуются ресурсы уровня, которые должны использоваться только для анализа данных.

Теперь мы даем вам «образец» статистики между двумя датами, чтобы точно понять, насколько сильно увеличиваются большие данные, связанные с акциями (в данном случае аналитика больших данных): первый - до 31 марта 2020 года, а второй - до сегодняшнего дня, который мы пишем , т.е. 05 октября 2020 г. (и это влияет на управление большими данными).

ВСЕГО ПОЛЬЗОВАТЕЛЯ ИНТЕРНЕТА 4 517 295 074 являются пользователями Интернета в мире по состоянию на 31 марта 2020 г. из общей численности населения 7 530 000 000 человек

большие данные: пользователи Интернета

1,760,112,297 количество сайтов в сети

234 691 422 222 письма отправлено только сегодня

6 367 266 286 запросов, выполненных в поисковой системе Google

6,089,703 сообщений написано только сегодня

6 495 686 845 видео просмотрено на Youtube сегодня

694 298 082 твита, сделанных пользователями только сегодня

130 661 933 сообщения в социальной сети Tumblr

76418304 фотографии загружены в Instagram сегодня

2,462,581,363 пользователя Facebook в настоящее время активны

807 074 031 пользователь Google+

284 244 253 активных пользователя Pinterest

358 637 469 пользователей Twitter на сегодняшний день

353.156.804 чатов в Skype

136016 сайтов взломано сегодня

3 845 503 смартфона продано сегодня

620 949 компьютеров продано сегодня

6,996,126,755 ГБ трафика перемещено сегодня

380 066 таблеток продано сегодня

3 724 132 МВтч электроэнергии потреблено e

3 039 645 тонн выбросов CO2, произведенных через Интернет

Вся эта статистика, собранная сайтом INTERNETLIVESTATS.COM (если вы посетите его, вы увидите, что они уже сильно изменились), дает представление о том, сколько данных может быть произведено и что для этого требуются ресурсы уровня. для единственного анализа данных.

Чем дольше мы проходим годы, тем больше растет объем данных, которые собираются на любом уровне, чтобы изучать поведение, анализировать продажи, изучать влияние решений и т. Д.

Данные и, следовательно, большие данные сегодня имеют фундаментальное значение для понимания явлений; данные являются важным ресурсом для экономического роста, конкурентоспособности, инноваций, создания рабочих мест и развития общества в целом.

Посмотрим, как ЕВРОПЕЙСКАЯ КОМИССИЯ структурировал эту инфографику, которая позволяет нам понять, сколько аспектов может быть затронуто обработкой больших данных:

Аналитика больших данных и управление большими данными: потенциал обработки

Расшифровка генома человека в 2003 году заняла 10 лет, при сегодняшних вычислительных возможностях - 1 неделю, а в будущем - всего несколько часов.

Все это потому, что у нас есть магистрали (широкополосные), которые позволяют обмениваться большими объемами данных, в то время как, благодаря сбору через облако, мы также можем удалять их удаленно и, благодаря высокой производительности современных компьютеров, мы можем создавать отчеты , статистические модели и так далее с большой естественностью.

Аналитика больших данных и управление большими данными: реальные приложения

В каждом аспекте нашей жизни данные и их знания могут положительно повлиять на улучшения, которые позволяют нам и позволят нам расширить нашу повседневную жизнь на 360 градусов, увеличивая каждый аспект.

Во время путешествий они могут помочь управлять интеллектуальными светофорами и транспортными потоками, они могут улучшить понимание и диагностику проблем со здоровьем, улучшая нашу среднюю жизнь как с точки зрения качества с меньшим количеством заболеваний, так и с точки зрения продления реальной жизни.

В агро-зоотехнических цепочках поставок они могут способствовать более эффективному использованию природных ресурсов, а в промышленном производстве они помогают повысить эффективность и производительность.

В нашем доме они могут помочь управлять интеллектуальными системами умного дома.

Аналитика больших данных и управление большими данными и новая экономика

Весь мир, который вращается вокруг обработки больших объемов данных и систем искусственного интеллекта, за последние 20 лет выиграл от огромных инвестиций, сделанных основными игроками рынка.

Чем больше лет проходят, тем большее значение приобретают компании, занимающиеся большими данными, и их, в свою очередь, приобретают более крупные компании, поскольку в будущем среди элементов, без которых невозможно обойтись, мы находим:

Хранение и облачные вычисления в целом

Обработка и управление большими данными

Коммуникационная инфраструктура

Системы искусственного интеллекта

Crowdstrike и Elastic достигли высоких показателей на момент IPO ($ 7 миллиардов и $ 5 миллиардов соответственно).

Другие IPO включали PagerDuty ($ 1,8 млрд), Anaplan ($ 1,8 млрд) и Domo ($ 500 млн).

Были осуществлены крупные приобретения, такие как Qualtrics (приобретенная SAP за 8 миллиардов $), Medidata (приобретенная после IPO Dassault за 5,8 миллиарда $), Hortonworks (слилась с Cloudera, увеличив стоимость $ на 5,2 миллиарда), Imperva (приобретена Thoma Bravo за 2,1 млрд $), AppNexus (приобретена AT&T за 2 млрд $), Cylance (приобретена BlackBerry за 1,4 млрд $), Datorama (приобретена Salesforce за 800 млн $), Treasure Data (приобретена компанией Arm за 600 миллионов $), Attunity (приобретенный Qlik после IPO за 560 миллионов $), Dynamic Yield (приобретенный McDonalds за 300 миллионов $), и список все еще длинный.

Даже на уровне стартапа инвестиции становятся все более огромными, поскольку на рынке появляется все больше и больше компаний ... наши Группа инноваций в области больших данных это конкретное доказательство этого.

На сайте MATTTURK.COM Мэтт Терк ежегодно обновляет пояснительную таблицу всех групп компаний, работающих в этом мире, которую мы публикуем: Big_Data_Landscape_Final

Аналитика больших данных и управление большими данными: согласно IBM

Несколько основных игроков в этой области дают почти однозначные определения большим данным, но по-разному характеризуют их аспекты:

По словам одного из основных операторов в мире больших данных, IBM, на самом деле эти большие источники данных характеризуются 4 В:

Объемы данных и, следовательно, амплитуда количеств, Разнообразие или разнообразие данных и, следовательно, типы, Правдивость или надежность одного и того же и Скорость или скорость их сбора и обработки.

В следующая таблица все основные характеристики по ним:

http://www.ibmbigdatahub.com/infographic/four-vs-big-data

Аналитика больших данных и управление большими данными: источники по данным IBM

Аналитика больших данных и управление большими данными: их эволюция

До сих пор мы видели, как взаимодействие, которое мы осуществляем каждый день с Facebook, Whatsapp, электронной почтой, просмотром веб-страниц, покупками и т. Д., Включает сбор данных множеством субъектов, которые, помимо надлежащего обращения с ними в соответствии с действующие правила обработки конфиденциальных данных в разных странах (GDPR о конфиденциальности), они хранятся в равном количестве источников.

Просто подумайте о Google Universal Analytics или Facebook Insights, которые сами по себе представляют впечатляющие объемы больших данных для анализа и сопоставления друг с другом.

Современные компьютерные навыки позволили связать почти неисчерпаемые источники данных, чтобы структурировать их или иным образом связать их после их рационализации.

Аналитика больших данных и управление большими данными: типы больших данных

Структурированный: формат данных, организованный по фиксированной схеме, например РСУБД.

Полуструктурированные: частично организованные данные, не имеющие фиксированного формата, например XML, JSON и т. Д.

Неструктурированные: неорганизованные данные с неизвестным шаблоном, например аудиофайл, видеофайл и т. Д.

Аналитика больших данных и управление большими данными: ценность в настоящем и будущем

Как все чаще говорят… будущее за данными и, прежде всего, за корреляцией между ними.

Расширение вычислительных возможностей предоставит возможность связывать наборы данных и шаблоны графиков.

Увеличение емкости хранилища позволит нам расширить поиск на более длительные периоды, обеспечивая большую надежность самих моделей.

Вернуться к началу страницы
ru_RURussian
ошибка: Тревога: Контент защищен !!