Сегодня о Big data не слышал только человек, напрочь оторванный от цифровой реальности. Считается, что эта технология, наравне с искусственным интеллектом, машинным обучением и интернетом вещей, в ближайшие десятилетия кардинально изменит нашу жизнь. Уже сейчас она активно применяется в самых разных областях, от политики и маркетинга до логистики и банковской сферы. Итак, Big data, что это такое и как работают большие данные?
В дословном переводе Big data означает «большой массив данных». Хотя правильнее сказать не большой, а огромный. В России под этим термином часто подразумевают комплекс методов для обработки значительного объема информации.
Big data нельзя назвать одной прорывной технологией. Скорее, это научно-экономический феномен, который возник из-за увеличения глобального трафика и появления возможности анализировать его. Основными источникам информации в «биг дейта» являются:
Сегодня объем глобальной цифровой информации уже измеряется в зеттабайтах (1021 Байт). И он продолжает расти по экспоненте. Чтобы обработать ее, человеческого труда и персональных компьютеров явно недостаточно. Умение говорить просто о больших данных будет определять успешность компании или государства в XXI веке.
Определение Big data в 2008 году ввел редактор Nature Клиффорд Линч. В последующие несколько лет термин распространился в академической среде, а затем вопросом заинтересовались цифровые гиганты.
В 2011 году консалтинговая компания Gartner назвала Big data второй по значимости цифровой технологией после виртуализации. По ее мнению, она будет наиболее эффективна в медицине, производстве, государственном управлении, торговле. С 2013 года анализ больших данных изучается в ведущих университетах мира.
Выделяют шесть признаков «биг дата»:
Первые три признака появились еще на заре эры Big data – в 2001 году. Последующие – были сформулированы позднее.
Технологии Big data (больших данных) позволяют пользователю быть максимально информированным. С помощью этого метода можно строить наиболее полные и точные модели развития событий.
Ниже приведены различия между традиционной аналитикой и методами Big data.
Традиционные методы | Аналитика Big data |
Обработка малых пакетов информации по мере их поступления | Анализ всего массива информации одновременно |
Сортировка данных перед их анализом | Данные анализируются в полученном виде |
Подготовка модели, по которой будут тестироваться данные | Поиск корреляции по всем входящим данным |
Сначала идет сбор и сортировка информации, только потом она обрабатывается | Анализ информации происходит по мере ее поступления |
При работе с Big data важны следующие принципы:
Надежной и бесперебойной работы можно добиться только при соблюдении всех трех указанных принципов.
К большим Big data применяют следующие методы анализа:
Для работы с Big data используются наиболее мощные серверы и суперкомпьютеры.
Сегодня технологии Big data широко применяется в бизнесе, государственном управлении, науке, сфере безопасности.
Работа с большими данными позволяет государственным структурам принимать эффективные решения в таких важнейших сферах, как экономика, здравоохранение, борьба с преступностью. Методы Big data можно использовать для предупреждения чрезвычайных ситуаций.
Бизнес наиболее активно применяет технологии работы с большими данными. За примерами использования далеко ходить не придется. В 2019 году инвестиции в Big data составили 190 млрд долларов. Считается, что средства, вложенные в большие данные окупаются уже через год или два.
Технология позволяет обработать гигантские массивы информации, поэтому аналитик Big Data может с максимальной точностью предсказать дальнейшее развитие бренда или услуги. Изучение блогов, форумов, социальных сетей позволяет выявить потребности потенциальных клиентов, что является чрезвычайно важным при выводе на рынок нового продукта.
Торговые сети с помощью Big Data определяют ассортимент и корректируют работу с покупателями. Девелоперы используют большие данные, чтобы подобрать клиентам наиболее подходящие варианты. Промышленные гиганты уменьшают на своих предприятиях количество аварий и брака.
Сегодня технологии Big data используют крупнейшие цифровые и финансовые корпорации. Нет никаких сомнений, что в дальнейшем этот тренд будет только развиваться.
Использование Big Data в медицине имеет огромный потенциал. Данная технология способна ставить диагнозы, противостоять эпидемиям, придумывать новые лекарства, выявлять опасные заболевания на ранних стадиях.
Управление данными сможет оптимизировать работу системы здравоохранения в целом, снизить затраты на лечение, улучшить качество жизни больных.
Считается, что эта цифровая технология кардинально изменит жизнь людей уже в ближайшие десятилетия. Однако Big Data и интернет вещей неразрывно связаны. Последний не сможет работать без постоянного сбора и обработки данных.
Технологии Big data уже давно используются в сфере безопасности. Еще в конце нулевых годов американское агентство АНБ создало сервис PRISM. Он занимался сбором данных пользователей социальных сетей, а также ряда популярных сервисов. Также PRISM анализировал телефонные разговоры, сообщения, электронную переписку. Сегодня подобные структуры имеются у большинство специальных служб и правоохранительных ведомств.