Пять трендов BigData на 2016 год
Прошедший год был годом перемен в Big Data для российских финансовых институтов: вступившее в силу 1 октября 2015 года Положение Банка России №483-П «О порядке расчета величины кредитного риска на основе внутренних рейтингов», являющееся очередным шагом по внедрению Базельских стандартов, и в частности документа BCBS-239, задало де-факто новый стандарт для управления внутренними данными банка.
The Financial Brand пытается разобраться, к чему могут привести эти перемены и как же будет развиваться финансовые Big Data в новом году?
1. Big Data из игрушки для IT-департамента станут реальным рабочим инструментом.
Одной из проблем с решениями Big Data был разрыв между бизнесом и IT — департаменты информационных технологий строили инфраструктуру Big Data, запускали множество новых инструментов по работе с ними, делая это зачастую вне контекста конкретных бизнес-задач, что приводило к появлению решения, под которое искали бизнес-проблему.
Разумные организации приняли иной подход, выстраивая решения под конкретные бизнес-задачи или формируя предложения типа «данные как сервис» (DAAS, data as a service) и позволяя бизнесу выбирать инструменты для решения проблем. В 2016 году количество реализаций этого подхода будет расти.
2. Произойдет переход от отдельных и зачастую разрозненных BigData-систем к единому хранилищу данных предприятия на семантических связях.
В 2015 году появилась концепция «озера данных» — единого хранилища для всех данных предприятия, отличающегося возможностью сбора больших объемов данных в их родном нетрансформированном формате при очень низкой стоимости. Озеро данных обещает многое, но имеет свои ограничения — каталогизация источников данных, согласование разрозненных данных и придание данным смысла по-прежнему остаются сложными для многих организаций.
Эту проблему можно решить, используя семантические технологии и реализуя таким образом стандартный способ описания и согласования данных, структурированных и нет, из любого источника, используя при этом бизнес-дружественные модели.
Используя эти огромные хранящиеся в памяти базы графов, поддерживающие семантические стандарты, компании смогут преодолеть одну из давних проблем семантических технологий — проблему падения производительности при масштабировании. Станет возможным запуск интерактивных запросов по графу данных уровня крупного предприятия с десятками миллиардов записей.
3. Семантические связи между данными позволят пользоватьсяBig Data-системами не только аналитикам и ученым, но и линейному персоналу.
«Умные озера данных» позволят решить еще одну проблему — доступ конечных пользователей к данным. Большинство современных решений до сих пор требуют ручных преобразований данных для их использования в BI-системах, однако с вводом в эксплуатацию «умных озер данных» семантические модели, используемые для добавления смысла данным, могут быть использованы для обеспечения каталогизации данных, определения их происхождения и самостоятельного анализа данных конечными пользователями. Итог — Big Data-системами будет проще пользоваться.
4. Чем доступнее будут Big Data-системы и чем проще будет ими пользоваться, тем больше они будут использоваться в среднем бизнесе.
До сих пор сложность и незрелость инструментов анализа Big Data приводили к тому, что использовались подобные инструменты лишь в больших технически сложных организациях с развитыми IT-подразделениями. Существует также мнение, что «большие» является наиболее важным аспектом «больших данных». Тем не менее, разнообразие данных является столь же важным аспектом, и организации всех размеров имеют в своем распоряжении достаточно разнообразные данные.
Облачные технологии наряду с появлением таких тиражируемых решений, как «умные озера данных», и сопутствующая им демократизация доступа в 2016 году откроют возможности анализа Big Data большому числу организаций среднего уровня.
5. Big Data-системы — не панацея, во главе угла встанет выработка политики и стратегии управления данными.
Недавний опрос, проведенный Enterprise Data Management Council, показал, что сейчас финансовая индустрия находится в точке принятия решения в деле управления большими данными. Большинство организаций осознали необходимость управления данными предприятия и разрабатывают или уже разработали внутреннюю стратегию подобного управления. Документ Базельского комитета №239 «О принципах эффективной агрегации данных и отчетности по рискам» (в России — Положение Банка России №483-П «О порядке расчета величины кредитного риска на основе внутренних рейтингов») является ключевым фактором подобных программ, и принятие Базельских стандартов приведет к тому, что в 2016 году будет внедряться все больше стандартизированных практик управления данными.