7 июня 2022 года прошло мероприятие «CNews FORUM Кейсы: опыт ИТ-лидеров», где на секции «Большие данные и бизнес-аналитика» выступил главный конструктор Luxms BI Дмитрий Дорофеев.

В ходе работы секции состоялся первый публичный анонс сотрудничества между компаниями Arenadata, поставщиком платформы управления большими данными, и ГК Luxms, поставщиком BI и ETL-систем (Luxms BI и Luxms Data Boring). Они объединили усилия для обеспечения эффективного использования данных российскими организациями.

«Сейчас мы видим большой интерес крупных компаний к теме управления данными и каталогам данных. Честно скажу, для меня это приятный сюрприз. Я в этой сфере работаю давно и вижу, как рынок становится более зрелым», — сказал Иван Новоселов, директор проекта «Каталог данных», Arenadata.

Бывает так, что при попытке решить какую-нибудь прикладную задачу, получается, что 80% времени расходуется не на решение как таковое, а на поиск данных: что есть у компании, можно ли это применять на практике и кто за это отвечает. При внедрении инструментов для совместной работы с данными и каталогов соотношение меняется: данные находятся за минуты, и теперь на их анализ, подготовку моделей и выводы тратятся 80% времени, а не 20%, как раньше.

Arenadata и Luxms вместе создают продукт для поддержки процессов Data Governance — Arenadata Catalog. Среди основных принципов развития продукта открытые стандарты и архитектура, автоматизация рутинных задач управления данными, поддержка всего цикла работы с данными и уровней инфраструктуры, фокус на задачах пользователей. Решение базируется на Open Source компонентах, интегрировано с LDAP, управлением ролями и группами, имеет функционал по управлению рабочими процессами (согласование изменений), включает в себя бизнес-глоссарий и поддерживает русский язык. Пока Arenadata Catalog находится в разработке.

Пласт совместный работы большой. Дмитрий Дорофеев, главный конструктор, ГК Luxms рассказал о еще одном продукте — Luxms BI Arenadata Platform Edition — и преимуществах этого интегрированного с платформой данных BI-решения.

Luxms BI представляет собой гибкую систему, позволяющую наращивать функционал. Она дает возможность заказчику создавать и свои микросервисы. Данные здесь хранятся в виде трех слоев: горячего (свежие данные за последний год), теплого (данные за 5 лет) и холодного. По мере устаревания, данные переходят на следующий слой с помощью ETL-инструментов, но при этом вся платформа должна поддерживать такую концепцию. Arenadata Platform позволяет создавать и поддерживать нужную систему хранения.

«Для конечного пользователя по функционалу ничего особо не меняется, будет то же ядро, которое мы развиваем несколько лет. Сейчас же были предприняты интеграционные усилия, чтобы Luxms BI устанавливался и эксплуатировался так же, как все остальные компоненты Arenadata Platform», — пояснил докладчик.

Решение поддерживает Arenadata Cluster Manager, что обеспечивает более удобное и быстрое развертывание Luxms BI в кластерной конфигурации. Предусмотрена возможность распределять сервисы Luxms BI по нескольким серверам, что позволяет тонко настраивать производительность системы под задачи заказчика.

Для решения ETL-задач Дмитрий Дорофеев предложил инструмент Luxms Data Boring, который помогает инженерам и аналитикам готовить данные для эффективной скоростной визуализации в Luxms BI, когда витрины DWH неудобны. Он понадобится, если хранилище медленное, пользователей много и для выполнения сложной обработки данных не хватает ресурсов или нет желания нагружать хранилище запросами из BI.

«Интерфейс пользователя мы сделали так, чтобы он был понятен даже не самым подготовленным дата-инженерам. Например, наши новые сотрудники — вчерашние студенты без особого опыта — очень быстро осваивают Luxms Data Boring и выполняют сложные задачи. Делают какие-то экзотические штуки, например, стыкуются с каналами в «Телеграм» или вытаскивают котировки акций из html-страниц, то есть используют инструмент нестандартно», — пояснил Дмитрий Дорофеев.