Ритейл – один из самых конкурентных и, как следствие, высокоцифровизированных сегментов российского бизнеса. Большинство торговых компаний не первый год комплексно применяют программные решения для сбора и анализа данных. Использование в корпоративном управлении систем ETL, DWH и BI уже давно является стандартом работы отрасли. Один из наших проектов по оптимизации цифровой аналитики 2024 года помогает развиваться сети магазинов Lamel и Оптима.

Выступление А. Парфенова, руководителя отдела технического сопровождения ИТ Lamel/Оптима, на Первой конференции LUXMS:

О проекте

Сегодня перед ритейл-компаниями стоят новые, более сложные вызовы – максимально эффективно задействовать возможности цифровой экономики, получить преимущество в скорости и глубине анализа, и как следствие, в качестве стратегического планирования и оперативного реагирования.

Сеть магазинов косметики, парфюмерии и бытовой химии Lamel и Оптима работает на российском рынке 28 лет, постоянно увеличивая масштаб деятельности.

Сейчас это большой современный бизнес со сложной внутренней организацией и широкой географией присутствия: более 100 торговых точек в 20+ городах страны, порядка 20 тысяч наименований товаров в ассортименте, свыше миллиона лояльных клиентов.

Фирма предоставляет свою продукцию в формате POS (point of sale), широко используя при этом свою систему лояльности, скидок. И в интернет-торговле, и в магазинах важен широкий выбор и гибкие привлекательные цены. Формирование и обновление каталогов товаров, планирование и контроль финансового эффекта от различных промо-акций, как и экономика предприятия в целом, требуют сильной и качественной аналитики, в том числе обращения к ранее накопленным данным.

 

Задача

Результативность цифровой аналитики зависит от многих факторов.  В том числе – от оптимального выбора технологий, архитектуры и адаптации к требованиям клиента:

• Какое хранилище данных Data Warehouse (DWH) будет полнее соответствовать специфике ритейла;
• Как лучше организовать процесс извлечения, преобразования, загрузки данных (ETL).

В данном случае, компания обратилась к нам с проблемой того, что автоматизированные процессы обработки данных стали давать сбои. Как следствие – складские работники получали неточную информацию по остаткам, соответственно, при формировании отгрузки на точки продаж могли не укомплектовать часть товара.

Нашим инженерам и инженерам наших партнеров из DBI предстояло решить эту задачу, в том числе за счет правильного подбора технологий и архитектуры.

 

Решение

Специалистами Luxms совместно с DBI было предложено решение – технический и логический апгрейд, способствующий предотвращению потери данных из всех источников, а также отказоустойчивость системы согласно требованиям 2024 года.

Для этого специалисты DBI взяли за основу DWH уже имеющуюся у заказчика, но устаревшую версию СУБД Greenplum, которую нужно было обновить до v 6.23.3.

Однако обновление ПО без целостного архитектурного подхода не гарантирует устранение ошибок. Поэтому:

• Команда Luxms провела анализ архитектуры текущего хранилища данных, обсудила с бизнес-аналитиками Lamel и Оптима их запросы по скорости работы системы, а также требования по доступности данных;
• Команда DBI учла имеющиеся в наличии ресурсы заказчика в части цифровой инфраструктуры и модернизировала DWH с учетом всех пожеланий.

Специалисты Luxms для повышения отказоустойчивости и корректной передачи данных провели еще ряд работ:

• Создали кластерную архитектуру для поддержания отказоустойчивости;
• Разнесли мастер и слэйв части системы на разные платформы, добившись повышения производительности и скорости восстановления в случае сбоев.
• Мигрировали с CentOS 7 на RockyLinux 8, поскольку компания-производитель перестала выпускать обновления для CentOS 7 с 30 июня 2024 года;
• Мигрировали со StreamSets на Luxms Data Boring, поскольку StreamSets – иностранное ПО, которое невозможно обновлять и сопровождать, Data Boring – продукт российского происхождения, подходящий под все условия импортозамещения;
• Настроили все необходимые процессы.

Помимо более быстрой и безотказной обработки данных, у заказчика был запрос на новые методы мониторинга процессов. Команда Luxms, совместно со сотрудниками заказчика настроила мониторинг средствами Luxms Data Boring и отправку уведомлений в чат на телефоне в случае возникновения нештатных ситуаций.

 

Результат работы

Проект оптимизации цифровой аналитики для сети магазинов Lamel и Оптима успешно завершен в намеченные сроки.  В результате:

• система работает в штатном режиме, ошибки потери пакетов ушли;
• все розничные точки бесперебойно получают пополнение товара;
• быстрые уведомления в чат повысили оперативность реагирования на нештатные ситуации;
• отечественная разработка соответствует программе импортозамещения;
• команда заказчика обрела новый ETL-инструмент, в котором также научилась работать и далее поддерживать самостоятельно;
• подготовлена специализированная техническая документация всего решения для клиента.

Каждый проект немного отличается. Он зависит не только от задач, но и от организационной структуры, стратегий обработки данных, зрелости управления данными и целей организации. Чтобы получить решение, которое подходит именно вашей организации, свяжитесь с нашими сотрудниками. Вместе мы найдем оптимальное для вас решение.