Комплекс дашбордов для аналитики продаж на Yandex Cloud: Визуализация данных в DataLens

Клиент был заинтересован возможностью визуализировать и проанализировать данные по вторичным продажам, чтобы было удобнее смотреть, как реализуется товар у дистрибьюторов и в торговых точках, каковы динамика и география продаж. Однако присутствовал определенный скепсис, выгодное ли это вложение, необходимое ли? В ходе интервью и выявления всех потребностей, нами были сформированы требования, которые нужно и можно удовлетворить комплексом дашбордов. 

После проведения интервью и сбора требования начался процесс сбора данных и интеграции уже имеющих систем 1С и Cislink в новую архитектуру.

Cislink - источник данных по вторичным продажам через дистрибьютеров, который дает данные о путях продажи товаров.

1C - система управления продажами - оттуда подтягиваются все данные о первичных продажах.

Для визуализации данных был выбрал сервис на базе Yandex Cloud – DataLens, он имеет некоторые ограничения, зато бюджетен и нативно понятен. Зная его нюансы работы, будучи партнером YC, мы сразу же действовали в рамках него, с учетом возможностей DataLens.

При разработке архитектуры, изначально планировалось использовать хорошо знакомый нам PostgreSQL, а корпоративное хранилище данных разворачивать уже в Yandex Cloud с оркестрацией потоков через Airflow. Логика была прописана с помощью DBT, чтобы всё было в одном месте в рамках репозитория.

Интеграция Cislink

PostgreSQL - не совсем справлялся со сложной логикой, и мы осуществили переезд на ClickHouse, так как нет сложных Join-ов, процесс оптимизировали.

В Cislink есть интеграция на Postgres с помощью встроенного плагина, скрипт из реплики внутренней базы данных размещается в виртуальной машине YC, далее в скрипт стучит SFTP сервер - забирает обновленные данных в реплике и переносит в контур YC.

Интеграция 1С

Происходит через Kafka, был написан обработчик для Kafka, который смотрит необходимые сущности, выявляет изменения, а они уже считываются с помощью движка ClickHouse

Дальнейшая обработка выглядит так:

• Stage слой - первичное обращение к исходным данным.

• ODS слой - данные нормализуются для дальнейшей обработки.

• DDS слой - трансформация данных в модель данных для витрин, формируются связи между таблицами.

• DM слой – слой витрин, где одна витрина = один дашборд.

Приведем примеры инструментов, которые мы получили для аналитики продаж в FMCG компании.

• Анализ динамики вторичных продаж дистрибьюторов: анализ до уровня торговой точки, в различных разрезах по ключевым факторам: нумерика, глубина, объем продаж на sku (уникальный складской идентификатор товара), средняя цена.

• Факторный анализ вторичных продаж дистрибьюторов: Сравнение результатов между отдельными периодами в разрезе факторов продаж до уровня отдельных клиентов дистрибьюторов.

• Анализ эффективности продуктов: визуализация всего поставляемого ассортимента.

• Анализ географии вторичных продаж: Относительное сравнение продаж по городам и регионам с привязкой к численности населения и среднедушевым доходам населения.

Вывод такой: 

Выбранные сервисы оперативно считают данные, визуализируют красивыми графиками и диаграммами информацию по продажам. 

Кейс показательный, несложный – получилось собрать данные воедино и настроить потоки, для аналитики, которая на уровне руководства коммерческого подразделения позволяет выявлять:

• пути для роста продаж,

• места усиления дистрибуции,

• разрабатывать стратегии расширения и стимуляции продаж в конкретных регионах и многое другое.