
Оптимизация пайплайна с Apache Iceberg и S3: как ускорить обработку Parquet в 60 раз | Кейс Data Engineering

ГК «Ярмарка» (производитель продуктов питания и пищевых ингредиентов) совместно с нашей командой вывела управление бизнесом на новый уровень точности и скорости. Наш проект — единая экосистема аналитики, прогнозирования и бюджетирования Я.Digital — вошел в число номинантов престижной премии Data Award 2026.
О проекте
Мы создали для «Ярмарки» не просто очередную учетную систему, а комплексный портал управленческих решений. До внедрения данные были разрознены: учет в 1С, внешние базы данных о продажах, множество Excel-файлов. Аналитика запаздывала на месяц-полтора, а ключевые метрики (например, прибыль) считались по-разному в отделах, что приводило к конфликтам и неэффективным решениям.
Наше решение
Мы построили корпоративное хранилище на базе Managed Service for ClickHouse с трансформацией через DBT, настроили сквозную аналитику в DataLens и разработали отраслевой сервис бюджетирования.
Главное техническое достижение — автоматическая консолидация данных трех уровней продаж (первичные, вторичные и третичные) в единой модели. Это дает менеджменту полную картину: от отгрузок с завода до реальных продаж на полке магазина.
Результаты и эффекты
Благодаря переходу от фрагментарной отчетности к целостной системе, «Ярмарка» получила измеримые бизнес-результаты:
🔹Сокращение цикла планирования (бюджетирования) на 30–40% уже на первом этапе.
🔹Прямая экономия около 70 млн руб. в год за счет снижения трудозатрат на сбор и выверку данных.
🔹Скорость реакции на изменения рынка сократилась с полутора месяцев до одних суток.
🔹Рост точности прогнозирования спроса за счет комплексного анализа всех каналов продаж.
Проект позволил отказаться от «управления в зеркало заднего вида» и дает инструменты для оперативной корректировки промо, оптимизации запасов и поиска точек роста.
Номинация на Data Award — признание того, что созданная архитектура и подход к работе с данными задают новые стандарты аналитики для FMCG-сектора.
Подробное интервью с директором по стратегии и цифровой трансформации ГК «Ярмарка» Олегом Богомоловым можно прочитать по ссылке: https://www.osp.ru/articles/2026/0312/13060516
Поздравляем команду ГК «Ярмарка» с заслуженной номинацией!