Драйвер изменений и эксперт в области данных

Бизнес с каждым днем проявлял потребность в грамотном управлении данными. Регулярно требовалось создать отчет или выгрузить базу SQL. Мы решили починить это несовершенство и создать внятную, доступную и гибкую платформу управления данными.

«Ключевой задачей АЭРО в рамках проекта с Кофеманией было стать драйвером изменений. Помочь компании сделать первый шаг в построении data-культуры. Такие проекты делаются по выработанной методологии, которая включает 3 основных этапа: выявление бизнес-ценности, определение технологий и процесса вокруг данных, который необходимо реализовать в компании», – Вячеслав Жуков, Chief Data Officer АЭРО.

Правильно организованное хранилище данных делится на слои. Слои необходимы для оптимизации работы с данными и подготовки аналитической отчетности.

Слоев может быть много. Представьте себе большой завод. На него приезжает сырье, есть несколько производственных линий и в результате – готовая продукция. Так же происходит и с данными! Есть несколько этапов производственного цикла, который делится на слои.

Из источников информации данные попадают на первый этап – слой сырых данных. Задача этого слоя – в одном месте аккумулировать всю приходящую информацию. При этом на этапе задача очистки данных не решается. Данные поступают в первоначальном виде. Почему же важно хранить данные именно в их исходном виде? Чтобы иметь возможность в любой момент поменять расчеты, откатиться назад и сохранять историчность.

Задача первого слоя – выдерживать высокую нагрузку на чтение и сложные аналитические выборки.

К примеру, формулировка такой задачи может быть следующая: необходимо посчитать количество клиентов из, скажем, Смоленска с чеком более 2,500 рублей на выборке из 30 миллионов строк. Одновременно подобных задач может быть множество.

Система должна одновременно выдерживать большие нагрузки. Примером технологии для подобного рода задач является Clickhouse.

В ядре сырые данные превращаются в заготовки. С точки зрения хранилища, этот слой называется DDS. С технической точки зрения, это отдельная база данных, которая содержит связанные друг с другом таблицы с очищенными, нормализованными и дедуплицированными данными. Эти данные обычно хранятся в определенной модели (снежинка, якорная модель, data vault), которая определяется, исходя из бизнес-задач компании, и необходима для того, чтобы быстро добавлять в систему определенные бизнес-сущности.

Для работы на данном слое необходимы технологии, которые поддерживают эффективные джойны и задачи фильтрации. Например, это база данных PostgreSQL или, если процесс работы с данными у вас уже налажен и ожидается большая аналитическая нагрузка, мы рекомендуем использовать MPP-базу Greenplum.

Финальным этапом производственной цепочки хранилища данных является третий слой. Он содержит витрины данных. Это таблицы, которые содержат важную для бизнеса информацию. Например, это может быть конверсия в разрезе по датам или LTV по клиентам. Дальше эта таблица подключается к BI-системе для визуализации или передается в смежные системы, например, CDP и используется как основа сегментации.

Моделирование данных — это создание визуального представления о всей информационной системе компании.

Оно необходимо для того, чтобы наглядно показать бизнес-правила, по которым данные формируются и взаимодействуют между собой, и при этом организовать их хранение и обработку в понятном для хранилищ виде. Суть модели — дробление всего массива данных на логические части, что облегчает любые доработки системы.

Важно, что модель строится не от задачи, а от бизнеса.

У бизнеса есть ряд задач, связанных с конфиденциальностью данных. Часто их решают с помощью продуктов для маскирования и токенизации.

К примеру, есть коммерческая тайна, и чтобы у разработчиков не было доступа к исходной информации о пользователях, ее обезличивают — подменяя реальные данные на фейковые. Токенизация решает ту же проблему, но более сложным образом.

В этом случае данные в хранилищах преобразуются в токены, которые можно расшифровать через специальные ключи — и в случае утечки данных в доступ попадает набор непонятных букв, а не конфиденциальная информация.

Мастердата — это унификация словарей и справочников внутри компании, которая нужна, чтобы различные департаменты говорили на одном языке.

К примеру, складская программа, интернет-магазин и транспортная компания работают с одними и теми же товарами. И очень важно, чтобы все они были под одним названием, иначе возникнуть разночтения в учете.

Продукты MDM помогают закрыть эту задачу и осуществлять управление основными и справочными данными для снижения рисков.

Люди, работающие с данными, часто тратят уйму времени на их поиск. Как и книги в библиотеке, они нуждаются в определенной системе хранения — пользователи должны понимать, где и что хранится, с чем оно связано.

Для решения этой задачи существует data-каталог — некая "википедия" внутри компании, в которой зафиксированы важнейшие бизнес-термины.

Также каталог содержит корректное и подробное описание всей информации, чтобы работающий с ними человек точно понимал, что это именно то, что ему нужно.

Разработали для Hoff хранилище данных, удобное для аналитиков и надежное для бизнеса.

Озеро данных — это вид хранения данных и одновременно подход к архитектуре. Большинству бизнесов подходит формат DWH, когда данные хранятся в структурированном виде с помощью таблиц.

Но, например, в недвижимости, когда множество данных имеет формат изображений, или аудио (как записи звонков), необходим другой тип хранения.

Озеро данных позволяет хранить огромные массивы всех видов данных, ту самую big data, и использовать для задач аналитики и машинного обучения.

Для того, чтобы стать data-driven, недостаточно собирать большое количество данных.

Качество данных — это важнейший показатель для бизнеса, который показывает степень надежности данных, пригодности их к использованию.

Мы помогаем бизнесу выстроить систему для проверки качества данных, настраиваем автоматические оповещения о сбоях, чтобы руководители могли понимать в реальном времени, можно ли верить цифрам в отчетах и принимать решения на их основании или нет.

Создавать свою команду с нуля сложно из-за того нехватки дата-специалистов, но АЭРО предлагает мощный HR-бренд - мы берем подбор команды на себя. Кроме того, у нас достаточно обширные компетенции по различным направлениям eCom-бизнеса и опытные тимлиды, которые помогут избежать "призрачной занятости".

В интернет-магазинах существует множество видов аналитики - маркетинговая, продуктовая, аналитика фулфилмента, директ-маркетинга, клиентская, товарная аналитика и т.д. Часто они существуют в изолированном виде, поэтому мы предлагаем инструмент сквозной аналитики, чтобы строить связи между этапами клиентского пути и анализировать всё в комплексе.

Самое главное в веб-аналитике - правильно собрать данные. От этого будет зависеть качество всей остальной аналитики в компании. Мы размечаем витрины, т.е. сайты и мобильные приложения, специальной разметкой, которая настраивается под формат системы аналитики, которую вы планируете использовать. После этого мы начинаем получать данные, как люди взаимодействуют с вашим сайтом, откуда они приходят и что на нем делают.

Часто путь клиента начинается с того, что он видит рекламу, ее много и она разная. Как же оценить, какая реклама приводит нам реальных клиентов, а с какой у нас идет пустой трафик. Это и есть зоны отвественности маркетинговой аналитики - оценить источники и посмотреть, как они превращаются в клиентов и насколько хороших клиентов мы получаем.

Между тем, как клиент приходит на сайт и когда делает заказ, лежит пользовательский путь. Клиенты разные и пути у них разные, то мы можем поэтапно найти на сайте/в приложении места, где у клиента возникают сложности, чтобы оптимизировать их. Мы тестируем фичи, проверяем гипотезы и шаг за шагом делаем более привлекательным для клиентов, тем самым поднимая продажи.

Помимо того, кто и как покупает, с другой стороны не менее важно — что именно покупает. Мы можем взять товарный ассортимент компании, попробовать высчитать оптимальные цены, разбить на товары бестселлеры и товары для добивания ассортимента, а также оценить, в какую сторону лучше расширять или двигать товарную матрицу.

После того, как человек зарегистрировался на сайте и совершил покупку, он становится клиентом. По клиенту существует два направления аналитики. Первое — аналитика фулфилмента, то есть то, насколько клиенту понравилось, привезли ли ему то, что он хотел, и как он оценил общий уровень своего взаимодействия с магазином. Второе направление — это клиентская аналитика. Мы смотрим, насколько часто клиенты покупают и как сделать так, чтобы клиенты покупали чаще.

Отдельным направлением клиентской аналитики можно выделить direct-маркетинг. Это направление представляет из себя анализ тех коммуникаций и точек контакта, которые мы делаем с клиентом: SMS, e-mail, push-уведомления. Мы смотрим, что именно и когда мы можем сказать клиенту, чтобы он к нам возвращался и покупал еще и еще.

Представьте себе бизнес с 5 миллионами активных пользователей в месяц или 2 тысячами заказов в минуту. За каждой покупкой стоит клиент с его желаниями, устремлениями, причинами покупки и вероятностью оттока. 

Сложно представить, что компании, обладающие лишь инструментами массовой e-mail рассылки периодичностью 1-2 раза в неделю, смогут сделать коммуникацию действительно персонализированной. Бизнес, который внедряет CDP, успешно добивается роста среднего чека и частоты покупок, наличия в чеке высокомаржинальных товаров, снижает стоимость удержания клиентов и процент оттока. 

На оборот порядка 10 миллиардов рублей в год можно добиться увеличения до 400 миллионов рублей с сохранением уровня маржинальности. 

Что такое CDP и его модули? Это главный рабочий инструмент маркетолога.

CDP позволяет:

• сегментировать клиентов

• проанализировать частоту покупок и состав чеков, количество товаров в чеке и среднюю стоимость покупки

• составить шаблон сообщений (e-mail, sms, push или даже баннер для отображения на главной странице интернет-магазина)

• разработать механику акций лояльности с вознаграждением клиента за определенные действия

• выстроить логику цепочки коммуникаций

• провести A/B тесты

CDP – инструмент для непрерывного совершенствования через эксперименты. И да, это гораздо веселее, чем об этом рассказывают!

Мы часто слышим от клиентов, что зарубежный вендор ушел с рынка, или текущее решение просто перестало устраивать бизнес. Необходимо выполнять задачи компании, а функциональные возможности решения не дают такой возможности. Пора переходить на новое. 

Если ваш интернет-магазин или розничная сеть продает товары регулярного потребления, например, подгузники или корм для собак, клиентов необходимо идентифицировать на регулярной основе. Если их запас подходит к концу, им нужно напомнить, что пришло время его пополнить. Время пополнения для каждого клиента высчитывается на основе количества товаров в предыдущем чеке. 

Соответствующего счетчика или связки между сегментом и акцией, которая передает информацию о времени, прошедшем с момента покупки, может не быть. А вендор не хочет или не способен реализовать такой функционал. 

Поэтому стоит быть особенно внимательными при выборе CDP решения, и АЭРО поможет бизнесу сделать правильный выбор.

АЭРО провели анализ порядка 20 российских CDP решений (campaign, сегментация, аналитика, лояльность) и проверили около 150 метрик, включая: 

• функциональные возможности

• информационную безопасность

• технологический стек

• архитектуру

• возможности по кастомизации

• лицензионную модель

Мы выявили три сегмента решений, на которые стоит обратить внимание.  

Первый – решения начального и среднего уровня, коробочные, слабо кастомизируемые, но доступные к быстрому разворачиванию. 

Второй – более специализированные решения с расширенным функционалом. 

Третий – продукты enterprise-уровня, обладающие высокими стандартами в части масштабирования и информационной безопасности. 

Внедрение CDP зачастую требует интеграции с десятком источников – кассой, мобильным приложением, системой программы лояльности, ERP, ценообразованием, хранилищем данных и других.

Одной из нетривиальных задач является выявить все те интеграционные потоки, логические связи и структуру хранения данных и консолидировать их. Важно, чтобы работали как пакетные массовые коммуникации, так и real-time режим, когда клиент уже приложил карту для оплаты товаров в офлайне или оформляет заказ в e-com. 

Ключевые требования к интеграции CDP в IT ландшафт

1. Скорость доставки данных

Для real-time обновления данных мы разработали микросервис, который валидирует события и доставляет их в топики Kafka. Оттуда Kafka Connector вычитывает их, доставляя до CDP системы. В случае необходимости трансформации мы разрабатываем spark джобы, которые также читают данные с топиков Kafka.

Для загрузок по расписанию мы используем AirFlow.

2. Вендор-независимость

Важно интегрировать CDP в IT ландшафт не напрямую, а через интеграционный слой. Это позволит в будущем заменить CDP систему на более подходящую или заменить часть модулей, которые перестали удовлетворять потребности бизнеса.

3. Удобство сопровождения

Мы разрабатываем архитектурную схему с потоками данных, описываем данные и логику их возникновения, разрабатываем дашборды и алерты, описываем типовые проблемы, которые возникают при доставке данных.

Одна из услуг АЭРО – консалтинг по выбору CDP систем.

Это обязательный шаг для того, чтобы минимизировать вероятность ошибки и не допустить чрезмерный расход ресурса.

Мы выделяем более 150 критериев, их мы сегментируем на обязательные и желательные к выполнению.

На основе этих критериев мы получаем набор баллов, по которым сравниваем разные CDP решения и выбираем наиболее подходящие для конкретного бизнеса.

Из всех критериев мы выделяем основные, на базе них мы определяем конечный список рассматриваемых CDP решений. Это:

• возможность развертки на серверах клиента или в облаке;

• функционал коробочного решения и его доработок;

• возможности масштабирования и производительности системы;

• похожие кейсы использования в схожем бизнесе;

• и, конечно же, стоимость и сроки внедрения.

При выборе CDP систем мы оцениваем и технические критерии:

• соответствие технологическому радару компании;

• возможности масштабирования и производительность;

• готовность к эксплуатации системы, наличие дашбордов и алертов;

• параметры информационной безопасности;

• возможности интеграции с системой авторизации клиента;

• подходы работы с персональными данными.

Мы также оцениваем готовые коннекторы и простоту интеграции с IT ландшафтом клиента.

При внедрении CDP выделяют 3 основных этапа.

1-й – проектирование.

В рамках этого этапа мы понимаем бизнес-сценарии, какие данные лежат за этими сценариями, в каких системах можно забирать эти данные. Мы проектируем интеграции, описываем данные в системах, проектируем целевую архитектуру и инфраструктуру.

Итог этого этапа – техническое задание на разработку CDP решения и его интеграции.

2-й этап внедрения CDP решения – разработка интеграции и загрузка данных.

В рамках этого этапа мы разрабатываем и внедряем микросервис для приема событий, разворачиваем систему для обмена сообщениями Kafka, Kafka коннекторы, пишем ETL на Airflow для загрузки данных по расписанию.

Результатом этого этапа становится CDP система, в которой загружены все необходимые данные для осуществления коммуникации, исторические и актуальные.

3-й этап внедрения CDP – финальная настройка, тестирование и опытно-промышленная эксплуатация.

На этом этапе мы настраиваем кампании, триггерные цепочки, сегменты, проводим финальное тестирование по заранее заготовленным бизнес-сценариям, проводим тестирование на небольшой группе пользователей, получаем обратную связь, вносим корректировки и запускаем систему на всю аудиторию пользователей.