Data Science в обувном магазине: предсказали поведение клиентов и увеличили конверсию сайта на 16%

Хотим поделиться с читателями нашего блога замечательным кейсом от российского производителя обуви Mario Berluchi, который они опубликовали на habr.com. Компания использует стриминг OWOX BI для сбора сырых данных в Google BigQuery.

Наши клиенты
растут на 22% быстрее

Растите быстрее, анализируя, что лучше сработает в вашем маркетинге

Измеряйте KPI, находите зоны роста и увеличивайте свой ROI

Записаться на демо

Содержание

Российский производитель обуви Mario Berluchi автоматизировал маркетинг, внедрил привычные для интернет-магазинов механики, но не остановился на этом и запустил направление Data Science. Теперь магазин с помощью алгоритмов машинного обучения предсказывает действия клиента: что он сделает после добавления товара в корзину — купит или уйдет, а если уйдет, то когда вернется.

Предсказание помогает в нужный момент побуждать клиента к покупке или, наоборот, не трогать его, если он купит и так. В рамках AB-теста механика персонализации сайта на основе предсказания помогла увеличить конверсию интернет-магазина на 16,5% и ARPU на 35,7% относительно контрольной группы.

Азамат Тибилов, директор по маркетингу Mario Berluchi, рассказывает о механике с предсказанием, измерении результатов, истории запуска направления Data Science и делится советами для интернет-магазинов, которые тоже хотят растить выручку за счет полезного и основанного на данных маркетинга.

Mario Berluchi — российский производитель обуви, сумок и аксессуаров с пятью офлайн-магазинами в Москве и онлайн-магазином.

Масштаб. 200 тысяч посетителей сайта в месяц.

ИТ. Сайт на Bitrix, бэк-офис на «1С», платформа клиентских данных Mindbox.

Задача. Повысить выручку за счет работы с накопленными данными.

Результат. Рост конверсии сайта на 16,5% в рамках AB-теста, рост ARPU на 35,7%, снижение доли брошенных корзин на 17,2%.

Как работает механика персонализации сайта на основе предсказания

Когда клиент заходит на сайт, мы записываем его действия и прогоняем через алгоритм предсказания: «купит в текущей сессии или не купит» и «вернется в течение 7 дней или не вернется». Предсказание пересчитывается раз в 10 секунд для каждого клиента.

Условия срабатывания механики:

  1. если в корзине есть товары,
  2. если не применен скидочный купон,
  3. если по предсказанию вероятность покупки меньше 30%,
  4. если по предсказанию клиент не вернется в течение 7 дней.

Если условия выполнены, клиент видит в корзине попап и решает, купить ли товар в текущей сессии или нет:

Попап в корзине

Попап всплывает в корзине, если по предсказанию алгоритма клиент в текущей сессии не оформит заказ и не вернется позже.

Результаты механики с предсказанием

АB-тесты с достоверностью 95%

Часть клиентов в рамках теста находилась в контрольной группе и не видела попап — для неё механика была отключена, а другая часть видела. Мы сравнили в этих группах конверсию, ARPU и долю брошенных корзин — получили статистически значимые результаты с достоверностью 95%:

↑16,5%

Рост конверсии сайта относительно контрольной группы по методу t-test

↑35,7%

Рост ARPU по методу bootstrap

↓17,2%

Снижение доли брошенных корзин по методу z-test

Сравнение конверсий и ARPU: в мае 2019 и мае 2020 — после внедрения механики с предсказанием

Конверсия до и после внедрения механики с предсказанием
Конверсия до и после внедрения механики с предсказанием
ARPU до и после внедрения механики с предсказанием
ARPU до и после внедрения механики с предсказанием

Зачем запустили направление Data Science

Изначально мы хотели построить сквозную аналитику, чтобы оценивать качество рекламных каналов в разрезе реальных покупок, потому что 50% заказов «отваливается» на этапе подтверждения.

Для сквозной аналитики было необходимо собирать данные о поведении пользователей в базу Google BigQuery. Помимо стандартных действий пользователей — добавления товара в корзину, посещения продуктовой карточки товара, совершения покупки — мы собирали еще много действий с контентом сайта — хитов. Ежедневно накапливалось более 20 тысяч строк хитов, и эти данные у нас хранились в базе, за которую мы, конечно же, платили.

При нашем трафике — более 200 тысяч пользователей в месяц — было достаточно данных, и мы проводили стандартную аналитику, например действий пользователей с контентом после каких-либо изменений, покупок после проведения акций. Потом провели брейнсторм с владельцем компании и решили попробовать помимо простой аналитики и AB-тестов построить что-то более интересное: попытаться предсказывать поведение клиентов на сайте с помощью алгоритмов машинного обучения на наших исторических данных. К таким идеям мы относимся как к внутреннему продукту, в который готовы вкладывать деньги и время, чтобы потом получить результат — рост бизнес-метрик.

В итоге собрали отдел Data Science и за полгода реализовали механику с предсказанием действий пользователя, которая повысила выручку. Таким образом мы открыли для себя новое направление бизнеса, которое приносит нам более 30% выручки и хорошо окупается.

Какие специалисты понадобились для Data Science

Каждый этап запуска механик с предсказанием подразумевает работу специалистов разных по функционалу, но из смежных областей. В штате у нас:

Аналитик. Анализирует данные, находит аномалии и проводит AB-тесты.

Два специалиста Data Science. Пишут алгоритмы, которые возвращают ответы-предсказания в виде вероятности того или иного действия пользователя на сайте.

Маркетолог. Разрабатывает и запускает механики с применением алгоритмов.

Разработчик. Внедряет механики и алгоритмы на сайте.

Как технически устроена механика с предсказанием

1. Размечаем исходные данные Google Analytics с помощью Google Tag Manager и используем стриминг OWOX BI для сбора данных в базе Google BigQuery. Эти шаги занимает мало времени — с первой минуты можно видеть, как данные укладываются в базу.

2. Аналитик смотрит, насколько данные соответствуют поведению пользователей. При необходимости строит графики распределения и смотрит, насколько они качественные, есть ли хвосты. Если находятся ошибки, мы изменяем настройку стриминга или чистим данные, потому что с грязными данными невозможно работать в машинном обучении.

3. Специалисты Data Science создают признаки (feature engineering) из визитов и контента, например количество просмотренных товаров, количество добавлений товаров в избранное, количество добавленных товаров за сессию в корзину.

Распределения весов признаков алгоритма
Распределения весов признаков алгоритма — на их основе предсказываем поведение клиента

4. Обучаем модель на исторических данных. Допустим, мы хотим предсказывать, будет ли у пользователя следующий сеанс или вернется ли он к нам в течение 7 дней. Для этого берем исторические данные, признаки — и реализуем алгоритм. Для предсказания мы используем классификацию — биномиальный ответ в виде 1 или 0.

5. Валидируем модель на исторических данных: точность прогноза, бизнес-метрики.

Прежде всего мы смотрим на долю accuracy (долю правильных ответов) и ROC-AUC (площадь под кривой ошибок):

Доля accuracy и ROC-AUC

Accuracy (доля правильных предсказаний) 0,88 говорит о том, что в 88% случаях мы точно предсказываем, что пользователь вернется или не вернется. Precision (точность) — о том, какая доля предсказаний, что пользователь вернется, оказалась правильной. Recall (полнота) — о том, какую долю реальных возвращений мы предсказали.

AUC ROC (площадь под кривой ошибок)
AUC ROC (площадь под кривой ошибок) используем для оценки качества работы алгоритма на выборке данных

Помимо ответов алгоритма 1 и 0 есть еще вероятность действия в процентах. И здесь мы задаем порог: если вероятность возврата пользователя более 30% и такие пользователи чаще всего действительно возвращаются, то ответ — 1.

6. Прогнозируем действия пользователя.

7. Маркетолог разрабатывает механики для применения прогноза.

8. Запускаем АB-тест — только на новых пользователях, которые познакомились с нашим сайтом прямо сейчас. Тест длится около трех недель, и в течение этого времени мы смотрим, как меняется накопительный p-value. В какой-то момент разница между группами становится значимой, понимаем, что скоро тест можно завершать и выкатывать механику в продакшен.

9. Аналитик измеряет результаты механики.

На основе каких клиентских данных работает предсказание

Visit-based. На основе действий на сайте: просмотр карточек товаров, добавление товаров в корзину, покупки.

Content-based. На основе действий с контентом сайта. Сначала собираем данные о действиях пользователей: открытие таблицы размеров, добавление товара в избранное, чтение отзывов. Затем смотрим, как эти действия влияют на прокси-метрики (промежуточные конверсии до заказа) — это нужно, потому что данных по этим метрикам больше, чем заказов. Затем смотрим корреляцию прокси-метрик с показателями конверсий в покупку и возвратов.

Подходы visit based и content based пересекаются. Но в visit based мы оцениваем поведение пользователя, а в content based — сам контент.

CRM-based. Обогащение данных из CRM интернет-магазина, учет истории покупок.

Советы интернет-магазинам

  1. Анализируйте данные, даже если вы маленький интернет-магазин. В данных скрыты точки роста, которые позволяют вывести бизнес на новый уровень. В современном мире с огромной конкуренцией в digital невозможно решить проблему роста бизнеса банальным вливанием денег.
  2. Рост конверсии, ключевой метрики интернет-магазина, — самый сильный фактор развития вашего бизнеса.
  3. Не бойтесь строить инфраструктуру и внедрять новые технологии в ваш бизнес. Внедрение машинного обучения позволяет сделать шаг вперед и уйти в отрыв от конкурентов.
  4. Научитесь считать ROI от инвестиций в новые технологии. Большинство компаний боятся выделять бюджет на новые инструменты, потому что не совсем понимают, какую выгоду они получат.

Дальнейшие планы по развитию маркетинга

Сейчас у нас в работе динамическое ценообразование — мы будем оценивать, когда на какой товар дать скидку или, наоборот, не дать. Звучит всё просто: товар часто покупают — не даем скидку, редко покупают — даем. Но мы подходим чуть глубже и шире — смотрим, где этот товар находился в каталоге, в каких маркетинговых механиках участвовал, сколько раз этот товар просматривали, сколько раз добавляли в корзину.

А следующий шаг— динамическое ценообразование для каждого пользователя.

Использованные инструменты