Проверка экономической эффективности модели атрибуции

0. Краткое содержание предыдущих серий

Для тех, кто к нам только присоединился, напомним пройденные этапы:

1. Стандартные модели атрибуции, такие как Last Non-Direct Click или ассоциированные конверсии, обладают существенными недостатками;
2. Применение моделей, учитывающих взаимное влияние каналов, позволяет значительно увеличить эффективность онлайн-рекламы;
3. Решением задачи атрибуции является оценка сессий пользователей на основе вероятности прохождения воронки;
4. В результате внедрения атрибуции мы получаем оценку рекламных кампаний с учетом их влияния на каждый шаг воронки, а не только на заказ. Все данные для отчетов обрабатываются в Google BigQuery. В отчётах учитываются действия пользователей, расходы на все рекламные кампании и заказы из CRM.

Теперь наша задача — убедиться на практике, что атрибуция на основе воронки позволяет эффективнее управлять рекламным бюджетом. Рассмотрим подробно, что для этого надо сделать.

1. Постройте отчет с ключевыми показателями

Сначала выберем целевой показатель, по которому будем оценивать эффективность использования рекламного бюджета. Чаще всего ориентируются на  ROAS ROAS (прибыль от размещения рекламы) = доход от размещения рекламы / затраты на размещение рекламы * 100% , но в вашем проекте это может быть и  ROI ROI (коэффициент доходности бизнеса с учетом инвестиций)= (доход — инвестиции) / инвестиции * 100% , CPA CPA (цена за действие) = сумма расходов на рекламу / количество целевых действий или ДРР ДРР (доля рекламных расходов) = расходы на рекламу / прибыль с рекламы * 100% . Главное, чтобы сравнив значение этого показателя для двух кампаний вы могли понять какая из них работает лучше.

Теперь построим отчет, сравнив значение выбранного показателя, рассчитанное по модели атрибуции на основе воронки и по текущей модели. Если сейчас вы опираетесь на данные стандартного отчета Google Analytics, то это модель Last Non-Direct Click.

Campaign — название рекламной кампании, оценку которой мы даем. Отчета с группировкой на уровне source / medium часто недостаточно, так как кампании в одном канале могут влиять на разные этапы воронки. Например, контекстные кампании по товарным запросам и по категорийным запросам.

Costs — это сумма расходов на данную кампанию за рассматриваемый период.

Sessions — количество сессий, источник которых — данная рекламная кампания.

Значения Campaign, Costs и Sessions, очевидно, не зависят от модели атрибуции.

Revenue — это доход, полученный благодаря конкретной рекламной кампании. Он напрямую зависит от модели атрибуции. Поэтому его мы рассчитываем отдельно для каждой модели. Доход будет отличаться, так как при Last Non-Direct Click ценность от заказа атрибутируется только на одну, последнюю сессию. А при атрибуции на основе воронки (ML Funnel Based) оценивается каждая сессия, которая помогла пользователю приблизиться к заказу.

Получив Revenue и Costs мы теперь можем рассчитать ROAS каждой из моделей:

ROAS будет ожидаемо отличаться, так как отличается Revenue.

ROAS Difference показывает относительное отклонение ROAS, рассчитанное на основе ML Funnel Based модели от ROAS, рассчитанного по Last Non-Direct Click. Это отклонение показывает, насколько изменится оценка данной рекламной кампании, если мы будем оценивать ее на основе вклада в прохождение каждого шага воронки, а не только в оформление заказа.

Отклонение ROAS дает нам важную информацию, но при этом не учитывается, насколько большой бюджет потрачен на данную кампанию. Очевидно, что при одинаковом отклонении нас будут в первую очередь интересовать кампании, на которые мы тратим больше.

Поэтому добавим последнюю колонку — Costs Difference.

В итоге мы узнали, насколько отличается оценка рекламных кампаний на основе ML Funnel Based от Last Non-Direct Click модели атрибуции с учетом размера самих кампаний. Кампании с наибольшим значением Costs Difference следует проанализировать и переоценить в первую очередь.

2. Сегментируйте пользователей для тестирования

Как понять, что новая модель атрибуции и полученный ROAS дают более объективную оценку рекламных кампаний? Очень просто — использовать ее при распределении рекламного бюджета и сравнить результаты.

Один пользователь взаимодействует с разными кампаниями. Поэтому для тестирования мы не можем разделить рекламные кампании на две группы. Кроме того, один и тот же рекламный бюджет нельзя разделить двумя разными способами в один момент времени, а это значит, что мы не можем провести классическое A/B тестирование. Следовательно, нам необходимо выделить такие сегменты аудитории, которые не пересекаются, но, в тоже время, в одинаковой степени подвержены внешним факторам.

В рамках сегмента A будем работать «по старинке», а при распределении бюджета в сегменте B будем руководствоваться ROAS, рассчитанным по новой модели.

Осталось выбрать вариант разделения аудитории на сегменты A и B.

Вариант 1. Разделить сегменты и кампании по странам

Вариант 2. Разделить сегменты и кампании по регионам

Вариант 3. Перераспределить бюджет сразу для всего проекта

В результате мы должны получить примерно следующий график, на котором видно изменение ROAS в тестируемом сегменте (в третьем варианте сегмент будет один):

Как вы видите, в каждом варианте есть свои преимущества и ограничения. Но тестирование в любом случае проводить бесполезно, если измеряемый показатель ведет себя непредсказуемым образом еще до тестирования:

Часто это является следствием некорректных данных. Например, провалов в загруженных расходах или невыполненных заказов на большие суммы.

3. Перераспределите рекламный бюджет

Из отчета, который мы построили на первом шаге, мы знаем, какие рекламные кампании переоценены — Costs difference отрицательный, а какие недооценены — Costs difference положительный. Перед перераспределением бюджета надо определиться, что для нас приоритетнее:

• Максимизировать доход при текущем рекламном бюджете;
• Максимизировать доход при текущем ROAS;
• Сохранить доход при меньшем рекламном бюджете.

Для каждого из их этих вариантов немного отличается логика перераспределения:

Если необходимо максимизировать доход при текущем рекламном бюджете — переносим рекламный бюджет с переоцененных рекламных кампаний на недооцененные.

Если необходимо максимизировать доход при текущем ROAS — увеличиваем бюджет на недооцененные кампании.

Если необходимо сохранить доход при меньшем рекламном бюджете — переносим часть дохода с переоцененных кампаний на недооцененные.

Перед увеличением бюджета на любую из кампаний важно помнить о внешнем показателе, который не может быть измерен атрибуцией — о емкости канала. Если вы уже знаете, что достигли в рекламной кампании «плато», то есть увеличение бюджета экспоненциально увеличивает среднюю стоимость клика, то увеличивать бюджет на такую кампанию надо в последнюю очередь. Этот эффект чаще всего наблюдается с брендовыми кампаниями, специализированными площадками или региональными кампаниями в небольших городах. Оценить емкость канала можно по доле выкупленных показов, но, к сожалению, ее предоставляют не все сервисы. В Google AdWords это можно узнать по метрике Impression Share.

4. Определение периода тестирования

Время тестирования модели зависит от конверсионного окна — времени, в течение которого покупатели проходят воронку от визита до заказа на сайте. Важно учесть, что рекламные кампании, стимулирующие прохождение воронки на верхних этапах, требуют больше времени для накопления ценности. И именно эти кампании чаще всего оказываются недооцененными при Last Non-Direct Click атрибуции.

По нашему опыту, оптимальный период тестирования составляет от 30 до 90 дней. При чем первые 75% времени — это не период, когда что-то происходит само собой; это когда вы перераспределяете бюджет согласно новой модели атрибуции.

5. Подведение итогов

При сравнении результатов использования моделей атрибуции необходимо смотреть на изменение общего ROAS в сегменте, а не ROAS конкретных рекламных кампаний. Ведь наша цель — это командный результат, когда рекламные кампании гармонично дополняют друг друга и вместе проводят покупателя по воронке. Поэтому, вполне ожидаемо, что после перераспределения рекламного бюджета какая-то из кампаний может получить меньшую ценность, но проект в целом заработает больше. Подобного результата нельзя достичь с Last Non-Direct Click атрибуцией, где каждая кампания оценивается «сама по себе» и «результативные передачи» не учитываются.

Не забудьте, что атрибуция не может измерить недооцененность каналов, если вы их не используете. Например, если вы не используете медийную рекламу или RTB, то атрибуции нечего будет оценивать. Единственный способ узнать ценность новых источников — это попробовать их.

И самое главное, помните: что атрибутируешь, то и пожнешь. Если вы оцениваете рекламные каналы на основе дохода от транзакций в Google Analytics, то именно на эту цель будут оптимизированы рекламные кампании. Но, скорее всего, цель вашего бизнеса — это прибыль от онлайн-клиентов, с учетом заказов через call-центр и в физических магазинах, с учетом маржинальности товаров и расходов на доставку. Влияние этих факторов на рекламные кампании — неравномерное. Поэтому, если их учесть, то это также повлияет на распределение рекламного бюджета и позволит повысить ROAS.

Простой пример: чем дороже товар, тем больше доля пользователей, которые размещают заказ не через сайт, а звонят в call-центр или приходят в физический магазин. В тоже время, если доход этих заказов не будет атрибутирован на рекламные кампании, такие кампании останутся недооцененными, хотя могли бы привлечь больше покупателей дорогих товаров.

Что делать дальше? Все просто:

• Расcчитайте потенциальную ценность  от атрибуции на основе воронки;
• Настройте атрибуцию на основе воронки с OWOX BI Attribution;
• Начните использовать новый, более объективный показатель оценки рекламных кампаний в уже существующих процессах управления рекламным бюджетом.