Проверка экономической эффективности модели атрибуции

 
4.5

0. Краткое содержание предыдущих серий

Для тех, кто к нам только присоединился, напомним пройденные этапы:

  1. Стандартные модели атрибуции, такие как Last Non-Direct Click или ассоциированные конверсии, обладают существенными недостатками;
  2. Применение моделей, учитывающих взаимное влияние каналов, позволяет значительно увеличить эффективность онлайн-рекламы;
  3. Решением задачи атрибуции является оценка сессий пользователей на основе вероятности прохождения воронки;
  4. В результате внедрения атрибуции мы получаем оценку рекламных кампаний с учетом их влияния на каждый шаг воронки, а не только на заказ. Все данные для отчетов обрабатываются в Google BigQuery. В отчётах учитываются действия пользователей, расходы на все рекламные кампании и заказы из CRM.

Теперь наша задача — убедиться на практике, что атрибуция на основе воронки позволяет эффективнее управлять рекламным бюджетом. Рассмотрим подробно, что для этого надо сделать.

1. Постройте отчет с ключевыми показателями

Сначала выберем целевой показатель, по которому будем оценивать эффективность использования рекламного бюджета. Чаще всего ориентируются на  ROAS ROAS (прибыль от размещения рекламы) = доход от размещения рекламы / затраты на размещение рекламы * 100% , но в вашем проекте это может быть и  ROI ROI (коэффициент доходности бизнеса с учетом инвестиций)= (доход — инвестиции) / инвестиции * 100% , CPA CPA (цена за действие) = сумма расходов на рекламу / количество целевых действий или ДРР ДРР (доля рекламных расходов) = расходы на рекламу / прибыль с рекламы * 100% . Главное, чтобы сравнив значение этого показателя для двух кампаний вы могли понять какая из них работает лучше.

Теперь построим отчет, сравнив значение выбранного показателя, рассчитанное по модели атрибуции на основе воронки и по текущей модели. Если сейчас вы опираетесь на данные стандартного отчета Google Analytics, то это модель Last Non-Direct Click.

график для мобильного
Campaign Costs Sessions Revenue, $ ROAS Difference, %
Last Non-Direct Click Funnel Based Last Non-Direct Click Funnel Based ROAS Difference Costs difference
campaign1 2,325,359 332,194 69,832,323 247,902,077 3003% 10661% –13% –305,493
campaign2 1,184,186 296,046 11,727,555 38,079,496 990% 3216% –5% –59,601
campaign3 2,840,574 946,858 39,170,752 128,024,626 1379% 4507% –22% –615,091
campaign4 1,893,177 189,317 31,637,394 114,599,043 1671% 6053% 15% 281,541
campaign5 442,209 315,86 10,496,869 39,890,792 698% 2148% 18% 80,482

Campaign — название рекламной кампании, оценку которой мы даем. Отчета с группировкой на уровне source / medium часто недостаточно, так как кампании в одном канале могут влиять на разные этапы воронки. Например, контекстные кампании по товарным запросам и по категорийным запросам.

Costs — это сумма расходов на данную кампанию за рассматриваемый период.

Sessions — количество сессий, источник которых — данная рекламная кампания.

Значения Campaign, Costs и Sessions, очевидно, не зависят от модели атрибуции.

Revenue — это доход, полученный благодаря конкретной рекламной кампании. Он напрямую зависит от модели атрибуции. Поэтому его мы рассчитываем отдельно для каждой модели. Доход будет отличаться, так как при Last Non-Direct Click ценность от заказа атрибутируется только на одну, последнюю сессию. А при атрибуции на основе воронки (Funnel Based) оценивается каждая сессия, которая помогла пользователю приблизиться к заказу.

Получив Revenue и Costs мы теперь можем рассчитать ROAS каждой из моделей:

ROAS = RevenueCosts * 100%

ROAS будет ожидаемо отличаться, так как отличается Revenue.

ROAS Difference показывает относительное отклонение ROAS, рассчитанное на основе Funnel Based модели от ROAS, рассчитанного по Last Non-Direct Click. Это отклонение показывает, насколько изменится оценка данной рекламной кампании, если мы будем оценивать ее на основе вклада в прохождение каждого шага воронки, а не только в оформление заказа.

Отклонение ROAS дает нам важную информацию, но при этом не учитывается, насколько большой бюджет потрачен на данную кампанию. Очевидно, что при одинаковом отклонении нас будут в первую очередь интересовать кампании, на которые мы тратим больше.

Поэтому добавим последнюю колонку — Costs Difference.

Costs Difference = ROAS Difference * Costs

В итоге мы узнали, насколько отличается оценка рекламных кампаний на основе Funnel Based от Last Non-Direct Click модели атрибуции с учетом размера самих кампаний. Кампании с наибольшим значением Costs Difference следует проанализировать и переоценить в первую очередь.

2. Сегментируйте пользователей для тестирования

Как понять, что новая модель атрибуции и полученный ROAS дают более объективную оценку рекламных кампаний? Очень просто — использовать ее при распределении рекламного бюджета и сравнить результаты.

Один пользователь взаимодействует с разными кампаниями. Поэтому для тестирования мы не можем разделить рекламные кампании на две группы. Кроме того, один и тот же рекламный бюджет нельзя разделить двумя разными способами в один момент времени, а это значит, что мы не можем провести классическое A/B тестирование. Следовательно, нам необходимо выделить такие сегменты аудитории, которые не пересекаются, но, в тоже время, в одинаковой степени подвержены внешним факторам.

В рамках сегмента A будем работать «по старинке», а при распределении бюджета в сегменте B будем руководствоваться ROAS, рассчитанным по новой модели.

Осталось выбрать вариант разделения аудитории на сегменты A и B.

Вариант 1. Разделить сегменты и кампании по странам

Преимущество:
Легко таргетировать, рекламные кампании скорее всего уже распределены и аудитория разных стран мало пересекается.
Ограничение:
Подходит только международным проектам, работающим в нескольких странах. Такие факторы, как резкое изменение курса валют или национальные праздники, могут исказить результаты. Причем первое предусмотреть сложнее.

Вариант 2. Разделить сегменты и кампании по регионам

Преимущество:
Подходит проектам, работающим в рамках одной страны.
Ограничение:
Не всегда рекламные кампании в проекте разделены по регионам, а сделать это ради тестирования проблематично. Кроме того, новая кампания будет в заведомо худших условиях из-за отсутствия истории, накопленной в рекламном сервисе.

Вариант 3. Перераспределить бюджет сразу для всего проекта

Преимущество:
Подходит большинству проектов со стабильным и измеренным ROAS.
Ограничение:
Влияние модели атрибуции на полученные результаты будет менее однозначным.

В результате мы должны получить примерно следующий график, на котором видно изменение ROAS в тестируемом сегменте (в третьем варианте сегмент будет один):

график изменения ROAS в тестируемом сегменте

Как вы видите, в каждом варианте есть свои преимущества и ограничения. Но тестирование в любом случае проводить бесполезно, если измеряемый показатель ведет себя непредсказуемым образом еще до тестирования:

график изменения ROAS

Часто это является следствием некорректных данных. Например, провалов в загруженных расходах или невыполненных заказов на большие суммы.

3. Перераспределите рекламный бюджет

Из отчета, который мы построили на первом шаге, мы знаем, какие рекламные кампании переоценены — Costs difference отрицательный, а какие недооценены — Costs difference положительный. Перед перераспределением бюджета надо определиться, что для нас приоритетнее:

  • Максимизировать доход при текущем рекламном бюджете;
  • Максимизировать доход при текущем ROAS;
  • Сохранить доход при меньшем рекламном бюджете.

Для каждого из их этих вариантов немного отличается логика перераспределения:

Если необходимо максимизировать доход при текущем рекламном бюджете — переносим рекламный бюджет с переоцененных рекламных кампаний на недооцененные.

Если необходимо максимизировать доход при текущем ROAS — увеличиваем бюджет на недооцененные кампании.

Если необходимо сохранить доход при меньшем рекламном бюджете — переносим часть дохода с переоцененных кампаний на недооцененные.

Перед увеличением бюджета на любую из кампаний важно помнить о внешнем показателе, который не может быть измерен атрибуцией — о емкости канала. Если вы уже знаете, что достигли в рекламной кампании «плато», то есть увеличение бюджета экспоненциально увеличивает среднюю стоимость клика, то увеличивать бюджет на такую кампанию надо в последнюю очередь. Этот эффект чаще всего наблюдается с брендовыми кампаниями, специализированными площадками или региональными кампаниями в небольших городах. Оценить емкость канала можно по доле выкупленных показов, но, к сожалению, ее предоставляют не все сервисы. В Google AdWords это можно узнать по метрике Impression Share.

4. Определение периода тестирования

Время тестирования модели зависит от конверсионного окна — времени, в течение которого покупатели проходят воронку от визита до заказа на сайте. Важно учесть, что рекламные кампании, стимулирующие прохождение воронки на верхних этапах, требуют больше времени для накопления ценности. И именно эти кампании чаще всего оказываются недооцененными при Last Non-Direct Click атрибуции.

По нашему опыту, оптимальный период тестирования составляет от 30 до 90 дней. При чем первые 75% времени — это не период, когда что-то происходит само собой; это когда вы перераспределяете бюджет согласно новой модели атрибуции.

5. Подведение итогов

При сравнении результатов использования моделей атрибуции необходимо смотреть на изменение общего ROAS в сегменте, а не ROAS конкретных рекламных кампаний. Ведь наша цель — это командный результат, когда рекламные кампании гармонично дополняют друг друга и вместе проводят покупателя по воронке. Поэтому, вполне ожидаемо, что после перераспределения рекламного бюджета какая-то из кампаний может получить меньшую ценность, но проект в целом заработает больше. Подобного результата нельзя достичь с Last Non-Direct Click атрибуцией, где каждая кампания оценивается «сама по себе» и «результативные передачи» не учитываются.

Не забудьте, что атрибуция не может измерить недооцененность каналов, если вы их не используете. Например, если вы не используете медийную рекламу или RTB, то атрибуции нечего будет оценивать. Единственный способ узнать ценность новых источников — это попробовать их.

И самое главное, помните: что атрибутируешь, то и пожнешь. Если вы оцениваете рекламные каналы на основе дохода от транзакций в Google Analytics, то именно на эту цель будут оптимизированы рекламные кампании. Но, скорее всего, цель вашего бизнеса — это прибыль от онлайн-клиентов, с учетом заказов через call-центр и в физических магазинах, с учетом маржинальности товаров и расходов на доставку. Влияние этих факторов на рекламные кампании — неравномерное. Поэтому, если их учесть, то это также повлияет на распределение рекламного бюджета и позволит повысить ROAS.

Простой пример: чем дороже товар, тем больше доля пользователей, которые размещают заказ не через сайт, а звонят в call-центр или приходят в физический магазин. В тоже время, если доход этих заказов не будет атрибутирован на рекламные кампании, такие кампании останутся недооцененными, хотя могли бы привлечь больше покупателей дорогих товаров.

Что делать дальше? Все просто:

  • Расcчитайте потенциальную ценность  от атрибуции на основе воронки;
  • Настройте атрибуцию на основе воронки с OWOX BI Attribution;
  • Начните использовать новый, более объективный показатель оценки рекламных кампаний в уже существующих процессах управления рекламным бюджетом.

Вас также могут заинтересовать