A/B тестирование: быть или не быть

185
4113
Материалы для скачивания
978.32 Kb

Под лежачий камень вода не течет и лиды не приходят. Чтобы превратить драгоценный трафик, который приносит ваша реклама, в успешные продажи, нужно постоянно оптимизировать свой сайт. Улучшать пользовательский опыт, поведенческие показатели и коэффициент конверсии. Но как убедиться в том, что изменения, которые вы собираетесь внедрить, принесут ожидаемый результат? Для этого существует A/B тестирование. В статье мы расскажем, что это такое, как его проводить и на какие нюансы стоит обратить внимание.

Если вам нужна помощь с внедрением метрик, сбором данных и запуском A/B тестов, команда OWOX BI готова помочь. Закажите демо, чтобы уточнить детали.

ЗАКАЗАТЬ ДЕМО

Содержание

Что такое A/B тестирование

 A/B тестирование в маркетинге оно же сплит-тест (от англ. split testing) — это сравнение двух вариантов посадочной страницы, которые отличаются между собой одним параметром. Его цель — определить, какой из двух вариантов наиболее эффективный и приносит больше конверсий.

Допустим, вы продаете какое-нибудь программное обеспечение. У вас есть лендинг с описанием продукта и кнопкой для подписки на пробную версию, которая расположена в конце страницы. Чтобы увеличить количество подписчиков, вы решили добавить еще одну кнопку на первый экран — для тех, кто уже знает о вашем продукте или предпочитает пробовать сразу, а не читать подробные инструкции.

Чтобы проверить, сработает ли ваша гипотеза, вы создаете копию оригинального лендинга и добавляете на нее кнопку. Затем делите посетителей страницы на две части: одним показываете оригинальную страницу (вариант А), другим — усовершенствованную (вариант B). По окончании теста сравниваете показатели эффективности (в нашем примере это количество подписок) и определяете победителя.

A/B тест

Зачем проводить А/B тесты

Рассмотрим несколько основных проблем, которые помогают решить сплит-тесты.

1. Лучше понимать своих пользователей и давать им то, чего они хотят. Как бы долго вы ни занимались электронной коммерцией и онлайн-маркетингом, будет ошибкой полагаться в этом вопросе исключительно на личный опыт.
 
Даже если кажется, что вы можете предугадать поведение пользователя на сайте и понимаете, как именно организовать контент, чтобы он максимально быстро двигался по воронке продаж, проведите A/B тест. Результаты могут вас удивить.

Как показывает практика, не всегда наши предположения совпадают с реальной картиной. Поэтому мы не можем решать, что лучше для клиента, основываясь лишь на собственных убеждениях.

2. Данные VS экспертное мнение. Вторая проблема, вытекающая из первой — это целесообразность изменений на сайте и минимизация связанных с этим рисков.

Часто гипотезы строятся на основе личных взглядов, которые могут не совпадать со взглядами аудитории. В результате изменения, внедренные без предварительного А/В теста, не приносят желаемого эффекта или того хуже — снижают конверсию.

Поэтому, когда перед вами стоит вопрос, что использовать для принятия решений — данные или экспертное мнение, всегда выбирайте данные.

3. Персонализировать коммуникацию с клиентами. Существует много точек взаимодействия с клиентам: они пользуются различными устройствами, приходят из разных источников, по-разному взаимодействуют с вашим сайтом, просматривают и покупают разные товары...

Сервисы веб-аналитики, такие как Google Analytics, Яндекс.Метрика и пр., помогают объединить эти данные и систематизировать знания о пользователе. Мы собираем информацию о том, на каких страницах они были, что делали. Это дает возможность разделить аудиторию по множеству признаков на несколько десятков или сотен сегментов и узнать, к примеру, как себя ведут пользователи, пришедшие с органики или с платного трафика.

Но мы не всегда правильно используем эту информацию и не выжимаем из нее максимум пользы. Простой пример: большинство онлайн-проектов до сих пор показывает один и тот же контент всем пользователям, независимо от их поведения и источников трафика:

Персонализация контента

Если вы тоже так делаете, сплит-тест поможет вам исправить ситуацию и персонализировать контент на сайте.

Основные этапы A/B теста

Теперь давайте рассмотрим основные этапы и нюансы сплит-тестирования:

Этапы A/B теста

Этап 1. Выявить проблему

Первым делом вам нужно определить список слабых мест на сайте. Для этого вы можете:

  • Изучить данные в Google Analytics и других системах веб-аналитики, посмотреть, у каких страниц высокий показатель отказов, небольшая глубина скроллинга или плохая конверсия.
  • Использовать вебвизор и тепловые карты кликов, чтобы понять, как пользователи взаимодействую с элементами вашего сайта.
  • Проанализировать обращения в службу поддержки или опросить действующих клиентов, чтобы узнать, чего им не хватает на сайте.

К примеру, вы посмотрели стандартную Enhanced Ecommerce воронку в GA и увидели, что у вас с карточки товара очень мало человек добавляет товар в корзину. При этом, если у вас есть офлайн-точка, и вы знаете, что в ней популярность товара высокая, то скорее всего что-то не так с вашим онлайн-магазином

Этап 2. Выдвинуть гипотезу

Когда вы определились, что исправлять, нужно подумать, как именно вы будете это делать. Без гипотезы A/B тестирование не имеет смысла — ценность от выводов, которые вы получите, будет невелика. Вы должны четко представлять, с какой целью вы проводите эксперимент, какой элемент веб-страницы нужно протестировать, и каких количественных результатов хотите достичь.

При формулировании гипотезы отталкивайтесь от вашей конверсионной воронки. Спросите себя: «Что мне стоит поменять в той или иной части страницы, чтобы быстрее продвинуть пользователя по воронке?». В рамках одного теста проверяйте одну гипотезу, иначе будет сложно определить, какое именно изменение и в какой степени повлияло на конечный результат.

Что можно тестировать:

  • Цвет, размер, текст и местоположение конверсионных кнопок.
  • Заголовки — изменить текст, сделать его короче, интереснее и релевантнее содержимому страницы.
  • Формы — можно сократить количество полей или добавить подсказки и примеры заполнения.
  • Дизайн лендинга — изменить структуру страницы, шрифт или цветовую гамму.
  • Контент — добавить качественные фото и видео, призывы к действию, акционные предложения, слово «бесплатно» и т.д.

Еще больше примеров вы найдете в статье «100 идей для A/B тестирования» часть 1, часть 2.

Выбор показателей для оценки эффективности зависит от гипотезы и целей, которых вы хотите достичь. Это могут быть: доход, количество покупок, коэффициент конверсии, средний чек, заявки и подписки, показатель отказов и другие метрики.

Этап 3. Проверить метрики

Следующим шагом вам нужно убедиться, что у вас внедрены и фиксируются все необходимые метрики, на основе которых вы будете делать выводы в конце теста. В своей работе мы сталкивались со случаями, когда клиенты выявили слабые места, определили гипотезы, но не прописали корректно систему метрик так, чтобы потом можно было понять, конверсия изменилась именно из-за этой кнопки, которую он поменял, либо из-за других факторов.

Этап 4. Запустить тест

Перед тем, как запускать эксперимент, рекомендуем вам учесть следующие факторы:

  • Минимальный размер выборки — чтобы результаты теста были статистически значимыми и им можно было доверять, определите необходимое количество пользователей, которые должны участвовать в тестировании. Сделать это можно с помощью бесплатных онлайн-калькуляторов, например: Driverback или Optimizely. Допустим, конверсия у вашего исходного лендинга 5%, и вы ожидаете что, у тестового варианта страницы она достигнет 7%, значит минимальный видимый эффект в вашем случае составляет 40%. Вводите эти цифры в калькулятор и видите, что для тестирования нужно вам нужно минимум по 1965 человек на каждый вариант:
Калькулятор размер выборки
  • Внешние факторы: сезонность, праздники, акции, погода, курс валюты и т.д. Чтобы они не исказили результаты эксперимента, важно показывать оба варианта страницы параллельно, в один и тот же период.
  • В первую очередь тестируйте макроконверсии. Если вы поставили цель — посещение определенной страницы, вполне вероятно, что пользователь ее достигнет, но в финале не совершит транзакцию или не сделает другое целевой действие. Всегда нужно продумывать полностью вашу воронку, чтобы понимать, какое из действий пользователей на сайте наиболее приоритетное.
  • Учитывайте тип устройства пользователей. Если вы запускаете эксперимент на весь трафик сайта, при этом у вас есть мобильная и десктопная версии, нужно проверить, как выглядит тестовый вариант на мобильном устройстве.
  • Исключите внутренний трафик, чтобы действия сотрудников вашей компании на сайте не искажали статистику. Это можно сделать в Google Analytics с помощью фильтра по IP-адресу.

После этого вы можете запускать тест. Чуть ниже мы расскажем об инструментах, с помощью которых это делается.

Этап 5. Проанализировать результаты

По окончании эксперимента вы сравниваете и анализируете полученные результаты. К примеру, изначальный CR на вашем лендинге был 3%, вы предполагали, что можете увеличить его до 5%, а тестовый вариант показал 3,5%. То есть коэффициент конверсии хоть и увеличился, но совсем незначительно. Тут уже вам решать, стоит ли внедрять изменение на сайт или протестировать другую гипотезу.

Проверить, имеют ли результаты сплит-теста статистическую значимость, вы можете с помощью онлайн-калькулятора или статистических методов:

Калькулятор статистической значимости

Прочитать подробнее, что такое статистическая мощность, длина выборки, доверительный интервал, статистическая значимость и как они считаются, вы можете в статье «Статистика в веб-аналитике, или Как стать настоящим Data Scientist».

Если тест прошел успешно и вы получили достоверные данные, выводите лендинг-победитель на сайт и приступайте к следующему эксперименту.

Возможные ошибки при анализе результатов тестирования:

  • Преждевременная оценка результатов. Сплит-тест рекомендуется проводить не менее 14 дней. Из этого правила можно сделать исключение, если задача горит, вы тестируете незначительные изменения, которые глобально не влияют на функционал сайта (например, поменяли цвет кнопки), и при этом используете Google Optimize. Если вы видите в отчете, что новый вариант побеждает с вероятностью 80-90%, можно остановить эксперимент — показатели уже вряд ли кардинально изменятся.
  • Оценка результатов при пороге достоверности менее 95% — это еще одна метрика из отчетов Optimize. Когда вы проводите эксперимент, сервис считает, какова достоверность конечного результата. Если она будет ниже 95%, эксперимент останавливать не рекомендуется. Этот порог вы можете увидеть во вкладке с активным экспериментом.
  • Игнорирование результатов теста как незначительных. Кто же не хочет увеличить конверсии сразу в 2 раза?! Но даже такой скромный, на первый взгляд, CR в 2-3% — это уже неплохой результат. Особенно, если изменения на лендинге были небольшие.
  • После теста нужно проверить глобальные показатели по сайту, а не только те, которые вы выбрали в рамках эксперимента. Одного параметра может быть недостаточно, чтобы оценить эффект от изменений. К примеру, средний чек может уменьшиться, а общая выручка вырасти за счет повышения коэффициента конверсии. Поэтому важно контролировать все взаимосвязанные KPI.

Инструменты для A/B тестирования

Для запуска теста необходимо создать тестовый вариант страницы, сегментировать аудиторию и посчитать целевые метрики для каждой их них отдельно. Если у вас есть навыки программирования и достаточно ресурсов, вы можете запустить А/B тест вручную. Но проще и удобнее делать это с помощью специальных сервисов.

Мы подготовили для вас небольшую таблицу, в которой сравнили популярные инструменты для сплит-тестов:


Google OptimizeChangeagainVWOOptimizelyConvertABtasty
Интеграция с Google Analytics
Х
Визуальный редактор
Цели Google AnalyticsХХХХ
ТаргетингБольшое количество критериев для таргетинга
Таргетинг по устройствам, странамБолее 15 критериевБолее 15 критериевБолее 35 критериев7 критериев
Наличие бесплатной или демоверсииБесплатная версия, до 5 тестов одновременноБесплатная версия для 1 эксперимента на 1 сайт. Демоверсия 30 дней
Демоверсия 30 дней, но трафик ограничен: 1 тыс. посетителейБесплатная версия для 1 сайта и 1 мобильного приложения. Функционал ограничен
Демоверсия 15 днейДемоверсия 30 дней

Мы в OWOX BI используем для тестов Google Optimize, поэтому подробнее остановимся на особенностях именно этого инструмента.

A/B тестирование с Google Optimize

Optimize — это онлайн-сервис для тестирования, который подключается к вашему веб-сайту и позволяет экспериментировать с различными способами отображения контента.

Google Optimize

Optimize позволяет использовать данные, которые вы накопили в Google Analytics, чтобы предлагать пользователю тот вариант страницы, который будет наиболее удобным для него и результативным для вашего бизнеса.

Плюсы Optimize

  • Полнота данных — для настройки и анализа эксперимента можно использовать цели и сегменты из Google Analytics. Вы будете работать с привычными метрики из GA, которые так знаете и любите.
  • Широкие возможности для персонализации — после успешного теста вы можете настроить показ различного контента, используя аудитории GA и переменные, которые внедрены, например в dataLayer в GTM. Если эксперименты позволяют улучшить производительность вашего сайта для среднестатистического пользователя, то персонализация, основываясь на информации которую мы знаем о пользователе, позволяет достичь еще большей производительности в рамках каждого сегмента.
  • Интеграция с другими продуктами Google для более глубокого таргетинга и анализа (Google Ads, Data Studio,Tag Manager и т.д.)
  • Удобный интерфейс, в котором легко разобраться. Есть визуальный редактор, благодаря которому настраивать и запускать новые эксперименты можно без привлечения разработчиков. Это существенно сокращает срок проведения эксперимента.
  • Минимально влияет на скорость загрузки страницы.
  • Не нужно вручную сводить данные готовить отчеты и применять статистические формулы для проверки результатов — сервис все делает сам.

Недостатки Optimize

  • Пока сервис невозможно использовать для тестирования мобильных приложений.
  • Нет расписания запуска тестов. Невозможно заранее запрограммировать, когда тест будет запущен. То есть, если вы хотите подготовить несколько десятков тестов, но не можете по определенным причинам запускать их одновременно, или есть ограничения бесплатной версии на количество одновременных тестов, или вы не хотите проводить на одной и той же аудитории тестирование нескольких десятков вариантов, то для вас этом может стать проблемой. Нужно будет в момент запуска теста еще раз зайти в интерфейс. Это не очень критичный недостаток, но тем не менее в некоторых других сервисах такая возможность есть.

Как работает Google Optimize

По принципу работы Google Optimize похож на другие инструменты для проведения экспериментов и персонализации:

Как работает Google Optimize
  1. Сначала нам необходимо создать варианты страниц, блоков pop-up-ов или других объектов, которые мы будем показывать пользователю.
  2. Дальше нужно определить цели (метрики), с помощью которых мы будем определять вариант-победитель. Это могут быть как встроенные в Optimize метрики: количество просмотров страниц, длительность сессии, транзакции, доход и показатель отказов, так и любая кастомная цель из GA.
  3. После этого нам необходимо определить аудиторию, которая будут участвовать в эксперименте и запустить его. На этом этапе вы должны определиться, насколько вы можете рисковать, показывая тестовый вариант пользователям. Вы можете распределить трафик между двумя вариантами поровну либо, к примеру, 20% на 80%. Плюс еще на этом этапе вы должны выбрать, какой части аудитории, которая посещает ваш сайт, вы будете показывать эксперимент. Показывать всем, либо взять 20% и уже на них распределять ваши два варианта. Зачем это нужно? На случай, если у вас крупный магазин, вы не уверены в своей гипотезе и не хотите рисковать половиной трафика.

Кроме классических A/B тестов в Optimize можно запускать мультивариативные тесты (когда у вас несколько меняющихся элементов во множестве комбинаций) и редирект тесты (для страниц с разным URL и дизайном).

Ознакомиться подробнее с интерфейсом и настройками сервиса вы можете в статье «Как провести свой первый А/B тест: автоматизируем процесс с Google Optimize».

Анализ результатов

Благодаря отчетам в Google Optimize вы можете наблюдать за результатами по ходу эксперимента и анализировать собранные данные сразу после его окончания.

Отчет в Google Optimize

Термины в отчетах Optimize:

    • Improvement — вероятный диапазон для коэффициента конверсии.
    • Probability to be best — вероятность, что этот вариант лучше всех остальных.
    • Probability to beat baseline — вероятность, что этот вариант принесет коэффициент конверсии лучше, чем оригинал.
    • Conversion Rate — прогнозируемый средний коэффициент конверсии.
    • Conversions — количество сессий с конверсиями.

    Как определяется победитель

    Optimize использует для расчета вероятности Байесову статистику. Если не углубляться в детали, то для пользователя это означает, что во время эксперимента в отчетах Optimize можно увидеть вероятность того, что вариант B будет победителем еще до окончания эксперимента. Если вероятность достигла определенного уровня, можно досрочно закончить эксперимент и сэкономить время и деньги бизнеса.

    Кроме того, команда Google планирует реализовать в Optimize механизм перераспределения трафика в пользу лучшего варианта до окончания эксперимента. Это позволит сэкономить ваши деньги так, как меньше пользователей во время теста увидят неэффективный вариант.

    Если вы интегрируете Optimize со своим аккаунтом Google Analytics, то сможете просматривать и анализировать результаты тестов в интерфейсе GA, меню «Поведение» — «Эксперименты»:

      Отчет «Эксперименты» в Google Analytics

      Ссылки на полезные материалы

      P. S. Если вам нужна помощь с запуском A/B тестов и созданием индивидуальной системы метрик для вашего бизнеса, напишите нам на email contact@owox.ru или заполните форму на сайте, или запишитесь на демо.

      Запись на демо

      Вас также могут заинтересовать