Optimize 360 позволяет принимать решения и экспериментировать с интерфейсом

Цель

OWOX специализируется на продаже и поддержке Analytics 360, разработке и внедрении онлайн сервисов на базе Google Cloud Platform, а также организации и проведении крупнейших в Украине и России конференций по онлайн аналитике. Одним из ключевых источников генерации лидов является сайт компании. Контент, структура, дизайн и формы лидогенерации — это те составляющие сайта, над улучшением которых мы работаем каждый день. Таким образом мы пытаемся увеличить вовлеченность пользователя в наши услуги и повысить конверсию. Большое количество гипотез, тестирование которых, как правило, должно быть проведено в сжатые сроки, требовало постоянного вовлечения нескольких разработчиков. По этой причине от некоторых экспериментов нам приходилось отказываться, другие же были проведены несвоевременно и их результаты имели низкую ценность. Нам нужен был инструмент для проверки гипотез, который бы отвечал следующим требованиям:

1. Минимальное вовлечение разработчиков;
2. Простота внедрения;
3. Интеграция с Analytics 360:
   • Возможность построения отчетов любой сложности в интерфейсе Analytics 360;
   • Возможность таргетинга в экспериментах с помощью собранных данных в Analytics 360.

Решение

Для запуска экспериментов, тестирования и анализа наших гипотез мы использовали Optimize 360 и Analytics 360.

После разработки и согласования тест плана были выполнены работы по внедрению и настройке Optimize 360:

• Был создан аккаунт в Optimize;
• Код Optimize был размещен на всех страницах сайта вверху тега , сразу после переменной Data Layer;

  

• Была установлена связь между аккаунтами Optimize 360 и Analytics 360.

На втором этапе были выполнены настройки эксперимента для каждой из гипотез:

1. Изменение дизайна кнопки Request Demo. В этом случае мы использовали A/B test, а альтернативные варианты были созданы в Optimize Visual Editor без помощи разработчиков:

   

   Успешность тестируемых альтернативных вариантов определялась по количеству нажатий на кнопку Request Demo.
2. Адаптивная версия сайта. Для тестирования адаптивной версии сайта мы использовали Redirect test. В качестве критериев оценки были использованы такие показатели, как количество просмотренных страниц, длительность сессии, показатель отказов, а также одна из целей Analytics 360, которая считает количество определенных интерактивных действий на сайте:

   

   Для того, чтобы результаты эксперимента были объективными, одним из условий таргетинга было участие в тесте только тех пользователей, которые посещали сайт с планшета или мобильного телефона.

   

3. Дополнительная кнопка Request Demo. В этом случае также использовался A/B test, а альтернативная страница была создана с помощью Optimize Visual Editor без привлечения разработчиков. Критериями оценки в этом эксперименте были количество открытых и количество успешно отправленных форм Request Demo. Для того, чтобы в эксперименте не участвовали пользователи, которым отображается адаптивная версия сайта (дополнительная кнопка Request Demo ломала верстку в этом случае) в Targeting tab нужно было использовать дополнительное условие. Так как отображение адаптивной версия сайта зависело от разрешения экрана, а не от типа устройства, то в этом случае нам необходимо было создать Java Script Variable. С помощью этой переменной мы определяли необходимость участия пользователя в эксперименте.

   

   В Custom Java Script Variable clientWidth определялась версия сайта.
4. Новая версия страницы-каталога с описанием продуктов OWOX BI. Для этого эксперимента мы использовали Redirect test. Успешность новой страницы определяли по количеству переходов на страницы продуктов, показателям отказов и выходов. Особенность этого эксперимента заключалась в том, что в тестировании должны были участвовать только новые пользователи или те, кто ранее не видел старую страницу-каталог:

   

   Для этого мы создали сегмент в Analytics 360 и использовали его в качестве одного из условий таргетинга:

   

   Для определения лучшего варианта и времени остановки эксперимента мы использовали встроенные отчеты Optimize 360 и Analytics 360:

   

   

   При этом, если по истечению нескольких недель длительности теста победитель не был определен, то мы продолжали экспериментировать, изменяя условия таргетинга для того, чтобы большая часть аудитории приняла участие в эксперименте, а результаты были статистически значимыми.

Результаты

В результате реализации внедрения и использования Optimize 360 как ключевого инструмента для проведения экспериментов нам удалось:

• Сократить необходимость вовлечения разработчиков в процесс внедрения и проведения тестирования более, чем в 50% запущенных экспериментов;
• Запустить 100% тестов согласно плана;
• Увеличить количество своевременно проведенных экспериментов более чем в 2 раза.

В результате решений, принятых на основании двух завершенных экспериментов, нам удалось повысить конверсию формы Request Demo на 21% или на 1,4 проц.пункта.