Клиенты для бизнеса

A/B-тест

A/B-тест — эксперимент, в котором две версии одного элемента показывают равным по составу группам людей и смотрят, какая даёт лучший результат. Так решения принимают по данным, а не по вкусу.

Как проводить

  1. Сформулируйте гипотезу: «заголовок с ценой даст выше CTR».
  2. Меняйте только один элемент.
  3. Разделите аудиторию на равные части и запустите варианты одновременно.
  4. Дождитесь достаточного числа событий и сравните метрики.

Что тестировать

  • Заголовок и первый абзац.
  • Изображение или видео.
  • Оффер и призыв к действию.
  • Посадочную страницу и форму.

Начинайте с того, что сильнее влияет на результат: оффер обычно важнее цвета кнопки.

Сколько данных нужно

Главная ошибка — остановить тест слишком рано. Если вариант А дал 3 заявки, а Б — 5, разница может быть случайной.

Ориентируйтесь на десятки конверсий в каждой группе и на полные недели, чтобы учесть дни недели. Для оценки значимости используйте калькуляторы статистической значимости.

Нюансы и пример

Допустим, вариант А даёт CTR 1,2%, вариант Б — 1,8%, при 10 000 показов на каждый. Разница заметна, но проверьте главное: конверсию и стоимость заявки. Бывает, что кликабельный вариант приводит случайных людей. Некоторые площадки имеют встроенные инструменты экспериментов, они следят за равенством условий. Результаты фиксируйте в таблице и повторно проверяйте при смене сезона.

Заводите журнал экспериментов: гипотеза, даты, результат и вывод. Через несколько месяцев такой журнал превращается в базу знаний о вашей аудитории и избавляет от повторных тестов.

Вопросы и ответы

Можно ли тестировать несколько элементов сразу?

Можно, но результаты сложнее интерпретировать. Для начала меняйте по одному элементу.

Сколько длится тест?

Пока не накопится достаточно данных и не пройдёт хотя бы одна-две недели.

Что делать, если разницы нет?

Это тоже результат: выбирайте любой вариант и тестируйте более смелую гипотезу.