A/B-тесты объявлений в Яндекс Директе: что тестировать и как читать результат
Тесты помогают улучшать рекламу на данных, а не на предположениях. Объясняем, как формулировать гипотезы, сколько ждать, какие метрики сравнивать и почему легко получить ложные выводы.
Что такое A/B-тест в рекламе
A/B-тест — сравнение двух вариантов, которые отличаются одним элементом: заголовком, картинкой, призывом, посадочной страницей. Оба варианта показываются в одинаковых условиях, и по результатам выбирается лучший. Смысл в том, чтобы принимать решения на основе наблюдаемого эффекта, а не мнения.
Ограничение: тест надёжен только при достаточном объёме данных. Малые выборки дают случайные результаты.
Что тестировать в первую очередь
| Элемент | Пример гипотезы | Ожидаемый эффект |
|---|---|---|
| Заголовок | Указание срока выполнения повысит CTR | CTR |
| Описание | Упоминание гарантии снимет сомнения | Конверсия |
| Изображение | Реальное фото сработает лучше сток-картинки | CTR и конверсия |
| Призыв к действию | «Рассчитать стоимость» лучше «Узнать больше» | Конверсия |
| Посадочная страница | Короткая форма увеличит число заявок | Конверсия страницы |
| Предложение | Бесплатный выезд повысит число обращений | Число заявок |
Начинайте с самых заметных элементов: заголовка, картинки и предложения. Мелкие правки редко дают заметный эффект.
Как организовать тест
- Сформулируйте гипотезу: что изменяем и какого эффекта ждём.
- Выберите одну метрику успеха: например, цена заявки.
- Создайте два объявления в одной группе, различающиеся только тестируемым элементом.
- Убедитесь, что показы распределяются между ними достаточно равномерно. Если площадка сама отдаёт предпочтение одному варианту, учитывайте это.
- Не меняйте ничего другого в кампании на время теста.
- Зафиксируйте дату старта и условия остановки.
- Сравните результаты и запишите вывод.
Сколько ждать
Универсального срока нет. Ориентир: пока каждый вариант не наберёт достаточное число кликов и конверсий. Для сравнения по CTR требуется меньше данных, чем для сравнения по конверсиям. Если на каждый вариант приходится по десятку кликов и одна заявка, различия случайны.
Учитывайте недельный цикл: заявки в будни и выходные отличаются, поэтому тест лучше вести хотя бы одну–две недели и сравнивать полные недели.
Как не получить ложный вывод
- Одновременное изменение нескольких элементов. Нельзя понять, что сработало.
- Остановка при первом отрыве. Лидер на третий день может проиграть к концу недели.
- Сравнение по CTR при разных посадочных. Яркий заголовок приводит клики, но не заявки.
- Внешние события: праздники, акции, изменения конкурентов могут исказить результат.
- Игнорирование качества заявок. Дешёвые, но нецелевые заявки не победа.
Тесты на посадочной странице
Иногда проблема не в рекламе, а в странице. Чтобы тестировать страницы, разделите трафик между двумя адресами и сравните конверсию. В Директе удобно создать два объявления с разными ссылками, а в Метрике сравнить цели по страницам. Что можно проверять: длину формы, заголовок, порядок блоков, наличие цены, отзывы. Меняйте один элемент за раз.
Ведите журнал тестов
Каждый тест записывайте в таблицу: дата, гипотеза, варианты, метрика, результат, вывод, следующий шаг. Через полгода это ваша база знаний о том, что работает для вашей аудитории. Условный пример записи: «Заголовок с названием района против заголовка с ценой. Метрика: цена заявки. Результат: вариант с районом дал заявки на 12% дешевле при близком числе кликов. Вывод: использовать район как стандарт». Цифры выдуманы для примера.
Тесты требуют расходов, поэтому закладывайте на них часть бюджета и пополняйте аккаунт заранее. Для удобства можно настроить регулярный счёт в C4B.
Пример теста от гипотезы до решения
Допустим, студия ремонта хочет проверить, что лучше работает в заголовке: срок или гарантия. Это условный пример для иллюстрации порядка работы.
- Гипотеза: заголовок со сроком «Ремонт квартиры за 45 дней» даст более дешёвую заявку, чем заголовок с гарантией «Ремонт квартиры с гарантией 3 года».
- Подготовка: в одной группе два объявления, одинаковые описания и ссылки, отличаются только заголовки.
- Период: три недели, чтобы покрыть полные недельные циклы и набрать достаточно кликов.
- Метрика: цена заявки по данным Метрики, дополнительно доля заявок, дошедших до замера.
- Решение: если разница в цене заявки заметна и подтверждается качеством заявок, оставляем победителя и записываем вывод. Если разницы нет, оставляем оба и переходим к следующему тесту.
Помните: условия и цифры в вашем случае будут другими, а честная проверка помогает отказаться от «любимых» формулировок, которые не работают. Если у вас несколько направлений, не переносите вывод автоматически с одного на другое: проверьте гипотезу отдельно.
План тестов на квартал
Чтобы тестирование приносило пользу, составьте план. Пример последовательности для небольшого бизнеса:
| Период | Что тестируем | Метрика |
|---|---|---|
| Месяц 1, недели 1–3 | Заголовки главных групп | Цена заявки |
| Месяц 1–2 | Призыв к действию и расширения | Конверсия в заявку |
| Месяц 2 | Изображения в РСЯ | Цена конверсии |
| Месяц 3 | Посадочная: длина формы | Конверсия страницы |
Не запускайте несколько тестов в одной и той же группе одновременно. Каждый новый тест стартует после того, как предыдущий завершён и результат занесён в журнал. Так вы избегаете наложения эффектов и получаете чистые выводы.
Типичные ошибки тестирования
- Тест начат без гипотезы: меняют всё подряд.
- Победитель выбран через два дня по десятку кликов.
- Сравнивают по CTR, игнорируя заявки.
- Результаты не записываются, поэтому тесты повторяются.
- Выводы из одной ниши переносят на другую без проверки.
- Тест ведут в период акции, когда поведение людей нетипично.
Если вы заметили у себя любую из этих ошибок, не расстраивайтесь: исправление дисциплины тестирования быстро повышает качество решений.
Вопросы и ответы
Сколько вариантов объявлений тестировать одновременно?
Два–три. Больше вариантов требуют большего объёма трафика для надёжных выводов.
Что важнее: CTR или конверсия?
Конверсия и цена заявки. CTR показывает привлекательность объявления, но не гарантирует качество трафика.
Можно ли тестировать при маленьком бюджете?
Можно, но тесты будут идти дольше, и выводы осторожнее. Концентрируйтесь на самых значимых гипотезах.
Что делать, если тест не выявил победителя?
Зафиксируйте, что разницы нет, и переходите к следующей, более существенной гипотезе.