К содержанию

Инструкции, 6 минут чтения

A/B-тесты: что это и зачем

Тест показывает половине посетителей один вариант баннера, половине — другой, и считает, какой чаще получает согласие. Вместо спора о формулировках — цифры.

Что нужно до начала

  • В проекте есть хотя бы два баннера — их и будем сравнивать.

Зачем это нужно

От текста и вида баннера зависит, согласится посетитель или откажется. Разница между удачной и неудачной формулировкой — десятки процентов согласий, то есть точность вашей аналитики и работа рекламы. Догадаться, какой вариант лучше, нельзя: одни и те же приёмы на разных аудиториях работают по-разному. Тест отвечает на этот вопрос фактами.

Что обычно сравнивают

  • Формулировку заголовка: сухую юридическую и человеческую.
  • Длину описания: две строки против абзаца.
  • Наличие кнопки «Только необходимые».
  • Положение баннера: снизу по центру или окно в центре экрана.
  • Оформление: строгое или в цветах сайта.

Как создать тест

  1. 1Подготовьте второй баннер

    Скопируйте первый и измените ровно одну вещь. Если поменять сразу всё, результат ничего не объяснит.

  2. 2Откройте проект и раздел «A/B-тесты»

    Кнопка «Создать тест» справа в синей полосе.

  3. 3Назовите тест и опишите гипотезу

    Например: «Проверяем, поднимет ли согласия кнопка „Только необходимые“».

  4. 4Добавьте варианты

    Каждый вариант — название и баннер. Трафик делится между вариантами поровну.

  5. 5Запустите тест

    С этого момента посетители случайным образом видят один из вариантов, и сервис считает показы и согласия.

Окно создания A/B-теста: название, описание и варианты
  1. 1Название теста — коротко: что проверяем
  2. 2Описание — гипотеза словами — через месяц вы её не вспомните

Как читать результат

На странице теста видны показы, согласия и конверсия каждого варианта, а также два важных числа: уверенность и прирост.

Настройки
НастройкаЧто делает
ПоказыСколько раз вариант увидели.
КонверсииСколько раз посетитель согласился.
КонверсияДоля согласий среди показов — главное число сравнения.
УверенностьНасколько вероятно, что разница не случайна.Пока уверенность ниже 95%, выводов не делайте: разница может быть просто шумом.
ПриростНа сколько процентов лучший вариант обгоняет исходный.

После теста

  1. Остановите тест.
  2. Оставьте победивший баннер активным, второй выключите.
  3. Запишите вывод в описание теста — он пригодится, когда будете придумывать следующий.
  4. Через несколько месяцев проверьте снова: аудитория меняется.