Как провести A/B-тестирование: подробная инструкция

Когда маркетологи создают целевые страницы, пишут e-mail кампании или проектируют CTA-кнопки, соблазн сделать побыстрее и положиться на интуицию велик. Ведь гораздо проще предположить, что именно это слово и этот прототип станет конвертировать много и хорошо. Однако, полагаться на чувства и догадки нельзя. Для того чтобы проверить все гипотезы, профи используют А/В-тестирование. Как провести тесты правильно и не ошибиться с выводами? Поможет наша инструкция.

Что такое А/В-тестирование?

А/В-тестирование предусматривает проверку двух гипотез по изменению контента страницы, юзабилити, текста или цвета кнопки. Проверять можно что угодно.

Предположим, что маркетологи хотят проверить: что будет, если переместить кнопку призыва к действию выше на главную страницу. Для этого создают альтернативную страницу с перемещенной CTA-кнопкой. Затем ее запускают в работу и ждут, пока количество посещений не достигнет определенной отметки. Для качественной выборки нужно минимум 2-3 тысячи посетителей.

И затем сравнивают, дало ли перемещение кнопки результаты, и какие.

Как провести A/B-тестирование?

Перед проведением теста

1. Выберите одну переменную для проверки

Скорее всего вы найдете несколько элементов, которые захотите поменять и протестировать. Но для правильного тестирования есть строгое ограничение — переменная должна быть одна. Если вам нужно проверить несколько гипотез, для каждой создавайте отдельные страницы.

2. Определите цель теста

Хотя вы будете измерять ряд показателей для каждого теста, выберите один основной показатель, на котором вам нужно сосредоточиться. Важно сделать это до разработки тестовой страницы.

3. Создайте контрольную страницу и тестовую

Когда вы определились с переменной и целью тестирования, время создавать предмет теста. Например, если вы тестируете новый дизайн страницы, это будет — новая страница дизайна и страница с прежним дизайном.

4. Сегментируйте аудиторию для теста

Если вы тестируете электронное письмо, например, то вам нужно разделить аудиторию на несколько сегментов. Это поможет понять, в каком случае результаты лучше. Но делить аудиторию нужно не во всех случаях.

5. Определите размер выборки

А именно — количество пользователей-участников тестирования. Цифра зависит от популярности вашего сайта. Для начинающих достаточно 2000 посетителей, а вот крупным ресурсам нужна выборка больше.

6. Определите уровень значимости

В статистике это понятие означает вероятность ложноположительного решения. Чем выше процент вашего уровня значимости, тем увереннее вы можете быть в результатах.

Во время A/B-тестирования

7. Проверяйте оба варианта одновременно

Сроки играют значительную роль в результатах тестов. Будь то время суток, день недели или месяц. Вы должны запустить версию А в том же месяце, что и версию B.  Иначе результаты нельзя признать полностью достоверными.

8. Определите временной промежуток

Дайте тесту достаточно времени для получения полезных данных. Также это связано с получением необходимой выборки.

Сколько времени достаточно для проведения теста? В зависимости от вашей кампании и того, как вы выполняете тестирование. Срок может варьироваться от нескольких часов до нескольких недель. И большая часть времени — это, конечно, ожидание, пока новый вариант страницы увидит достаточное количество людей.

9. Соберите отзывы реальных пользователей

А/В- тестирование имеет много общего с машинными техническими исследованиями, но человек и его мнение значат едва ли не больше цифр. Получить качественную обратную связь от реальных пользователей — почему бы и нет? Сделайте опрос, какой вариант из предложенных нравится вашим пользователям больше. Вы можете спросить мнение в соцсетях или загрузить специальную форму на сайт.

После окончания А/В-тестирования

10. Снова сосредоточьтесь на цели

Вспомните, какие цели вы поставили перед началом тестирования и изучите, насколько они оправдали ваши ожидания. Какой вариант получил больше кликов/загрузок/обращений?

11. Измерьте результаты

Теперь, когда вы определили, какой из вариантов работает лучше всего, решите — являются ли результаты статистически значимыми. Другими словами, насколько они достоверны для того, чтобы вносить глобальные изменения в ваш сайт/рекламную страницу.

12. Используйте полученные результаты

Если у вас есть победитель, работайте с ним. Вносите изменения и выпускайте обновленную версию сайта/страницы/рекламы.

Если ни один из вариантов не является статистически значимым, это тоже неплохо. Вы знаете, что ваша гипотеза не оправдалась. Было бы хуже довериться интуиции и совершить ошибочные правки — как мы писали во введении к этой статьей.

Мы готовы делиться полезной информацией с вами. Если вам нужна консультация по тому, какие изменения внести на целевую страницу или рекламный лендинг, просто обратитесь к нам по адресу hello@byyd.me