Если же тест работает правильно, то не пытайтесь анализировать результаты до его окончания или вносить изменения в настройки теста в процессе. В первый что такое A/B-тестирование день победителем может оказаться один вариант, а на следующий день — другой. Нужно дождаться окончания теста, чтобы получить достоверные результаты.

Принимать решение о внедрении улучшений следует исходя из результатов А/В-тестирований. Присвоение взвешенного трафика различным вариантам Большинство программ для тестирования AB автоматически распределяют посетителей поровну между различными вариантами. Команда Bing пыталась найти способ увеличить доход, который сайт получает от рекламы. Для этого они представили новый дизайн, подчеркивающий способ отображения поисковых объявлений. Команда проверила новый дизайн по сравнению со старым. По результатам сплит-теста доход от одного посещения вырос на 30%.

Результаты — это те метрики, которые мы хотели изначально улучшить. Например, количество подписок на рассылку, кликов по баннеру или продаж. Несмотря на то, будет результат вашего теста успешным или нет, вы сможете сделать вывод по нему и использовать то, что узнали, для следующей гипотезы. Проведение A/B-тестов – важный элемент в оптимизации РК, который поможет настроить более эффективную рекламу. Здесь лучше использовать название, из которого будет понятно, какие изменения внесли в кампанию.

• Сегментов может быть два или больше, причем выборки не обязательно должны быть одинаковыми.
• Например, «если заменить прямоугольные кнопки на круглые, то конверсия лендинга увеличится с 3-5% до 8-10%».
• На платформе Яндекс работает специальный калькулятор А/В-тестирования.
• Полученные сведения будут отображаться в личном кабинете или придут на указанный вами электронный адрес.

Если конверсия повысилась, значит, сработала альтернативная гипотеза и следует масштабировать правки на всю аудиторию. И конечно, при негативном эффекте мы откатываем все изменения и думаем дальше, как повысить ключевую метрику. Выбираем гипотезу по схеме «если что-то, то что-то».

Для оценки достоверности теста существуют специальные калькуляторы. Один из них — все тот же DriveBack, но уже другой его раздел — «Определение статистической значимости». На основании размера выборки и полученных результатов он помогает определить, можно ли считать результаты теста достоверными. Данный инструмент используется для сравнения базовой (контрольной) версии и оптимизированной, чтобы отследить реакции пользователей. Использовать А/В тестирование можно для оценки удобства обновленной структуры, нескольких вариантов текстов и прочих составляющих сайта.

Решения

Еще важный момент – определить, какая часть трафика будет участвовать в эксперименте. По умолчанию используется все 100 %, а если у вас, как у «Текстерры», миллион уникальных посетителей в месяц – вполне хватить и 20–30 тысяч. Проведя какое-то время А/Б тест, у вас появляются показатели эффективности и виден победитель. Однако, какова гарантия, что через такой же промежуток времени перевес не перейдет на сторону второго варианта. Чтобы быть уверенным в точности принятого решения, вам потребуется калькулятор тестов. Тут важно правильно определить цель и не торопиться протестировать всё сразу.

Чем лучше проделан первый этап, тем выше вероятность положительного результата. Не тратить время на A/B тестирование, пока на сайте нет достаточного количества трафика и конверсий. Вместо этого, нужно заниматься анализом поведения пользователей на сайте. Нужно анализировать карты кликов и скроллинга и, исходя из этого, искать очевидные проблемы. Нужно общаться с целевой аудиторией и, исходя из потребностей/страхов/желаний, изменять тексты/элементы на сайте.

Ведь через 2-3 года это будет инструмент «по умолчанию» в любой средней, крупной, а может даже и маленькой компании. Чтобы не разочаровываться и отказываться от A/B тестирования, нужно больше времени тратить на подготовку к эксперименту. Анализ проблем на сайте и поиск идей для тестирования — это должно быть в приоритете. Эксперимент растягивается на месяцы (а проводить так долго тест не советуют!). Из-за длительного ожидания делаются преждевременные выводы (дождаться нужного количества конверсий очень сложно). Результаты эксперимента являются недостоверными.

Во-вторых, рекомендуется проводить несколько итераций теста для одного и того же элемента, причем в каждой новой контрольным вариантом делать экспериментальную версию из предыдущего теста. Не всегда небольшая разница между целевыми показателями в контрольной и экспериментальной группах означает отсутствие результата. Их необходимо соотносить со степенью внесенных изменений. Например, если тестируемый вариант лендинга отличается от изначального только небольшим увеличением кнопки, сложно ожидать большого влияния на конверсию. Тем не менее даже такой результат может повысить эффективность работы сайта. Чтобы сплит-тест показал достоверные, а не случайные результаты, его нужно проводить определенное время.

KPI для маркетолога и агентства: как оценить пользу для бизнеса

И уже новый интерфейс систематически тестировать. А теперь подумайте, сколько праздников проходит, сколько различных рекламных каналов вы подключаете, сколько акций делаете. Если в течение двух этапов у вас были разные маркетинговые активности, то и качество аудитории может быть совершенно разным. Если хотите работать с недостоверными результатами экспериментов, то продолжайте так делать. Качество трафика может сильно отличаться в первом месяце по сравнению со вторым.

Как правило, достаточно 85-90% если тест длился достаточное количество времени. Изначально, при составлении юзабилити используется анализ конкурентов. Причем анализировать следует не только конкурентов вашего региона. А именно тех, кто максимально быстро набирает обороты бесплатного трафика.

Шаг 3. Определиться с гипотезами

В завершении хочу поделиться ссылкой на отличную презентацию по продуктовой аналитике с примерами A/B тестирования от Курышева Евгения. Несмотря на важность этой характеристики, в отчетах по A/B тестам, к сожалению, часто забывают указать уровень значимости, при котором был получен результат. Как правило, для принятия положительного решения об эффективности изменений уровень значимости выбирают равным 90%, 95% или 99%. Пересечение распределений при этом равно соответственно 10%, 5% или 1%.

Одного показателя не всегда достаточно для оценки эффекта от вносимых изменений. Например, после изменений на сайте интернет-магазина средний чек может уменьшиться, но общая выручка вырасти за счет повышения конверсии посетителя в покупателя. В связи с этим, важно контролировать несколько ключевых показателей. Как видите, A/B-тестирование – необходимый элемент для развития веб-сайтов и приложений. Без постоянных экспериментов и проверок ваш сайт перестанет расти, а в стагнации невозможно наращивать и прибыль. Так что не забывайте регулярно проверять предположительно эффективные гипотезы и модифицировать ресурс, используя A/B-тестирование.

Преимуществом метода является использование при проектировании объективных данных. Пользователю необходимо повысить конверсию посадочной страницы, трафик на которую идет через контекстную рекламу. Чтобы добиться увеличения, пользователь хочет изменить дизайн страницы. Он создает новую страницу В и ведет туда часть трафика.

Что такое A / B-тестирование? Научитесь проводить A / B-тесты от А до Я.

Каждый сайт или мобильное приложение содержит в себе десятки элементов, так или иначе влияющих на пользовательский опыт и, соответственно, трафик, конверсию и другие целевые показатели. Проверять несколько или все сразу — не лучший вариант, так как после тестирования будет сложно определить, какая переменная оказала решающее влияние на результат. Поэтому для одного сплит-тестирования необходимо выбрать только один проверяемый элемент (при этом его вариаций может быть более двух). Разберем проведение A/B-тестирования на примере классического сплит-теста, так как две другие разновидности выполняются в целом по тому же алгоритму действий. Разница только в количестве исследуемых вариантов.

A / B-тест не ограничивается двумя вариантами

Расскажем, что это, зачем, кому нужно, и какими инструментами пользоваться, а также разберем ошибки маркетологов. Так что решение не проводить сравнений, полагаясь на опыт или на интуицию — не самое удачное для бизнеса. Многие опасаются A/B-тестирования, потому что якобы в процессе проверки различных элементов можно ухудшить текущие KPI. Не вносят исправлений в соответствии с полученными данными сплит-тестирования или вносят их на ограниченных участках. Двумя цветами обозначены A- и B-сегменты, на которых проводился тест.

Случайным образом пользователи сайта делятся на две группы. Одному сегменту демонстрируют текущую версию, второму версию с изменениями. Тексты на кнопках, CTA — последняя ступень перед совершением целевого действия. С помощью A/B-теста вы найдете то сочетание призыва к действию, цветов и форм кнопки, которое побудит человека к клику. Если вы резко начнете менять рассылку, кампании или сайт, вы рискуете сломать то, что работало и спугнуть клиентов.

Потренируемся подбирать метод проверки гипотезы под конкретную ситуацию. Если есть достаточно времени, то вместо теста можно запустить продукт на https://deveducation.com/ один город, район или другую выделенную часть пользователей. Как тестируют прототипы и анализируют результаты мы рассказывали в статье о UX.

Зачем и как тестировать разные варианты страниц

Если целевой показатель у вас – покупка, и вы знаете, что обычно люди совершают ее не сразу, а через 10 дней, то нужно учитывать и это. В среднем рекомендуемое время тестирования – 10–14 дней. Минимальное время – неделя, даже если вы набрали статистически значимое количество посетителей за полдня. Это связано с тем, что в разные дни недели поведение может сильно различаться. Разные заголовки, как в объявлении, так и на посадочной странице дают разный результат. Ниже перечислены самые частые эксперименты для A/B-тестирования.

Случилось это в прошлом столетии, когда знаменитый математик Вильям Госсет использовал разные виды ячменя при варке пива Guinness. Получившиеся напитки предлагались потребителю на пробу и по результатам отзывов выбирался лучший. Так что понятие А/В-тестирование применимо не только к интернету. Например, круглая форма лендинговых кнопок в теории должна вызывать у пользователя больший интерес, чем треугольная или квадратная. Тогда исследованию подвергаются практически идентичные варианты лендинга, с разницей только в форме кнопок. Пользователи соответственно делятся на две равные части, а А/В-тест фиксирует результаты.

К минусам этого метода относится то, что один и тот же пользователь может увидеть объявления разных РК, что мешает объективной оценке результатов работы кампаний. В данном случае мы видим, что одна публикация за время ее работы принесла 24 лида из 31. Конкретно в этом случае мы добавили в название статьи цену, чего не делали в других статьях, и именно этот вариант показал наилучший результат. В результате укрупненная РК давала примерно на 30% больше конверсий за счет того, что результаты накапливались быстрее и системе было проще оптимизировать кампании.