Калькулятор A/B тестов

A/B тестирование — способ маркетингового исследования, который дает возможность сравнить разные варианты и выбрать из них наиболее эффективный. Для более быстрого тестирования таким способом используется калькулятор аб тестов.

Как все это работает? К примеру, есть два варианта одной странички — главная и новая, а также метрика конверсии, которой страничка должна обязательно достигнуть. Вы в одно и то же время запускаете два варианта на выборке пользователей, а после измеряете, какая из них достигла нужного показателя и дала наилучший результат.

Подобные тестирования практикуют маркетологи, дабы из различных вариантов выделить наиболее конверсионный заголовок, тип и цвет кнопки, а также другие компоненты интернет-ресурса.
Как правило, тестированию подвергают следующее:

• Структура лендинга.
• Рекламные баннеры.
• Объем контента.
• Заголовки.
• Описания и тестовый контент.
• Картинки.
• Дизайн у различных кнопок.
• Регистрационные формы.

Подобное тестирование невозможно, когда на интернет-ресурсе не хватает трафика, так как подобные результаты не дадут статистической значимости. На малых выборках и несущественные отклонения непременно будут выглядеть большим преимуществом для какого-то варианта. В связи с этим надо изучать реакцию разных пользователей.

Калькулятор ab тестирования позволяет узнать, достаточно ли на интернет-ресурсе трафика для тестирования с выбранной статистической значимостью. В такой калькулятор надо просто указать текущий показатель конверсии, а также процент статистической значимости и необходимый уровень конверсии.

Калькулятор статистической значимости аб теста

Для проведения тестирования потребуется узнать определить статистическую значимость — при каких условиях можно будет понять, что один из вариантов — наиболее действенный. Подавляющее большинство специалистов достоверным считают результат в случае статистической значимости от 90 до 95%.

Чтобы проверить статистическую значимость необходимо:

• Собрать данные для разных версий.
• Сделать предположение, что проверяемые группы между собой не отличаются.
• В рамках предположения о полной идентичности всех групп рассчитать, какова возможность получить наблюдаемую в эксперименте либо большую разницу между группами. Это значение называется p-value.
• Если показатель p-value ниже порога, то начальное предположение об идентичности всех групп отвергается. В данном случае можно говорить, что разница между разными группами значима.
• Если показатель p-value превышает пороговое значение, то проверяемые варианты на базе собранных сведений неразличимы.

Пример расчета

Команда учла все минусы дизайна первого теста, и на следующий раз привлекла уже две тысячи новых пользователей (по тысяче в каждый из вариантов). В первой версии на первый день вернулись триста тридцать, а во второй четыреста двадцать.

Во втором варианте больше людей вернулись на первый день, однако команда не была уверена, что это случилось из-за влияния определенных продуктовых корректировок, а не из-за случайного колебания показателя.

Для разрешения данного вопроса требовалось посчитать, является ли разница в Retention первого дня статистически значимой или все-таки нет.

В данном случае была изучена очень простая метрика, потому для правильного расчета статистической значимости можно было использовать специальный калькулятор.

Последний выдал p-value менее 0.001, то есть возможность увидеть различие при одинаковых проверяемых группах крайне мала. Таким образом, можно уверенно связать увеличение Retention первого дня с общим влиянием продуктовых корректировок.

Проблема подглядывания

Частный случай множественного тестирования гипотез — так называемая проблема подглядывания. Ее суть заключается в том, что по ходу теста значение p-value может случайным образом опускаться ниже заданного уровня значимости. В случае если внимательно следить за таким экспериментом, можно подобный момент поймать и сделать ошибочный вывод о статистической значимости.

Таким образом, важно не оказаться на крючке проблемы подглядывания.

Как пользоваться калькулятором АБ тестирования

В колонке калькулятора для тестирования под названием «Что тестируем» для начала необходимо указать:

• Общее число всех доступных вариантов: от двух до пяти, которые планируется сравнить.
• Метрику, который планируется проверить: Open Rate, Click Rate, а также конверсию в заказы либо иной тип конверсии.

В колонке под названием «Значение показателей» следует указать:

• Наименьший процент, на который планируется повысить конверсию посредством тестируемых вариантов.
• Среднее значение проверяемого показателя. К примеру, можно воспользоваться какими-то историческими сведениями.

Важно при этом найти баланс. Если указать в калькуляторе очень малый показатель «Ожидаемого прироста», то потребуется слишком много людей для точного подтверждения значимости конечных результатов. Если метрика будет слишком большой, а в результате ожидаемый прирост будет меньше, значит, то значит необходимый рост не произошел. Поэтому нельзя будет думать, что были получены значимые результаты.

В нижнем поле необходимо указать:

• Мощность, то есть процент уверенности, что итоги проверки правильные, если она не показала какую-то разницу.
• Достоверность или определенный процент уверенности, что итоги проверки правильные, если она продемонстрировала какую-то разницу.

В случае если процент показателя неизвестен, то лучше оставить стандартные значения и ничего там не менять.

Итогом теста на калькуляторе будут, в зависимости от числа проверяемых вариантов, от двух до пяти значений. Они демонстрируют, сколько пользователей должны увидеть каждый из вариантов, дабы результатам можно было действительно доверять. Эти сведения непременно помогут правильно рассчитать то время, которое понадобится на проверку.

Таким образом, калькулятор размера выборки для аб теста — это отличное решение для всех маркетологов.