Это один из наиболее часто задаваемых вопросов командами, только начинающими A/B-тестирование: сколько посетителей или сколько конверсий нужно, чтобы доверять результатам теста? Единого ответа нет — он зависит от вашего начального коэффициента конверсии, величины изменений, которые вы пытаетесь обнаружить, и уровня уверенности, необходимого для принятия решения. В этой статье эти факторы объясняются по отдельности, без сложных математических формул, чтобы вы могли самостоятельно оценить необходимый размер выборки для надежного теста.
Почему размер выборки — самый важный вопрос в тесте?
A/B-тестирование сравнивает поведение двух групп посетителей, которым были показаны две разные версии страницы. Но поведение людей, естественно, различается от одного посетителя к другому, независимо от просматриваемой версии: в одни дни, в другое время, одни профили показывают лучшие результаты конверсии, чем другие, по причинам, не связанным с проводимым тестом. При небольшом размере выборки это естественное изменение — статистический «шум» — может легко создать разницу между двумя группами, которая будет напоминать реальный эффект, хотя на самом деле это всего лишь случайное колебание.
Размер выборки является основным фактором, позволяющим отличить истинный сигнал от шума. Чем больше выборка, тем больше случайных колебаний взаимно компенсируются, и тем вероятнее, что измеренная разница между двумя группами отражает реальный эффект тестируемого изменения, а не совпадение. Проведение теста без предварительной оценки необходимого размера выборки равносильно предварительному решению о надежности полученного результата.
Начальный коэффициент конверсии
Первым важным фактором является текущий коэффициент конверсии тестируемой страницы или пользовательского пути, основанный на метрике, которая будет использоваться для оценки теста. Этот показатель легко получить из данных, уже имеющихся в вашем инструменте аналитики: количество конверсий, деленное на количество посетителей, за недавний и репрезентативный период (исключая, по возможности, периоды с исключительными акциями или нетипичными всплесками трафика).
Начальный уровень конверсии напрямую влияет на необходимый размер выборки: для достижения одинакового эффекта низкий коэффициент конверсии (например, 1%) требует большей выборки, чем высокий коэффициент конверсии (например, 20%), чтобы выявить ту же относительную разницу. Это одна из причин, почему тесты на редко встречающихся показателях (покупка, подписка) обычно требуют больше трафика и времени, чем тесты на более часто встречающихся показателях (клик, прокрутка страницы).
MDE, или величина эффекта, который мы пытаемся обнаружить.
Минимально обнаруживаемый эффект (MDE) — это наименьшая разница между контрольной группой и вариантом, которую тест может надежно обнаружить. Это выбор, а не измеряемая величина: вы сами решаете, какой уровень улучшения стоит обнаружить.
Этот выбор оказывает существенное влияние на необходимый размер выборки. Для выявления небольшого эффекта (например, увеличения коэффициента конверсии с 5% до 5,2%, относительное улучшение на 4%) требуется значительно больший объем трафика, чем для выявления значительного эффекта (увеличения того же коэффициента с 5% до 6,5%, относительное улучшение на 30%). На практике это означает, что незначительное изменение — цвет кнопки, слово в заголовке — требует значительно большего размера выборки, чем полная переработка дизайна страницы при том же уровне трафика, просто потому, что ожидается более скромный эффект.
Практический вывод прост: на сайте со средним трафиком лучше сосредоточить первые тесты на изменениях, от которых ожидается явный эффект (реструктуризация страницы, упрощение пути пользователя), а не на микрокорректировках, на получение приемлемого результата которых уйдут месяцы.
Уровень доверия и статистическая мощность
Два других, более технических параметра завершают расчет. Уровень доверия (часто устанавливаемый на уровне 95%) указывает на вероятность ошибочного объявления теста победителем, когда на самом деле между двумя версиями нет разницы — это называется ложноположительным результатом. Статистическая мощность (часто устанавливаемая на уровне 80%) указывает на вероятность обнаружения реального эффекта, если он существует, а не на вероятность ошибочного вывода об отсутствии разницы — это называется ложноотрицательным результатом.
Эти два значения (95% и 80%) — общепринятые правила, широко используемые в индустрии A/B-тестирования, а не абсолютные нормы. Увеличение этих значений (например, стремление к 99% доверительной вероятности) снижает риск неверного вывода, но дополнительно увеличивает необходимый размер выборки; уменьшение же ускоряет получение результата, но увеличивает риск ошибочного заключения. Для теста с ограниченными последствиями (легко обратимая корректировка) могут быть оправданы более гибкие пороговые значения; для теста, результат которого определит дорогостоящее решение о внедрении, предпочтительнее более строгие пороговые значения.
Как на практике оценить размер выборки
На практике редко возникает необходимость самостоятельно рассчитывать базовую статистическую формулу. Большинство платформ для A/B-тестирования, включая BlastOptimize, включают калькулятор, который просто запрашивает текущий коэффициент конверсии и минимальный эффект, который вы хотите обнаружить, и напрямую возвращает необходимый размер выборки для каждого варианта, а также оценку продолжительности теста на основе текущего трафика страницы.
Эту оценку необходимо сделать до начала тестирования, ни в коем случае после. Она служит для определения возможности проведения тестирования в разумные сроки с учетом имеющегося трафика, и если нет, то для корректировки либо масштаба тестируемых изменений (стремясь к более широкому эффекту, следовательно, к более высокому показателю MDE), либо масштаба самого тестирования (группировка нескольких страниц с низким трафиком вместо тестирования отдельной страницы), либо для рассмотрения других методов исследования (качественное тестирование пользователей, опросы), если трафик просто не позволяет собрать достаточную выборку в разумные сроки.
Ошибка «подглядывания»: смотреть на результат до конца.
После оценки размера выборки важнейшим правилом является ожидание ее достижения, прежде чем делать выводы — даже если на панели мониторинга уже через несколько дней наблюдается значительное расхождение. Такое поведение, известное как «подглядывание», является одной из наиболее частых причин ложных результатов в A/B-тестировании: показатели статистической значимости, отображаемые в режиме реального времени большинством инструментов, рассчитываются непрерывно, и расхождение может казаться значительным в данный момент, а затем уменьшиться или даже измениться на противоположное после достижения полного размера выборки.
Простейшее практическое правило, позволяющее избежать этой ловушки, заключается в том, чтобы до начала тестирования установить минимальный размер выборки и минимальную продолжительность (как правило, не менее одной-двух недель, чтобы учесть колебания между будними и выходными днями), и считать результат окончательным только тогда, когда оба условия выполняются одновременно.
Что делать, если трафик слишком низкий для стандартного теста?
Не все веб-сайты имеют достаточный трафик для тестирования микрооптимизаций с комфортным размером выборки в течение нескольких дней. При ограниченном трафике ряд корректировок может помочь в дальнейшем улучшении:
- Тестирование изменений с высоким ожидаемым влиянием вместо микрокорректировок, чтобы уменьшить необходимый размер выборки.
- Сгруппируйте показатели путем достижения цели, расположенной выше по воронке продаж (например, переход в корзину, а не окончательная покупка), когда она остается актуальной для проверяемой гипотезы, поскольку более частые события требуют меньшей выборки.
- Увеличьте продолжительность теста. сверх обычных двух недель, согласившись на более длительную задержку в принятии решения.
- Дополните A/B-тестирование качественными методами. (тестирование пользователей, запись сеансов, интервью с клиентами), для получения полезных аналитических данных которых не требуется большой объем трафика.
Конкретный пример для наглядной демонстрации рассуждений.
Чтобы сделать эти понятия более наглядными, рассмотрим чисто иллюстративный пример. Представьте себе целевую страницу с текущим коэффициентом конверсии 3%, и команду, которая хочет обнаружить минимальный относительный эффект в 15% (то есть изменение с 3% до примерно 3,45%), используя обычные пороговые значения 95% доверия и 80% статистической мощности. Калькулятор размера выборки покажет, что в этом сценарии для надежного теста потребуется несколько тысяч посетителей на каждый вариант — точный порядок величины зависит от используемой формулы, но принцип остается тем же: чем меньше желаемый эффект относительно начального коэффициента, тем быстрее растет необходимый размер выборки.
Если одну и ту же страницу посещают всего несколько сотен человек в неделю, то для достижения необходимого размера выборки потребуется несколько месяцев — сроки, редко совместимые с темпами работы маркетинговой команды. В таком случае перед нами встают два варианта: либо пересмотреть гипотезу, чтобы добиться более широкого эффекта (более структурное изменение, чем незначительная корректировка), либо принять более высокий MDE (максимально допустимый размер выборки), что снизит чувствительность теста, но и его продолжительность. Такой компромисс, осознанно принятый до запуска, лучше, чем тест, запущенный без тщательного обдумывания и преждевременно прерванный из-за нетерпения.
Часто задаваемые вопросы
Следует ли использовать один и тот же образец для контроля и для варианта?
В подавляющем большинстве случаев — да: равномерное распределение трафика между двумя версиями является наиболее эффективной конфигурацией для достижения статистической значимости в кратчайшие сроки при равном общем объеме трафика.
Можно ли тестировать более двух вариантов одновременно?
Да, но каждый дополнительный вариант уменьшает доступный трафик на филиал и увеличивает время, необходимое для получения достаточного размера выборки для каждого из них. A/B/C/D-тестирование с тем же общим трафиком требует значительно больше времени, чем традиционное A/B-тестирование, чтобы прийти к достоверному выводу по каждому варианту.
Можно ли провести надежный тест на небольшом веб-сайте?
Да, при условии корректировки ожиданий: отдавайте приоритет изменениям с высоким потенциальным влиянием, допускайте более длительные сроки тестирования и не стесняйтесь дополнять A/B-тестирование методами, не зависящими от объема трафика, такими как качественное тестирование пользователей.
Основные выводы
Размер выборки — это не техническая деталь, предназначенная только для статистиков; это параметр, определяющий, даст ли A/B-тест надежный или вводящий в заблуждение результат. Он зависит от начального коэффициента конверсии, величины эффекта, который вы пытаетесь обнаружить, и требуемого уровня доверия — трех элементов, которые лучше оценить до начала теста, чем обнаружить постфактум, когда они опровергнут вывод. Хорошая новость заключается в том, что калькулятор размера выборки, встроенный в инструмент тестирования, в подавляющем большинстве случаев достаточен для выполнения этого расчета для маркетинговой команды.
BlastOptimize интегрирует этот калькулятор непосредственно в свою панель управления, предоставляя оценку необходимой продолжительности теста на основе фактического трафика на тестируемую страницу, чтобы предотвратить проведение теста, который, скорее всего, окажется неинформативным. Если вы не уверены в необходимом размере выборки для вашего следующего теста, это хорошая отправная точка для принятия решения еще до создания варианта.
Комментарии закрыты.