Алгоритмы многорукого бандита против классического A/B-тестирования: когда какой из них использовать?

Обновлено 15 октября 2026 г.

12,75%. Это показатель ложных победителей, полученный нами путем применения стандартного статистического теста в конце тестов, проведенных с использованием алгоритма «бандита», на 2000 симуляциях, где две версии были строго идентичны. При фиксированном разделении 50/50 этот показатель остается на уровне 4,65%, что соответствует ожидаемому пороговому значению в 5%. Алгоритм «бандита» — неплохой инструмент. Он просто отвечает на другой вопрос, чем A/B-тестирование, и интерпретация его как A/B-теста приводит к ошибкам.

В данном руководстве проводится сравнение двух подходов с точки зрения статистики (исследование, выборка Томпсона, сожаление, мощность), а затем по конкретным сценариям использования, с подтверждающими результатами моделирования.

Многорукий бандит или A/B-тестирование: краткий ответ

Традиционный A/B-тест распределяет трафик фиксированным образом, чтобы точно измерить разницу между двумя версиями; тест с многоруким бандитом перенаправляет трафик на версию, которая, по-видимому, выигрывает, чтобы потерять как можно меньше конверсий во время теста. Выбирайте A/B-тестирование, когда вам нужно принять долгосрочное решение и количественно оценить его влияние, а тест с многоруким бандитом — когда временной промежуток короткий и важен только совокупный результат.

Эти два метода оптимизируют две разные величины:

• A/B-тестирование сводит к минимуму погрешность оценки. Это показывает, превосходит ли B версию A, насколько и с каким доверительным интервалом. За эту уверенность вы платите тем, что половину трафика до конца перенаправляете на худшую версию.
• Бандит преуменьшает своё сожаление., То есть, потери конверсий по сравнению со сценарием, в котором победитель был бы известен с первого дня. За это повышение точности приходится платить: проигрышный вариант получает слишком мало посетителей, чтобы его можно было должным образом измерить.

Ни один из методов не является выигрышным по обоим пунктам.

Исследование против эксплуатации: дилемма однорукого бандита

Название происходит от игровых автоматов, «одноруких бандитов»: столкнувшись с несколькими автоматами, выигрыши на которых неизвестны, вы должны попробовать несколько из них (исследовать) и как можно чаще играть на лучшем из них (использовать).

В CRO каждый вариант — это «рука», каждый посетитель — часть, а конверсия — это выигрыш. Классический A/B-тест предполагает 100% исследование во время тестирования, а затем 100% использование после развертывания выигрышного варианта. Бандит постоянно чередует эти два подхода.

Проблема давняя: Уильям Р. Томпсон опубликовал метод, носящий его имя, еще в 1933 году, для проведения медицинских испытаний.

Если термины «армия», «сожаление» или «пособие» вам незнакомы, то глоссарий A/B-тестирования и CRO каждый из них определяется в одной строке.

Метод эпсилон-жадности, метод UCB, метод Томпсона: три способа разрешения споров.

Три семейства алгоритмов многорукого бандита различаются способом измерения исследования: случайным образом (эпсилон-жадный алгоритм), с помощью рассчитанного оптимизма (UCB) или с помощью вероятностной выборки (выборка Томпсона), и именно последний метод сегодня доминирует в инструментах тестирования.

Эпсилон-жадный: простой, но расточительный

Алгоритм случайным образом распределяет фиксированную часть трафика, например, 10%, между всеми вариантами, а остальное — между лучшим на данный момент. Всё просто: он продолжает передавать трафик явно слабому варианту до самого конца. Распределения, такие как «80% на основе производительности, 20% случайным образом», основаны на этой логике.

UCB: Оптимизм перед лицом неопределенности

Функция Upper Confidence Bound вычисляет верхнюю границу потенциальной доходности каждого варианта и выбирает наивысшую из них. Если вариант плохо протестирован, граница будет широка, поэтому он будет протестирован. Если же вариант хорошо протестирован, но имеет посредственные характеристики, он больше не будет тестироваться. Функция является детерминированной, поэтому менее подходит для пакетных обновлений.

Метод выборки Томпсона: ставки, основанные на вероятности оказаться лучшим.

Для каждого варианта алгоритм поддерживает распределение вероятностей его коэффициента конверсии. Для каждого посетителя он выбирает значение из каждого распределения и отображает вариант с наибольшим значением. В результате вариант с 70% вероятностью быть лучшим получает примерно 70% трафика. Справочное руководство Руссо и др. по выборке Томпсона объясняет, почему это правило приближается к теоретически минимальному уровню сожаления без каких-либо специальных корректировок.

Этот метод используется большинством платформ. Документация по динамическому распределению в AB Tasty указывает, что он основан на алгоритме Томпсона, затрагивает только новых посетителей (посетитель, уже знакомый с алгоритмом, сохраняет свой вариант) и ожидает как минимум одной конверсии для каждого варианта по выбранному индикатору, прежде чем начать работу. Сравнение BlastOptimize и AB Tasty рассматривает различия в настройках двух инструментов.

Недостаток: стоимость A/B-тестирования в плане конверсий.

Сожаление — это количество потерянных конверсий во время тестирования по сравнению с идеальным сценарием, когда вся аудитория с самого начала видела бы лучшую версию; в случае 50/50 сожаление растет пропорционально трафику, а в случае «бандита» сожаление замедляется в течение тестирования.

Рассмотрим случай, уже подробно описанный в нашем исследовании. руководство по автопилоту BlastOptimize При 40 000 посетителей сайт A показывает конверсию 3%, а сайт B — 3,6%. При разделении 50/50 сайт A посещают 20 000 человек, а сайт B — 20 000, что в итоге дает 600 + 720 = 1320 конверсий. Если бы все посетители увидели сайт B, коэффициент конверсии составил бы 1440. В результате A/B-тестирования теряется 120 конверсий, или 8,3% от потенциального числа.

Работы Элеи Фейт (Дрексельский университет) и Рона Бермана (Уортонская школа бизнеса). под названием "Test & Roll", Это наглядно продемонстрировано. Для сайта со 100 000 посетителей тест, максимизирующий общую прибыль, требует всего 2284 посетителей на группу, по сравнению с 18 468 для классического теста гипотезы, предназначенного для выявления 2%-ного увеличения. Большой, «чистый» тест обходится на 476 конверсий дороже. Авторы также показывают, что сожаление, связанное с тестом гипотезы, увеличивается с размером аудитории, в то время как сожаление, связанное с выборкой Томпсона, увеличивается только пропорционально её квадратному корню.

Запомните эту идею: в двухнедельной кампании почти весь трафик приходится на «тестовый период», и сожаление по поводу результатов значительное. Для главной страницы, которая будет существовать два года, тестовый трафик составляет лишь малую часть этого трафика.

Наше моделирование: многорукий бандит против игры 50/50 на основе 2000 тестов.

Мы воспроизвели каждый сценарий 2000 раз, сравнивая фиксированное распределение с выборкой Томпсона, обновляемой партиями по 500 посетителей: бандит восстанавливает три четверти сожалений, когда разрыв реален, но реже определяет победителя и почти втрое увеличивает количество ложных срабатываний, когда разрыва нет.

Метод: априорное бета-значение (1,1), пакетное обновление, 5% двусторонний z-тест, рассчитанный в конце, как это сделала бы команда при чтении результатов.

Четыре усвоенных урока:

• Выгода очевидна. Томпсон упускает всего 29 попыток реализации против 120, что соответствует расчетам автопилота (приблизительно 1408 успешных попыток).
• Ситуация ухудшается. Проигравший вариант получает в среднем всего 4370 посетителей. В результате тест становится значимым только в 66% случаев, по сравнению с 92% в сценарии 50/50.
• Без каких-либо реальных отклонений бандит создает определенность. Это сохраняет случайность первых партий, нарушает баланс распределения, и классический тест в итоге дает неверные результаты почти в одном из восьми случаев.
• В мелкой торговле наркотиками бандит ничего не спасает. При наблюдении 4000 посетителей оба метода выявили неправильный вариант в 15-17% случаев, а разница в количестве неудачных конверсий ограничилась 4 случаями.

Цена бандита: власть, предвзятость и ложные срабатывания.

«Бандит» жертвует тремя вещами, которые защищает A/B-тестирование: статистической мощностью, отсутствием предвзятости в измерении разницы и достоверностью классических тестов на значимость.

Меньше мощности

Мощность, то есть вероятность обнаружения реального расхождения, зависит прежде всего от наименьшей группы. «Бандит» намеренно лишает эту группу возможности использовать её для экспериментов: это хорошо для конверсий, но плохо для измерений.

Неправильно оцененный разрыв

Неудачно показавший себя на начальном этапе рост быстро приводит к снижению трафика: его оценка остается неизменной на уровне неудачного старта, в то время как фаворит корректирует свои показатели. Таким образом, отображаемый разброс оказывается искаженным и часто завышенным. Прежде чем представлять руководству информацию о росте проблемного актива, запланируйте подтверждающий тест.

Значения p, которые больше не имеют прежнего значения.

Формулы значимости предполагают заранее заданное распределение. Когда алгоритм определяет распределение на основе результатов, это предположение перестаёт действовать. Это связано с проблемой «подглядывания», которая заключается в непрерывном наблюдении за результатами и остановке, как только они кажутся благоприятными. Наша статья об этом ложноположительные результаты в A/B-тестировании объясняется, почему эта практика приводит к резкому увеличению количества ошибок, и приводится список типичные ошибки A/B-тестирования это место является одним из самых распространенных.

Операционные слепые зоны

Экспериментальная команда DoorDash, разработавшая собственную платформу для мошеннических схем на основе выборки Томпсона, упоминается в своем отчете. отзывы будут опубликованы в декабре 2025 года. существует ряд существенных ограничений: сложность анализа показателей, не входящих в оптимизированную систему вознаграждения, непостоянный опыт пользователя, меняющего варианты от одного посещения к другому, и задержка между действием и результатом. Чтобы ограничить предвзятость при изменении поведения клиентов с течением времени, команда решила моделировать разницу по сравнению с контрольной версией, а не исходную частоту каждого варианта.

Когда следует выбирать алгоритм многорукого бандита?

Выбирайте «бандита», когда стоимость демонстрации неверной версии во время теста превышает ценность точного знания того, почему побеждает другая версия, что особенно часто происходит в короткие промежутки времени и при принятии решений, не имеющих перспектив на будущее.

• Кампании с ограниченным сроком действия Распродажи, акция «Черная пятница», запуск продукта. При рекламной кампании с участием 20 000 посетителей и четырьмя заголовками, наша симуляция восстанавливает 82 конверсии из 136, то есть 60% от стоимости тестирования, и последующее «внедрение» не планируется.
• Элементы с высокой скоростью вращения Заголовки, темы электронных писем, баннеры, рекламные материалы обновляются ежемесячно.
• Много вариаций, мало предвзятых представлений. Команда предлагает шесть вариантов развития событий или генерирует их с помощью ИИ. Бандит быстро отсеивает самые слабые. Тест с фиксированным распределением обойдется дорого за каждый из них.
• Непрерывная оптимизация : блок, который выполняется неограниченно долго, иногда с добавлением вариаций.

Типичное условие: оптимизированный показатель должен измеряться быстро (клик, добавление в корзину, отправка формы) и точно отражать значение. На сайте электронной коммерции наша страница на CRO для электронной коммерции подробности указаны на страницах, где эти условия соблюдены.

Когда следует проводить классический A/B-тест?

Для принятия долгосрочных решений, отмена которых обходится дорого или требует обоснования подтверждающими данными, а также для любых тестов, где конверсия происходит с опозданием, проводите A/B-тестирование с фиксированным разделением выборки.

• Редизайн, ценообразование, воронка платежей Несколько недель сожаления мало что значат по сравнению с риском использовать неверных кандидатов на протяжении многих лет.
• Необходимость в фигуре, способной оказать влияние. Прогнозирование доходов, бюджетное урегулирование, отчет для руководства. Только фиксированное распределение обеспечивает несмещенную дисперсию с надежным доверительным интервалом.
• Отложенные конверсии В B2B-секторе или сфере генерации лидов отправка форм происходит быстро, но реальная ценность (квалифицированный лид, встреча, подписание контракта) появляется лишь спустя несколько дней. Мошенник, оптимизирующий процесс отправки форм, может предпочесть вариант, привлекающий наименее квалифицированных лидов. Перед запуском, определите цель и отслеживайте ее достижение. которые действительно отражают эту ценность.
• Несколько показателей для мониторинга «Бандит» оптимизирует одно вознаграждение и неправильно оценивает остальные, включая среднюю стоимость корзины.
• Различные эффекты в зависимости от сегментов. : вариант, который выигрывает на настольных компьютерах и проигрывает на мобильных устройствах. «Бандит» стремится к среднему значению и перестает отправлять затронутому сегменту версию, которая ему подходила.
• Низкий трафик Как показывает моделирование с участием 4000 посетителей, «бандит» практически ничего не добавляет, когда сигнал слишком слабый. Лучше провести простой тест на значительном изменении.

Та же логика применима и к одновременной проверке нескольких элементов: наше сравнение между A/B-тестирование и многовариантное тестирование показывает, что каждая добавленная комбинация требует дополнительного трафика.

Сочетание двух: три гибридные стратегии

Эти два метода хорошо дополняют друг друга: сначала быстрое исследование, а затем, в зависимости от масштаба проблемы, — надлежащие измерения.

1. Отсортировать по бандиту, подтвердить в A/B-тестировании.

Для отсеивания наиболее слабых вариантов запустите пять или шесть вариантов алгоритма Bandit на одну-две недели. Затем сравните два лучших варианта в заранее определенном A/B-тесте.

2. Кратко протестируйте, затем разверните (тестирование и запуск).

Это рекомендация Фейта и Бермана: размер теста должен определяться ожидаемой прибылью, а не порогом значимости. Тест становится короче, распределение остается фиксированным и несмещенным, а сожаление остается близким к сожалению бандита.

3. Проведите проверку с помощью A/B-тестирования, затем используйте уязвимость в ходе тестирования методом «бандит-тестирования».

Для постоянной рекламной кампании (баннеры, рекомендации) первоначальное A/B-тестирование подтверждает эффективность кампании. Затем с помощью «бандита» осуществляется ротация контента в рамках этой кампании. Для проверки устойчивости общей эффективности с течением времени следует поддерживать небольшую постоянную контрольную группу, например, 5% трафика.

Какова бы ни была стратегия, быстрая доставка вариантов примечание: даже кратковременное изменение исходной страницы делает оба метода недействительными. А чтобы прочитать фактическую разницу между вариантами, с указанием интервалов между ними, см. панель аналитики BlastOptimize отображает результаты без использования специальной терминологии.

Контрольный список: Выбор правильного метода в 7 вопросах

Перед каждым тестом ответьте на эти семь вопросов: как минимум четыре «нестандартных» ответа из первых шести указывают на автоматическое распределение; в противном случае оставайтесь с фиксированным распределением. Седьмой вопрос проверяет, есть ли у теста шанс на успех.

1. Срок действия решения менее месяца (бандит) или несколько месяцев и более (A/B)?
2. Необходимость в фигуре, способной оказать влияние. представлять или использовать повторно: нет (бандит), да (A/B)?
3. Время преобразования Измеримо ли это в течение сессии (Bandit) или через несколько дней (A/B)?
4. Количество вариантов : четыре или более без явного фаворита (бандит), два или три (A/B)?
5. Вторичные показатели что следует отслеживать (средний размер корзины, процент возвратов, качество лидов): ничего (бандит), хотя бы один фактор (A/B)?
6. Сегменты вероятнее всего, реакция будет разной: нет (бандит), да (A/B или контекстный бандит с контрольной группой)?
7. Трафик Ожидается, что со временем количество конверсий на один вариант составит как минимум несколько сотен (возможны оба варианта) или меньше (ни один из них не определит: нужно проверить более заметное изменение)?

Проходите менее десяти тестов в год? Избегайте переплаты за редко используемый вариант: сравните с... цены BlastOptimize.

Основные выводы

Методы Bandit и A/B-тестирования отвечают на два разных вопроса.

• A/B-тестирование минимизирует погрешность измерений; алгоритм «многорукого бандита» минимизирует сожаление, то есть потери конверсий во время тестирования.
• Алгоритм Томпсона является эталонным: каждый вариант получает долю трафика, пропорциональную вероятности того, что он является наилучшим.
• В нашем моделировании бандит восстанавливает около 75% потерь, связанных с ситуацией 50/50, но точность определения победителя возрастает с 92% до 66%, а точность определения ложных победителей — с 4,65% до 12,75% без существенной разницы.
• Bandit подходит для коротких кампаний, быстро меняющегося контента и множества вариантов; A/B-тестирование — для принятия долгосрочных решений, отслеживания отложенных конверсий и тестирования цен.
• При небольших объемах трафика ни один из методов не творит чудеса.

Часто задаваемые вопросы

Быстрее ли тестирование с использованием многорукого бандита, чем A/B-тестирование?

Использовать данные быстрее, но делать выводы сложнее. Поскольку проигравший вариант получает мало посетителей, для демонстрации различий часто требуется больший трафик. Для статистического вывода кратчайшим путем остается A/B-тестирование с фиксированным распределением.

Можно ли рассчитать уровень значимости в тесте на многорукого бандита?

Не с традиционными формулами, которые предполагают заранее заданное распределение. В нашем моделировании их применение к многорукому бандиту приводит к 12,75% ложных победителей вместо 5%. Вместо этого используйте вероятность того, что вариант окажется лучшим, предоставленную алгоритмом, или подтвердите результат с помощью короткого A/B-теста.

Сколько контрабанды нужно, чтобы использовать бандита?

Для обучения Bandit требуется не меньше трафика, чем для A/B-тестирования. Для начала ему необходимы конверсии по каждому варианту, как минимум одна, согласно документации.AB Tasty, На практике же достаточно нескольких десятков посетителей, чтобы справиться с шумом первых групп. При общем количестве посетителей в несколько тысяч оба метода часто оказываются неэффективными.

Метод выборки Томпсона или эпсилон-жадный алгоритм: что выбрать?

В большинстве случаев предпочтительным методом является метод выборки Томпсона: он адаптирует поиск к неопределенности и не тратит трафик на проверенный вариант. Метод выборки с жадностью до значения Epsilon оправдан только в том случае, если вам нужна фиксированная и легко объяснимая доля результатов поиска.

Эффективен ли «бандит» для генерации лидов в B2B-секторе?

Для тактических элементов (заголовок целевой страницы, визуальное оформление объявления, подпись к кнопке) — да, если оптимальным показателем является отправка формы. Для стратегических решений — нет: качество лидов измеряется слишком поздно, чтобы направлять алгоритм, что может привести к тому, что предпочтение будет отдаваться формам, привлекающим неквалифицированных контактов.

Что такое контекстный бандит?

Это своего рода «бандит», который выбирает вариант на основе профиля посетителя: устройство, источник трафика, просмотры страниц. Он служит для персонализации, а не для определения единственного победителя, требует гораздо большего трафика и нуждается в контрольной группе для измерения своего влияния.