Обновлено 27 октября 2026 г.

Ваш последний A/B-тест признал вариант B проигравшим: −2 % конверсий по всему трафику. Однако, отфильтровав результаты, вы видите, что мобильные посетители, пришедшие из LinkedIn конвертировались на 18 % лучше с этим же вариантом. Отказаться от B, сохранить его или показывать только этому сегменту? Именно здесь персонализация веб-сайтов и A/B-тестирование пересекаются — и именно здесь ошибается большинство команд.

В соответствии с Исследование McKinsey о ценности персонализации, 71% потребителей ожидают персонализированного взаимодействия, а хорошо реализованная персонализация, как правило, приносит на 10-15% больше дохода. Ключевое слово здесь — «хорошо реализованная». Без протокола тестирования персонализация — это всего лишь интуиция, применяемая в больших масштабах.

Персонализация и A/B-тестирование: в чем разница?

A/B-тестирование отвечает на вопрос: «Какая версия обеспечивает наилучшую конверсию для всех моих посетителей?», а персонализация веб-сайта отвечает на вопрос: «Какая версия обеспечивает наилучшую конверсию для этого конкретного сегмента?». Их сочетание предполагает использование тестирования для проверки каждого правила персонализации перед его внедрением, а затем непрерывное измерение его фактической эффективности по сравнению с контрольной группой.

А A/B-тестирование, как определено в нашем глоссарии., случайным образом распределяет трафик между двумя версиями и сравнивает их коэффициенты конверсии. Он определяет единственного победителя, применяемого ко всем. Персонализация же не ищет универсального победителя: она показывает разный контент в зависимости от характеристики посетителя (источник привлечения, устройство, отрасль, уже просмотренные страницы, брошенная корзина).

Эти две практики не конкурируют. Одна нацелена на целевую аудиторию, другая проверяет. Непроверенная персонализация основана на предположении, которое никто не подтвердил; несегментированное A/B-тестирование может скрывать существенные поведенческие различия между аудиториями. В таблице ниже приведены основные операционные различия.

КритерииA/B-тестированиеПерсонализация веб-сайтов
Заданный вопросКакая версия в среднем лучшая?Какая версия лучше всего подходит для этого сегмента?
Распределение трафикаСлучайныйСогласно правилам или модели
РезультатПобедитель, задействован на 100%Несколько активных занятий параллельно
ПродолжительностьОграниченный срок (обычно от 2 до 6 недель)Продолжать
МераСтатистическая значимостьРазница по сравнению с постоянной контрольной группой.
Требуемый трафикПоднято на проверенной страницеВысокая эффективность в каждом целевом сегменте.

Почему средний результат A/B-теста может ввести вас в заблуждение

Общий результат объединяет сегменты, которые иногда реагируют противоположным образом: вариант может значительно выиграть у одной аудитории и проиграть у другой, в результате чего средний результат будет близок к нулю.

Рассмотрим конкретный пример. Демонстрационная страница SaaS-сервиса получает 60% трафика с настольных компьютеров и 40% с мобильных устройств. Вариант B заменяет форму из 7 полей на форму из 3 полей, предлагающую прямую запись на прием. На мобильных устройствах коэффициент конверсии увеличивается с 2,0% до 2,6% (+30%). На настольных компьютерах он снижается с 4,0% до 3,6% (-10%), поскольку лица, принимающие решения на настольных компьютерах, предпочли подробную форму, которая убедила их в квалификации лида. Общий результат: 3,20% для варианта A, 3,20% для варианта B. «Нейтральный» тест, вариант отменен, и потерян 30% прироста трафика с мобильных устройств.

Противоположный подход столь же опасен. Разделение завершенного теста на десять сегментов для поиска «победителя» равносильно умножению сравнений: при анализе 5 сегментов с уровнем достоверности 95% вероятность получения хотя бы одного ложного победителя по чистой случайности превышает 22%. Именно этот механизм описан в нашей статье о ложноположительные результаты в A/B-тестировании. Выявленный постфактум сегмент является гипотезой, а не доказательством: его необходимо подвергнуть дальнейшим целенаправленным исследованиям.

Три уровня зрелости

Существует три способа сочетания тестирования и таргетинга: глобальное тестирование, персонализация на основе правил, тестируемая по сегментам, и алгоритмическая персонализация, которая постоянно обучается.

Уровень 1: Общий тест

Беспроигрышный вариант для всех. Это основа, и она остается актуальной до тех пор, пока ваш трафик не позволяет проводить сегментное тестирование. Большинству сайтов следует потратить на это несколько месяцев, прежде чем двигаться дальше, избегая классические ошибки A/B-тестирования (преждевременное прекращение, проверка без гипотезы, плохой показатель).

Уровень 2: персонализация на основе правил

Вы определяете правила, например, "если посетитель пришел из рекламной кампании". Google Ads «По ключевому слову X отображать заголовок Y». Каждое правило проверяется: одна часть сегмента видит настроенную версию, другая — стандартную. CXL описывает этот уровень. в качестве промежуточного этапа между классическим тестированием и персонализацией на основе прогнозирования, при этом в некоторых случаях таргетирование по устройству или географическому региону принесло результаты, отличные от результатов глобального тестирования.

Уровень 3: Алгоритмическая персонализация

Модель автоматически выбирает вариант показа для каждого посетителя в зависимости от его контекста и корректирует его в режиме реального времени. Netflix применяет это к визуальному оформлению своих фильмов и сериалов: каждый подписчик видит разные постеры к разным сериалам. технической статье о персонализации изображений команда объясняет, что проверила свои алгоритмы офлайн на исторических данных, а затем в классическом A/B-тесте против неперсонализированной версии. Даже на самом продвинутом уровне A/B-тест остаётся окончательным арбитром.

Настоящее препятствие: бюджет трафика на сегмент

Каждый пользовательский сегмент должен сам по себе достичь размера выборки, достаточного для полноценного A/B-тестирования: разделение трафика на четыре части практически вчетверо увеличивает время, необходимое для принятия решения.

Именно этот момент часто упускается из виду в сравнительных руководствах, и именно он приводит к провалу большинства проектов. Для выявления относительного увеличения на 20% при коэффициенте конверсии в 3% (с 3,0% до 3,6%) с уровнем достоверности 95% и мощностью 80% потребуется приблизительно 13 900 посетителей на каждый вариант, или почти 27 800 посетителей в общей сложности для двухэтапного теста.

Давайте применим этот расчет к странице, которую посещают 20 000 человек в месяц:

  • Общий тест Необходимо 27 800 посетителей, или примерно 6 недель.
  • Тестирование проводится на сегменте, представляющем 50% трафика. : 10 000 посетителей в месяц, или почти 3 месяца.
  • Тестирование проводится на сегменте, представляющем 20% трафика. 4000 посетителей в месяц, или 7 месяцев. Слишком большой период: сезонность и изменения в рекламных кампаниях исказят результаты задолго до этого.

Мы называем это бюджет трафика на сегмент. Практическое правило: сегмент, который не может достичь необходимого размера выборки в течение максимум 6 недель, не следует тестировать изолированно. Два варианта: сгруппировать несколько небольших сегментов, разделяющих одно и то же намерение, или стремиться к большему эффекту (для увеличения на 40% требуется примерно в четыре раза меньше посетителей, чем для увеличения на 20%). Выбор целей, отслеживаемых в ваших тестах , тоже играет роль: если измерять клик по кнопке демо, а не подписание договора, объём конверсий растёт, а тесты становятся короче.

Четырехэтапный метод объединения двух методов.

Сначала оптимизируйте пользовательский опыт для всех, затем выявите пробелы между сегментами, протестируйте каждую персонализацию на соответствующем сегменте, а затем отслеживайте ее улучшение с течением времени с помощью контрольной группы.

Шаг 1: Создать выигрышную базу для всех.

Персонализировать плохо оптимизированную страницу — значит размножить одну проблему в нескольких версиях. Начните с глобальных тестов элементов, общих для всех аудиторий: ясность ценностного предложения, длина формы, социальное доказательство, скорость загрузки. Если вы не уверены, какой тип теста запустить, наше сравнение A/B-тест или многовариантный тест поможет вам выбрать.

Шаг 2: Выявление поведенческих отклонений

Проанализируйте результаты прошлых тестов по сегментам, не делая окончательных выводов. Вам нужны подсказки: сегмент, реагирующий совершенно иначе, чем в среднем, устойчивая разница в коэффициентах конверсии между двумя источниками трафика. Здесь панель аналитики служит для составления списка кандидатов, а не для выбора победителей.

Шаг 3: протестировать каждую персонализацию на её сегменте

Для каждого выбранного варианта сформулируйте четкую гипотезу: «Посетители, переходящие с сайта сравнения конкурентов, будут конвертироваться лучше, если на странице будет выделена разница в цене». Проведите тест, ограниченный этим сегментом, используя стандартную версию в качестве контрольной. Предварительно убедитесь, что сегмент находится в пределах ранее рассчитанного бюджета трафика.

Шаг 4: внедрить и сохранить контрольную группу

Проверенная персонализация внедряется на своём сегменте, но небольшая часть сегмента продолжает видеть стандартную версию. Именно это позволяет через шесть месяцев понять, сохраняется ли выигрыш. Мы подробно описываем этот механизм в следующем разделе.

Измерение уровня персонализации с помощью контрольной группы

Контрольная группа (или группа, отсеянная от основной) — это часть трафика, обычно от 5 до 10%, намеренно исключенная из персонализации с целью непрерывного измерения реальной выгоды, получаемой от всей системы.

Точечные тесты измеряют эффект правила в данный момент времени. Они ничего не говорят о совокупном эффекте десяти правил, действующих одновременно, ни об их ослаблении с течением времени: сообщение о «новом клиенте» теряет свою эффективность по мере развития вашего предложения, отраслевой баннер устаревает. На этот вопрос отвечает контрольная группа в целом.

На практике:

  • Размер Для сайтов с большим объемом трафика достаточно 5% трафика; для сайтов с менее чем 50 000 ежемесячных посещений этот показатель следует увеличить до 10%, чтобы получить приемлемые результаты.
  • Стабильность : посетитель, отнесённый к контрольной группе, должен оставаться в ней от визита к визиту, иначе сравнение будет искажено.
  • Чтение Ежеквартально сравнивайте коэффициент конверсии пользовательской группы с коэффициентом конверсии контрольной группы. Если разрыв сокращается, одно или несколько правил стали неэффективными: повторно протестируйте их по отдельности.

У контрольной группы есть цена: 5–10 % ваших посетителей не получают улучшений. Это цена честного измерения. Без неё невозможно защитить бюджет на персонализацию перед руководством, которое спрашивает, что он приносит.

Какие сегменты персонализировать в первую очередь

Начните с сегментов, которые являются одновременно крупными, стабильными во времени и имеют явно разные цели: источник привлечения, новые или повторные клиенты, устройство, а также принадлежность к сектору B2B или размер компании.

Оцените потенциальные сегменты по трем критериям, оценивая их по шкале от 1 до 3:

  1. Объем Соответствует ли данный сегмент бюджету трафика на протяжении 6 недель?
  2. Разница в намерениях Действительно ли эта аудитория ищет чего-то отличного от среднестатистического?
  3. Легкость идентификации Критерий известен с первой просмотренной страницы (параметр UTM, устройство) или только после нескольких посещений?

Сегменты, получившие оценку 8 или 9, обрабатываются в первую очередь. Вот несколько проверенных примеров:

  • Единообразие рекламной страницы Включите ключевое слово или обещание из платной рекламы, которая привела посетителя, в заголовок целевой страницы. Зачастую это самый простой и экономически эффективный способ персонализации.
  • Повторные посетители Замените вступительную презентацию продукта более прямым призывом к действию (демонстрация, ценообразование). Направлять на страницу тарифов вместо общей презентации имеет смысл для того, кто возвращается в третий раз.
  • Посетители из сравнения Посетитель, перешедший по ссылке "альтернатива", ожидает увидеть отличительные элементы, подобные тем, что представлены на нашей странице. BlastOptimize лицом AB Tasty или наш сравнение с Kameleoon.
  • Электронная коммерция Категория, просмотренная во время предыдущего посещения, порог бесплатной доставки, адаптированный к среднему размеру корзины в сегменте. Подробная информация доступна на нашей специальной странице. A/B-тестирование для электронной коммерции.

Реализация без участия разработчика

Персонализация на основе правил сводится к двум элементам: условию таргетинга и изменению страницы. С помощью визуального редактора оба параметра можно настроить, не затрагивая код сайта.

Наиболее частая проблема носит не статистический, а организационный характер: каждый индивидуальный вариант превращается в задачу для технической команды, и проект заходит в тупик. Визуальный редактор BlastOptimize позволяет изменить заголовок, кнопку, изображение или блок доверия прямо на странице, а затем привязать этот вариант к сегменту. Маркетинговая команда сохраняет контроль над итерациями; разработчики подключаются только для структурных изменений.

Два технических момента заслуживают вашего внимания:

  • Мерцание : если стандартная версия появляется на долю секунды раньше персонализированной, посетитель это замечает, и ваши результаты искажаются. Быстро загружающийся скрипт ограничивает это явление — этому посвящена наша страница о сверхбыстрой доставке вариантов.
  • Соблюдение правил Документируйте каждую активную персонализацию (сегмент, изменение, дата запуска, результат проверки). Без этого журнала, содержащего более десяти правил, никто не будет знать, что кому отображается.

Для команд, которым не хватает времени на ведение каждого теста, режим Автопилот автоматизирует часть мониторинга. Он не заменяет формулирование гипотез по сегментам — это по-прежнему работа человека.

Согласие и GDPR: момент, который нельзя упускать из виду.

Во Франции трекер, используемый для персонализации контента в соответствии с профилем посетителя, не подпадает под исключение из требования согласия, предусмотренное для измерения аудитории: следовательно, требуется предварительное согласие интернет-пользователя.

Раздел «Часто задаваемые вопросы CNIL о файлах cookie» перечисляет трекеры, освобождённые от получения согласия: измерение аудитории, строго ограниченное аккаунтом издателя и дающее анонимную статистику, некоторые механизмы безопасности и другие. Персонализация на основе истории просмотров или профиля в эти категории не попадает.

Конкретные последствия для ваших тестов:

  • Посетители, отказавшиеся от отслеживания, видят стандартную версию. Следовательно, ваш настраиваемый сегмент меньше, чем ваш общий трафик: учитывайте процент принятия отслеживания при расчете бюджета трафика.
  • Число посетителей, принявших предложение, не обязательно отражает число тех, кто отказался. Положительный эффект, зафиксированный в первой группе, не обязательно отразится на второй.
  • Некоторые виды персонализации не требуют трекеров: адаптация страницы к UTM-параметру в URL или к типу устройства выполняется на основе информации, которую браузер передаёт во время самого визита. Согласуйте этот момент с вашим DPO с учётом вашей конфигурации.

Практический контрольный список

Перед запуском тестируемой модификации проверьте следующие десять пунктов.

  • ☐ Страница уже прошла как минимум два или три успешных глобальных тестирования.
  • ☐ Целевой сегмент можно определить с первой просмотренной страницы (или почти с первой).
  • ☐ Необходимый размер выборки достигается максимум за 6 недель.
  • ☐ Гипотеза формулируется следующим образом: сегмент, модификация, ожидаемый эффект, индикатор.
  • ☐ Основной показатель определяется до запуска и не выбирается после.
  • ☐ Контрольный образец представляет собой стандартную версию, показанную в том же разделе.
  • ☐ Показатель принятия трекеров учитывается при расчете трафика.
  • ☐ Отсутствие мерцания подтверждено на мобильных и настольных устройствах.
  • ☐ Создана и стабильна глобальная контрольная группа численностью от 5 до 10%.
  • ☐ Правило занесено в реестр активных настроек.

Часто задаваемые вопросы

Заменяет ли персонализация веб-сайтов A/B-тестирование?

Нет. Персонализация определяет, что видит сегмент аудитории; A/B-тестирование подтверждает, что этот выбор действительно повышает конверсию. Даже Netflix, который персонализирует каждое изображение с помощью алгоритмов машинного обучения, проверяет свои модели с помощью A/B-тестирования на неперсонализированной версии.

Мои сегменты слишком малы, чтобы достичь статистической значимости: что мне делать?

Это наиболее часто встречающееся возражение на форумах пользователей инструментов тестирования. Существует три решения: группировать сегменты, разделяющие одни и те же намерения, ориентироваться на более выраженные изменения (для достижения вдвое большего эффекта требуется примерно в четыре раза меньше посетителей) или выбрать более часто используемый промежуточный показатель. Если ни один из этих вариантов не подходит, применяйте персонализацию на основе принципа, подтвержденного в других местах, не утверждая при этом, что вы доказали его эффективность.

Можно ли анализировать каждый сегмент завершенного A/B-теста и затем персонализировать его напрямую?

Анализ по сегментам полезен для поиска потенциальных клиентов. Прямое развертывание рискованно: чем больше сегментов вы исследуете, тем выше вероятность обнаружения ложного победителя (более 22% при пяти сегментах с 95% доверительной вероятностью). Перед развертыванием проведите целевое тестирование на выявленном сегменте.

Какую долю трафика следует выделить контрольной группе?

В среднем от 5 до 10%. Чем ниже трафик, тем больше должна быть контрольная группа, чтобы измеренная разница была достоверной. Держите одного и того же посетителя в одной и той же группе от одного посещения к другому.

Требуется ли согласие на использование файлов cookie для персонализации и A/B-тестирования?

Персонализация на основе профиля или истории требует согласия, поскольку она выходит за рамки исключения «измерение аудитории», определенного CNIL (Французским органом по защите данных). Персонализация, основанная исключительно на параметре URL или типе устройства, может не требовать отслеживания. Необходимо, чтобы ваша конфигурация была подтверждена вашим сотрудником по защите данных (DPO).

Сколько правил персонализации следует оставить активными?

Как можно больше правил, которые вы сможете измерить и поддерживать. Для B2B-сайта с несколькими десятками тысяч ежемесячных посещений три-пять проверенных и соблюдаемых правил лучше, чем двадцать правил, которые никогда не проверялись.

Основные выводы

Персонализация делает выбор, доказывает A/B-тестирование: одно без другого приводит либо к неподтвержденным интуитивным выводам, либо к средним значениям, которые скрывают ваши лучшие сегменты.

  • Сначала оптимизируйте пользовательский опыт для всех, а затем персонализируйте его.
  • Перед началом таргетирования рассчитайте бюджет трафика для каждого сегмента: в течение 6 недель — для завершения, в противном случае — объедините все сегменты.
  • Любой выявленный постфактум следует рассматривать как гипотезу, подлежащую проверке, а не как результат.
  • Для измерения фактического прироста и выявления износа правил необходимо постоянно поддерживать контрольную группу численностью от 5 до 10%.
  • Учитывайте согласие при расчетах: трафик, на который вы можете настроить параметры, меньше, чем ваш общий трафик.

Чтобы запустить первые целевые варианты продукта без привлечения разработчиков, узнайте больше. Как создать пользовательский вариант всего за несколько кликов.

Новости

Комментарии закрыты.