2026年10月27日更新
最新のA/Bテストでは、バリアントBが敗者と判定されました。全トラフィックでコンバージョン率が-2%低下しました。しかし、結果をフィルタリングすると、モバイル訪問者は LinkedIn この同じバリエーションでコンバージョン率が18%向上しました。Bを破棄すべきか、維持すべきか、それともこのセグメントのみに表示すべきか?まさにここが、ウェブパーソナライゼーションとA/Bテストが交差する部分であり、多くのチームがここでつまずいてしまうのです。
によると マッキンゼーによるパーソナライゼーションの価値に関する調査, 消費者の71%はパーソナライズされたインタラクションを期待しており、適切に実施されたパーソナライゼーションは通常、10~15%の収益増加につながります。重要なのは「適切に実施する」という点です。テストプロトコルがなければ、パーソナライゼーションは単に大規模に展開された直感に過ぎません。
パーソナライゼーションとA/Bテスト:その違いとは?
A/Bテストは「どのバージョンがすべての訪問者にとって最もコンバージョン率が高いか?」という問いに答えるものであり、Webパーソナライゼーションは「どのバージョンがこの特定のセグメントにとって最もコンバージョン率が高いか?」という問いに答えるものです。これらを組み合わせるには、展開前に各パーソナライゼーションルールをテストで検証し、その後、コントロールグループと比較して実際のパフォーマンスを継続的に測定する必要があります。
A 当社の用語集で定義されているA/Bテスト, このアプローチでは、トラフィックを2つのバージョンにランダムに分配し、コンバージョン率を比較します。そして、すべての人に適用される単一の勝者を決定します。一方、パーソナライゼーションは、普遍的な勝者を求めるのではなく、訪問者の特性(獲得元、デバイス、業界、既に閲覧したページ、カート放棄など)に基づいて異なるコンテンツを表示します。
この2つの手法は競合するものではありません。一方はターゲット設定、もう一方は検証です。検証されていないパーソナライゼーションは、誰も検証していない前提に基づいています。セグメント化されていないA/Bテストでは、オーディエンス間の重要な行動の違いが隠蔽される可能性があります。以下の表に、これらの運用上の違いをまとめました。
| 基準 | A/Bテスト | ウェブカスタマイズ |
|---|---|---|
| 質問がされました | 平均的に見て、どのバージョンが一番良いですか? | このセグメントにはどのバージョンが最適ですか? |
| トラフィック分配 | ランダム | 規則またはモデルに従って |
| 結果 | 勝者、100%の力で展開 | 複数の活動的な体験を並行して行う |
| 間隔 | 限定的(通常2~6週間) | 続く |
| 測定 | 統計的有意性 | 恒久的対照群との比較 |
| 必要なトラフィック | テストされたページで上昇 | 各対象セグメントにおける高いパフォーマンス |
A/Bテストの平均値が誤解を招く可能性がある理由
総合的な結果は、時に正反対の反応を示すセグメントを統合したものです。あるバリエーションが一方のオーディエンスには大きく支持される一方で、別のオーディエンスには支持されない場合があり、その結果、平均結果はゼロに近くなることがあります。
具体的な例を見てみましょう。SaaSのデモページは、デスクトップからのトラフィックが60%、モバイルからのトラフィックが40%を占めています。バリアントBでは、7項目のフォームを、直接予約できる3項目のフォームに置き換えています。モバイルでは、コンバージョン率が2.0%から2.6%に上昇しました(+30%)。デスクトップでは、デスクトップの意思決定者がリードの適格性を確認できる詳細なフォームを好んだため、コンバージョン率は4.0%から3.6%に低下しました(-10%)。総合結果は、Aが3.20%、Bが3.20%でした。「中立」なテストとなり、バリアントは放棄され、モバイルでの30%の獲得機会が失われました。
逆のアプローチも同様に危険です。完了したテストを10個のセグメントに分割して「勝者」を見つけることは、比較回数を増やすことに相当します。95%の信頼水準で5つのセグメントを分析すると、純粋な偶然によって少なくとも1つの誤った勝者が得られる確率は22%を超えます。これは、当社の記事で説明されているメカニズムです。 A/Bテストにおける偽陽性. 事後的に特定されたセグメントは仮説であって証明ではない。さらなる対象を絞ったテストを実施する必要がある。
成熟度の3つのレベル
テストとターゲティングを組み合わせる方法は3つあります。グローバルテスト、セグメントごとにテストするルールベースのパーソナライゼーション、そして継続的に学習するアルゴリズムによるパーソナライゼーションです。
レベル1:総合テスト
全員にとってウィンウィンのバージョン。これが基礎であり、トラフィックがセグメントテストを許容しない限り、関連性を持ち続けます。ほとんどのサイトは、さらに進む前に数ヶ月をこれに費やすべきです。 典型的なA/Bテストの誤り (時期尚早な終了、仮説のないテスト、不適切な指標)。
レベル2:ルールに基づくパーソナライゼーション
「訪問者がキャンペーン経由で来た場合」などのルールを定義します。 Google Ads 「キーワードXに反応して、タイトルYを表示する。」各ルールはテストされ、セグメントの一部にはカスタマイズされたバージョンが表示され、残りの部分には標準バージョンが表示されます。 CXLはこのレベルを説明しています 従来の検査と予測的なパーソナライゼーションの中間段階として、デバイス別または地域別のターゲティングによって、グローバルな検査とは異なる成果が得られた事例がある。
レベル3:アルゴリズムによるパーソナライゼーション
モデルは、各訪問者のコンテキストに基づいて表示するバリアントを自動的に選択し、リアルタイムで調整します。Netflixはこれをタイトルのビジュアルに適用しており、各加入者は同じシリーズの同じポスターを見ることはありません。 ビジュアルカスタマイズに関する技術ノート, チームは、まず過去のデータを用いてオフラインでアルゴリズムを検証し、その後、カスタマイズされていないバージョンとの比較で従来型のA/Bテストを実施したと説明している。最も高度なレベルにおいても、A/Bテストは最終的な判断基準となる。
本当の障壁:セグメントごとのトラフィック予算
各カスタムセグメントは、それぞれ単独で完全なA/Bテストのサンプルサイズに達する必要があります。トラフィックを4つに分割すると、結論に達するのに必要な時間が実質的に4倍になります。
これは比較ガイドが見落としがちな点であり、多くのプロジェクトが失敗する原因となっています。コンバージョン率が3%(3.0%から3.6%)の場合、相対的に20%増加したことを、信頼水準95%、検出力80%で検出するには、バリアントごとに約13,900人の訪問者が必要となり、2分岐テストの場合は合計で約27,800人の訪問者が必要となります。
この計算を、月間2万人の訪問者があるページに適用してみましょう。
- 総合テスト 必要な来場者数は27,800人、期間は約6週間です。
- トラフィックの50%を占めるセグメントでテストを実施 月間1万人の訪問者、つまり約3ヶ月間。
- トラフィックの20%を占めるセグメントでテストを実施 月間4,000人の訪問者、つまり7ヶ月間。長すぎる。季節変動やキャンペーンの変更によって、測定値はとっくに歪んでしまっているだろう。
私たちはこれを セグメントごとのトラフィック予算. 実務上のルール:最大6週間以内に必要なサンプルサイズに達しないセグメントは、単独でテストすべきではありません。2つの選択肢:同じ意図を共有する複数の小さなセグメントをグループ化するか、より大きな効果を目指す(40%の増加には、20%の増加よりも約4分の1の訪問者数で済みます)。 テストで追跡される目標 また、注目すべき点として、契約締結ではなくデモボタンのクリックを測定することで、コンバージョン率が向上し、テスト期間が短縮されます。
2つを組み合わせる4ステップの方法
まず、すべての人にとって最適なエクスペリエンスを最適化し、次にセグメント間のギャップを特定し、それぞれのセグメントでパーソナライゼーションをテストし、最後にコントロールグループを用いて時間の経過に伴う効果を監視します。
ステップ1:全員にとって有利な基盤を安定させる
最適化が不十分なページをカスタマイズするのは、同じ問題の複数のバージョンを抱えているようなものです。まずは、すべてのユーザーに共通する要素(価値提案の明確さ、フォームの長さ、ソーシャルプルーフ、ページ読み込み速度など)について、グローバルなテストを実施しましょう。どのタイプのテストを実行すればよいか分からない場合は、比較ツールをご利用ください。 A/Bテストまたは多変量テスト 選択のお手伝いをします。
ステップ2:行動上の逸脱を特定する
過去のテストをセグメントごとに分析しますが、決定的な結論は出さないでください。手がかりを探すのです。平均とは大きく異なる反応を示すセグメント、2つのトラフィックソース間のコンバージョン率の持続的な差などです。 分析ダッシュボード ここでは候補者を列挙するために使用されており、当選者を指定するために使用されているわけではありません。
ステップ3:各パーソナライゼーションをそのセグメントでテストする
選択したオプションごとに、「競合他社の比較サイトからアクセスした訪問者は、価格差を強調したページであればコンバージョン率が向上する」という明確な仮説を立ててください。標準バージョンを対照群として使用し、セグメントに限定したテストを実施してください。事前に、そのセグメントが先に計算したトラフィック予算の範囲内であることを確認してください。
ステップ4:展開して対照群を維持する
検証済みのカスタマイズは対象セグメントに展開されますが、セグメントのごく一部には引き続き標準バージョンが表示されます。これにより、6か月後にその効果が依然として大きいかどうかを判断できます。この仕組みについては、次のセクションで詳しく説明します。
対照群を用いたパーソナライゼーションの測定
コントロールグループ(またはホールドアウト)とは、トラフィックのごく一部(多くの場合5~10%)を意図的にパーソナライゼーションから除外し、システム全体によってもたらされる実際の効果を継続的に測定するために使用されるグループです。
スポットテストは、特定の時点におけるルールの効果を測定するものです。しかし、同時に有効な10個のルールの累積的な効果や、時間の経過に伴う効果の低下については何も示しません。例えば、「新規顧客」メッセージは、提供する商品やサービスが進化すると効果が薄れ、業界特化型のバナーも時代遅れになります。こうした疑問に答えるのが、総合的なコントロールグループです。
実際には:
- サイズ トラフィック量の多いサイトでは、トラフィックの5%で十分です。月間訪問者数が5万未満のサイトでは、有効な測定値を得るために10%に増やしてください。
- 安定性 :対照群に割り当てられた訪問者は、次の訪問でも同じグループにとどまる必要があります。そうしないと比較が汚染されます。
- 読む 四半期ごとに、カスタムグループのコンバージョン率とコントロールグループのコンバージョン率を比較してください。差が縮まった場合は、1つ以上のルールが無効になっている可能性があります。その場合は、個別に再テストしてください。
対照群にはコストがかかります。訪問者の5〜10%は改善の恩恵を受けられません。それが公正な測定の代償です。対照群がなければ、パーソナライゼーションの成果を問う経営陣に対して、その予算を正当化することはできません。
最初にパーソナライズすべきセグメント
まずは、規模が大きく、長期にわたって安定しており、かつ明確に異なる意図を持つセグメントから始めましょう。例えば、顧客獲得元、新規顧客か継続顧客か、デバイス、B2Bセクター、企業規模などです。
候補となるセグメントを、1~3の3つの基準でランク付けしてください。
- 音量 このセグメントは、6週間のトラフィック予算を遵守していますか?
- 意図の違い この視聴者層は本当に平均的なものとは違うものを求めているのだろうか?
- 識別の容易さ 基準は、最初に閲覧したページ(UTMパラメータ、デバイスなど)から判明するのか、それとも複数回の訪問後に判明するのか?
8点または9点を獲得したセグメントが優先的に処理されます。実績のある例をいくつかご紹介します。
- 広告ページの一貫性 有料広告で訪問者を誘導したキーワードや約束をランディングページのタイトルに含めましょう。これは多くの場合、最もシンプルで費用対効果の高いパーソナライゼーション方法です。
- リピーター 導入部のセールストークを、より直接的な行動喚起(デモ、価格)に置き換えてください。 価格表 一般的なプレゼンテーションよりも、3回目の参加となる人にとっては、より具体的なプレゼンテーションの方が理にかなっている。
- 比較対象からの訪問者 「代替サイト」という検索からアクセスしてきた訪問者は、当サイトにあるような差別化要素を期待しています。 BlastOptimize 直面している AB Tasty または私たちの 比較 Kameleoon. 。
- 電子商取引 前回の訪問時に閲覧されたカテゴリーに基づき、無料配送の適用条件は、当該セグメントの平均購入金額に合わせて調整されます。詳細は専用ページをご覧ください。 eコマースにおけるA/Bテスト. 。
開発者なしで実装する
ルールベースのパーソナライゼーションは、ターゲティング条件とページ変更という2つの要素に集約されます。ビジュアルエディタを使用すれば、サイトのコードに手を加えることなく、これら両方を設定できます。
最も頻繁に発生する障害は統計的なものではなく、組織的なものである。個々のカスタマイズのバリエーションごとに技術チームへの対応が必要となり、プロジェクトが停滞してしまうのだ。 ビジュアルエディター BlastOptimize これにより、ページ上でタイトル、ボタン、画像、または信頼ブロックを直接変更し、その変更内容をセグメントに関連付けることができます。マーケティングチームはイテレーションの管理権を保持し、開発者は構造的な変更を行う場合にのみ介入します。
注目すべき技術的なポイントが2つあります。
- きらめき 標準バージョンがパーソナライズされたバージョンよりほんの一瞬早く表示されると、訪問者はそれに気づき、検索結果が歪んでしまいます。高速読み込みスクリプトはこの現象を抑制します。これについては、こちらのページで詳しく解説しています。 バリエーションの超高速配信. 。
- ルールに従う 有効なパーソナライゼーション(セグメント、変更内容、開始日、検証テスト結果)はすべて記録してください。10個を超えるルールでは、このログがなければ、誰に何が表示されているのか誰も把握できません。
各テストを実行する時間がないチームにとって、モード オートパイロット これは監視作業の一部を自動化するものであり、セグメントごとの仮説構築を置き換えるものではなく、それは依然として人間の作業である。
同意とGDPR:見過ごしてはならない重要なポイント
フランスでは、訪問者のプロファイルに基づいてコンテンツをパーソナライズするために使用されるトラッカーは、視聴率測定に適用される同意免除の対象には含まれないため、インターネットユーザーの事前の同意が必要となる。
そこには CNILのクッキーに関するよくある質問 同意を必要としないトラッカーのリスト:パブリッシャーのアカウントに厳密に限定され、匿名統計を生成するオーディエンス測定、特定のセキュリティ機能など。閲覧履歴やプロファイルに基づくパーソナライゼーションは、これらのカテゴリには含まれません。
テスト結果に対する具体的な影響:
- トラッキングを拒否した訪問者には標準バージョンが表示されます。そのため、カスタマイズ可能なセグメントは総トラフィックよりも小さくなります。トラフィック予算の計算には、トラッキング拒否率を考慮に入れてください。
- 受け入れる訪問者は、必ずしも拒否する訪問者を代表するものではありません。前者で得られた効果が、後者に自動的に反映されるとは限りません。
- 一部のカスタマイズではトラッキングは不要です。URLのUTMパラメータやデバイスの種類に合わせてページを調整する処理は、ブラウザが訪問時に送信する情報に基づいて行われます。設定内容に応じて、データ保護責任者(DPO)にこの点を検証してもらってください。
実行可能なチェックリスト
テスト済みのカスタマイズをリリースする前に、以下の10項目を確認してください。
- ☐ このページは既に少なくとも2~3回のグローバルテストに合格しています。
- ☐ ターゲット層は、最初に閲覧したページ(またはほぼ最初のページ)から特定できます。
- ☐ このセグメントは、最大6週間で必要なサンプルサイズに達します。
- ☐ 仮説は、セグメント、修正、期待される効果、指標として記述されます。
- ☐ 主要指標はローンチ前に定義され、ローンチ後に選択されるものではありません。
- ☐ テストコントロールは標準バージョンで、同じセグメントに表示されています。
- ☐ トラッカーの受け入れ率は、トラフィック計算に組み込まれています。
- ☐ モバイル端末とデスクトップ端末の両方で、ちらつきがないことが確認されています。
- ☐ 5~10%のグローバルコントロールグループが確立され、安定している。
- ☐ このルールは、有効なカスタマイズの登録簿に記録されます。
よくある質問
ウェブパーソナライゼーションはA/Bテストに取って代わるのか?
いいえ。パーソナライゼーションは、セグメントごとに何を表示するかを決定するものであり、A/Bテストは、その選択が実際にコンバージョン率を向上させることを検証するものです。機械学習アルゴリズムを用いてあらゆる画像をパーソナライズしているNetflixでさえ、パーソナライズされていないバージョンとのA/Bテストを通じて、そのモデルの妥当性を検証しています。
私のセグメントは小さすぎて有意な結果が得られません。どうすれば良いでしょうか?
これは、テストツールのユーザーフォーラムで最もよく寄せられる反論です。解決策は3つあります。同じ意図を持つセグメントをグループ化する、より顕著な変化をターゲットにする(期待される効果が2倍になるには、訪問者数を約4分の1に減らす必要がある)、またはより頻繁な中間指標を選択する、のいずれかです。これらのいずれも効果がない場合は、他の場所で検証済みの原則に基づいてパーソナライゼーションを適用してください。ただし、その原則を証明したと主張する必要はありません。
完了したA/Bテストをセグメントごとに分析し、直接パーソナライズすることは可能でしょうか?
セグメント別に分析することは、見込み客を見つけるのに役立ちます。しかし、直接展開するのはリスクが伴います。分析するセグメントが増えるほど、誤った勝者を見つけてしまう可能性が高くなります(95%の信頼度で5つのセグメントの場合、22%を超える確率)。展開する前に、特定したセグメントに対してターゲットを絞ったテストを実施してください。
対照群にはどのくらいの割合のトラフィックを割り当てるべきか?
平均で5~10%程度です。トラフィックが少ないほど、測定された差が信頼できるものとなるためには、対照群を大きくする必要があります。同じ訪問者は、訪問ごとに同じグループに含めてください。
パーソナライゼーションとA/Bテストには、Cookieの同意が必要ですか?
プロファイルや履歴に基づくパーソナライゼーションは、フランスデータ保護機関(CNIL)が定める「オーディエンス測定」の例外規定の対象外となるため、同意が必要です。URLパラメータやデバイスタイプのみに基づくパーソナライゼーションは、トラッキングを必要としない場合があります。設定内容については、データ保護責任者(DPO)に確認してください。
パーソナライズルールはいくつ有効にしておくべきでしょうか?
測定・維持できる限り多くのルールを設定しましょう。月間訪問者数が数万人程度のB2Bサイトであれば、検証済みのルールを3~5個設定し、それに従って運用する方が、テストもせずに放置したルールを20個設定するよりも効果的です。
主なポイント
パーソナライゼーションは選択を行い、A/Bテストはそれを証明します。どちらか一方だけでは、検証されていない直感や、最適なセグメントを覆い隠してしまう平均値しか得られません。
- まず全員にとって最適な体験を提供し、それからパーソナライズする。
- ターゲット設定を行う前に、各セグメントのトラフィック予算を計算してください。6週間以内に完了させるか、そうでなければグループ化してください。
- 事後的に特定されたセグメントは、検証すべき仮説として扱い、決して結果として扱ってはならない。
- 実際の効果を測定し、ルールの劣化を検出するために、5~10%の恒久的な対照群を設けておく。
- 計算に同意を組み込んでください。カスタマイズ可能なトラフィックは、総トラフィックよりも少なくなります。
開発者を巻き込まずに最初のターゲットバリアントをリリースするには、以下をご覧ください。 数回のクリックでカスタムバリエーションを作成する方法. 。















コメントは締め切りました。