バンディットアルゴリズムと従来のA/Bテスト：どちらをいつ使うべきか？

2026年10月15日更新

12.75%。これは、バンディットアルゴリズムを用いたテストの最後に標準的な統計検定を適用して得られた誤った勝者率です。このテストでは、2つのバージョンが完全に同一である2,000回のシミュレーションを実施しました。50/50の分割を固定した場合、この率は4.65%に留まり、期待される5%の閾値と一致します。バンディットアルゴリズムは悪いツールではありません。単にA/Bテストとは異なる問題を扱っているだけであり、A/Bテストとして解釈すると誤りが生じるのです。

このガイドでは、2つのアプローチを統計的な観点（探索、トンプソンサンプリング、後悔、検出力）から比較し、次にユースケースごとに比較し、シミュレーション図を用いて補足します。

マルチアームバンディットまたはA/Bテスト：簡潔な回答

従来のA/Bテストでは、トラフィックを固定的に分配して2つのバージョンの違いを正確に測定します。一方、マルチアームバンディットテストでは、テスト中にコンバージョンを失う回数を最小限に抑えるため、優勢と思われるバージョンにトラフィックを振り分けます。長期的な意思決定を行い、その影響を定量化する必要がある場合はA/Bテストを、期間が短く累積結果のみが重要な場合はバンディットテストを選択してください。

これら2つの方法は、それぞれ異なる2つの量を最適化します。

• A/Bテストは推定誤差を最小限に抑える。 これは、BがAに勝つかどうか、その差はどれくらいか、そして信頼区間はどのくらいかを教えてくれます。この確実性を得るためには、最後までトラフィックの半分を劣ったバージョンに送るという代償を払わなければなりません。
• 山賊は後悔の念を軽視している, つまり、初日から勝者が分かっているシナリオと比較して、失われたコンバージョン数です。この精度向上には代償が伴います。敗者側のバージョンは訪問者数が少なすぎて、適切に測定できないのです。

どちらの方法も、両方の点で優れているわけではない。

探査か搾取か：片腕の盗賊のジレンマ

その名前はスロットマシン、つまり「片腕の盗賊」に由来する。配当がわからない複数のマシンに直面した場合、複数のマシンを試してみる（探索する）と同時に、最も配当の良いマシンでできるだけ頻繁にプレイする（攻略する）必要がある。

CRO（コンバージョン率最適化）において、各バリアントは「腕」、各訪問者は「部分」、コンバージョンは「成果」に相当します。従来のA/Bテストでは、テスト中は100%探索を行い、勝者となったバリアントが展開された後は100%活用します。バンディットテストは、この2つを継続的に組み合わせます。

この問題は古くから存在するもので、ウィリアム・R・トンプソンは、医学的臨床試験のために、自身の名を冠した方法を1933年には既に発表している。

「arm」、「regret」、「allowance」という用語が初めて聞く場合は、 A/BテストとCROの用語集 それぞれを1行で定義する。

イプシロングリーディ、UCB、トンプソンサンプリング：3つの仲裁方法

バンディットアルゴリズムの3つの系統は、探索の測定方法が異なっている。すなわち、偶然性（イプシロン・グリーディ）、計算された楽観主義（UCB）、または確率的サンプリング（トンプソンサンプリング）であり、今日のテストツールでは後者が主流となっている。

イプシロン貪欲：単純だが無駄が多い

このアルゴリズムは、トラフィックの一定割合（例えば10%）をすべてのバリアントにランダムに分配し、残りをその時点で最もパフォーマンスの良いバリアントに分配します。つまり、明らかにパフォーマンスの低いバリアントには最後までトラフィックを供給し続けるということです。「パフォーマンスに基づいて80%、ランダムに20%」といった割り当ては、このロジックに基づいています。

UCB：不確実性に直面しても楽観的であること

上限信頼区間は、各バリアントの潜在的なリターンの上限を計算し、最も高い値を選択します。テストが不十分なバリアントは上限値が大きいため、テスト対象となります。テストは十分に行われているものの、性能が平凡なバリアントはテスト対象外となります。この方法は決定論的であるため、一括更新にはあまり適していません。

トンプソンサンプリング：最高である確率に基づく賭け

各バリアントについて、アルゴリズムはコンバージョン率の確率分布を保持します。各訪問者に対して、各分布から値を選択し、最も高い値を持つバリアントを表示します。その結果、最も可能性が高い確率が70%のバリアントが、トラフィックの約70%を獲得することになります。 Russoらによるトンプソンサンプリングに関する参考チュートリアル では、このルールが特別な調整なしに理論上の最小後悔値に近づく理由を説明する。

これはほとんどのプラットフォームで採用されている方法です。 動的対応に関するAB Tasty のドキュメントは、この施策がトンプソンに依存していること、新規訪問者のみに影響を与えること（既に広告を見た訪問者は、その広告のバリアントを維持する）、そして開始する前に、選択した指標ごとに少なくとも1回のコンバージョンが発生するのを待つことを示しています。 BlastOptimize と AB Tasty の比較記事では、2つのツールの設定の違いを解説しています。

デメリット：コンバージョンにおけるA/Bテストのコスト。

後悔とは、テスト中に失われたコンバージョンの数を、すべての視聴者が最初から最良のバージョンを見ていた理想的なシナリオと比較して表したものです。50/50の場合、後悔はトラフィックに比例して増加しますが、バンディットの場合、後悔はテストの進行とともに減少します。

すでに詳しく説明したケースを取り上げてみましょう。 オートパイロットガイド BlastOptimize 40,000人の訪問者のうち、Aのコンバージョン率は3%、Bは3.6%でした。50/50の分割では、Aに20,000人、Bに20,000人の訪問者があり、結果として600 + 720 = 1,320のコンバージョンが発生しました。もし全員がBを見ていたとしたら、コンバージョン率は1,440になっていたでしょう。A/Bテストに伴う損失は120コンバージョン、つまり潜在的なコンバージョンの8.3%です。

エレア・フェイト（ドレクセル大学）とロン・バーマン（ウォートン・スクール）の研究、 「テスト＆ロール」と題された, これは明確に実証されています。訪問者数10万人のサイトの場合、総利益を最大化するテストでは、グループあたりわずか2,284人の訪問者で済みますが、2%の増加を検出するために設計された従来の仮説検定では18,468人の訪問者が必要です。大規模で「クリーン」なテストでは、コンバージョン数が476件多くなります。著者らはまた、仮説検定に伴う後悔はオーディエンスの規模とともに増加する一方、トンプソンサンプリングに伴う後悔はオーディエンスの平方根に比例して増加することを示しています。

この考え方を覚えておいてください。2週間のキャンペーンでは、トラフィックのほぼすべてが「テスト期間」に集中し、その結果を後悔することになります。一方、2年間運用されるホームページの場合、テスト期間はトラフィック全体のほんの一部に過ぎません。

我々のシミュレーション：バンディット対50/50（2,000回のテストに基づく）

各シナリオを2,000回繰り返し、固定分布と500人の訪問者ごとに更新されるトンプソンサンプリングを比較しました。ギャップが実際に存在する場合、バンディットは後悔の4分の3を回復しますが、ギャップが存在しない場合には勝者を検出する頻度が低くなり、誤検出がほぼ3倍になります。

方法: 事前ベータ(1,1)、バッチ更新、チームが結果を読むときと同じように、最後に5%両側z検定を計算します。

学んだ4つの教訓：

• 利益は確かに存在する。 トンプソンは120回のコンバージョンに対してわずか29回のコンバージョンしか失っておらず、これはオートパイロットガイドの計算（約1,408回のコンバージョン）と一致している。
• 状況は悪化している。 敗者側のバリアントは平均わずか4,370人の訪問者しか得られません。その結果、テストが有意となるのは66%のケースにとどまり、50/50のシナリオにおける92%と比較して低い結果となります。
• 盗賊は、何ら逸脱することなく、確実なものを作り出す。 これは最初のバッチのランダム性を引き継ぎ、分布のバランスを崩し、その結果、古典的なテストではほぼ8件に1件の割合で誤った結論が出てしまう。
• 小規模な密輸では、強盗は何も得ない。 4,000人の訪問者を対象とした場合、2つの手法は15～17%のケースで誤ったバリアントを特定し、後悔の差はコンバージョン数で4件にとどまった。

盗賊の代償：権力、偏見、そして誤検出

バンディットテストは、A/Bテストが保護する3つの要素、すなわち統計的検出力、測定された差に対するバイアスの排除、および古典的な有意性検定の妥当性を犠牲にする。

電力消費量が少ない

検出力、つまり真の差異を検出する確率は、主に最小のグループに依存します。バンディットは意図的にこのグループを飢餓状態に陥らせます。これは変換には有利ですが、測定には不利です。

推定が不十分なギャップ

不運なスタートを切った銘柄はすぐに取引量が減り、評価額は低迷したスタートのまま固定されてしまう一方、人気銘柄は徐々に回復していく。そのため、表示されるスプレッドは歪んでおり、しばしば過大評価されている。問題銘柄の上昇を経営陣に報告する前に、確認テストを計画しておくべきである。

もはや同じ意味を持たないp値

有意性の式は、あらかじめ決められた分布を前提としています。アルゴリズムが結果に基づいて分布を決定する場合、この前提は崩れます。これは、「ピーキング」問題に関連しており、結果を継続的に観察し、好ましい結果が出たらすぐに停止するというものです。 A/Bテストにおける偽陽性 この慣行がエラー率を急上昇させる理由を説明し、 よくあるA/Bテストのエラー 最も一般的な場所の一つ。

運用上の盲点

DoorDashの実験チームは、トンプソンサンプリングに基づいて独自のバンディットプラットフォームを構築し、 フィードバックは2025年12月に公開されました 具体的な制約事項はいくつか存在する。最適化された報酬に含まれない指標の分析の難しさ、訪問ごとにバリアントを切り替えるユーザーの体験の一貫性の欠如、そして行動と結果の間のタイムラグなどである。顧客の行動が時間とともに変化した場合のバイアスを抑えるため、チームは各バリアントの生のレートではなく、コントロールバージョンとの差をモデル化することを選択した。

バンディットアルゴリズムを選択するタイミング

テスト中に間違ったバージョンを表示するコストが、相手が勝つ正確な理由を知ることの価値を上回る場合、バンディットを選択する。これは特に、短い期間や将来性のない意思決定の場合に起こる。

• 期間限定キャンペーン セール、ブラックフライデーのプロモーション、新製品発表会。4つの見出しを使った2万人の訪問者を対象としたプロモーションでは、シミュレーションの結果、136件中82件のコンバージョンが回収され、テスト費用の60%が回収されました。その後、本番環境への展開は行いません。
• 高回転要素 タイトル、メールの件名、バナー、広告画像などは毎月更新されます。
• 多様なバリエーションがあり、先入観はほとんどない。 チームが提案する、あるいはAIが生成する6つのフックがある。バンディットは最も弱いフックを素早く排除する。固定分布テストでは、それぞれのフックに対して大きな代償を払うことになるだろう。
• 継続的最適化 : 無限に実行されるブロックで、場合によってはバリエーションが追加される。

共通の条件: 最適化された指標は、迅速に測定され (クリック、カートに追加、フォーム送信)、値を正確に反映する必要があります。eコマースサイトでは、当社のページは eコマース向けCRO これらの条件を満たすページの詳細を記載します。

従来のA/Bテストを継続すべきタイミング

固定分割A/Bテストは、変更にコストがかかる、または裏付けとなるデータで正当化する必要がある長期的な意思決定、およびコンバージョンが遅れて発生するテストのために維持してください。

• デザイン変更、価格設定、支払いファネル 数週間の後悔は、何年も偽の勝者を擁立するリスクに比べれば取るに足らない。
• インパクト数値の必要性 収益予測、予算調整、経営陣への報告。固定配分のみが、信頼できる信頼区間を持つ偏りのない分散を提供します。
• 繰延変換 B2Bやリードジェネレーションでは、フォームの送信はすぐに行われますが、真の価値（質の高いリード、アポイントメント、契約締結）は数日後に現れます。送信プロセスを最適化する詐欺師は、最も質の低いリードを引き付けるバージョンを好むかもしれません。ローンチ前に、 目的と追跡方法を定義する これはまさにこの価値観を反映している。
• 監視すべきいくつかの指標 盗賊は単一の報酬を最適化し、平均的な報酬を含むその他の要素を誤って判断する。
• セグメントによって効果が異なる デスクトップでは成功するがモバイルでは失敗するバリアント。バンディットは平均値に収束し、影響を受けたセグメントをそのセグメントに適したバージョンに送信するのを停止します。
• 交通量が少ない 4,000人の訪問者を想定したシミュレーションが示すように、信号が弱すぎる場合、バンディットはほとんど効果を発揮しません。大きな変化があった場合の単純なテストの方が効果的です。

同じ論理は、複数の要素を同時にテストする場合にも適用されます。 A/Bテストと多変量テスト これは、組み合わせを追加するたびに、追加のトラフィックが必要になることを示している。

両者を組み合わせる：3つのハイブリッド戦略

この2つの方法は互いにうまく連携する。まずは迅速な調査を行い、その後、状況に応じて適切な測定を行う。

1. 盗賊でソートし、A/Bで確認する

5～6種類のバンディット攻撃パターンを1～2週間実行し、最も効果の低いものを排除する。その後、最も効果の高い2つのパターンを、事前に設定したA/Bテストで比較する。

2. 短時間テストしてから展開する（「テスト・アンド・ロール」）

これはフェイトとバーマンの提唱する推奨事項である。有意水準ではなく、期待利益に基づいて検定規模を決定する。こうすることで検定時間は短縮され、分布は固定され偏りのないままとなり、後悔はバンディット問題における後悔とほぼ同等になる。

3. A/Bテストを使用して検証し、その後バンディットテストを使用して悪用する。

永続的なキャンペーン（バナー広告、レコメンデーション広告など）の場合、まずA/Bテストを実施して、キャンペーンが効果を発揮していることを確認します。次に、バンディットと呼ばれる担当者がキャンペーン内のコンテンツのローテーションを管理します。また、トラフィックの5%など、小規模な永続的なコントロールグループを維持し、全体的な効果が長期的に持続することを確認します。

戦略が何であれ、 バリエーションの高速配信 注: 元のページを一瞬表示すると、両方の方法が同じように無効になります。また、バリアント間の実際の差とその間隔を読み取るには、 分析ダッシュボード BlastOptimize 専門用語を使わずに結果を表示します。

チェックリスト：7つの質問で最適な方法を選ぶ

各テストの前に、以下の7つの質問に答えてください。最初の6つの質問のうち、少なくとも4つが「バンディット」回答であれば、自動割り当てとなります。そうでなければ、固定割り当てのままとなります。7つ目の質問は、テストが成功する可能性があるかどうかを確認するものです。

1. 決定の寿命 1か月未満（盗賊）か、数か月以上（A/B）か？
2. インパクト数値の必要性 提示または再利用：いいえ（バンディット）、はい（A/B）？
3. 変換時間 セッション内で測定可能（バンディットテスト）か、数日後（A/Bテスト）に測定可能か？
4. バリエーションの数 ：明確なお気に入りがいない4人以上（バンディット）、2人または3人（A/B）？
5. 二次指標 監視すべき項目（平均購入金額、返金率、リードの質）：なし（バンディット）、少なくとも1つ（A/Bテスト）？
6. セグメント 異なる反応を示す可能性が高いか：いいえ（バンディット）、はい（A/Bテストまたは対照群のあるコンテキストバンディット）？
7. 渋滞 : 時間の経過とともに各バリアントにつき少なくとも数百件のコンバージョンが見込まれる（どちらも可能）か、それ以下（どちらでも決定的な要因にはならない：より顕著な変更をテストする）か？

年間10回未満の検査ですか？めったに使用しないオプションにお金を払うのは避けましょう。 価格 BlastOptimize. 。

主なポイント

バンディットテストとA/Bテストは、それぞれ異なる問いに答えるものです。

• A/Bテストは測定誤差を最小限に抑え、マルチアームバンディットは後悔、つまりテスト中に失われたコンバージョンを最小限に抑えます。
• トンプソンサンプリングは基準となるアルゴリズムであり、各バリアントは、それが最良である確率に比例したトラフィックの割合を受け取ります。
• 我々のシミュレーションでは、バンディットは50/50の確率で生じる後悔の約75%を回復するが、勝者の検出率は92%から66%に、偽の勝者の検出率は4.65%から12.75%に低下するものの、実質的な違いは見られない。
• Banditは、短期キャンペーン、頻繁に更新されるコンテンツ、多数のバリエーションに適しています。A/Bテストは、長期的な意思決定、遅延コンバージョン、価格テストに適しています。
• トラフィック量が少ない場合、どちらの方法も劇的な効果を発揮するわけではありません。

よくある質問

バンディットテストはA/Bテストよりも速いですか？

データを活用するのは速いが、結論を導き出すのはそう簡単ではない。負けた方のバリアントは訪問者数が少ないため、違いを実証するにはより多くのトラフィックが必要になることが多い。統計的な結論を得るには、固定分布A/Bテストが依然として最短ルートである。

バンディット検定で有意性を計算することはできますか？

従来の計算式では、あらかじめ分布が決まっていると仮定するため、うまくいきません。シミュレーションでは、バンディット問題にこれらの計算式を適用すると、5%ではなく12.75%の誤った勝者が発生します。代わりに、アルゴリズムによって提供される最良のバリアントである確率を使用するか、短いA/Bテストで結果を確認してください。

盗賊を使うには、どれくらいの密輸が必要なのか？

バンディットは、A/Bテストよりも少なく短期間で学習する必要はありません。ドキュメントによると、学習を開始するにはまず様々なバリアントで最も1つのコンバージョンが必要です。AB Tasty, 実際には、最初のバッチのノイズを解消するために数十件の試行が必要になります。

トンプソンサンプリングとイプシロングリーディ：どちらを選ぶべきか？

ほとんどの場合、トンプソンサンプリングが好ましい方法です。これは、不確実性に合わせて検索を調整し、既に解決済みのバリアントにトラフィックを無駄に費やすことを防ぎます。イプシロングリーディサンプリングは、検索の固定された、かつ容易に説明できる割合を必要とする場合にのみ正当化されます。

B2Bのリードジェネレーションにおいて、バンディットは有効か？

戦術的な要素（ランディングページの見出し、広告画像、ボタンのラベルなど）については、最適化指標がフォーム送信であれば有効です。しかし、戦略的な意思決定においては有効ではありません。リードの質はアルゴリズムの指針となるには測定時期が遅すぎるため、質の低い問い合わせを引き付けるフォームが優先されるリスクがあるからです。

コンテキストバンディットとは何ですか？

これは、訪問者のプロファイル（デバイス、トラフィックソース、ページビュー）に基づいてバリアントを選択する、いわば「盗賊」のような存在です。単一の勝者を指定するのではなく、パーソナライズされた表示を実現することを目的としており、より多くのトラフィックを必要とし、その効果を測定するための対照群を維持する必要があります。