Bandit-Algorithmen vs. klassische A/B-Tests: Wann welchen Algorithmen einsetzen?

Aktualisiert am 15. Oktober 2026

12,75 %. Das ist die Rate falscher Gewinner, die wir durch Anwendung eines Standard-Statistiktests am Ende von Tests ermittelt haben, die durch einen Bandit-Algorithmus gesteuert wurden. Die Simulationen umfassten 2.000 Simulationen, in denen die beiden Versionen exakt identisch waren. Bei einer festen 50/50-Aufteilung bleibt diese Rate bei 4,65 % und entspricht damit dem erwarteten Schwellenwert von 5 %. Der Bandit-Algorithmus ist kein schlechtes Werkzeug. Er beantwortet lediglich eine andere Fragestellung als A/B-Tests, und ihn als A/B-Test zu interpretieren, führt zu Fehlern.

Dieser Leitfaden vergleicht die beiden Ansätze zunächst aus statistischer Sicht (Exploration, Thompson-Sampling, Regret, Power) und anschließend anhand von Anwendungsfällen, unterstützt durch Simulationsabbildungen.

Multi-Armed Bandit oder A/B-Testing: die kurze Antwort

Ein klassischer A/B-Test verteilt den Traffic auf eine festgelegte Weise, um den Unterschied zwischen zwei Versionen präzise zu messen. Ein Multi-Armed-Bandit-Test hingegen verschiebt den Traffic auf die Version, die sich als erfolgreicher erweist, um während des Tests möglichst wenige Conversions zu verlieren. Wählen Sie einen A/B-Test, wenn Sie eine langfristige Entscheidung treffen und deren Auswirkungen quantifizieren müssen, und einen Multi-Armed-Bandit-Test, wenn der Zeitraum kurz ist und nur das kumulative Ergebnis zählt.

Die beiden Methoden optimieren zwei unterschiedliche Größen:

• A/B-Tests minimieren Schätzfehler. Es zeigt Ihnen an, ob B besser ist als A, um wie viel und mit welchem ​​Konfidenzintervall. Diese Gewissheit erhalten Sie, indem Sie bis zum Schluss die Hälfte des Datenverkehrs auf die schlechtere Version umleiten.
• Der Bandit spielt sein Bedauern herunter., Das heißt, die verlorenen Conversions im Vergleich zu einem Szenario, in dem der Gewinner von Anfang an feststeht. Dieser Genauigkeitsgewinn hat seinen Preis: Die unterlegene Version erhält zu wenige Besucher, um aussagekräftig gemessen zu werden.

Keine der beiden Methoden ist in beiden Punkten erfolgreich.

Erkundung versus Ausbeutung: Das Dilemma des einarmigen Banditen

Der Name leitet sich von Spielautomaten ab, den „einarmigen Banditen“: Steht man vor mehreren Automaten, deren Auszahlungen man nicht kennt, muss man sowohl mehrere ausprobieren (erkunden) als auch so oft wie möglich an dem besten spielen (ausnutzen).

Bei der Conversion-Rate-Optimierung (CRO) ist jede Variante ein „Arm“, jeder Besucher ein Teil davon und die Conversion der Gewinn. Ein klassischer A/B-Test beinhaltet 100 % Exploration während der Testphase und anschließend 100 % Exploitation, sobald die erfolgreiche Variante implementiert ist. Ein Täuschungsmanöver vermischt diese beiden Phasen kontinuierlich.

Das Problem ist nicht neu: William R. Thompson veröffentlichte die Methode, die seinen Namen trägt, bereits 1933 für medizinische Studien.

Falls Ihnen die Begriffe „Arm“, „Bedauern“ oder „Zulage“ neu sind, Glossar zu A/B-Testing und CRO definiert jedes einzelne in einer Zeile.

Epsilon-greedy, UCB, Thompson-Sampling: Drei Wege zur Schlichtung

Die drei Familien von Bandit-Algorithmen unterscheiden sich in der Art und Weise, wie sie die Exploration messen: durch Zufall (Epsilon-Greedy), durch kalkulierten Optimismus (UCB) oder durch probabilistisches Sampling (Thompson-Sampling), wobei letzteres heute bei Testwerkzeugen dominiert.

Epsilon-gierig: einfach, aber verschwenderisch

Der Algorithmus verteilt einen festen Anteil des Datenverkehrs, beispielsweise 10 %, zufällig auf alle Varianten und den Rest auf die jeweils beste Variante. So einfach ist das: Eine offensichtlich leistungsschwache Variante wird bis zum Schluss weiter betreut. Auf dieser Logik basieren Zuteilungen wie „80 % leistungsbasiert, 20 % zufällig“.

UCB: Optimismus angesichts der Unsicherheit

Die Funktion „Obere Konfidenzgrenze“ berechnet für jede Variante eine Obergrenze für deren potenziellen Ertrag und wählt die höchste aus. Eine schlecht getestete Variante hat eine hohe Obergrenze und wird daher getestet. Eine gut getestete, aber mittelmäßige Variante wird nicht mehr getestet. Da die Funktion deterministisch ist, eignet sie sich weniger für Batch-Aktualisierungen.

Thompson-Sampling: Wetten basierend auf der Wahrscheinlichkeit, der Beste zu sein

Für jede Variante verwaltet der Algorithmus eine Wahrscheinlichkeitsverteilung ihrer Konversionsrate. Für jeden Besucher wählt er einen Wert aus jeder Verteilung aus und zeigt die Variante mit dem höchsten Wert an. Dadurch erhält eine Variante mit einer Wahrscheinlichkeit von 70 %, die beste zu sein, etwa 70 % des Traffics. Das Referenztutorial von Russo et al. zum Thompson-Sampling erklärt, warum diese Regel sich ohne besondere Anpassung dem theoretischen Minimum des Bedauerns annähert.

Diese Methode verwenden die meisten Plattformen. Die Dokumentation zur dynamischen Zuteilung von AB Tasty gibt an, dass sie auf Thompson basiert, nur neue Besucher betrifft (ein bereits exponierter Besucher behält seine Variante) und vor dem Start mindestens eine Conversion pro Variante beim gewählten Indikator abwartet. Der Vergleich zwischen BlastOptimize und AB Tasty geht auf die Unterschiede bei den Einstellungen der beiden Tools ein.

Der Nachteil: die Kosten für A/B-Tests bei den Konversionen.

Der Bedauernswert ist die Anzahl der während eines Tests verlorenen Conversions im Vergleich zum Idealfall, in dem die gesamte Zielgruppe von Anfang an die beste Version gesehen hätte; bei einem 50/50-Test wächst der Bedauernswert proportional zum Traffic, bei einem Bandit-Test nimmt er im Laufe des Tests ab.

Nehmen wir den Fall, der bereits in unserem ausführlichen Artikel beschrieben wurde. Autopilot-Anweisung BlastOptimize Bei 40.000 Besuchern liegt die Conversion-Rate von Angebot A bei 3 %, die von Angebot B bei 3,6 %. Bei einer 50/50-Aufteilung erhält A 20.000 Besucher und B ebenfalls 20.000, was zu 600 + 720 = 1.320 Conversions führt. Hätten alle Besucher Angebot B gesehen, läge die Conversion-Rate bei 1.440. Der durch den A/B-Test entstandene Verlust beträgt 120 Conversions bzw. 8,3 % der potenziellen Conversions.

Die Arbeiten von Elea Feit (Drexel) und Ron Berman (Wharton), mit dem Titel "Test & Roll", Dies wird deutlich veranschaulicht. Für eine Website mit 100.000 Besuchern benötigt der Test, der den Gesamtgewinn maximiert, lediglich 2.284 Besucher pro Gruppe, verglichen mit 18.468 für einen klassischen Hypothesentest, der eine Steigerung von 2 % nachweisen soll. Der große, „saubere“ Test kostet 476 zusätzliche Conversions. Die Autoren zeigen außerdem, dass das mit einem Hypothesentest verbundene Bedauern mit der Größe der Zielgruppe zunimmt, während das Bedauern beim Thompson-Sampling nur mit seiner Quadratwurzel ansteigt.

Merken Sie sich Folgendes: Bei einer zweiwöchigen Kampagne entfällt fast der gesamte Traffic auf die Testphase, und die Folgen sind umso ärgerlicher. Bei einer Homepage, die zwei Jahre lang online sein wird, macht die Testphase hingegen nur einen Bruchteil des gesamten Traffics aus.

Unsere Simulation: Bandit vs. 50/50 basierend auf 2.000 Tests

Wir haben jedes Szenario 2.000 Mal wiederholt und dabei eine feste Verteilung mit einer Thompson-Stichprobe verglichen, die in Gruppen von jeweils 500 Besuchern aktualisiert wurde: Der Bandit holt drei Viertel des Bedauerns zurück, wenn die Lücke real ist, erkennt aber den Gewinner seltener und verdreifacht fast die Anzahl der Fehlalarme, wenn keine Lücke vorhanden ist.

Methode: a priori Beta(1,1), Batch-Update, 5% zweiseitiger z-Test, berechnet am Ende, so wie es ein Team beim Lesen seiner Ergebnisse tun würde.

Vier Lehren, die wir daraus gezogen haben:

• Der Gewinn ist da. Thompson verliert lediglich 29 von 120 Konversionen, was mit der Berechnung des Autopiloten übereinstimmt (ca. 1408 Konversionen).
• Die Situation verschlechtert sich. Die unterlegene Variante verzeichnet durchschnittlich nur 4.370 Besucher. Daher ist der Test nur in 66 % der Fälle signifikant, verglichen mit 92 % im 50/50-Szenario.
• Ohne jegliche wirkliche Abweichung schafft der Bandit Gewissheiten. Dadurch wird die Zufälligkeit der ersten Chargen fortgesetzt, die Verteilung aus dem Gleichgewicht gebracht, und ein klassischer Test kommt dann in fast jedem achten Fall zu einem falschen Ergebnis.
• Beim Kleinkriminellenhandel spart der Bandit nichts. Bei 4.000 Besuchern ermittelten die beiden Methoden in 15 bis 17 % der Fälle die falsche Variante, und der Unterschied im Bedauern beschränkte sich auf 4 Konversionen.

Der Preis des Banditen: Macht, Voreingenommenheit und Fehlalarme

Ein Bandit opfert drei Dinge, die A/B-Tests schützen: statistische Aussagekraft, die Abwesenheit von Verzerrungen bei der Messung der Differenz und die Gültigkeit klassischer Signifikanztests.

Weniger Leistung

Die statistische Aussagekraft, also die Wahrscheinlichkeit, eine tatsächliche Abweichung zu erkennen, hängt primär von der kleinsten Gruppe ab. Ein Betrüger lässt diese Gruppe absichtlich verhungern: gut für Ihre Konversionen, schlecht für Ihre Messung.

Eine schlecht eingeschätzte Lücke

Ein unglücklicher Frühstarter verliert schnell an Zugkraft: Seine Bewertung bleibt aufgrund des schwachen Starts unverändert, während der Favorit sich erholt. Die angezeigte Spanne ist daher verzerrt und oft überschätzt. Bevor Sie Ihrem Management einen Anstieg eines Problemfalls präsentieren, planen Sie einen Bestätigungstest.

P-Werte, die nicht mehr dasselbe bedeuten

Signifikanzformeln setzen eine vorgegebene Verteilung voraus. Wenn der Algorithmus die Verteilung anhand der Ergebnisse bestimmt, ist diese Annahme nicht mehr gültig. Dies hängt mit dem „Peeking“-Problem zusammen, bei dem die Ergebnisse kontinuierlich beobachtet und gestoppt werden, sobald sie günstig erscheinen. Unser Artikel zum Thema … Falsch-positive Ergebnisse bei A/B-Tests erklärt, warum diese Vorgehensweise die Fehlerrate in die Höhe schnellen lässt, und die Liste der Häufige Fehler bei A/B-Tests der Ort, der am häufigsten vorkommt.

Operative blinde Flecken

Das experimentelle Team von DoorDash, das seine eigene Banditenplattform auf Basis von Thompson-Sampling entwickelt hat, nennt in seinem im Dezember 2025 veröffentlichten Erfahrungsbericht mehrere konkrete Einschränkungen: die Schwierigkeit, Indikatoren zu analysieren, die nicht Teil der optimierten Belohnung sind, die inkonsistente Nutzererfahrung beim Wechsel zwischen verschiedenen Varianten und die Verzögerung zwischen Aktion und Ergebnis. Um Verzerrungen durch sich änderndes Kundenverhalten zu minimieren, entschied sich das Team, die Differenz zur Kontrollversion anstelle der Rohrate jeder Variante zu modellieren.

Wann sollte man einen Bandit-Algorithmus wählen?

Wähle einen Banditen, wenn die Kosten, die entstehen, wenn man während des Tests die falsche Version zeigt, den Wert übersteigen, genau zu wissen, warum der andere gewinnt. Dies geschieht insbesondere bei kurzen Zeitfenstern und Entscheidungen ohne Zukunft.

• Zeitlich begrenzte Kampagnen Verkaufsaktionen, Black-Friday-Angebote, Produkteinführung. Bei einer Werbeaktion mit 20.000 Besuchern und vier verschiedenen Überschriften erzielt unsere Simulation 82 von 136 Conversions, also 60 % der Testkosten. Ein anschließender Einsatz ist nicht erforderlich.
• Hochrotierende Elemente Titel, E-Mail-Betreffzeilen, Banner und Werbegrafiken werden monatlich aktualisiert.
• Viele Variationen, wenige vorgefasste Meinungen Sechs Haken werden vom Team vorgeschlagen oder von der KI generiert. Der Bandit eliminiert schnell die schwächsten. Ein Test mit fester Verteilung würde für jeden einzelnen Haken einen hohen Preis fordern.
• Kontinuierliche Optimierung : ein Codeblock, der unbegrenzt ausgeführt wird und manchmal eine Variation hinzufügt.

Gemeinsame Bedingung: Der optimierte Indikator muss schnell messbar sein (Klick, Hinzufügen zum Warenkorb, Absenden eines Formulars) und den Wert präzise widerspiegeln. Auf einer E-Commerce-Website ist unsere Seite zum Thema … Conversion-Rate-Optimierung für E-Commerce listet die Seiten auf, auf denen diese Bedingungen erfüllt sind.

Wann sollte man einen klassischen A/B-Test durchführen?

Führen Sie einen A/B-Test mit fester Aufteilung durch, wenn eine langfristige Entscheidung mit hohen Kosten verbunden ist, die rückgängig gemacht werden muss oder die durch unterstützende Daten begründet werden muss, sowie bei jedem Test, bei dem die Konversion erst spät erfolgt.

• Neugestaltung, Preisgestaltung, Zahlungsprozess Ein paar Wochen des Bedauerns wiegen wenig im Vergleich zum Risiko, jahrelang einen falschen Gewinner einzusetzen.
• Bedarf an einer Wirkungskennzahl Umsatzprognosen, Budgetverhandlungen, Berichterstattung an die Geschäftsleitung. Nur eine feste Zuweisung liefert eine unverzerrte Varianz mit einem verlässlichen Konfidenzintervall.
• Aufgeschobene Umwandlungen Im B2B-Bereich oder bei der Leadgenerierung erfolgen Formularübermittlungen zwar schnell, der eigentliche Nutzen (qualifizierter Lead, Termin, Vertragsabschluss) ergibt sich jedoch erst Tage später. Ein Betrüger, der den Übermittlungsprozess optimiert, könnte die Variante bevorzugen, die die am wenigsten qualifizierten Leads anzieht. Vor dem Start, Definiere das Ziel und die Nachverfolgung die diesen Wert wirklich widerspiegeln.
• Mehrere Indikatoren zur Überwachung Ein Bandit optimiert eine einzelne Belohnung und verkennt den Rest, einschließlich des durchschnittlichen Warenkorbs.
• Je nach Segmenten ergeben sich unterschiedliche Effekte. Eine Variante, die auf Desktop-Computern besser funktioniert als auf Mobilgeräten. Der Bandit nähert sich dem Durchschnitt an und stellt die Weiterleitung der betroffenen Segmente an die für ihn passende Version ein.
• Geringer Verkehr Wie die Simulation mit 4.000 Besuchern zeigt, bringt der Bandit bei zu schwachem Signal fast nichts. Ein einfacher Test bei einer signifikanten Änderung ist aussagekräftiger.

Die gleiche Logik gilt für das gleichzeitige Testen mehrerer Elemente: unser Vergleich zwischen A/B-Tests und multivariate Tests zeigt, dass jede zusätzliche Kombination zusätzlichen Verkehr erfordert.

Die Kombination der beiden: drei Hybridstrategien

Die beiden Methoden ergänzen sich gut: zuerst eine schnelle Erkundung, dann eine genaue Messung, je nach den Umständen.

1. Nach Banditen sortieren, A/B-Vergleich bestätigen

Testen Sie fünf oder sechs Banditenvarianten ein bis zwei Wochen lang, um die schwächste auszusortieren. Vergleichen Sie anschließend die beiden besten Varianten in einem vorab festgelegten A/B-Test.

2. Kurz testen, dann bereitstellen („Testen und Ausrollen“)

Feit und Berman empfehlen daher, den Test anhand des erwarteten Gewinns und nicht anhand einer Signifikanzschwelle zu dimensionieren. Dadurch wird der Test kürzer, die Verteilung bleibt unverändert und unverzerrt, und das Bedauern bleibt nahe an dem eines Banditen.

3. Validierung mittels A/B-Testing, anschließende Ausnutzung mittels Bandit-Testing.

Bei einer permanenten Kampagne (Banner, Empfehlungen) bestätigt ein erster A/B-Test den Erfolg der Kampagne. Anschließend übernimmt ein automatisierter Dienstleister die Content-Rotation innerhalb dieser Kampagne. Um sicherzustellen, dass der Gesamtnutzen langfristig erhalten bleibt, sollte eine kleine, permanente Kontrollgruppe (z. B. 5 % des Traffics) eingerichtet werden.

Unabhängig von der Strategie, die schnelle Auslieferung der Varianten Hinweis: Ein kurzes Blinken der Originalseite macht beide Methoden gleichermaßen ungültig. Um den tatsächlichen Unterschied zwischen den Varianten mit seinen Intervallen zu lesen, zeigt das Analyse-Dashboard von BlastOptimize die Ergebnisse ohne Fachjargon an.

Checkliste: Die richtige Methode in 7 Fragen auswählen

Beantworten Sie diese sieben Fragen vor jedem Test: Mindestens vier der ersten sechs Antworten („Banditenantworten“) deuten auf eine automatische Zuteilung hin; andernfalls bleibt die Zuteilung unverändert. Die siebte Frage dient der Überprüfung, ob der Test eine Erfolgschance hat.

1. Lebensdauer der Entscheidung weniger als einen Monat (Bandit) oder mehrere Monate oder länger (A/B)?
2. Bedarf an einer Wirkungskennzahl Vorstellen oder Wiederverwenden: Nein (Bandit), Ja (A/B)?
3. Umrechnungszeit : Messbar innerhalb der Sitzung (Bandit) oder erst mehrere Tage später (A/B)?
4. Anzahl der Varianten : vier oder mehr ohne klaren Favoriten (Bandit), zwei oder drei (A/B)?
5. Sekundäre Indikatoren , die zu überwachen sind (durchschnittliche Warenkorbgröße, Rückerstattungsrate, Lead-Qualität): keiner (Bandit), mindestens einer (A/B-Test)?
6. Segmente Wahrscheinlich werden sie unterschiedlich reagieren: nein (Bandit), ja (A/B-Test oder kontextueller Bandit mit Kontrollgruppe)?
7. Verkehr : Mindestens einige hundert Konvertierungen pro Variante im Laufe der Zeit zu erwarten (beides ist möglich) oder weniger (keine der beiden Methoden wird entscheiden: eine deutlichere Änderung testen)?

Weniger als zehn Tests pro Jahr? Vermeiden Sie die Kosten für eine selten genutzte Option: Vergleichen Sie mit der Preise BlastOptimize. Die

Wichtigste Erkenntnisse

Bandit- und A/B-Testing beantworten zwei unterschiedliche Fragen.

• A/B-Tests minimieren Messfehler; der Multi-Armed-Bandit minimiert Reue, d.h. Konversionsverluste während des Tests.
• Thompson Sampling ist der Referenzalgorithmus: Jede Variante erhält einen Anteil am Datenverkehr, der proportional zu ihrer Wahrscheinlichkeit ist, die beste zu sein.
• In unserer Simulation holt der Bandit etwa 75 % des Bedauerns einer 50/50-Chance zurück, aber die Erkennung des Gewinners sinkt von 92 % auf 66 % und die der falschen Gewinner von 4,65 % auf 12,75 % ohne wirklichen Unterschied.
• Bandit für kurze Kampagnen, schnell wechselnde Inhalte und zahlreiche Variationen; A/B-Testing für nachhaltige Entscheidungen, verzögerte Konversionen und Preistests.
• Bei geringem Verkehrsaufkommen vollbringt keine der beiden Methoden Wunder.

Häufig gestellte Fragen

Ist ein Bandit-Test schneller als ein A/B-Test?

Die Datenauswertung geht schneller, Schlussfolgerungen lassen sich damit aber nicht ziehen. Da die unterlegene Variante nur wenige Besucher erhält, ist oft mehr Traffic nötig, um den Unterschied deutlich zu machen. Für eine statistische Aussage bleibt ein A/B-Test mit fester Verteilung der kürzeste Weg.

Lässt sich die Signifikanz eines Bandit-Tests berechnen?

Nicht mit herkömmlichen Formeln, die von einer vorgegebenen Verteilung ausgehen. In unserer Simulation führt deren Anwendung auf einen Banditen zu 12,75 % falschen Gewinnern anstatt 5 %. Verwenden Sie stattdessen die vom Algorithmus angegebene Wahrscheinlichkeit, die beste Variante zu sein, oder bestätigen Sie das Ergebnis mit einem kurzen A/B-Test.

Wie viel Menschenhandel ist nötig, um einen Banditen einzusetzen?

Der Bandit benötigt nicht weniger Traffic als ein A/B-Test, um zu lernen. Er benötigt Conversions für jede Variante, um zu starten, mindestens eine laut Dokumentation.AB Tasty, In der Praxis reichen schon ein paar Dutzend aus, um den anfänglichen Andrang zu überwinden. Bei mehreren Tausend Besuchern insgesamt versagen beide Methoden oft.

Thompson-Sampling oder Epsilon-Greedy-Verfahren: Welches ist das richtige?

Thompson-Sampling ist in den meisten Fällen die bevorzugte Methode: Es passt die Suche an die Unsicherheit an und vermeidet unnötigen Aufwand für bereits bekannte Varianten. Epsilon-Greedy-Sampling ist nur dann gerechtfertigt, wenn ein fester und leicht nachvollziehbarer Anteil der Suche gewünscht ist.

Funktioniert ein Bandit bei der B2B-Leadgenerierung?

Für taktische Elemente (Landingpage-Überschrift, Anzeigenbild, Button-Beschriftung) ja, wenn die optimierte Kennzahl die Formularübermittlung ist. Für strategische Entscheidungen nein: Die Lead-Qualität wird zu spät gemessen, um den Algorithmus zu steuern, wodurch die Gefahr besteht, dass Formulare bevorzugt werden, die unqualifizierte Kontakte anziehen.

Was ist ein Kontextbandit?

Es handelt sich um einen Algorithmus, der die Variante anhand des Besucherprofils auswählt: Gerät, Traffic-Quelle, Seitenaufrufe. Er dient der Personalisierung anstatt der Ermittlung eines einzelnen Gewinners, benötigt deutlich mehr Traffic und erfordert eine Kontrollgruppe, um seine Wirkung zu messen.