Falsch-positive Ergebnisse bei A/B-Tests: Die Ursachen, die wir nicht sehen

Aktualisiert am 25. September 2026 — Erkennen Sie falsch positive Ergebnisse bei A/B-Tests, bevor diese Ihre Entscheidungen verfälschen.

Zusammenfassung

• Ein falsch positives Ergebnis, das über die rein statistische Definition hinausgeht
• Fehlendes Probenverhältnis: das falsch positive Ergebnis, das seinen Namen nicht aussprechen darf
• Bot-Kontamination: ein unterschätztes Problem
• Kalendereffekte: Wochentag, Saisonalität, Sonderangebote
• Eine kurze Erinnerung ans Spähen
• Wie man falsch positive Ergebnisse bei A/B-Tests im Nachhinein erkennt
• Die Checkliste zur Vermeidung falsch positiver Ergebnisse bei A/B-Tests vor der Generalisierung
• Häufig gestellte Fragen
• Wichtigste Erkenntnisse

Falsch-positive Ergebnisse bei A/B-Tests treten nicht immer dort auf, wo man sie erwartet: Eine 1%ige Ungleichverteilung des Traffics zwischen den beiden getesteten Versionen kann bereits eine 2%ige Abweichung der Kennzahlen verursachen – das zeigen die vom DoorDash-Entwicklungsteam veröffentlichten Zahlen. Nicht nur eine Abweichung von 1 % im Endergebnis – eine Differenz von 2 %, die allein dadurch entsteht, dass die beiden Gruppen nicht mehr wirklich vergleichbar sind. Und dennoch berücksichtigen die meisten Teams diesen Punkt nicht, bevor sie ihre Konversionsrate ablesen.

Dieser Leitfaden geht über das hinaus Klassisches falsch positives Ergebnis – was auf eine Fehlinterpretation der Konfidenzschwelle oder wiederholtes Überprüfen der Ergebnisse zurückzuführen ist. Konkret untersucht er drei technische Ursachen für falsch positive Ergebnisse bei A/B-Tests. Diese Ursachen machen einen Test ungültig, noch bevor statistische Berechnungen zum Tragen kommen: Stichprobenungleichgewicht, Bot-Kontamination und Timing-Effekte.

Ein falsch positives Ergebnis, das über die rein statistische Definition hinausgeht

Ein falsch positives Ergebnis liegt vor, wenn eine Variante fälschlicherweise als Gewinner deklariert wird. Die häufigste Ursache ist statistischer Natur – ein zufällig erreichtes Konfidenzniveau, eine zu kleine Stichprobe oder ein zu früh abgebrochener Test. Dies ist jedoch nur ein Teil des Problems.

Eine weitere Gruppe von Ursachen, eher technischer Natur und schwerer zu erkennen, führt zum gleichen Ergebnis: einem scheinbar eindeutigen Resultat, das jedoch auf Daten beruht, die bereits vor der statistischen Berechnung fehlerhaft waren. Selbst ein perfekt konzipierter und über die empfohlene Dauer durchgeführter Test kann ein falsch positives Ergebnis liefern. Die Ursache: ein Datenverkehr, der in den beiden Gruppen nie vergleichbar war.

Fehlendes Probenverhältnis: das falsch positive Ergebnis, das seinen Namen nicht aussprechen darf

Hier kommt das Konzept ins Spiel, das in französischsprachigen Leitfäden zu diesem Thema am wenigsten Beachtung findet, obwohl es zu den Routineprüfungen der größten Experimentierplattformen gehört: die Sample Ratio Mismatch, kurz SRM.

Das Prinzip ist einfach zu verstehen. Ein A/B-Test, der so konfiguriert ist, dass der Traffic gleichmäßig (50/50) aufgeteilt wird, sollte bei ausreichend großer Stichprobe eine Verteilung nahe an diesem Gleichgewicht ergeben. Weicht die tatsächlich beobachtete Verteilung deutlich von der erwarteten Verteilung ab – beispielsweise 55/45 statt 50/50 –, deutet dies darauf hin, dass ein technisches Problem eine der beiden Gruppen betrifft, unabhängig von den Konversionsergebnissen.

DoorDash dokumentiert mehrere häufige Ursachen für SRM (Self-Response Management) im eigenen System: Mitarbeiter, die durch frühzeitigen Zugriff auf eine Funktion standardmäßig einer Gruppe zugeordnet wurden, Fehlerbehebungen während der Testphase, die die Historie bereits betroffener Nutzer nicht zurücksetzen, oder schlichtweg eine fehlerhafte Datenfilterung. In all diesen Fällen misst das Testergebnis – selbst wenn es statistisch signifikant ist – nicht mehr das, was es messen soll.

Wie man eine Abweichung im Probenverhältnis erkennt und korrigiert

Die Erkennung erfolgt üblicherweise mit Ein Chi-Quadrat-Test wurde auf die beobachtete Verteilung zwischen den Gruppen angewendet.DoorDash führt diese Prüfung systematisch durch, noch bevor die Konversionskennzahlen analysiert werden. Das Unternehmen berichtet, die Anzahl der SRM-Vorfälle innerhalb von sechs Monaten nach der Automatisierung dieser Prüfung um 70 % reduziert zu haben – ein Beweis dafür, dass das Problem, sobald es aktiv überwacht wird, weitgehend behoben ist, bevor es Produktentscheidungen beeinflusst.

In der Praxis bedeutet das: Bevor man einen Erfolg feiert, sollte man überprüfen, ob die Besucherzahlen in jeder Gruppe der ursprünglichen Verteilung entsprechen. Eine scheinbar geringfügige Abweichung – wenige Prozentpunkte – kann ausreichen, um die gesamte Analyse zu entkräften.

Diese Überprüfung ist nicht nur für Plattformen wie DoorDash relevant, die täglich Milliarden von Ereignissen verarbeiten. Das Prinzip gilt gleichermaßen für kleinere E-Commerce-Websites: Der einzige Unterschied liegt im benötigten Datenvolumen, damit der Chi-Quadrat-Test die Anomalie zuverlässig erkennt. Bei geringem Volumen kann ein Ungleichgewicht statistisch unentdeckt bleiben und dennoch das Ergebnis verfälschen – umso wichtiger ist es, die Verteilung visuell zu überprüfen, bevor man sich ausschließlich auf automatisierte Berechnungen verlässt.

Bot-Kontamination: ein unterschätztes Problem

Ein zweiter, oft übersehener technischer Grund ist, dass ein erheblicher Teil des getesteten Datenverkehrs manchmal nicht von Menschen erzeugt wird. Eine von Peakhour veröffentlichte Analyse, ein Spezialist für Websicherheit, führt den Fall eines Kunden an, der feststellte, dass 40 % seines Testverkehrs von Bots stammten – eine Zahl, die einem schwindlig macht, wenn man bedenkt, dass dieser Verkehr in den meisten A/B-Testing-Tools genau als menschlicher Verkehr gezählt wird.

Verschärft wird das Problem durch die zunehmende Verbreitung von Residential Proxies, die es ermöglichen, dass automatisierter Datenverkehr einzelne Besucher über Millionen verschiedener IP-Adressen hinweg imitiert – wodurch herkömmliche Erkennungsmethoden (IP-Sperrung, Bandbreitenbegrenzung) weitgehend wirkungslos werden.

Ein Bot verhält sich offensichtlich nicht wie ein menschlicher Besucher: Er konvertiert nicht auf dieselbe Weise, verweilt nicht gleich lange auf der Seite und kann sich sogar asymmetrisch auf Ihre beiden Versionen verteilen, wenn sein Surfverhalten abweicht (beispielsweise ein Bot, der systematisch dem ersten Link einer Seite folgt). Die Folge: Eine gemessene Konversionsrate spiegelt nicht mehr das tatsächliche Verhalten Ihrer Zielgruppe wider, ohne dass Warnungen ausgelöst werden, solange Sie diesen Traffic nicht gezielt filtern.

Dieses Risiko betrifft insbesondere E-Commerce-Websites mit hohem Werbe-Traffic, da die vielen Klicks auch vermehrt automatisierten Traffic für Preisvergleiche oder das Auslesen von Wettbewerbsdaten anziehen. Für solche Profile ist das Filtern nicht-menschlichen Traffics vor der Analyse keine optionale Maßnahme mehr, sondern ein ebenso wichtiger Schritt wie die Berechnung der Signifikanz selbst – ein Punkt, den wir in unserem Leitfaden zu diesem Thema ausführlich erläutern.A/B-Testing im E-Commerce.

Kalendereffekte: Wochentag, Saisonalität, Sonderangebote

Ein dritter, bekannterer, aber in der Praxis immer noch unterschätzter Grund ist, dass das Kaufverhalten je nach Wochentag, Jahreszeit und aktuellen Sonderangeboten stark variiert. Ein Test, der montags begann und mittwochs abgebrochen wurde, weil er „bereits signifikant erschien“, erfasst tatsächlich nur ein sehr spezifisches Verhaltensmuster und keinen repräsentativen Trend.

Dieses Risiko ist umso realer, als das Kaufverhalten in Frankreich starken saisonalen Schwankungen unterliegt – Schlussverkäufe, Black Friday, Feiertage –, in denen die übliche Konversionsrate deutlich vom Normalwert abweichen kann. Eine Untersuchung während eines dieser Zeiträume abzuschließen, ohne dies in der Analyse explizit zu erwähnen, bedeutet, ein Ergebnis zu verallgemeinern, das sich im restlichen Jahr nicht reproduzieren lässt.

Die einfachste praktische Regel bleibt, einen Test immer über ein Vielfaches von sieben Tagen durchzuführen, niemals über eine willkürliche Anzahl von Tagen – dies stellt sicher, dass jeder Wochentag in der endgültigen Stichprobe gleich oft vertreten ist, unabhängig von der Gesamtdauer des Tests.

Ein zehntägiger Test enthält beispielsweise mehr Montage und Dienstage als Samstage und Sonntage – ein Ungleichgewicht, das die Ergebnisse in Richtung des Einkaufsverhaltens an Wochentagen verzerren kann, welches sich auf den meisten gängigen Websites vom Wochenendverhalten unterscheidet. Die Verlängerung des Tests auf 14 oder 21 Tage, anstatt sich auf eine runde Zahl festzulegen, die diese Einschränkung nicht berücksichtigt, korrigiert diese Verzerrung ohne zusätzliche Komplexität.

Eine kurze Erinnerung ans Spähen

Eine vierte Ursache, diesmal eine statistische, verdient nur eine kurze Erwähnung, ohne hier weiter ausgeführt zu werden: das sogenannte „Spähen“. Dabei werden die Ergebnisse eines Tests während des laufenden Tests beobachtet und der Abbruch beschlossen, sobald ein positives Ergebnis erscheint. Wir beschreiben diesen Mechanismus detailliert und führen die dazu veröffentlichten genauen Zahlen in unserem Artikel an, der sich mit dem Thema befasst. statistische Signifikanz — unbedingt weiterführende Lektüre, um alle Ursachen für falsch positive Ergebnisse, sowohl technische als auch statistische, abzudecken.

Wie man falsch positive Ergebnisse bei A/B-Tests im Nachhinein erkennt

Ein bereits weit verbreitetes Ergebnis lässt sich auch nachträglich überprüfen. Drei Warnsignale sollten Anlass zur Sorge geben:

• Der angekündigte Gewinn spiegelt sich nicht in den Gesamtkennzahlen des Unternehmens wider. ein paar Wochen nach der Generalisierung, als sie in diesem Ausmaß hätte sichtbar werden sollen.
• Ein A/A-Test Ein Vergleich zweier exakt identischer Versionen, der auf demselben Verkehrssegment durchgeführt wurde, zeigt einen signifikanten Unterschied, wo statistisch gesehen keiner sein sollte – ein Zeichen dafür, dass die Testinfrastruktur selbst Rauschen erzeugt.
• Die Verteilung des Verkehrs zwischen den beiden Gruppen, nachträglich verifiziert, entspricht nicht dem, was zu Beginn des Tests konfiguriert war.

Dieser letzte Punkt ist genau das, was eine automatisierte Überprüfung der Stichprobenverhältnisabweichung erkennen kann, noch bevor diese Untersuchung im Nachhinein durchgeführt werden muss – eines der konkretesten Argumente für ein Tool, das diese Art von Anomalie kontinuierlich und nicht nur bei Bedarf überwacht.

Und es geht nicht nur um Bequemlichkeit: Eine Untersuchung nach der Umsetzung einer Änderung ist stets teurer als eine im Vorfeld. Die Zeit, die für die Klärung der Gründe aufgewendet wird, warum ein prognostizierter Gewinn in den Unternehmenszahlen ausbleibt, hätte genutzt werden können, um die nächste Hypothese im Untersuchungsauftrag zu prüfen.

Die Checkliste zur Vermeidung falsch positiver Ergebnisse bei A/B-Tests vor der Generalisierung

Bevor eine erfolgreiche Variante für 100 % des Datenverkehrs eingesetzt wird, begrenzen vier schnelle Prüfungen das Risiko weit verbreiteter falsch positiver Ergebnisse:

• Entspricht die beobachtete Verteilung zwischen den Gruppen der erwarteten Konfiguration (keine Diskrepanz im Stichprobenverhältnis)?
• Umspannte der Test ein Vielfaches von sieben Tagen, ohne sich mit einem ungewöhnlichen Aktionszeitraum zu überschneiden?
• Haben Sie den Datenverkehr gefiltert, um Bots und identifizierbaren nicht-menschlichen Datenverkehr auszuschließen?
• Hat der Test seine geplante Dauer erreicht, ohne dass Sie ihn aufgrund eines während des Tests beobachteten positiven Signals vorzeitig abgebrochen haben?

Diese Prüfungen dauern nur wenige Minuten und verhindern wochenlange Entscheidungen, die auf einem Ergebnis basieren, das sich in der Produktion nie reproduzieren lässt. Ein schlecht verteilter Test kann diese Art von Verzerrung auch schon vor der Analysephase verursachen – siehe unsere Seite dazu. Ultraschnelle Diffusion Die Checkliste beschreibt detailliert, wie Nebenwirkungen aufgrund einer mangelhaften technischen Umsetzung des Tests vermieden werden können. Der beste Zeitpunkt für die Integration dieser Checkliste ist nach wie vor die Konfigurationsphase selbst, noch vor dem Start – genau das beschreiben wir in unserem Leitfaden. Ziele und deren Verfolgung um bei einem A/B-Test zu vermeiden, ein Problem erst im Nachhinein diagnostizieren zu müssen, anstatt es von vornherein zu verhindern.

Häufig gestellte Fragen

Was ist eine Stichprobenverhältnis-Fehlanpassung (SRM)?

Dies ist ein unerwartetes Ungleichgewicht in der Verkehrsverteilung zwischen den Testgruppen – beispielsweise eine gemessene Aufteilung von 55/45, obwohl 50/50 erwartet wurde. Ein SRM (Statistical Resource Message) deutet fast immer auf ein technisches Problem hin (Umleitungsfehler, Bot, fehlerhafte Filterung), das das Testergebnis ungültig macht, unabhängig von seiner scheinbaren statistischen Signifikanz.

Wie man eine Abweichung des Probenverhältnisses erkennt

Ein Chi-Quadrat-Test, angewendet auf die beobachtete Verteilung zwischen den Gruppen, kann ein ungewöhnliches Ungleichgewicht aufdecken. Einige experimentelle Plattformen führen diesen Test automatisch für jeden Test durch und geben eine Warnung aus, noch bevor die Ergebnisse angezeigt werden.

Können Bots einen A/B-Test verfälschen?

Ja, und wir unterschätzen oft das Ausmaß des Problems: Einige Websites haben festgestellt, dass bis zu 40 % ihres Testverkehrs von Bots stammten, insbesondere über Residential Proxies, die schwer vom klassischen menschlichen Verkehr zu unterscheiden sind.

Liefert ein am Montag begonnener Test bis Freitag ein verlässliches Ergebnis?

Nein. Das Kaufverhalten variiert häufig zwischen Wochentagen und Wochenenden. Ein Test, der nicht mindestens einen vollständigen Sieben-Tage-Zyklus abdeckt, birgt das Risiko, einen Kalendereffekt anstatt eines tatsächlichen Effekts der getesteten Variante zu erfassen.

Ist das ständige Nachschauen (zu häufiges Ansehen der Ergebnisse) die einzige Ursache für falsch positive Ergebnisse?

Nein. Es handelt sich zwar um eine gut dokumentierte statistische Ursache, aber falsch positive Ergebnisse können auch auf technische Ursachen zurückzuführen sein, die unabhängig von der statistischen Methode sind: Ungleichgewicht in der Stichprobe, Verfälschung durch Bots oder unkontrollierte Zeiteffekte.

Wichtigste Erkenntnisse

Die Erkennung von falsch-positiven Ergebnissen in A/B-Tests beschränkt sich nicht allein auf die statistische Signifikanz – das ist nur die halbe Miete. Die andere Hälfte findet bereits vor der Berechnung des Konfidenzniveaus statt: eine ausgewogene Traffic-Verteilung, Traffic frei von Bot-Angriffen und eine Testdauer, die einen vollständigen Zyklus abdeckt und nicht nur eine kalenderbasierte Momentaufnahme.

Die Statistik von DoorDash ist bemerkenswert: Schon eine Abweichung von 1 % kann zu einer 2%igen Schwankung Ihrer Kennzahlen führen. Bei diesem Ausmaß kann ein Test, der scheinbar erfolgreich ist, durchaus nur einen technischen Effekt messen – und keinen tatsächlichen Konversionszuwachs.

Um dieses Risiko zu begrenzen, ohne jeden Test manuell überprüfen zu müssen, haben wir visueller Editor beinhaltet eine Verteilungskontrolle bei jedem Teststart, und die CRO-Autopilot kann automatisch eine Anomalie erkennen, bevor sie zu einer Produktentscheidung führt. Auch wenn die hier besprochenen Konzepte möglicherweise noch unklar sind, unser CRO-Glossar erklärt sie in einfacher Sprache – und unser Angebot ist über unsere Website zugänglich. Formeln für Einsteiger Diese Strenge vom ersten Test an anzuwenden. Wenn Sie derzeit eine andere Plattform evaluieren, vergleichen Sie unseren Vergleich mit AB Tasty Außerdem wird detailliert beschrieben, wie jedes Werkzeug diese Art der Qualitätskontrolle handhabt – ein Kriterium, das genauso wichtig ist wie der auf der Seite angezeigte Preis. Rezeption jeder Lösung.