Multivariate Tests: Definition, Beispiele und Anwendungsbereiche (anstelle von A/B-Tests)

Aktualisiert am 4. November 2026

Inhaltsverzeichnis

• Was ist ein multivariater Test?
• Die Formel: Warum Kombinationen schnell explodieren
• 3 konkrete Beispiele für multivariate Tests
• Wann sollte man MVT anstelle von A/B oder A/B/n wählen?
• Wie viel Traffic wird tatsächlich benötigt?
• Die Grenzen und Fallstricke multivariater Tests
• Die Alternative bei zu wenig Traffic
• Wie man die Ergebnisse eines multivariaten Tests interpretiert
• Durchführung eines schrittweisen multivariaten Tests
• Checkliste vor dem Start eines MVT
• Häufig gestellte Fragen
• Wichtigste Erkenntnisse

Zwei Überschriften, zwei Bilder und zwei Call-to-Action-Buttons: Auf dem Papier wirken das drei kleine Änderungen. Im multivariaten Testen ergeben sich daraus bereits acht verschiedene Kombinationen (2 × 2 × 2). Fügt man nur ein Element zu den drei Varianten hinzu, schnellt die Zahl auf 24 Kombinationen hoch. Diese arithmetische Explosion, weit mehr als die Komplexität der Implementierung, erklärt, warum multivariate Tests größtenteils stark frequentierten Websites vorbehalten bleiben – und warum die meisten allgemeinen Leitfäden einfach nur sagen: „Man braucht viel“, ohne die zugrunde liegende Berechnung zu erläutern.

Dieser Leitfaden erläutert die Formel, drei konkrete Beispiele und vor allem das wichtigste Entscheidungskriterium: Ab welchem ​​Verkehrsaufkommen ist MVT kosteneffizienter als eine Reihe herkömmlicher A/B-Tests? Die Grundlagen zum Vergleich der beiden Methoden finden Sie in unserem Leitfaden A/B-Testing vs. multivariates Testen mit den allgemeinen Unterschieden; dieser Artikel geht darüber hinaus auf die Berechnung und Anwendungsfälle aus der Praxis ein.

Was ist ein multivariater Test?

Ein multivariater Test (MVT) testet gleichzeitig mehrere Elemente derselben Seite in allen möglichen Kombinationen, um nicht nur die Wirkung jedes einzelnen Elements zu messen, sondern auch die Wechselwirkungen zwischen ihnen.

Dieser letzte Aspekt unterscheidet ihn von einer einfachen Reihe nacheinander durchgeführter A/B-Tests: Ein multivariater Test (MVT) kann aufzeigen, dass ein Titel A besser mit einem Bild X, aber weniger gut mit einem Bild Y harmoniert – eine Interaktion, die kein sequenzieller A/B-Test erfassen kann, da jeder A/B-Test jeweils nur ein Element isoliert. Im Gegenzug geht diese Fülle an Informationen mit einem höheren Traffic-Aufkommen einher, wie weiter unten erläutert. Verwandte Definitionen (A/B-Testing, A/B/n, statistische Signifikanz) finden Sie in unserem Glossar zu A/B-Testing und CRO.

Die Formel: Warum Kombinationen schnell explodieren

Die Anzahl der Kombinationen, die bei einem vollständigen faktoriellen Test getestet werden müssen, ist das Produkt der Anzahl der Varianten jedes zu testenden Elements – nicht deren Summe.

Mit zwei Überschriften, zwei Bildern und zwei Call-to-Action-Buttons ergeben sich 2 × 2 × 2 = 8 einzigartige Kombinationen zum Vergleichen. Jede dieser Kombinationen benötigt ausreichend Traffic, um ein aussagekräftiges Ergebnis zu liefern. Verwendet man drei Varianten eines der drei Elemente (3 Überschriften × 2 Bilder × 2 Buttons), ergeben sich bereits 12 Kombinationen; mit drei Elementen, jeweils mit drei Varianten, sind es sogar 27 Kombinationen. Dieses multiplikative, nicht additive Wachstum verwandelt einen scheinbar einfachen Test in ein Projekt, das zehn- bis zwanzigmal so viel Traffic erfordert wie ein typischer A/B-Test auf derselben Website.

3 konkrete Beispiele für multivariate Tests

• SaaS-Homepage: Testen Sie gleichzeitig den Haupttitel (2 Varianten), das Hero-Bild (2 Varianten) und den Text des Registrierungsbuttons (2 Varianten), um nicht nur die beste Kombination zu ermitteln, sondern auch herauszufinden, ob ein technischerer Titel besser zu einem Produktbild als zu einer abstrakten Illustration passt.
• E-Commerce-Produktseite: Durch Querverweise auf den Ort der Kundenrezensionen (unter dem Preis oder unter der Beschreibung), den Text des Kaufbuttons (2 Varianten) und das Vorhandensein oder Fehlen eines Liefergarantie-Badges ergeben sich 2 × 2 × 2 = 8 Kombinationen, um die Wechselwirkungen zwischen der Garantie und dem Ort der Rezensionen zu ermitteln.
• Formular zur Leadgenerierung: Testen Sie die Anzahl der sichtbaren Felder (kurz vs. lang), die Farbe des Absendebuttons (2 Varianten) und das Vorhandensein eines DSGVO-Hinweistextes in der Nähe des Buttons – besonders nützlich, um zu messen, ob der Hinweis ein längeres Formular kompensiert oder nicht.

Wann sollte man MVT anstelle von A/B oder A/B/n wählen?

Multivariate Tests sind dann gerechtfertigt, wenn man genau wissen möchte, wie mehrere Elemente auf einer stark frequentierten Seite miteinander interagieren; in allen anderen Fällen sind eine Reihe von A/B-Tests oder ein A/B/n-Test schneller und einfacher zu interpretieren.

Zwei Signale sprechen für die Relevanz eines Multi-Through-Tests (MVT): Die betreffende Seite verzeichnet ein so hohes Traffic-Volumen, dass sich mit einem herkömmlichen A/B-Test innerhalb weniger Tage aussagekräftige Schlussfolgerungen ziehen lassen, und das Team hat eine fundierte Hypothese zur Interaktion zwischen den Elementen (und testet nicht nur mehrere Ideen parallel, um Zeit zu sparen). Umgekehrt: Soll lediglich eine Reihe unabhängiger Ideen ohne Hypothese zur Interaktion zwischen ihnen getestet werden, benötigt ein A/B/n-Test weniger Traffic für ein ebenso verwertbares Ergebnis – dies ist auch das Entscheidungskriterium von CXL in seiner maßgeblichen Analyse zu diesem Thema. Unser Leitfaden zu A/B-Testing vs. multivariates Testen erläutert diese Wahl anhand einer vollständigen Vergleichstabelle.

Wie viel Traffic wird tatsächlich benötigt?

Es gibt keinen allgemeingültigen Verkehrsschwellenwert pro Kombination, aber die in der Fachliteratur immer wieder auftauchende Regel ist einfach: Je mehr Kombinationen man hinzufügt, desto mehr Gesamtverkehr ist erforderlich, um bei jeder einzelnen Kombination statistische Signifikanz zu erreichen, und zwar im gleichen Verhältnis wie beim oben beschriebenen multiplikativen Wachstum.

In der Praxis empfiehlt ein Leitfaden zu diesem Thema, einen multivariaten Test auf maximal zwei oder drei Elemente zu beschränken und eine Laufzeit von 30 bis 60 Tagen bei einem Konfidenzniveau von 95 % festzulegen. Dies soll genau verhindern, dass Traffic benötigt wird, der die Reichweite der meisten Websites übersteigt – im Vergleich zu den ein bis zwei Wochen, die für einen einfachen A/B-Test auf derselben Seite in der Regel ausreichen, wie unser Leitfaden über die Stichprobengröße für einen zuverlässigen Test erläutert. Ein spezieller Rechner (der Simulator von Convert.com ist ein Beispiel) liefert eine präzise Zahl aus Ihrer aktuellen Konversionsrate, der Anzahl der Kombinationen und der angestrebten statistischen Aussagekraft – viel zuverlässiger als eine Schätzung nach Augenmaß.

Die Grenzen und Fallstricke multivariater Tests

Die größte Schwierigkeit bei einem MVT ist nicht statistischer, sondern organisatorischer Natur: der Wunsch, alles gleichzeitig zu testen, um "Zeit zu sparen", obwohl jedes hinzugefügte Element den notwendigen Datenverkehr vervielfacht, anstatt ihn zu addieren.

Eine weitere häufige Fehlerquelle ist die Interpretation des Ergebnisses einer erfolgreichen Kombination als Beweis dafür, dass jedes einzelne Element für sich genommen besser ist. Tatsächlich erklärt erst das Zusammenspiel der Elemente das Ergebnis. Eine erfolgreiche Kombination garantiert nicht, dass jedes ihrer Elemente in einem anderen Seitenkontext separat gut funktionieren würde. Schließlich liefert ein Multi-Virtual-Test (MVT), der mit unzureichendem Traffic gestartet wird, in der Regel innerhalb des erwarteten Zeitraums keine brauchbaren Ergebnisse und ist somit Zeitverschwendung ohne Lerneffekt – der häufigste Fehler, der auch für klassische A/B-Tests in unserem Leitfaden beschrieben wird: Häufige Fehler beim A/B-Testing.

Die Alternative bei zu wenig Traffic

Wenn der Traffic eine MVT innerhalb eines angemessenen Zeitraums nicht zulässt, ist die beste Alternative, die Elemente sequenziell in einem einfachen A/B-Test zu testen, beginnend mit dem Element, dessen Hypothese am stärksten ist, und dann zum nächsten überzugehen, sobald über das erste entschieden wurde.

Dieser sequentielle Ansatz kann zwar keine Wechselwirkungen zwischen Elementen erkennen, ist aber bei moderatem Traffic deutlich schneller umzusetzen und baut im Gegensatz zu multivariaten Tests (MVT), die bei unzureichendem Traffic ohne Ergebnis abbrechen, schrittweise eine Bibliothek verwertbarer Ergebnisse auf. Ein A/B/n-Test (mehrere Varianten eines einzelnen Elements gleichzeitig) ist eine weitere Zwischenlösung, wenn Sie mehrere Ideen für ein einzelnes Element haben, ohne Annahmen über dessen Wechselwirkungen mit anderen Elementen zu treffen.

Wie man die Ergebnisse eines multivariaten Tests interpretiert

Ein Ergebnis der Multi-Validitäts-Theorie (MVT) kann auf zwei Ebenen gelesen werden: die Wirkung jedes einzelnen Elements isoliert betrachtet (seine „Hauptwirkung“) und die Wirkung jeder Kombination im Verhältnis zu dem, was die Hauptwirkungen vorhergesagt haben (die „Interaktionswirkung“) – es ist diese zweite Ebene, die die Methode rechtfertigt.

Nehmen wir das bereits erwähnte Beispiel des Lead-Erfassungsformulars. Wenn der blaue Button im Durchschnitt über alle Kombinationen hinweg eine höhere Konversionsrate aufweist als der orange Button und die Kurzform im Durchschnitt eine höhere Konversionsrate als die Langform, würde man intuitiv annehmen, dass die Kombination „blauer Button + Kurzform“ die beste der vier ist. Ein Interaktionseffekt tritt auf, wenn dies nicht der Fall ist: beispielsweise, wenn der Text zur DSGVO-Bestätigung die Wahrnehmung des orange Buttones (der neben einem sichtbaren DSGVO-Hinweis als „institutioneller“ und damit glaubwürdiger wahrgenommen wird) so stark verändert, dass sich die erwartete Rangfolge für diese spezifische Kombination umkehrt. Genau diese Art von Interaktion, die bei sequenziellen A/B-Tests unsichtbar bleibt, kann ein multivariater Test aufdecken – vorausgesetzt, Sie haben genügend Traffic eingeplant, damit der beobachtete Unterschied in jeder Kombination statistisch signifikant ist und nicht nur ein zufälliger Effekt in einer kleinen Stichprobe.

In der Praxis stellen die meisten Plattformen für multivariate Tests dieses Ergebnis als Kreuztabelle dar (eine Zeile pro Variante des einen Elements, eine Spalte pro Variante des anderen). Dargestellt werden die Konversionsrate jeder Zelle und deren Signifikanz. Die Interpretation endet dort, wo die statistische Signifikanz aufhört: Eine Zelle in der Tabelle, die zwar den höchsten Rohwert aufweist, aber keine ausreichende statistische Signifikanz besitzt, sollte niemals als verwertbares Ergebnis betrachtet werden – genau wie bei einem klassischen A/B-Test, der in unserem Leitfaden ausführlich beschrieben wird: Falsch-positive Ergebnisse bei A/B-Tests.

Durchführung eines schrittweisen multivariaten Tests

1. Prüfen Sie den verfügbaren Traffic auf der entsprechenden Seite vor jedem anderen Schritt, mit dem Rechner, der für die Anzahl der geplanten Kombinationen vorgesehen ist.
2. Beschränken Sie den Test auf 2 oder 3 Elemente Allenfalls sollten diejenigen priorisiert werden, für die man eine realistische Hypothese zur Wechselwirkung hat.
3. Erstellen Sie jede Variante im visuellen Editor ohne den Code zu verändern, sodass er schnell wiederholt werden kann, falls eine Kombination vor dem Start angepasst werden muss.
4. Definieren Sie ein einziges Entscheidungskriterium vor dem Start über das Ziel-Tracking, und verfolgen Sie es anschließend im Analyse-Dashboard.
5. Lassen Sie den Test für die berechnete Dauer laufen, ohne Unterbrechung oder Hinzufügung von Kombinationen unterwegs.
6. Analysieren Sie die Interaktionen, nicht nur die isolierte Gewinnkombination, sondern auch die Ableitung wiederverwendbarer Erkenntnisse daraus auf anderen Seiten.

Checkliste vor dem Start eines MVT

• Das verfügbare Verkehrsaufkommen wurde mit einem Taschenrechner überprüft, nicht nach Augenmaß geschätzt
• Der Test ist auf maximal 2 oder 3 Elemente beschränkt
• Eine plausible Hypothese der Wechselwirkung zwischen Elementen rechtfertigt die Wahl von MVT anstelle von A/B/n.
• Die voraussichtliche Dauer (in der Regel 30 bis 60 Tage) wird vom Team vor dem Start vereinbart
• Es wird im Voraus eine einzige Entscheidungsmetrik definiert

Häufig gestellte Fragen

Worin besteht der Unterschied zwischen einem multivariaten Test und einem A/B/n-Test?

Der A/B/n-Test prüft mehrere Varianten eines einzelnen Elements gleichzeitig, während der multivariate Test mehrere Elemente gleichzeitig in all ihren Kombinationen testet, wodurch die Wechselwirkungen zwischen ihnen gemessen werden können – allerdings auf Kosten eines wesentlich höheren erforderlichen Datenverkehrs.

Wie viele Kombinationen können im MVT getestet werden?

Theoretisch so viel wie die Berechnung zulässt (Produkt der Varianten jedes Elements), aber in der Praxis empfehlen die meisten Fachhandbücher, nicht mehr als 2 oder 3 Elemente gleichzeitig zu testen, um die Anzahl der Kombinationen mit dem realen Verkehrsaufkommen kompatibel zu halten.

Kann eine kleine Website multivariate Tests durchführen?

Selten unter guten Bedingungen: Bei mäßigem Verkehrsaufkommen dauert es oft länger als mehrere Monate, bis für jede Kombination ein verlässliches Ergebnis erzielt wird, sodass eine Reihe sequenzieller A/B-Tests kostengünstiger ist.

Liefert die multivariate Testung immer zuverlässigere Ergebnisse als die A/B-Testung?

Nein: Es liefert andere Informationen (die Wechselwirkungen zwischen den Elementen), aber keine zuverlässigeren. Bei unzureichendem Traffic ist ein multivariater Test (MVT) sogar weniger zuverlässig als ein einfacher A/B-Test, da jede Kombination mechanisch weniger Besucher erhält.

Lassen sich multivariate Tests und die Personalisierung von Zielgruppensegmenten kombinieren?

Ja, aber dadurch vervielfacht sich der erforderliche Traffic noch weiter, da jedes Segment bei jeder Kombination seine eigene Bedeutung erreichen muss: eine Vorgehensweise, die Websites mit sehr hohem Traffic vorbehalten ist und für ein KMU in der Wachstumsphase selten relevant ist.

Benötigen Sie ein spezielles Tool zur Durchführung multivariater Tests?

Ja, in der Praxis: Die manuelle Verwaltung von acht, zwölf oder siebenundzwanzig Kombinationen und deren Traffic-Verteilung wird ohne eine spezialisierte Plattform schnell unübersichtlich. Ein visueller Editor, mit dem sich jedes Element einzeln erstellen und anschließend automatisch kombinieren lässt, erspart das manuelle Erstellen jeder einzelnen Kombination. Ein Rückverfolgbarkeitsmodul ist hier besonders hilfreich, um stets den Überblick darüber zu behalten, wer welche Variante in einem Test mit bereits mehreren Dutzend möglichen Kombinationen erstellt hat.

Wichtigste Erkenntnisse

• Die Anzahl der Kombinationen in einem multivariaten Test ist ein Produkt, keine Summe: 2 × 2 × 2 = 8 Kombinationen für nur 3 Elemente mit jeweils 2 Varianten.
• MVT wird durch die Hypothese der Wechselwirkung zwischen Elementen gerechtfertigt, nicht um "Zeit zu sparen", indem mehrere Ideen gleichzeitig getestet werden.
• Die am häufigsten zitierte Vorsichtsregel: maximal 2 bis 3 Artikel, Dauer 30 bis 60 Tage, berechnet mit einem speziellen Tool und nicht nach Augenmaß.
• Bei unzureichendem Traffic ist eine Reihe sequenzieller A/B-Tests kostengünstiger als ein MVT, der das Risiko birgt, keine brauchbaren Ergebnisse zu liefern.