Test A/B vs test multivariati (MVT): qual è la differenza?

Aggiornato il 16 settembre 2026

Riepilogo

• La differenza in una frase
• Come funziona un classico test A/B?
• Come funziona un test multivariato?
• Perché MVT richiede così tanto traffico: la vera ragione statistica
• Quando scegliere il test A/B
• Quando scegliere il test multivariato
• 5 motivi per diffidare del test MVT quando non si è pronti
• Il test A/B/n, l'opzione intermedia poco conosciuta
• Un esempio numerico: Il traffico è sufficiente?
• Errori che sono costati settimane di test
• Domande frequenti
• Punti chiave

Tre elementi da testare su una pagina. Due varianti per ciascuno. Questo significa 8 possibili combinazioni da confrontare simultaneamente. Un team che ha fretta spesso sceglie i test multivariati perché "testano tutto in una volta". Il risultato frequente: un test che dura sei settimane senza mai raggiungere la significatività statistica, mentre tre test A/B successivi avrebbero fornito una risposta chiara in un mese.

Non si tratta di un problema di strumento. È un problema di metodologia scelta in modo inadeguato in relazione al traffico disponibile. Questo articolo spiega la vera differenza tra test A/B e test multivariati, non solo la definizione manuale, ma anche la precisa ragione statistica per cui questi ultimi sono molto più costosi in termini di traffico, una spiegazione che la maggior parte delle guide sull'argomento omette.

La differenza in una frase

Un test A/B confronta due versioni complete di una pagina; test multivariato confronta simultaneamente diversi elementi isolati della stessa pagina (un titolo, un'immagine, un pulsante) per identificare la migliore combinazione possibile tra di essi.

In entrambi i casi, il traffico è distribuito in modo casuale tra le versioni e il risultato viene interpretato allo stesso modo: quale variante converte meglio, con quale livello di confidenza statistica? La differenza sta in ciò che viene testato e nella quantità di traffico necessaria per trarre una conclusione, ed è proprio qui che la maggior parte dei team utilizza il metodo sbagliato. Se i concetti di conversione o significatività non ti sono ancora chiari, il nostro Glossario CRO getta le basi prima di procedere oltre.

Come funziona un classico test A/B?

Il principio è volutamente semplice. Si crea una versione B che differisce dall'originale (A) in un aspetto specifico, a volte un singolo elemento, a volte una riprogettazione completa della pagina. Il traffico viene diviso in due e si misura quale delle due versioni converte meglio in un periodo di tempo sufficientemente lungo.

Questo è il metodo predefinito per la stragrande maggioranza dei siti web, e per una buona ragione: richiede il minor traffico per ottenere risultati affidabili ed è facile da implementare in un editor visualeE permette di isolare chiaramente la causa di un risultato. Se B vince, si sa esattamente perché.

Come funziona un test multivariato?

IL test multivariato (MVT) Si basa su un principio diverso: il disegno fattoriale. Invece di confrontare due pagine intere, si isolano diversi elementi e si testano in parallelo tutte le loro possibili combinazioni.

Facciamo un esempio concreto. Vogliamo testare 3 elementi di una landing page: il titolo (2 versioni), il colore del pulsante di invito all'azione (2 versioni) e l'immagine principale (2 versioni). Il numero di combinazioni si calcola facilmente: 2 × 2 × 2 = 8 combinazioni distinte da valutare simultaneamente, ognuna delle quali riceve una frazione del traffico totale.

Ecco perché il test multivariato (MVT) è così interessante sulla carta: una singola campagna di test rivela non solo quale elemento funziona meglio singolarmente, ma anche come interagiscono tra loro. Un pulsante rosso potrebbe avere prestazioni inferiori con un titolo e superiori con un altro: un'interazione che nessuna serie di test A/B separati è in grado di rilevare. E questo non è solo un dettaglio teorico: spesso è l'unico modo per individuare questo tipo di effetto incrociato prima di scoprirlo a posteriori, quando la scelta sbagliata si è già diffusa.

Prima di iniziare, è opportuno notare un punto tecnico: più combinazioni ci sono, più velocemente deve essere eseguito lo script che visualizza la variante corretta a ciascun visitatore, altrimenti apparirà un effetto di sfarfallio tra la versione originale e la combinazione visualizzata. La nostra pagina sulla diffusione ultraveloce Spiega come viene affrontato tecnicamente questo rischio, che è più frequente in un MVT con molte combinazioni.

Perché MVT richiede così tanto traffico: la vera ragione statistica

Questo è il punto che quasi tutti gli articoli sull'argomento, sia in francese che in inglese, si limitano a sfiorare. Offrono regole empiriche ("serve un traffico da 5 a 10 volte superiore a quello di un test A/B") senza mai spiegare da dove provenga questo moltiplicatore. Ecco la vera ragione.

Ogni combinazione testata in un test di confronti multipli (MVT) rappresenta un confronto statistico distinto. Maggiore è il numero di confronti simultanei eseguiti, maggiore è il rischio complessivo di incorrere in un falso positivo, ovvero una variante che sembra prevalere per puro caso. Questo è noto come problema dei confronti multipli.

Per compensare, le piattaforme affidabili applicano una correzione statistica. Obiettivo AdobeAd esempio, documenta esplicitamente l'uso della correzione di Bonferroni nel suo stimatore di traffico per i test multivariati: maggiore è il numero di combinazioni, più stringente è la soglia di significatività richiesta per ogni singolo confronto, il che richiede più dati per combinazione per concludere con la stessa affidabilità di un classico test A/B.

In termini pratici, questo significa che un test multivariabile (MVT) a 8 combinazioni non richiede "8 volte più traffico" di un test A/B a 2 varianti, bensì un traffico significativamente maggiore, perché la soglia di prova richiesta per ogni combinazione è di per sé più stringente. È questo meccanismo statistico, e non semplicemente una questione di "più versioni da testare", a spiegare perché l'MVT sia così dispendioso in termini di traffico. Ed è anche il motivo per cui cercare di "testare tutto in una volta" su un sito con traffico medio si traduce quasi sempre in un test che non giunge mai a una conclusione.

Quando scegliere il test A/B

Il classico test A/B è la scelta predefinita corretta nella stragrande maggioranza dei casi:

• Il traffico mensile sulla pagina testata si aggira sulle decine di migliaia di visitatori, non sulle centinaia di migliaia.
• Desideri una risposta rapida e concreta, da due a quattro settimane, non da due a tre mesi.
• Stai testando un'ipotesi chiara e isolata, senza bisogno di comprendere le interazioni tra più elementi.
• State avviando il vostro programma di test e desiderate instaurare una cultura della sperimentazione prima di rendere il metodo più complesso.

Questo è effettivamente il caso per la maggior parte dei siti di e-commerce francesi: con 158.200 negozi online attivi elencati da Fevad e un traffico fortemente concentrato su una minoranza di essi, l'A/B testing rimane di gran lunga il formato più adatto alla realtà del mercato nazionale. La nostra selezione di 7 idee per i test A/B nell'e-commerce Offre punti di partenza concreti se stai cercando un modo per iniziare.

Quando scegliere il test multivariato

MVT diventa rilevante in un contesto specifico, non come metodo predefinito:

• La pagina in fase di test riceve un traffico molto elevato, in genere una homepage o una landing page con un alto volume di annunci pubblicitari.
• Diversi elementi devono essere ottimizzati contemporaneamente e si sospetta che vi siano interazioni reali tra di essi (ad esempio, una modifica del layout che altera la percezione del pulsante di azione).
• Hai già una solida esperienza con i test A/B e desideri passare alla fase successiva anziché moltiplicare i test in sequenza.
• La tempistica non è un vincolo critico: un test MVT ben progettato si misura in mesi, non in settimane.

Ecco una linea guida utile per prendere una decisione rapida: se ti devi chiedere se hai abbastanza traffico, probabilmente non ne hai ancora abbastanza.

5 motivi per diffidare del test MVT quando non si è pronti

Un'analisi pubblicata da Dynamic Yield (acquisita da Mastercard) riassume efficacemente le classiche insidie ​​dei test multivariati, spesso minimizzate nelle guide di vendita degli editori:

1. L'enorme bisogno di dati — più il test è complesso, maggiore è il traffico e il tempo necessari per produrre un risultato utilizzabile.
2. Una delicata configurazione tecnica — un test multivariato (MVT) configurato in modo inadeguato è più facile da sabotare involontariamente rispetto a un semplice test A/B.
3. Bassa resa nel tempo — nel corso di un singolo MVT, un team avrebbe potuto avviare e completare decine di test A/B.
4. Un'incompatibilità con l'iterazione rapida — Il metodo MVT blocca il programma di test su una singola domanda per settimane, a scapito dell'agilità.
5. Una propensione per i dettagli visivi — il formato spesso incoraggia a testare variabili secondarie (colori, caratteri) piuttosto che modifiche di grande impatto (contenuto, offerta, struttura).

E non è tutto. Queste limitazioni non invalidano il test multivariato (MVT), ma spiegano semplicemente perché rimane uno strumento specialistico, da riservare a contesti in cui offre realmente qualcosa di più di una serie di test A/B ben prioritizzati.

Il test A/B/n, l'opzione intermedia poco conosciuta

Tra il classico test A/B e il test MVT, esiste una terza opzione che molte guide dimenticano di menzionare: il test A/B/n. Consiste nel confrontare tra loro diverse versioni complete di una pagina, non solo A e B, ma A, B, C, D, senza scomporle in elementi isolati.

Questo è utile quando si hanno diverse idee di riprogettazione concorrenti e si desidera confrontarle direttamente, senza dover ricorrere alla complessità combinatoria del test multivariato (MVT). Il traffico richiesto rimane simile a quello di un classico test A/B, moltiplicato per il numero di versioni testate: una progressione lineare, non esponenziale come nel caso di un disegno fattoriale completo.

Un esempio numerico: Il traffico è sufficiente?

Facciamo un esempio concreto. Una pagina riceve 8.000 visitatori al mese e attualmente ha un tasso di conversione del 3%. Per un semplice test A/B volto a rilevare un miglioramento del 20% (ovvero un aumento a circa il 3,6%) con un livello di confidenza standard del 95%, in genere bastano poche migliaia di visitatori per variante per giungere a una conclusione in tre o quattro settimane.

Per un MVT con 8 combinazioni sulla stessa pagina, ogni combinazione riceve ora solo circa 1.000 visitatori al mese e la soglia di evidenza richiesta per combinazione, a causa della correzione statistica menzionata in precedenza, è più rigorosa rispetto a un singolo test A/B. Il risultato: a questo livello di traffico, un MVT spesso impiega diversi mesi per giungere a una conclusione, se non addirittura per arrivarci. Questo è esattamente lo scenario documentato da Adobe e da diversi professionisti del settore: al di sotto di una certa soglia di traffico, l'MVT semplicemente non è il metodo adatto, indipendentemente dalla qualità delle ipotesi testate.

La prassi migliore rimane quella di dimensionare il test prima di avviarlo, utilizzando un calcolatore per la dimensione del campione, piuttosto che scoprire dopo sei settimane che il test non giungerà mai a una conclusione. dashboard di analisi BlastOptimize visualizza una stima del tempo rimanente prima che si raggiunga la significatività statistica, che viene aggiornata continuamente durante il test.

Errori che sono costati settimane di test

I team che si avvicinano per la prima volta al metodo MVT commettono tre errori comuni:

• Avviare un MVT senza controllare il traffico disponibileaffidandosi unicamente all'entusiasmo di voler "testare tutto in una volta".
• Confondere i test A/B/n con i test multivariati, pensando erroneamente che confrontare 4 pagine complete equivalga a testare combinazioni di elementi: non si tratta dello stesso meccanismo statistico, né dello stesso requisito di traffico.
• Ignora le interazioni e leggi i risultati elemento per elemento., il che equivale a fare un MVT solo per analizzarlo alla fine come una serie di test A/B, perdendo tutti i vantaggi del formato.

Se stai appena iniziando il tuo programma di test, l'ordine più sicuro è quello di creare prima una solida base di test A/B affidabili prima di prendere in considerazione un programma di test multi-veicolo (MVT): una progressione che descriviamo in dettaglio nella nostra guida sull'MVT. obiettivi e monitoraggio di un programma di test nascente.

Domande frequenti

È possibile eseguire un test multivariato con un traffico dati ridotto?

Al di sotto di poche decine di migliaia di visitatori mensili sulla pagina in esame, un test multivariato richiede generalmente troppo tempo per raggiungere la significatività statistica. In questi casi, i test A/B o A/B/n rimangono la scelta più realistica.

Che cos'è un test A/B/n?

Un test A/B/n confronta diverse versioni complete di una pagina (3, 4 o più), a differenza di un test multivariato che combina elementi isolati. Richiede meno traffico rispetto a un test multivariato, ma non rivela le interazioni tra gli elementi.

Perché un test multivariato richiede un traffico dati molto maggiore rispetto a un test A/B?

Poiché deve distinguere tra diverse combinazioni contemporaneamente, aumenta il rischio di falsi positivi. Gli strumenti applicano una correzione statistica (come la correzione di Bonferroni utilizzata da Adobe Target) per compensare, il che aumenta meccanicamente il traffico richiesto per ogni combinazione.

I test multivariati rivelano interazioni che risultano invisibili nei test A/B?

Sì, questo è il suo vantaggio principale: può dimostrare che una combinazione precisa di due elementi funziona meglio della somma dei loro effetti presi separatamente, un'interazione che una serie di test A/B isolati non è in grado di rilevare.

È sempre preferibile utilizzare i test A/B rispetto ai test multivariati?

No. I test A/B sono la scelta giusta di default per la maggior parte dei siti, ma i test multivariati diventano rilevanti su una pagina con un traffico molto elevato, dove diversi elementi devono essere ottimizzati contemporaneamente e dove le interazioni tra di essi sono davvero importanti.

Punti chiave

I test A/B confrontano due versioni complete, mentre i test multivariati confrontano combinazioni di elementi isolati; e questa differenza nella meccanica ha un costo in termini di traffico che non è lineare, ma amplificato dalla correzione statistica necessaria per evitare falsi positivi. È proprio questa ragione, più che il numero di varianti in sé, a spiegare perché tanti test multivariati non preparati non giungono mai a una conclusione.

Per la maggior parte dei siti web, compresi quelli più attivi sul mercato francese, i test A/B tradizionali rimangono il punto di partenza più affidabile. I test A/B/n colmano questa lacuna quando si confrontano diverse versioni complete. I test multivariati (MVT), d'altro canto, diventano rilevanti solo quando il traffico e la sperimentazione hanno raggiunto un livello sufficiente a giustificarne il costo.

Prima di scegliere un metodo, la domanda giusta non è quindi "quale test è il più completo?" ma "quale test posso effettivamente condurre con il mio traffico attuale?". Il nostro interfaccia di creazione dei test ti consente di avviare entrambi i formati, disponibili dal nostro offerte di base, senza cambiare strumenti quando il tuo traffico giustifica l'aggiornamento — e se stai ancora confrontando le soluzioni di mercato, il nostro feedback dettagliato degli utenti rispetto a Kameleoon E AB Tasty Descrivono inoltre le rispettive modalità di gestione dei test multivariati.