Falsi positivi nei test A/B: le cause che non vediamo

Aggiornato il 25 settembre 2026 — Comprendere i falsi positivi nei test A/B prima che influenzino le decisioni.

Riepilogo

• Un falso positivo, al di là della definizione puramente statistica
• Discrepanza nel rapporto dei campioni: il falso positivo che non osa pronunciare il proprio nome
• Contaminazione da bot: un problema sottovalutato
• Effetti del calendario: giorno della settimana, stagionalità, promozioni
• Un promemoria sui pericoli di sbirciare, in breve
• Come individuare i falsi positivi nei test A/B a posteriori
• La checklist per evitare falsi positivi nei test A/B prima di generalizzare
• Domande frequenti
• Punti chiave

I falsi positivi nei test A/B non sempre provengono da dove te li aspetti: uno squilibrio dell'1% nella distribuzione del traffico tra le due versioni testate può essere sufficiente a causare una variazione del 2% nelle tue metriche, secondo i dati pubblicati dal team di ingegneri di DoorDashNon si tratta di una discrepanza dell'1% nel risultato finale, bensì di una variazione del 2% generata semplicemente dal fatto che i due gruppi non sono più realmente comparabili. Eppure, la maggior parte dei team non verifica mai questo aspetto prima di leggere il proprio tasso di conversione.

Questa guida va oltre classico falso positivo — ciò che deriva da una soglia di confidenza interpretata erroneamente o da un'analisi ripetuta dei risultati. Nello specifico, l'autore esplora tre cause tecniche di falsi positivi nei test A/B. Queste cause invalidano un test ancor prima che entrino in gioco le statistiche: squilibrio del campione, contaminazione da bot ed effetti temporali.

Un falso positivo, al di là della definizione puramente statistica

Un falso positivo si verifica quando una variante viene dichiarata vincente pur non essendolo in realtà. La causa più frequentemente citata è di natura statistica: un livello di confidenza raggiunto per caso, una dimensione del campione troppo piccola o un test interrotto troppo presto. Ma questo è solo una parte del problema.

Un altro insieme di cause, più tecniche e difficili da individuare, produce esattamente lo stesso sintomo: un risultato che sembra chiaro, ma che si basa su dati già viziati prima del calcolo statistico. Anche un test perfettamente progettato e condotto per la durata raccomandata può comunque produrre un falso positivo. La causa: traffico che non è mai stato confrontato tra i due gruppi.

Discrepanza nel rapporto dei campioni: il falso positivo che non osa pronunciare il proprio nome

Ecco il concetto più assente dalle guide in lingua francese sull'argomento, pur essendo tra i controlli di routine delle più grandi piattaforme di sperimentazione: il Sample Ratio Mismatch, o SRM.

Il principio è semplice da comprendere. Un test A/B configurato per suddividere il traffico in parti uguali (50/50) dovrebbe, con un campione sufficientemente ampio, produrre una distribuzione vicina a questo equilibrio. Quando la distribuzione effettivamente osservata si discosta significativamente dalla distribuzione prevista, ad esempio 55/45 invece di 50/50, ciò indica che un problema tecnico sta influenzando uno dei due gruppi, indipendentemente dai risultati di conversione.

DoorDash documenta diverse cause comuni di SRM (Structured Relationship Management) nel proprio sistema: dipendenti inclusi di default in un gruppo tramite l'accesso anticipato a una funzionalità, correzioni di bug applicate durante i test che non "resettano" la cronologia degli utenti già esposti, o semplicemente filtri dati configurati in modo errato. In ognuno di questi casi, il risultato del test, anche se statisticamente significativo, non misura più ciò che dovrebbe misurare.

Come individuare e correggere una discrepanza nel rapporto di campionamento

Il rilevamento viene solitamente effettuato con un test del chi-quadrato applicato alla distribuzione osservata tra i gruppiSi tratta di un controllo che DoorDash esegue sistematicamente ancor prima di analizzare le metriche di conversione. L'azienda afferma di aver ridotto del 70% gli incidenti relativi al Service Manager (SRM) in sei mesi dopo aver automatizzato questo controllo, a dimostrazione del fatto che il problema, una volta monitorato attivamente, viene in gran parte risolto prima che possa influenzare le decisioni relative al prodotto.

In termini pratici: prima di festeggiare un risultato vincente, verificate che il numero di visitatori in ciascun gruppo corrisponda alla distribuzione iniziale. Una discrepanza apparentemente minima, di pochi punti percentuali, può essere sufficiente a invalidare l'intera analisi.

Questa verifica non riguarda solo le piattaforme che gestiscono decine di miliardi di eventi al giorno come DoorDash. Il principio si applica ugualmente a un sito di e-commerce più piccolo: l'unica differenza è il volume di traffico necessario affinché il test del chi-quadrato rilevi in ​​modo affidabile l'anomalia. Con un volume ridotto, uno squilibrio può rimanere statisticamente invisibile pur falsando il risultato: un motivo in più per controllare visivamente la distribuzione prima di affidarsi esclusivamente ai calcoli automatici.

Contaminazione da bot: un problema sottovalutato

Una seconda ragione tecnica, spesso trascurata, è che una parte significativa del traffico testato a volte non è generato da esseri umani. analisi pubblicata da Peakhour, uno specialista di sicurezza web, cita il caso di un cliente che ha scoperto che il 40% del traffico di prova proveniva da bot: una cifra che fa girare la testa se si pensa che questo traffico viene conteggiato esattamente come traffico umano nella maggior parte degli strumenti di test A/B.

Il problema è aggravato dalla diffusione dei proxy residenziali, che consentono al traffico automatizzato di impersonare singoli visitatori distribuiti su milioni di indirizzi IP diversi, rendendo i metodi di rilevamento tradizionali (blocco IP, limitazione della larghezza di banda) in gran parte inefficaci.

Un bot ovviamente non si comporta come un visitatore umano: non converte allo stesso modo, non rimane sulla pagina per lo stesso lasso di tempo e può persino essere distribuito in modo asimmetrico tra le due versioni del sito se il suo comportamento di navigazione è diverso (ad esempio, un bot che segue sistematicamente il primo link di una pagina). Il risultato: un tasso di conversione misurato che non riflette più il comportamento reale del pubblico, senza che vengano attivati ​​avvisi se non si filtra specificamente questo traffico.

Questo rischio riguarda in particolare i siti di e-commerce con un elevato traffico pubblicitario, dove il volume di clic attrae anche un maggior numero di traffico automatizzato per il confronto dei prezzi o lo scraping dei dati della concorrenza. Per questo tipo di profilo, il filtraggio del traffico non umano prima dell'analisi non è più un'opzione secondaria, ma un passaggio essenziale quanto il calcolo della significatività stessa: un punto che approfondiamo nella nostra guida dedicata a...Test A/B per l'e-commerce.

Effetti del calendario: giorno della settimana, stagionalità, promozioni

Una terza causa, più nota ma ancora sottovalutata nella pratica, è che il comportamento d'acquisto varia significativamente a seconda del giorno della settimana, del periodo del mese e delle promozioni in corso. Un test avviato di lunedì e interrotto di mercoledì perché "sembra già significativo" in realtà cattura un segmento molto specifico del comportamento, non una tendenza rappresentativa.

Questo rischio è tanto più concreto in quanto il comportamento d'acquisto in Francia presenta una forte stagionalità – periodi di saldi, Black Friday, festività – durante i quali il tasso di conversione abituale può discostarsi significativamente dalla norma, in entrambe le direzioni. Concludere un test durante uno di questi periodi, senza menzionarlo esplicitamente nell'analisi, equivale a generalizzare un risultato che non si ripeterà nel resto dell'anno.

La regola pratica più semplice rimane quella di eseguire sempre un test su multipli interi di sette giorni, mai su un numero arbitrario di giorni: ciò garantisce che ogni giorno della settimana sia rappresentato un numero uguale di volte nel campione finale, indipendentemente dalla durata totale del test.

Un test di 10 giorni, ad esempio, contiene più lunedì e martedì che sabati e domeniche: uno squilibrio che può essere sufficiente a distorcere i risultati a favore degli acquisti effettuati nei giorni feriali, che differiscono da quelli del fine settimana sulla maggior parte dei siti web più diffusi. Estendere il test a 14 o 21 giorni, anziché optare per un numero tondo che non rispetta questo vincolo, corregge tale distorsione senza aggiungere complessità.

Un promemoria sui pericoli di sbirciare, in breve

Una quarta causa, questa volta di natura statistica, merita una breve menzione senza essere ulteriormente approfondita qui: il "peeking", che consiste nel guardare i risultati di un test durante il suo svolgimento e nel decidere di fermarsi non appena appare un segnale favorevole. Descriviamo in dettaglio questo meccanismo, con le cifre precise pubblicate sull'argomento, nel nostro articolo dedicato al significatività statistica — Lettura supplementare essenziale per approfondire tutte le cause dei falsi positivi, sia di natura tecnica che statistica.

Come individuare i falsi positivi nei test A/B a posteriori

È ancora possibile verificare retroattivamente un risultato che si è già diffuso. Tre segnali di allarme dovrebbero destare preoccupazione:

• L'aumento annunciato non si riflette nei parametri complessivi dell'azienda. poche settimane dopo la generalizzazione, quando avrebbe dovuto essere visibile su questa scala.
• Un test A/A (Il confronto tra due versioni rigorosamente identiche) effettuato sullo stesso segmento di traffico rivela una differenza significativa laddove statisticamente non dovrebbe essercene alcuna: un segno che l'infrastruttura di test stessa sta producendo rumore.
• La distribuzione del traffico tra i due gruppi, verificato a posteriori, non corrisponde a quanto configurato all'inizio del test.

Quest'ultimo punto è proprio ciò che un controllo automatico della discrepanza del rapporto di campionamento può rilevare ancor prima di dover condurre un'indagine successiva: uno degli argomenti più concreti a favore di uno strumento che monitora questo tipo di anomalia in modo continuo anziché su richiesta.

E non è solo una questione di comodità: un'indagine condotta dopo l'implementazione di una modifica è sempre più costosa di una effettuata prima. Il tempo impiegato per capire perché un guadagno previsto non si concretizza mai nei risultati complessivi dell'azienda è tempo che avrebbe potuto essere utilizzato per testare l'ipotesi successiva in sospeso.

La checklist per evitare falsi positivi nei test A/B prima di generalizzare

Prima di implementare una variante vincente sul 100% del traffico, quattro rapidi controlli riducono il rischio di falsi positivi diffusi:

• La distribuzione osservata tra i gruppi corrisponde alla configurazione prevista (nessuna discrepanza nel rapporto tra i campioni)?
• Il test ha coperto un periodo interamente multiplo di sette giorni, senza sovrapporsi a periodi promozionali atipici?
• Hai filtrato il traffico per escludere i bot e il traffico non umano identificabile?
• Il test ha raggiunto la durata prevista, senza che tu lo interrompessi prematuramente a seguito di un segnale favorevole rilevato durante il suo svolgimento?

Questi controlli richiedono pochi minuti e impediscono settimane di decisioni basate su un risultato che non verrà mai replicato in produzione. Un test distribuito male può anche introdurre questo tipo di distorsione anche prima della fase di analisi: vedi la nostra pagina su diffusione ultraveloce descrive come evitare effetti collaterali legati a una cattiva implementazione tecnica del test. Il momento migliore per integrare questa checklist rimane la fase di configurazione stessa, anche prima del lancio: questo è ciò che descriviamo in dettaglio nella nostra guida su obiettivi e monitoraggio di un test A/B, per evitare di dover diagnosticare un problema a posteriori anziché prevenirlo.

Domande frequenti

Che cos'è una discrepanza nel rapporto di campionamento (SRM)?

Si tratta di uno squilibrio inatteso nella distribuzione del traffico tra i gruppi di test, ad esempio una suddivisione misurata di 55/45 quando ci si aspettava un 50/50. Un SRM segnala quasi sempre un problema tecnico (bug di reindirizzamento, bot, filtraggio errato) che invalida il risultato del test, indipendentemente dalla sua apparente significatività statistica.

Come rilevare una discrepanza nel rapporto di campionamento

Un test del chi-quadrato applicato alla distribuzione osservata tra i gruppi può rilevare uno squilibrio anomalo. Alcune piattaforme sperimentali eseguono automaticamente questo test per ogni prova e forniscono un avviso ancor prima di visualizzare i risultati della conversione.

I bot possono falsare un test A/B?

Sì, e spesso sottovalutiamo la portata del problema: alcuni siti hanno scoperto che fino al 40% del loro traffico di prova proveniva da bot, in particolare tramite proxy residenziali difficili da distinguere dal traffico umano tradizionale.

Un test iniziato di lunedì fornisce un risultato affidabile entro venerdì?

No. Il comportamento d'acquisto spesso varia tra i giorni feriali e il fine settimana. Un test che non copre almeno un ciclo completo di sette giorni rischia di rilevare un effetto calendario anziché un effetto reale della variante testata.

È la semplice consultazione frequente dei risultati a causare falsi positivi?

No. È una causa statistica ben documentata, ma i falsi positivi possono derivare anche da cause tecniche indipendenti dal metodo statistico: squilibrio del campione, contaminazione da parte di bot o effetti temporali incontrollati.

Punti chiave

Individuare i falsi positivi nei test A/B non si limita alla significatività statistica: questo rappresenta solo metà del lavoro. L'altra metà si svolge ancor prima di calcolare il livello di confidenza: una distribuzione equilibrata del traffico, un traffico privo di contaminazioni da bot e una durata del test che copra un ciclo completo anziché un'istantanea distorta da un periodo di tempo specifico.

Il dato di DoorDash è da tenere a mente: uno squilibrio dell'1% può essere sufficiente a generare una variazione del 2% nelle metriche. A questo livello, un test che "sembra" avere successo potrebbe benissimo misurare solo un artefatto tecnico, e non un reale aumento delle conversioni.

Per limitare questo rischio senza dover verificare manualmente ogni test, il nostro editor visuale incorpora un controllo di distribuzione ad ogni lancio di prova e il pilota automatico CRO può segnalare automaticamente un'anomalia prima che diventi una decisione sul prodotto. Sebbene i concetti qui discussi possano ancora non essere chiari, il nostro Glossario CRO li spiega in un linguaggio semplice e la nostra offerta è accessibile dal nostro formule di base applicare questo rigore fin dal primo test. Se stai attualmente valutando un'altra piattaforma, il nostro confronto con AB Tasty Descrive inoltre in dettaglio come ogni strumento gestisce questo tipo di controllo qualità, un criterio importante quanto il prezzo visualizzato sulla pagina. reception di ciascuna soluzione.