Questa è una delle domande più frequenti poste dai team che si avvicinano per la prima volta ai test A/B: quanti visitatori, o quante conversioni, sono necessari prima di poter considerare affidabili i risultati di un test? La risposta non è univoca: dipende dal tasso di conversione iniziale, dall'entità della variazione che si desidera rilevare e dal livello di certezza richiesto prima di trarre una conclusione. Questo articolo spiega questi fattori uno per uno, senza formule matematiche complesse, in modo che possiate stimare autonomamente la dimensione del campione necessaria per un test affidabile.
Perché la dimensione del campione è la questione più importante in un test
Un test A/B confronta il comportamento di due gruppi di visitatori esposti a due diverse versioni di una pagina. Tuttavia, il comportamento umano varia naturalmente da un visitatore all'altro, indipendentemente dalla versione visualizzata: in alcuni giorni, in alcuni momenti, alcuni profili convertono meglio di altri per ragioni non correlate al test in corso. Con un campione di piccole dimensioni, questa variazione naturale – il "rumore" statistico – può facilmente produrre una differenza tra i due gruppi che sembra un effetto reale, quando in realtà si tratta solo di una fluttuazione casuale.
La dimensione del campione è il fattore principale per distinguere un segnale reale dal rumore. Più grande è il campione, più le fluttuazioni casuali tendono ad annullarsi a vicenda e più è probabile che una differenza misurata tra due gruppi rifletta un effetto reale del cambiamento in esame, piuttosto che una coincidenza. Eseguire un test senza aver stimato la dimensione del campione necessaria equivale a decidere in anticipo se il risultato ottenuto sarà affidabile.
Il tasso di conversione iniziale
Il primo fattore da conoscere è il tasso di conversione attuale della pagina o del percorso utente in fase di test, in base alla metrica che verrà utilizzata per valutare il test. Questo dato può essere facilmente ricavato dai dati già disponibili nel vostro strumento di analisi: numero di conversioni diviso per il numero di visitatori, in un periodo recente e rappresentativo (escludendo, se possibile, i periodi con promozioni eccezionali o picchi di traffico atipici).
Questa frequenza iniziale influenza direttamente la dimensione del campione necessaria: per ottenere lo stesso effetto, un basso tasso di conversione (ad esempio, l'1%) richiede un campione più ampio rispetto a un alto tasso di conversione (ad esempio, il 20%) per rilevare la stessa differenza relativa. Questo è uno dei motivi per cui i test su metriche poco frequenti (un acquisto, un abbonamento) generalmente richiedono più traffico e tempo rispetto ai test su metriche più frequenti (un clic, lo scorrimento di una pagina).
L'MDE, ovvero l'entità dell'effetto che stiamo cercando di rilevare
L'MDE (Minimum Detectable Effect, effetto minimo rilevabile) si riferisce alla più piccola differenza tra il gruppo di controllo e la variante che il test è in grado di rilevare in modo affidabile. È una scelta, non un valore misurato: si decide quale livello di miglioramento vale la pena rilevare.
Questa scelta ha un impatto notevole sulla dimensione del campione necessaria. Rilevare un effetto di piccola entità (ad esempio, aumentare il tasso di conversione dal 5% al 5,2%, un miglioramento relativo del 4%) richiede un traffico significativamente maggiore rispetto al rilevamento di un effetto di grande entità (aumentare lo stesso tasso dal 5% al 6,5%, un miglioramento relativo del 30%). In pratica, ciò significa che una piccola modifica, come il colore di un pulsante o una parola nel titolo, richiede una dimensione del campione considerevolmente maggiore rispetto a una riprogettazione completa della pagina, a parità di traffico, semplicemente perché ci si aspetta un effetto più modesto.
La conseguenza pratica è semplice: su un sito con traffico moderato, è meglio concentrare i primi test su modifiche da cui ci si aspetta un effetto chiaro (ristrutturazione di una pagina, semplificazione di un percorso) piuttosto che su micro-aggiustamenti che richiederebbero mesi per produrre un risultato utilizzabile.
Il livello di fiducia e la potenza statistica
Altri due parametri, più tecnici, completano il calcolo. Il livello di confidenza (spesso fissato al 95%) indica la probabilità di dichiarare erroneamente un test vincitore quando in realtà non vi è alcuna differenza tra le due versioni – quello che viene definito un falso positivo. La potenza statistica (spesso fissata all'80%) indica la probabilità di rilevare un effetto reale, se esiste, anziché concludere erroneamente che non vi è alcuna differenza – un falso negativo.
Questi due valori (95% e 80%) sono convenzioni ampiamente utilizzate nel settore dei test A/B, non regole assolute. Aumentarli (ad esempio, puntando a una confidenza del 99%) riduce il rischio di giungere a una conclusione errata, ma aumenta ulteriormente la dimensione del campione necessaria; diminuirli velocizza l'ottenimento di un risultato, a costo di un rischio maggiore di trarre conclusioni errate. Per un test con conseguenze limitate (una modifica facilmente reversibile), possono essere giustificate soglie più flessibili; per un test il cui risultato determinerà una decisione costosa da implementare, sono preferibili soglie più rigorose.
Come stimare la dimensione del campione nella pratica
In pratica, raramente è necessario calcolare manualmente la formula statistica sottostante. La maggior parte delle piattaforme di A/B testing, tra cui BlastOptimize, include un calcolatore che richiede semplicemente il tasso di conversione attuale e l'effetto minimo che si desidera rilevare, e restituisce direttamente la dimensione del campione necessaria per ogni variante, nonché una stima della durata del test basata sul traffico attuale della pagina.
Questa stima deve essere fatta prima di avviare il test, mai dopo. Serve a stabilire se il test è fattibile entro un lasso di tempo ragionevole, tenendo conto del traffico disponibile, e, in caso contrario, a modificare la portata della modifica da testare (puntando a un effetto più ampio, quindi a un MDE più elevato), oppure la portata del test (raggruppando diverse pagine a basso traffico anziché testare una pagina isolata), o ancora a considerare altri metodi di ricerca (test qualitativi con gli utenti, sondaggi) quando il traffico non consente di raggiungere un campione sufficiente entro un lasso di tempo ragionevole.
L'errore di "sbirciare": guardare il risultato prima della fine
Una volta stimata la dimensione del campione, la regola fondamentale è attendere di raggiungerla prima di trarre conclusioni, anche se la dashboard mostra una discrepanza significativa dopo pochi giorni. Questo comportamento, noto come "sbirciare" (peeking), è una delle cause più frequenti di risultati falsi nei test A/B: gli indicatori di significatività statistica visualizzati in tempo reale dalla maggior parte degli strumenti vengono calcolati continuamente e una discrepanza può apparire significativa in un dato momento per poi diminuire, o addirittura invertirsi, una volta raggiunta la dimensione completa del campione.
La regola pratica più semplice per evitare questo inconveniente è stabilire, prima di avviare il test, sia una dimensione minima del campione sia una durata minima (generalmente almeno una o due settimane, per coprire le variazioni tra giorni feriali e fine settimana), e considerare il risultato definitivo solo quando entrambe le condizioni sono soddisfatte simultaneamente.
Cosa fare quando il traffico è troppo basso per un test standard
Non tutti i siti web hanno il traffico necessario per testare le micro-ottimizzazioni con un campione di dimensioni adeguate per alcuni giorni. Quando il traffico è limitato, diverse modifiche possono contribuire a un miglioramento continuo:
- Testare le modifiche con un impatto previsto elevato piuttosto che micro-aggiustamenti, per ridurre la dimensione del campione necessaria.
- Raggruppa le metriche seguendo un obiettivo più in alto nel funnel (ad esempio, il clic sul carrello anziché l'acquisto finale), quando rimane rilevante per l'ipotesi che si sta testando, poiché eventi più frequenti richiedono un campione più piccolo.
- Prolungare la durata del test oltre le solite due settimane, accettando un ritardo maggiore prima della decisione.
- Integrare i test A/B con metodi qualitativi (test utente, registrazioni di sessioni, interviste ai clienti) che non richiedono un grande volume di traffico per produrre informazioni utili.
Un esempio concreto per visualizzare il ragionamento
Per rendere questi concetti più concreti, prendiamo un esempio puramente illustrativo. Immaginiamo una landing page con un tasso di conversione attuale del 3% e un team che desidera rilevare un effetto relativo minimo del 15% (ovvero, una variazione dal 3% a circa il 3,45%), utilizzando le soglie usuali di confidenza del 95% e potenza statistica dell'80%. Un calcolatore della dimensione del campione indicherebbe, in questo scenario, che sono necessarie diverse migliaia di visitatori per ogni variazione affinché il test sia affidabile: l'ordine di grandezza esatto dipende dalla formula utilizzata, ma il principio rimane lo stesso: minore è l'effetto desiderato rispetto al tasso iniziale, più rapidamente cresce la dimensione del campione necessaria.
Se la stessa pagina riceve solo poche centinaia di visitatori a settimana, questo test richiederebbe diversi mesi per raggiungere la dimensione del campione necessaria, un lasso di tempo raramente compatibile con i ritmi di un team di marketing. Si presentano quindi due opzioni: rivedere l'ipotesi per puntare a un effetto più ampio (un cambiamento più strutturale piuttosto che un piccolo aggiustamento) oppure accettare un MDE (Minimum Detectable Effect, ovvero un valore minimo stimato) più elevato, che riduce la sensibilità del test ma anche la sua durata. Questo tipo di compromesso, fatto consapevolmente prima del lancio, è preferibile a un test avviato senza un'attenta valutazione e interrotto prematuramente per impazienza.
Domande frequenti
È opportuno utilizzare lo stesso campione sia per il gruppo di controllo che per la variante?
Nella stragrande maggioranza dei casi, sì: una ripartizione equa del traffico tra le due versioni è la configurazione più efficiente per raggiungere la significatività statistica nel minor tempo possibile, con un traffico totale uguale.
Possiamo testare più di due varianti contemporaneamente?
Sì, ma ogni variante aggiuntiva diluisce il traffico disponibile per filiale e aumenta il tempo necessario per ottenere una dimensione del campione sufficiente per ciascuna. Un test A/B/C/D, con lo stesso traffico totale, richiede molto più tempo di un test A/B tradizionale per giungere a una conclusione affidabile su ciascuna variante.
È possibile che un test sia affidabile con un sito web di piccole dimensioni?
Sì, a patto che le aspettative vengano adeguate: dare priorità alle modifiche con un elevato potenziale di impatto, accettare durate di prova più lunghe e non esitare a integrare i test A/B con metodi che non dipendono dal volume di traffico, come i test qualitativi sugli utenti.
Punti chiave
La dimensione del campione non è un dettaglio tecnico riservato agli statistici; è il parametro che determina se un test A/B produrrà una conclusione affidabile o un risultato fuorviante. Dipende dal tasso di conversione iniziale, dall'entità dell'effetto che si sta cercando di rilevare e dal livello di confidenza richiesto: tre elementi che è meglio stimare prima di avviare un test piuttosto che scoprire, a posteriori, che invalidano la conclusione. La buona notizia è che, nella stragrande maggioranza dei casi, un calcolatore della dimensione del campione integrato nello strumento di test è sufficiente per eseguire questo calcolo per il team di marketing.
BlastOptimize integra questo calcolatore direttamente nella sua dashboard, fornendo una stima della durata del test necessaria in base al traffico effettivo sulla pagina testata, per evitare di eseguire un test che risulterebbe inconcludente. Se non sei sicuro della dimensione del campione necessaria per il tuo prossimo test, questo è un buon punto di partenza per deciderlo prima ancora di creare la tua variante.
I commenti sono chiusi.