Algoritmi bandit contro test A/B classici: quando utilizzare l'uno o l'altro?

Aggiornato il 15 ottobre 2026

12,75%. Questa è la percentuale di falsi positivi ottenuta applicando un test statistico standard al termine di test condotti con un algoritmo bandit, su 2.000 simulazioni in cui le due versioni erano rigorosamente identiche. Con una suddivisione fissa 50/50, questa percentuale rimane al 4,65%, in linea con la soglia prevista del 5%. L'algoritmo bandit non è uno strumento inadeguato. Semplicemente, affronta una questione diversa rispetto ai test A/B, e interpretarlo come un test A/B porta a errori.

Questa guida confronta i due approcci da un punto di vista statistico (esplorazione, campionamento di Thompson, regret, potenza), quindi per caso d'uso, con figure di simulazione a supporto.

Test A/B o multi-armed bandit: la risposta breve

Un test A/B tradizionale distribuisce il traffico in modo fisso per misurare con precisione la differenza tra due versioni; un test multi-armato (multi-armed bandit test) sposta il traffico verso la versione che sembra avere più successo, in modo da perdere il minor numero possibile di conversioni durante il test. Scegliete il test A/B quando dovete prendere una decisione a lungo termine e quantificarne l'impatto, e il test multi-armato quando il periodo di tempo è breve e conta solo il risultato cumulativo.

I due metodi ottimizzano due quantità diverse:

• I test A/B riducono al minimo l'errore di stima. Ti dice se B è migliore di A, di quanto e con quale intervallo di confidenza. Il prezzo di questa certezza è che metà del traffico viene indirizzato alla versione peggiore fino alla fine.
• Il bandit minimizza il suo rimorso, Ovvero, le conversioni perse rispetto a uno scenario in cui si conoscerebbe il vincitore fin dal primo giorno. Questo vantaggio in termini di precisione ha un costo: la versione perdente riceve troppo pochi visitatori per essere misurata correttamente.

Nessuno dei due metodi risulta vincente su entrambi i fronti.

Esplorazione contro sfruttamento: il dilemma del bandito con un braccio solo

Il nome deriva dalle slot machine, i "banditi con un braccio solo": di fronte a diverse macchine di cui non si conoscono le vincite, bisogna sia provarne diverse (esplorare) sia giocare il più spesso possibile su quella più redditizia (sfruttare).

Nell'ambito della CRO (Conversion Rate Optimization), ogni variante rappresenta un "braccio", ogni visitatore una parte e la conversione il guadagno. Un classico test A/B prevede il 100% di esplorazione durante la fase di test, seguito dal 100% di sfruttamento una volta implementata la variante vincente. Un algoritmo bandit, invece, mescola continuamente i due approcci.

Il problema è di vecchia data: William R. Thompson pubblicò il metodo che porta il suo nome già nel 1933, per le sperimentazioni mediche.

Se i termini "arma", "rimpianto" o "indennità" sono nuovi per te, il glossario dei test A/B e della CRO definisce ciascuno di essi in una riga.

Campionamento epsilon-greedy, UCB, Thompson: tre modi per arbitrare

Le tre famiglie di algoritmi bandit si differenziano per il modo in cui misurano l'esplorazione: per caso (epsilon-greedy), per ottimismo calcolato (UCB) o per campionamento probabilistico (campionamento di Thompson), ed è quest'ultimo che oggi predomina negli strumenti di test.

Epsilon-greedy: semplice, ma dispendioso

L'algoritmo invia una porzione fissa di traffico, ad esempio il 10%, in modo casuale tra tutte le varianti, e il resto alla migliore del momento. In parole semplici, continua ad alimentare una variante chiaramente scadente fino alla fine. Allocazioni come "80% in base alle prestazioni, 20% casuale" derivano da questa logica.

UCB: Ottimismo di fronte all'incertezza

Il metodo Upper Confidence Bound calcola un limite superiore per il potenziale rendimento di ciascuna variante e seleziona quello più alto. Una variante poco testata ha un limite ampio, quindi verrà testata. Una variante ben testata ma mediocre non verrà più testata. Essendo un metodo deterministico, è meno adatto agli aggiornamenti in batch.

Campionamento Thompson: scommesse basate sulla probabilità di essere il migliore

Per ogni variante, l'algoritmo mantiene una distribuzione di probabilità del suo tasso di conversione. Per ogni visitatore, seleziona un valore da ciascuna distribuzione e visualizza la variante con il valore più alto. Di conseguenza, una variante con una probabilità del 70% di essere la migliore riceve circa il 70% del traffico. Il tutorial di riferimento di Russo et al. sul campionamento di Thompson spiega perché questa regola si avvicina al minimo rimpianto teorico senza bisogno di alcun aggiustamento particolare.

Questo è il metodo utilizzato dalla maggior parte delle piattaforme. La documentazione dell'allocazione dinamica di AB Tasty indica che si basa su Thompson, che influenza solo i nuovi visitatori (un visitatore già esposto mantiene la sua variante) e che attende almeno una conversione per variante sull'indicatore scelto prima di iniziare. Il confronto tra BlastOptimize e AB Tasty illustra le differenze di impostazione tra i due strumenti.

Lo svantaggio: il costo dei test A/B sulle conversioni.

Il rimpianto è il numero di conversioni perse durante un test rispetto allo scenario ideale in cui l'intero pubblico avrebbe visto la versione migliore fin dall'inizio; in un test 50/50 il rimpianto cresce in proporzione al traffico, mentre in un test "bandit" il rimpianto diminuisce nel corso del test.

Prendiamo il caso già dettagliato nel nostro guida al pilota automatico BlastOptimize Con 40.000 visitatori, il sito A ha un tasso di conversione del 3%, mentre il sito B del 3,6%. Con una suddivisione 50/50, il sito A riceve 20.000 visitatori e il sito B 20.000, per un totale di 600 + 720 = 1.320 conversioni. Se tutti avessero visualizzato il sito B, il tasso di conversione sarebbe stato di 1.440. Il rimpianto associato al test A/B è di 120 conversioni, ovvero l'8,3% delle conversioni potenziali.

Il lavoro di Elea Feit (Drexel) e Ron Berman (Wharton), intitolato "Test & Roll", Ciò è chiaramente dimostrato. Per un sito con 100.000 visitatori, il test che massimizza il profitto totale richiede solo 2.284 visitatori per gruppo, rispetto ai 18.468 necessari per un classico test di ipotesi progettato per rilevare un aumento del 2%. Il test "pulito" e di grandi dimensioni costa 476 conversioni in più. Gli autori dimostrano inoltre che il rimpianto associato a un test di ipotesi aumenta con la dimensione del pubblico, mentre il rimpianto associato al campionamento di Thompson aumenta solo con la sua radice quadrata.

Ricordate questo concetto: per una campagna di due settimane, quasi tutto il traffico proviene dalla fase di test e il rimpianto è notevole. Per una homepage che rimarrà online per due anni, la fase di test rappresenta solo una frazione di quel traffico.

La nostra simulazione: bandit contro 50/50 basata su 2.000 test

Abbiamo riprodotto ogni scenario 2.000 volte, confrontando una distribuzione fissa con un campionamento di Thompson aggiornato in batch di 500 visitatori: il bandit recupera tre quarti del rimpianto quando il gap è reale, ma rileva il vincitore meno spesso e quasi triplica i falsi positivi quando non c'è gap.

Metodo: Beta a priori(1,1), aggiornamento batch, test z bilaterale al 5% calcolato alla fine, come farebbe un team quando legge i propri risultati.

Quattro lezioni apprese:

• Il vantaggio c'è. Thompson perde solo 29 conversioni contro 120, in linea con il calcolo della guida del pilota automatico (circa 1.408 conversioni).
• La situazione sta peggiorando. La variante perdente riceve in media solo 4.370 visitatori. Di conseguenza, il test risulta significativo solo nel 66% dei casi, rispetto al 92% nello scenario 50/50.
• Senza alcuna reale deviazione, il bandit crea delle certezze. Il metodo perpetua la casualità dei primi lotti, sbilancia la distribuzione e, di conseguenza, un test classico giunge a conclusioni errate in quasi un caso su otto.
• Nel traffico di piccolo calibro, il bandit non risparmia nulla. Con 4.000 visitatori, i due metodi hanno identificato la variante errata nel 15-17% dei casi e la differenza di rimpianto si è limitata a 4 conversioni.

Il prezzo del bandit: potere, pregiudizi e falsi positivi

Un test bandit sacrifica tre elementi che i test A/B tutelano: la potenza statistica, l'assenza di distorsioni sulla differenza misurata e la validità dei test di significatività classici.

Meno potenza

La potenza statistica, ovvero la probabilità di rilevare una reale discrepanza, dipende principalmente dal gruppo più piccolo. Un truffatore priva deliberatamente questo gruppo di risorse: un vantaggio per le conversioni, uno svantaggio per la misurazione.

Un divario stimato in modo errato

Un titolo che ha avuto una partenza sfortunata perde rapidamente quote di mercato: la sua valutazione rimane fissa sulla base del suo scarso inizio, mentre il favorito si corregge. Lo spread visualizzato risulta quindi distorto, spesso sovrastimato. Prima di presentare al management un rialzo di un titolo problematico, pianificate un test di conferma.

Valori p che non significano più la stessa cosa

Le formule di significatività presuppongono una distribuzione predeterminata. Quando l'algoritmo decide la distribuzione in base ai risultati, l'ipotesi non è più valida. Questo è correlato al problema del "peeking", che consiste nell'osservare continuamente i risultati e fermarsi non appena appaiono favorevoli. Il nostro articolo su falsi positivi nei test A/B spiega perché questa pratica fa schizzare alle stelle il tasso di errore e l'elenco di errori comuni nei test A/B il posto tra i più comuni.

Punti ciechi operativi

Il team sperimentale di DoorDash, che ha costruito la propria piattaforma bandit basata sul campionamento Thompson, elenca nel suo resoconto pubblicato a dicembre 2025 diverse limitazioni concrete: la difficoltà di analizzare indicatori che non fanno parte del sistema di ricompensa ottimizzato, l'esperienza incoerente di un utente che cambia variante da una visita all'altra e il ritardo tra azione e risultato. Per limitare i bias dovuti al cambiamento del comportamento del cliente nel tempo, il team ha scelto di modellare la differenza rispetto alla versione di controllo piuttosto che il tasso grezzo di ciascuna variante.

Quando scegliere un algoritmo bandit

Scegliete un bandit quando il costo di mostrare la versione sbagliata durante il test supera il valore di sapere con precisione perché l'altro vince, il che accade soprattutto in finestre temporali brevi e decisioni senza un futuro.

• Campagne a tempo limitato Vendite, promozione del Black Friday, lancio di un prodotto. Su una promozione di 20.000 visitatori con quattro titoli, la nostra simulazione recupera 82 conversioni su 136, ovvero il 60% del costo del test, e non ci sarà alcuna "implementazione" successiva.
• elementi altamente rotanti Titoli, oggetti delle email, banner, elementi grafici pubblicitari: tutto viene sostituito ogni mese.
• Molte varianti, pochi preconcetti Il team propone sei ami, o li genera l'IA. Il sistema bandit elimina rapidamente quelli più deboli. Un test con distribuzione fissa pagherebbe un prezzo salato per ognuno di essi.
• Ottimizzazione continua : un blocco che viene lasciato in esecuzione indefinitamente, a volte aggiungendo una variante.

Condizione comune: l'indicatore ottimizzato deve essere misurato rapidamente (clic, aggiunta al carrello, invio del modulo) e riflettere accuratamente il valore. Su un sito di e-commerce, la nostra pagina sul CRO per l'e-commerce dettaglia le pagine in cui queste condizioni sono soddisfatte.

Quando mantenere un classico test A/B

Utilizzate un test A/B a suddivisione fissa per qualsiasi decisione a lungo termine che sia costosa da annullare o che debba essere giustificata con dati a supporto, e per qualsiasi test in cui la conversione avviene in una fase successiva.

• Riprogettazione, prezzi, funnel di pagamento Qualche settimana di rimpianto pesa poco rispetto al rischio di utilizzare per anni un falso vincitore.
• Necessità di una cifra di impatto Previsione dei ricavi, arbitraggio di bilancio, reportistica per la direzione. Solo un'allocazione fissa fornisce una varianza imparziale con un intervallo di confidenza affidabile.
• Conversioni differite Nel B2B o nella generazione di lead, l'invio dei moduli avviene rapidamente, ma il valore reale (lead qualificato, appuntamento, firma del contratto) arriva giorni dopo. Un truffatore che ottimizza il processo di invio potrebbe privilegiare la variante che attrae i lead meno qualificati. Prima del lancio, definire l'obiettivo e il monitoraggio che rispecchiano veramente questo valore.
• Diversi indicatori da monitorare : un bandit ottimizza una singola ricompensa e valuta male tutte le altre, incluso il valore medio del paniere.
• Effetti diversi a seconda dei segmenti : una variante che vince su desktop e perde su mobile. Il bandit converge verso la media e smette di inviare il segmento interessato alla versione più adatta.
• Traffico ridotto Come dimostra la simulazione con 4.000 visitatori, il metodo bandit non aggiunge quasi nulla quando il segnale è troppo debole. Un semplice test su una variazione significativa è preferibile.

La stessa logica si applica al test di più elementi contemporaneamente: il nostro confronto tra test A/B e test multivariati mostra che ogni combinazione aggiunta richiede traffico aggiuntivo.

Combinando i due: tre strategie ibride

I due metodi si completano a vicenda: prima un'esplorazione rapida, poi una misurazione accurata, a seconda della posta in gioco.

1. Ordina per bandit, conferma in A/B

Esegui cinque o sei varianti di algoritmi bandit per una o due settimane per eliminare la più debole. Quindi confronta le due migliori in un test A/B prestabilito.

2. Eseguire un test breve, quindi implementare ("test and roll")

Questa è la raccomandazione di Feit e Berman: dimensionare il test in base al profitto atteso piuttosto che a una soglia di significatività. Il test è più breve, la distribuzione rimane fissa e non distorta e il regret rimane vicino a quello di un bandit.

3. Convalidare tramite test A/B, quindi sfruttare le vulnerabilità tramite test bandit.

Per una campagna permanente (banner, raccomandazioni), un test A/B iniziale conferma che la campagna produce un beneficio. Successivamente, un sistema di rotazione dei contenuti all'interno della campagna viene utilizzato per gestire la rotazione dei contenuti. È importante mantenere un piccolo gruppo di controllo permanente, ad esempio il 5% del traffico, per verificare che il beneficio complessivo si mantenga nel tempo.

Qualunque sia la strategia, la rapida distribuzione delle varianti nota: un lampeggio della pagina originale invalida entrambi i metodi allo stesso modo. E per leggere la differenza effettiva tra le varianti, con i suoi intervalli, il dashboard di analisi BlastOptimize mostra i risultati senza utilizzare termini tecnici.

Lista di controllo: scegliere il metodo giusto in 7 domande

Rispondi a queste sette domande prima di ogni test: se almeno quattro risposte "a caso" su sei indicano l'assegnazione automatica, mantieni l'assegnazione fissa. La settima domanda verifica che il test abbia una probabilità di successo.

1. Durata della decisione meno di un mese (bandit) o diversi mesi o più (A/B)?
2. Necessità di una cifra di impatto presentare o riutilizzare: no (bandit), sì (A/B)?
3. Tempo di conversione : misurabile durante la sessione (bandit) o ​​diversi giorni dopo (A/B)?
4. Numero di varianti : quattro o più senza un favorito chiaro (bandit), due o tre (A/B)?
5. Indicatori secondari elementi da monitorare (dimensione media del carrello, tasso di rimborso, qualità dei lead): nessuno (bandit), almeno uno (A/B)?
6. Segmenti che potrebbero reagire diversamente: no (bandit), sì (A/B o bandit contestuale con gruppo di controllo)?
7. Traffico : almeno qualche centinaio di conversioni per variante previste nel tempo (entrambe le ipotesi sono possibili) o meno (nessuna delle due sarà decisiva: testare una modifica più marcata)?

Meno di dieci test all'anno? Evita di pagare per un'opzione usata raramente: confronta con prezzi BlastOptimize.

Punti chiave

I test bandit e i test A/B rispondono a due domande diverse.

• I test A/B minimizzano l'errore di misurazione; il modello multi-armed bandit minimizza il rimpianto, ovvero le conversioni perse durante il test.
• Il campionamento di Thompson è l'algoritmo di riferimento: ogni variante riceve una quota di traffico proporzionale alla sua probabilità di essere la migliore.
• Nella nostra simulazione, il bandit recupera circa il 75% del rimpianto di una probabilità del 50/50, ma l'individuazione del vincitore passa dal 92% al 66% e quella dei falsi vincitori dal 4,65% al ​​12,75% senza alcuna differenza reale.
• Bandit per campagne brevi, contenuti a rotazione rapida e numerose varianti; test A/B per decisioni definitive, conversioni differite e test di prezzo.
• Per volumi di traffico ridotti, nessuno dei due metodi fa miracoli.

Domande frequenti

Un test bandit è più veloce di un test A/B?

È più rapido sfruttare i dati, ma non trarne conclusioni. Poiché la variante perdente riceve pochi visitatori, spesso è necessario un traffico maggiore per dimostrare la differenza. Per una conclusione statistica, un test A/B con distribuzione fissa rimane la strada più breve.

È possibile calcolare la significatività in un test bandit?

Non con le formule tradizionali, che presuppongono una distribuzione predeterminata. Nella nostra simulazione, applicandole a un sistema bandit si ottiene il 12,75% di falsi vincitori anziché il 5%. È preferibile utilizzare la probabilità di essere la variante migliore fornita dall'algoritmo, oppure confermare il risultato con un breve test A/B.

Quanto traffico è necessario per utilizzare un bandit?

Il sistema di ottimizzazione non necessita di un volume di traffico inferiore a quello di un test A/B per apprendere. Richiede conversioni su ciascuna variante per iniziare, almeno una secondo la documentazione.AB Tasty, E in pratica, bastano poche decine di persone per superare il rumore dei primi gruppi. Con diverse migliaia di visitatori in totale, entrambi i metodi spesso falliscono.

Campionamento di Thompson o algoritmo epsilon-greedy: quale scegliere?

Il campionamento di Thompson è il metodo preferito nella maggior parte dei casi: adatta la ricerca all'incertezza e non spreca risorse su una variante già battuta. Il campionamento epsilon-greedy è giustificato solo se si desidera una quota fissa e facilmente interpretabile della ricerca.

Un sistema di generazione di lead basato su bandit è efficace per il B2B?

Per gli elementi tattici (titolo della landing page, immagine dell'annuncio, etichetta del pulsante), sì, se la metrica ottimizzata è l'invio del modulo. Per le decisioni strategiche, no: la qualità dei lead viene misurata troppo tardi per guidare l'algoritmo, che rischia di favorire i moduli che attraggono contatti non qualificati.

Che cos'è un bandit contestuale?

Si tratta di un sistema di selezione automatica della variante che sceglie la versione più adatta in base al profilo del visitatore: dispositivo, fonte di traffico, pagine visualizzate. Il suo scopo è personalizzare l'esperienza anziché designare un unico vincitore, richiede un volume di traffico molto maggiore e necessita di un gruppo di controllo per misurarne l'impatto.