Algoritmos de bandit versus testes A/B clássicos: quando usar cada um?

Atualizado em 15 de outubro de 2026

12,75%. Essa é a taxa de falsos vencedores que obtivemos ao aplicar um teste estatístico padrão ao final de testes conduzidos por um algoritmo de bandit, em 2.000 simulações onde as duas versões eram estritamente idênticas. Com uma divisão fixa de 50/50, essa taxa permanece em 4,65%, consistente com o limite esperado de 5%. O algoritmo de bandit não é uma ferramenta ruim. Ele simplesmente aborda uma questão diferente da de um teste A/B, e interpretá-lo como tal leva a erros.

Este guia compara as duas abordagens de um ponto de vista estatístico (exploração, amostragem de Thompson, arrependimento, poder estatístico) e, em seguida, por caso de uso, com figuras de simulação de apoio.

Bandit de múltiplos braços ou teste A/B: a resposta curta

Um teste A/B tradicional distribui o tráfego de forma fixa para medir com precisão a diferença entre duas versões; um teste bandit multiarmado direciona o tráfego para a versão que parece estar vencendo, a fim de minimizar a perda de conversões durante o teste. Escolha o teste A/B quando precisar tomar uma decisão a longo prazo e quantificar seu impacto, e o teste bandit quando o prazo for curto e apenas o resultado cumulativo for relevante.

Os dois métodos otimizam duas quantidades diferentes:

• Os testes A/B minimizam o erro de estimativa. Ele informa se B supera A, por quanto e com qual intervalo de confiança. Você paga por essa certeza direcionando metade do tráfego para a versão pior até o final.
• O bandit minimiza seu arrependimento., Ou seja, as conversões perdidas em comparação com um cenário em que você saberia qual versão é a vencedora desde o primeiro dia. Você paga por esse ganho em precisão: a versão perdedora recebe poucos visitantes para ser medida adequadamente.

Nenhum dos métodos é perfeito em ambos os aspectos.

Exploração versus exploração comercial: o dilema do bandido de um braço só

O nome vem das máquinas caça-níqueis, os "bandidos de um braço só": diante de várias máquinas cujos pagamentos você desconhece, você deve tanto experimentar várias (explorar) quanto jogar o máximo possível na melhor delas (explorar).

Em CRO (Otimização da Taxa de Conversão), cada variante é um "braço", cada visitante uma parte e a conversão o ganho. Um teste A/B clássico envolve 100% de exploração durante o teste e 100% de exploração assim que a variante vencedora é implementada. Um bandit mistura continuamente os dois.

O problema é antigo: William R. Thompson publicou o método que leva seu nome já em 1933, para ensaios médicos.

Se os termos "braço", "arrependimento" ou "dispensa" são novos para você, glossário de testes A/B e otimização da taxa de conversão (CRO) define cada um em uma linha.

Epsilon-greedy, UCB, amostragem de Thompson: três maneiras de arbitrar

As três famílias de algoritmos de bandit diferem na forma como medem a exploração: por acaso (epsilon-greedy), por otimismo calculado (UCB) ou por amostragem probabilística (amostragem de Thompson), sendo esta última a que domina atualmente as ferramentas de teste.

Épsilon-ganancioso: simples, mas desperdiçador.

O algoritmo envia uma porção fixa de tráfego, por exemplo, 10%, aleatoriamente entre todas as variantes, e o restante para a melhor variante em um determinado momento. Simples assim, ele continua alimentando uma variante claramente inferior até o fim. Alocações como "80% com base no desempenho, 20% aleatório" derivam dessa lógica.

UCB: Otimismo diante da incerteza

O Limite Superior de Confiança calcula um limite superior para o retorno potencial de cada variante e seleciona o mais alto. Uma variante pouco testada tem um limite amplo, portanto, será testada. Uma variante bem testada, mas mediana, não será mais testada. É um método determinístico, sendo, portanto, menos adequado para atualizações em lote.

Amostragem de Thompson: apostar com base na probabilidade de ser o melhor

Para cada variante, o algoritmo mantém uma distribuição de probabilidade da sua taxa de conversão. Para cada visitante, ele seleciona um valor de cada distribuição e exibe a variante com o valor mais alto. Como resultado, uma variante com 70% de probabilidade de ser a melhor recebe aproximadamente 70% do tráfego. O tutorial de referência de Russo et al. sobre amostragem de Thompson explica por que essa regra se aproxima do arrependimento mínimo teórico sem qualquer ajuste especial.

Este é o método utilizado pela maioria das plataformas. A documentação da alocação dinâmica da AB Tasty indica que ele se baseia em Thompson, que afeta apenas novos visitantes (um visitante já exposto mantém sua variante) e que aguarda pelo menos uma conversão por variante no indicador escolhido antes de começar. A comparação entre BlastOptimize e AB Tasty discute as diferenças de configuração entre as duas ferramentas.

A desvantagem: o custo dos testes A/B em conversões.

O arrependimento é o número de conversões perdidas durante um teste em comparação com o cenário ideal, onde todo o público teria visto a melhor versão desde o início; em um teste 50/50, o arrependimento cresce proporcionalmente ao tráfego, enquanto em um teste "bandit", o arrependimento diminui ao longo do período de teste.

Vamos analisar o caso já detalhado em nosso guia do piloto automático BlastOptimize Com 40.000 visitantes, a página A converte a uma taxa de 3%, enquanto a página B converte a 3,6%. Em uma divisão de 50/50, a página A recebe 20.000 visitantes e a página B também 20.000, resultando em 600 + 720 = 1.320 conversões. Se todos tivessem visto a página B, a taxa de conversão teria sido de 1.440. O arrependimento associado ao teste A/B é de 120 conversões, ou 8,3% das conversões potenciais.

O trabalho de Elea Feit (Drexel) e Ron Berman (Wharton), intitulado "Teste e Rolagem", Isso fica claramente demonstrado. Para um site com 100.000 visitantes, o teste que maximiza o lucro total requer apenas 2.284 visitantes por grupo, em comparação com 18.468 para um teste de hipótese clássico projetado para detectar um aumento de 2%. O teste amplo e "limpo" custa 476 conversões a mais. Os autores também mostram que o arrependimento associado a um teste de hipótese aumenta com o tamanho da audiência, enquanto o arrependimento associado à amostragem de Thompson aumenta apenas com sua raiz quadrada.

Lembre-se desta ideia: em uma campanha de duas semanas, quase todo o tráfego está "em teste" e o arrependimento é significativo. Para uma página inicial que ficará online por dois anos, o teste representa apenas uma fração desse tráfego.

Nossa simulação: bandit vs. 50/50 baseada em 2.000 testes.

Repetimos cada cenário 2.000 vezes, comparando uma distribuição fixa com uma amostragem de Thompson atualizada em lotes de 500 visitantes: o algoritmo bandit recupera três quartos do arrependimento quando a diferença é real, mas detecta o vencedor com menos frequência e quase triplica os falsos positivos quando não há diferença.

Método: Beta(1,1) a priori, atualização em lote, teste z bilateral de 5% calculado no final, como uma equipe faria ao ler seus resultados.

Quatro lições aprendidas:

• O ganho existe. Thompson perde apenas 29 conversões contra 120, o que está de acordo com o cálculo do guia do piloto automático (aproximadamente 1.408 conversões).
• A situação está se deteriorando. A variante perdedora recebe uma média de apenas 4.370 visitantes. Consequentemente, o teste se torna significativo em apenas 66% dos casos, em comparação com 92% no cenário de 50/50.
• Sem qualquer desvio real, o bandit cria certezas. Isso perpetua a aleatoriedade dos primeiros lotes, desequilibra a distribuição e, consequentemente, um teste clássico conclui erroneamente em quase um em cada oito casos.
• No tráfico de pequena escala, o bandit não economiza nada. Com 4.000 visitantes, os dois métodos identificaram a variante errada em 15 a 17% dos casos, e a diferença de arrependimento limitou-se a 4 conversões.

O preço do bandit: poder, viés e falsos positivos

Um teste bandit sacrifica três coisas que o teste A/B protege: poder estatístico, ausência de viés na diferença medida e a validade dos testes de significância clássicos.

Menos potência

O poder estatístico, ou seja, a probabilidade de detectar uma discrepância real, depende principalmente do menor grupo. Um bandit deliberadamente priva esse grupo de recursos: bom para suas conversões, ruim para suas medições.

Uma lacuna mal estimada

Um ativo com desempenho inicial ruim recebe menos tráfego rapidamente: sua avaliação permanece fixa devido ao mau começo, enquanto o favorito se recupera. O spread exibido fica, portanto, distorcido, muitas vezes superestimado. Antes de apresentar uma alta de um ativo problemático à sua gestão, planeje um teste de confirmação.

Valores p que já não significam a mesma coisa

As fórmulas de significância pressupõem uma distribuição predeterminada. Quando o algoritmo decide a distribuição com base nos resultados, essa premissa deixa de ser válida. Isso está relacionado ao problema da "espiada", que envolve observar continuamente os resultados e parar assim que eles parecerem favoráveis. Nosso artigo sobre o assunto aborda esse tema. falsos positivos em testes A/B explica por que essa prática faz com que a taxa de erros dispare, e a lista de erros comuns em testes A/B o lugar entre os mais comuns.

pontos cegos operacionais

A equipe experimental da DoorDash, que construiu sua própria plataforma de bandits baseada na amostragem de Thompson, lista em seu feedback publicado em dezembro de 2025 existem diversas limitações concretas: a dificuldade de analisar indicadores que não fazem parte da recompensa otimizada, a experiência inconsistente de um usuário que alterna entre variantes de uma visita para outra e a defasagem entre a ação e o resultado. Para limitar o viés quando o comportamento do cliente muda ao longo do tempo, a equipe optou por modelar a diferença em relação à versão de controle, em vez da taxa bruta de cada variante.

Quando escolher um algoritmo de bandit

Escolha um dos bandits quando o custo de mostrar a versão errada durante o teste exceder o valor de saber precisamente por que o outro vence, o que acontece especialmente em janelas curtas e decisões sem futuro.

• Campanhas por tempo limitado Vendas, promoção da Black Friday, lançamento de produto. Em uma promoção com 20.000 visitantes e quatro manchetes, nossa simulação recupera 82 conversões de 136, ou seja, 60% do custo do teste, e não haverá "implantação" posterior.
• Elementos altamente rotativos Títulos, assuntos de e-mail, banners e elementos visuais de publicidade são substituídos mensalmente.
• Muitas variações, poucas ideias preconcebidas. Seis ganchos são propostos pela equipe ou gerados por IA. O bandit elimina rapidamente os mais fracos. Um teste de distribuição fixa teria um custo elevado para cada um deles.
• Otimização contínua : um bloco que é deixado em execução indefinidamente, às vezes adicionando uma variação.

Condição comum: o indicador otimizado deve ser medido rapidamente (clique, adicionar ao carrinho, envio de formulário) e refletir o valor com precisão. Em um site de comércio eletrônico, nossa página sobre o CRO para comércio eletrônico detalha as páginas onde essas condições são atendidas.

Quando realizar um teste A/B clássico

Mantenha um teste A/B com divisão fixa para qualquer decisão de longo prazo que seja custosa de reverter ou que precise ser justificada com dados de suporte, e para qualquer teste em que a conversão ocorra tardiamente.

• Redesign, precificação, funil de pagamento Algumas semanas de arrependimento pesam pouco em comparação com o risco de usar uma estratégia ineficaz por anos.
• Necessidade de uma figura de impacto Previsão de receitas, arbitragem orçamentária, relatórios para a gerência. Somente uma alocação fixa proporciona uma variação imparcial com um intervalo de confiança confiável.
• Conversões diferidas Em campanhas B2B ou de geração de leads, o envio de formulários acontece rapidamente, mas o valor real (lead qualificado, agendamento de reunião, assinatura de contrato) chega dias depois. Um golpista que otimiza o processo de envio pode favorecer a variante que atrai os leads menos qualificados. Antes do lançamento, defina o objetivo e o acompanhamento. que realmente refletem esse valor.
• Vários indicadores a serem monitorados Um bandit otimiza uma única recompensa e avalia mal o resto, incluindo a cesta média.
• Efeitos diferentes dependendo dos segmentos Uma variante que se destaca no desktop, mas perde no celular. O bandit converge para a média e para de enviar o segmento afetado para a versão que lhe era mais adequada.
• Pouco tráfego Como demonstra a simulação com 4.000 visitantes, o dispositivo não acrescenta praticamente nada quando o sinal é muito fraco. Um teste simples com uma mudança significativa é mais adequado.

A mesma lógica se aplica ao teste de vários elementos simultaneamente: nossa comparação entre testes A/B e testes multivariados mostra que cada combinação adicionada requer tráfego adicional.

Combinando as duas: três estratégias híbridas

Os dois métodos complementam-se bem: primeiro, uma exploração rápida; depois, uma medição adequada, dependendo do que está em jogo.

1. Classifique por bandit e confirme em A/B.

Execute cinco ou seis variantes do jogo base por uma a duas semanas para eliminar as mais fracas. Em seguida, compare as duas melhores em um teste A/B predeterminado.

2. Teste brevemente e depois implemente ("teste e execute")

Esta é a recomendação de Feit e Berman: dimensionar o teste de acordo com o lucro esperado, em vez de um limiar de significância. O teste é mais curto, a distribuição permanece fixa e não viesada, e o arrependimento permanece próximo ao de um bandit.

3. Valide usando testes A/B e, em seguida, explore as vulnerabilidades usando testes de bandit.

Para uma campanha permanente (banners, recomendações), um teste A/B inicial confirma se a campanha traz benefícios. Em seguida, um sistema automatizado gerencia a rotação de conteúdo dentro dessa campanha. Mantenha um pequeno grupo de controle permanente, por exemplo, 5% do tráfego, para verificar se o benefício geral se mantém ao longo do tempo.

Independentemente da estratégia, a entrega rápida das variantes nota: um piscar de olhos na página original invalida ambos os métodos da mesma forma. E para ler a diferença real entre as variantes, com seus intervalos, o painel de análise BlastOptimize exibe os resultados sem jargões.

Checklist: Como escolher o método certo em 7 perguntas

Responda a estas sete perguntas antes de cada teste: pelo menos quatro respostas "bandit" entre as seis primeiras indicam alocação automática; caso contrário, permaneça com a alocação fixa. A sétima pergunta verifica se o teste tem chance de sucesso.

1. Duração da decisão menos de um mês (bandit) ou vários meses ou mais (A/B)?
2. Necessidade de uma figura de impacto apresentar ou reutilizar: não (bandit), sim (A/B)?
3. Tempo de conversão : mensurável durante a sessão (bandit) ou vários dias depois (A/B)?
4. Número de variantes : quatro ou mais sem um favorito claro (bandit), dois ou três (A/B)?
5. Indicadores secundários aspectos a monitorar (tamanho médio do carrinho, taxa de reembolso, qualidade dos leads): nenhum (comprador de ações fraudulento), pelo menos um (teste A/B)?
6. Segmentos que podem reagir de forma diferente: não (bandit), sim (bandit A/B ou bandit contextual com um grupo de controle)?
7. Tráfego Espera-se pelo menos algumas centenas de conversões por variante ao longo do tempo (ambas as possibilidades são válidas) ou menos (nenhuma delas será decisiva: testar uma mudança mais acentuada)?

Menos de dez testes por ano? Evite pagar por uma opção raramente usada: compare com a preços BlastOptimize.

Principais conclusões

Os testes de bandit e os testes A/B respondem a duas perguntas diferentes.

• Os testes A/B minimizam o erro de medição; o método do bandit multiarmado minimiza o arrependimento, ou seja, as conversões perdidas durante o teste.
• A amostragem de Thompson é o algoritmo de referência: cada variante recebe uma parcela de tráfego proporcional à sua probabilidade de ser a melhor.
• Em nossa simulação, o bandit recupera cerca de 75% do arrependimento de uma aposta 50/50, mas a detecção do vencedor cai de 92% para 66% e a de falsos vencedores de 4,65% para 12,75%, sem nenhuma diferença real.
• Bandit para campanhas curtas, conteúdo com rotação rápida e inúmeras variações; Testes A/B para decisões duradouras, conversões a longo prazo e testes de preço.
• Para volumes de tráfego baixos, nenhum dos dois métodos faz milagres.

Perguntas frequentes

Um teste de bandit é mais rápido que um teste A/B?

É mais rápido explorar os dados, mas não tirar conclusões. Como a variante perdedora recebe poucos visitantes, muitas vezes é necessário mais tráfego para demonstrar a diferença. Para uma conclusão estatística, um teste A/B com distribuição fixa continua sendo o caminho mais curto.

É possível calcular a significância em um teste de bandit?

Não com fórmulas tradicionais, que pressupõem uma distribuição predeterminada. Em nossa simulação, aplicá-las a um bandit produz 12,75% de falsos vencedores em vez de 5%. Em vez disso, use a probabilidade de ser a melhor variante fornecida pelo algoritmo ou confirme o resultado com um breve teste A/B.

Qual o volume de tráfico necessário para contratar um bandit?

O algoritmo não precisa de menos tráfego do que um teste A/B para aprender. Ele precisa de conversões em cada variante para começar, pelo menos uma, de acordo com a documentação.AB Tasty, Na prática, algumas dezenas de pessoas precisam passar pelo ruído dos primeiros lotes. Com vários milhares de visitantes no total, ambos os métodos costumam falhar.

Amostragem de Thompson ou epsilon-greedy: qual escolher?

A amostragem de Thompson é o método preferido na maioria dos casos: ela adapta a busca à incerteza e não desperdiça tráfego em uma variante já batida. A amostragem epsilon-greedy só se justifica se você deseja uma parcela fixa e facilmente explicável da busca.

Será que um bandit funciona para geração de leads B2B?

Para elementos táticos (título da página de destino, visual do anúncio, rótulo do botão), sim, se a métrica otimizada for o envio do formulário. Para decisões estratégicas, não: a qualidade do lead é medida tarde demais para orientar o algoritmo, o que pode favorecer formulários que atraem contatos não qualificados.

O que é um bandit contextual?

É um navegador que escolhe a variante com base no perfil do visitante: dispositivo, fonte de tráfego, visualizações de página. Ele serve para personalizar a experiência em vez de designar um único vencedor, exige muito mais tráfego e precisa manter um grupo de controle para medir seu impacto.