Falsos positivos em testes A/B: causas que não identificamos

Atualizado em 25 de setembro de 2026 — Compreenda os falsos positivos nos testes A/B antes que eles distorçam suas decisões.

Resumo

• Um falso positivo, que vai além da definição puramente estatística.
• Incompatibilidade na proporção da amostra: o falso positivo que não ousa dizer seu nome.
• Contaminação por bots: um problema subestimado
• Efeitos do calendário: dia da semana, sazonalidade, promoções
• Um lembrete sobre espiar, em resumo.
• Como detectar falsos positivos em testes A/B após a sua realização.
• Lista de verificação para evitar falsos positivos em testes A/B antes de generalizar.
• Perguntas frequentes
• Principais conclusões

Os falsos positivos em testes A/B nem sempre vêm de onde você espera: um desequilíbrio de 1% na distribuição do seu tráfego entre as duas versões testadas pode ser suficiente para causar uma variação de 2% nas suas métricas, de acordo com... Os números foram divulgados pela equipe de engenharia da DoorDash.Não se trata de uma discrepância de 1% no resultado final, mas sim de uma variação de 2% gerada simplesmente pelo fato de que os dois grupos não são mais verdadeiramente comparáveis. Mesmo assim, a maioria das equipes nunca verifica esse ponto antes de analisar sua taxa de conversão.

Este guia vai além do falso positivo clássico — aquilo que resulta de uma interpretação errônea do limiar de confiança ou da análise repetida dos resultados. Especificamente, ele explora três causas técnicas de falsos positivos em testes A/B. Essas causas invalidam um teste mesmo antes da análise estatística: desequilíbrio da amostra, contaminação por bots e efeitos de tempo.

Um falso positivo, que vai além da definição puramente estatística.

Um falso positivo ocorre quando uma variante é declarada vencedora quando, na verdade, não o é. A causa mais frequentemente citada é estatística — um nível de confiança atingido por acaso, um tamanho de amostra muito pequeno ou um teste interrompido prematuramente. Mas isso é apenas parte do problema.

Outro conjunto de causas, mais técnicas e difíceis de detectar, produz exatamente o mesmo sintoma: um resultado que parece claro, mas que se baseia em dados já falhos antes do cálculo estatístico. Mesmo um teste perfeitamente projetado e realizado pela duração recomendada ainda pode gerar um falso positivo. A causa: tráfego que nunca foi comparável entre os dois grupos.

Incompatibilidade na proporção da amostra: o falso positivo que não ousa dizer seu nome.

Eis o conceito mais ausente dos guias em francês sobre o assunto, embora esteja entre as verificações de rotina das maiores plataformas de experimentação: a Incompatibilidade da Proporção de Amostras, ou SRM.

O princípio é simples de entender. Um teste A/B configurado para dividir o tráfego igualmente (50/50) deve, com um tamanho de amostra suficiente, produzir uma distribuição próxima a esse equilíbrio. Quando a distribuição observada se desvia significativamente da distribuição esperada — por exemplo, 55/45 em vez de 50/50 — isso indica que um problema técnico está afetando um dos dois grupos, independentemente dos resultados de conversão.

A DoorDash documenta diversas causas comuns de SRM (Sistema de Gerenciamento de Recursos) em seu próprio sistema: funcionários incluídos por padrão em um grupo devido ao acesso antecipado a um recurso, correções de bugs aplicadas durante os testes que não "reiniciam" o histórico dos usuários já expostos ou simplesmente filtragem de dados mal configurada. Em cada um desses casos, o resultado do teste — mesmo que estatisticamente significativo — deixa de medir o que deveria medir.

Como detectar e corrigir uma discrepância na proporção da amostra

A detecção geralmente é feita com um teste qui-quadrado aplicado à distribuição observada entre os gruposEssa é uma verificação que a DoorDash realiza sistematicamente, mesmo antes de analisar as métricas de conversão. A empresa relata ter reduzido seus incidentes de SRM em 70% em seis meses após a automatização dessa verificação — prova de que o problema, uma vez monitorado ativamente, é amplamente corrigido antes que influencie as decisões sobre os produtos.

Em termos práticos: antes de comemorar um resultado positivo, verifique se o número de visitantes em cada grupo corresponde à distribuição inicial. Uma discrepância aparentemente pequena — de alguns pontos percentuais — pode ser suficiente para invalidar toda a análise.

E essa verificação não se aplica apenas a plataformas que processam dezenas de bilhões de eventos por dia, como o DoorDash. O princípio se aplica igualmente a um site de e-commerce menor: a única diferença é o volume de tráfego necessário para que o teste qui-quadrado detecte a anomalia de forma confiável. Com um volume pequeno, um desequilíbrio pode permanecer estatisticamente invisível, embora ainda distorça o resultado — mais um motivo para verificar visualmente a distribuição antes de confiar exclusivamente em cálculos automatizados.

Contaminação por bots: um problema subestimado

Uma segunda razão técnica, muitas vezes negligenciada, é que uma parte significativa do tráfego testado às vezes não é gerada por humanos. Análise publicada pela Peakhour, um especialista em segurança web, cita o caso de um cliente que descobriu que 40% do tráfego de teste vinha de bots — um número que causa vertigem quando se sabe que esse tráfego é contabilizado exatamente como tráfego humano na maioria das ferramentas de teste A/B.

O problema é agravado pela democratização dos proxies residenciais, que permitem que o tráfego automatizado se faça passar por visitantes individuais espalhados por milhões de endereços IP diferentes — tornando os métodos tradicionais de detecção (bloqueio de IP, limitação de largura de banda) em grande parte ineficazes.

Obviamente, um bot não se comporta como um visitante humano: ele não converte da mesma forma, não permanece na página pelo mesmo tempo e pode até ser distribuído assimetricamente entre as duas versões do seu site se o seu comportamento de navegação for diferente (um bot que clica sistematicamente no primeiro link da página, por exemplo). O resultado: uma taxa de conversão medida que não reflete mais o comportamento real do seu público, sem que nenhum alerta seja acionado se você não filtrar esse tráfego especificamente.

Esse risco afeta particularmente sites de e-commerce com alto tráfego publicitário, onde o volume de cliques também atrai mais tráfego automatizado para verificação de preços ou coleta de dados da concorrência. Para esse tipo de perfil, filtrar o tráfego não humano antes da análise deixa de ser uma opção secundária e se torna uma etapa tão essencial quanto o próprio cálculo da significância — um ponto que detalhamos em nosso guia dedicado a...Testes A/B em comércio eletrônico.

Efeitos do calendário: dia da semana, sazonalidade, promoções

Uma terceira causa, mais conhecida, mas ainda subestimada na prática, é que o comportamento de compra varia significativamente dependendo do dia da semana, da época do mês e das promoções vigentes. Um teste iniciado na segunda-feira e interrompido na quarta-feira porque "já parece significativo" na verdade captura um segmento de comportamento muito específico, e não uma tendência representativa.

Esse risco é ainda mais real, visto que o comportamento de compra na França apresenta forte sazonalidade — períodos de liquidação, Black Friday, feriados —, durante os quais a taxa de conversão usual pode divergir significativamente do normal, em qualquer direção. Concluir um teste durante um desses períodos, sem mencioná-lo explicitamente na análise, equivale a generalizar um resultado que não se repetirá no restante do ano.

A regra prática mais simples continua sendo sempre realizar um teste em múltiplos completos de sete dias, nunca em um número arbitrário de dias — isso garante que cada dia da semana seja representado o mesmo número de vezes na amostra final, independentemente da duração total do teste.

Um teste de 10 dias, por exemplo, contém mais segundas e terças-feiras do que sábados e domingos — um desequilíbrio que pode ser suficiente para distorcer os resultados em direção ao comportamento de compras durante a semana, que difere do comportamento de fim de semana na maioria dos sites convencionais. Estender o teste para 14 ou 21 dias, em vez de optar por um número redondo que não respeite essa restrição, corrige esse viés sem adicionar complexidade.

Um lembrete sobre espiar, em resumo.

Uma quarta causa, desta vez estatística, merece uma breve menção sem ser aqui detalhada: a "espiada", que consiste em observar os resultados de um teste à medida que este progride e decidir interrompê-lo assim que um sinal favorável aparece. Detalhamos este mecanismo, com os dados precisos publicados sobre o assunto, em nosso artigo dedicado a... significância estatística — leitura complementar essencial para abordar todas as causas de falsos positivos, tanto técnicas quanto estatísticas.

Como detectar falsos positivos em testes A/B após a sua realização.

Ainda é possível verificar retroativamente um resultado que já se tornou amplamente difundido. Três sinais de alerta devem gerar preocupação:

• O ganho anunciado não se reflete nas métricas gerais da empresa. algumas semanas após a generalização, quando já deveria ser visível nessa escala.
• Um teste A/A (Comparando duas versões estritamente idênticas) realizadas no mesmo segmento de tráfego, revela-se uma diferença significativa onde, estatisticamente, não deveria haver nenhuma — um sinal de que a própria infraestrutura de teste está produzindo ruído.
• A distribuição do tráfego entre os dois grupos, verificado a posteriori, não corresponde ao que foi configurado no início do teste.

Este último ponto é precisamente o que uma verificação automatizada de incompatibilidade da proporção de amostras pode detectar antes mesmo de ser necessário realizar essa investigação posteriormente — um dos argumentos mais concretos a favor de uma ferramenta que monitora esse tipo de anomalia continuamente, em vez de sob demanda.

E não se trata apenas de conveniência: uma investigação realizada após a implementação de uma mudança é sempre mais cara do que uma feita antes. O tempo gasto para entender por que um ganho projetado nunca se materializa nos números gerais da empresa é tempo que poderia ter sido usado para testar a próxima hipótese da lista de pendências.

Lista de verificação para evitar falsos positivos em testes A/B antes de generalizar.

Antes de implementar uma variante vencedora em 100% do tráfego, quatro verificações rápidas limitam o risco de falsos positivos generalizados:

• A distribuição observada entre os grupos corresponde à configuração esperada (sem discrepância na proporção das amostras)?
• O teste abrangeu um período de sete dias completo, sem sobrepor-se a um período promocional atípico?
• Você filtrou o tráfego para excluir bots e tráfego não humano identificável?
• O teste atingiu a duração planejada, sem que você o interrompesse prematuramente com base em um sinal favorável observado durante o processo?

Essas verificações levam alguns minutos e evitam semanas de decisões baseadas em um resultado que nunca será replicado em produção. Um teste mal distribuído também pode introduzir esse tipo de viés mesmo antes da fase de análise — veja nossa página sobre o assunto. Difusão ultrarrápida Detalha como evitar efeitos colaterais relacionados à má implementação técnica do teste. O melhor momento para integrar esta lista de verificação continua sendo a própria fase de configuração, mesmo antes do lançamento — é o que detalhamos em nosso guia sobre o assunto. metas e acompanhamento de um teste A/B, para evitar ter que diagnosticar um problema depois que ele já ocorreu, em vez de preveni-lo.

Perguntas frequentes

O que é uma discrepância na proporção de amostras (SRM)?

Trata-se de um desequilíbrio inesperado na distribuição do tráfego entre os grupos de teste — por exemplo, uma divisão medida de 55/45 quando o esperado era 50/50. Um SRM quase sempre sinaliza um problema técnico (bug de redirecionamento, bot, filtragem incorreta) que invalida o resultado do teste, independentemente de sua aparente significância estatística.

Como detectar uma discrepância na proporção da amostra

Um teste qui-quadrado aplicado à distribuição observada entre os grupos pode detectar um desequilíbrio anormal. Algumas plataformas experimentais executam esse teste automaticamente para cada teste e emitem um alerta mesmo antes da visualização dos resultados da conversão.

Os bots podem distorcer um teste A/B?

Sim, e muitas vezes subestimamos a dimensão do problema: alguns sites descobriram que até 40% do tráfego de teste vinha de bots, principalmente por meio de proxies residenciais que são difíceis de distinguir do tráfego humano tradicional.

Um teste iniciado na segunda-feira fornece um resultado confiável na sexta-feira?

Não. O comportamento de compra geralmente varia entre dias de semana e fins de semana. Um teste que não abranja pelo menos um ciclo completo de sete dias corre o risco de capturar um efeito de calendário em vez de um efeito real da variante testada.

Será que espiar (consultar os resultados com muita frequência) é a única causa de falsos positivos?

Não. É uma causa estatística bem documentada, mas os falsos positivos também podem ter origem em causas técnicas independentes do método estatístico: desequilíbrio da amostra, contaminação por bots ou efeitos de tempo não controlados.

Principais conclusões

Detectar falsos positivos em testes A/B não se resume apenas à significância estatística — isso é apenas metade do trabalho. A outra metade acontece antes mesmo de calcular o nível de confiança: distribuição equilibrada do tráfego, tráfego livre de contaminação por bots e uma duração de teste que abranja um ciclo completo, em vez de um instantâneo enviesado pelo calendário.

Vale lembrar a estatística da DoorDash: um desequilíbrio de 1% pode ser suficiente para gerar uma variação de 2% nas suas métricas. Nessa escala, um teste que "parece" bem-sucedido pode muito bem estar medindo apenas um artefato técnico — e não um ganho real de conversão.

Para limitar esse risco sem ter que verificar manualmente cada teste, nosso editor visual incorpora um controle de distribuição em cada lançamento de teste, e o Piloto automático CRO pode sinalizar automaticamente uma anomalia antes que ela se torne uma decisão de produto. Embora os conceitos discutidos aqui ainda possam não estar claros, nosso Glossário de CRO explica-os em linguagem simples — e a nossa oferta está acessível a partir do nosso fórmulas básicas Aplicar esse rigor desde o primeiro teste. Se você estiver avaliando outra plataforma, nossa comparação com AB Tasty O documento também detalha como cada ferramenta lida com esse tipo de controle de qualidade — um critério tão importante quanto o preço exibido na página. recepção de cada solução.