Falsos positivos en las pruebas A/B: las causas que no vemos

Actualizado el 25 de septiembre de 2026. — Comprenda los falsos positivos en las pruebas A/B antes de que distorsionen sus decisiones.

Resumen

• Un falso positivo, más allá de la definición puramente estadística.
• Desajuste de la proporción de muestras: el falso positivo que no se atreve a pronunciar su nombre.
• Contaminación por bots: un problema subestimado
• Efectos del calendario: día de la semana, estacionalidad, promociones
• Un recordatorio sobre mirar disimuladamente, en resumen.
• Cómo detectar falsos positivos en pruebas A/B a posteriori.
• Lista de verificación para evitar falsos positivos en pruebas A/B antes de generalizar.
• Preguntas frecuentes
• Conclusiones clave

Los falsos positivos en las pruebas A/B no siempre provienen de donde se esperan: un desequilibrio del 1% en la distribución del tráfico entre las dos versiones probadas puede ser suficiente para causar una variación del 2% en las métricas, según Las cifras publicadas por el equipo de ingeniería de DoorDashNo se trata de una discrepancia del 1 % en el resultado final, sino de una variación del 2 % generada simplemente porque los dos grupos ya no son realmente comparables. Sin embargo, la mayoría de los equipos nunca comprueban este punto antes de analizar su tasa de conversión.

Esta guía va más allá de la falso positivo clásico — lo que se deriva de un umbral de confianza mal interpretado o de la revisión repetida de los resultados. En concreto, explora tres causas técnicas de falsos positivos en las pruebas A/B. Estas causas invalidan una prueba incluso antes de que entren en juego las estadísticas: desequilibrio de la muestra, contaminación por bots y efectos de sincronización.

Un falso positivo, más allá de la definición puramente estadística.

Un falso positivo se produce cuando una variante se declara ganadora sin serlo realmente. La causa más frecuente es estadística: un nivel de confianza alcanzado por casualidad, un tamaño de muestra demasiado pequeño o una prueba interrumpida prematuramente. Pero esto es solo una parte del problema.

Otro conjunto de causas, más técnicas y difíciles de detectar, produce el mismo síntoma: un resultado que parece claro, pero que se basa en datos ya defectuosos antes del cálculo estadístico. Incluso una prueba perfectamente diseñada y realizada durante el tiempo recomendado puede producir un falso positivo. La causa: un tráfico que nunca ha sido comparable entre los dos grupos.

Desajuste de la proporción de muestras: el falso positivo que no se atreve a pronunciar su nombre.

He aquí el concepto más ausente en las guías en francés sobre el tema, a pesar de que se encuentra entre las comprobaciones rutinarias de las mayores plataformas de experimentación: la discrepancia en la proporción de muestras, o SRM.

El principio es sencillo de entender. Una prueba A/B configurada para dividir el tráfico equitativamente (50/50) debería, con un tamaño de muestra suficiente, producir una distribución cercana a este equilibrio. Cuando la distribución observada se desvía significativamente de la esperada —por ejemplo, 55/45 en lugar de 50/50—, esto indica que un problema técnico está afectando a uno de los dos grupos, independientemente de los resultados de conversión.

DoorDash documenta varias causas comunes de SRM en su propio sistema: empleados incluidos por defecto en un grupo mediante acceso anticipado a una función, correcciones de errores aplicadas durante las pruebas que no restablecen el historial de los usuarios ya expuestos, o simplemente un filtrado de datos mal configurado. En cada uno de estos casos, el resultado de la prueba, incluso si es estadísticamente significativo, deja de medir lo que se supone que debe medir.

Cómo detectar y corregir una discrepancia en la relación de muestras.

La detección se suele realizar con una prueba de chi-cuadrado aplicada a la distribución observada entre los gruposEsta es una verificación que DoorDash realiza sistemáticamente incluso antes de analizar las métricas de conversión. La empresa informa haber reducido sus incidentes de SRM en un 70 % en seis meses después de automatizar esta verificación, lo que demuestra que el problema, una vez monitoreado activamente, se corrige en gran medida antes de que afecte las decisiones sobre el producto.

En términos prácticos: antes de celebrar un resultado ganador, verifique que el número de visitantes en cada grupo coincida con la distribución inicial. Una discrepancia aparentemente pequeña —unos pocos puntos porcentuales— puede ser suficiente para invalidar todo el análisis.

Esta verificación no se limita a plataformas que gestionan decenas de miles de millones de eventos al día, como DoorDash. El principio se aplica igualmente a un sitio de comercio electrónico más pequeño: la única diferencia radica en el volumen de tráfico necesario para que la prueba de chi-cuadrado detecte la anomalía de forma fiable. Con un volumen reducido, un desequilibrio puede pasar desapercibido desde el punto de vista estadístico, aunque distorsione el resultado. Por ello, es fundamental comprobar visualmente la distribución antes de confiar únicamente en cálculos automatizados.

Contaminación por bots: un problema subestimado

Una segunda razón técnica, a menudo pasada por alto, es que una parte significativa del tráfico analizado a veces no es generado por humanos. Análisis publicado por PeakhourUn especialista en seguridad web cita el caso de un cliente que descubrió que el 40% de su tráfico de prueba provenía de bots, una cifra que resulta desconcertante si se tiene en cuenta que este tráfico se contabiliza exactamente igual que el tráfico humano en la mayoría de las herramientas de pruebas A/B.

El problema se ve agravado por la democratización de los proxies residenciales, que permiten que el tráfico automatizado suplante la identidad de visitantes individuales repartidos por millones de direcciones IP diferentes, lo que hace que los métodos de detección tradicionales (bloqueo de IP, limitación de ancho de banda) sean en gran medida ineficaces.

Un bot obviamente no se comporta como un visitante humano: no convierte de la misma manera, no permanece en la página el mismo tiempo e incluso puede distribuirse de forma asimétrica entre tus dos versiones si su comportamiento de navegación difiere (por ejemplo, un bot que sigue sistemáticamente el primer enlace de una página). El resultado: una tasa de conversión medida que ya no refleja el comportamiento real de tu audiencia, sin que se activen alertas si no filtras específicamente este tráfico.

Este riesgo afecta particularmente a los sitios de comercio electrónico con alto tráfico publicitario, donde el volumen de clics también atrae tráfico automatizado para la comparación de precios o la recopilación de información de la competencia. Para este tipo de perfil, filtrar el tráfico no humano antes del análisis ya no es una opción secundaria, sino un paso tan esencial como el cálculo de la significancia en sí mismo, un punto que desarrollamos en nuestra guía dedicada a...Pruebas A/B en comercio electrónico.

Efectos del calendario: día de la semana, estacionalidad, promociones

Una tercera causa, más conocida pero aún subestimada en la práctica, es que el comportamiento de compra varía significativamente según el día de la semana, la época del mes y las promociones vigentes. Una prueba iniciada un lunes y finalizada el miércoles porque "ya parece significativa" en realidad refleja un segmento de comportamiento muy específico, no una tendencia representativa.

Este riesgo es aún más real si se tiene en cuenta que el comportamiento de compra en Francia presenta una marcada estacionalidad —periodos de rebajas, Black Friday, vacaciones— durante los cuales la tasa de conversión habitual puede desviarse significativamente de la normal, en cualquier sentido. Concluir una prueba durante uno de estos periodos, sin mencionarlo explícitamente en el análisis, equivale a generalizar un resultado que no se repetirá el resto del año.

La regla práctica más sencilla sigue siendo realizar siempre una prueba durante múltiplos completos de siete días, nunca durante un número arbitrario de días; esto garantiza que cada día de la semana esté representado un número igual de veces en la muestra final, independientemente de la duración total de la prueba.

Por ejemplo, una prueba de 10 días incluye más lunes y martes que sábados y domingos; un desequilibrio que puede sesgar los resultados hacia las compras entre semana, que difieren de las de fin de semana en la mayoría de los sitios web más populares. Ampliar la prueba a 14 o 21 días, en lugar de optar por un número redondo que no respete esta limitación, corrige este sesgo sin añadir complejidad.

Un recordatorio sobre mirar disimuladamente, en resumen.

Una cuarta causa, esta vez estadística, merece una breve mención sin extenderse más aquí: el "observación", que consiste en mirar los resultados de una prueba a medida que avanza y decidir detenerse tan pronto como aparezca una señal favorable. Detallamos este mecanismo, con las cifras precisas publicadas sobre el tema, en nuestro artículo dedicado a la significancia estadística — Lectura adicional esencial para cubrir todas las causas de los falsos positivos, tanto técnicas como estadísticas.

Cómo detectar falsos positivos en pruebas A/B a posteriori.

Aún es posible verificar retroactivamente un resultado que ya se ha generalizado. Tres señales de alerta deberían generar preocupación:

• La ganancia anunciada no se refleja en las métricas generales de la empresa. Unas semanas después de la generalización, cuando debería haber sido visible a esta escala.
• Una prueba A/A (La comparación de dos versiones estrictamente idénticas) realizada en el mismo segmento de tráfico revela una diferencia significativa donde estadísticamente no debería haber ninguna, una señal de que la propia infraestructura de prueba está produciendo ruido.
• La distribución del tráfico entre los dos grupos, verificado a posteriori, no se corresponde con lo que estaba configurado al inicio de la prueba.

Este último punto es precisamente lo que una comprobación automatizada de discrepancias en la relación de muestras puede detectar incluso antes de tener que llevar a cabo esta investigación posteriormente; uno de los argumentos más concretos a favor de una herramienta que supervise este tipo de anomalías de forma continua en lugar de bajo demanda.

Y no se trata solo de una cuestión de conveniencia: una investigación realizada después de que se haya implementado un cambio siempre es más costosa que una realizada con antelación. El tiempo invertido en comprender por qué una ganancia proyectada nunca se materializa en las cifras generales de la empresa es tiempo que podría haberse utilizado para probar la siguiente hipótesis pendiente.

Lista de verificación para evitar falsos positivos en pruebas A/B antes de generalizar.

Antes de implementar una variante ganadora al 100% del tráfico, cuatro comprobaciones rápidas limitan el riesgo de falsos positivos generalizados:

• ¿La distribución observada entre los grupos se corresponde con la configuración esperada (sin desajuste en la proporción de muestras)?
• ¿La prueba abarcó un período completo de siete días, sin superponerse con un período promocional atípico?
• ¿Has filtrado el tráfico para excluir bots y tráfico no humano identificable?
• ¿La prueba alcanzó la duración prevista, sin que usted la detuviera prematuramente debido a una señal favorable observada durante la misma?

Estas comprobaciones tardan unos minutos y evitan semanas de decisiones basadas en un resultado que nunca se replicará en producción. Una prueba mal distribuida también puede introducir este tipo de sesgo incluso antes de la fase de análisis; consulte nuestra página sobre el tema. Difusión ultrarrápida detalla cómo evitar efectos secundarios relacionados con una mala implementación técnica de la prueba. El mejor momento para integrar esta lista de verificación sigue siendo la fase de configuración misma, incluso antes del lanzamiento; esto es lo que detallamos en nuestra guía sobre la objetivos y seguimiento de una prueba A/B, para evitar tener que diagnosticar un problema a posteriori en lugar de prevenirlo.

Preguntas frecuentes

¿Qué es una discrepancia en la relación de muestras (SRM)?

Se trata de un desequilibrio inesperado en la distribución del tráfico entre los grupos de prueba; por ejemplo, una división medida de 55/45 cuando se esperaba 50/50. Un SRM casi siempre indica un problema técnico (error de redirección, bot, filtrado incorrecto) que invalida el resultado de la prueba, independientemente de su aparente significancia estadística.

Cómo detectar una discrepancia en la proporción de muestras

Una prueba de chi-cuadrado aplicada a la distribución observada entre grupos puede detectar un desequilibrio anormal. Algunas plataformas experimentales ejecutan esta prueba automáticamente para cada prueba y proporcionan una alerta incluso antes de visualizar los resultados de la conversión.

¿Pueden los bots distorsionar una prueba A/B?

Sí, y a menudo subestimamos la magnitud del problema: algunos sitios han descubierto que hasta el 40% de su tráfico de prueba provenía de bots, sobre todo a través de proxies residenciales que son difíciles de distinguir del tráfico humano clásico.

¿Una prueba iniciada un lunes ofrece un resultado fiable para el viernes?

No. El comportamiento de compra suele variar entre los días laborables y los fines de semana. Una prueba que no abarque al menos un ciclo completo de siete días corre el riesgo de reflejar un efecto del calendario en lugar del efecto real de la variante analizada.

¿Es la única causa de falsos positivos el consultar los resultados con demasiada frecuencia?

No. Si bien es una causa estadística bien documentada, los falsos positivos también pueden deberse a causas técnicas independientes del método estadístico: desequilibrio de la muestra, contaminación por bots o efectos de sincronización no controlados.

Conclusiones clave

Detectar falsos positivos en las pruebas A/B no se trata solo de significancia estadística; eso es solo la mitad del trabajo. La otra mitad ocurre incluso antes de calcular el nivel de confianza: una distribución equilibrada del tráfico, tráfico libre de contaminación por bots y una duración de la prueba que abarque un ciclo completo en lugar de una instantánea sesgada por el calendario.

Vale la pena recordar la estadística de DoorDash: un desequilibrio del 1 % puede generar una variación del 2 % en tus métricas. A esta escala, una prueba que "parece" exitosa bien podría estar midiendo solo un artefacto técnico, y no una ganancia real en conversiones.

Para limitar este riesgo sin tener que verificar manualmente cada prueba, nuestro editor visual incorpora un control de distribución en cada lanzamiento de prueba y el piloto automático CRO puede marcar automáticamente una anomalía antes de que se convierta en una decisión de producto. Si bien los conceptos aquí discutidos aún pueden no estar claros, nuestro Glosario de CRO Los explica en un lenguaje sencillo, y nuestra oferta es accesible desde nuestra fórmulas de nivel básico aplicar este rigor desde la primera prueba. Si actualmente está evaluando otra plataforma, nuestra comparación con AB Tasty También detalla cómo cada herramienta maneja este tipo de control de calidad, un criterio tan importante como el precio que se muestra en la página. recepción de cada solución.