Algoritmos Bandit frente a pruebas A/B clásicas: ¿cuándo usar cada uno?

Actualizado el 15 de octubre de 2026.

12,75 %. Esa es la tasa de falsos positivos que obtuvimos al aplicar una prueba estadística estándar al final de las pruebas realizadas con un algoritmo de bandit, en 2000 simulaciones donde las dos versiones eran estrictamente idénticas. Con una división fija de 50/50, esta tasa se mantiene en 4,65 %, en consonancia con el umbral esperado del 5 %. El algoritmo de bandit no es una mala herramienta. Simplemente aborda una cuestión distinta a la de las pruebas A/B, e interpretarlo como una prueba A/B conduce a errores.

Esta guía compara ambos enfoques desde un punto de vista estadístico (exploración, muestreo de Thompson, arrepentimiento, potencia) y, posteriormente, por caso de uso, con figuras de simulación que lo respaldan.

Pruebas A/B o de bandits multi-brazos: la respuesta corta

Una prueba A/B tradicional distribuye el tráfico de forma fija para medir con precisión la diferencia entre dos versiones; una prueba de bandit multi-brazo redirige el tráfico a la versión que parece estar ganando para minimizar la pérdida de conversiones durante la prueba. Elija las pruebas A/B cuando necesite tomar una decisión a largo plazo y cuantificar su impacto, y la prueba de bandit multi-brazo cuando el plazo sea corto y solo importe el resultado acumulativo.

Los dos métodos optimizan dos cantidades diferentes:

• Las pruebas A/B minimizan el error de estimación. Te indica si B supera a A, por cuánto y con qué intervalo de confianza. Esta certeza se paga enviando la mitad del tráfico a la versión inferior hasta el final.
• El bandit minimiza su arrepentimiento., Es decir, las conversiones perdidas en comparación con un escenario en el que se conociera la versión ganadora desde el primer día. Esta pérdida de precisión tiene un precio: la versión perdedora recibe muy pocos visitantes para poder medirse correctamente.

Ninguno de los dos métodos resulta ganador en ambos aspectos.

Exploración versus explotación: el dilema del bandido manco

El nombre proviene de las máquinas tragaperras, los "bandidos de un solo brazo": ante varias máquinas cuyos premios desconoces, debes probar varias (explorar) y jugar tan a menudo como sea posible en la mejor (explotar).

En la optimización de la tasa de conversión (CRO), cada variante es un "brazo", cada visitante una parte y la conversión la ganancia. Una prueba A/B clásica implica una exploración del 100 % durante la fase de prueba y una explotación del 100 % una vez implementada la variante ganadora. Un algoritmo de optimización de la tasa de conversión (BAT) combina continuamente ambas variantes.

El problema es antiguo: William R. Thompson publicó el método que lleva su nombre ya en 1933, para ensayos médicos.

Si los términos "arm", "regret" o "allowance" son nuevos para usted, glosario de pruebas A/B y CRO define cada uno en una línea.

Epsilon-greedy, UCB, muestreo de Thompson: tres formas de arbitraje

Las tres familias de algoritmos de bandits difieren en la forma en que miden la exploración: por azar (epsilon-greedy), por optimismo calculado (UCB) o por muestreo probabilístico (muestreo de Thompson), y es este último el que predomina hoy en día en las herramientas de prueba.

Épsilon codicioso: simple, pero derrochador.

El algoritmo distribuye aleatoriamente una porción fija del tráfico, por ejemplo el 10%, entre todas las variantes, y el resto a la mejor en cada momento. Así de simple, continúa priorizando la variante claramente inferior hasta el final. Asignaciones como "80% según el rendimiento, 20% aleatorio" se derivan de esta lógica.

UCB: Optimismo ante la incertidumbre

El límite superior de confianza calcula un límite superior para el rendimiento potencial de cada variante y selecciona el más alto. Una variante poco probada tiene un límite amplio, por lo que se someterá a pruebas. Una variante bien probada pero mediocre ya no se someterá a pruebas. Es determinista, por lo que resulta menos adecuada para actualizaciones por lotes.

Muestreo de Thompson: apuestas basadas en la probabilidad de ser el mejor.

Para cada variante, el algoritmo mantiene una distribución de probabilidad de su tasa de conversión. Para cada visitante, selecciona un valor de cada distribución y muestra la variante con el valor más alto. Como resultado, una variante con un 70 % de probabilidad de ser la mejor recibe aproximadamente el 70 % del tráfico. El tutorial de referencia de Russo et al. sobre el muestreo de Thompson explica por qué esta regla se aproxima al mínimo arrepentimiento teórico sin ningún ajuste especial.

Este es el método utilizado por la mayoría de las plataformas. La documentación de la asignación dinámica de AB Tasty indica que se basa en Thompson, que solo afecta a los visitantes nuevos (un visitante que ya ha estado expuesto conserva su variante) y que espera al menos una conversión por variante en el indicador elegido antes de comenzar. El comparativo entre BlastOptimize y AB Tasty repasa las diferencias de configuración entre las dos herramientas.

La desventaja: el coste de las pruebas A/B en las conversiones.

El arrepentimiento es la cantidad de conversiones perdidas durante una prueba en comparación con el escenario ideal donde toda la audiencia hubiera visto la mejor versión desde el principio; un 50/50 tiene un arrepentimiento que crece en proporción al tráfico, un bandit tiene un arrepentimiento que disminuye a lo largo de la prueba.

Tomemos el caso ya detallado en nuestro guía del piloto automático BlastOptimize Con 40 000 visitantes, A tiene una tasa de conversión del 3%, B del 3,6%. En una división 50/50, A recibe 20 000 visitantes y B 20 000, lo que resulta en 600 + 720 = 1320 conversiones. Si todos hubieran visto B, la tasa de conversión habría sido de 1440. El arrepentimiento asociado a la prueba A/B es de 120 conversiones, o el 8,3% de las conversiones potenciales.

La obra de Elea Feit (Drexel) y Ron Berman (Wharton), titulado "Prueba y rueda", Esto queda claramente demostrado. Para un sitio con 100 000 visitantes, la prueba que maximiza el beneficio total requiere solo 2284 visitantes por grupo, en comparación con los 18 468 necesarios para una prueba de hipótesis clásica diseñada para detectar un aumento del 2 %. La prueba amplia y "limpia" cuesta 476 conversiones más. Los autores también muestran que el arrepentimiento asociado a una prueba de hipótesis aumenta con el tamaño de la audiencia, mientras que el arrepentimiento asociado al muestreo de Thompson aumenta únicamente con su raíz cuadrada.

Recuerda esta idea: en una campaña de dos semanas, casi todo el tráfico se dedica a la prueba y el arrepentimiento es considerable. En cambio, para una página de inicio que permanecerá activa durante dos años, la prueba representa solo una pequeña parte de ese tráfico.

Nuestra simulación: bandit vs. 50/50 basada en 2000 pruebas

Repetimos cada escenario 2000 veces, comparando una distribución fija con un muestreo de Thompson actualizado en lotes de 500 visitantes: el algoritmo recupera tres cuartas partes del arrepentimiento cuando la brecha es real, pero detecta al ganador con menos frecuencia y casi triplica los falsos positivos cuando no hay brecha.

Método: Beta(1,1) a priori, actualización por lotes, prueba z bilateral del 5% calculada al final, como lo haría un equipo al leer sus resultados.

Cuatro lecciones aprendidas:

• La ventaja está ahí. Thompson pierde solo 29 conversiones frente a 120, lo que coincide con el cálculo de la guía del piloto automático (aproximadamente 1408 conversiones).
• La situación está empeorando. La variante perdedora recibe un promedio de solo 4370 visitantes. Como resultado, la prueba se vuelve significativa solo en el 66 % de los casos, en comparación con el 92 % en el escenario 50/50.
• Sin ninguna desviación real, el bandit crea certezas. Esto perpetúa la aleatoriedad de los primeros lotes, desequilibra la distribución y, como consecuencia, una prueba clásica concluye erróneamente en casi uno de cada ocho casos.
• En el tráfico de poca monta, el bandit no ahorra nada. Con 4.000 visitantes, ambos métodos identificaron la variante incorrecta en el 15 al 17% de los casos, y la diferencia en el arrepentimiento se limitó a 4 conversiones.

El precio del bandit: poder, sesgo y falsos positivos

Un método poco ortodoxo sacrifica tres cosas que las pruebas A/B protegen: la potencia estadística, la ausencia de sesgo en la diferencia medida y la validez de las pruebas de significancia clásicas.

Menos potencia

La potencia, es decir, la probabilidad de detectar una discrepancia real, depende principalmente del grupo más pequeño. Un bandit priva deliberadamente a este grupo de información: esto beneficia las conversiones, pero perjudica las mediciones.

Una brecha mal estimada

Un activo con mal desempeño inicial rápidamente pierde popularidad: su valoración se mantiene fija debido a su mal comienzo, mientras que el favorito se recupera. Por lo tanto, el diferencial mostrado está sesgado y a menudo sobreestimado. Antes de presentar a la gerencia un posible ascenso de un activo problemático, planifique una prueba de confirmación.

Valores p que ya no significan lo mismo

Las fórmulas de significancia asumen una distribución predeterminada. Cuando el algoritmo decide la distribución en función de los resultados, la suposición se rompe. Esto está relacionado con el problema de "observación", que implica observar continuamente los resultados y detenerse tan pronto como parezcan favorables. Nuestro artículo sobre el falsos positivos en las pruebas A/B explica por qué esta práctica hace que la tasa de errores se dispare y la lista de errores comunes en las pruebas A/B el lugar entre los más comunes.

Puntos ciegos operativos

El equipo experimental de DoorDash, que construyó su propia plataforma de bandits basada en el muestreo de Thompson, enumera en su comentarios publicados en diciembre de 2025. existen varias limitaciones concretas: la dificultad de analizar indicadores que no forman parte de la recompensa optimizada, la experiencia inconsistente de un usuario que cambia de variante entre una visita y otra, y el desfase entre la acción y el resultado. Para limitar el sesgo cuando el comportamiento del cliente cambia con el tiempo, el equipo optó por modelar la diferencia con respecto a la versión de control en lugar de la tasa bruta de cada variante.

¿Cuándo elegir un algoritmo de bandit?

Elija un bandit cuando el costo de mostrar la versión incorrecta durante la prueba supere el valor de saber con precisión por qué gana el otro, lo que sucede especialmente en ventanas de tiempo cortas y decisiones sin futuro.

• Campañas por tiempo limitado Rebajas, promoción del Black Friday, lanzamiento de producto. En una promoción con 20.000 visitantes y cuatro titulares, nuestra simulación recupera 82 conversiones de 136, es decir, el 60% del coste de la prueba, y no habrá ningún despliegue posterior.
• Elementos altamente giratorios Los títulos, los asuntos de los correos electrónicos, los banners y los elementos visuales publicitarios se renuevan cada mes.
• Muchas variantes, pocas ideas preconcebidas. El equipo propone seis ganchos o estos son generados por IA. El algoritmo elimina rápidamente los más débiles. Una prueba de distribución fija tendría un alto costo por cada uno.
• Optimización continua : un bloque que se deja ejecutar indefinidamente, a veces añadiendo una variación.

Condición común: el indicador optimizado debe medirse rápidamente (clic, añadir al carrito, envío de formulario) y reflejar con precisión el valor. En un sitio de comercio electrónico, nuestra página en el Optimización de la tasa de conversión (CRO) para comercio electrónico detalla las páginas donde se cumplen estas condiciones.

¿Cuándo conservar una prueba A/B clásica?

Mantén una prueba A/B con división fija para cualquier decisión a largo plazo que sea costosa de revertir o que deba justificarse con datos de apoyo, y para cualquier prueba en la que la conversión se produzca tarde.

• Rediseño, precios, embudo de pagos Unas pocas semanas de arrepentimiento no pesan mucho comparado con el riesgo de utilizar un producto que ha resultado ser un falso ganador durante años.
• Necesidad de una cifra de impacto Previsión de ingresos, arbitraje presupuestario, informe a la dirección. Solo una asignación fija proporciona una varianza imparcial con un intervalo de confianza fiable.
• Conversiones diferidas En B2B o generación de leads, los envíos de formularios ocurren rápidamente, pero el valor real (lead calificado, cita, firma de contrato) llega días después. Un estafador que optimiza el proceso de envío podría favorecer la variante que atrae a los leads menos calificados. Antes del lanzamiento, defina el objetivo y el seguimiento. que reflejan verdaderamente este valor.
• Varios indicadores para monitorear : un bandit optimiza una sola recompensa y juzga mal el resto, incluyendo la cesta promedio.
• Efectos diferentes según los segmentos. : una variante que funciona mejor en ordenadores de escritorio y peor en dispositivos móviles. El algoritmo bandit converge hacia el promedio y deja de enviar el segmento afectado a la versión que le convenía.
• Tráfico bajo Como demuestra la simulación con 4000 visitantes, el algoritmo no aporta prácticamente nada cuando la señal es demasiado débil. Es mejor realizar una prueba sencilla con un cambio significativo.

La misma lógica se aplica a la prueba de varios elementos a la vez: nuestra comparación entre pruebas A/B y pruebas multivariadas esto demuestra que cada combinación añadida requiere tráfico adicional.

Combinando ambas: tres estrategias híbridas

Ambos métodos se complementan bien: primero una exploración rápida y después una medición precisa, según lo que esté en juego.

1. Ordenar por bandit, confirmar en A/B

Ejecuta cinco o seis variantes del algoritmo bandit durante una o dos semanas para eliminar la más débil. Luego, compara las dos mejores en una prueba A/B predeterminada.

2. Realiza una prueba breve y luego despliega ("prueba y despliegue").

Esta es la recomendación de Feit y Berman: dimensionar la prueba según la ganancia esperada en lugar de un umbral de significancia. La prueba es más corta, la distribución permanece fija e insesgada, y el arrepentimiento se mantiene similar al de un bandit.

3. Validar mediante pruebas A/B y, a continuación, explotar mediante pruebas de bandit.

Para una campaña permanente (banners, recomendaciones), una prueba A/B inicial confirma que la campaña ofrece un beneficio. Luego, un agente gestiona la rotación de contenido dentro de esta campaña. Mantenga un pequeño grupo de control permanente, por ejemplo, el 5 % del tráfico, para verificar que el beneficio general se mantenga a lo largo del tiempo.

Cualquiera que sea la estrategia, la entrega rápida de las variantes nota: un parpadeo de la página original invalida ambos métodos de la misma manera. Y para leer la diferencia real entre variantes, con sus intervalos, el panel de análisis BlastOptimize muestra los resultados sin jerga técnica.

Lista de verificación: Elegir el método correcto en 7 preguntas

Responda estas siete preguntas antes de cada prueba: al menos cuatro respuestas de tipo "bandit" de las seis primeras indican asignación automática; de lo contrario, se mantendrá la asignación fija. La séptima pregunta verifica que la prueba tenga posibilidades de éxito.

1. Duración de la decisión ¿Menos de un mes (bandit) o varios meses o más (A/B)?
2. Necesidad de una cifra de impacto ¿Presentar o reutilizar: no (bandit), sí (A/B)?
3. Tiempo de conversión ¿Medible durante la sesión (método bandit) o varios días después (A/B)?
4. Número de variantes : ¿cuatro o más sin un claro favorito (bandit), dos o tres (A/B)?
5. Indicadores secundarios aspectos a monitorizar (tamaño medio de la cesta, tasa de devoluciones, calidad de los clientes potenciales): ninguno (bandit), al menos uno (A/B)?
6. Segmentos ¿Es probable que reaccionen de manera diferente: no (bandit), sí (A/B o bandit contextual con un grupo de control)?
7. Tráfico ¿Se esperan al menos unos cientos de conversiones por variante a lo largo del tiempo (ambas posibilidades son posibles) o menos (ninguna de las dos determinará: probar un cambio más marcado)?

¿Menos de diez pruebas al año? Evite pagar por una opción que rara vez se usa: compare con la precios BlastOptimize.

Conclusiones clave

Las pruebas Bandit y las pruebas A/B responden a dos preguntas diferentes.

• Las pruebas A/B minimizan el error de medición; el problema del bandit multi-brazo minimiza el arrepentimiento, es decir, las conversiones perdidas durante la prueba.
• El muestreo de Thompson es el algoritmo de referencia: cada variante recibe una parte del tráfico proporcional a su probabilidad de ser la mejor.
• En nuestra simulación, el algoritmo del bandit recupera aproximadamente el 75% del arrepentimiento de una apuesta 50/50, pero la detección del ganador pasa del 92% al 66% y la de los falsos ganadores del 4,65% al ​​12,75% sin ninguna diferencia real.
• Bandit para campañas cortas, contenido de rotación rápida y numerosas variaciones; pruebas A/B para decisiones duraderas, conversiones diferidas y pruebas de precios.
• Para volúmenes de tráfico reducidos, ninguno de los dos métodos hace milagros.

Preguntas frecuentes

¿Es una prueba de bandit más rápida que una prueba A/B?

Es más rápido explotar los datos, pero no sacar conclusiones. Dado que la variante menos exitosa recibe pocas visitas, a menudo se necesita más tráfico para demostrar la diferencia. Para obtener una conclusión estadística, una prueba A/B con distribución fija sigue siendo la opción más rápida.

¿Podemos calcular la significancia en una prueba de bandit?

No con las fórmulas tradicionales, que asumen una distribución predeterminada. En nuestra simulación, aplicarlas a un problema de selección aleatoria produce un 12,75 % de falsos ganadores en lugar del 5 %. En su lugar, utilice la probabilidad de ser la mejor variante proporcionada por el algoritmo o confirme el resultado con una breve prueba A/B.

¿Cuánto tráfico se necesita para utilizar un bandit?

El algoritmo no necesita menos tráfico que una prueba A/B para aprender. Necesita conversiones en cada variante para empezar, al menos una según la documentación.AB Tasty, En la práctica, bastan unas pocas docenas para superar el ruido de los primeros lotes. Con varios miles de visitantes en total, ambos métodos suelen fallar.

Muestreo de Thompson o épsilon-greedy: ¿cuál elegir?

El muestreo de Thompson es el método preferido en la mayoría de los casos: adapta la búsqueda a la incertidumbre y no desperdicia tráfico en una variante ya probada. El muestreo épsilon-greedy solo se justifica si se desea una proporción fija y fácilmente explicable de la búsqueda.

¿Funciona un método de generación de leads B2B mediante el método Bandit?

Para elementos tácticos (título de la página de destino, imagen del anuncio, etiqueta del botón), sí, si la métrica optimizada es el envío del formulario. Para decisiones estratégicas, no: la calidad del cliente potencial se mide demasiado tarde para guiar el algoritmo, lo que conlleva el riesgo de favorecer formularios que atraen contactos no cualificados.

¿Qué es un bandit contextual?

Se trata de un algoritmo que selecciona la variante en función del perfil del visitante: dispositivo, fuente de tráfico y páginas vistas. Su objetivo es personalizar la experiencia en lugar de designar un único ganador, requiere mucho más tráfico y necesita un grupo de control para medir su impacto.