Esta es una de las preguntas más frecuentes entre los equipos que se inician en las pruebas A/B: ¿cuántos visitantes o cuántas conversiones se necesitan para poder confiar en los resultados de una prueba? La respuesta no es una cifra única: depende de la tasa de conversión inicial, la magnitud del cambio que se intenta detectar y el nivel de certeza requerido antes de llegar a una conclusión. Este artículo explica estos factores uno por uno, sin fórmulas matemáticas complejas, para que usted mismo pueda estimar el tamaño de muestra necesario para una prueba fiable.
Por qué el tamaño de la muestra es la pregunta más importante en una prueba
Una prueba A/B compara el comportamiento de dos grupos de visitantes expuestos a dos versiones diferentes de una página. Sin embargo, el comportamiento humano varía naturalmente de un visitante a otro, independientemente de la versión que vean: algunos días, a ciertas horas, algunos perfiles convierten mejor que otros por razones ajenas a la prueba que se está realizando. Con un tamaño de muestra pequeño, esta variación natural —el "ruido" estadístico— puede producir fácilmente una diferencia entre los dos grupos que se asemeja a un efecto real, cuando en realidad es solo una fluctuación aleatoria.
El tamaño de la muestra es el factor principal para distinguir una señal real del ruido. Cuanto mayor sea la muestra, más tienden a anularse las fluctuaciones aleatorias entre sí, y más probable es que una diferencia medida entre dos grupos refleje un efecto real del cambio que se está probando, en lugar de una coincidencia. Realizar una prueba sin haber estimado el tamaño de muestra necesario equivale a decidir de antemano si el resultado obtenido será fiable.
La tasa de conversión inicial
El primer factor a tener en cuenta es la tasa de conversión actual de la página o el recorrido del usuario que se está probando, según la métrica que se utilizará para evaluar la prueba. Este dato se puede obtener fácilmente a partir de la información disponible en tu herramienta de análisis: número de conversiones dividido por el número de visitantes, durante un período reciente y representativo (excluyendo, si es posible, períodos con promociones excepcionales o picos de tráfico atípicos).
Esta tasa inicial influye directamente en el tamaño de muestra necesario: para el mismo efecto, una tasa de conversión baja (p. ej., 1 %) requiere una muestra mayor que una tasa de conversión alta (p. ej., 20 %) para detectar la misma diferencia relativa. Esta es una de las razones por las que las pruebas con métricas poco frecuentes (una compra, una suscripción) generalmente requieren más tráfico y tiempo que las pruebas con métricas más frecuentes (un clic, un desplazamiento de página).
El MDE, o la magnitud del efecto que estamos tratando de detectar
El MDE (Efecto Mínimo Detectable) se refiere a la diferencia más pequeña entre el grupo de control y el grupo de tratamiento que la prueba puede detectar de forma fiable. Es una elección, no un valor medido: usted decide qué nivel de mejora merece la pena detectar.
Esta elección tiene un efecto drástico en el tamaño de muestra necesario. Detectar un efecto pequeño (por ejemplo, aumentar la tasa de conversión del 5 % al 5,2 %, una mejora relativa del 4 %) requiere mucho más tráfico que detectar un efecto grande (aumentar la misma tasa del 5 % al 6,5 %, una mejora relativa del 30 %). En la práctica, esto significa que un cambio menor —el color de un botón, una palabra en un título— requiere un tamaño de muestra considerablemente mayor que un rediseño completo de la página, con el mismo nivel de tráfico, simplemente porque se espera un efecto más modesto.
La consecuencia práctica es sencilla: en un sitio web con tráfico moderado, es mejor concentrar las primeras pruebas en cambios de los que se espera un efecto claro (reestructuración de una página, simplificación de la navegación) en lugar de en microajustes que tardarían meses en producir un resultado útil.
El nivel de confianza y potencia estadística
Otros dos parámetros más técnicos completan el cálculo. El nivel de confianza (generalmente fijado en el 95 %) indica la probabilidad de declarar erróneamente que una prueba es la ganadora cuando en realidad no existe diferencia entre ambas versiones; esto se conoce como falso positivo. La potencia estadística (generalmente fijada en el 80 %) indica la probabilidad de detectar un efecto real, si existe, en lugar de concluir erróneamente que no hay diferencia; esto se conoce como falso negativo.
Estos dos valores (95 % y 80 %) son convenciones ampliamente utilizadas en la industria de las pruebas A/B, no reglas absolutas. Aumentarlos (por ejemplo, buscando un 99 % de confianza) reduce el riesgo de una conclusión errónea, pero incrementa aún más el tamaño de muestra necesario; reducirlos acelera la obtención de un resultado, a costa de un mayor riesgo de llegar a una conclusión errónea. Para una prueba con consecuencias limitadas (un ajuste fácilmente reversible), pueden justificarse umbrales más flexibles; para una prueba cuyo resultado determinará una decisión costosa de implementar, son preferibles umbrales más estrictos.
Cómo estimar el tamaño de la muestra en la práctica
En la práctica, rara vez es necesario calcular manualmente la fórmula estadística subyacente. La mayoría de las plataformas de pruebas A/B, incluida BlastOptimize, incluyen una calculadora que simplemente solicita la tasa de conversión actual y el efecto mínimo que se desea detectar, y devuelve directamente el tamaño de muestra necesario por variante, así como una estimación de la duración de la prueba basada en el tráfico actual de la página.
Esta estimación debe realizarse antes de lanzar la prueba, nunca después. Sirve para decidir si la prueba es factible en un plazo razonable, teniendo en cuenta el tráfico disponible, y, de no ser así, para ajustar el alcance del cambio que se está probando (buscando un efecto más amplio y, por lo tanto, un MDE más alto), o el alcance de la prueba (agrupando varias páginas con poco tráfico en lugar de probar una página aislada), o para considerar otros métodos de investigación (pruebas cualitativas con usuarios, encuestas) cuando el tráfico simplemente no permite obtener una muestra suficiente en un plazo razonable.
El error de "mirar a escondidas": observar el resultado antes del final.
Una vez estimado el tamaño de la muestra, la disciplina más importante es esperar a que se alcance antes de sacar conclusiones, incluso si el panel de control muestra una discrepancia notable después de solo unos días. Este comportamiento, conocido como "observación indebida", es una de las causas más frecuentes de resultados falsos en las pruebas A/B: los indicadores de significancia estadística que muestran la mayoría de las herramientas en tiempo real se calculan continuamente, y una discrepancia puede parecer significativa en un momento dado y luego disminuir, o incluso revertirse, una vez que se alcanza el tamaño de muestra completo.
La regla práctica más sencilla para evitar este escollo es establecer, antes de iniciar la prueba, tanto un tamaño mínimo de muestra como una duración mínima (generalmente de una a dos semanas, para cubrir las variaciones entre los días laborables y los fines de semana), y considerar el resultado como definitivo solo cuando se cumplan ambas condiciones simultáneamente.
Qué hacer cuando el tráfico es demasiado bajo para una prueba estándar.
No todos los sitios web tienen el tráfico necesario para probar microoptimizaciones con un tamaño de muestra adecuado durante unos días. Cuando el tráfico es limitado, varios ajustes pueden ayudar a seguir mejorando:
- Pruebas de cambios con un alto impacto esperado en lugar de microajustes, para reducir el tamaño de muestra necesario.
- Agrupar las métricas Al seguir un objetivo más arriba en el embudo (por ejemplo, hacer clic para agregar al carrito en lugar de la compra final), cuando sigue siendo relevante para la hipótesis que se está probando, ya que los eventos más frecuentes requieren una muestra más pequeña.
- Prolongar la duración de la prueba más allá de las dos semanas habituales, aceptando una demora mayor antes de la decisión.
- Complementar las pruebas A/B con métodos cualitativos. (pruebas de usuario, grabaciones de sesiones, entrevistas con clientes) que no requieren un gran volumen de tráfico para generar información útil.
Un ejemplo concreto para visualizar el razonamiento.
Para concretar estos conceptos, veamos un ejemplo meramente ilustrativo. Imaginemos una página de destino con una tasa de conversión actual del 3% y un equipo que desea detectar un efecto relativo mínimo del 15% (es decir, un cambio del 3% a aproximadamente el 3,45%), utilizando los umbrales habituales de un 95% de confianza y un 80% de potencia estadística. En este caso, una calculadora de tamaño de muestra indicaría que se necesitan varios miles de visitantes por variación para que la prueba sea fiable. El orden de magnitud exacto depende de la fórmula utilizada, pero el principio sigue siendo el mismo: cuanto menor sea el efecto deseado en relación con la tasa inicial, más rápido aumentará el tamaño de muestra necesario.
Si la misma página recibe solo unos cientos de visitantes por semana, esta prueba tardaría varios meses en alcanzar el tamaño de muestra requerido, un plazo que rara vez se ajusta al ritmo de un equipo de marketing. Se presentan entonces dos opciones: revisar la hipótesis para buscar un efecto más amplio (un cambio más estructural en lugar de un ajuste menor) o aceptar un MDE más alto, lo que reduce la sensibilidad de la prueba, pero también su duración. Este tipo de compromiso, tomado conscientemente antes del lanzamiento, es mejor que una prueba lanzada sin una cuidadosa consideración y que se interrumpa prematuramente por impaciencia.
Preguntas frecuentes
¿Debe utilizarse la misma muestra para el control y la variante?
En la gran mayoría de los casos, sí: una distribución equitativa del tráfico entre las dos versiones es la configuración más eficiente para lograr significancia estadística lo más rápido posible, con un tráfico total igual.
¿Podemos probar más de dos variantes a la vez?
Sí, pero cada variante adicional diluye el tráfico disponible por sucursal y aumenta el tiempo necesario para obtener un tamaño de muestra suficiente para cada una. Una prueba A/B/C/D, con el mismo tráfico total, requiere mucho más tiempo que una prueba A/B tradicional para llegar a una conclusión fiable sobre cada variante.
¿Puede una prueba ser fiable con un sitio web pequeño?
Sí, siempre y cuando se ajusten las expectativas: priorizar los cambios con un alto potencial de impacto, aceptar duraciones de prueba más largas y no dudar en complementar las pruebas A/B con métodos que no dependan del volumen de tráfico, como las pruebas cualitativas con usuarios.
Conclusiones clave
El tamaño de la muestra no es un detalle técnico exclusivo de los estadísticos; es el parámetro que determina si una prueba A/B arrojará una conclusión fiable o un resultado engañoso. Depende de la tasa de conversión inicial, la magnitud del efecto que se intenta detectar y el nivel de confianza requerido: tres elementos que conviene estimar antes de lanzar la prueba, en lugar de descubrir, a posteriori, que invalidan la conclusión. La buena noticia es que, en la gran mayoría de los casos, una calculadora de tamaño de muestra integrada en la herramienta de pruebas es suficiente para que el equipo de marketing realice este cálculo.
BlastOptimize integra esta calculadora directamente en su panel de control, proporcionando una estimación de la duración necesaria de la prueba en función del tráfico real a la página analizada, para evitar realizar una prueba que seguramente no sea concluyente. Si no está seguro del tamaño de muestra necesario para su próxima prueba, este es un buen punto de partida para decidirlo incluso antes de crear su variante.
Los comentarios están cerrados.