Calculadora de significancia de test A/B

Comprueba si el resultado de tu prueba A/B es estadísticamente significativo.

Cómo se calcula

La herramienta realiza una prueba z de dos proporciones. Las tasas de conversión son pA = cA / nA y pB = cB / nB, donde n son las visitas y c las conversiones de cada variante. La tasa combinada es p = (cA + cB) / (nA + nB), el error estándar es EE = √(p(1 − p)(1/nA + 1/nB)) y z = (pB − pA) / EE. El incremento mostrado es (pB − pA) / pA como porcentaje. Si A no tiene conversiones (una base del 0%), el incremento relativo no está definido y se muestra como «—».

El veredicto es fijo: |z| ≥ 1,96, un nivel bilateral del 95%, se indica como estadísticamente significativo y cualquier valor menor como no significativo. No se muestra ningún valor p. Las conversiones no pueden superar las visitas y el número de visitas debe ser mayor que cero. La prueba supone que las visitas se repartieron al azar y que los tamaños de muestra se fijaron de antemano.

Ejemplo resuelto

Variante A: 5.000 visitas, 250 conversiones, así que pA = 5,00%. Variante B: 5.000 visitas, 300 conversiones, así que pB = 6,00%. La tasa combinada es 550 / 10.000 = 5,5%, lo que da un EE ≈ 0,00456. La diferencia de 0,01 dividida entre ese valor da z ≈ 2,19. El incremento es 1 / 5 = 20,00%. Como 2,19 es mayor que 1,96, el veredicto es Estadísticamente significativo. Con solo 1.000 visitas por variante y las mismas tasas, z baja a 0,98 y el resultado no es significativo.

Prueba este ejemplo →

Errores frecuentes

  • Introducir tasas de conversión en el campo de conversiones. Necesita recuentos (250), no porcentajes (5).
  • Detener la prueba en cuanto el resultado se vuelve significativo. Mirar repetidamente y parar antes de tiempo aumenta los falsos positivos; decide el tamaño de la muestra de antemano.
  • Leer el incremento de 20,00% como puntos porcentuales. Es relativo: pasar de 5% a 6% es una ganancia de 1 punto, que supone una mejora relativa del 20%.
  • Tratar un resultado significativo como prueba de que el cambio es grande o valioso. Solo dice que es improbable que la diferencia sea ruido con este umbral.
  • Pegar totales de repartos de tráfico desiguales o no aleatorios, o contar dos veces a los visitantes que vuelven, lo que rompe la independencia que supone la prueba.

Fuentes

Acerca de esta calculadora

Esta calculadora ejecuta una prueba z de dos proporciones para comprobar si la diferencia entre dos tasas de conversión es estadísticamente significativa, calculando un error estándar combinado a partir de ambos tamaños de muestra y recuentos de conversión, y luego comparando el valor z resultante con 1,96, el umbral de significancia al nivel de confianza del 95% (bilateral).

Los gerentes de producto, los especialistas en growth marketing y los investigadores de UX la usan después de ejecutar una prueba A/B en una página de destino, una línea de asunto de correo o un flujo de compra para decidir si una mejora en las conversiones es real o solo ruido aleatorio.

¿Te ha resultado útil?

Puedes elegir hasta 3 reacciones.

Comentarios

  • Sé el primero en comentar.

Calculadoras populares

Todas las calculadoras