Skill oficial · Producto

Plan de test A/B

v1.0.0 · Actualizada el 4 de noviembre de 2026

Redacta el plan de un test A/B: hipótesis, métrica principal y de control, MDE, tamaño de muestra y duración con el cálculo, reglas de parada y una regla de decisión fijada de antemano.

Agregar al pod de mi equipo

Funciona en Claude, ChatGPT y agentes de programación. En Team y Business, la skill oficial de tu pod se actualiza sola cuando la mejoramos.

Cuándo usarla

Antes de lanzar un test A/B en una página, un flujo, un email o un precio
Alguien pregunta cuánto tiempo dejar un test o cuántos usuarios necesita

Qué le das

El cambio que se prueba y el motivo
La referencia actual de la métrica principal
El tráfico semanal que entra en el test

Qué obtienes

Un plan de experimento de una página con hipótesis, tabla de métricas, cálculo del tamaño de muestra, duración, reglas de parada, una regla de lanzar o no lanzar y riesgos.

Cómo funciona

Escribe una hipótesis falsable “Como [evidencia], creemos que [cambio] para [público] aumentará [métrica principal]. Sabremos que es cierto si [métrica] sube al menos [MDE].” Si no hay evidencia, dilo; entonces el test es exploratorio.
Elige una métrica principal y de 1 a 3 métricas de control La métrica principal decide el test. Las métricas de control (guardrails) son las que no deben empeorar, como reembolsos, bajas de suscripción, tiempo de carga de la página o tickets de soporte. Elige como métrica principal la más cercana al resultado que el cambio puede mover durante el periodo del test.
Fija el efecto mínimo detectable El MDE es el cambio más pequeño que el test puede detectar con fiabilidad. Elígelo desde el negocio: la mejora más pequeña que valdría la pena lanzar. Un MDE más pequeño exige una muestra mucho mayor.
Estima el tamaño de muestra y la duración, y muestra el método Valores por defecto: 5 % de significación (α) y 80 % de potencia, los ajustes habituales en herramientas como Statsig. Para una tasa de conversión, la regla práctica de Evan Miller es n = 16 × p(1 − p) ÷ δ² por variante, donde p es la tasa de referencia y δ el MDE absoluto. Duración = (n × número de variantes) ÷ usuarios semanales en el test, redondeada hacia arriba a semanas completas para cubrir todos los días de la semana. Confírmalo con una calculadora antes del lanzamiento y di cuál.
Escribe las reglas de parada No pares antes de tiempo porque el resultado parezca significativo: Evan Miller muestra que mirar los resultados una y otra vez dispara los falsos positivos. Para antes solo por daño: una métrica de control que cruza un umbral que fijas ahora, o una experiencia rota. Comprueba el desajuste en el reparto de la muestra (sample ratio mismatch: el reparto observado difiere del previsto) con una prueba de chi cuadrado antes de leer los resultados; el equipo de experimentación de Microsoft exige que cada test pase primero esta comprobación.
Escribe la regla de decisión antes del lanzamiento Di qué harás con cada resultado: lanzar si la métrica principal supera el MDE y ninguna métrica de control se rompe; no lanzar si se rompe una métrica de control; si el resultado no es concluyente, mantener el control y registrar lo aprendido. Nombra quién decide.
Enumera los riesgos y la fecha de lectura Efecto novedad, estacionalidad, solapamiento con otros tests y huecos en el seguimiento. Fija la fecha de lectura a partir de la duración, no de una reunión.

Compártela con tu equipo

Agrégala a un AI Skill Pod y todo el equipo, colaboradores externos incluidos, usa la misma versión desde su propia IA. Lee las mejores formas de compartir skills de IA con un equipo