Skill oficial · Produto
Plano de teste A/B
Escreve o plano de um teste A/B: hipótese, métrica principal e de proteção, MDE, tamanho da amostra e duração com a conta, regras de parada e uma regra de decisão definida antes.
Skill de IA
Faça a sua IA planejar um teste A/B confiável
14 dias grátis · Sem cartão
Funciona no Claude, no ChatGPT e em agentes de programação. Nos planos Team e Business, a skill oficial no seu pod se atualiza sozinha quando a melhoramos.
Quando usar
- Antes de lançar um teste A/B numa página, num fluxo, num e-mail ou num preço
- Alguém pergunta por quanto tempo rodar um teste ou de quantos usuários ele precisa
O que você passa para ela
- A mudança a testar e o motivo
- A taxa de base da métrica principal
- O tráfego semanal no teste
O que você recebe
Um plano de experimento de uma página com hipótese, tabela de métricas, conta do tamanho da amostra, duração, regras de parada, uma regra de lançar ou não lançar e os riscos.
Como funciona
- Escreva uma hipótese falseável
- Escolha uma métrica principal e de 1 a 3 métricas de proteção
- Defina o efeito mínimo detectável
- Estime o tamanho da amostra e a duração, e mostre o método
- Escreva as regras de parada
- Escreva a regra de decisão antes do lançamento
- Liste os riscos e a data da leitura dos resultados
Exemplo
O que você entrega
Queremos testar um formulário de cadastro mais curto (3 campos em vez de 7). A taxa de cadastro é de 4% dos visitantes da página de preços. Uns 6.000 visitantes por semana. A gente lançaria se ganhasse um ponto.
O que você recebe (o começo)
Plano de experimento: Formulário de cadastro curto
Responsável: [pessoa] · Quem decide: [pessoa] · Início: [data] · Leitura dos resultados: início + 3 semanas
Hipótese
Por causa de [verificar: evidência, por ex. analytics do formulário mostrando abandono no campo 4], acreditamos que um formulário de cadastro com 3 campos para os visitantes da página de preços vai aumentar a taxa de cadastro. Saberemos que é verdade se a taxa de cadastro subir pelo menos 1 ponto percentual (de 4% para 5%).
Variantes
- Controle: formulário com 7 campos
- Variante B: formulário com 3 campos (e-mail, senha, nome da empresa [a confirmar])
- Divisão: 50/50 · Público: novos visitantes da página de preços; usuários logados ficam de fora
O resto deste resultado, todos os passos e as verificações que a IA faz antes de responder ficam no seu pod quando você adiciona a skill.
Usar esta skill na sua IACompartilhe com a sua equipe
Adicione a skill a um AI Skill Pod e todo mundo da equipe, prestadores de serviço incluídos, usa a mesma versão na própria IA. Veja as melhores formas de compartilhar skills de IA com uma equipe
Histórico de mudanças
- v1.0.0 · · First release.
Fontes
- How Not To Run an A/B Test - Evan Miller (lida em 2026-11-04)
- Power Analysis - Statsig Docs (lida em 2026-11-04)
- Diagnosing Sample Ratio Mismatch in A/B Testing - Microsoft Research (lida em 2026-11-04)