Skill resmi · Produk
Rencana A/B test
Menulis brief A/B test: hipotesis, metrik utama dan guardrail, MDE, ukuran sampel dan durasi beserta hitungannya, aturan berhenti, dan aturan keputusan yang ditetapkan di muka.
Skill AI
Minta AI Anda merancang uji A/B yang bisa dipercaya
Gratis 14 hari · Tanpa kartu
Bisa dipakai di Claude, ChatGPT, dan coding agent. Di Team dan Business, skill resmi di pod Anda otomatis diperbarui saat kami menyempurnakannya.
Kapan dipakai
- Sebelum meluncurkan A/B test pada halaman, alur, email, atau harga
- Seseorang bertanya berapa lama tes perlu dijalankan atau berapa banyak pengguna yang dibutuhkan
Yang Anda berikan
- Perubahan yang dites dan alasannya
- Baseline metrik utama
- Traffic mingguan dalam tes
Yang Anda dapatkan
Rencana eksperimen satu halaman dengan hipotesis, tabel metrik, hitungan ukuran sampel, durasi, aturan berhenti, aturan luncurkan/jangan luncurkan, dan risiko.
Cara kerjanya
- Tulis hipotesis yang bisa dibuktikan salah
- Pilih satu metrik utama dan 1 sampai 3 guardrail
- Tetapkan minimum detectable effect
- Perkirakan ukuran sampel dan durasi, dan tunjukkan metodenya
- Tulis aturan berhenti
- Tulis aturan keputusan sebelum peluncuran
- Daftar risiko dan tanggal pembacaan hasil
Contoh
Yang Anda berikan
Kami ingin mengetes formulir pendaftaran yang lebih pendek (3 kolom, bukan 7). Tingkat pendaftaran 4% dari pengunjung halaman harga. Sekitar 6.000 pengunjung per minggu. Kami akan meluncurkannya jika menambah satu poin.
Yang Anda terima (bagian awal)
Rencana eksperimen: Formulir pendaftaran pendek
Penanggung jawab: [orang] · Pengambil keputusan: [orang] · Mulai: [tanggal] · Pembacaan hasil: mulai + 3 minggu
Hipotesis
Karena [cek: bukti, mis. analitik formulir yang menunjukkan pengunjung berhenti di kolom ke-4], kami yakin formulir pendaftaran 3 kolom untuk pengunjung halaman harga akan menaikkan tingkat pendaftaran. Kami tahu ini benar jika tingkat pendaftaran naik setidaknya 1 poin persentase (dari 4% ke 5%).
Varian
- Kontrol: formulir 7 kolom
- Varian B: formulir 3 kolom (email, kata sandi, nama perusahaan [perlu dikonfirmasi])
- Pembagian: 50/50 · Audiens: pengunjung baru halaman harga; pengguna yang sudah login dikecualikan
Sisa hasil ini, semua langkah, dan pengecekan yang dilakukan AI sebelum menjawab ada di pod Anda setelah skill ditambahkan.
Pakai skill ini di AI AndaBagikan ke tim Anda
Tambahkan ke AI Skill Pod, dan semua orang di tim, termasuk kontraktor, memakai versi yang sama dari AI mereka sendiri. Baca cara terbaik berbagi skill AI dengan tim
Riwayat perubahan
- v1.0.0 · · First release.
Sumber
- How Not To Run an A/B Test - Evan Miller (dibaca 2026-11-04)
- Power Analysis - Statsig Docs (dibaca 2026-11-04)
- Diagnosing Sample Ratio Mismatch in A/B Testing - Microsoft Research (dibaca 2026-11-04)