官方技能 · 產品
A/B 測試企劃
寫出 A/B 測試企劃:假設、主要和護欄指標、MDE、附算式的樣本數和測試期間、停止規則,以及事先定好的決策規則。
AI 技能
讓 AI 設計一個結果可信的 A/B 測試
在你的 AI 中使用這個技能
免費 14 天 · 不需信用卡
可在 Claude、ChatGPT 和程式設計代理中使用。使用 Team 和 Business 方案時,我們改進官方技能後,你 Pod 裡的這個技能會自動更新。
適用情境
- 在頁面、流程、email 或價格上啟動 A/B 測試之前
- 有人問測試要跑多久或需要多少使用者
你要提供的內容
- 要測試的改動和理由
- 主要指標的基準
- 每週進入測試的流量
你會得到的內容
一頁的實驗企劃:假設、指標表、樣本數算式、測試期間、停止規則、上線與否的規則,以及風險。
運作方式
- 寫出可被推翻的假設
- 選一個主要指標和 1 到 3 個護欄指標
- 設定最小可偵測效果
- 估算樣本數和測試期間,並寫出計算方法
- 寫好停止規則
- 上線前寫好決策規則
- 列出風險和結果判讀日
範例
交給 AI 的內容
我們想測試較短的註冊表單(3 個欄位,原本是 7 個)。註冊率是定價頁訪客的 4%。每週大約 6,000 位訪客。如果能多 1 個百分點,我們就上線。
得到的結果(開頭部分)
實驗企劃:簡短註冊表單
負責人: [人名] · 決策者: [人名] · 開始: [日期] · 判讀日: 開始日 + 3 週
假設
因為 [待確認:證據,例如表單分析顯示在第 4 個欄位大量流失],我們相信對定價頁訪客使用 3 個欄位的註冊表單會提高註冊率。如果註冊率至少提高 1 個百分點(4% 到 5%),就證明這是對的。
版本
- 對照組: 7 個欄位的表單
- 版本 B: 3 個欄位的表單(email、密碼、公司名稱 [待確認])
- 分流: 50/50 · 對象: 定價頁的新訪客;排除已登入的使用者
這份結果的其餘部分、完整步驟,以及 AI 回答前做的檢查,在你把技能加入 Pod 後就能使用。
在你的 AI 中使用這個技能分享給你的團隊
把它加入 AI Skill Pod,團隊每個人(外包人員也包括在內)都能從自己的 AI 使用同一個版本。 看看和團隊分享 AI 技能的最佳做法
更新紀錄
- v1.0.0 · · First release.
參考來源
- How Not To Run an A/B Test - Evan Miller (2026-11-04 查閱)
- Power Analysis - Statsig Docs (2026-11-04 查閱)
- Diagnosing Sample Ratio Mismatch in A/B Testing - Microsoft Research (2026-11-04 查閱)