官方技能 · 產品

A/B 測試企劃

寫出 A/B 測試企劃:假設、主要和護欄指標、MDE、附算式的樣本數和測試期間、停止規則,以及事先定好的決策規則。

AI 技能

讓 AI 設計一個結果可信的 A/B 測試

在你的 AI 中使用這個技能

免費 14 天 · 不需信用卡

可在 Claude、ChatGPT 和程式設計代理中使用。使用 Team 和 Business 方案時,我們改進官方技能後,你 Pod 裡的這個技能會自動更新。

適用情境

你要提供的內容

你會得到的內容

一頁的實驗企劃:假設、指標表、樣本數算式、測試期間、停止規則、上線與否的規則,以及風險。

運作方式

  1. 寫出可被推翻的假設
  2. 選一個主要指標和 1 到 3 個護欄指標
  3. 設定最小可偵測效果
  4. 估算樣本數和測試期間,並寫出計算方法
  5. 寫好停止規則
  6. 上線前寫好決策規則
  7. 列出風險和結果判讀日

範例

交給 AI 的內容

我們想測試較短的註冊表單(3 個欄位,原本是 7 個)。註冊率是定價頁訪客的 4%。每週大約 6,000 位訪客。如果能多 1 個百分點,我們就上線。

得到的結果(開頭部分)

實驗企劃:簡短註冊表單

負責人: [人名] · 決策者: [人名] · 開始: [日期] · 判讀日: 開始日 + 3 週

假設

因為 [待確認:證據,例如表單分析顯示在第 4 個欄位大量流失],我們相信對定價頁訪客使用 3 個欄位的註冊表單會提高註冊率。如果註冊率至少提高 1 個百分點(4% 到 5%),就證明這是對的。

版本

  • 對照組: 7 個欄位的表單
  • 版本 B: 3 個欄位的表單(email、密碼、公司名稱 [待確認])
  • 分流: 50/50 · 對象: 定價頁的新訪客;排除已登入的使用者

這份結果的其餘部分、完整步驟,以及 AI 回答前做的檢查,在你把技能加入 Pod 後就能使用。

在你的 AI 中使用這個技能

分享給你的團隊

把它加入 AI Skill Pod,團隊每個人(外包人員也包括在內)都能從自己的 AI 使用同一個版本。 看看和團隊分享 AI 技能的最佳做法

更新紀錄

參考來源

  1. How Not To Run an A/B Test - Evan Miller (2026-11-04 查閱)
  2. Power Analysis - Statsig Docs (2026-11-04 查閱)
  3. Diagnosing Sample Ratio Mismatch in A/B Testing - Microsoft Research (2026-11-04 查閱)
在你的 AI 中使用這個技能