언어: 한국어
14일 무료 체험하기

공식 스킬 · 제품

A/B 테스트 실험 계획

업데이트

A/B 테스트 계획서를 쓴다. 가설, 핵심·가드레일 지표, MDE, 계산을 보여 준 표본 크기와 기간, 중단 규칙, 미리 정한 결정 규칙.

AI 스킬

AI가 믿을 수 있는 A/B 테스트를 설계하게 하세요

이 스킬을 내 AI에서 쓰기

14일 무료 · 카드 등록 없음

Claude, ChatGPT, 코딩 에이전트에서 쓸 수 있어요. Team, Business 요금제에서는 포드에 넣은 공식 스킬이 개선될 때마다 알아서 최신 버전으로 바뀌어요.

언제 쓰나요

AI에게 주는 것

받는 결과

가설, 지표 표, 표본 크기 계산, 기간, 중단 규칙, 출시 여부 규칙, 위험을 담은 한 페이지 실험 계획.

진행 방법

  1. 반증할 수 있는 가설을 쓴다
  2. 핵심 지표 하나와 가드레일 1~3개를 고른다
  3. 최소 검출 효과를 정한다
  4. 표본 크기와 기간을 추정하고, 방법을 보여 준다
  5. 중단 규칙을 쓴다
  6. 출시 전에 결정 규칙을 쓴다
  7. 위험과 결과 발표일을 적는다

예시

AI에게 주는 것

더 짧은 가입 양식(입력란 7개 대신 3개)을 테스트하고 싶어요. 가입률은 요금제 페이지 방문자의 4%예요. 방문자는 일주일에 약 6,000명이에요. 1%p 오르면 출시할 거예요.

돌려받는 결과(앞부분)

실험 계획: 짧은 가입 양식

담당: [사람] · 결정권자: [사람] · 시작: [날짜] · 결과 발표: 시작 + 3주

가설

[확인 필요: 근거. 예: 4번째 입력란에서 이탈이 늘어나는 양식 분석 데이터] 때문에, 요금제 페이지 방문자에게 입력란 3개짜리 가입 양식을 보여 주면 가입률이 늘어날 것이라고 본다. 가입률이 1%p 이상(4%에서 5%로) 오르면 맞다고 판단한다.

변형

  • 기존안(Control): 입력란 7개 양식
  • 변형 B: 입력란 3개 양식(이메일, 비밀번호, 회사 이름[확인 필요])
  • 배분: 50/50 · 대상: 요금제 페이지의 신규 방문자. 로그인한 사용자는 제외

이 결과의 나머지, 전체 단계, AI가 답하기 전에 하는 확인은 스킬을 포드에 추가하면 쓸 수 있어요.

이 스킬을 내 AI에서 쓰기

팀과 함께 쓰기

AI Skill Pod에 추가하면 외부 협력자를 포함해 팀원 모두가 자기 AI에서 같은 버전을 써요. 팀에서 AI 스킬을 공유하는 방법 읽기

변경 기록

출처

출처는 영어 페이지예요.

  1. How Not To Run an A/B Test - Evan Miller (2026-11-04 확인)
  2. Power Analysis - Statsig Docs (2026-11-04 확인)
  3. Diagnosing Sample Ratio Mismatch in A/B Testing - Microsoft Research (2026-11-04 확인)
이 스킬을 내 AI에서 쓰기