Offizieller Skill · Produkt
Plan für einen A/B-Test
Schreibt ein Briefing für einen A/B-Test: Hypothese, primäre und Guardrail-Metriken, MDE, Stichprobengröße und Laufzeit mit Rechnung, Abbruchregeln und eine vorab festgelegte Entscheidungsregel.
KI-Skill
Lass deine KI einen A/B-Test planen, dem du trauen kannst
14 Tage kostenlos · Keine Karte nötig
Funktioniert in Claude, ChatGPT und Coding-Agents. In Team und Business aktualisiert sich der offizielle Skill in deinem Pod von selbst, wenn wir ihn verbessern.
Wann du ihn nutzt
- Bevor ein A/B-Test auf einer Seite, in einem Ablauf, einer E-Mail oder beim Preis startet
- Jemand fragt, wie lange ein Test laufen muss oder wie viele Nutzer er braucht
Was du ihm gibst
- Die zu testende Änderung und der Grund
- Basiswert der primären Metrik
- Traffic pro Woche im Test
Was du bekommst
Ein einseitiger Experimentplan mit Hypothese, Metriktabelle, Rechnung zur Stichprobengröße, Laufzeit, Abbruchregeln, einer Regel für Ausrollen oder Nicht-Ausrollen und Risiken.
So funktioniert er
- Schreib eine falsifizierbare Hypothese
- Wähl eine primäre Metrik und 1 bis 3 Guardrails
- Leg den minimal nachweisbaren Effekt fest
- Schätz Stichprobengröße und Laufzeit und zeig den Rechenweg
- Schreib die Abbruchregeln
- Schreib die Entscheidungsregel vor dem Start
- Liste Risiken und den Auswertungstermin auf
Beispiel
Was du ihm gibst
„Wir wollen ein kürzeres Anmeldeformular testen (3 Felder statt 7). Die Anmelderate liegt bei 4 % der Besucher der Preisseite. Etwa 6.000 Besucher pro Woche. Wir würden es ausrollen, wenn es einen Prozentpunkt bringt.
Was du zurückbekommst (der Anfang)
Experimentplan: Kurzes Anmeldeformular
Verantwortlich: [Person] · Entscheidet: [Person] · Start: [Datum] · Auswertung: Start + 3 Wochen
Hypothese
Weil [prüfen: Beleg, z. B. Formularanalyse mit Abbrüchen bei Feld 4], glauben wir, dass ein Anmeldeformular mit 3 Feldern für Besucher der Preisseite die Anmelderate erhöht. Wir wissen, dass es stimmt, wenn die Anmelderate um mindestens 1 Prozentpunkt steigt (von 4 % auf 5 %).
Varianten
- Kontrolle: Formular mit 7 Feldern
- Variante B: Formular mit 3 Feldern (E-Mail, Passwort, Firmenname [zu bestätigen])
- Aufteilung: 50/50 · Zielgruppe: neue Besucher der Preisseite; eingeloggte Nutzer ausgeschlossen
Der Rest dieses Ergebnisses, alle Schritte und die Prüfungen, die die KI vor der Antwort macht, sind in deinem Pod, sobald du den Skill hinzufügst.
Diesen Skill in deiner KI nutzenTeile ihn mit deinem Team
Füge ihn einem AI Skill Pod hinzu, und alle im Team, auch Freelancer, nutzen dieselbe Version aus ihrer eigenen KI. Lies, wie Teams KI-Skills am besten teilen
Änderungen
- v1.0.0 · · First release.
Quellen
- How Not To Run an A/B Test - Evan Miller (gelesen am 2026-11-04)
- Power Analysis - Statsig Docs (gelesen am 2026-11-04)
- Diagnosing Sample Ratio Mismatch in A/B Testing - Microsoft Research (gelesen am 2026-11-04)