„Der Test war signifikant — wir rollen aus.” Dieser Satz ist in vielen Unternehmen der Abschluss eines A/B-Tests. Er ist es meistens zu früh. Statistische Signifikanz beantwortet nur eine von vielen relevanten Fragen: Wie groß ist der Effekt wirklich? Gilt er für alle Nutzergruppen oder nur für einen Teil? Hält er über Zeit? Und vor allem: Ist der beobachtete Zusammenhang kausal oder nur korrelativer Zufall?
Ich helfe Unternehmen, Experimente so zu konzipieren, dass sie beantwortbare Fragen stellen — und Ergebnisse so auszuwerten, dass Handlungsempfehlungen tragen, was sie versprechen.
Was ist Kausalanalyse — und wann brauchen Sie sie?
Kausalanalyse ist die systematische Untersuchung, ob eine Maßnahme tatsächlich eine Wirkung verursacht — nicht nur, ob sie zeitlich mit einer Veränderung zusammenfällt.
Experimente und Kausalanalyse sind sinnvoll, wenn:
- Sie wissen möchten, ob eine Produktänderung, Kampagne oder Prozessanpassung wirklich den beobachteten Effekt erzeugt hat
- bestehende A/B-Tests methodisch auf den Prüfstand sollen
- kein kontrolliertes Experiment möglich ist, aber trotzdem kausale Schlüsse gefragt sind (z. B. bei historischen Daten)
- interne Teams Unterstützung bei Testdesign oder Ergebnisinterpretation benötigen
Mein Vorgehen
1. Fragestellung schärfen Bevor ein Test konzipiert wird, kläre ich: Was ist die kausale Hypothese? Was ist die kleinste Wirkung, die praktisch relevant wäre? Welche Störvariablen müssen kontrolliert werden? Diese Fragen bestimmen das Testdesign — nicht umgekehrt.
2. Testdesign und Stichprobenplanung Ich berechne den notwendigen Stichprobenumfang auf Basis des Minimum Detectable Effect (MDE), der gewünschten statistischen Power und des Signifikanzniveaus. Fehler im Design lassen sich nach dem Test nicht mehr korrigieren — deshalb ist dieser Schritt entscheidend.
3. Auswertung Je nach Datenlage und Fragestellung kommen unterschiedliche Verfahren zum Einsatz: klassische Hypothesentests, Bayes’sche Methoden, Difference-in-Differences, Propensity Score Matching oder Regression Discontinuity. Die Methode folgt dem Problem — nicht umgekehrt.
4. Interpretation und Empfehlung Ergebnisse werden nicht als binäres „signifikant / nicht signifikant” kommuniziert, sondern mit Effektgröße, Konfidenzintervall und einer klaren Einschätzung der praktischen Relevanz. Wenn das Ergebnis keine eindeutige Handlungsempfehlung erlaubt, sage ich das — mit Begründung.
Eingesetzte Methoden und Tools
Ich arbeite mit R (Pakete: MatchIt, DiD, rdd, bayesAB) und Python für Kausalanalyse und Experimentauswertung. Für die Dokumentation und Reproduzierbarkeit setze ich auf strukturierte Analyse-Workflows, die Dritte nachvollziehen und prüfen können.
Für wen ich arbeite
Meine Kunden sind Product Manager, Growth-Teams und Marketingverantwortliche in Startups und mittelständischen Unternehmen im DACH-Raum, die ihre Experimentierkultur auf ein methodisch solides Fundament stellen möchten — oder die Ergebnisse eines bereits durchgeführten Tests kritisch hinterfragen wollen. Ich arbeite projektbasiert oder auf Stundenbasis — remote oder vor Ort in Berlin.
Referenzprojekte und weiterführende Artikel
- A/B Testing: Concepts and Techniques — umfassender methodischer Artikel zu A/B-Tests, Stichprobenplanung und häufigen Auswertungsfehlern
- Minimum Detectable Effect (MDE) Calculation — wie man den MDE berechnet und warum er vor dem Test feststehen muss
- Propensity Score Matching for Causal Analysis — Kausalanalyse mit Beobachtungsdaten, wenn kein Experiment möglich ist
Jetzt Projekt besprechen
Sie möchten einen Test konzipieren, bestehende Ergebnisse methodisch prüfen lassen oder verstehen, was eine Maßnahme wirklich bewirkt hat?