Bitte wählen Sie die Bereiche, die Sie exportieren möchten:
Schulung A/B Testing und Kausalinferenz für Data Scientists
Hypothesen, Stichprobenplanung, statistische Signifikanz und kausale Methoden:
Schulungsformen
Offene Schulung
- 2 Tage
- 5 gesicherte Termine
- Köln / Online
- 1.440,00 p. P. zzgl. MwSt.
- Dritter Mitarbeitende kostenfrei
- Learning & Networking in einem. Garantierte Durchführung ab 1 Teilnehmenden.
Inhouse-/Firmenschulung
- 2 Tage - anpassbar
- Termin nach Wunsch
- In Ihrem Hause oder bei der GFU
- Preis nach Angebot
- Lernumgebung in der Cloud
- Inhalte werden auf Wunsch an die Anforderungen Ihres Teams angepasst.
Individualschulung
- 2 Tage - anpassbar
- Termin nach Wunsch
- In Ihrem Hause oder bei der GFU
- Preis nach Angebot
- Lernumgebung in der Cloud
- 1 Teilnehmender = Fokus aufs Fachliche und maximaler Raum für individuelle Fragen.
Beschreibung
A/B-Tests sind der Goldstandard: eine Gruppe bekommt die Maßnahme (Test), eine andere nicht (Kontrolle), beide werden verglichen. Aber A/B-Tests sind nicht immer möglich: ethische Gründe (Patienten nicht zufällig einer schlechteren Behandlung zuweisen), praktische Gründe (eine Preisänderung betrifft alle Kunden gleichzeitig), oder historische Gründe (die Kampagne ist schon gelaufen, wir wollen den Effekt nachträglich bewerten).
Für diese Fälle gibt es Kausalinferenz : statistische Methoden, die aus Beobachtungsdaten kausale Schlüsse ziehen - Difference-in-Differences, Propensity Score Matching, Instrumental Variables, Regression Discontinuity. Methoden, die in der Ökonomie und Epidemiologie seit Jahrzehnten etabliert sind, aber in der Data-Science-Praxis noch zu selten eingesetzt werden.
Dieses zweitägige Seminar verbindet beide Welten: Tag 1 zeigt, wie man A/B-Tests richtig plant und auswertet (die meisten werden falsch gemacht). Tag 2 zeigt, wie man kausale Fragen beantwortet, wenn kein Experiment möglich ist .
Finden Sie den richtigen Data Science Kurs aus unserem Portfolio.
Schulungsziel
Jede teilnehmende Person verlässt das Seminar mit der Fähigkeit, A/B-Tests statistisch korrekt zu planen und auszuwerten (Power Analysis, Signifikanztests, Konfidenzintervalle, Fallstricke), dem Verständnis von Bayesian A/B Testing und Multi-Armed Bandits als Alternativen, der Kompetenz, kausale Fragen ohne Experiment zu beantworten (DAGs, DiD, Propensity Score Matching), dem Wissen, wann welche Methode anwendbar ist (Entscheidungsbaum: Experiment -> DiD -> PSM -> RDD -> IV), 5 ausgewerteten Testszenarien als Referenz, einem eigenen A/B-Test-Plan und dem Bewusstsein, dass „Korrelation ≠ Kausalität" nicht nur ein Spruch ist - sondern eine Disziplin mit konkreten Methoden.
Details
Inhalt
1. Korrelation ≠ Kausalität: Warum wir Experimente brauchen
- Ziele und Erwartungen der Teilnehmenden
- Klärung individueller Lernziele und Erwartungen für ein praxisnahes und relevantes Seminar
- Das Grundproblem: Beobachtungsdaten zeigen Zusammenhänge, aber keine Ursachen. Selection Bias (die Gruppen unterscheiden sich schon vor der Maßnahme), Confounders (ein dritter Faktor beeinflusst sowohl Ursache als auch Wirkung), Reverse Causality (nicht X verursacht Y, sondern Y verursacht X).
- Beispiele aus der Praxis: „Premium-Kunden haben weniger Support-Tickets" (Selection Bias - sie sind tech-affiner, deshalb kaufen sie Premium). „Länder mit mehr Schokoladenkonsum haben mehr Nobelpreisträger" (Confounder - Wohlstand). „Unternehmen mit hoher Mitarbeiterzufriedenheit haben mehr Umsatz" (Reverse Causality - Erfolg macht zufrieden, nicht umgekehrt).
- Randomisierte Experimente als Lösung: Zufällige Zuweisung eliminiert Selection Bias und Confounders. Wenn die Gruppen zufällig gebildet werden, unterscheiden sie sich im Durchschnitt nur in der Maßnahme.
- Interaktiv: 5 Business-Aussagen bewerten: Kausal oder nur Korrelation? Welcher Bias könnte dahinterstecken?
- Hypothesenformulierung: Nullhypothese (kein Effekt) vs. Alternativhypothese (es gibt einen Effekt). Einseitig vs. zweiseitig. Die Hypothese muss vor dem Test festgelegt werden (kein „Daten angucken und dann entscheiden, was wir testen").
- Stichprobengröße berechnen (Power Analysis): Wie viele Beobachtungen brauche ich, um einen Effekt einer bestimmten Größe mit einer bestimmten Sicherheit zu erkennen? Die vier Parameter: Effektgröße (Minimum Detectable Effect), Signifikanzniveau (a, typisch 0.05), Power (1-b, typisch 0.80), Baseline-Rate (aktuelle Conversion Rate).
- Laufzeit bestimmen: Stichprobengröße ÷ täglicher Traffic = Laufzeit. Warum man Tests nicht zu früh abbrechen darf (Peeking Problem). Wochenenden und Saisonalität berücksichtigen (mindestens 1-2 volle Wochen).
- Randomisierung: User-Level (jeder Benutzer sieht konsistent dieselbe Variante) vs. Session-Level (bei jedem Besuch zufällig). Stratifizierte Randomisierung (sicherstellen, dass Mobile/Desktop, Neu/Bestand gleichmäßig verteilt sind).
- Praxis-Übung: Power Analysis in Python (scipy.stats, statsmodels): Stichprobengröße für einen Conversion-Rate-Test berechnen (Baseline 3 %, MDE 0.5 Prozentpunkte, a=0.05, Power=0.80). Ergebnis: wie viele Besucher pro Variante, wie viele Tage Laufzeit bei 10.000 Besuchern/Tag?
- Frequentistischer Ansatz: Z-Test oder Chi-Quadrat-Test für Proportionen (Conversion Rates), t-Test für metrische Variablen (Umsatz pro Benutzer). p-Wert berechnen und interpretieren: p < 0.05 bedeutet nicht „95 % sicher, dass es funktioniert".
- Konfidenzintervalle: Informativer als der p-Wert allein. „Der Effekt liegt zwischen +1.2 % und +3.8 % (95 % KI)" ist nützlicher als „p = 0.03". Wenn das KI die Null einschließt -> nicht signifikant.
- Effektstärke und praktische Relevanz: Statistisch signifikant ≠ praktisch relevant. Ein Effekt von +0.01 % kann bei Millionen Besuchern signifikant sein - aber ist er die Implementierungskosten wert?
- Fallstricke: Peeking (Test jeden Tag prüfen und abbrechen sobald p < 0.05 -> inflationierte False-Positive-Rate), Multiple Testing (5 Metriken gleichzeitig testen -> Bonferroni-Korrektur oder FDR), Novelty Effect (neue Variante wird angeklickt weil sie neu ist - nicht weil sie besser ist), Sample Ratio Mismatch (Gruppen sind nicht gleich groß -> Randomisierung ist kaputt).
- Praxis-Übung: 3 A/B-Test-Datensätze auswerten: (1) Conversion-Rate-Test (Z-Test, KI, Effektgröße). (2) Umsatz-Test mit schiever Verteilung (t-Test vs. Mann-Whitney). (3) Multiple Testing: 5 Metriken gleichzeitig -> Bonferroni-Korrektur anwenden -> Ergebnis ändert sich.
- Bayesianischer Ansatz: Statt „ist der Effekt signifikant?" -> „wie wahrscheinlich ist es, dass B besser ist als A?" Posterior-Verteilung des Effekts. Credible Interval (Bayesianisches KI). Vorteile: intuitivere Interpretation, kein Peeking-Problem, funktioniert auch bei kleinen Stichproben.
- Bayesian vs. Frequentistisch: Wann welcher Ansatz? Frequentistisch für einfache Tests mit großen Stichproben (Standard). Bayesian für: kleine Stichproben, kontinuierliches Monitoring, mehrere Varianten, Vorwissen einbeziehen.
- Multi-Armed Bandits: Statt Test (50/50-Split, dann Gewinner wählen): dynamische Allokation (Traffic wird schrittweise zur besseren Variante verschoben - Exploration vs. Exploitation). Thompson Sampling als Algorithmus. Für: Personalisierung, viele Varianten gleichzeitig, Opportunity Cost minimieren.
- Praxis-Übung: Bayesianische Auswertung des Conversion-Tests (pymc oder scipy): Posterior-Verteilung plotten, P(B > A) berechnen, Credible Interval. Vergleich: frequentistisches vs. bayesianisches Ergebnis für denselben Datensatz.
5. Kausale Modelle: DAGs und Confounders
- Directed Acyclic Graphs (DAGs): Kausale Beziehungen als Diagramm darstellen. Knoten = Variablen, Kanten = kausale Einflüsse. Confounders (gemeinsame Ursache), Mediators (Zwischenvariable), Colliders (gemeinsame Wirkung).
- Warum DAGs wichtig sind: Ein DAG zeigt, welche Variablen kontrolliert werden müssen (Confounders) und welche nicht kontrolliert werden dürfen (Colliders - kontrollieren erzeugt Bias statt ihn zu entfernen). Ohne DAG: blindes „alle Variablen in die Regression werfen" -> falsches Ergebnis.
- DAGs zeichnen und analysieren: Für ein Business-Szenario den kausalen Graphen aufstellen. Backdoor-Kriterium: welche Variablen müssen kontrolliert werden, um den kausalen Effekt zu identifizieren?
- Praxis-Übung: 3 Business-Szenarien als DAG modellieren: (1) Werbung -> Umsatz (Confounder: Saison). (2) Schulung -> Produktivität (Mediator: Motivation). (3) Kundenzufriedenheit -> Churn (Collider: Support-Kontakt). Für jedes Szenario: welche Variablen kontrollieren, welche nicht?
- Difference-in-Differences (DiD): Für Situationen, in denen eine Maßnahme eine Gruppe betrifft, eine andere nicht - aber keine zufällige Zuweisung möglich war. Beispiel: Preiserhöhung in Region A, nicht in Region B -> Umsatz-Veränderung in A vs. B vergleichen, unter Berücksichtigung des Vor-Trends.
- DiD-Annahmen: Parallel Trends (ohne die Maßnahme hätten sich beide Gruppen gleich entwickelt). Wie prüft man das? Pre-Treatment-Trends vergleichen. Wenn die Trends nicht parallel sind -> DiD ist nicht anwendbar.
- Propensity Score Matching (PSM): Für Situationen ohne natürliche Kontrollgruppe. Jedem „behandelten" Datenpunkt wird ein möglichst ähnlicher „unbehandelter" zugeordnet - basierend auf der Propensity (Wahrscheinlichkeit der Behandlung). Beispiel: Newsletter-Empfänger mit ähnlichen Nicht-Empfängern matchen (gleiche Kaufhistorie, gleiches Alter, gleiche Region) -> dann Umsatzunterschied vergleichen.
- PSM-Workflow: Propensity Score mit Logistischer Regression schätzen, Matching durchführen (Nearest Neighbor, Caliper), Balance prüfen (sind die gematchten Gruppen wirklich ähnlich?), Treatment-Effekt berechnen (ATT: Average Treatment Effect on the Treated).
- Praxis-Übung: (1) DiD auf einem Datensatz: Preiserhöhung in Region A, Kontrolle Region B. Parallel-Trends-Check, DiD-Schätzung, Interpretation. (2) PSM auf einem Datensatz: Newsletter-Effekt auf Umsatz. Propensity Score berechnen, matchen, Balance prüfen, ATT schätzen.
Regression Discontinuity und Instrumental Variables (30 Min):
- Regression Discontinuity Design (RDD): Für Situationen mit einem Schwellenwert (z.B. Kunden mit > 1.000 € Jahresumsatz bekommen Gold-Status). Effekt des Gold-Status: Kunden knapp über der Schwelle mit Kunden knapp unter der Schwelle vergleichen (die sich kaum unterscheiden, aber verschiedene Behandlung bekommen). Sharp vs. Fuzzy RDD.
- Instrumental Variables (IV): Für Situationen, in denen der Confounder nicht messbar ist. Ein Instrument ist eine Variable, die die Behandlung beeinflusst, aber das Ergebnis nur über die Behandlung. Beispiel: Entfernung zum nächsten Fitnessstudio als Instrument für Fitnessstudio-Besuche -> Effekt auf Gesundheit. Two-Stage Least Squares (2SLS).
- Wann welche Methode? Randomisiertes Experiment möglich -> A/B-Test. Natürliche Kontrollgruppe vorhanden -> DiD. Keine Kontrollgruppe, aber Beobachtungsdaten -> PSM. Schwellenwert vorhanden -> RDD. Instrument verfügbar -> IV. Nichts davon -> kausale Aussage nicht möglich (und das ist eine wichtige Erkenntnis).
- Über den durchschnittlichen Effekt hinaus: A/B-Tests und Kausalinferenz messen den durchschnittlichen Effekt. Uplift Modeling identifiziert für wen die Maßnahme wirkt. Vier Segmente: Persuadables (Maßnahme wirkt positiv), Sure Things (kaufen ohnehin), Lost Causes (kaufen ohnehin nicht), Sleeping Dogs (Maßnahme wirkt negativ). Für: Kampagnen-Targeting (nur Persuadables ansprechen -> Budget sparen).
- Phase 1 - Eigenen A/B-Test planen (20 Min): Eigenes Szenario (oder vorgegebenes: Onboarding-Flow-Änderung in einer SaaS-App). Hypothese formulieren, Primärmetrik und Guardrail-Metriken definieren, Power Analysis durchführen (Stichprobengröße, Laufzeit), Randomisierungsstrategie wählen, Auswertungsplan erstellen (frequentistisch oder bayesianisch, einseitig oder zweiseitig, Multiple-Testing-Korrektur).
- Phase 2 - Kausale Frage ohne Experiment beantworten (15 Min): Vorgegebenes Szenario (Effekt einer Preisänderung, die in einem Land eingeführt wurde): DAG zeichnen, geeignete Methode wählen (DiD, PSM, RDD), Analyse durchführen, Ergebnis interpretieren.
- Phase 3 - Peer-Review (10 Min): A/B-Test-Plan vorstellen. Stresstest: „Euer Test läuft seit 3 Tagen und p = 0.04 - brecht ihr ab?" „Die Conversion Rate steigt, aber der Umsatz pro Benutzer sinkt - was berichtet ihr?" „Euer Chef will keinen A/B-Test sondern sofort ausrollen - wie argumentiert ihr?" „Die parallelen Trends sind nicht ganz parallel - ist eure DiD-Analyse trotzdem valide?"
Zielgruppe & Vorkenntnisse
- Data Scientists und Data Analysts: Die über deskriptive Analyse hinaus kausale Fragen beantworten wollen: „Hat die Kampagne den Umsatz gesteigert?" statt „Kunden, die die Kampagne sahen, haben mehr gekauft."
- Product Manager und Growth Engineers: Die A/B-Tests planen, auswerten und auf Basis der Ergebnisse Produktentscheidungen treffen.
- Marketing-Analysten und CRO-Spezialisten: Die Website-Optimierungen, E-Mail-Kampagnen und Pricing-Tests statistisch sauber bewerten.
- Führungskräfte mit Datenverantwortung: Die verstehen wollen, wann ein Ergebnis „signifikant" ist - und wann es nur Zufall war.
Ihre Schulung
In Präsenz | Online |
|---|---|
| Lernmethode | |
Ausgewogene Mischung aus Theorie und praktischen Übungen auf persönlichem Schulungs-PC. | Wie auch bei unseren Präsenz-Seminaren: Ausgewogene Mischung aus Theorie und praktischen Übungen. Trainer durchgehend präsent. |
| Unterlagen | |
Seminarunterlagen oder Fachbuch inklusive. Das Fachbuch wählt der Trainer passend zum Seminar aus - Ihren individuellen Buch-Wunsch berücksichtigen wir auf Nachfrage gerne. | Seminarunterlagen oder Fachbuch inklusive (via DHL). Das Fachbuch wählt der Trainer passend zum Seminar aus - Ihren individuellen Buch-Wunsch berücksichtigen wir auf Nachfrage gerne. |
| Arbeitsmaterialien | |
DIN A4 Block, Notizblock, Kugelschreiber, USB-Stick, Textmarker, Post-its | |
| Teilnahmezertifikat | |
Nach Abschluss des Seminars erhalten Sie das Teilnahmezertifikat inkl. Inhaltsverzeichnis per E-Mail als PDF. | |
Organisation
In Präsenz | Online | |
|---|---|---|
| Teilnehmendenzahl | ||
min. 1, max. 8 Personen | ||
| Garantierte Durchführung | ||
Ab 1 Teilnehmenden* | ||
| Schulungszeiten | ||
| ||
| Ort der Schulung | ||
 GFU SchulungszentrumAm Grauen Stein 27 51105 Köln-Deutz oder online im Virtual Classroom oder europaweit bei Ihnen als Inhouse-Schulung Um ein optimales Raumklima zu gewährleisten, haben wir das Schulungszentrum mit 17 hochmodernen Trotec TAC V+ Luftreinigern ausgestattet. Diese innovative Filtertechnologie (H14 zertifiziert nach DIN EN1822) sorgt dafür, dass die Raumluft mehrfach pro Stunde umgewälzt wird und Schadstoffe zu 99.995% im HEPA-Filter abgeschieden und infektiöse Aerosole abgetötet werden. Zusätzlich sind alle Räume mit CO2-Ampeln ausgestattet, um jederzeit eine hervorragende Luftqualität sicherzustellen. | ||
| Räumlichkeiten | ||
Helle und modern ausgestattete Räume mit perfekter Infrastruktur | Bequem aus dem Homeoffice von überall | |
| Preisvorteil | ||
Dritter Mitarbeitende nimmt kostenfrei teil. Eventuell anfallende Prüfungskosten für den dritten Teilnehmenden werden zusätzlich berechnet. Hinweis: Um den Erfolg der Schulung zu gewährleisten, sollte auch der dritte Teilnehmende die erwarteten Vorkenntnisse mitbringen. | ||
| All-Inclusive | ||
Gebäck, Snacks und Getränke ganztägig, Mittagessen im eigenen Restaurant, täglich 6 Menüs, auch vegetarisch | Eine Auswahl unserer Frühstücks-Snacks und Nervennahrungs-Highlights senden wir Ihnen mit den Seminarunterlagen via DHL zu. | |
| Barrierefreiheit | ||
Das GFU-Schulungszentrum (Am Grauen Stein 27) ist barrierefrei | - | |
Buchen ohne Risiko
| Rechnungsstellung |
Erst nach dem erfolgreichen Seminar. Keine Vorkasse. |
| Stornierung |
Kostenfrei bis zum Vortag des Seminars |
| Vormerken statt buchen |
Sichern Sie sich unverbindlich Ihren Seminarplatz schon vor der Buchung - auch wenn Sie selbst nicht berechtigt sind zu buchen |
Kostenfreie Services
In Präsenz | Online |
|---|---|
|
|
Buchungsmöglichkeiten
Online oder in Präsenz teilnehmen
Sie können sowohl Online als auch in Präsenz am Seminar teilnehmen. Klicken Sie bei Ihrer Buchung oder Anfrage einfach die entsprechende Option an.
Gesicherte offene Termine
| Termin | Ort | Preis | ||
|---|---|---|---|---|
| 31.08.-01.09.2026 Plätze vorhanden Köln / Online 1.440,00 | Köln / Online | 1.440,00 | Buchen Vormerken | |
| 02.11.-03.11.2026 Plätze vorhanden Köln / Online 1.440,00 | Köln / Online | 1.440,00 | Buchen Vormerken | |
| 2027 | ||||
| 18.01.-19.01.2027 Plätze vorhanden Köln / Online 1.440,00 | Köln / Online | 1.440,00 | Buchen Vormerken | |
| 29.04.-30.04.2027 Plätze vorhanden Köln / Online 1.440,00 | Köln / Online | 1.440,00 | Buchen Vormerken | |
| 29.06.-30.06.2027 Plätze vorhanden Köln / Online 1.440,00 | Köln / Online | 1.440,00 | Buchen Vormerken | |
- Lernumgebung in der Cloud
- Inhalte werden auf Wunsch an die Anforderungen Ihres Teams angepasst.
- Lernumgebung in der Cloud
- 1 Teilnehmender = Fokus aufs Fachliche und maximaler Raum für individuelle Fragen.
Unterstützung nach der Schulung durch
individuelle Nachbetreuung
- Alle folgenden Schulungsformen können auch Online als Virtual Classroom durchgeführt werden.
- Eine Offene Schulung findet zu einem festgelegten Zeitpunkt im voll ausgestatteten Schulungszentrum oder Online/Remote statt. Sie treffen auf Teilnehmende anderer Unternehmen und profitieren vom direkten Wissensaustausch.
- Eine Inhouse-/Firmen-Schulung geht auf die individuellen Bedürfnisse Ihres Unternehmens ein. Sie erhalten eine kostenfreie Beratung von Ihrem Seminarleiter und können Inhalte und Dauer auf Ihren Schulungsbedarf anpassen. Inhouse-Schulungen können Europaweit durchgeführt werden.
- Bei einer Individual-Schulung erhalten Sie eine 1-zu-1 Betreuung und bestimmen Inhalt, Zeit und Lerntempo. Der Dozent passt sich Ihren Wünschen und Bedürfnissen an.
Sie können unsere Schulungen auch als Remote Schulung im Virtual Classroom anfragen.
In drei Schritten zum Online Seminar im Virtual Classroom:
- Seminar auswählen und auf "Buchen" klicken
- Wählen Sie bei "Wie möchten Sie teilnehmen?" einfach "Online" aus.
- Formular ausfüllen und über den Button "Jetzt buchen" absenden.
Unser Kundenservice meldet sich bei Ihnen mit der Buchungsbestätigung.
Unsere Online Schulungen finden im Virtual Classroom statt. Ein Virtual Classroom bündelt mehrere Werkzeuge, wie Audio-Konferenz, Text-Chat, Interaktives Whiteboard, oder Application Sharing.
Vorteile von Virtual Classroom:
- Sie erhalten 1 zu 1 die gleiche Lernumgebung, die Sie auch vor Ort bei uns vorfinden
- Die technische Vorbereitung wird von den GFU-Technikern vorgenommen
- Sie erhalten remote Zugriff auf Ihren persönlichen Schulungs-PC im GFU-Seminarraum
- Die Virtual Classroom Lösung lässt sich auch im Browser betreiben
- Die GFU-Technik leistet wie gewohnt Soforthilfe bei Problemen
- Die Schulungsunterlagen bekommen Sie via DHL zugeschickt
- Sie sparen Reisekosten und Zeit
- 31. Aug. - 01. Sep. ✓ Noch einige Plätze frei ▶ Köln + Online/Remote
- 02. Nov. - 03. Nov. ✓ Noch einige Plätze frei ▶ Köln + Online/Remote
- 18. Jan. - 19. Jan. ✓ Noch einige Plätze frei ▶ Köln + Online/Remote
- 29. Apr. - 30. Apr. ✓ Noch einige Plätze frei ▶ Köln + Online/Remote
- 29. Jun. - 30. Jun. ✓ Noch einige Plätze frei ▶ Köln + Online/Remote
- Auch als Inhouse-Schulung, bundesweit mit Termin nach Wunsch und individuellen Inhalten
- Buchen ohne Risiko! Kostenfreie Stornierung bis zum Vortag des Seminars
Die Seminare der GFU finden in angenehmer Atmosphäre statt und sind perfekt organisiert. Profitieren Sie von dem Rundum-Service der GFU!
Machen Sie sich keinen Kopf um die Anreise! Unser Shuttle fährt Sie. Oder Sie parken einfach auf einem extra für Sie reservierten Parkplatz.
Hotelzimmer gesucht? Wir organisieren Ihnen eins. Ihr Vorteil: Sie sparen Zeit und Geld!
Stornierung bei offenen Seminaren kostenfrei bis einen Tag vor Schulungsbeginn.
Unsere Techniker sind immer zur Stelle, egal ob online oder vor Ort.