Hypothesentest

Überblick

Ein Hypothesentest prüft, ob eine in den Daten beobachtete Abweichung wirklich ein echter Effekt ist oder durch Zufall entstanden sein könnte. Er ist das zentrale Entscheidungsinstrument der Analyze-Phase — mit ihm lassen sich Aussagen wie „der Mittelwert hat sich verändert" oder „die beiden Maschinen liefern unterschiedliche Qualität" statistisch absichern.

Nullhypothese (H₀): Die Nullhypothese H₀ ist die „Es ist nichts los"-Annahme. Typisch: „die Mittelwerte sind gleich", „es gibt keinen Unterschied". Der Test versucht, diese Annahme zu widerlegen — er bestätigt sie nie.

Alternativhypothese (H₁): Die Alternativhypothese H₁ — die interessante Gegenannahme: „die Mittelwerte unterscheiden sich", „der neue Prozess ist besser". Sie wird akzeptiert, wenn die Daten H₀ widerlegen.

p-Wert: Der p-Wert ist die Wahrscheinlichkeit, die beobachteten (oder extremere) Daten zu sehen, wenn H₀ wahr wäre. Ein kleiner p-Wert heißt: Die Daten lassen sich unter H₀ schwer erklären. Er ist nicht die Wahrscheinlichkeit, dass H₀ wahr ist, und nicht die Wahrscheinlichkeit, dass der Unterschied „nur Zufall“ ist. Übliche Schwelle: p < 0,05 → H₀ verwerfen.

Signifikanzniveau (α): Das Signifikanzniveau α ist die vorab festgelegte Risikogrenze, H₀ fälschlich zu verwerfen. Meist 0,05 (5 %). α ist eine Entscheidung des Analysten, nicht der Daten.

Fehler 1. und 2. Art: Fehler 1. Art (α): H₀ verwerfen, obwohl sie stimmt — „Alarm ohne Grund". Fehler 2. Art (β): H₀ nicht verwerfen, obwohl sie falsch ist — „echten Effekt übersehen". Power = 1 − β.

Teststatistik: Die Teststatistik ist eine aus den Daten berechnete Kennzahl (z. B. t, z, F, χ²), die in eine bekannte Verteilung eingeordnet wird. Aus ihr wird der p-Wert abgeleitet.

Die Wahl des richtigen Tests hängt von der Fragestellung (ein Mittelwert, Vergleich zweier Gruppen, mehr als zwei Gruppen?), der Skala (stetig, kategorial) und den Verteilungsannahmen ab. Häufige Tests: 1-Stichproben-t, 2-Stichproben-t, gepaarter t, ANOVA, Mann-Whitney (nichtparametrisch). Tests für Anteile und kategoriale Daten (Chi-Quadrat, Fisher) bietet Qprovement noch nicht an.

2-Stichproben-Vergleich (Mittelwerte): Für zwei Mittelwerte rechnet das Modul standardmäßig den Welch-t-Test. Er setzt keine gleichen Varianzen voraus und verliert bei tatsächlich gleichen Varianzen kaum Trennschärfe. Ein vorgeschalteter Varianztest, der zwischen gepooltem t-Test und Welch umschaltet, verfälscht das α-Risiko und entfällt deshalb. Den gepoolten t-Test gibt es nur über die Option „Gleiche Varianzen annehmen“, wenn gleiche Streuung aus der Sache heraus begründet ist (z. B. gleicher Prozess, gleiches Messsystem). Bei nicht normalverteilten Daten (Anderson-Darling) und weniger als 20 Werten in einer Gruppe rechnet das Modul Mann-Whitney; ab n ≥ 20 je Gruppe bleibt der t-Test, und Mann-Whitney erscheint als Zweitergebnis.

k-Stichproben-Vergleich (Mittelwerte): Bei mehr als zwei Gruppen ist die einfaktorielle Varianzanalyse (One-Way ANOVA) das passende Verfahren — sie zerlegt die Gesamtvariation in Anteile zwischen und innerhalb der Gruppen und vergleicht diese über eine F-Statistik. Ob Daten als normalverteilt gelten, entscheidet der Anderson-Darling-Test; Shapiro-Wilk wird nur zur Information angezeigt. Sind Daten nicht normalverteilt und hat mindestens eine Gruppe weniger als 20 Werte, wechselt das Modul auf den Kruskal-Wallis-Test (rangbasiert; nichtparametrisches Pendant zur ANOVA). Ab n ≥ 20 je Gruppe ist die ANOVA robust und bleibt das Hauptergebnis; Kruskal-Wallis erscheint dann als Zweitergebnis zum Abgleich, denn er prüft eine andere Hypothese (Verschiebung der Verteilung statt Mittelwerte). Beide Tests sind Omnibus-Tests: sie zeigen, dass mindestens ein Mittelwert abweicht, ohne zu sagen welcher — dafür sind anschließende Post-Hoc-Vergleiche (z. B. Tukey HSD) nötig.

k-Stichproben-Vergleich (Varianzen): Für die Gleichheit von Varianzen über mehrere Gruppen stehen zwei Tests bereit: der Bartlett-Test (parametrisch, sehr trennscharf bei Normalverteilung, aber empfindlich gegen Abweichungen davon) und der Levene-Test (Brown-Forsythe-Variante, robust gegen Nicht-Normalität). Das Modul wählt automatisch je nach Normalverteilungsprüfung.

Vorgehen

• Fragestellung präzise formulieren — was will ich eigentlich wissen?
• H₀ und H₁ sauber aufschreiben — vor der Datenanalyse.
• Signifikanzniveau α festlegen (typisch 0,05) — vor dem Rechnen.
• Passenden Test wählen (abhängig von Skala, Gruppenzahl, Verteilung, Unabhängigkeit).
• Voraussetzungen prüfen (Normalverteilung? gleiche Varianzen? unabhängige Beobachtungen?).
• Test rechnen und p-Wert ablesen.
• Entscheidung: p < α → H₀ verwerfen; sonst keine Evidenz gegen H₀.
• Zusätzlich Effektstärke und Konfidenzintervall berichten — der p-Wert allein sagt wenig über Größe und Relevanz.

Stolperfallen

„H₀ akzeptieren" statt „nicht verwerfen": Ein nicht-signifikantes Ergebnis beweist H₀ nicht — es zeigt nur, dass die Daten nicht reichen, sie zu widerlegen. Abwesenheit von Evidenz ist nicht Evidenz für Abwesenheit.

p-Wert als Effektgröße missdeuten: p = 0,001 bedeutet nicht „großer Effekt", sondern nur „sehr unwahrscheinlich unter H₀". Ein p-Wert hängt stark von der Stichprobengröße ab. Effektstärke und Konfidenzintervall zeigen die Größe.

Voraussetzungen nicht geprüft: Ein t-Test auf stark schiefe Daten oder ein ANOVA bei massiv unterschiedlichen Varianzen liefert falsche p-Werte. Mindestens Histogramm und Varianzen prüfen, ggf. nichtparametrisch arbeiten.

Mehrfachtests ohne Korrektur: Wer 20 Tests auf zufälligen Daten rechnet, findet im Schnitt einen mit p < 0,05 — ohne echten Effekt. Bei vielen Vergleichen Bonferroni, FDR oder ein besseres Design verwenden.

Nach den Daten die Hypothese formulieren: H₀/H₁ erst nach dem Blick auf die Daten aufzuschreiben, macht aus Exploration einen scheinbar bestätigten Test (p-Hacking). Die Hypothese gehört vor das Experiment.

Signifikant ≠ praktisch relevant: Bei n = 100 000 wird jeder minimale Unterschied signifikant. Vor der Präsentation immer fragen: „Ist die Differenz groß genug, um überhaupt zu handeln?".

Beispieldaten

Dieses Modul wird mit den folgenden Beispieldatensätzen ausgeliefert — mit einem Klick in der App ladbar.

Verfügbar in folgenden Zyklen

• DMAIC: Analyze
• DMADV: Analyze
• 8D: D4 — Ursachenanalyse