Messsystemanalyse

Cohen κ (zwei Prüfer)

cohen-kappa — Übereinstimmung zwischen zwei Prüfern für kategoriale Daten, korrigiert um Zufallsübereinstimmung.

Statusvalidated

Version1.0.0

Minitab-EntsprechungStat > Quality Tools > Attribute Agreement Analysis (paired appraisers)

Beschreibung

Cohen κ vergleicht die beobachtete Übereinstimmung p_o mit der aus den Randverteilungen erwarteten Zufallsübereinstimmung p_e. κ = 1 → perfekte Übereinstimmung, κ = 0 → nur Zufall, κ < 0 → schlechter als Zufall. Grundbaustein aller kappa-Kennzahlen in DMAIC.io; wird in MSA Typ 5 paarweise für alle Prüferpaare berechnet und liefert das Fundament für fleiss-kappa und weighted-kappa. Die Standardfehler-Näherung nach Fleiss/Cohen/Everitt (1969) speist ein symmetrisches Wald-Konfidenzintervall.

Formeln

p_o

p_{o} = \frac{1}{N} i \sum n_{ii}

Beobachtete Übereinstimmung: Anteil der Fälle auf der Diagonale der Kreuztabelle

p_e

p_{e} = i \sum \frac{n _{i \cdot} n _{\cdot i}}{N ^{2}}

Erwartete Zufallsübereinstimmung nach beobachteten Randverteilungen

κ = \frac{p _{o} - p _{e}}{1 - p _{e}}

Cohen-Kappa-Koeffizient

SE(κ)

SE (κ) = \frac{p _{o} ( 1 - p _{o} )}{N ( 1 - p _{e} ) ^{2}}

Standardfehler nach Fleiss/Cohen/Everitt (1969)

95 %-KI

κ \pm z_{1 - α /2} \cdot SE (κ)

Symmetrisches Wald-Konfidenzintervall

Annahmen

Zwei Prüfer bewerten dieselbe Menge Teile mit derselben Skala
Kategoriale Bewertungen (binär oder nominal); für ordinale Skalen ist weighted-kappa passender
Unabhängige Bewertungen (Prüfer beeinflussen sich nicht gegenseitig)

Einschränkungen

κ ist niedrig, wenn eine Klasse selten ist, auch bei fast perfekter Übereinstimmung (Kappa-Paradox)
Der Wald-SE ist unter H₀ κ=0 hergeleitet — bei sehr kleinen N sind KI-Ränder ungenau

Referenzen

Cohen, J. (1960) — A coefficient of agreement for nominal scales, Educational and Psychological Measurement 20(1)
Fleiss, J. L., Cohen, J. & Everitt, B. S. (1969) — Large sample standard errors of kappa and weighted kappa, Psychological Bulletin 72(5)
AIAG — Measurement Systems Analysis Reference Manual, 4th Edition (MSA-4), Kapitel III-B: Attribute Measurement Systems