Messsystemanalyse

Fleiss κ (≥ 2 Prüfer)

fleiss-kappa — Gesamt-Übereinstimmung von zwei oder mehr Prüfern für kategoriale Daten.

Statusvalidated

Version2.0.0

Minitab-EntsprechungStat > Quality Tools > Attribute Agreement Analysis (multiple appraisers, kappa summary)

Beschreibung

Fleiss κ verallgemeinert Cohens Idee auf mehr als zwei Prüfer und beliebige Kategorien. Grundlage ist die pro Teil beobachtete Paar-Übereinstimmung P_i, die über alle Teile gemittelt und ins Verhältnis zur erwarteten Zufallsübereinstimmung P_e (aus den Klassen-Randanteilen) gesetzt wird. Die klassische Formel setzt gleich viele Bewertungen pro Teil voraus (`fleiss-1971`); bei ungleichen Prüfer-Zahlen pro Teil wechselt Qprovement auf die kappa-Variante nach Randolph (free-marginal), für die es keinen geschlossenen SE-Ausdruck gibt — SE₀, z und p sind dann NaN. Der geschlossene Standardfehler nach Fleiss, Nee & Landis (1979) gilt nur unter H₀ κ = 0; er speist deshalb den einseitigen z-Test und kein Konfidenzintervall (Minitab weist ebenfalls keines aus).

Formeln

P_i

P_{i} = \frac{\sum _{j} n _{ij}^{2} - n _{i \cdot}}{n _{i \cdot} ( n _{i \cdot} - 1 )}

Beobachtete Paar-Übereinstimmung an Teil i (n_ij = Anzahl Bewertungen der Klasse j)

P̄

\overset{ˉ}{P} = \frac{1}{N} i = 1 \sum N P_{i}

Mittelwert der Paar-Übereinstimmung über alle Teile

P_e

P_{e} = j \sum \overset{p}{ˉ}_{j}^{2}, \overset{p}{ˉ}_{j} = \frac{\sum _{i} n _{ij}}{N \cdot n ˉ}

Erwartete Zufallsübereinstimmung aus den Klassen-Randanteilen

κ = \frac{P ˉ - P _{e}}{1 - P _{e}}

Fleiss-Kappa-Koeffizient

Randolph (unbalanced)

κ_{R} = \frac{K P ˉ - 1}{K - 1}

Free-marginal-Variante bei ungleichen n_i·; K = Anzahl Klassen

SE₀(κ)

SE_{0}^{2} = \frac{2}{N n ( n - 1 )} \cdot \frac{( \sum _{j} p ˉ _{j} q ˉ _{j} ) ^{2} - \sum _{j} p ˉ _{j} q ˉ _{j} ( q ˉ _{j} - p ˉ _{j} )}{( \sum _{j} p ˉ _{j} q ˉ _{j} ) ^{2}}, \overset{q}{ˉ}_{j} = 1 - \overset{p}{ˉ}_{j}

Standardfehler unter H₀ κ = 0 nach Fleiss, Nee & Landis (1979), n = Bewertungen je Teil; binär vereinfacht zu 2/(N n (n−1)); nur für den Test

z, p

z = \frac{κ}{SE _{0}}, p = 1 - Φ (z)

Einseitiger Test H₀ κ = 0 gegen κ > 0 (wie Minitab)

Annahmen

Mindestens zwei unabhängige Prüfer bewerten dieselben Teile
Kategoriale Bewertungen (binär oder nominal); für ordinale Skalen ist paarweise weighted-kappa aussagekräftiger
Für den Standardfehler unter H₀: gleiche Bewertungszahl pro Teil

Einschränkungen

Bei ungleichen n_i· (Randolph-Fallback) ist kein Test definiert — nur der Punktschätzer κ ist verfügbar
Fleiss κ ist definitionsgemäß unweighted — bei ordinalen Skalen kaschiert es kleine Fehlklassifikationen

Referenzen

Fleiss, J. L. (1971) — Measuring nominal scale agreement among many raters, Psychological Bulletin 76(5)
Randolph, J. J. (2005) — Free-marginal multirater kappa, Joensuu Learning and Instruction Symposium
Fleiss, J. L., Nee, J. C. M., & Landis, J. R. (1979) — Large sample variance of kappa in the case of different sets of raters, Psychological Bulletin 86(5), 974–977
Fleiss, J. L., Levin, B. & Paik, M. C. (2003) — Statistical Methods for Rates and Proportions, 3rd Edition, Wiley (§18)