Messsystemanalyse

Weighted κ (ordinal, linear/quadratisch)

weighted-kappa — Übereinstimmung mit distanzabhängiger Gewichtung, für ordinale Skalen (z. B. Noten 1–5).

Statusvalidated

Version1.0.0

Minitab-EntsprechungStat > Quality Tools > Attribute Agreement Analysis (ordinal, weighted kappa)

Beschreibung

Weighted κ verallgemeinert Cohen κ, indem Fehlklassifikationen nicht mehr binär (0/1), sondern nach ihrer Distanz auf der ordinalen Skala gewichtet werden. Kleine Abweichungen (Note 3 vs. 4) zählen weniger als große (Note 1 vs. 5). Zwei Standardvarianten: linear (w_ij = 1 − |i−j|/(k−1)) und quadratisch (w_ij = 1 − ((i−j)/(k−1))²). Die quadratische Variante nach Cicchetti & Allison (1971) ist der De-facto-Standard und Minitab-kompatibel. Ohne Gewichtung reduziert sich weighted κ auf cohen-kappa.

Formeln

W (linear)

w_{ij} = 1 - \frac{∣ i - j ∣}{k - 1}

Lineare Gewichts-Matrix; k = Anzahl ordinaler Stufen

W (quadratisch)

w_{ij} = 1 - (\frac{i - j}{k - 1})^{2}

Quadratische Gewichts-Matrix (Cicchetti-Allison-Standard)

p_o (weighted)

p_{o} = i, j \sum w_{ij} \cdot p_{ij}

Gewichtete beobachtete Übereinstimmung (p_ij = relative Zellhäufigkeit)

p_e (weighted)

p_{e} = i, j \sum w_{ij} \cdot p_{i \cdot} p_{\cdot j}

Gewichtete erwartete Zufallsübereinstimmung

κ_w

κ_{w} = \frac{p _{o} - p _{e}}{1 - p _{e}}

Weighted-Kappa-Koeffizient

Annahmen

Ordinale Skala mit definierter Reihenfolge der Stufen
Zwei Prüfer bewerten dieselben Teile
Gewichtungsschema bewusst gewählt (linear = milde, quadratisch = strenge Bestrafung großer Abweichungen)

Einschränkungen

Nicht sinnvoll für rein nominale Skalen — dort cohen-kappa oder fleiss-kappa verwenden
Wahl von linear vs. quadratisch verändert κ deutlich; für Vergleichbarkeit dieselbe Variante wählen

Referenzen

Cohen, J. (1968) — Weighted kappa: Nominal scale agreement with provision for scaled disagreement, Psychological Bulletin 70(4)
Cicchetti, D. V. & Allison, T. (1971) — A new procedure for assessing reliability of scoring EEG sleep recordings, American Journal of EEG Technology 11(3)
Fleiss, J. L., Cohen, J. & Everitt, B. S. (1969) — Large sample standard errors of kappa and weighted kappa, Psychological Bulletin 72(5)