Fleiss κ

Kappa-Statistik für mehr als zwei Prüfer bei nominalen oder binären Merkmalen — Gesamt-Übereinstimmung.

Auch bekannt als: Fleiss' Kappa, κ (Fleiss), multirater kappa

Fleiss κ verallgemeinert Cohen κ auf $\geq 3$ Prüfer und liefert einen Wert für die Gesamt-Übereinstimmung. Für jedes Teil $i$ und jede Klasse $j$ sei $n_{ij}$ die Anzahl der Prüfer-Bewertungen der Klasse $j$ .

P_{i} = \frac{\sum _{j} n _{ij}^{2} - n _{i \cdot}}{n _{i \cdot} ( n _{i \cdot} - 1 )}, κ = \frac{P ˉ - P _{e}}{1 - P _{e}}, P_{e} = j \sum \overset{p}{ˉ}_{j}^{2}

$P_{i}$ ist die paarweise Übereinstimmung innerhalb eines Teils, $\overset{ˉ}{P}$ deren Mittelwert. $\overset{p}{ˉ}_{j}$ sind die Randanteile der Klassen. Bei ungleichen Rater-Zahlen wechselt die Engine auf die Randolph-Variante. Getestet wird $H_{0} : κ = 0$ mit dem Standardfehler unter $H_{0}$ nach Fleiss/Nee/Landis 1979 (Fleiss/Levin/Paik 2003, wie Minitab): $z = κ / SE_{0}$ , einseitiges $p$ . Ein Konfidenzintervall für Fleiss κ gibt Qprovement nicht aus, Minitab ebenfalls nicht.

Siehe auch

Verwendet in

MSA Typ 5 (attributiv)

Im Algorithm-Lab

msa/fleiss-kappa

Quellen

Fleiss, J.L. (1971). Measuring nominal scale agreement among many raters. Psychological Bulletin, 76(5), 378–382.
Fleiss, J.L., Nee, J.C.M., & Landis, J.R. (1979). Large sample variance of kappa in the case of different sets of raters. Psychological Bulletin, 86(5), 974–977.
Randolph, J.J. (2005). Free-marginal multirater kappa: An alternative to Fleiss' fixed-marginal multirater kappa. Joensuu Learning and Instruction Symposium.
Fleiss, J.L., Levin, B., & Paik, M.C. (2003). Statistical Methods for Rates and Proportions, 3rd ed. Wiley — Kap. 18.