MSA Typ 5 (attributiv)

Ziel des Verfahrens

MSA Verfahren 5 (Attribute Measurement System Analysis) prüft Prüfprozesse, die keine stetigen Messwerte liefern, sondern eine kategoriale Entscheidung treffen — binär (i.O./n.i.O.), nominal (Fehlerklassen A/B/C ohne Rangordnung) oder ordinal (Note 1–5, geordnet). Das Modul bewertet Kappa-basiert, wie zuverlässig und reproduzierbar mehrere Prüfer die Teile derselben Kategorie zuordnen.

Übereinstimmung (Agreement): Anteil der Bewertungen, bei denen zwei oder mehr Prüfer dieselbe Kategorie vergeben. Roher Agreement-Anteil überschätzt die Zuverlässigkeit, weil er zufällige Übereinstimmungen mitzählt — deshalb korrigieren die Kappa-Statistiken um den Zufallsanteil.

Wiederholbarkeit: Fähigkeit eines Prüfers, dasselbe Teil bei mehrfacher Bewertung immer wieder in dieselbe Kategorie einzuordnen. Wird als Anteil der (Teil × Prüfer)-Kombinationen berechnet, in denen alle Wiederholungen exakt übereinstimmen.

Effektivität (mit Referenz): Anteil der Einzel-Bewertungen eines Prüfers, die mit der Referenz übereinstimmen. Braucht rückführbare Referenzurteile — fehlt die Referenz-Spalte, greift der Konsens-Fallback und nur die Prüfer-untereinander-Kennzahlen bleiben aussagekräftig.

Abgrenzung: MSA Typ 1/2/4 arbeiten mit variablen Messwerten (mm, N, °C) und liefern Cg/Cgk, Gage R&R oder Linearität. Typ 5 dagegen bewertet attributive Prüfprozesse — visuelle Sichtprüfungen, Klassifikationsentscheidungen, Sortierungen — und liefert κ, Effektivität sowie — bei binären Merkmalen mit Referenz — Signal-Detection-Kennzahlen.

Datenanforderungen

• Long/tidy-Format mit drei Pflicht-Spalten: Teil-ID, Prüfer-ID, Bewertung. Jede Zeile ist eine Einzel-Bewertung.
• Optionale Referenz-Spalte mit dem wahren Kategoriewert je Teil. Fehlt sie, greift der Konsens-Fallback.
• Optionale Wiederholungs-Spalte. Fehlt sie, nummeriert die Engine je (Teil × Prüfer) automatisch von 1 an.
• Mindestens 2 unterschiedliche Teile, 2 unterschiedliche Prüfer und 2 vorkommende Bewertungs-Klassen.
• Für Wiederholbarkeit: mindestens 2 Wiederholungen je (Teil × Prüfer) — sonst warnt die Engine mit W_LOW_REP_COUNT.
• AIAG-Empfehlung für Freigabestudien: 50 Teile · 3 Prüfer · 3 Wiederholungen, mit ~50 % Grenzfällen im Datensatz.

Long/tidy statt wide: Nicht eine Spalte je Prüfer/Wiederholung anlegen, sondern vier lange Spalten (Teil, Prüfer, Bewertung, ggf. Wiederholung). Minitab akzeptiert auch ein breites Format (eine Spalte je Prüfer und Durchgang); Qprovement verarbeitet derzeit nur das lange Format.

Merkmalstyp: Binär (2 Klassen, positiv zuerst) → Cohen κ + Miss-/False-Alarm-Rate + Signal Detection. Nominal (≥ 3 Klassen, ungeordnet) → Cohen κ + Fleiss κ. Ordinal (geordnete Stufen) → zusätzlich Weighted κ (linear oder quadratisch), das kleine Fehlklassifikationen milder gewichtet als große.

Referenz vs. Konsens: Rückführbare Referenzurteile (Experten-Set, Master-Sample) liefern die belastbarste Effektivität. Ohne Referenz leitet der Konsens-Fallback je Teil ein Mehrheitsvotum ab; bei Gleichstand landet das Teil in meta.ambiguousParts und wird aus allen Vs-Referenz-Kennzahlen ausgeschlossen. κ unter Prüfern bleibt davon unberührt.

Formeln

Kern von Typ 5 sind die Kappa-Statistiken. Sie messen den Anteil der Übereinstimmung, der über die zufällige hinausgeht — von 1 (perfekt) über 0 (Zufallsniveau) bis negativ (systematische Uneinigkeit).

Cohen κ (zwei Prüfer)

Beobachtete Übereinstimmung: $p_o={\Sigma }_i{n}_{ii}$ / N — Diagonalsumme der Kreuztabelle geteilt durch Gesamtzahl der Bewertungspaare.

Zufällige Übereinstimmung: $p_e={\Sigma }_i(n_{i\cdot }\cdot n_{\cdot i}$) / N² — erwartete Übereinstimmung aus den Randverteilungen der beiden Prüfer.

Cohen κ: $\kappa =(p_o-p_e)/(1-p_e)$. SE(κ) nach Fleiss/Cohen/Everitt (1969); 95 %-KI $=\kappa \pm z_{1-\alpha /2}\cdot SE(\kappa )$. Für den Test gegen Zufall dient die unter $H_0$: κ = 0 berechnete $S{E}_0$ (Fleiss/Cohen/Everitt 1969).

Fleiss κ (≥ 2 Prüfer)

Fleiss κ: $P_i=({\Sigma }_j{n}_{ij}^2-n_{i\cdot })/(n_{i\cdot }(n_{i\cdot }-1))$ je Teil $i$, $\bar{P}$ = Mittelwert. ${\bar{p}}_j$ = Klassen-Randanteil. $\kappa =(\bar{P}-P_e)/(1-P_e)$ mit $P_e={\Sigma }_j{\bar{p}}_j^2$. Bei ungleichen Rater-Zahlen wechselt die Engine auf die Randolph-Variante und vermerkt dies im Feld method.

z und p je κ: $z=\kappa /S{E}_0$, einseitiger p-Wert $p=1-\Phi (z)$ für $H_0$: κ = 0. Ein kleines p sagt nur, dass die Übereinstimmung besser als Zufall ist — nicht, dass sie gut genug ist. Für Fleiss κ gibt es kein Konfidenzintervall: die geschlossene Varianzformel gilt nur unter $H_0$ und taugt für den Test, nicht für ein Intervall (Fleiss, Levin & Paik 2003). Minitab weist ebenfalls keines aus. p unter 0,001 erscheint als „< 0,001".

κ innerhalb Prüfer: Fleiss κ je Prüfer über seine eigenen Durchgänge: die Wiederholungen spielen die Rolle der Rater. Misst, wie gut ein Prüfer mit sich selbst übereinstimmt — zufallskorrigiert, anders als die Wiederholbarkeit. Nur Teile mit mindestens zwei Durchgängen zählen; bei ungleichen Durchgangszahlen gilt die Randolph-Variante.

Weighted κ (ordinal)

Weighted κ: Gewichts-Matrix $W$: linear $w_{ij}=1-|i-j|/(k-1)$ oder quadratisch $w_{ij}=1-((i-j)/(k-1){)}^2$. Damit werden nahe Fehlklassifikationen (Note 3 ⟷ 4) milder gestraft als weite (1 ⟷ 5). ${\kappa }_w=(p_o^w-p_e^w)/(1-p_e^w)$.

Effektivität + Wilson-Score-KI

Effektivität: eff = #{(Teil, Wdh) mit Bewertung = Referenz} / #{(Teil, Wdh) : Teil ∉ ambig}. Anteil der Einzel-Bewertungen, die mit der Referenz übereinstimmen — je Prüfer.

Wilson-Score-KI: Für einen Anteil p̂ = x/n gilt (p̂ + z²/(2n) ± z·√(p̂(1−p̂)/n + z²/(4n²))) / (1 + z²/n). Bessere Abdeckung bei kleinen n und Anteilen nahe 0 oder 1 als das Wald-KI.

Das Signifikanzniveau α wirkt auf die Cohen-κ-Konfidenzintervalle und die Wilson-Intervalle. Die p-Werte der κ-Tests werden unabhängig von α ausgewiesen.

Miss-Rate, False-Alarm-Rate, Bias (nur binär mit Referenz)

Miss-Rate: miss = P(Bewertung = positiv | Referenz = negativ). Falsche Annahme — ein tatsächlich n.i.O.-Teil wurde als i.O. eingestuft.

False-Alarm-Rate: fa = P(Bewertung = negativ | Referenz = positiv). Falscher Alarm — ein tatsächlich i.O.-Teil wurde als n.i.O. eingestuft.

Bias-Rate: bias = miss − fa. Größer 0: der Prüfer ist zu tolerant; kleiner 0: zu streng.

Signal Detection (nur binär mit Referenz)

d′ (Sensitivität): d′ = z(hit) − z(fa) mit hit = P(Bewertung=pos | Referenz=pos) und fa wie oben. Trennschärfe des Prüfers zwischen i.O. und n.i.O.; höher = besser.

Kriterium c (Entscheidungsschwelle): c = −½ · (z(hit) + z(fa)). c > 0: Prüfer ist konservativ (neigt zu „n.i.O."), c < 0: liberal (neigt zu „i.O."). c ≈ 0: neutrale Schwelle.

Randkorrektur nach Hautus (1995): bei hit ∈ {0, 1} oder fa ∈ {0, 1} wird ± 0,5/N adjustiert (Log-Linear-Korrektur), damit z(·) nicht ins Unendliche läuft.

Fehlerdetails

Die Kennzahlen sagen, wie gut das Prüfsystem ist. Die zwei Detailtabellen sagen, woran es liegt — und erst damit lässt sich etwas verbessern. Beide schließen Teile ohne bekannte Referenz aus der Fehlerzählung aus, zeigen sie aber weiterhin an.

Bewertungen je Teil: Eine Zeile je Teil mit der Referenz, den Bewertungen jedes Prüfers, der Zahl der Abweichungen von der Referenz und der Zahl der in sich uneinheitlichen Prüfer. Gezählt werden einzelne Bewertungen, nicht Prüfer: ein konsistent falscher Prüfer wiegt damit schwerer als ein einmaliger Ausrutscher. Sortiert ist nach Problemgrad, der Filter blendet die unstrittigen Teile aus. Häufen sich die Abweichungen auf wenigen Teilen, fehlt dort meist ein Grenzmuster — nicht die Schulung.

Verwechslungen je Prüfer: Eine Zeile je Prüfer und Verwechslungsart („n.i.O. → i.O." heißt: Referenz n.i.O., bewertet als i.O.), dazu die betroffenen Teile. Die Zeile gemischt zählt die (Teil, Prüfer)-Paare, deren Wiederholungen nicht alle gleich ausfielen — das ist Uneinigkeit mit sich selbst und braucht keine Referenz. Einseitige Verwechslungen zeigen einen systematischen Bias (zu streng oder zu lax), beidseitige eher eine unklare Prüfanweisung.

Alle Prüfer einig: Anteil der Teile, an denen alle Prüfer über alle Wiederholungen dasselbe bewertet haben. Braucht keine Referenz und ist strenger als jede Einzelkennzahl: ein einziger abweichender Prüfer lässt das Teil herausfallen.

Alle einig und richtig: Dieselbe Bedingung, zusätzlich muss die einhellige Bewertung der Referenz entsprechen. Die Differenz zur Kachel daneben ist der interessanteste Wert der ganzen Auswertung: sie zählt die Teile, bei denen sich das Team einig und trotzdem falsch war. Solche Fälle findet keine Übereinstimmungs-Kennzahl — auch κ nicht, denn κ misst Übereinstimmung, nicht Richtigkeit.

Bewertung & Ampeln

Das Urteil folgt der gewählten Bewertungsregel: voreingestellt AIAG MSA 4th Ed. Kap. III-C (attributive Studie), wahlweise Bosch Heft 10. Die Tabelle Urteilskriterien zeigt jedes bewertete Kriterium mit Wert, Prüfer, Grenzen und Status. Die ausschlaggebende Zeile ist hervorgehoben und steht auch neben dem Urteil.

AIAG MSA (4. Aufl.), Kap. III-C

• Fleiss κ: gut ≥ 0,75 · bedingt ≥ 0,40 · darunter nicht akzeptabel
• Effektivität (kleinste): gut ≥ 90 % · bedingt ≥ 80 % · darunter nicht akzeptabel
• Miss-Rate (größte): gut ≤ 2 % · bedingt ≤ 5 % · darüber nicht akzeptabel
• Fehlalarm-Rate (größte): gut ≤ 5 % · bedingt ≤ 10 % · darüber nicht akzeptabel

Das schlechteste Kriterium entscheidet. Miss-Rate und Fehlalarm-Rate zählen nur bei binären Daten mit Referenz-Spalte. Stammt die Referenz aus dem Konsens der Prüfer, bleibt ein Fehler, den die Mehrheit teilt, unsichtbar. Die beiden Raten stehen dann nur zur Information in der Prüfer-Tabelle, und ein Hinweis unter den Urteilskriterien sagt das. Ein Prüfer ohne n.i.O.-Referenzteile hat keine Miss-Rate, einer ohne i.O.-Teile keine Fehlalarm-Rate; er wird für dieses Kriterium übersprungen.

Bosch Heft 10

Bewertet wird das kleinste verfügbare κ aus Fleiss κ gesamt, κ innerhalb jedes Prüfers und κ jedes Prüfers gegen die Referenz: ≥ 0,9 fähig, ≥ 0,7 bedingt fähig, darunter nicht fähig. Heft 10 (2019, Verfahren 7) nimmt ebenfalls das Minimum aller ermittelten κ, rechnet κ gegen die Referenz aber als Fleiss κ und bewertet zusätzlich alle Prüfer gemeinsam gegen die Referenz; Qprovement nutzt hier Cohens κ je Prüfer. Die κ-Ampeln in den Ergebnistabellen folgen den Grenzen der gewählten Regel.

Ambige Teile ohne Referenz: Wenn der Konsens-Fallback für ein Teil kein Mehrheitsvotum findet (Gleichstand bei binär/nominal, kein eindeutiger Median bei ordinal), landet das Teil in meta.ambiguousParts und wird nur aus Effektivität, Miss-/False-Alarm und SDT ausgeschlossen. Kappa unter Prüfern bleibt erhalten.

Interpretation-Textbaustein: Neben dem Urteil stehen Fleiss κ mit z und p sowie das ausschlaggebende Kriterium; der Interpretations-Absatz nennt ggf. die Warnungen W_UNBALANCED_REPS, W_AMBIGUOUS_CONSENSUS und W_LOW_REP_COUNT.

Beispieldaten

Dieses Modul wird mit den folgenden Beispieldatensätzen ausgeliefert — mit einem Klick in der App ladbar.

Verfügbar in folgenden Zyklen

• DMAIC: Measure
• DMADV: Measure
• 8D: D2 — Problem beschreiben