MSA Typ 5 (attributiv)

Ziel des Verfahrens

MSA Verfahren 5 (Attribute Measurement System Analysis) prüft Prüfprozesse, die keine stetigen Messwerte liefern, sondern eine kategoriale Entscheidung treffen — binär (i.O./n.i.O.), nominal (Fehlerklassen A/B/C ohne Rangordnung) oder ordinal (Note 1–5, geordnet). Das Modul bewertet Kappa-basiert, wie zuverlässig und reproduzierbar mehrere Prüfer die Teile derselben Kategorie zuordnen.

Übereinstimmung (Agreement): Anteil der Bewertungen, bei denen zwei oder mehr Prüfer dieselbe Kategorie vergeben. Roher Agreement-Anteil überschätzt die Zuverlässigkeit, weil er zufällige Übereinstimmungen mitzählt — deshalb korrigieren die Kappa-Statistiken um den Zufallsanteil.

Wiederholbarkeit: Fähigkeit eines Prüfers, dasselbe Teil bei mehrfacher Bewertung immer wieder in dieselbe Kategorie einzuordnen. Wird als Anteil der (Teil × Prüfer)-Kombinationen berechnet, in denen alle Wiederholungen exakt übereinstimmen.

Effektivität (mit Referenz): Anteil der Einzel-Bewertungen eines Prüfers, die mit der Referenz übereinstimmen. Braucht rückführbare Referenzurteile — fehlt die Referenz-Spalte, greift der Konsens-Fallback und nur die Prüfer-untereinander-Kennzahlen bleiben aussagekräftig.

Abgrenzung: MSA Typ 1/2/4 arbeiten mit variablen Messwerten (mm, N, °C) und liefern Cg/Cgk, Gage R&R oder Linearität. Typ 5 dagegen bewertet attributive Prüfprozesse — visuelle Sichtprüfungen, Klassifikationsentscheidungen, Sortierungen — und liefert κ, Effektivität sowie — bei binären Merkmalen mit Referenz — Signal-Detection-Kennzahlen.

Datenanforderungen

• Long/tidy-Format mit drei Pflicht-Spalten: Teil-ID, Prüfer-ID, Bewertung. Jede Zeile ist eine Einzel-Bewertung.
• Optionale Referenz-Spalte mit dem wahren Kategoriewert je Teil. Fehlt sie, greift der Konsens-Fallback.
• Optionale Wiederholungs-Spalte. Fehlt sie, nummeriert die Engine je (Teil × Prüfer) automatisch von 1 an.
• Mindestens 2 unterschiedliche Teile, 2 unterschiedliche Prüfer und 2 vorkommende Bewertungs-Klassen.
• Für Wiederholbarkeit: mindestens 2 Wiederholungen je (Teil × Prüfer) — sonst warnt die Engine mit W_LOW_REP_COUNT.
• AIAG-Empfehlung für Freigabestudien: 50 Teile · 3 Prüfer · 3 Wiederholungen, mit ~50 % Grenzfällen im Datensatz.

Long/tidy statt wide: Nicht eine Spalte je Prüfer/Wiederholung anlegen, sondern vier lange Spalten (Teil, Prüfer, Bewertung, ggf. Wiederholung). Dieses Format ist das einzige, das die Engine verarbeitet, und entspricht dem Vorgehen von Minitab und JMP.

Merkmalstyp: Binär (2 Klassen, positiv zuerst) → Cohen κ + Miss-/False-Alarm-Rate + Signal Detection. Nominal (≥ 3 Klassen, ungeordnet) → Cohen κ + Fleiss κ. Ordinal (geordnete Stufen) → zusätzlich Weighted κ (linear oder quadratisch), das kleine Fehlklassifikationen milder gewichtet als große.

Referenz vs. Konsens: Rückführbare Referenzurteile (Experten-Set, Master-Sample) liefern die belastbarste Effektivität. Ohne Referenz leitet der Konsens-Fallback je Teil ein Mehrheitsvotum ab; bei Gleichstand landet das Teil in meta.ambiguousParts und wird aus allen Vs-Referenz-Kennzahlen ausgeschlossen. κ unter Prüfern bleibt davon unberührt.

Formeln

Kern von Typ 5 sind die Kappa-Statistiken. Sie messen den Anteil der Übereinstimmung, der über die zufällige hinausgeht — von 1 (perfekt) über 0 (Zufallsniveau) bis negativ (systematische Uneinigkeit).

Cohen κ (zwei Prüfer)

Beobachtete Übereinstimmung: $p_o={\Sigma }_i{n}_{ii}$ / N — Diagonalsumme der Kreuztabelle geteilt durch Gesamtzahl der Bewertungspaare.

Zufällige Übereinstimmung: $p_e={\Sigma }_i(n_{i\cdot }\cdot n_{\cdot i}$) / N² — erwartete Übereinstimmung aus den Randverteilungen der beiden Prüfer.

Cohen κ: $\kappa =(p_o-p_e)/(1-p_e)$. SE(κ) nach Fleiss/Cohen/Everitt (1969); 95 %-KI $=\kappa \pm z_{1-\alpha /2}\cdot SE(\kappa )$.

Fleiss κ (≥ 2 Prüfer)

Fleiss κ: $P_i=({\Sigma }_j{n}_{ij}^2-n_{i\cdot })/(n_{i\cdot }(n_{i\cdot }-1))$ je Teil $i$, $\bar{P}$ = Mittelwert. ${\bar{p}}_j$ = Klassen-Randanteil. $\kappa =(\bar{P}-P_e)/(1-P_e)$ mit $P_e={\Sigma }_j{\bar{p}}_j^2$. Bei ungleichen Rater-Zahlen wechselt die Engine auf die Randolph-Variante und vermerkt dies im Feld method.

Weighted κ (ordinal)

Weighted κ: Gewichts-Matrix $W$: linear $w_{ij}=1-|i-j|/(k-1)$ oder quadratisch $w_{ij}=1-((i-j)/(k-1){)}^2$. Damit werden nahe Fehlklassifikationen (Note 3 ⟷ 4) milder gestraft als weite (1 ⟷ 5). ${\kappa }_w=(p_o^w-p_e^w)/(1-p_e^w)$.

Effektivität + Wilson-Score-KI

Effektivität: eff = #{(Teil, Wdh) mit Bewertung = Referenz} / #{(Teil, Wdh) : Teil ∉ ambig}. Anteil der Einzel-Bewertungen, die mit der Referenz übereinstimmen — je Prüfer.

Wilson-Score-KI: Für einen Anteil p̂ = x/n gilt (p̂ + z²/(2n) ± z·√(p̂(1−p̂)/n + z²/(4n²))) / (1 + z²/n). Bessere Abdeckung bei kleinen n und Anteilen nahe 0 oder 1 als das Wald-KI.

Miss-Rate, False-Alarm-Rate, Bias (nur binär mit Referenz)

Miss-Rate: miss = P(Bewertung = positiv | Referenz = negativ). Falsche Annahme — ein tatsächlich n.i.O.-Teil wurde als i.O. eingestuft.

False-Alarm-Rate: fa = P(Bewertung = negativ | Referenz = positiv). Falscher Alarm — ein tatsächlich i.O.-Teil wurde als n.i.O. eingestuft.

Bias-Rate: bias = miss − fa. Größer 0: der Prüfer ist zu tolerant; kleiner 0: zu streng.

Signal Detection (nur binär mit Referenz)

d′ (Sensitivität): d′ = z(hit) − z(fa) mit hit = P(Bewertung=pos | Referenz=pos) und fa wie oben. Trennschärfe des Prüfers zwischen i.O. und n.i.O.; höher = besser.

Kriterium c (Entscheidungsschwelle): c = −½ · (z(hit) + z(fa)). c > 0: Prüfer ist konservativ (neigt zu „n.i.O."), c < 0: liberal (neigt zu „i.O."). c ≈ 0: neutrale Schwelle.

Randkorrektur nach Hautus (1995): bei hit ∈ {0, 1} oder fa ∈ {0, 1} wird ± 0,5/N adjustiert (Log-Linear-Korrektur), damit z(·) nicht ins Unendliche läuft.

Fehlerdetails

Die Kennzahlen sagen, wie gut das Prüfsystem ist. Die zwei Detailtabellen sagen, woran es liegt — und erst damit lässt sich etwas verbessern. Beide schließen Teile ohne bekannte Referenz aus der Fehlerzählung aus, zeigen sie aber weiterhin an.

Bewertungen je Teil: Eine Zeile je Teil mit der Referenz, den Bewertungen jedes Prüfers, der Zahl der Abweichungen von der Referenz und der Zahl der in sich uneinheitlichen Prüfer. Gezählt werden einzelne Bewertungen, nicht Prüfer: ein konsistent falscher Prüfer wiegt damit schwerer als ein einmaliger Ausrutscher. Sortiert ist nach Problemgrad, der Filter blendet die unstrittigen Teile aus. Häufen sich die Abweichungen auf wenigen Teilen, fehlt dort meist ein Grenzmuster — nicht die Schulung.

Verwechslungen je Prüfer: Eine Zeile je Prüfer und Verwechslungsart („n.i.O. → i.O." heißt: Referenz n.i.O., bewertet als i.O.), dazu die betroffenen Teile. Die Zeile gemischt zählt die (Teil, Prüfer)-Paare, deren Wiederholungen nicht alle gleich ausfielen — das ist Uneinigkeit mit sich selbst und braucht keine Referenz. Einseitige Verwechslungen zeigen einen systematischen Bias (zu streng oder zu lax), beidseitige eher eine unklare Prüfanweisung.

Alle Prüfer einig: Anteil der Teile, an denen alle Prüfer über alle Wiederholungen dasselbe bewertet haben. Braucht keine Referenz und ist strenger als jede Einzelkennzahl: ein einziger abweichender Prüfer lässt das Teil herausfallen.

Alle einig und richtig: Dieselbe Bedingung, zusätzlich muss die einhellige Bewertung der Referenz entsprechen. Die Differenz zur Kachel daneben ist der interessanteste Wert der ganzen Auswertung: sie zählt die Teile, bei denen sich das Team einig und trotzdem falsch war. Solche Fälle findet keine Übereinstimmungs-Kennzahl — auch κ nicht, denn κ misst Übereinstimmung, nicht Richtigkeit.

Bewertung & Ampeln

Die Gesamt-Ampel folgt AIAG MSA 4th Ed. Kap. III-B. Sie kombiniert die Fleiss-κ-Bedingung (Prüfer-untereinander) mit der Effektivitäts-Bedingung (jeder Prüfer vs. Referenz). Ohne Referenz greift nur die κ-Bedingung.

Grün — freigegeben: Fleiss κ ≥ 0,75 und** alle Effektivitäten ≥ 0,90. Das Prüfsystem misst reproduzierbar und trifft die Referenz zuverlässig.

Gelb — bedingt tauglich: Weder grüne noch rote Bedingung erfüllt. Das Prüfsystem ist einsetzbar, aber die Ursache (welcher Prüfer, welche Klassen?) sollte vor einer Serien-Freigabe geklärt werden.

Rot — nicht tauglich: Fleiss κ &lt; 0,40 oder mindestens eine Effektivität &lt; 0,80. Das Prüfsystem ist nicht freigebbar — Schulung, Prüfanweisung überarbeiten oder Grenzmuster ergänzen.

Ambige Teile ohne Referenz: Wenn der Konsens-Fallback für ein Teil kein Mehrheitsvotum findet (Gleichstand bei binär/nominal, kein eindeutiger Median bei ordinal), landet das Teil in meta.ambiguousParts und wird nur aus Effektivität, Miss-/False-Alarm und SDT ausgeschlossen. Kappa unter Prüfern bleibt erhalten.

Interpretation-Textbaustein: Der Interpretations-Absatz benennt zusätzlich den Ampelfarben-Treiber (Fleiss κ, Effektivität, Miss-Rate oder False-Alarm-Rate) sowie ggf. die Warnungen W_UNBALANCED_REPS, W_AMBIGUOUS_CONSENSUS und W_LOW_REP_COUNT.

Beispieldaten

Dieses Modul wird mit den folgenden Beispieldatensätzen ausgeliefert — mit einem Klick in der App ladbar.

Verfügbar in folgenden Zyklen

• DMAIC: Measure
• DMADV: Measure
• 8D: D2 — Problem beschreiben