Wie Big-Five-Werte entstehen: von Items zu Dimensionen

Schritt 1: Wie das Antwortformat Ihren Big-Five-Wert beeinflusst

Das Rohmaterial jedes Persönlichkeitswerts sind die Antworten auf einzelne Items. Das häufigste Format in der Big-Five-Diagnostik ist die Likert-Skala: Befragte geben an, wie stark sie einer Aussage zustimmen, typischerweise „Stimme überhaupt nicht zu / Stimme nicht zu / Neutral / Stimme zu / Stimme voll und ganz zu“, meist auf einer fünf- oder siebenstufigen Skala. Die vollständigen statistischen Grundlagen finden sich unter Likert-Skala (Wikipedia).

Likert-Formate haben mehrere psychometrische Vorteile. Sie erfassen Abstufungen der Zustimmung, statt eine binäre Ja-Nein-Antwort zu erzwingen, und erhöhen damit die Varianz der Werte und in der Folge die Reliabilität. Sie sind den meisten Befragten vertraut und halten den kognitiven Aufwand des Antwortens gering. Und sie liefern annähernd intervallskalierte Daten, die sich mit den üblichen statistischen Verfahren auswerten lassen.

Daneben gibt es alternative Formate, die jeweils von anderen Annahmen ausgehen:

Forced-Choice-Formate legen Paare oder Gruppen eigenschaftsrelevanter Aussagen vor und verlangen die Entscheidung, welche am ehesten zutrifft. Das Design soll den Einfluss sozial erwünschten Antwortens dämpfen, also die Tendenz, Aussagen zuzustimmen, die positiv wirken, unabhängig davon, ob sie stimmen. Ein idealisiertes Selbstbild lässt sich hier schwerer zeichnen, weil jede gewählte positive Aussage zwangsläufig die Ablehnung einer anderen bedeutet. Der Preis dafür ist die ipsative Messung, um die es weiter unten geht. Ausführlich behandelt das Forced-Choice-Persönlichkeitsbewertung: warum sie ehrlichere Daten liefert.

Adjektivformate legen einzelne persönlichkeitsrelevante Wörter vor („organisiert“, „spontan“, „ängstlich“) und fragen, wie gut jedes davon den Befragten beschreibt. Sie lassen sich schneller ausfüllen als vollständige Satzitems und erreichen eine brauchbare Validität, fallen in der Reliabilität aber hinter Likert-Skalen mit ganzen Sätzen zurück, unter anderem weil einzelne Wörter mehrdeutiger sind als ganze Sätze.

Schritt 2: Warum umgekehrt kodierte Items Big-Five-Skalen schützen

Eine gut konstruierte Persönlichkeitsskala enthält positiv wie negativ kodierte Items, also einige, bei denen Zustimmung für eine hohe Merkmalsausprägung spricht, und andere, bei denen Zustimmung für eine niedrige spricht. „Ich halte meine Sachen ordentlich sortiert“ ist positiv kodiert für Gewissenhaftigkeit, „Ich lasse Aufgaben häufig unfertig“ negativ.

Negativ kodierte Items erfüllen zwei Zwecke. Erstens dämpfen sie den Akquieszenzbias, die Tendenz mancher Befragter, Aussagen unabhängig vom Inhalt zuzustimmen. Sind alle Items einer Gewissenhaftigkeitsskala gleich gepolt, erscheint jemand, der allem zustimmt, als hoch gewissenhaft, auch wenn sein tatsächliches Verhalten das nicht hergibt. Mit negativ kodierten Items führt durchgängiges Zustimmen zu einem mittleren statt zu einem fälschlich hohen Wert. Wie Akquieszenz und soziale Erwünschtheit Werte verzerren, erklärt Soziale Erwünschtheit in Persönlichkeitstests im Detail.

Bevor die Items zu einem Dimensionswert zusammengefasst werden, werden die negativ kodierten umgekehrt kodiert: Aus einer 5 auf einer Skala von 1 bis 5 wird eine 1, aus einer 4 eine 2, die 3 bleibt die 3, und so weiter. Danach zeigen alle Items in dieselbe Richtung, und schlichtes Summieren oder Mitteln ergibt einen stimmigen Skalenwert.

„Umkehrkodierung ist kein Trick, sondern eine Schutzmaßnahme der Messung: ein Konstruktionsmerkmal, das die Validität von Skalenwerten gegen systematische Antworttendenzen absichert, die sonst irreführende Ergebnisse liefern würden. Ein Instrument ohne negativ kodierte Items sollte man mit Vorsicht behandeln.“

Schritt 3: Summenwert oder Item-Response-Theorie in der Big-Five-Diagnostik

Sobald alle Items in dieselbe Richtung gepolt sind, müssen sie zu einem Dimensionswert zusammengeführt werden. Dafür gibt es zwei Hauptwege: den Summenwert der klassischen Testtheorie (KTT) und die Item-Response-Theorie (IRT).

Der Summenwert ist genau das, wonach er klingt: Man addiert die Itemwerte oder mittelt sie. Umfasst eine Gewissenhaftigkeitsskala 20 Items mit Werten von 1 bis 5, liegt die Summe zwischen 20 und 100. Diese Rohsumme wird anschließend an einer normativen Stichprobe standardisiert, woraus ein Perzentil oder ein Standardwert entsteht. Das Verfahren ist leicht umzusetzen, leicht zu erklären und für die meisten Zwecke völlig ausreichend.

Die Item-Response-Theorie (IRT) geht anspruchsvoller vor. IRT-Modelle schätzen die Wahrscheinlichkeit jeder Antwortoption als Funktion der latenten Merkmalsausprägung. Items gelten dabei nicht als gleichwertig: Manche trennen schärfer, unterscheiden also besser zwischen Personen mit unterschiedlicher Ausprägung, und manche sind an anderen Stellen der Merkmalsverteilung informativer. Die IRT gewichtet Items nach ihrer Trennschärfe und liefert an den Rändern der Verteilung, wo der Summenwert unzuverlässiger wird, genauere Schätzungen.

Für die meisten angewandten Zwecke, für Teamentwicklung, individuelles Coaching und Selbstverständnis, fällt der Unterschied zwischen KTT-Summenwert und IRT praktisch kaum ins Gewicht. Ihren klaren Vorteil spielt die IRT beim adaptiven Testen aus, bei dem sich die vorgelegten Items nach den bisherigen Antworten richten, was kürzere Tests bei gleicher Präzision erlaubt, und in folgenreichen Entscheidungssituationen, in denen es auf Messgenauigkeit an den Verteilungsrändern ankommt. Wie die Testlänge in diese Rechnung hineinspielt, zeigt warum 120 Items besser sind als 10: Persönlichkeitstestlänge.

Schritt 4: Normative oder ipsative Auswertung, und warum das alles verändert

Das ist vielleicht die am wenigsten verstandene Unterscheidung der Testauswertung, und zugleich eine der folgenreichsten.

Normative Auswertung vergleicht den Wert jedes Befragten mit einer Referenzpopulation, der normativen Stichprobe. Eine Rohsumme von 78 auf einer Gewissenhaftigkeitsskala sagt nichts, solange Sie nicht wissen, dass die Durchschnittsperson der normativen Stichprobe 65 Punkte erreicht und die Standardabweichung 12 beträgt. Erst dann wird klar: 78 liegt rund eine Standardabweichung über dem Mittelwert, also etwa beim 84. Perzentil. Normative Werte beantworten die Frage: Wie steht diese Person im Vergleich zu anderen da?

Ipsative Auswertung liefert relative Werte, also Vergleiche der Merkmalsausprägungen einer Person untereinander statt Vergleiche mit anderen Personen. Forced-Choice-Formate erzeugen naturgemäß ipsative Daten: Wer durchgängig gewissenhaftigkeitsbezogene Aussagen den verträglichkeitsbezogenen vorzieht, landet bei einem relativ hohen Gewissenhaftigkeits- und einem relativ niedrigen Verträglichkeitswert. Definiert sind diese Werte aber nur im Verhältnis zueinander, nicht im Verhältnis zu einer Population.

Die psychometrische Literatur ist eindeutig: Ipsative Werte taugen dazu, die Rangfolge von Prioritäten innerhalb einer Person zu verstehen, nicht aber zum Vergleich von Personen untereinander und nicht zur Vorhersage von Kriterien in Validitätsstudien. Kandidaten in einer Einstellungsentscheidung anhand ipsativer Werte zu vergleichen, ist ein methodischer Fehler, denn wer ipsativ hoch in Gewissenhaftigkeit liegt, kann absolut betrachtet weniger gewissenhaft sein als jemand mit mittlerem ipsativem Wert. Was das konkret für die Personalauswahl bedeutet, steht in Persönlichkeitstests bei der Einstellung: was legal und was ethisch ist.

Schritt 5: Warum die normative Datenbank Ihren Big-Five-Perzentilwert verschiebt

Ein normativer Wert ist nur so aussagekräftig wie die Stichprobe, aus der er abgeleitet ist. Weicht die Referenzpopulation systematisch von der getesteten Person ab, in Alter, Beruf, Kultur oder Bildungsniveau, kann das Perzentil in die Irre führen.

Ein Gewissenhaftigkeitswert beim 75. Perzentil einer allgemeinen Erwachsenenstichprobe kann in einer hoch gebildeten Berufsgruppe, in der die mittlere Gewissenhaftigkeit höher liegt, dem 55. Perzentil entsprechen. Eine falsche Normgrundlage liefert Werte, die systematisch falsch abbilden, wo eine Person im Verhältnis zu jener Vergleichsgruppe steht, die für die anstehende Entscheidung tatsächlich zählt.

Sorgfältig gebaute Testplattformen führen getrennte normative Stichproben für verschiedene Populationen, nach Beruf, Land und Altersgruppe, und legen an jede Auswertung die passende Norm an. Cèrcol wertet normativ aus, auf Grundlage von IPIP-Validierungsstichproben, und erhebt laufend Daten, um Normen für genau die Populationen zu entwickeln, die die Plattform nutzen. Was Reliabilität und Validität in diesem Zusammenhang bedeuten, behandelt was ist Reliabilität und Validität in Persönlichkeitstests.

Wie Cèrcol sein Big-Five-Instrument auswertet

Cèrcols Instrument arbeitet mit Likert-Items in gemischter Polung, mit KTT-Summenauswertung nach der Umkehrkodierung und mit normativem Vergleich zu veröffentlichten IPIP-Validierungsstichproben. Dimensionswerte werden als Perzentiläquivalente standardisiert, Facettenwerte als Standardwerte innerhalb der jeweiligen Dimension berichtet. Was Facetten zum Bild beitragen, das Domänenwerte allein nicht liefern können, vertieft was ist eine Facette in der Persönlichkeitspsychologie.

Die Zeugen-Erhebung wendet denselben Algorithmus auf die Antworten der Zeuginnen und Zeugen an und erzeugt vergleichbare Dimensions- und Facettenwerte, die sich direkt über die Selbstauskunft legen lassen. Weichen Selbstbild und Zeugenurteil deutlich voneinander ab, markiert der Bericht diese Stellen als mögliche blinde Flecken. Warum diese Peer-Ebene wichtig ist, erklärt warum Selbstbeurteilung allein nicht ausreicht: Persönlichkeits-Feedback von Peers.

Wer versteht, wie ausgewertet wird, ändert damit nichts daran, was die Werte in der Praxis bedeuten. Deutlich wird aber: Persönlichkeitswerte sind keine rätselhafte Ausgabe einer undurchsichtigen Maschine. Sie sind das Ergebnis expliziter, nachprüfbarer methodischer Entscheidungen, die im Fall von Cèrcol in veröffentlichter psychometrischer Forschung verankert und in der Wissenschaftsdokumentation einsehbar sind.

Wie belastbar diese Werte sind und wie man sie gut nutzt, beleuchten außerdem was Reliabilität und Validität in Persönlichkeitstests bedeuten und Forced-Choice-Persönlichkeitsbewertung und warum sie ehrlichere Daten liefert.

Wie Cèrcol Ihre Big-Five-Werte berechnet

Cèrcols Auswertung liegt vollständig offen: Likert-Items, Umkehrkodierung wo nötig, Aggregation zum KTT-Summenwert und Umrechnung in normative Perzentile auf Basis veröffentlichter IPIP-Stichproben. Proprietäre Black-Box-Algorithmen gibt es nicht. Die Peer-Ebene Zeuge legt dieselbe Logik an die von Zeugen beurteilten Adjektivpaare an und blendet das Ergebnis über Ihr Selbstbild. So treten die blinden Flecken hervor, die kein Selbstauskunftsinstrument allein erkennen kann, so sorgfältig es auch ausgewertet sein mag.

Wenn Sie diese Methodik in Aktion sehen möchten: Die vollständige Big-Five-Auswertung ist kostenlos unter cercol.team verfügbar. Das Zeugen-Instrument ergänzt die Perspektive der Peers mit einem Forced-Choice-Design, das die Akquieszenz und die soziale Erwünschtheit umgeht, die Standard-Likert-Skalen zu schaffen machen. Die Wissenschaftsdokumentation beschreibt jede einzelne Auswertungsentscheidung mit Verweisen auf die veröffentlichte psychometrische Literatur.

Weiterführende Lektüre: Was Reliabilität und Validität in Persönlichkeitstests bedeuten · Forced-Choice-Persönlichkeitsbewertung: ehrlichere Daten

Weiterführende Lektüre

• Was ist eine Facette in der Persönlichkeitspsychologie?
• Was ist Reliabilität und Validität in Persönlichkeitstests?
• Warum 120 Items besser sind als 10: Persönlichkeitstestlänge
• Soziale Erwünschtheit in Persönlichkeitstests
• Kann man einen Persönlichkeitstest fälschen?
• Forced-Choice-Persönlichkeitsbewertung: Ehrlichere Daten