Wie viele Zeugen braucht eine zuverlässige Peer-Bewertung?
Drei Zeugen erreichen eine Reliabilität von .62, fünf von .73. Die Spearman-Brown-Formel zeigt, ab wann weitere Zeugen nichts mehr bringen.
Miquel Matoses·8 Min. Lesezeit
Wie viele Peer-Bewerter brauchen Sie für zuverlässige Persönlichkeitsdaten?
Die Peer-Bewertung von Persönlichkeit hat eine grundlegende Schwäche, die man leicht übersieht: Das Urteil eines einzelnen Zeugen über eine Person ist ziemlich verrauscht. Menschen nehmen einander unvollkommen wahr, erleben Verhalten nur in begrenzten Zusammenhängen, bringen eigene Vorannahmen und blinde Flecken mit und lassen sich davon beeinflussen, wie sympathisch ihnen die bewertete Person ist. Eine einzelne Peer-Bewertung ist wertvoll, aber nicht so wertvoll, wie es zunächst aussieht.
Wie viele Zeugen es braucht, bis der zusammengefasste Wert verlässlich etwas aussagt, gehört zu den praktisch wichtigsten Fragen beim Aufbau einer Persönlichkeitsbewertung. Die Antwort kommt aus der psychometrischen Theorie und aus Jahrzehnten empirischer Forschung zur Interrater-Reliabilität. Wer sie kennt, nutzt die Zeuge-Daten von Cèrcol angemessen und weiß, was verschiedene Zahlen von Zeugen realistisch hergeben.
Warum eine einzelne Peer-Bewertung zu unzuverlässig ist
Wenn Forschende die Zuverlässigkeit einzelner Peer-Bewertungen prüfen, sei es über die Konsistenz zu verschiedenen Zeitpunkten oder über die Korrelation zwischen zwei unabhängigen Peers derselben Zielperson, finden sie durchgängig Korrelationen im Bereich von .30–.40 für die Big Five-Dimensionen.
Das ist nicht viel. Eine Korrelation von .35 heißt, dass nur etwa 12% der Varianz im Urteil eines Peers auch im Urteil eines zweiten Peers über dieselbe Person steckt. Damit bleiben 88% der Varianz unerklärt: teils echter Messfehler, teils unterschiedliche Beziehungskontexte, teils tatsächliche Uneinigkeit über die Persönlichkeit der Zielperson.
Für die Bewertung einer einzelnen Person reicht ein einzelner Zeuge deshalb nicht. Sein Urteil liefert bestenfalls einen Hinweis.
„Die Interrater-Reliabilität für Persönlichkeitsbewertungen durch Bekannte liegt typischerweise bei etwa .35–.45, was darauf hinweist, dass eine substanzielle Aggregation erforderlich ist, um zuverlässige Komposit-Schätzungen zu erzielen.“
Siehe: Interrater-Reliabilität; und Connelly, B. S., & Ones, D. S. (2010). An other perspective on personality. Psychological Bulletin, 136(6), 1092–1122.
Die Spearman-Brown-Formel: Wie mehr Zeugen die Reliabilität erhöhen
Wie die Reliabilität mit der Zahl der Bewertenden wächst, regelt die Spearman-Brown-Vorhersageformel. Kennt man die Reliabilität eines einzelnen Bewerters, lässt sich daraus die Reliabilität des Durchschnitts von k Bewertenden vorhersagen:
r_k = (k × r_1) / (1 + (k − 1) × r_1)
Dabei ist r_1 die Interrater-Reliabilität eines einzelnen Bewerters und k die Zahl der Bewertenden.
Die Formel sagt abnehmenden Ertrag voraus: Der erste zusätzliche Zeuge bringt mehr Reliabilität als der zehnte. Die Kurve flacht mit jedem weiteren Bewerter ab, und ab einem bestimmten Punkt trägt ein zusätzlicher Zeuge kaum noch etwas zur Reliabilität des Gesamtwerts bei.
Komposit-Reliabilität (Spearman-Brown) im Verhältnis zur Zahl der Peer-Bewertenden, ausgehend von einer Einzelbewerter-Reliabilität von r = 0,30. Die Kurve steigt von 1 auf 3 Bewertende steil an und flacht danach ab. Die gestrichelte rote Linie markiert 3 Bewertende, die praktische Mindestschwelle für eine sinnvolle Interpretation.
Reliabilität nach Anzahl der Zeugen: von 3 bis 12 und mehr
Anzahl der Zeugen
Erwartete Komposit-Reliabilität (r)
Praktische Interpretation
1
.35
Zu verrauscht für Schlüsse über Einzelne; als schwaches Signal behandeln
2
.52
Mäßig; taugt nur, um starke Muster zu erkennen
3
.62
Akzeptabel; aussagekräftig auf der Ebene grober Tendenzen
5
.73
Gut; zuverlässig genug für die Personalentwicklung
7
.79
Gut bis sehr gut; für die meisten Anwendungen aussagekräftig
10
.84
Sehr gut; belastbar auch dort, wo viel davon abhängt
12
.87
Ausgezeichnet; nähert sich der Grenze des sinnvoll Erreichbaren
15
.89
Kaum Gewinn gegenüber 12; der Mehraufwand lohnt sich selten
20
.92
Der abnehmende Ertrag schlägt voll durch
Die praktische Botschaft der Tabelle ist eindeutig: Drei bis fünf Zeugen ergeben einen Gesamtwert, der deutlich zuverlässiger ausfällt als ein Einzelurteil, und fünf bis zwölf Zeugen genügen für die meisten Entwicklungs- und Coaching-Anwendungen. Jenseits von zwölf ist der Zugewinn je zusätzlichem Zeugen so klein, dass er die Mühe für die Zeugen und den Verwaltungsaufwand selten rechtfertigt.
Was „zuverlässig“ bei Peer-Daten wirklich heißt
Eine Reliabilität von .73 (fünf Zeugen) bedeutet, dass rund 73% der Varianz im zusammengefassten Peer-Urteil systematisch sind, also etwas Echtes über die Zielperson abbilden, während 27% Rauschen sind. Für die Personalentwicklung reicht das.
Eine Reliabilität von .84 (zehn Zeugen) kommt der Reliabilität vieler gut validierter Selbstberichtsverfahren nahe. Auf diesem Niveau lassen sich feinere Vergleiche ziehen.
Unterhalb von drei Zeugen sollten Sie den Gesamtwert mit deutlicher Vorsicht lesen. Zwei Zeugen mit einer Reliabilität von .52 heißen, dass fast die Hälfte der Varianz Rauschen ist. Wertlos sind die Daten deswegen nicht, ein starkes, übereinstimmendes Muster bei zwei Zeugen sagt durchaus etwas, doch es taugt zum Aufstellen einer Hypothese und nicht mehr.
Das Beste aus nur zwei oder drei Zeuge-Bewertungen herausholen
In der Praxis lassen sich nicht immer zehn oder mehr Zeuge-Bewertungen zusammenbekommen. Wer nur wenige Zeugen hat, passt am besten seine Interpretation an:
Achten Sie auf starke Signale, nicht auf kleine Unterschiede. Bei zwei oder drei Zeugen sind nur deutliche Unterschiede im Gesamtprofil verlässlich.
Suchen Sie nach Übereinstimmung zwischen den Zeugen. Wenn beide oder alle drei Sie auf einer Dimension unabhängig voneinander ähnlich einschätzen, sagt diese Übereinstimmung auch bei kleiner Zahl etwas aus.
Vergleichen Sie mit dem Selbstbericht, nicht mit Normen. Bei wenigen Zeugen ist der Vergleich zwischen Ihrem Selbstbild und dem Zeuge-Gesamtwert am aussagekräftigsten.
Holen Sie mit der Zeit weitere Zeugen dazu. Cèrcol ist auf die Nutzung über längere Zeiträume ausgelegt.
Warum die Vielfalt der Beziehungen so wichtig ist wie die Zahl
Die Spearman-Brown-Formel unterstellt, dass zusätzliche Bewertende unabhängig urteilen und ihre Perspektiven ungefähr gleichwertig sind. In der Praxis zählt die Vielfalt der Beziehungen genauso viel wie die Zahl der Zeugen.
Fünf enge Freunde, die Sie alle aus ähnlichen sozialen Zusammenhängen kennen, ergeben einen redundanteren Gesamtwert als fünf Zeugen, die Sie aus ganz verschiedenen Zusammenhängen kennen: eine Führungskraft, ein Peer, eine direkt unterstellte Person, ein enger Freund und ein Familienmitglied.
Cèrcols Rahmen für Peer-Feedback ermutigt die Nutzerinnen und Nutzer deshalb, Zeugen aus mehreren Beziehungstypen zu wählen.
Cèrcol Zeuge: Empfehlungen je nach Kontext
Minimum für eine sinnvolle Nutzung: 3 Zeugen. Darunter sind die Ergebnisse zu verrauscht, um sie sicher zu deuten.
Richtwert für die übliche Entwicklungsarbeit: 5 bis 7 Zeugen. Das ergibt eine Komposit-Reliabilität von .73–.79.
Wenn viel davon abhängt, etwa im Coaching: 8 bis 12 Zeugen. In der Führungskräfteentwicklung und im Executive Coaching liefern zehn oder mehr Zeugen den verlässlichsten Gesamtwert.
Über 12 hinaus: abnehmender Ertrag. Der zusätzliche Reliabilitätsgewinn ist so gering, dass der Mehraufwand für die Zeugen selten zu rechtfertigen ist.
Zusammengefasst: die richtige Zahl an Zeugen für Ihren Zweck
Ein einzelnes Peer-Urteil über Persönlichkeit hat eine Interrater-Reliabilität von etwa .35, zu wenig, um daraus sicher etwas über eine einzelne Person abzuleiten. Das Spearman-Brown-Aggregationstheorem sagt vorher, wie die Komposit-Reliabilität mit weiteren Zeugen wächst: Ein akzeptables Niveau (.73 und darüber) wird bei fünf Bewertenden erreicht, ein sehr gutes (.84 und darüber) bei zehn. In der Praxis gilt: drei Zeugen als Minimum, fünf bis sieben als praktischer Richtwert, zehn oder mehr, wenn viel davon abhängt.
Referenzen
Connelly, B. S., & Ones, D. S. (2010). An other perspective on personality: Meta-analytic integration of observers' accuracy and predictive validity. Psychological Bulletin, 136(6), 1092–1122.
Shrout, P. E., & Fleiss, J. L. (1979). Intraclass correlations: Uses in assessing rater reliability. Psychological Bulletin, 86(2), 420–428.
Machen Sie die Cèrcol-Bewertung, kostenlos
Alles, was dieser Artikel beschreibt, gilt auch für Ihre eigenen Zeuge-Daten. Gehen Sie auf cercol.team, absolvieren Sie die kostenlose Persönlichkeitsbewertung und laden Sie mindestens drei Kolleginnen und Kollegen als Zeugen ein.
