Combien d'évaluateurs pairs vous faut-il pour des données de personnalité fiables ?

L'évaluation de la personnalité par les pairs a une limitation fondamentale qu'il est facile de négliger : la notation d'un seul Témoin d'une autre personne est assez bruyante. Les individus se perçoivent mutuellement de manière imparfaite, observent les comportements dans des contextes limités, apportent leurs propres biais et angles morts, et sont influencés par leur degré d'appréciation de la personne qu'ils évaluent. Une seule notation par les pairs est précieuse — mais pas autant qu'elle pourrait le sembler.

La question du nombre de Témoins nécessaires avant que la note composite devienne fiablement informative est l'une des questions les plus pratiquement importantes dans la conception de l'évaluation de la personnalité. La réponse vient de la théorie psychométrique et de décennies de recherche empirique sur la fiabilité inter-évaluateurs. La comprendre vous aidera à utiliser les données de Témoin de Cèrcol de manière appropriée et à établir des attentes réalistes quant à ce que différents nombres de Témoins peuvent vous dire.

Pour le contexte sur les raisons pour lesquelles les données de pairs comptent, voir ce que mesure l'instrument Témoin de Cèrcol — et pour l'image dimension par dimension où les écarts self-other sont les plus importants, voir l'accord self-other par dimension du Big Five.

Pourquoi une seule note par les pairs est trop peu fiable pour être utilisée seule

Lorsque les chercheurs examinent la fiabilité des notes individuelles des pairs — soit en regardant la cohérence entre les occasions, soit en corrélant les notes de deux pairs indépendants du même sujet — ils trouvent systématiquement des corrélations dans la plage de .30–.40 pour les dimensions du Big Five.

Ce n'est pas particulièrement élevé. Une corrélation de .35 signifie qu'environ 12 % de la variance dans la note d'un pair est partagée avec la note d'un autre pair de la même personne. Cela laisse 88 % de variance inexpliquée — dont une partie est une erreur de mesure authentique, une partie reflète des contextes relationnels différents (un collègue de travail voit des comportements différents d'un ami proche), et une partie reflète un désaccord authentique sur la personnalité du sujet.

Aux fins de l'évaluation au niveau individuel — faire des déclarations significatives sur la personnalité d'une personne spécifique sur la base des données des pairs — une seule note de Témoin est insuffisante. Elle est tout au plus suggestive.

"La fiabilité inter-évaluateurs pour les évaluations de la personnalité par des connaissances se situe typiquement autour de .35–.45, indiquant qu'une agrégation substantielle est nécessaire pour obtenir des estimations composites fiables."
— Voir : Fiabilité inter-évaluateurs ; et Connelly, B. S., & Ones, D. S. (2010). An other perspective on personality. Psychological Bulletin, 136(6), 1092–1122.

La formule de Spearman-Brown : comment davantage de Témoins augmentent la fiabilité

Le principe psychométrique qui régit la façon dont la fiabilité augmente avec le nombre d'évaluateurs est la formule de prédiction de Spearman-Brown. Elle stipule que si vous connaissez la fiabilité d'un seul évaluateur, vous pouvez prédire la fiabilité de la moyenne de k évaluateurs :

r_k = (k × r_1) / (1 + (k − 1) × r_1)

Où r_1 est la fiabilité inter-évaluateurs avec un seul évaluateur et k est le nombre d'évaluateurs.

Cette formule prédit des rendements décroissants : l'ajout de votre premier Témoin supplémentaire ajoute plus de fiabilité que l'ajout de votre dixième. La courbe s'aplatit à mesure que vous ajoutez plus d'évaluateurs, et au-delà d'un certain point, les Témoins supplémentaires contribuent de manière négligeable à la fiabilité du composite.

En partant d'une fiabilité typique d'un seul évaluateur de r = .35, la formule de Spearman-Brown nous donne les prédictions suivantes :

Fiabilité par nombre de Témoins : de 3 à 12+

Le message pratique de ce tableau est clair : trois à cinq Témoins produisent un composite nettement plus fiable qu'une seule note, et cinq à douze Témoins sont suffisants pour la plupart des applications de développement et de coaching. Au-delà de douze, le gain marginal par Témoin supplémentaire est suffisamment faible pour justifier rarement la charge sur les Témoins ou la complexité administrative.

Ce que "fiable" signifie réellement pour les données de personnalité par les pairs

Une fiabilité de .73 (cinq Témoins) signifie qu'environ 73 % de la variance dans la note composite des pairs est systématique — elle reflète quelque chose de réel sur la personne cible — tandis que 27 % est du bruit. Pour un contexte de développement, où l'objectif est d'identifier des schémas larges et des domaines de réflexion plutôt que de prendre des décisions de sélection à enjeux élevés, c'est suffisant.

Une fiabilité de .84 (dix Témoins) se rapproche de la fiabilité de nombreuses mesures d'auto-évaluation bien validées. À ce niveau, vous pouvez faire des comparaisons plus raffinées — par exemple, un petit écart entre Cohésion et Discipline a plus de chances d'être significatif qu'avec cinq Témoins, où de telles petites différences pourraient être du bruit.

En dessous de trois Témoins, interprétez le composite avec une prudence significative. Deux Témoins avec une fiabilité de .52 signifie que presque la moitié de la variance du composite est du bruit. Cela ne signifie pas que les données sont sans valeur — un schéma fort et cohérent entre deux Témoins est toujours informatif — mais il doit être traité comme générateur d'hypothèses plutôt que définitif.

Pour un traitement plus large de ce que signifient la fiabilité et la validité dans les tests de personnalité en général, voir Qu'est-ce que la fiabilité et la validité dans les tests de personnalité ?

Tirer le meilleur parti de seulement 2–3 évaluations de Témoins

En pratique, collecter dix évaluations de Témoins ou plus n'est pas toujours faisable. Les personnes ont des réseaux limités de collègues proches, les normes sociales autour de la demande de feedback par les pairs varient, et de nombreux utilisateurs de Cèrcol effectueront leur évaluation /first-quarter avec seulement deux ou trois Témoins disponibles.

Lorsque vous avez peu de Témoins, la bonne approche est d'ajuster votre interprétation en conséquence :

• Concentrez-vous sur les signaux forts, pas sur les petites différences. Avec deux ou trois Témoins, seules les différences substantielles dans le profil composite — un écart-type complet ou plus entre les dimensions — sont susceptibles d'être fiables.
• Recherchez la cohérence entre les Témoins. Si les deux (ou les trois) Témoins vous notent de manière similaire de façon indépendante sur une dimension, cette convergence est informative même avec un petit échantillon.
• Comparez avec l'auto-évaluation, pas avec les normes. Avec peu de Témoins, la comparaison la plus significative est entre votre profil d'auto-évaluation et votre composite de Témoins.
• Ajoutez des Témoins au fil du temps. Cèrcol est conçu pour soutenir une utilisation longitudinale. Une évaluation du premier trimestre avec trois Témoins, répétée avec trois Témoins différents six mois plus tard, vous donne une image plus riche qu'un seul instantané.

Pourquoi la diversité des relations des Témoins compte autant que leur nombre

La formule de Spearman-Brown suppose que les évaluateurs supplémentaires sont indépendants et approximativement équivalents dans leur perspective. En pratique, la diversité des relations compte autant que le nombre de Témoins.

Cinq amis proches qui vous connaissent tous dans des contextes sociaux similaires produiront un composite plus redondant que cinq Témoins qui vous connaissent dans des contextes différents : un responsable, un pair, un subordonné direct, un ami proche et un membre de la famille.

Le cadre de feedback par les pairs de Cèrcol encourage les utilisateurs à sélectionner des Témoins de plusieurs types de relations pour cette raison. Une fois que vous avez vos données de Témoin en main, utiliser Cèrcol pour le développement d'équipe : un guide pratique explique comment les utiliser dans un contexte d'équipe facilité.

Témoin Cèrcol : recommandations pratiques par contexte

• Minimum pour une utilisation significative : 3 Témoins. En dessous, les résultats sont trop bruités pour une interprétation confiante.
• Cible pour un usage de développement standard : 5–7 Témoins. Cela produit une fiabilité composite de .73–.79, suffisante pour identifier des schémas authentiques dans la façon dont vous êtes perçu.
• Contextes à enjeux élevés ou coaching : 8–12 Témoins. Pour le développement du leadership, le coaching exécutif, ou tout contexte où les données de personnalité seront utilisées pour prendre des décisions de développement significatives, dix Témoins ou plus produisent le composite le plus fiable.
• Au-delà de 12 : rendements décroissants. Le gain de fiabilité incremental des Témoins supplémentaires au-delà de 12 est suffisamment faible pour que la charge supplémentaire sur les Témoins soit rarement justifiée.

Résumé : le bon nombre de Témoins pour votre cas d'utilisation

Une seule note de personnalité par les pairs a une fiabilité inter-évaluateurs d'environ .35 — trop faible pour une interprétation confiante au niveau individuel. Le théorème d'agrégation de Spearman-Brown prédit comment la fiabilité composite augmente avec des Témoins supplémentaires, atteignant des niveaux acceptables (.73+) avec cinq évaluateurs et de très bons niveaux (.84+) avec dix. Au-delà de douze Témoins, les rendements diminuent fortement. En pratique, trois Témoins est le minimum pour une utilisation significative ; cinq à sept est l'objectif pratique ; dix ou plus est idéal pour les applications à enjeux élevés.

Références
Connelly, B. S., & Ones, D. S. (2010). An other perspective on personality: Meta-analytic integration of observers' accuracy and predictive validity. Psychological Bulletin, 136(6), 1092–1122.
Shrout, P. E., & Fleiss, J. L. (1979). Intraclass correlations: Uses in assessing rater reliability. Psychological Bulletin, 86(2), 420–428.