Quants avaluadors de companys necessiteu per obtenir dades de personalitat fiables?

L'avaluació de personalitat per companys té una limitació fonamental que és fàcil de passar per alt: la valoració de qualsevol Testimoni individual d'una altra persona és bastant sorollosa. Les persones individuals es perceben mútuament de manera imperfecta, veuen el comportament en contextos limitats, porten els seus propis biaixos i punts cecs, i es veuen influenciades per quant els agrada la persona que estan valorant. Una valoració individual de companys és valuosa —però no tant com podria semblar.

La pregunta de quants Testimonis necessiteu abans que la valoració composta es converteixi en fiablement informativa és una de les preguntes pràcticament més importants en el disseny de l'avaluació de personalitat. La resposta prové de la teoria psicometria i de dècades d'investigació empírica sobre la fiabilitat entre avaluadors. Entendre-la us ajudarà a utilitzar les dades de Testimoni de Cèrcol de manera apropiada i a establir expectatives realistes sobre el que poden dir-vos diferent nombre de Testimonis.

Per al context sobre per què les dades de companys importen en absolut, vegeu el que mesura l'instrument Testimoni de Cèrcol —i per a la imatge dimensió per dimensió específica on les bretxes self-other són més grans, vegeu l'acord self-other per dimensió del Big Five.

Per què una sola valoració de companys és massa poc fiable per confiar-hi

Quan els investigadors examinen la fiabilitat de les valoracions de companys individuals —ja sigui mirant la consistència entre ocasions, o correlacionant les valoracions de dos companys independents de la mateixa persona objectiu— troben consistentment correlacions en el rang de .30–.40 per a les dimensions del Big Five.

Això no és particularment alt. Una correlació de .35 significa que aproximadament el 12% de la variància en la valoració d'un company es comparteix amb la valoració d'un altre company de la mateixa persona. Això deixa el 88% de la variança sense explicar —part de la qual és error de mesura genuí, part de la qual reflecteix diferents contextos relacionals (un company de feina veu comportaments diferents que un amic proper), i part de la qual reflecteix desacord genuí sobre la personalitat de la persona objectiu.

Per als propòsits de l'avaluació a nivell individual —fer afirmacions significatives sobre la personalitat d'una persona específica basant-se en dades de companys— una sola valoració de Testimoni és insuficient. És suggeridora en el millor dels casos.

"La fiabilitat entre avaluadors per a valoracions de personalitat per coneguts típicament cau al voltant de .35–.45, indicant que es necessita una agregació substancial per aconseguir estimacions compostes fiables."
— Vegeu: Fiabilitat entre avaluadors; i Connelly, B. S., & Ones, D. S. (2010). An other perspective on personality. Psychological Bulletin, 136(6), 1092–1122.

La fórmula de Spearman-Brown: com més Testimonis augmenten la fiabilitat

El principi psicometria que regeix com la fiabilitat augmenta amb el nombre d'avaluadors és la fórmula de predicció de Spearman-Brown. Afirma que si coneixeu la fiabilitat d'un sol avaluador, podeu predir la fiabilitat de la mitjana de k avaluadors:

r_k = (k × r_1) / (1 + (k − 1) × r_1)

On r_1 és la fiabilitat entre avaluadors amb un sol avaluador i k és el nombre d'avaluadors.

Aquesta fórmula prediu rendiments decreixents: afegir el primer Testimoni addicional afegeix més fiabilitat que afegir el desè. La corba s'aplana a mesura que s'afegeixen més avaluadors, i més enllà d'un cert punt, els Testimonis addicionals contribueixen de manera negligible a la fiabilitat del compost.

Partint d'una fiabilitat típica d'un sol avaluador de r = .35, la fórmula de Spearman-Brown ens dóna les prediccions següents:

Fiabilitat per nombre de Testimonis: de 3 a 12+

El missatge pràctic d'aquesta taula és clar: de tres a cinc Testimonis produeixen un compost que és significativament més fiable que una sola valoració, i de cinc a dotze Testimonis són suficients per a la majoria d'aplicacions de desenvolupament i coaching. Més de dotze, el guany marginal per Testimoni addicional és prou petit que rarament justifica la càrrega sobre els Testimonis o la complexitat administrativa.

Què significa realment "fiable" per a les dades de personalitat de companys

Una fiabilitat de .73 (cinc Testimonis) significa que aproximadament el 73% de la variança en la valoració composta de companys és sistemàtica —reflecteix alguna cosa real sobre la persona objectiu— mentre que el 27% és soroll. Per a un context de desenvolupament, on l'objectiu és identificar patrons amplis i àrees de reflexió en lloc de prendre decisions de selecció d'alt risc, això és suficient. Podeu raonaablement interpretar un compost que mostra una Presència clarament més alta que la Profunditat com a reflectint un patró genuí en com es percep la persona objectiu.

Una fiabilitat de .84 (deu Testimonis) s'apropa a la fiabilitat de moltes mesures d'autoinforme ben validades. A aquest nivell, podeu fer comparacions més refinades —per exemple, una petita bretxa entre Vinculació i Disciplina té més probabilitats de ser significativa que amb cinc Testimonis, on diferències tan petites podrien ser soroll.

Per sota de tres Testimonis, interpreteu el compost amb precaució significativa. Dos Testimonis amb fiabilitat de .52 significa que gairebé la meitat de la variança del compost és soroll. Això no significa que les dades siguin inútils —un patró fort i consistent entre dos Testimonis encara és informatiu— però s'ha de tractar com a generador d'hipòtesis en lloc de definitiu.

Per a un tractament més ampli del que signifiquen la fiabilitat i la validesa en les proves de personalitat en general, vegeu Què és la fiabilitat i la validesa en les proves de personalitat?

Obtenir el màxim de només 2–3 avaluacions de Testimonis

En la pràctica, recollir deu o més valoracions de Testimonis no sempre és factible. Les persones tenen xarxes limitades de col·legues propers, les normes socials al voltant de la sol·licitud de feedback de companys varien, i molts usuaris de Cèrcol realitzaran la seva avaluació /first-quarter amb només dos o tres Testimonis disponibles.

Quan teniu Testimonis limitats, l'enfocament correcte és ajustar la vostra interpretació en conseqüència:

• Centreu-vos en senyals forts, no en petites diferències. Amb dos o tres Testimonis, només les diferències substancials en el perfil compost —una desviació estàndard completa o més entre dimensions— probablement siguin fiables. Les petites bretxes entre dimensions s'han de tractar com a soroll.
• Busqueu consistència entre Testimonis. Si tots dos (o els tres) Testimonis us puntuen de manera similar de manera independent en una dimensió, aquesta convergència és informativa fins i tot amb una mostra petita. La divergència entre Testimonis —un us puntua alt en Presència, un altre us puntua baix— és un senyal per explorar, no per promediar.
• Compareu amb l'autoinforme, no amb les normes. Amb Testimonis limitats, la comparació més significativa és entre el vostre perfil d'autoinforme i el vostre compost de Testimonis. On coincideixen? On divergeixen? Fins i tot amb dades de Testimonis sorolloses, les divergències consistents respecte a les valoracions pròpies val la pena explorar-les. El patró dimensió per dimensió d'aquestes bretxes es descriu a l'acord self-other per dimensió del Big Five.
• Afegiu Testimonis amb el temps. Cèrcol està dissenyat per donar suport a l'ús longitudinal. Una avaluació de primer trimestre amb tres Testimonis, repetida amb tres Testimonis diferents sis mesos després, us dóna una imatge més rica que una sola instantània —fins i tot si cap instantània per si sola és molt fiable.

Per què la diversitat de relació dels Testimonis importa tant com el recompte

La fórmula de Spearman-Brown assumeix que els avaluadors addicionals són independents i aproximadament equivalents en la seva perspectiva. En la pràctica, la diversitat de relacions importa tant com el nombre de Testimonis.

Cinc amics propers que us coneixen tots en contextos socials similars produiran un compost més redundant que cinc Testimonis que us coneixen en contextos diferents: un directiu, un company, un subordinat directe, un amic proper i un membre de la família. La diversitat contextual afegeix informació que la simple agregació de relacions similars no captura.

Per als propòsits del càlcul de fiabilitat, això és una complicació —els Testimonis de contextos diferents poden mostrar una fiabilitat entre avaluadors més baixa precisament perquè estan veient aspectes genuïnament diferents de l'expressió de personalitat de la persona objectiu. Això és una característica, no un defecte: significa que el compost captura una imatge més rica i que abasta més contextos. Però també significa que les estimacions de fiabilitat simples poden subestimar el valor dels panels de Testimonis contextualmente diversos.

El marc de feedback de companys de Cèrcol anima els usuaris a seleccionar Testimonis de múltiples tipus de relació per aquesta raó. Un cop tingueu les dades de Testimoni a mà, l'ús de Cèrcol per al desenvolupament d'equips: una guia pràctica explica com utilitzar-les en un context d'equip facilitat.

Testimoni de Cèrcol: recomanacions pràctiques per context

Basant-nos en la literatura psicometrica i les limitacions pràctiques dels usuaris típics de Cèrcol, s'aplica la guia següent:

• Mínim per a un ús significatiu: 3 Testimonis. Per sota d'això, els resultats són massa sorollosos per a una interpretació confident.
• Objectiu per a ús de desenvolupament estàndard: 5–7 Testimonis. Això produeix una fiabilitat composta de .73–.79, suficient per identificar patrons genuïns en com sou percebuts.
• Contextos d'alt risc o coaching: 8–12 Testimonis. Per al desenvolupament del lideratge, el coaching executiu, o qualsevol context on les dades de personalitat s'utilitzaran per prendre decisions de desenvolupament significatives, deu o més Testimonis produeixen el compost més fiable.
• Més de 12: rendiments decreixents. El guany de fiabilitat incremental dels Testimonis addicionals més de 12 és prou petit que la càrrega addicional sobre els Testimonis rarament està justificada.

Resum: el nombre correcte de Testimonis per al vostre cas d'ús

Una sola valoració de personalitat per companys té una fiabilitat entre avaluadors d'aproximadament .35 —massa baixa per a una interpretació confident a nivell individual. El teorema d'agregació de Spearman-Brown prediu com augmenta la fiabilitat composta amb Testimonis addicionals, assolint nivells acceptables (.73+) amb cinc avaluadors i nivells molt bons (.84+) amb deu. Més de dotze Testimonis, els rendiments disminueixen marcadament. En la pràctica, tres Testimonis és el mínim per a un ús significatiu; cinc a set és l'objectiu pràctic; deu o més és ideal per a aplicacions d'alt risc. Quan el nombre de Testimonis és limitat, centreu-vos en senyals forts, busqueu consistència entre Testimonis, i useu la comparació self-other com a lent interpretativa principal.

Referències
Connelly, B. S., & Ones, D. S. (2010). An other perspective on personality: Meta-analytic integration of observers' accuracy and predictive validity. Psychological Bulletin, 136(6), 1092–1122.
Shrout, P. E., & Fleiss, J. L. (1979). Intraclass correlations: Uses in assessing rater reliability. Psychological Bulletin, 86(2), 420–428.