Quants avaluadors testimonis necessites per obtenir dades de personalitat fiables?
Tres avaluadors Testimoni arriben a una fiabilitat de .62; cinc arriben a .73. La fórmula de Spearman-Brown mostra exactament quan afegir més Testimonis deixa de millorar les teves dades.
Miquel Matoses·13 min de lectura
Quants avaluadors testimonis necessites per obtenir dades de personalitat fiables?
L'avaluació de personalitat per part dels companys té una limitació fonamental que és fàcil de passar per alt: la valoració que fa qualsevol Testimoni individual d'una altra persona és força sorollosa. Les persones es perceben mútuament de manera imperfecta, veuen el comportament en contextos limitats, hi aporten els seus propis biaixos i punts cecs, i es deixen influir per com els agrada la persona que estan valorant. Una sola valoració d'un company és valuosa, però no tant com podria semblar.
La qüestió de quants Testimonis necessites perquè la valoració composta esdevingui fiablement informativa és una de les preguntes pràcticament més importants en el disseny de l'avaluació de personalitat. La resposta prové de la teoria psicomètrica i de dècades d'investigació empírica sobre la fiabilitat entre avaluadors. Entendre-la t'ajudarà a utilitzar les dades de Testimoni de Cèrcol de manera apropiada i a establir expectatives realistes sobre el que et poden dir diferents nombres de Testimonis.
Per què una sola valoració d'un company és massa poc fiable per confiar-hi
Quan els investigadors examinen la fiabilitat de les valoracions individuals dels companys —ja sigui observant la constància entre ocasions, o correlacionant les valoracions de dos companys independents sobre la mateixa persona avaluada— troben de manera constant correlacions en el rang de .30–.40 per a les dimensions del Big Five.
Això no és particularment alt. Una correlació de .35 significa que només al voltant del 12% de la variància en la valoració d'un company es comparteix amb la valoració d'un altre company sobre la mateixa persona. Això deixa el 88% de la variància sense explicar: una part és error de mesura genuí, una part reflecteix contextos relacionals diferents (un company de feina veu comportaments diferents que un amic íntim), i una part reflecteix un desacord genuí sobre la personalitat de la persona avaluada.
Per als propòsits de l'avaluació a escala individual —fer afirmacions significatives sobre la personalitat d'una persona concreta a partir de dades dels companys— una sola valoració d'un Testimoni és insuficient. En el millor dels casos és indicativa.
"La fiabilitat entre avaluadors per a les valoracions de personalitat fetes per coneguts se situa típicament al voltant de .35–.45, cosa que indica que cal una agregació substancial per aconseguir estimacions compostes fiables."
— Consulta: Fiabilitat entre avaluadors; i Connelly, B. S., & Ones, D. S. (2010). An other perspective on personality. Psychological Bulletin, 136(6), 1092–1122.
La fórmula de Spearman-Brown: com més Testimonis fan pujar la fiabilitat
El principi psicomètric que regeix com augmenta la fiabilitat amb el nombre d'avaluadors és la fórmula de predicció de Spearman-Brown. Estableix que, si coneixes la fiabilitat d'un sol avaluador, pots predir la fiabilitat de la mitjana de k avaluadors:
r_k = (k × r_1) / (1 + (k − 1) × r_1)
On r_1 és la fiabilitat entre avaluadors amb un sol avaluador i k és el nombre d'avaluadors.
Aquesta fórmula prediu rendiments decreixents: afegir el primer Testimoni addicional aporta més fiabilitat que afegir el desè. La corba s'aplana a mesura que afegeixes més avaluadors i, més enllà d'un cert punt, els Testimonis addicionals contribueixen de manera negligible a la fiabilitat del compost.
Partint d'una fiabilitat típica d'un sol avaluador de r = .35, la fórmula de Spearman-Brown ens dóna les prediccions següents:
Fiabilitat composta (Spearman-Brown) enfront del nombre d'avaluadors companys, partint d'una fiabilitat d'un sol avaluador r = 0,30. La corba puja abruptament d'1 a 3 avaluadors i després s'aplana. La línia vermella discontínua marca 3 avaluadors: el llindar mínim pràctic per a una interpretació significativa.
Fiabilitat segons el nombre de Testimonis: de 3 a 12+
Nombre de Testimonis
Fiabilitat composta esperada (r)
Interpretació pràctica
1
.35
Massa sorollós per a conclusions individuals; tracta'l com un senyal feble
2
.52
Moderat: útil només per identificar patrons forts
3
.62
Acceptable: significatiu en l'àmbit de les tendències principals
5
.73
Bo: prou fiable per a un ús de desenvolupament
7
.79
De bo a molt bo: significatiu per a la majoria de propòsits aplicats
10
.84
Molt bo: sòlid per a contextos de desenvolupament d'alt risc
12
.87
Excel·lent: a prop del sostre de millora útil
15
.89
Guany marginal respecte a 12; rarament val l'esforç addicional
20
.92
Rendiments decreixents plenament vigents
El missatge pràctic d'aquesta taula és clar: de tres a cinc Testimonis produeixen un compost significativament més fiable que una sola valoració, i de cinc a dotze Testimonis són suficients per a la majoria d'aplicacions de desenvolupament i coaching. Més enllà de dotze, el guany marginal per cada Testimoni addicional és prou petit que rarament justifica la càrrega sobre els Testimonis o la complexitat administrativa.
Què significa realment "fiable" per a les dades de personalitat dels companys
Una fiabilitat de .73 (cinc Testimonis) significa que al voltant del 73% de la variància en la valoració composta dels companys és sistemàtica —reflecteix alguna cosa real sobre la persona avaluada—, mentre que el 27% és soroll. Per a un context de desenvolupament, on l'objectiu és identificar patrons amplis i àrees de reflexió més que no pas prendre decisions de selecció d'alt risc, això és suficient. Pots interpretar raonablement que un compost que mostra una Presència clarament més alta que la Profunditat reflecteix un patró genuí en com es percep la persona avaluada.
Una fiabilitat de .84 (deu Testimonis) s'apropa a la fiabilitat de moltes mesures d'autoinforme ben validades. A aquest nivell, pots fer comparacions més refinades: per exemple, una petita bretxa entre Vincle i Disciplina té més probabilitats de ser significativa que amb cinc Testimonis, on diferències tan petites podrien ser soroll.
Per sota de tres Testimonis, interpreta el compost amb una precaució notable. Dos Testimonis amb una fiabilitat de .52 vol dir que gairebé la meitat de la variància del compost és soroll. Això no vol dir que les dades no valguin res —un patró fort i constant entre dos Testimonis encara és informatiu—, però s'ha de tractar com a generador d'hipòtesis més que no pas com a definitiu.
Treure el màxim partit de només 2–3 avaluacions de Testimonis
A la pràctica, recollir deu o més valoracions de Testimonis no sempre és factible. Les persones tenen xarxes limitades de col·legues propers, les normes socials a l'entorn de demanar feedback dels companys varien, i molts usuaris de Cèrcol faran la seva avaluació /first-quarter amb només dos o tres Testimonis disponibles.
Quan tens un nombre limitat de Testimonis, l'enfocament correcte és ajustar la teva interpretació en conseqüència:
Centra't en els senyals forts, no en les petites diferències. Amb dos o tres Testimonis, només les diferències substancials en el perfil compost —una desviació estàndard sencera o més entre dimensions— és probable que siguin fiables. Les petites bretxes entre dimensions s'han de tractar com a soroll.
Busca la constància entre Testimonis. Si tots dos (o els tres) Testimonis et puntuen de manera similar, de manera independent, en una dimensió, aquesta convergència és informativa fins i tot amb una mostra petita. La divergència entre Testimonis —un et puntua alt en Presència i un altre et puntua baix— és un senyal per explorar, no pas per diluir fent-ne la mitjana.
Compara amb l'autoinforme, no amb les normes. Amb un nombre limitat de Testimonis, la comparació més significativa és entre el teu perfil d'autoinforme i el teu compost de Testimonis. On coincideixen? On divergeixen? Fins i tot amb dades de Testimonis sorolloses, val la pena explorar les divergències constants respecte a les teves pròpies valoracions. El patró d'aquestes bretxes, dimensió per dimensió, es descriu a l'acord entre un mateix i els altres per dimensió del Big Five.
Afegeix Testimonis amb el temps. Cèrcol està dissenyat per donar suport a un ús longitudinal. Una avaluació de primer trimestre amb tres Testimonis, repetida amb tres Testimonis diferents sis mesos després, et dóna una imatge més rica que una sola instantània, encara que cap instantània per si sola no sigui gaire fiable.
Per què la diversitat de relacions dels Testimonis importa tant com el nombre
La fórmula de Spearman-Brown assumeix que els avaluadors addicionals són independents i tenen una perspectiva aproximadament equivalent. A la pràctica, la diversitat de relacions importa tant com el nombre de Testimonis.
Cinc amics íntims que et coneixen tots en contextos socials similars produiran un compost més redundant que cinc Testimonis que et coneixen en contextos diferents: un cap, un company, un subordinat directe, un amic íntim i un membre de la família. La diversitat contextual afegeix informació que la simple agregació de relacions similars no capta.
Per als propòsits del càlcul de la fiabilitat, això és una complicació: els Testimonis de contextos diferents poden mostrar una fiabilitat entre avaluadors més baixa precisament perquè estan veient aspectes genuïnament diferents de l'expressió de la personalitat de la persona avaluada. Això és una virtut, no pas un defecte: vol dir que el compost capta una imatge més rica i que abasta més contextos. Però també vol dir que les estimacions de fiabilitat simples poden infravalorar el valor dels grups de Testimonis contextualment diversos.
Testimoni de Cèrcol: recomanacions pràctiques per context
A partir de la literatura psicomètrica i de les limitacions pràctiques dels usuaris típics de Cèrcol, s'aplica la guia següent:
Mínim per a un ús significatiu: 3 Testimonis. Per sota d'això, els resultats són massa sorollosos per a una interpretació fiable.
Objectiu per a un ús de desenvolupament estàndard: 5–7 Testimonis. Això produeix una fiabilitat composta de .73–.79, suficient per identificar patrons genuïns en com et perceben.
Contextos d'alt risc o de coaching: 8–12 Testimonis. Per al desenvolupament del lideratge, el coaching executiu o qualsevol context en què les dades de personalitat s'utilitzin per prendre decisions de desenvolupament importants, deu o més Testimonis produeixen el compost més fiable.
Més enllà de 12: rendiments decreixents. El guany de fiabilitat incremental dels Testimonis addicionals per damunt de 12 és prou petit que la càrrega addicional sobre els Testimonis rarament queda justificada.
Resum: el nombre correcte de Testimonis per al teu cas d'ús
Una sola valoració de personalitat feta per un company té una fiabilitat entre avaluadors d'aproximadament .35: massa baixa per a una interpretació fiable a escala individual. El teorema d'agregació de Spearman-Brown prediu com augmenta la fiabilitat composta amb Testimonis addicionals, fins a assolir nivells acceptables (.73+) amb cinc avaluadors i nivells molt bons (.84+) amb deu. Més enllà de dotze Testimonis, els rendiments disminueixen marcadament. A la pràctica, tres Testimonis és el mínim per a un ús significatiu; de cinc a set és l'objectiu pràctic; deu o més és ideal per a aplicacions d'alt risc. Quan el nombre de Testimonis és limitat, centra't en els senyals forts, busca la constància entre Testimonis i fes servir la comparació entre un mateix i els altres com a lent interpretativa principal.
Referències
Connelly, B. S., & Ones, D. S. (2010). An other perspective on personality: Meta-analytic integration of observers' accuracy and predictive validity. Psychological Bulletin, 136(6), 1092–1122.
Shrout, P. E., & Fleiss, J. L. (1979). Intraclass correlations: Uses in assessing rater reliability. Psychological Bulletin, 86(2), 420–428.
Fes l'avaluació de Cèrcol ara — gratuïta
Tot el que es descriu en aquest article s'aplica a les teves pròpies dades de Testimoni. Vés a cercol.team, fes l'avaluació de personalitat gratuïta i convida almenys tres col·legues a actuar com a Testimonis. Cèrcol mostra intervals de confiança que s'eixamplen com menys Testimonis hi ha, de manera que pots veure exactament com canvia la fiabilitat amb cada avaluador addicional. L'instrument Testimoni és gratuït, els col·legues triguen menys de cinc minuts a completar-lo, i el compost està disponible tan aviat com respon el teu tercer Testimoni.
