Evaluare psihologic metode psihometrice curs 2

1

Abordri n construcia instrumentelor de evaluare psihologic n construcia unui test sau a unei scale n vederea evalurii unei dimensiuni psihologice, fie ea de nivel general sau specific, stabil trstur - sau tranzitorie stare, psihologul are la dispoziie dou abordri generale: metoda constructului i metoda empiric. 1. Metoda constructului sau metoda teoretic presupune focalizarea, n prima etap a construciei instrumentului, pe definirea teoretic a spaiului psihologic asociat respectivului concept, cutnd cunoaterea fundamentelor teoretice ale acestuia din literatura de specialitate, ca i a relaiilor sale cu alte concepte din acelai spaiu. Cu alte cuvinte, efortul de construcie presupune dou direcii: n primul rnd, cea a operaionalizrii nuanelor constructului, aa cum este el definit n literatur; colecia de itemi elaborai ar trebui s acopere toate faetele acestuia. n al doilea rnd, elaborarea itemilor trebuie s in cont de relaiile teoretice dintre constructul vizat i alte concepte. Principiul din spatele acestei abordri este acela c nici o dimensiune psihologic nu este insular, ci face parte dintr-un ansamblu de caracteristici mentale i comportamentale care se condiioneaz reciproc sau care, cel puin, sunt n corelaie. De aceea, prin cunoaterea reelei nomotetice n care este integrat constructul vizat ne asigurm c baza psihologic de plecare este mai consistent dect n cazul n care am avea n atenie exclusiv acest construct. Prin aceast abordare ce insist pe definirea teoretic a ntregului spaiu psihologic n care este ancorat respectiva dimensiune se urmrete maximizarea validitii de construct, una din calitile psihometrice fundamentale ale instrumentelor din psihologie, ce se refer la gradul n care instrumentul construit genereaz scoruri ce se afl n anumite relaii prezise pe baze teoretice cu scorurile generate de instrumentele din acelai spaiu psihologic. Practic, prin conturarea atent a bazei teoretice a constructului n prima etap cretem probabilitatea ca itemii elaborai innd cont de aceast baz s respecte aceast condiie, adic s aib anumite legturi statistice cu instrumentele deja validate i recunoscute care evalueaz conceptele din acelai spaiu. Aceast etap iniial de definire teoretic se refer, mai precis, la trei tipuri de informaii pe care psihologul ar trebui s le cunoasc vizavi de inseria respectivului concept n ansamblul dimensiunilor psihologice din care face parte: a. distincii, adic diferenele fa de alte concepte care, la o privire superficial, ar putea prea apropiate. Prin rspunsul atent la ntrebarea ce nu este acest concept?, ne asigurm c instrumentul construit va ndeplini unul din criteriile particulare ale validitii de construct, i anume validitatea divergent. Din punct de vedere psihometric, n acest fel se minimizeaz riscul suprapunerilor cu alte concepte i, implicit, cel al redundanei instrumentului construit (sau al unui set de itemi al acestuia). b. dependene, adic dimensiunile psihologice supraordonate; practic, aceasta presupune definirea conceptului vizat ca funcie a unor alte concepte.

Evaluare psihologic metode psihometrice curs 2

2

c. relaii, adic identificarea legturilor cu alte concepte, fie ele p ozitive (n sen sul c ateptrile teoretice susin c prezena acelei caracteristici la un individ este nsoit de prezena celeilalte) sau negative. Ultimele dou tipuri de informaii au utilitate n special n ceea ce privete cellalt tip de validitate de construct, i anume validitatea convergent. n elaborarea itemilor scalei, teoria pe care se bazeaz constructul ofer puncte de reper n dou direcii: a. Coninutul scalei, adic semnificaiile pe care ar trebui s le acopere itemii construii, prin operaionalizarea constructului. n aceast privin, una dintre cele mai frecvent ntlnite probleme este cea a dimensiunilor sau formelor particulare ale constructului i a relaiei dintre acestea. Astfel, un construct poate avea dou manifestri posibile i opuse, ordonate pe o singur dimensiune construct unidimensional bipolar (de exemplu, n anumite teorii referitoare la identitatea de gen, aceasta este conceptualizat ca o dimensiune psihologic cu doi poli - masculinitate / feminitate aflai n opoziie, n sensul c individul se poate situa mai aproape de unul dintre ei i, implicit, mai departe de cellalt). Alte constructe implic dou manifestri ce ar putea fi considerate, la o privire superficial, ca avnd aceeai relaie de opoziie (de exemplu, tendina de a tri afecte pozitive, respectiv negative); n realitate, ns, teoriile din acest domeniu (sprijinite de cercetri de neuropsihologie a emoiilor) descriu acest concept ca fiind bidimensional, fiecare din cele dou tendine reprezentnd factori separai (i ortogonali, adic necorelai statistic). Aceasta implic faptul c ncadrarea individului la un nivel ridicat pe una din dimensiuni nu implic neaprat un nivel redus al celeilalte. n fine, multe instrumentelor din psihologie sunt pluri-factoriale, ele subsumnd o serie de dimensiuni care reflect faete diferite ale conceptului (de exemplu, instrumentele care operaionalizeaz perspectiva Big Five asupra personalitii). b. Formatul scalei, adic tipul de itemi i de scale de rspuns din care este ea format. Uneori, teoria psihologic nu poate fi tradus n instrumentul psihologic destinat s evalueze acel concept dect ntr-o manier foarte precis aa cum este cazul teoriei constructelor. De asemenea, influena teoriei asupra formatului scalei apare i n cazul tipului de item cel mai simplu i mai frecvent utilizat Likert n ceea ce privete includerea sau nu a unui punct de mijloc n scala de rspuns a itemilor, care s reflecte poziia neutr a subiectului fa de acea problem. Unele constructe psihologice admit posibilitatea real a neutralitii, n timp ce altele nu, motiv pentru care punctul de mijloc este eliminat, fornd astfel asumarea unei poziii (pozitive sau negative) fa de problem. Alteori, teoria psihologic a constructului poate susine existena unei ierarhii a gradelor de manifestare a unui atribut ca n cazul teoriilor asupra aptitudinilor; n aceste cazuri sunt recomandai itemii care presupun o anumit metod de scalare a rspunsurilor. Una din abordrile cu tradiie n construcia testelor de aptitudini, ce se bazeaz pe aceast abordare a scalrii rspunsurilor, este Teoria Rspunsului la Item. Ea pleac de la principiul c relaia dintre rspunsul dat de subiect i gradul n care el posed acea trstur poate fi descris de o

Evaluare psihologic metode psihometrice curs 2

3

funcie monoton, denumit curba caracteristic itemului. Aceast curb reprezint o formalizare matematic a unei ipoteze psihologice simple, adic aceea c oamenii cu nivel ridicat al acelei aptitudini au o probabilitate mai mare de a rspunde corect la un item dect cei cu un nivel redus. n acest context, curba caracteristic itemului ofer o estimare a probabilitii de rspuns corect la fiecare item pentru fiecare nivel al aptitudinii: de exemplu, n cazul unui test de inteligen itemii uori au o probabilitate mare de rspuns corect att pentru subiecii cu nivel ridicat ct i pentru cei cu nivel redus de inteligen, n timp ce la itemii dificili, probabilitatea celor din ultima categorie este mai redus. Cu alte cuvinte, aceast abordare psihometric este focalizat pe construcia, alegerea i ordonarea itemilor n cadrul testului n funcie de capacitatea lor de discriminare, de a face diferena ntre oamenii cu niveluri diferite ale acelei trsturi (itemii uori au o capacitate redus de discriminare, iar cei dificili o capacitate ridicat). n versiunea final a instrumentului, itemii vor fi ordonai dup dificultate, ceea ce permite evaluarea individului ntr-o manier mai economic cu acelai nivel de precizie ca atunci cnd ar completa ntreaga baterie de itemi: dac el eueaz la un anumit numr de itemi din prima parte a testului (format din itemi uori), nu i mai sunt administrai cei mai dificili, deoarece estimarea nivelului su de aptitudine poate fi deja fcut cu suficient precizie pe baza curbei caracteristice a itemilor deja completai (a probabilitilor ca el s aib diverse niveluri de aptitudine). Mai simplu spus, daca subiectul greete la itemii simpli, probabilitatea ca el s aib un grad nalt a acelei aptitudini devine foarte redus (apropiat de 0), deci este foarte probabil ca nivelul su real de aptitudine s fie unul sczut. n mod similar i pentru acelai scop al economiei de timp i efort, exist o serie de itemi foarte uori (pe care marea majoritate a oamenilor i rezolv fr probleme), care nu sunt inclui n prima versiune a testului dat subiectului. Lui i se administreaz, ns, i aceti itemi suplimentari (menii a face diferena ntre niveluri foarte reduse de aptitudine) dac eueaz la primii din setul administrat iniial. Aceste principii care stau la baza teoriei rspunsului la item sunt aplicate n metodele de scalare a rspunsurilor (cele mai utilizate fiind metodele Guttman i Rasch), care se folosesc i n construcia scalelor din alte domenii dect cel aptitudinal. De exemplu, scalarea Guttman n construcia scalelor are drept obiectiv fundamental eliminarea uneia dintre problemele cu care se confrunt majoritatea instrumentelor psihologice, i anume contaminarea semnificaiei itemilor cu alte trsturi psihologice dect cea vizat; din cauza acestei contaminri, psihologul care administreaz instrumentului nu poate fi pe deplin sigur c rspunsul subiectului este generat doar de caracteristica psihologic pe care o vizeaz explicit instrumentul sau dac el nu este influenat de faptul c anumite nuane ale itemilor sunt relevante pentru alte caracteristici neintenionate (tema va fi reluat n cadrul cursului despre validitatea de coninut). Deci, scopul scalrii de tip Guttman este unidimensionalitatea scalei, adic situaia n care rspunsurile subiectului ar fi influenate de un singur factor: trstura evaluat. i aici, itemii sunt ordonai dup intensitatea cu care reflect constructul vizat, iar rspunsurile solicitate subiectului sunt de obicei de tip da/nu. Principiul aplicat pentru a urmri scopul menionat mai sus este acela c la scalele perfect unidimensionale, cunoaterea scorului

Evaluare psihologic metode psihometrice curs 2

4

total al unui subiect ar trebui s permit reproducerea rspunsurilor sale la itemi, deoarece acordul cu un item puternic implic acordul i cu itemii mai slabi dect el. Deci, dac am cunoate cu ci itemi a fost el de acord (prin intermediul scorului total, rspunsurile de tip Da fiind cotate cu 1 i cele de tip Nu cu 0), ar trebui s ghicim corect toi itemii cu care a fost el de acord (i, implicit, cei la care a rspuns negativ). Un exemplu de scalare ntr-un alt domeniu dect cel aptitudinal este scala de distan social Bogardus, elaborat n scopul evalurii tendinei de discriminarea a altor rase sau naiuni. Instrumentul solicit subiectului s i manifeste acordul sau dezacordul cu o serie de aciuni poteniale pe care le-ar putea realiza reprezentantul unui alt grup social; aceste aciuni sunt ordonate n funcie de intensitatea discriminrii pe care o reflect; o variant de ierarhie a itemilor este cea din lista de mai jos, mergnd de la aciunea a crei acceptare ar reflecta cel mai redus grad de tendine de discriminare social la cea de la polul opus.

Cstorie cu o rud apropiat (de exemplu, cu fiica subiectului) Membri n acelai club Vecini de strad Aceeai ocupaie profesional Primirea aceleiai cetenii Vizitarea rii

Aceast abordare n construcia instrumentelor psihologice utilizeaz o metod specific de analiz a scorurilor colectate n etapa de pretestare a lor, i anume tehnica scalogramei. Ea presupune analiza rspunsurilor la fiecare dintre itemi n scopul calculrii coeficientului de reproductibilitate al scalei, definit ca 1 nr de excepii. Prin excepie se nelege un rspuns la un anumit item ce contravine prediciilor rezultate din analiza celorlaltor rspunsuri. De exemplu, n lista de itemi de mai sus, dac subiectul este de acord doar cu ultimul (vizitarea rii) i i refuz pe majoritatea celorlaltora, o excepie ar fi ca el s fie de acord cu un item aflat n partea superioar a scalei (cum ar fi cel ca persoana vizat s fie membru n acelai club cu el). Cu ct numrul acestor excepii este mai mic, cu att coeficientul de reproductibilitate al scalei este mai mare, traducnd faptul c prin cunoaterea scorului total al unui subiect psihologul poate reproduce exact rspunsurile lui. Pe baza acestui coeficient calculat n etapa de pretestare, se selecteaz doar itemii care se integreaz coerent n ansamblul scalei; deci, se elimin acei itemi care se presupune c au un anumit nivel de intensitate, ns despre care scorurile din pretestare susin c semnificaia lor nu este aceeai pentru toi oamenii (de exemplu, itemul membri n acelai club ar trebui eliminat dac o proporie semnificativ din subiecii din pretestare ar rspunde la scal n maniera descris mai sus). Dac, ns, un procent redus din subieci manifest aceste excepii cu privire la un item, acesta poate fi pstrat n scal, rspunsurile respectivilor indivizi fiind eliminate din baza de date, deoarece ei sunt considerai ca aparinnd altei populaii. Verificarea (validarea) scalelor construite prin abordarea teoretic se realizeaz prin analiza calitilor lor psihometrice interne, adic estimarea fidelitii i a diverselor tipur i de

Evaluare psihologic metode psihometrice curs 2

5

validitate, n special a celei de construct, ceea ce include i analiza structurii factoriale n cazul instrumentelor ce evalueaz constructe multidimensionale. 2. Metoda empiric de construcie a instrumentelor pleac de la manifestrile exterioare ale acelei caracteristici vizate; elaborarea itemilor nu se face n raport cu teoria constructului evaluat, ci n funcie de portretul psihologic i mai ales comportamental al unei persoane care ar poseda respectiva trstur. Dat fiind focalizarea pe corespondena dintre itemi i definirea consecinelor sau manifestrilor practice ale acelei caracteristici, se poate afirma c aceast metod are n vedere n special validitatea aparent a testului, potrivirea la suprafa ntre coninutul itemilor i profilul psihologic asociat conceptului. De exemplu, n cazul construciei unui instrument care evalueaz temperamentul, psihologul ar ncerca n prima etap s alctuiasc o list ct mai complet de manifestri (comportamente, cogniii, emoii) caracteristice fiecreia dintre cele dou varieti temperamentale: introvertul i extrovertul. Din moment ce din portretul robot al unei persoane introvertite face parte, printre altele, evitarea spaiilor publice, aceasta va fi inclus n lista de itemi ce operaionalizeaz introversiunea. Aceast abordare este cea folosit intensiv n primele etape ale construciei testelor de personalitate, ea stnd la baza elaborrii celor mai cunoscute astfel de instrumente, ce vizeaz ntreaga sfer a personalitii. Instrumentele construite astfel sunt deseori validate prin metoda grupurilor cunoscute, care evalueaz msura n care instrumentul discrimineaz ntre dou grupuri despre care se cunoate faptul c posed tipuri diferite (opuse sau nu) ale respectivei trsturi; de exemplu, n cazul instrumentului de temperament, un indiciu al validitii sale ar fi acela c scorurile totale obinut de un grup de persoane despre care psihologul tie din alte surse (alte instrumente, evaluare clinic, etc.) c sunt introvertite ar fi semnificativ diferite (n direcia ateptat) fa de cele obinute de un grup de extravertii. Dincolo de validarea scalei pe ansamblul su, aceeai abordare empiric poate fi folosit i n selecia itemilor, adic decizia de pstrare a una dintre ei pe baza corespondenei lor statistice cu un criteriu exterior. De obicei, scopul acestei selecii este construirea unui instrument cu putere mare de predicie a unui criteriu, adic a unor comportamente sau stri psihologice ale individului (de exemplu, probabilitatea ca el s dezvolte depresie). Acest obiectiv poate fi urmrit prin trei metode psihometrice: a. Metoda grupurilor cunoscute este similar celei descrise mai sus cu privire la validarea instrumentului pe ansamblul su. De aceast dat, criteriul de selecie a itemilor este diferena dintre mediile celor 2 grupuri la fiecare dintre itemi, fiind selectai itemii cu diferenele maxime de medii, deci care difereniaz cel mai puternic ntre cele dou grupuri (de exemplu, cei cu diagnostic clinic de depresie i cei clinic sntoi). Pe lng utilizarea acestei diferene de medii ca criteriu de selecie, ea poate fi inclus i n cotarea instrumentului final, n sensul c ea poate fi folosit ca pondere n calculul scorului total al subiectului. Astfel, itemii care difereniaz mai puternic ntre cele dou grupuri devin mai importani n scorul total al

Evaluare psihologic metode psihometrice curs 2

6

subiectului dect cellalt. Aceast metod trimite la abordarea Thurstone n construcia i selecia itemilor, descris n cursul urmtor. b. Metoda validitii itemului se refer la calcularea corelaiei dintre item i criteriu, n special atunci cnd acesta nu este unul dihotomic (ca prezena / absena depresiei), ci unul cantitativ continuu (de exemplu, numrul de zile de spitalizare necesare, n cazul unui instrument ce evalueaz intensitatea depresiei). c. Metoda regresiei multiple ierarhice presupune calcularea unor modele progresive de regresie multipl prin care s se prezic respectivul criteriu. Itemii sunt adugai pe rnd n ecuaia de predicie, n funcie de cantitatea de varian a criteriului pe care o explic (msura n care diferenele dintre oameni n privina rspunsului la acel item sunt asociate cu diferene n privina criteriului; de exemplu, n cazul unui item ca Simt c nu am nici o valoare, variana explicat se refer la msura n care diferenele de rspuns dintre oricare doi subieci - unul alegnd varianta Da, iar cellalt Nu sunt asociate cu diferene de probabilitate a depresiei n cazul fiecruia). Prin acest procedeu sunt selectai itemi care coreleaz puternic cu criteriul, dar slab ntre ei, deoarece metoda statistic a regresiei evit predictorii care au ntre ei corelaii puternice. Aceast problem este una general n cazul instrumentelor construite prin metode empirice de selecie: ele sunt heterogene, deoarece majoritatea criteriilor tind s fie multidimensionale, s aib foarte multe faete, modaliti de manifestare practic. Astfel, itemii ce acoper toat aceast sfer de manifestri este probabil s aib asocieri reduse ntre ei. Probleme ale scalelor construite prin abordarea empiric: a. n primul rnd, nu exist certitudinea c itemii din scalele construite prin raportare la manifestrile exterioare ale trsturii evaluate, i selectai prin metodele descrise anterior msoar (doar) ce ar trebui s msoare. Semnificaia lor ar putea fi contaminat cu alte constructe psihologice, iar simpla corelaie cu prezena acelei trsturi la anumite grupuri de oameni nu certific total validitatea instrumentului. b. Instrumentele construite astfel au dificulti de generalizare la alte populaii dect cele reprezentate n eantioanele de construcie, deoarece nu putem fi siguri c itemii selectai n versiunea iniial a scalei au aceeai capacitate de discriminare a altor grupuri dect cele pe care a fost ea construit. c. Instrumentele construite astfel nu stimuleaz teoria psihologic, deoarece ele nu vizeaz relaii teoretice ntre constructul vizat i altele. Pe fondul acestor probleme, i mai ales odat cu creterea importanei validitii de construct n literatura tiinific pe tema construciei instrumentelor psihologice, folosirea acestei abordri a devenit din ce n ce mai puin frecvent. Totui, 17 % din testele disponibile acum (n special cele de personalitate) sunt construite astfel, selecia itemilor ce le compun fiind realizat mai ales prin metoda grupurilor cunoscute. Pentru a evita erorile la care pot duce aceste scale, se recomand: a. utilizarea unor grupuri de contrast mari (peste 300 de subieci)

Evaluare psihologic metode psihometrice curs 2

7

b. validarea scalei dup selecia itemilor i pe alte eantioane din populaie, pentru a verifica semnificaia diferenelor sau corelaiilor, msura n care ele pot fi generalizate. Un exemplu de instrument construit empiric este Minnesota Multiphasic Personality Inventory (MMPI), care reprezint unul din cele mai cunoscute i mai utilizate teste n psihologia clinic contemporan. Versiunea iniial a MMPI a fost construit de Hathaway & Kinley n 1943, ea coninnd 550 itemi de tip ad evrat / fals. Construcia itemilor a fost una exclusiv empiric, scopul autorilor fiind predicia evoluiei psihiatrice a subiecilor. De aceea, itemii selectai au fost cei specifici ca rspuns eantioanelor clinice (cu diverse patologii psihice). Opiunea pentru abordarea empiric n acest caz este explicabil prin faptul c autorii au considerat teoriile dominante la acel moment cele psihodinamice ca incapabile s ofere o baz util pentru evaluarea probabilitii ca individul s dezvolte tulburri mentale. De aceea, ei au ales un fundament ateoretic pentru testul construit, astfel nct el s poat evidenia aspectele psihopatologice indiferent de evoluia teoriilor clinice i de paradigma care ar ajunge la mod n spaiul tiinei psihologice la un moment dat Versiunea iniial a MMPI coninea 4 scale de validitate a rspunsurilor i 10 scale clinice. Scalele de validitate sunt: ? non-rspuns, L Minciun, F Validitate, frecven i K Auto aprare. Pe baza lor, psihologul poate estima dou tendine de deformare a rspunsurilor la instrument pe care le poate pune n practic subiectul, i anume: Mimarea rului (simularea simptomelor), observabil prin scorurile mici la L i K, nsoite de scoruri mari la F; Autoprezentare pozitiv mimarea binelui observabil prin scoru ri mari la L i K, nsoite de scoruri mici la F. Scale clinice (i manifestrile psihopatologice a cror probabilitate o estimeaz testul) sunt: Depresie, Hipocondrie, Isterie de conversie, Deviaie psihopatic, Masculinitate feminitate, Paranoia, Psihastenie, Schizofrenie, Hipomanie, Introversie social. Aceast prim versiune a MMPI a fost construit pe baza unui eantion de albi din zona Minneapolis, ceea ce a atras critici cu privire la validitatea de coninut a scalei, respectiv relevana etaloanelor sale pentru celelalte populaii definite de ras. Aceast obiecie, mpreun cu altele, au motivat construcia n 1989 a celei de-a doua versiuni, coninnd 567 itemi, pe un eantion de peste 2000 de subieci din toate zonele i comunitile S.U.A. n fine, ultima versiune elaborat - MMPI-2 Restructured Form (MMPI-2-RF) i publicat n 2008 include 338 itemi; specificul su n raport cu cele anterioare este abandonarea punctului de reper exclusiv empiric n construcia i selecia itemilor; o parte dintre scalele acestei versiuni contemporane sunt construite teoretic; de exemplu, una dintre scalele introduse n ea este cea de Demoralizare, elaborat pe baza teoriilor despre structura ierarhic a strilor afective.

Evaluare psihologic metode psihometrice curs 2

8

Bibliografie Aiken, L.R. (2000). Psychological testing and assessment, (10th edition), Allyn and Bacon Bohrnstedt G. (1983). Measurement. n Rossi PH, Wright JD, Anderson AB (Eds.) Handbook of Survey Research. Orlando , FL : Academic Press Dawis, R. (1998). Scale Construction, n Kazdin, A. E. (Ed.), Methodological issues & strategies in clinical research, Washington, DC : American Psychological Association Fischer J & Corcoran K (2007). Measures for clinical practice: A sourcebook. 4nd Ed., New York: Oxford University Hathaway, S.R., & McKinley, J.C. (1943). The Minnesota Multiphasic Personality Inventory (Rev.ed.). Minneapolis: University of Minnesota Press. Kerlinger, F.N. (1986). Foundations of behavioral research (3rd ed.) New York: Holt, Rinehart and Winston. Switzer, G., et al. (2000). Measurement issues in intervention research. n R. Schulz (Ed.), Handbook on dementia caregiving: Evidence-based interventions for family caregivers. New York: Springer Toyer EA, Weed NC. (1998). Concurrent validity of the MMPI-A in a counseling program for juvenile offenders. Journal of Clinical Psychology 54(4):395-9.