_Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

63
Fidelitatea si validitatea. Caracteristicile ”psihometrice” în măsurarea psihologică Dragos Iliescu

description

Metodologie 2

Transcript of _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Page 1: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Fidelitatea si validitatea.

Caracteristicile ”psihometrice” în măsurarea psihologică

Dragos Iliescu

Page 2: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

I. FIDELITATEA

Page 3: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Vom vorbi despre...

• Definitie• Problematica fidelitatii• Tipuri de fidelitate• Modalitati de masurare• Eroarea Standard de Masurare / de

Predictie• Corecții pentru (lipsă de) fidelitate

Page 4: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Fidelitatea: Definitie• În orice măsurare a fidelităţii, referirea se face la consistenţa şi

reproductibilitatea unei observaţii (cotă, scor, notă) sau set de observaţii (distribuţia scorurilor). Dacă cu acelaşi instrument de măsură se fac determinări în timpi succesivi şi de fiecare dată se ajunge la aceleaşi valori, spunem că am obţinut o măsurare cu o fidelitate mare.

• Prin fidelitate se înţelege fineţea cu care testul măsoară constructele sale componente, respectiv gradul de exactitate şi lipsa greşelilor de măsurare.

• Fidelitatea indică utilizatorului gradul în care poate avea încredere în rezultatele testului.

• Fidelitatea este “gradul în care scorurile testului sunt consistente sau repetabile, adică gradul în care ele nu sunt afectate de erorile de măsură” (APA Standards, 2014).

Page 5: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Fidelitatea: Problematica• Asadar, fidelitatea vorbeste despre

– exactitate– lipsa de eroare– repetabilitate– ...

• In teoria clasica a testarii (CTT), rezultatul unei masurari psihologice este definit drept:

True score = Observed score + Error

• Deci, cu cat eroarea este mai mica, cu atat scorul observat (masurat in mod efectiv) este mai corect, mai apropiat de “realitate” (scorul “adevarat”)

Page 6: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Fidelitatea: Masurare• Pentru determinarea fidelităţii, sunt posibile mai multe proceduri şi

se pot folosi metode diferite de evaluare sau chiar de măsurare ale acesteia.

• masurare: (empirical correlational methods, multiple measurement)– test-retest– forme echivalente

• estimare: (multivariate methods, single measurement: internal consistency)– split-half– Cronbach’s alpha– Guttman’s lambda– Kuder Richardson’s KR-20 & KR-21

Page 7: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Fidelitatea: Test-retest• metoda foarte puternica, de masurare a fidelitatii (nu estimare)

• se administreaza acelasi test de 2 ori, la o oarecare distanta intre administrari– distanta este dependenta de tipicul testului (aptitudini generale, aptitudini

specifice, personalitate etc.)

• probleme:– esantioane mici, de obicei– esantioane necontrolate, de obicei (dropouts)– efectele invatarii (mai ales la distante de retest mici si la anumite tipuri de teste)– efectele dezvoltarii/evolutiei (mai ales la distante de retest mari)

• se raporteaza:– rtt, coeficientul de corelatie intre seturile de date obtinute in test si retest– distanta de retest (2 saptamani, 5 zile etc.)

Page 8: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Fidelitatea: Forme echivalente• metoda foarte puternica, de masurare a fidelitatii (nu estimare)

• probleme– este posibila doar la acele teste unde exista forme echivalente– efort foarte mare pentru autor sa genereze forme echivalente– echivalenta nu este niciodata perfecta

• se raporteaza:– rab, coeficientul de corelatie intre seturile de date obtinute cu Forma A si

Forma B

• Exemplu:– TTCT, Torrance Tests for Creative Thinking, Verbal & Figural, Forms A and

B

Page 9: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Fidelitatea: Split-half• metoda mai slaba, de estimare a fidelitatii (nu masurare)

• metoda: – se imparte testul in 2 subteste, esantionand itemii sai– esantionarea poate fi facuta ori aleator, ori dupa o regula,

• de obicei itemi pari vs. impari

• se raporteaza– rxy, coeficientul de corelatie intre cele 2 subteste, de obicei rpar-

impar

Page 10: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Fidelitatea: Consistenta interna• metoda mai slaba, de estimare a fidelitatii (nu masurare)• cea mai populara metoda de raportare a fidelitatii

– coeficientul Alpha, α (Lee Cronbach)– coeficientii KR 20 si KR 21 (Kuder & Richardson)– coeficientii Lambda (1-6) ai lui Guttman, λ3 este similar cu Alpha-Cronbach

• metoda: – multivariata– se raporteaza media deviatiilor fiecarui item de la valoarea medie, la deviatia

scorului total– NU UITATI SA INVERSATI ITEMII SCORATI INVERS!!!

• se raporteaza– α/ λx /KR20/KR21=[0.00-1.00]– praguri (Bernstein & Nunnaly): .70 / .90

Page 11: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Fidelitatea unor metode de evaluare diferite

• in aceasta evaluare de obicei metodele sunt impartite in calitative vs. cantitative– observatie

• acord interevaluatori, de obicei pe acelasi behavioral sample• α = .05 - .25

– interviu• acord interevaluatori• α = .05 - .50

– test/chestionar• toate metodele discutate• α = .50 - .90

Page 12: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Cum variaza fidelitatea testelor?• De obicei fidelitatea

unui test creste odata cu numarul de itemi

• Spearman-Brown prophecy (demonstratia clasica: Guilford, 1954)– true variance increases

more rapidly than error variance

– rnn = n x rtt / (1+ (n-1) rtt )

Page 13: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Alte forme de fidelitate(metode calitative)

• Fidelitatea estimarilor pentru mai multi evaluatori (reliability ratings across judges)– acord inter-evaluator

• ICC: Intraclass Correlation Coefficient

Page 14: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

ICC: problema

Page 15: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

ICC: problema (grafic)

Page 16: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Corecția pentru (lipsa de) fidelitate

• ”correction for attenuation”• ”regression dilution”• ”disattenuation”

– ”rid a correlation coefficient from the weakening effect of measurement error” (Jensen, 1998)

• rxy(corr) = rxy / sqrt (rxx * ryy)

Page 17: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Unde aplicăm corecții (de-atenuări?)

CRITERIUPREDICTOR

Cauza Efect

Variabila independenta Variabila dependenta

Ex: Inteligenta (GMA) Ex: Performanta profesionala

Ex: Constiinciozitate Ex: Accidente de munca (-)

Ex: Extraversie Ex: Eficienta in vanzari

Page 18: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Fidelitatea: Wrap it up• In concluzie:

– fidelitatea se poate masura sau estima– metodele de masurare sunt mai puternice decat cele de

estimare– indicele de fidelitate e cuprins intre 0 si 1– operam cu praguri de .70 si de .90 pentru fidelitate, atunci cand

o aplicam unor probleme de masurare

• Insa fidelitatea nu are un sens direct in masurare– daca ne intoarcem la ecuatia din CTT (Observed score = True

score + Error), cum este relationata fidelitatea cu “Error Term”?– prin intermediul conceptului de “Standard Error of Measurement”

Page 19: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

SEM: Standard Error of Measurement

• Eroarea de măsurare standard (se) se calculează potrivit Formulei (1), unde se = eroarea de măsurare standard, sx = abaterea standard, rtt = coeficientul de fidelitate.

• se = sx √ (1- alpha)

• Atunci cand in locul fidelitatii consistenta interna se foloseste fidelitatea test-retest, masura se numeste SEP: Standard Error of Prediction

• Intervalul de confidenta de 90% (+ - SEM): intervalul in care pica scorul real al subiectului, cu o probabilitate de 90%

Page 20: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

SEM: Exemplu

• Scala staninelor are o medie de 5 şi o abatere standard de 1.96

– Fidelitatea unui test este rtt= .70

• se = 1.96 √ (1- .70) = 1.07

• Scala QI are media de 100 si abaterea standard de 15

– Fidelitatea unui teste este rtt= .95

• se = 3.35

Page 21: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

SEM: la ce ne foloseste?

• Estimarea erorii de masurare– la fidelitati sub .70, se creste foarte mult si scala nu

mai poate fi utilizata pentru decizii majore– la fidelitati de peste .90, se scade la un nivel la care

putem spune ca se poate lucra coerent cu scala

• Probleme de comparatie– comparatia scorului unui individ cu scorul altui individ– comparatia scorului unui individ cu un prag

Page 22: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Test de inteligenta: cu 90% confidence interval pentru

rtt=.50, .70 si .95

Page 23: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Chestionar de personalitate: NPQ (Ce ar fi daca fidelitatile ar fi la .50)

Page 24: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Chestionar de personalitate (contd.)

Page 25: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Chestionar de personalitate (contd.)

Page 26: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Chestionar de personalitate (contd.)

Page 27: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Test de aptitudini (Performanta aritmetica): confidence interval pentru

rtt=.50 (cu rosu) si pentru rtt=.75 (cu gri)

Page 28: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Test de aptitudini (Vanzari): confidence interval pentru rtt=.50

(cu rosu) si pentru rtt=.90 (cu verde)

Page 29: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Concluzie

• “A measurement cannot be valid if it is not reliable”

• Fidelitatea este considerata o conditie a validitatii

Page 30: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)
Page 31: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

II. Validitate

Page 32: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Vom vorbi despre...

• Definitie• Tipuri de validitate• Validitatea de construct• Validitatea de criteriu• Validitatea metodelor (in general)

Page 33: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Validitatea: Definitie• Concepţia actuală despre validitate spune că aceasta reprezintă un corpus

complex şi integrat de demonstraţii şi cunoştinţe ştiinţifice care examinează variabilele psihologice măsurate de test (AERA, APA, NCME, 2014).

• Aceste demonstraţii ne parvin într-o varietate de forme, iar înţelegerea validităţii unui test necesită examinarea lor atentă.

– “Forme de validitate” – outdated– “Surse de validitate”

• Validitatea este conceptul central pe care se bazează masurarea psihologica, atât în cazul aptitudinilor cât şi al personalităţii.

– Ea ne permite formularea de aserţiuni privind gradul de dezvoltare al unei caracteristici care ne interesează sau emiterea de predicţii în ceea ce priveşte comportamentul viitor al persoanei evaluate.

Page 34: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Validitatea: Surse de validitate• Validitate de continut (content validity):

– construct validity (verificare a operationalizarii)– face validity– translation validity

• Validitate de criteriu (criterion-related validity)– validitate predictiva (predictive validity): prezice ce ar trebuie sa prezica– validitate concurenta (concurrent validity): distinge intre grupuri intre

care ar trebui sa distinga– validitate convergenta (convergent validity): coreleaza cu alte

operationalizari ale conceptului (sau masuri ale acestuia)– validitate discriminanta/divergenta (discriminant/divergent validity):

operationalizarea diferentiaza fata de alte concepte similare

Page 35: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Validitatea: clarificari / exemple• În linii generale, validitatea exprimă gradul în care un test măsoară ceea ce îşi

propune să măsoare.

• La această calitate se mai poate adăuga şi o alta, dacă testul poate fi utilizat în luarea unor decizii corecte.

• Cu alte cuvinte (exemplu), dacă noi cunoaştem performanţele unei persoane la un test (predictor), cât de precis vom putea estima ce performanţe profesionale va obţine?

• Validitatea poate fi definită în termeni operaţionali ca şi corelaţia dintre predictor şi criteriu (de ex. performanţele profesionale ale unui eşantion de indivizi).

• Rezultatul este cunoscut ca şi coeficient de validitate.• Un test poate avea mai mulţi coeficienţi de validitate, în funcţie de numărul de

dimensiuni profesionale (calitatea muncii, disciplina, categoria profesională etc.) care corelează cu el.

Page 36: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Validitatea de continut / construct

• Pune probleme legate de gradul în care dimensiunile măsurate sunt cu adevărat relevante pentru conceptul pe care se concentrează testul

– construct underrepresentation: daca sunt prezente toate dimensiunile relevante (daca nu s-au pierdut unele care trebuiau sa fie)

– construct irrelevance: daca nu sunt prezente dimensiuni nerelevante (care contribuie la eroare, dpdv al constructului evaluat)

Page 37: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Exemple: construct underrepresentation &

irrelevance• Personalitate:

– masuram sociabilitate si responsabilitate; este testul valid (de construct)?– masuram extraversie si stabilitate emotionala; este testul valid (de

construct)?

• Sociabilitate:– masuram fluenta verbala, numarul de glume pe care il poate face; este

valid? (include toti indicatorii relevanti)

• Usurinta aritmetica:– masuram capacitatea de a transpune o problema matematica in ecuatie,

de a face calculele si de a explica verbal semnificatia rezultatului la care s-a ajuns; este valid? (surprinde constructul corect?)

Page 38: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Validitatea de construct (contd.)• Care este perioada asociata cu filosoful Epicur?

– a. 341-270 BC– b. 331-232 BC– c. 280-207 BC– d. Nici una din aceste optiuni

• Cand s-a nascut fondatorul Microsoft, William Gates?– a. 1949– b. 1953– c. 1957– d. Nici una din aceste optiuni

• Care din urmatoarele enunturi sunt corecte cu referire la ANOVA?– a. A fost inventata de Fisher in 1914– b. A fost inventata de Fisher in 1920– c. A fost inventata de Pearson in 1920– d. Nici una din aceste optiuni

Page 39: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Validitatea de construct (contd.)• ... pe ce ne bazam?• cand putem hotari ca dimensiunile incluse sunt cele corecte, cele care trebuie sa

fie acolo?

• Exemplu: ce dimensiuni de personalitate, din urmatoarele, ati include intr-un test care sa fie cat mai scurt (3-8 dimensiuni)

– Dominanţa - Flexibilitatea– Independenţa - Orientarea spre competiţie– Amiabilitatea - Orientarea spre status– Autocontrolul - Perseverenţa– Internalitatea - Dorinţa de învăţare– Extraversia - Sociabilitatea– Stabilitatea emotionala - Deschiderea spre noutate– Constiinciozitatea - Responsabilitatea– Tonusul psihic - Psihotismul

• intotdeauna se pune si problema – potrivirii cu obiectivele, a adecvarii la situatie (de ex. pentru personalitate clinic vs.

nonclinic)

Page 40: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Validitatea de construct (contd.)• concluzie preliminara:

– pune problema constructiei (=de construct) corecte a predictorului nostru (testul):– ai acoperit complet si corect aria empirica a conceptului?

• 1. ai dimensiuni straine de concept?• 2. iti lipsesc dimensiuni importante care tin de fapt de concept?• 3. felul in care dimensiunile se agrega corespunde felului in care teoria prescire agregarea

lor?

• metoda:– (1) & (2) se trateaza prin recurs la teorie si se probeaza validitatea de construct

demonstrand ca in testul-tinta conceptul respectiv este tratat asa cum o teorie sau model anume prescrie

– (3) se trateaza empiric & statistic:• analiza factoriala exploratorie (EFA), care reproduce coerent ce zice teoria (de ex. extrage

numarul corect de factori, itemii au tiparul corect de saturatii)• analiza factoriala exploratorie (EFA), cu rotatie Procrustes• analiza factoriala confirmatorie (CFA): the data fits the model? / goodness of fit measures

• se raporteaza:– text, blabla, nu exista un coeficient de validitate de construct

Page 41: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Corectitudinea dimensiunilor, Ex.: TABP

• Type A Behavior Pattern– Tiparul comportamental de tip A (=

personalitate de tip A)

• un conglomerat de comportamente care tind sa apara impreuna si care, atunci cand sunt prezente, maximizeaza riscul de somatizare a stresului ocupational si de dezvoltare a unor afectiuni coronariene

Page 42: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Corectitudinea dimensiunilor, Ex.: TABP

• Nerăbdarea (IMP)

• Furia (ANG)

• Sentimentul Lipsei de timp (TU)

• Implicarea în muncă (WI)

• Insatisfacţia legată de serviciu (JD)

• Competitivitatea (COM)

Page 43: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Corectitudinea dimensiunilor, Ex.: TABP (contd.)

• Daca am introduce si alte dimensiuni, am putea extinde plaja diagnostica a testului

• De exemplu: – Perseverenţa– Dominanţa– Angajamentul in sarcina– Flexibilitatea (-)– Absorbirea in munca (intr-o activitate)– Internalitatea (LOC)– Efortul compensator– Mândria pentru propria perfomanţa– Preferinţa pentru dificultate– Autocontrolul şi autodisciplina– Orientarea spre status– Orientarea spre competiţie– Fixarea de scopuri ambitioase

• Dar: este asta valid?

Page 44: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Validitatea de construct: wrap it up

• trebuie pastrata balanta intre:– validitatea pentru o sarcina specifica– validitatea principiala legata de constructul

focal

• validitatea de construct se judeca intotdeauna teoretic, prin apel la teoriile care marcheaza teritoriul stiintific respectiv

Page 45: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Validitatea de criteriu: explicatie• un indicator al faptului ca testul poate fi utilizat ca predictor

pentru un anumit comportament (criteriu)– ca urmare a existentei acestui tip de validitate putem spune, daca

testul are un scor mare, ca X e probabil si cand testul are scor mic, ca X este improbabil (sau –X e probabil)

• validitatea de criteriu spune ce predictii sunt valide – deci cum se interpreteaza scorurile testului

• de principiu este corelaţională la nivel comportamental, însă se admit şi alte indicii, de exemplu experimentale sau de comparaţie inter-grupuri

Page 46: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Validitatea de criteriuPrincipiu

• cat mai voluminos corp de cunostinte despre felul in care se comporta o anumita scala sau test:– in relatie cu anumite criterii– in anumite situatii (ar putea fi generalizabil, in functie

de explicatia teoretica oferita)• de ex. experimentul Sy vs. Do in CPI, explicatia e coerenta,

deci e probabil generalizabila

– pe anumite esantioane (ar putea fi generalizabil, in functie de explicatia teoretica oferita)

• de ex. legatura dintre Re si ceasornicari, explicatia e coerenta, deci generalizabila

• de ex. scorurile la STAI-Y pentru adulti in SUA vs. Romania (desi coerent si aparent generalizabil, s-a infirmat)

Page 47: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Validitatea de criteriuMetoda

• date continue: corelatie intre criteriu si predictor (validitate predictiva)– se raporteaza drept coeficient de validitate r

• grupuri contrastante sau puternic contrastante (validitate concurenta)– high vs low scorers pe predictor coincid cu high vs. low scorers

pe criteriu– se raporteaza testul T, al semnificatiei diferentei intre doua medii

(p<.01, p<.05, p<.001 etc.)

• alte metode, inovative, cum ar fi de ex. metode de grupare (analiza de cluster, analiza factoriala de tip Q)

Page 48: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Exemplu validare de criteriu: Scala Do din CPI (1)

Obiectivele scalei

– Scala Dominanţă (Do, Dominance) a fost dezvoltată iniţial în cadrul unui proiect de studiu al participării politice (Gough, McClosky & Meehl, 1951) cu scopul explicit de a identifica indivizii puternici, dominanţi, influenţi, cu ascendent asupra celorlalţi şi care preiau conducerea şi îşi exercită autoritatea (Megargee, 1972).

Page 49: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Exemplu validare de criteriu: Scala Do din CPI (2)

Constructia scalei

– Scala Do a fost construită prin compararea empirică a conceptului de „dominanţă” cu scorurile obţinute de către un număr de subiecţi pe baza unui set de itemi, construit special în acest scop.

– Gough, McClosky & Meehl (1951) au construit un set de itemi care putea descrie o persoană dominantă şi au selectat din acesta, pe baza unui procedeu experimental-comparativ itemii cu puterea cea mai mare de discriminare.

– Procedeul este numit peer nomination şi constă, în forma sa clasică, din aceea că, într-un eşantion de subiecţi care sunt familiarizaţi unul cu altul (de exemplu o clasă de elevi, un grup de muncă), persoanele care compun eşantionul sunt rugate să-i numească pe aceia dintre ei care se potrivesc cel mai bine cu un anumit criteriu.

– Ulterior, acestor persoane selectate li se aplică un set de itemi sau un chestionar şi pe baza analizei statistice sunt reţinuţi itemii care au putere de discriminare.

Page 50: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Exemplu validare de criteriu: Scala Do din CPI (3)

• Cateva studii importante sunt:– Gough (1969b): comparatie de peer-nominated cu normele

nationale– Gough (1969b): comparatie de high si low nominated intre ei– Hase & Goldberg (1967): comparatie auto-evaluare globala si

auto-evaluare cu CPI– Megargee, Bogart & Anderson (1966): validare predictiva– Gough (2003): studiu longitudinal peste 40 de ani, cadeti din

West Point– Dicken (1960): studiu cu Gi vs. Do (arata semnificatia prosociala

a Do)– Gough (1954): studiu cu Sy si Do (militari marsaluind)

Page 51: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Exemplu validare de criteriu/construct: Scala Do din

CPI (4)• 4 factori in interpretare

– Primul factor este compus în principal din itemi care descriu persoana evaluată drept un leader, căruia îi place să conducă, să vorbească în faţa altor oameni şi care are talent pentru organizarea şi controlarea celorlalţi. Exemple de astfel de itemi sunt „Am un talent înnăscut de a influenţa oamenii” (adevărat), „Cred că mi-ar plăcea să am putere asupra altora” (adevărat).

– Al doilea factor este descriptiv pentru un puternic sentiment al auto-controlului, fiind compus din itemi precum „Îmi este greu să mă concentrez pe activitatea pe care trebuie să o fac” (fals), „Renunţ cu uşurinţă atunci când lucrurile devin dificile” (fals) şi „Am greutăţi mai mari decât ceilalţi oameni cu concentrarea” (fals).

– Al treilea factor ţine de controlul şi dirijarea celorlalţi, conţinând itemi precum „Îmi place să dau ordine şi să pun lucrurile la punct”, „Mi-ar plăcea să am autoritate asupra altor oameni” şi „Îmi place să planific lucrurile şi să stabilesc ce are fiecare persoană de făcut”.

– Al patrulea factor poate fi descris drept factorul normei sociale; conţine doar doi itemi, însă ambii afirmă obligativitatea fiecărei persoane de a participa la activităţile grupului sau naţiunii sale şi de a se supune consensului comun.

Page 52: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Exemplu validare de construct: Scala Do din CPI (5)

Page 53: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Exemplu validare de criteriu: Scala Do din CPI (6)

• Comportamente asociate

– „Şi-a asumat controlul grupului” (.33);– „A vorbit mult la întâlnire” (.33);– „A avut mai multe de spus decât oricine altcineva” (.32);– „A acordat sprijin celui care a avut o idee bună” (.32);– „A învăţat numele tuturor celorlalţi din grup” (.29);

– „A vorbit doar dacă i s-a adresat altcineva întâi” (-29);– „Nu a intrat în conversaţie până nu i s-a pus o întrebare” (-.19);– „A dat doar răspunsuri monosilabice la întrebări personale” (-.19);– „A aşteaptat ca cealaltă persoană să aleagă tema conversaţiei” (-.18);– „A devenit tăcut atunci când au intrat oameni noi în încăpere” (-.17);

Page 54: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Exemplu validare de criteriu: Scala Do din CPI (7)

• Descrieri din anamneza

– Neobişnuit de sigur pe sine, se simte în stare să facă faţă aproape oricărei situaţii. (.27, .24);

– Lasă o impresie bună, are tehnici interpersonale eficiente. (.24, .20);– Foloseşte un vocabular vast şi variat. (.14, .23);– Plin de haz şi de viaţă, face o conversaţie interesantă. (.16, .26);

– Este nesigur pe sine, are îndoieli privind propriile abilităţi. (-.22, -.24); – Are multe griji şi probleme. (-.18, -.20); – Este reticent şi taciturn. (-.19, -.14); – Are dificultăţi în a-şi exprima ideile. (-.16, -.20);

Page 55: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Validitatea de criteriu: Exemple (2)

• dovezi experimentale:– experiment pentru Sy (militari marsaluind)

• comparatii intergrupuri:– AMI; motivatie pentru performanta pe esantioane de sportivi,

artisti, someri– CPI, To; toleranta comparata pe esantioane de hipioti,

neonazisti, calugari– SWS, TABP comparat pe esantioane de bolnavi– uneori aceasta abordare iti documenteaza scala (adica aduce la

lumina noi utilizari sau semnificatii):• CPI, Re: ceasornicari, slefuitori de diamante, controlori de zbor etc.

Page 56: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Validitatea predictiva• cea mai puternica, dar si cea mai rara• se bazeaza pe studii longitudinale, care prezic evolutii sau

comportamente pentru populatii largi, pe perioade de timp relativ lungi

• Exemple:– CPI, modelul cuboid, ca predictor al succesului militar: absolventi de

West Point, promotiile anilor ’60 si ’70– EPQ: studiu longitudinal pe probabilitatea de recidiva a detinutilor– STAXI: studiu longitudinal pe probabilitatea de a avea un accident auto,

studiu pe accidente de munca– SWS: studiu longitudinal pe probabilitatea de a avea un infarct miocardic– Raven: prezice succesul scolar

Page 57: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Validitatea divergenta• Este importanta mai ales in acele conditii in care

conceptul-tinta este foarte aporpiat de alte concepte

• Exemplu:– test de depresie– exista comorbiditate intre depresie si anxietate– ar trebui sa demonstram

• nu doar ca testul nostru diferentiaza depresivi de nondepresivi• ci si ca nu coreleaza cu teste de anxietate

– si ca diferentiaza mai bine intre high si low scorers de depresie decat intre high si low scorers de anxietate

Page 58: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Validitatea de aspect• o modalitate (gresita) de a infera validitatea de criteriu (sau validitate in general)

este bazata pe itemii scalei sau pe natura problemei

• personalitate:• 27. Când mă contrazic cu cineva am tendinţa să vorbesc mai tare decât de

obicei.• 86. Clocoteşte sângele în mine când sunt luat de prost.• 105. Deseori nu îmi pot stăpâni supărarea şi furia.• 113. Am deseori tendinţa să fiu grăbit şi repezit, chiar şi atunci când nu e cazul.• 115. Se întâmplă des să mă enervez prea repede pe cineva.• 135. Pot fi uşor scos din sărite dacă sunt agresat.• -30. Dacă ceva îmi merge rău, nu mă enervez pentru mult timp.• -52. Chiar şi atunci când sunt prea multe lucruri de făcut, prefer să le fac în ritmul

meu.• -60. Chiar dacă ceva mă scoate din sărite, de cele mai multe ori mă calmez

repede.• -93. Nu sunt multe lucrurile care reuşesc să mă irite sau să mă enerveze.• -102. În general sunt o persoană liniştită şi greu de enervat.• -108. Există o mulţime de mici neplăceri ale vieţii pe care nu le las să mă tulbure.

Page 59: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Validitatea trebuie judecata atat general cat si situational

• general:– un test (measuement) care nu “a fost validat” nu ar trebui utilizat– poate nu au fost culese date de validare exact in situatia care ma

intereseaza, dar faptul ca ele exista, ma face sa am mai multa incredere– exemplu:

• un test de persuasiune a fost validat in contextul unui studiu experimental (elevi care trebuiau sa convinga clasa sa actioneze intr-un anumit fel) – poate fi utilizat pentru a evalua agenti de vanzari?

• situational– daca a fost validat pe situatii similare cu cea la care e folosit– daca e UTIL (uneori e evident)

• trebuie sa selectez dintr-o clasa de copii pe cei care sunt susceptibili sa faca sport de performanta, am la dispozitie un test care masoara Extraversie, Nevrotismul si Psihotismul – e valid?

Page 60: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Validitatea metodelor• Evident, validitatea se refera mai degraba la masuratori specifice (de ex. teste

specifice)– mai specific chiar, vorbim de validitatea scorurilor (adica a informatiilor obtinute)

• Totusi se vorbeste despre faptul ca unele metode sunt mai valide decat sunt altele• Cum se poate evalua validitatea unei metode?

– evident, prin prisma potentialului sau de a genera informatie valida

• De principiu, metodele sunt diferite din acest punct de vedere:

– Assessment Center (multiple measures) .65– Interviu comportamental .40-.60– Teste de performanta directa (work sample) .54– Teste de abilitate .53– Teste de integritate .51– Chestionare de personalitate .39– Date biografice .38– Referinte .23– Interviu traditional (nestructurat / semistructurat) .05-.19

Page 61: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Metaanaliza:Robertson & Smith (2001)

+1 PERFECT PREDICTION

.63

.60

.54

.51

.51

.41

.40

.37

.35

.26

.18

.10

.020

-0.01

Ability and Structured InterviewAbility and Work sampleWork Sample TestsStructured InterviewsAbility TestsJob knowledge TestsPersonality TestsAssessment Centres (criterion = job performance)BiodataReferencesYears Job ExperienceYears EducationGraphologyRANDOM PREDICTIONAge

Page 62: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)

Validitatea metodelor ca functie a intinderii

• numarul de itemi (de instante comportamentale care sunt esantionate) determina validitatea, nu doar fidelitatea testului; de aceea un test mai lung (sau interviu mai lung) este mai valid (presupunand ca este bine construit)

• tinand orice alta variabila constanta, testele mai lungi sunt mai valide

• pentru GAMA (test de abilitati cognitive), validitatea creste daca este administrat pentru perioada intreaga (N=270, criteriul performanta academica la scolari din an terminal al liceului):

– 1 minut .21– 2 minute .30– 3 minute .36– 5 minute .39– 10 minute.41– 15 minute.45– 20 minute.48– 25 minute.51

Page 63: _Curs 2 Metodologie - Fidelitatea Si Validitatea in Masurarea Psihologica (v07)