Evaluare psihologic metode psihometrice curs 1

1

Evaluarea psihologic prin mijloace psihometrice 1. Avantajele evalurii psihologice sistematice Categoriile i varietile de intervenii clinice asupra psihicului uman s-au dezvoltat n ultimul secol ntr-o manier exponenial. Cu toate acestea, cei responsabili de elaborarea lor au fost preocupai cu precdere de fundamentarea lor teoretic ntr-un spaiu al perspectivelor teoretice extrem de eterogen, variind ntre abordri consacrate i infuzii de idei excentrice fr corespondent n alte domenii ale psihologiei i mai puin de testarea lor tiinific. Astfel, multitudinea de tipuri de intervenii clinice dezvoltate n diverse arii ale psihologiei are, pn acum, un suport al legitimitii tiinifice destul de firav, existnd puine evaluri sistematice ale eficienei lor. n cazul multora, autorii i avocaii lor ofer, n textele care le fundamenteaz, ilustrri localizate ale efectelor lor pozitive, la nivelul unor pacieni sau clieni particulari, n absena unor evaluri ale dinamicii psihologice ale acestora prin mijloace legitimate n psihologia tiinific. Utilitatea acestor studii de caz cu o metodologie exclusiv clinic este indiscutabil, att n ordinea construciei paradigmei de intervenie n sensul testrii iniiale a efectelor sale - ct i din punct de vedere pedagogic, prezentnd publicului interesat maniera efectiv de punere a ei n practic. Totui, rezultatele lor nu pot depi nivelul unor studii pilot, rezultatele lor nu pot fi tratate ca dovezi ultime ale validitii respectivei abordri, din moment ce deficienele de evaluare a fenomenelor psihologice implicate permit intervenia mascat a unor poteniale variabile parazite, ce ar putea fi responsabile de fenomenele observate la suprafa de ctre psiholog. Evalurile sistematice, prin mijloace psihometrice, sunt utile pentru c ofer informaii credibile pe cel puin dou dimensiuni sau direcii. Pe de o parte, ele ar verifica dac schimbarea psihologic a clientului n direcia dorit este sau nu una real. Spaiul profesional al psihologiei clinice i psihoterapiei a fost caracterizat mult vreme de o permisivitate periculoas a granielor i, ca urmare, de o mare variabilitate a seriorizii pregtirii tiinifice a celor care practic interveniile clinice (mergnd de la profesioniti veritabili la farseuri). Ca atare, de multe ori se clameaz eficiena unor tipuri de intervenii terapeutice, n scopul atragerii unor noi poteniali clieni sau cel puin adepi, a cror fundament tiinific este ndoielnic. Comunitatea profesional i cea societal direct interesat de selectarea de servicii psihologice de calitate sunt ns lipsite, de multe ori, de mijloace tiinifice i credibile prin care aceste intervenii s poat fi ierarhizate. Ca urmare, perpetund i profitnd i de mitul c interveniile terapeutice sunt ireductibile la criterii cantitative de eficien, din moment ce ele mizeaz pe dinamica profund calitativ a relaiei terapeutice, certificarea competenei n acest domeniu se face deseori prin vehicolul vizibilitii sociale, dependent de priceperea respectivului psiholog n a-i promova serviciile un criteriu complet n afara sferei de legitimitate real. n acest context, verificarea prin mijloace psihometrice, credibile, ale caracterului real al schimbrii psihologice ar putea reprezenta un astfel de mijloc de ierarhizare a ofertelor psihoterapeutice. n al doilea rnd, evalurile sistematice pot indica dac tratamentul psihoterapeutic aplicat este cel responsabil pentru schimbare, certificnd astfel validitatea interveniilor din acest

Evaluare psihologic metode psihometrice curs 1

2

domeniu. O abordare tiinific a traseului psihologic parcurs de client de la intrarea n terapie pn la ncheierea ei, incluznd i mijloace psihometrice, poate elucida dilema pe care se bazeaz multe din ndoielile scepticilor cu privire la eficiena real a psihoterapiei n general: sursa real a schimbrii este, n realitate, coninutul interveniei aplicate sau relaia cu terapeutul? Mai mult, ct din aceast schimbare se datoreaz factorilor fr legtur cu psihoterapia, cum ar fi modificrile din contextul vieii sale personale, sau dinamicile sale psihologice care s-ar fi produs chiar i n absena oricrei intervenii psihoterapeutice? n contextul psihoterapiei, obiectivul general al creterii legitimitii tiinifice a acesteia este urmrit prin mai multe roluri ale evalurii psihometrice. Pe de o parte, ea poate certifica validitatea afirmaiilor terapeutului cu privire la schimbrile psihologice ale clientului, prin simpla comparaie ntre profilul su psihologic pe dimensiunile relevante, supuse interveniei realizate (de exemplu, anxietate), nainte i dup aceasta. Pe de alt parte, ea poate ghida construcia i aplicarea interveniei terapeutice, ndeplinind un rol de suport permanent, n mai multe privine:

poate indica probabilitatea cu care diverse abordri ar putea avea efectul scontat, sau efecte negative, nedorite; de exemplu, decizia de utilizare a hipnozei poate fi luat n funcie de profilul psihologic al clientului, derivat din evaluri psihometrice, pe anumite dimensiuni psihologice ce in de sugestibilitate.

poate sugera anumite dimensiuni psihologice sensibile, relevante pentru problema psihologic curent a individului. De exemplu, prin utilizarea unei scale de evaluare a percepiei adulilor asupra modului n care au fost crescui de prinii lor (cum ar fi scala EMBU, ce include 14 aspecte ale comportamentului parental abuziv, inductor de vinovie, stimulativ, etc., reduse la patru factori majori respingere, cldur emoional, supraprotecie i favorizare - Arrindell et al., 1994) psihologul poate depista anumite elemente problematice n relaia cu prinii, ce pot deveni n funcie de gradul de conexiune dintre ele i problema psihologic curent - ca centre de greutate n construcia interveniei sale terapeutice asupra acestei probleme.

poate sonda n profunzime cu economie de timp. Dat fiind complexitatea psihicului uman, numrul de astfel de eventuale piste psihologice (elemente relevante pentru problem i pentru scopul terapeutic) este uria. Utilizarea de instrumente standardizate ofer avantajul suplimentar al unor profiluri psihologice detaliate, de profunzime, relevnd tiparul psihologic n care se ncadreaz un individ nu doar la nivel general, al conceptul global relevant, ci i la cel al poziiei sale pe diversele dimensiuni ale acestuia. Suportul teoretic pe baza cruia a fost construit instrumentul i rezultatele studiilor anterioare de validare ale acestuia atest att importana acestor dimensiuni (n sensul c ele acoper ntr-adevr segmente separate ale semnificatiei acelui concept i nu sunt etichete goale de coninut), ct i specificitatea lor (n sensul distinctivitii uneia n raport cu celelalte). Fundamentarea instrumentelor standardizate de evaluare psihologic pe astfel de studii tiinifice face ca informaiile pe care ele le ofer ntr-un timp relativ scurt i credibilitatea acestor informaii s poat fi obinute prin alte metode (cum ar fi interviul clinic sau observaia) doar n urma unor investiii considerabile de timp i efort de elaborare tiinific.

Evaluare psihologic metode psihometrice curs 1

3

deoarece evaluarea sistematic a individului ofer feed-back asupra efectelor tratamentului, ea poate indica momentele n care sunt necesare schimbri pe parcursul acestuia, facilitnd adaptarea strategiei terapeutice la dinamica psihologic a pacientului. Utilizarea evalurilor sistematice nu este, ns, nici pe departe un fenomen generalizat n comunitatea psihoterapiei. O parte din aceast reticen vine din complexitatea informaiilor de natur psihometric pe care psihologul ar trebui s le poat utiliza n selecia i construcia instrumentelor standardizate, ce pot creea impresia unei matematizri excesive a psihologiei, contrastnd cu caracterul profund umanist (n sensul de non-formalizat) al interveniilor psihoterapeutice stereotipe. O alt surs important de reticen este nelegerea practicilor din acest domeniu ca fiind insularizate n raport cu restul psihologiei i protejate de exigenele de ordin tiinific ce regleaz demersurile teoretice i de intervenie din aceasta, n virtutea mitului menionat anterior al naturii exclusiv calitative, i nu cantitative, a interveniei psihoterapeutice. O alt nuan a acestei mitologii este aceea c majoritatea problemelor psihologice nu sunt msurabile, ci reprezint manifestri irepetabile, specifice acelui individ. n realitate, psihologia tiinific admite posibilitatea msurrii oricrui domeniu al psihismului uman, iar evaluarea psihologic poate avea n vedere nu doar aspectele stabile ale personalitii trsturile de personalitate ci i strile tranzitorii care pot fi eliminate din profilul psihologic al individului (de exemplu, strile depresive) sau cele variabile ca nivel (de exemplu, stima de sine). La modul general, psihologia clinic poate utiliza evalurile prin intermediul instrumentelor standardizate pentru a obine informaii cu un nivel cel puin satisfctor de validitate cu privire la caracteristicile personale de interes, comportamentele desfurate n mod uzual de individ, cogniiile i emoiile sale, apreciind n funcie de ele progresul spre scopurile terapeutice stabilite mpreun cu respectivul individ. 2. Comparaii ntre evaluarea sistematic i cea clinic n locul evalurilor sistematice, cei care profeseaz n psihoterapie aleg de multe ori evaluarea clinic, n sensul fundamentrii diagnosticului i profilului psihologic al pacientului pe un set de informaii prelevate prin diverse alte metode (interviuri, observaie, studiul de caz, sau chiar altfel de instrumente de evaluare cu o validitate contestat n psihologia contemporan, cum sunt testele proiective). Combinarea acestor informaii (i ponderarea lor n funcie de importana perceput pe care o dein) n direcia inferrii dinamicii psihologice i trsturilor relevante ale individului se face deseori pe baza intuiiei psihologului, a unui set de reguli de decizie derivat din experiena personal cu cazuri similare. O astfel de abordare are avantaje clare n ceea ce privete gradul de control personal al psihologului asupra metodei, respectiv n cea a uurinei de utilizare. Cei care opteaz pentru acest domeniu profesional sunt de multe ori sedui intelectual tocmai de subiectivismul su extrem, de fluiditatea i creativitatea implicate n nelegerea psihicului uman, de relaia sufleteasc dintre terapeut i client ghidat cu precdere de primul pe baza intuiiilor i ateptrilor sale.

Evaluare psihologic metode psihometrice curs 1

4

Totui, acest tip de evaluare are un nivel de corectitudine i eficien semnificativ mai slab n comparaie cu utilizarea metodelor sistematice, statistice. Tema comparaiei dintre cele dou abordri nu este deloc una nou. nc din 1954, Paul Meehl un psiholog clinician ce a insistat pe parcursul carierei sale n favoarea utilizrii suportului oferit de statistic de ctre colegii si de breasl a sintetizat rezultatele mai multor studii asupra validitii celor dou abordri, toate indicnd faptul c evaluarea sistematic este superioar celei pur clinice. Cercetrile de dup acel moment au ntrit acest rezultat, majoritatea utiliznd drept criteriu al validitii corectitudinea prediciei fcute de reprezentanii celor dou abordri. Opiunea pentru acest criteriu este explicabil prin prisma faptului c el pune n relaie evaluarea propriu-zis a individului cu un set de comportamente pe care psihologul prezice c le va desfura n viitor, n funcie de caracteristicile psihologice rezultate n urma evalurii. Cu alte cuvinte, el reprezint un reper obiectiv de departajare, spre deosebire de diagnosticul n sine, a crui validitate nu poate fi evaluat printr-un criteriu obiectiv. Trebuie menionat c n construcia instrumentelor standardizate, acest aspect al prediciei comportamentale reprezint o dimensiune obligatorie a calitii psihometrice a scalei de evaluare cea a validitii de criteriu predictive. Mai mult, cunoaterea acestei caracteristici psihometrice a instrumentului ofer psihologului informaii nu doar despre relaia dintre trstura msurat i un anumit comportament, ci i cu privire la probabilitatea ca un anume individ s realizeze acel comportament. Un exemplu de astfel de studiu de evaluare paralel a celor dou abordri este cel realizat ntr-o clinic asociat universitii din Pittsburgh (Gardner et al., 1996). Sarcina pe care au realizat-o psihologii (subieci ai acestei cercetri) practicani ai evalurii de tip clinic, respectiv sistematic a fost s prezic apariia comportamentelor violente n cazul fiecruia dintre cei 784 de pacieni internai n acea clinic n urmtoarele 6 luni. Indicatorul utilizat pentru a aprecia corectitudinea prognosticului a fost unul relevant pentru validitatea discriminativ a instrumentelor din psihologie, i anume AUC (Area Under the Curve prezentat ntr-un curs ulterior). Rezultatele au artat c acest indicator a avut valoarea 0,74 pentru predicia statistic; i doar 0,63 pentru cea clinic, adic mult mai apropiat de pragul de 0,5 care corespunde absenei totale a corectitudinii prediciei. O meta-analiz mai recent a studiilor de acest tip (Grove et al., 2000) arat faptul c predicia statistic a fost mai valid dect cea clinic n 44% din cazurile incluse n studiile citate, n timp ce predicia clinic a fost mai valid dect cea statistic doar n 6% din cazuri. n medie, diferena dintre corectitudininea prediciilor pe baza celor dou abordri este de 10%, n favoarea celei sistematice. Dintre toate sursele de informaii ce pot fi incluse n evaluarea clinic, una are o influen negativ mai substanial asupra corectitudinii sale, ea fiind, n acelai timp, i prototipul acestui tip de abordare; astfel, se pare c predicia clinic i pierde din validitate n special atunci cnd evaluarea includea interviuri cu pacienii, relevnd nc o dat diversele probleme i limite ale acestei metode. Un alt rezultat interesant al cercetrilor pe aceast tem, relevat prin comparaii ntre clinicieni cu grade diverse de experien, doctoranzi, studeni, etc., este acela c nivelul de experien n evaluarea clinic nu influeneaz corectitudinea acesteia (Walters et al., 1988). De

Evaluare psihologic metode psihometrice curs 1

5

exemplu, evalurile clinice fcute de profesionitii n domeniu au acelai grad de corectitudine ca al celor fcute de studenii la facultile de psihologie, indiferent de informaiile luate n calcul: interviuri, studii de caz, observaii comportamentale, teste proiective, rspunsurile pacienilor la anumii itemi din teste psihometrice, nregistrri video ale edinelor de psihoterapie, etc. Cel mai ilustrativ rezultat pe aceast tem este cel a dou studii (Goldberg, 1959; Robiner, 1978) asupra interpretrii testului Bender Gestalt, n care psihologii clinicieni au avut un nivel de corectitudine al evalurilor egal cu cel al secretarelor lor. Mai mult, unele studii relev o corelaie negativ ntre experien i validitatea evalurilor i recomandrilor clinice (ex: Herman et al., 1999), explicabil prin intervenia mai masiv a diverselor deformri cognitive n cazul psihologilor cu experien, prin ncrederea lor mai mare n acestea, ce pot afecta corectitudinea evalurilor. 3. Surse ale deficienelor evalurii clinice Literatura de specialitate enumer o serie de surse predilecte de probleme ale evalurii clinice, i anume:

Utilizarea de instrumente deficitare de evaluare cu o validitate redus i reticena n folosirea instrumentelor standardizate, cu caliti psihometrice validate.

Lipsa feed-back-ului complet i corect de la client sau pacient; din cauza relaiei de autoritate dintre cei doi parteneri (psihologul i pacientul), ultimul are tendina de a-i cenzura feed-back-urile care ar putea sugera deficite n eficiena interveniei aplicate de psiholog (construit pe baza evalurii din primul moment); un efect similar l are i sugestibilitatea pacientului, care predispune la acceptarea poziiei psihologului indiferent de corectitudinea sa. Mai mult, majoritatea dinamicilor psihologice implicate n acest spaiu al interveniei clinice sunt subtile, dificil de verbalizat pentru pacient.

Euristicile cognitive, adic deficiene n procesarea informaiei de ctre psiholog pe parcursul evalurii clinice, facilitate de caracterul ambiguu, polisemantic al informaiilor pe care se bazeaz aceasta. Una dintre cele mai frecvente astfel de erori este iluzia corelaiei, manifestat prin credina n faptul c dou seturi de elemente ntre care nu exist o legtur semnificativ sunt corelate. n cazul evalurilor fcute pe baza intuiiilor psihologului, iluzia corelaiei se produce atunci cnd acesta consider c exist o legtur semnificativ ntre anumite caracteristici psihologice i anumite manifestri comportamentale care sunt stereotipice pentru ele, fr ns ca aceast asociere s fie una cu baze tiinifice. Un exemplu pe aceast tem este un studiu (Chapman & Chapman, 1967) asupra interpretrilor desenelor fcute de subieci n cadrul testului figurii umane (desenul persoanei): n mod frecvent, psihologii participani la studiu au interpretat desenele n care ochii personajelor erau mai mari dect normalul ca fiind un indiciu al faptului c respectivul subiect este o persoan suspicioas sau permanent vigilent, cu toate c manualul testului nu include o astfel de asociere. Acest exemplu este ilustrativ i pentru fenomenul euristicii reprezentativitii (Tversky & Kahneman, 1972), n sensul c desenul respectiv este considerat a fi diagnostic pentru acea trstur de personalitate i din cauza

Evaluare psihologic metode psihometrice curs 1

6

faptului c el este reprezentativ n gndirea curent, n simul comun, pentru portretul robot al unei persoane suspicioase sau vigilente.

Eroarea de confirmare este un alt fenomen pe lng cele legate de calitatea feed-back-ului primit de la clieni care afecteaz capacitatea psihologilor de a-i mbunti n timp corectitudinea evalurilor, prin raportare la evoluia psihologic a individului evaluat. Ea se refer la tendina lor de a acorda mai mult atenie i chiar de a cuta, selecta, i ine minte cu precdere informaiile care le sprijin sau confirm ipotezele, n defavoarea celor care le contrazic (Garb, 2003). Ea apare nc din momentul deciziei psihologului cu privire la ntrebrile potrivite pe care le va adresa clientului n procesul evalurii clinice, pentru c de multe ori ele sunt ghidate de o impresie (n termeni psihologici) construit de la primul moment al interaciunii dintre ei. Aceast prim impresie (mai mult sau mai puin contient) reprezint ipoteze pe care rspunsurile la ntrebrile puse au rolul de a le confirma. De asemenea, informaiile care confirm aceste ipoteze vor fi cele crora li se va acorda o atenie superioar n construcia diagnosticului final. Dat fiind faptul c aceste deformri ale rspunsurilor i comportamentului celui evaluat sub impactul ipotezelor psihologului se prelungesc i n aria memoriei, eroarea de confirmare explic dificultile psihologilor care utilizeaz exclusiv evaluarea clinic de a nva din experien. 4. Metode obiective de evaluare Alternativa propus de evaluarea psihometric poate fi rezumat sub formula metodelor obiective de evaluare; obiectivitatea lor nu este, firete, una perfect (cum este cea din tiinele naturii), ci aceast sintagm are rolul de a sublinia distana fa de celelalte metode, ale diagnosticului pur clinic. Deci, ele au pretenia de a fi semnificativ mai obiective dect acestea. Principiul construciei instrumentelor standardizate, dup regulile psihometrice, este acela c n folosirea acestor instrumente, respectnd regulile prestabilite orice evaluator ar acorda aceleai scoruri persoanei evaluate. n termeni mai tehnici, aceasta ar nsemna ca acordul dintre evaluatori s fie maxim, iar variana datorat evaluatorilor s fie minim, adic diferenele de rezultat al evalurii (de profil psihologic la care ajunge aceasta) dintre dou persoane s provin ntr-o msur minim din faptul c una a fost evaluat de un anumit psiholog, iar cealalt de altul; ideal ar fi ca aceste diferene de profil s fie determinate n exclusivitate din diferenele de personalitate dintre cele dou persoane. Prototipul instrumentelor din arsenalul evalurii psihometrice este testul, ce poate fi definit ca o procedur sistematic n care individului i se prezint un set de stimuli la care rspunde, aceste rspunsuri permind evaluatorului s i acorde anumite valori numerice. Pe baza acestora poate fi construit interpretarea cantitativ a rspunsurilor, adic pot fi fcute inferene despre gradul n care individul posed respectiva caracteristic. Conceptul de test psihologic se refer la un set de instrumente care permit evaluarea oricrui individ prin raportare la ntreaga populaie, n funcie de caracteristicile sale relevante pentru trstura evaluat (de exemplu, vrsta pentru evaluarea inteligenei). Acest avantaj al universalitii, oferit

Evaluare psihologic metode psihometrice curs 1

7

de existena unui etalon pe ntreaga populaie, presupune ns investiii considerabile (n special de timp i de ordin logistic) n etapa de construcie a instrumentului. De asemenea, majoritatea testelor acoper concepte psihologice destul de generale (de exemplu, personalitatea sau inteligena), ncadrnd individul evaluat pe un set de factori ce compun respectivul concept, reflectnd dimensiuni mai specifice. Cu toate c utilizarea testelor are avantaje clare n termeni de evaluare n raport cu ntreaga populaie i de bogie a rezultatelor, de comprehensivitate a evalurii), n psihologia contemporan att n spaiul cercetrii, ct i n cel aplicat n diverse arii, inclusiv cea clinic) sunt din ce n ce mai des utilizate aa-numitele scale scurte (RAI - Rapid Assessment Instruments). Termenul de scal sugereaz diferena fa de test, n cele dou privine menionate mai sus: n primul rnd, ele vizeaz concepte mult mai specifice, bazate pe o decupare precis a spaiului psihologic asociat lor (de exemplu, auto-monitorizarea, sau nevoia de cogniie). n al doilea rnd, majoritatea acestor instrumente nu au un etalon construit pe ntreaga populaie, ci cel mult unul valabil pe o populaie foarte specific (de exemplu, un etalon pe copiii cu prini divorai n cazul scalei de Lips de speran la copii). n rest, ns, construcia lor respect aceleai exigene psihometrice ca i cele implicate n construcia testelor, de la alegerea itemilor i a scalelor de rspuns potrivite la rafinarea progresiv a bateriei de itemi pn la momentul n care aceasta respect standardele cu privire la fidelitate, validitate de coninut, de construct, predictiv, etc. Avantajul acestor instrumente n psihologia clinic este acela c ele ofer posibilitatea evalurii n profunzime a unui numr mare de dimensiuni psihologice pe care clinicianul le consider a fi relevante pentru respectivul individ, administrndu-i un numr redus de itemi; n acest fel, validitatea rspunsurilor sale este crescut, iar gradul de discomfort pe care l induce situaia de evaluare este minimizat. Bibliografie

Arrindell, W.A., Perris, C., Eisemann, M., van der Ende., J., Gaszner, P., Iwawaki, S., Maj, M., Zhang, J. Parental rearing behaviour from a cross!cultural perspective: a summary of data obtained in 14 nations. In C. Perris, W. A. Arrindell, & M. Eisemann (Eds), Parenting and Psychopathology. Chichester: Wiley

Chapman, L. J., & Chapman, J. P. (1967). Genesis of popular but erroneous diagnostic observations. Journal of Abnormal Psychology, 72, 193-204.

Garb, H. (2003). Clinical judgment and mechanical prediction, n Graham, J., Naglieri, J., Handbook of psychology Vol X. Assessment psychology, John Wiley & Sons, Inc.

Gardner, W., Lidz, C. W., Mulvey, E. P., & Shaw, E. C. (1996). Clinical versus actuarial predictions of violence by patients with mental illnesses. Journal of Consulting and Clinical Psychology, 64, 602609.

Goldberg, L. R. (1959). The effectiveness of clinicians judgments: The diagnosis of organic brain damage from the Bender-Gestalt test. Journal of Consulting Psychology, 23, 2533.

Grove, W. M., Zald, D. H., Lebow, B. S., Snitz, B. E., & Nelson, C. (2000). Clinical versus mechanical prediction: A meta-analysis. Psychological Assessment, 12, 1930.

Havrneanu, C. (2000). Cunoaterea psihologic a persoanei, Iai, Polirom Hermann, R. C., Ettner, S. L., Dorwart, R. A., Langman-Dorwart, N., & Kleinman, S. (1999). Diagnoses of

patients treated with ECT: A comparison of evidence-based standards with reported use. Psychiatric Services, 50, 10591065.

Evaluare psihologic metode psihometrice curs 1

8

Kahneman, D., Tversky, A. (1972). Subjective probability: A judgment of representativeness. In Kahneman, Slovic, Tversky. Judgment under uncertainty: Heuristics and biases. Cambridge: Cambridge University Press.

Meehl, P. E. (1954). Clinical versus statistical prediction: A theoretical analysis and a review of the evidence. Minneapolis: University of Minnesota Press.

Robiner, W. N. (1978). An analysis of some of the variables influencing clinical use of the Bender-Gestalt. Unpublished manuscript.

Stan, A. (2002). Testul psihologic evoluie, construcie, aplicaie, Iai, Polirom Walters, G. D., White, T. W., & Greene, R. L. (1988). Use of the MMPI to identify malingering and

exaggeration of psychiatric symptomatology in male prison inmates. Journal of Consulting and Clinical Psychology, 56, 111117.

Weiner, I. (2003). The assessment process, n Graham, J., Naglieri, J., Handbook of psychology Vol X. Assessment psychology, John Wiley & Sons, Inc.