M. Popa 2013

A. Ce este meta-analiza?

B. Obiectivele meta-analizei

C. Etapele procesului de meta-analiză

D. Puncte tari ale meta-analizei

E. Puncte slabe ale meta-analizei

F. Resurse

G. Întrebări recapitulative

Referințe bibliografice

3/11/2013 2

numeroase studii…

numeroase teme de cercetare…

aceeași temă este abordată de mai mulți autori: în condiții diferite

pe populații diferite

Rezultatele pot fi variate (concordante sau discordante) care este ”adevărul”?

cum se poate trage o concluzie din analiza rezultatelor mai multor studii?

Soluții pentru sinteza lucrărilor științifice: Narativ (tradițional)

Statistic (începând din deceniul, 9 sec. XX)

3/11/2013 3

”Meta-analiza se referă la analiza analizelor… analiza

statistică a unei largi colecții de rezultate obținute în studii

individuale, cu scopul de a integra concluziile acestora.

Este o alternativă riguroasă la analiza cauzală, narativă, a

studiilor de cercetare, care susține efortul de a da un sens

expansiunii rapide a cercetării științifice”

Glass, G. (1976). Primary, secondary and meta-analysis of

research, p.3

Schmidt, F. L., & Hunter, J. E. (2003, p. 533): ”Meta-analiza integrează rezultatele mai multor studii care tratează același subiect, pentru a

descoperi modelele simple ale relațiilor evidențiate în aceste cercetări, ca bază pentru dezvoltarea teoriilor psihologice”.

3/11/2013 4

”Meta-analiza se referă la analiza analizelor… analiza statistică a unei largi

colecții de rezultate obținute în studii individuale, cu scopul de a integra

concluziile acestora.

Este o alternativă riguroasă la analiza cauzală, narativă, a studiilor de cercetare,

care susține efortul de a da un sens expansiunii rapide a cercetării științifice”

Glass, G. (1976). Primary, secondary and meta-analysis of research, p.3

Abordarea statistică tradițională:

testarea ipotezelor și decizia cu privire la H0

nu este potrivită integrării rezultatelor din studii diferite Semnificația statistică depinde de N (care este diferit de la studiu la studiu)

Admiterea H0 nu are aceeași ”greutate” ca respingerea H0

”statistic semnificativ” este o concluzie ”puternică”

”statistic nesemnificativ” este o concluzie ”slabă”

Meta-analiza orientată cu precădere pe mărimea efectului

directia și magnitudinea mărimii efectului în studii dedicate aceluiași subiect

3/11/2013 5

3/11/2013 6

(Kanfer & Kantrowitz, 2002)

3/11/2013 7

Întrebări la care meta-analiza încearcă să ofere răspuns:

Care este mărimea medie a efectului în studiile analizate?

Este efectul respectiv statistic semnificativ? (… deși acest aspect nu este neapărat important)

Care sunt limitele intervalului de încredere pentru efectul mediu?

Distribuția efectelor individuale este omogenă sau neomogenă? dacă rezultatele nu diferă în urma artefactelor studiilor în mai mare măsură

decât este de ateptat, ele sunt considerate a fi omogene (Hox, 1995)

Există influențe moderatoare asupra efectului? (variază acesta în funcție de valorile altor variabile?)

3/11/2013 8

1) Alegerea temei cercetării

2) Găsirea studiilor

3) Alegerea studiilor

4) Calcularea indicelui de mărime a efectului

5) Efectuarea meta-analizei

6) Raportarea rezultatelor meta-analizei

3/11/2013 9

O meta-analiză se efectuează: pe teme temă de interes larg printre

cercetători

pentru perioade de timp care nu au mai fost acoperite de mate-analize

Spring (2007): ”Întrebarea fundamentală”

P – population

I – intervention

C – comparison

O – outcome

Exemplu: ”Compararea eficienței (O) învățării online (I) cu învățarea tradițională(C), la elevii de liceu (P)”, Means, B., Toyama, Y.,

Murphy, R., Bakia, M., & Jones, K. (2010)3/11/2013 10

(Kanfer & Kantrowitz, 2002)

Volume de proceedings și rezumate

Dizertații interne

externe

Baze de date electronice Psych Info, APA online

SSCI, Web of Science

ERIC

Altele…

Articole de sinteză (review articles)

Manuscrise nepublicate (sau în curs de publicare)

Documente oficiale (guvernamentale, agenții… etc.)

3/11/2013 11

Criterii posibile: Perioada acoperită de meta-analiză

Definirea operațională a variabilelor

Tipul de studiu (experiment; quasi-experiment; corelațional)

Calitatea studiilor

Rigoarea modelului de cercetare

Raportarea indicilor de mărime a efectului sau a valorilor necesare pentru acestea

Publicate/nepublicate

Reviste ”peer-review”

Etc.

Obiectivitatea alegerii Evaluatori diferiți, pentru a garanta aplicarea concordantă a criteriilor de includere

3/11/2013 12

Pentru aprofundarea problemei alegerii studiilor recomandăm cap. 7 din:

Sava, A. F. (2013). Psihologia validată științific. Ghid practic de cercetare în psihologie. Iași: Polirom.

Meta-analiza vizează un anumit indice de mărime a afectului

Dacă studiile alese raportează indici diferiți de mărime a efectului Se alege indicele preferat

Se transformă toți indicii în indicele ales

Indici eligibili ”r” Pearson

”d” Cohen

”delta” Glass

”g” Hodges

”raportul de șansă” (odds-ratio)

Alții: proporții, raportul de risc, rata de incidență etc.

3/11/2013 13

3/11/2013 14

Formule pentru obținerea coeficientului de corelație

Pentru tabele

de contingență 2x2

Pentru ANOVA One Way

Transformarea ”d” Cohen

în ”r” Pearson

Transformarea ”r” în ”d”

Pentru ANOVA Two Way

15

Mărimea efectului pe tabele de contingență de tip 2x2

bc

adES

Raportul dintre cota de succes în grupul

experimental și cota de succes în

grupul de control

Frecvența

SUCCES EȘEC

GRUP EXPERIMENTAL a b

GRUP DE CONTROL c d

RAPORTUL DE ȘANSĂ RAPORTUL DE RISC

Raportul dintre probabilitatea de succes

(eșec) a fiecărui grup

ESa a b

c c d

/ ( )

/ ( )

Modelul efectelor fixe

Ia în considerare doar varianța intra-studiu (eroarea de stimare a fiecărui efect în raport cu un efect global, considerat unic pentru toate cercetările)

Modelul efectelor aleatorii

Ia în considerare și varianța dintre studii (eroarea de estimare a fiecărui studiu prin raportare la celelalte)

Presupune că fiecare studiu descrie un efect diferit de celelalte, care însă, împreună, descriu un ”super-efect” comun

3/11/2013 16

Modele de meta-analiză

Studiul 4Studiul 3Studiul 2Studiul 1

3/11/2013 17

ρ=0.37

r=0.30 r=0.35 r=0.40 r=0.43

• Există un efect ”comun”, ”unic”

• Fiecare studiu descrie acest efect

• Diferențele dintre studii sunt expresia erorii

de eșantionare

ε 1ε 2 ε 3 ε 4

Varianța intra studiu

18

ρ=0.37

r=0.27 r=0.41 r=0.37 r=0.43

r=0.29 r=0.35 r=0.40 r=0.44

Studiul 4Studiul 3Studiul 2Studiul 1

3/11/2013

ε 1ε 2 ε 3 ε 4

ξ 1ξ 2

ξ 3 ξ 4

• Fiecare studiu descrie un efect diferit,

determinat de condiții specifice: vârsta

participanților, nivelul de educație, starea de

sănătate, natura intervenției etc.

• Distribuția efectelor diferite este expresia

unei ”super-distribuții”, care descrie efectul

adevărat

Eroarea totală este compusădin două erori

Populațiile

fiecărui

studiu

”Superpopulația”

tuturor studiilor

Fiecare din cele două modele poate produce rezultate și concluzii diferite

Alegerea modelului este crucială: Afectează procedurile de calcul

Definește obiectivele meta-analizei

Orientează interpretarea rezultatelor

Modelul efectelor fixe Este mai ușor de efectuat

Conduce la supraevaluarea efectului

Probabilitate mai mare pentru eroarea de tip I Se estimează că un procent în jur de 50% dintre studiile de meta-analiză care utilizează modelul efectelor fixe, concluzionează greșit

cu privire la existența unui efect

procentul erorii de tip I este cu atât mai mare cu cât N mediu este mai mic

Nu permite generalizarea concluziilor dincolo de studiile analizate

Recomandabil atunci când numărul studiilor este mic (k<20)

Totuși, majoritatea meta-analizelor publicate se bazează pe metoda efectelor fixe (!!!)

Modelul efectelor aleatorii Presupune calcule mai laborioase

Oferă concluzii mai sigure

Concluziile sunt generalizabile în afara studiilor analizate (validitate externă mai mare)

Este mai recomandabil

Dar nu se va efectua atunci când numărul studiilor este mai mic de 20 (dar ar trebui să fie mai mare de atât) 3/11/2013 19

Hunter & Schmidt

Media mărimii efectelor

Varianța efectelor

Varianța erorii de eșantionare

Varianța populației de corelații

95% CI

Testul omogenității

Hedges & colleagues

3/11/2013 20

Testul semnificației efectului mediu

Hedges & colleagues

3/11/2013

21

Media mărimii efectelor

Eroarea standard a efectului mediu

Varianța erorii de eșantionare

Varianța populației de corelații

95% CI

Testul omogenității

Hunter & Schmidt

3/11/2013

Media mărimii efectelor

Eroarea standard a efectului mediu

Varianța erorii de eșantionare

Varianța populației de corelații

95% CI

Testul omogenității

Testul semnificației

efectului mediu

Fișierul meta-corr_final.xlsx

3/11/2013 23

Exemplu de calcul realizat după: Field, A. P. (2001). Meta-analysis of correlation coefficients: A Monte Carlo

comparison of fixed- and random-effects methods. Psychological Methods, 6(2), 161-180.

Funnel plot (Light and Pillemer, 1984)

Scatter-plot pentru corelația dintre mărimea efectului și mărimea eșantionului

Ideal trebuie să aibă forma de mai jos

Dacă este asimetric, este posibilă eroare de publicare

Forrest plot

Graficul comparativ al intervalelor de încredere pentru efectele analizate

3/11/2013 24

L'Abbé Plot

3/11/2013 25

scatter-plot pentru rezultatele studiilor individuale (grup experimental/de control)

rata evenimentului din grupul experimental pe axa Oy

rata evenimentului pentru grupul de control pe axa Ox

Raportarea suportului teoretic

Definirea problemei

Enunțarea ipotezei

Descrierea rezultatului care va fi analizat

Tipul de intervenție utilizat

Tipul modelului de cercetare

Populația vizată

Strategia de căutare a studiilor

Bazele de date analizate

Cuvinte cheie de căutare

Softul utilizat

Traducerea articolelor din altă limbă

3/11/2013 26

Metoda utilizată Relevanța studiilor selectate

Tehnica de codificare a studiilor

Evaluarea calității studiilor

Evaluarea eterogentății

Metodele statistice utilizate (model, tehnică)

Rezultate

Tabele și grafice adecvate

Rezultatele analizei de senzitivitate

Discuții Evaluarea posibilelor surse de eroare

Justificare eventualelor excluderi

Concluzii și generalizarea lor

Sugestii pentru viitoare meta-analize

3/11/2013 27

Evidențierea efectelor unor variabile moderatoare

Categorii de vârstă, gen, ocupație

Condiții de cercetare (experiment. Non-experiment)

Etc.

3/11/2013 28

Nu sunt abordate în această prezentare

Oferă posibilitatea analizei obiective, sistematice a rezultatelor obținute în cercetări diferite

Pune ordine în ”haosul” cercetării științifice

Permite concluzii și generalizări pe care studiile individuale nu și le pot permite

Are o putere statistică mai mare decât studiile individuale

Poate include moderatori în procesul explicației

3/11/2013 29

Kock, A. (2009). A Guideline to Meta-Analysis. TIM Working Paper Series, 2, 1-39

Frecvența meta-analizelor în bazele de date EBSCO

Meta-analiza este o metodă de

cercetare foarte utilizată

Putem avea încredere în meta-analiză? ”Meta-analiza este văzută ca salvatoarea sintezei literaturii de cercetare, dar poate în mod nejustificat. La fel ca și în cazul

altor proceduri statistice, rezultatele sunt atât de bune pe cât de bune sunt datele utilizate și persoana care efectueazăanaliza: dacă modelul efectelor fixe va continua să fie utilizat în mod rutinier, riscăm să obținem concluzii care supralicitează mărimea efectelor”

(Field, A. P., 2001. Can Meta-Analysis Be Trusted? Psychologist, 16(12), p. 11)

Eroarea de publicare Sunt publicate cu precădere studiile care confirmă existența unui efect

Meta-analizele tind supraestimeze mărimea efectului efectul

Soluții: căutarea ”literaturii gri”… nepublicată sau publicată pe internet

Rezultatele meta-analizei depind de: calitatea procesului de identificare și alegere a studiilor

deciziile cu privire la modelul și tehnica de calcul

Dacă obiectivul principal este estimarea unui efect, metoda ”Hunter-Schmidt” este mai puțin avantajoasădecât metoda Hedges & Co

Dacă obiectivul este semnificația statistică și avem >80 de studii, ambele metode sunt la fel de bune

Între 20-40 de studii, metoda Hedges & Co este preferabilă

Pentru mai puțin de 20 de studii testul de semnificație nu are relevanță

3/11/2013 30

Impactul artefactelor statistice

Fidelitatea

Restricția de amplitudine

Pentru corecția lor, vezi:

http://www.mpopa.ro/miscellanea/Marian_Popa_Cronbach_alfa.pdf

http://www.mpopa.ro/miscellanea/M_Popa_restrictie_amplitudine_PRU.pdf

Alegerea formulelor de calcul

Hedges & Olkin și Rosenthal and Rubin: calcularea efectului mediu CU transformarea in Zr

Hunter & Schmidt: calculare efectului mediu FARA transformarea in Zr

Exist soluții diferite pentru calcularea erorii standard (Hunter și Schmidt versus Rosenthal)

Fiecare soluție conduce la rezultate diferite!

3/11/2013 31

Obiective bine definite

Definiție precisă a variabilelor și rezultatelor

Un proces adecvat de identificare și selecție a studiilor

Descrierea și evaluarea eterogenității

Justificarea tehnicilor de analiză

Validarea concluziilor prin analiza de senzitivitate:

a) utilizarea în paralel a mai multor tehnici de calcul

b) analiza repetată, cu scoaterea unor studii

Dacă rezultatele se modifică vizibil, atunci credibilitatea este compromisă

3/11/2013 32

Practical Meta-Analysis Effect Size CalculatorDavid B. Wilson, Ph.D., George Mason University

http://www.campbellcollaboration.org/resources/effect_size_input.php

Computer Programs for Meta-Analysis

http://commfaculty.fullerton.edu/jreinard/meta-analysis_programs.htm

MetaEasy: A Meta-Analysis Add-In for Microsoft Excel

http://www.jstatsoft.org/v30/i07

3/11/2013 33

Ce este meta-analiza?

Care sunt obiectivele meta-analizei?

Care sunt erorile posibile în faza de documentare și alegere a studiilor pentru meta-analiză?

Care este fundamentul teoretic al modelului efectelor fixe?

Care este fundamentul teoretic al modelului efectelor aleatorii?

Care sunt punctele slabe ale meta-analizei?

Care sunt punctele tari ale meta-analizei?

Care sunt condițiile de bază ale unei meta-analize bune?

3/11/2013 34

Borenstein, M., Hedgesb, L. V., Higginsc, J. P. T., & Rothsteind, H. R. (2010). A basic introduction to fixed-effect and random-effects models for meta-analysis. Rsesearch Synthesis Methods, Published online in Wiley Online Library. doi: 10.1002/jrsm.12

Field, A. P. (2001). Can Meta-Analysis Be Trusted? Psychologist, 16(12), 642-645.

Field, A. P. (2001). Meta-analysis of correlation coefficients: A Monte Carlo comparison of fixed- and random-effects methods. Psychological Methods, 6(2), 161-180.

Field, A. P. (2003). The Problem in Using Fixed-Effects Models of Meta-Analysis on Real-World Data. Understanding Statistics, 2(2), 105-124.

Field, A. P. (2005). A Bluffer’s Guide to Meta-Analysis. Psy-Pag Quarterly, 58, 9-23.

Field, A. P. (2005). Is the Meta-Analysis of Correlation Coefficients Accurate when Population Correlations Vary? Psychological Methods, 10(4), 444-467.

Glass, G. V. (1976). Primary, Secondary, and Meta-Analysis Research. Paper presented at the Annual Meeting of the American Educational Research Association, San Francisco. http://www.gvglass.info/papers/primary.pdf

Glass, G. V. (2000). Meta-Analysis at 25. 2013, from http://www.gvglass.info/papers/meta25.html

Hedges, L. V., Cooper, H., & Bushman, B. J. (1992). Testing the Null Hypothesis in Meta-Analysis: A Comparison of Combined Probability and Confidence Interval Procedures. Psychological Bulletin, 111(1), 188-194 (http://www-personal.umich.edu/~bbushman/hcb192.pdf)

Howell, D. C. (2013). Statistical Methods for Psychology (8th ed.). Wadsworth: Cengage Learning

Hunter, J. E., & Schmidt, F. L. (2004). Methods of Meta-Analysis (2nd ed.). Thousand Oaks: Sage.

Kock, A. (2009). A Guideline to Meta-Analysis. TIM Working Paper Series, 2, 1-39 (http://www.tim.tu-berlin.de/fileadmin/fg101/TIM_Working_Paper_Series/Volume_102/TIM_WPS_Kock_2009.pdf)

Lyons, L. C. (2003). Meta - Analysis: Methods of Accumulating Results Across Research Domains (http://www.lyonsmorris.com/METAA/index.htm)

Măricuțoiu, L. P. (2008). Introducere în metaanaliză. Metaanaliza corelațiilor. Psihologia Resurselor Umane, 6(2), 112-127.

Means, B., Toyama, Y., Murphy, R., Bakia, M., & Jones, K. (2010). Evaluation of Evidence-Based Practices in Online Learning A Meta-Analysis and Review of Online Learning Studies: U.S. Department of Education: Office of Planning, Evaluation, and Policy Development Policy and Program Studies Service

Rosenthal, R., & DiMatteo, M. R. (2001). META-ANALYSIS: Recent Developments in QuantitativeMethods for Literature Reviews. Annual Revue of Psychology(52), 59-82.

Sava, A. F. (2013). Psihologia validată științific. Ghid practic de cercetare în psihologie. Iași: Polirom.

Schmidt, F. (2008). Meta-Analysis : A Constantly Evolving Research Integration Tool. Organizational Research Methods, 11(1), 96-113

Schmidt, F. L., & Hunter, J. E. (2005). Meta-Analysis. In N. Anderson, D. S. Ones, H. K. Sinangil & C. Viswesvaran (Eds.), Handbook of Industrial, Work & Organizational Psychology(Vol. 1 - Personnel Psychology, pp. 51-70). London

3/11/2013 35