validitatea de criteriumada

28
Validitatea de criteriu

Transcript of validitatea de criteriumada

Page 1: validitatea de criteriumada

Validitatea de criteriu

Page 2: validitatea de criteriumada

Validitatea de criteriu Cum se comporta testul comparativ cu alte

masuratori Utilitatea diagnostica

Page 3: validitatea de criteriumada

Validitatea de criteriu Testul= predictor pentru comportamente viitoare

Compararea scorurilor la test cu alte criterii cantitative definite

Performanţa la un test (predictor) trebuie raportată la o altă performanţă pe care o numim criteriu

Criteriul este definit=standardul la care este raportată performanţa la test

Page 4: validitatea de criteriumada

Caracteristicile criteriului Relevant: pentru activitatea sau caracteristica la

care se referă Fidel: congruent cu evaluări diferite ale

performanţelor la care se referă, evaluări realizate la momente diferite

Practic Necontaminat Unitar: să fie exprimat în aceleaşi unităţi pentru

toate persoanele

Page 5: validitatea de criteriumada

Analiza ROC ROC= Receiver Operating Characteristics

permite evaluarea proprietăţilor diagnostice ale unui test

permite evaluarea capacităţii de discriminare între diferite categorii de subiecţi

Page 6: validitatea de criteriumada

ANALIZA ROC Pentru a permite discriminarea între diferitele

categorii de subiecţi, trebuie stabilit un cut-off point

Proces dihotomic: Scor < cutt-off

Scor> cutt-off

Page 7: validitatea de criteriumada

ANALIZA ROC Aplicând un test, obţinem 2 distribuţii (în

mod ideal separate) pentru cele două categorii investigate

Ex. Depresia În realitate este puţin probabil ca aceste

distribuţii să fie complet separate, existând o suprapunere

Page 8: validitatea de criteriumada

Distribuţiile scorurilor la test

Psihologie
distributiiile scorurilor la test (predictor) in cele doua catagorii ale criteriului se suprapun partial
Page 9: validitatea de criteriumada

ANALIZA ROC Obţinem astfel 4 situaţii:

AP (Adevăraţi Pozitivi) AN (Adevăraţi Negativi) FP (Falşi Pozitivi) FN (Falşi Negativi)

Page 10: validitatea de criteriumada

Exemplu

Rezultatul la test

Cu Cu diagnostdiagnosticic

Fara Fara diagnosticdiagnostic

Page 11: validitatea de criteriumada

Fara diagnostic -“Negativi” Cu diagnostic -“Pozitivi”

Exemplu

Rezultatul la test

Page 12: validitatea de criteriumada

Rezultatul la test

Fara diagnosticCu diagnostic

Adevarati pozitivi

“Negativi” “Pozitivi”

Page 13: validitatea de criteriumada

Fara diagnosticCu diagnostic

Falsi Pozitivi

“Negativi” “Pozitivi”

Rezultatul la test

Page 14: validitatea de criteriumada

Rezultatul la test

Fara diagnosticCu diagnostic

Adevarati negativi

“Negativi” “Pozitivi”

Page 15: validitatea de criteriumada

Rezultatul la test

Fara diagnosticCu diagnostic

Falsi negativi

“Negativi” “Pozitivi”

Page 16: validitatea de criteriumada

Utilitatea diagnostică a unui test

Diagnostic

Test Pozitiv Negativ Total

Pozitiv AP FP T+

Negativ FN AN T-

Total D + D - n

Page 17: validitatea de criteriumada

Utilitatea diagnostică a unui test D + = total cei care au tulburarea D - = total cei care nu au tulburarea T+ = total cei care au obţinut un scor pozitiv

la test T - = total cei care au obţinut un scor negativ

la test N = numărul total al subiecţilor analizaţi

Page 18: validitatea de criteriumada

Utilitatea diagnostică a unui test Sensibilitatea = AP/ D+ (adică AP + FN)

Sensibilitatea=Ce proporţie din diagnosticaţii reali identifica testul?

Ex. Sensibilitate=.98 2% dintre cei care au diagnostic rămân neidentificaţi de destul nostru

Page 19: validitatea de criteriumada

ANALIZA ROC Specificitatea = AN/ D- (adică AN + FP)

Specificitatea = câţi dintre cei care nu au diagnostic sunt identificaţi de test ca neavând diagnostic

Specificitate = .80 20% dintre cei care nu au diagnostic sunt identificaţi ca având diagnostic.

Page 20: validitatea de criteriumada

ANALIZA ROC Puterea de predicţie pozitivă = AP/ T+ (adică

AP + FP)

Puterea de predicţie negativă = AN/ T- (adică AN + FN)

Utilitatea diagnostică = (AP + AN)/ n

Page 21: validitatea de criteriumada

(perfect clasification)

1.0(all positives arefalse positives)

0.80.60.40.20.0

1 - Specificity

0.8

0.6

0.4

0.2

0.0

Se

ns

itiv

ity

Page 22: validitatea de criteriumada

Tru

e P

osi

tive

Ra

te

0%

100%

False Positive Rate0%

100%

Tru

e P

osi

tive

Ra

te

0%

100%

False Positive Rate0%

100%

Test bun: Test slab:

Comparatii curbe ROC

Page 23: validitatea de criteriumada

Cel mai bun test:

Cel mai slab test

Tru

e P

osi

tive

Ra

te

0%

100%

False Positive Rate

0%

100%

Tru

e P

osi

tive

R

ate

0%

100%

False Positive Rate

0%

100%

Distributiile nu se suprapun

Distributiile se suprapun complet

Extreme curbe ROC

Page 24: validitatea de criteriumada

Utilitatea Analizei ROC1. Determinarea abilităţii unui test de a

discrimina între 2 grupuri

2. Stabilirea cut-off point-ului

3. Comparaţii între teste

Page 25: validitatea de criteriumada

Utilitatea Analizei ROC1. Determinarea abilităţii unui test de a

discrimina între 2 grupuri

AUC- area under the curve

0.5-0.7 = acurateţe slabă

0.7-0.9 = acurateţe moderată

>0.9 = acurateţe bună

Page 26: validitatea de criteriumada

Utilitatea Analizei ROC3. Compararea performanţei a două sau mai

multe teste

Compararea curbelor ROC ale celor 2 teste

Page 27: validitatea de criteriumada

ROC – compararea performanţei a 2 teste

aB

A

Page 28: validitatea de criteriumada

Exerciţiu

Diagnostic

Test Pozitiv Negativ Total

Pozitiv 92 10 T+

Negativ 15 53 T-

Total D+ D- n