Post on 27-Jun-2015
Validitatea de criteriu
Validitatea de criteriu Cum se comporta testul comparativ cu alte
masuratori Utilitatea diagnostica
Validitatea de criteriu Testul= predictor pentru comportamente viitoare
Compararea scorurilor la test cu alte criterii cantitative definite
Performanţa la un test (predictor) trebuie raportată la o altă performanţă pe care o numim criteriu
Criteriul este definit=standardul la care este raportată performanţa la test
Caracteristicile criteriului Relevant: pentru activitatea sau caracteristica la
care se referă Fidel: congruent cu evaluări diferite ale
performanţelor la care se referă, evaluări realizate la momente diferite
Practic Necontaminat Unitar: să fie exprimat în aceleaşi unităţi pentru
toate persoanele
Analiza ROC ROC= Receiver Operating Characteristics
permite evaluarea proprietăţilor diagnostice ale unui test
permite evaluarea capacităţii de discriminare între diferite categorii de subiecţi
ANALIZA ROC Pentru a permite discriminarea între diferitele
categorii de subiecţi, trebuie stabilit un cut-off point
Proces dihotomic: Scor < cutt-off
Scor> cutt-off
ANALIZA ROC Aplicând un test, obţinem 2 distribuţii (în
mod ideal separate) pentru cele două categorii investigate
Ex. Depresia În realitate este puţin probabil ca aceste
distribuţii să fie complet separate, existând o suprapunere
Distribuţiile scorurilor la test
ANALIZA ROC Obţinem astfel 4 situaţii:
AP (Adevăraţi Pozitivi) AN (Adevăraţi Negativi) FP (Falşi Pozitivi) FN (Falşi Negativi)
Exemplu
Rezultatul la test
Cu Cu diagnostdiagnosticic
Fara Fara diagnosticdiagnostic
Fara diagnostic -“Negativi” Cu diagnostic -“Pozitivi”
Exemplu
Rezultatul la test
Rezultatul la test
Fara diagnosticCu diagnostic
Adevarati pozitivi
“Negativi” “Pozitivi”
Fara diagnosticCu diagnostic
Falsi Pozitivi
“Negativi” “Pozitivi”
Rezultatul la test
Rezultatul la test
Fara diagnosticCu diagnostic
Adevarati negativi
“Negativi” “Pozitivi”
Rezultatul la test
Fara diagnosticCu diagnostic
Falsi negativi
“Negativi” “Pozitivi”
Utilitatea diagnostică a unui test
Diagnostic
Test Pozitiv Negativ Total
Pozitiv AP FP T+
Negativ FN AN T-
Total D + D - n
Utilitatea diagnostică a unui test D + = total cei care au tulburarea D - = total cei care nu au tulburarea T+ = total cei care au obţinut un scor pozitiv
la test T - = total cei care au obţinut un scor negativ
la test N = numărul total al subiecţilor analizaţi
Utilitatea diagnostică a unui test Sensibilitatea = AP/ D+ (adică AP + FN)
Sensibilitatea=Ce proporţie din diagnosticaţii reali identifica testul?
Ex. Sensibilitate=.98 2% dintre cei care au diagnostic rămân neidentificaţi de destul nostru
ANALIZA ROC Specificitatea = AN/ D- (adică AN + FP)
Specificitatea = câţi dintre cei care nu au diagnostic sunt identificaţi de test ca neavând diagnostic
Specificitate = .80 20% dintre cei care nu au diagnostic sunt identificaţi ca având diagnostic.
ANALIZA ROC Puterea de predicţie pozitivă = AP/ T+ (adică
AP + FP)
Puterea de predicţie negativă = AN/ T- (adică AN + FN)
Utilitatea diagnostică = (AP + AN)/ n
(perfect clasification)
1.0(all positives arefalse positives)
0.80.60.40.20.0
1 - Specificity
0.8
0.6
0.4
0.2
0.0
Se
ns
itiv
ity
Tru
e P
osi
tive
Ra
te
0%
100%
False Positive Rate0%
100%
Tru
e P
osi
tive
Ra
te
0%
100%
False Positive Rate0%
100%
Test bun: Test slab:
Comparatii curbe ROC
Cel mai bun test:
Cel mai slab test
Tru
e P
osi
tive
Ra
te
0%
100%
False Positive Rate
0%
100%
Tru
e P
osi
tive
R
ate
0%
100%
False Positive Rate
0%
100%
Distributiile nu se suprapun
Distributiile se suprapun complet
Extreme curbe ROC
Utilitatea Analizei ROC1. Determinarea abilităţii unui test de a
discrimina între 2 grupuri
2. Stabilirea cut-off point-ului
3. Comparaţii între teste
Utilitatea Analizei ROC1. Determinarea abilităţii unui test de a
discrimina între 2 grupuri
AUC- area under the curve
0.5-0.7 = acurateţe slabă
0.7-0.9 = acurateţe moderată
>0.9 = acurateţe bună
Utilitatea Analizei ROC3. Compararea performanţei a două sau mai
multe teste
Compararea curbelor ROC ale celor 2 teste
ROC – compararea performanţei a 2 teste
aB
A
Exerciţiu
Diagnostic
Test Pozitiv Negativ Total
Pozitiv 92 10 T+
Negativ 15 53 T-
Total D+ D- n