Aspecte metodologice in masurarea performantei in

cercetare.

Evaluarea in vederea finantarii institutionale suplimentare.

Bogdan Florian, FSP – SNSPA

Cu contribuția semnificativă:

Adrian Miroiu; Bogdan Murgescu; Mihai Păunescu;

Gabriel Vîiu; Andreea Gheba; Gabriela Jitaru

©

bo

gd

an

f

lo

ri

an

Istoric

› La data de 09.02.2015 Ministerul Educației publică, prin OM 3185 ”Metodologia de alocare a fondurilor bugetare pentru finanțarea de bază și finanțarea suplimentară, a instituțiilor de învățământ superior de stat din România, pentru anul 2015”

› Colectarea informațiilor de la universități: Martie – Decembrie 2015.

› Unele modificări pe parcurs: anomizarea, obligativitatea unui cont public pe platforma Google Scholar.

©

bo

gd

an

f

lo

ri

an

Metodologia. Indicatori

› Pentru finanțarea instituțională (FI), Metodologia prevede alocarea a 26,5% din suma totală pe baza unor indicatori de calitate (IC).

› IC – 4 clase, 15 indicatori: › C1. Predare/învățare

› C2. Cercetare ştiinţifică / creație artistică

› C3. Orientare internațională

› C4. Orientare regională & echitate socială

› Metoda: recensământul populației de universități de stat

› Durata de timp: date valabile la data de 1 ianuarie 2015 și retrospectiv 2011 – 2014 (pentru C2.)

1. Calitatea resursei umane

2. Impactul activității științifice /

creației artistice

3. Performanţa activității științifice /

creației artistice

4. Fondurile pentru cercetare

științifică / creație artistică

©

bo

gd

an

f

lo

ri

an

Cercetare ştiinţifică / creație artistică

1.Calitatea resursei umane Se calculează, pentru fiecare ramură de ştiinţă, ca medie a ultimilor 4 ani universitari, pentru media aritmetică a

scorurilor obținute de cadrele didactice ale universităţii, din ramura de ştiinţă rs. Scorul pentru fiecare cadru didactic se determină ca raport între punctajul comunicat de universitate pentru acesta și punctajul minim, stabilit de CNATDCU, pentru domeniul în care acesta deține titlul respectiv.

2. Impactul activității științifice / creației artistice Se calculează, pentru fiecare ramură de știință, ca medie aritmetică a indicilor Hirsch (h) corespunzători cadrelor

didactice raportate de universitate pe ramura de știință rs la indicatorul C2.1

3.Performanţa activității științifice / creației artistice Se calculează pentru fiecare ramură de știință, raportul dintre numărul de puncte obținute în ultimii patru ani, prin

publicarea de articole în reviste clasificate ISI sau ERIH (în zona galbenă sau ERIH INT2 și zona roșie sau ERIH INT1, v. clasificare utilizată de UEFISCDI sau clasificare ERIH) şi prin dobândirea de brevete de către personalul didactic și de cercetare al universității care activează în acea ramură de știință, și numărul total al personalului didactic și de cercetare titular al universității în acea ramură

4. Fondurile pentru cercetare științifică / creație artistică

©

bo

gd

an

f

lo

ri

an

Surse de eroare

- Înregistrarea unor informații eronate evidente: - O universitate cu profil socio-uman a declarat că toate articolele autorate de

cadrele didactice sunt publicate în revistele Nature sau Science - Diferențe semnificative între numărul de persoane angajate cu funcții didactice

și de cercetare și personalul înregistrat în evidențele MENCȘ sau CNFIS la 1 ianuarie 2015.

- Confuzii create de diferența dintre ramura de științe în care o persoană deține norma de bază și domeniul de specializare conform clasificării CNATDCU

- Încadrarea eronată a diferitelor reviste academice în zona roșie sau galbenă a ISI sau în ERIH int 1 sau int 2. Cel mai probabil din cauza necunoașterii acestor clasificări.

- Înregistrări aberante ale valorilor unor indicatori, cel mai des în cazul indicelui Hirsch, dar și în cazul punctajului CNATDCU pentru anumite domenii (imposibil de verificat empiric).

©

bo

gd

an

f

lo

ri

an

Câți oameni sunt angajați de fapt în universitățile din România?

Universitatea de Medicina si Farmacie “Carol Davila” Bucuresti, -1107

Academia de Studii Economice din Bucuresti, -83

Universitatea Ovidius din Constanta, -61

Universitatea de Arhitectura si Urbanism Ion Mincu din Bucuresti, 85

Universitatea Babes-Bolyai din Cluj-Napoca, 107

Universitatea de Medicina si Farmacie Iuliu Hatieganu din Cluj-Napoca, 228

-1200

-1000

-800

-600

-400

-200

0

200

400

e

©

bo

gd

an

f

lo

ri

an

Sinteza datelor colectate e Număr total

persoane la 1

ianuarie 2015 cf.

evidența CNFIS

Nr. Total persoane cf.

date Anexa 1 Diferența

Profesori 4.071 3607 -464

Conferențiari 5.299 4697 -602

Lectori / Șefi de

lucrări 8.258 7370 -888

Asistenți 4.923 4654 -269

Preparatori 396 0 -396

Cercetator stiintific NA 86 NA

Cercetator stiintific III NA 116 NA

Cercetator stiintific II NA 16 NA

Cercetator stiintific I NA 19 NA

Asistent de cercetare

/ Preparator NA 460 NA

Denumirea variabilei Număr total persoane Număr persoane pentru care nu

au fost introduse valori valide

Procent cazuri cu valori lipsă (%)

Valoare indice Hirsch (h) 17991 3064 14,6

Punctaj conform metodologiei

CNATDCU

19544 1511 7,2

Domeniul de specializare

CNATDCU

20384 671 3,2

Norma în universitate 20730 325 1,5

Funcția universitară 21025 30 0,1

• Există o diferență evidentă în ceea ce privește

distribuția pe funcții universitare a personalului

din universități

• Există un număr semnificativ de cazuri pentru

care există valori lipsă în datele declarate

pentru variabilele care intră în componența

indicatorilor de la criteriul C2.

©

bo

gd

an

f

lo

ri

an

Valori descriptive ale indicatorilor C2 =

Variabile Nr. Persoane Media Abaterea standard Mediana Min. Max.

Indice Hirsch Google Scholar 574 4,5 4,8 3 0 35

Indice Hirsch Scopus 574 2,6 3,3 2 0 24

Indice Hirsch Web of Science 574 2,5 3,2 1 0 21

Punctaj CNATDCU 574 9 33 2 0 473

Domeniul Matematică

Variabile Nr. Persoane Media Abaterea

standard

Mediana Min. Max.

Indice Hirsch Google Scholar 134 2 3 2 0 14

Punctaj CNATDCU 134 192,9 293,3 110 10 2520

Domeniul Științe Politice

Variabile Nr. Persoane Media Abaterea

standard

Mediana Min. Max.

Indice Hirsch Google Scholar 130 3 3 2 0 12

Indice Hirsch Web of Science 130 1 2 1 0 8

Indice Hirsch Scopus 130 1 2 1 0 8

Punctaj CNATDCU 130 201,3 272,8 109 0 1791

Domeniul Științe Administrative

©

bo

gd

an

f

lo

ri

an

Valori descriptive pentru cantitatea publicațiilor =

Domeniul Matematică

Domeniul Științe Politice

Articole Nature / Science Articole ISI Rosu Articole ISI Galben Articole ERIH INT1 Articole ERIH INT2

Nr. total persoane 573 573 573 573 573

Nr. total persoane pentru care au

fost declarate date (inclusiv 0

articole)

77 338 355 78 76

Numărul maxim de articole

raportat de o singură persoană 2 16 13 3 2

Numărul total de articole 3 477 554 7 2

Articole Nature / Science Articole ISI Rosu Articole ISI Galben Articole ERIH INT1 Articole ERIH INT2

Nr. total persoane 130 130 130 130 130

Nr. total persoane pentru care au

fost declarate date (inclusiv 0

articole)

1 20 19 14 14

Numărul maxim de articole

raportat de o singură persoană

0 5 12 0 0

Numărul total de articole 0 22 36 0 0

Domeniul Științe Administrative

Articole Nature / Science Articole ISI Rosu Articole ISI Galben Articole ERIH INT1 Articole ERIH INT2

Nr. total persoane 134 134 134 134 134

Nr. total persoane pentru care au

fost declarate date (inclusiv 0

articole)

47 48 47 47 51

Numărul maxim de articole

raportat de o singură persoană

0 2 1 1 1

Numărul total de articole 0 3 2 1 1

Numărul de

persoane care

publică articole

este, indiferent

de domeniul de

specializare,

relativ redus.

Ponderea celor

care publică

variază, în

funcție de

domeniu, între

aproximativ

25% și 60%.

©

bo

gd

an

f

lo

ri

an

Rezultate simulare indicatori - Științe Politice = Universitatea Media aritmetică

a indicelui h3/2

(GS)

Media aritmetică a

scorurilor

CNATDCU

Nr persoane

declarate

Scoala Nationala de Studii Politice

si Administrative din Bucuresti 9,56 3,11 34

Universitatea din Bucuresti 5,69 2,39 44

Universitatea din Oradea 4,41 2,29 33

Universitatea Lucian Blaga din

Sibiu 3,69 1,52 24

Universitatea Babes-Bolyai din

Cluj-Napoca 3,59 2,02 65

Universitatea din Craiova 2,34 3,78 17

Universitatea Petru Maior din

Targu Mures 1,90 2,51 13

Universitatea Stefan Cel Mare din

Suceava 0,94 3,83 24

Universitatea Alexandru Ioan Cuza

din Iasi 0,88 2,04 12

Universitatea Ovidius din

Constanta 0,74 5,14 12

Universitatea Media aritmetică a

scorurilor

CNATDCU

Media aritmetică a

indicelui h3/2 (GS)

Nr persoane

declarate

Universitatea Ovidius din

Constanta 5,14 0,74 12

Universitatea Stefan Cel Mare din

Suceava 3,83 0,94 24

Universitatea din Craiova 3,78 2,34 17

Scoala Nationala de Studii Politice

si Administrative din Bucuresti 3,11 9,56 34

Universitatea Petru Maior din Targu

Mures 2,51 1,90 13

Universitatea din Bucuresti 2,39 5,69 44

Universitatea din Oradea 2,29 4,41 33

Universitatea Alexandru Ioan Cuza

din Iasi 2,04 0,88 12

Universitatea Babes-Bolyai din

Cluj-Napoca 2,02 3,59 65

Universitatea Lucian Blaga din

Sibiu 1,52 3,69 24

©

bo

gd

an

f

lo

ri

an

O explicație a diferențelor pentru rs Științe Politice =

15

16

1 2

SNSPA

Relatii internationale si studii europene Stiinte politice Filosofie Istorie

1

3

1

7

Universitatea Ovidius din Constanța

Economie Stiinte politice Limba si literatura Istorie

1 1

1

12

1

6

1

Universitatea Ștefan cel Mare din Suceava

Geografie Asistenta sociala Limbi moderne aplicate

Istorie Relatii internationale si studii europene Filosofie

Economie si afaceri internationale

Există diferențe foarte mari în componența

personalului academic în funcție de

domeniul de specializare și ramura de

științe în care este consituită norma de

bază. Scorul CNATDCU (IC 2.1)

distorsionează profund, datorită punctajelor

și compoziției diferite a acestora.

©

bo

gd

an

f

lo

ri

an

Discuție ? 1. Fragmentarea exagerată a domeniilor științifice și multiplele clasificări existente, fac imposibilă obținerea

unei imagini coerente a calității activităților științifice. Diferențele dintre domeniul de specializare

CNATDCU și ramura de științe în care este încadrat un program de studii determină apariția unor

probleme de consistență serioase.

2. Corelația dintre valorile indicelui h și punctajele înregistrate conform metodologiei CNATDCU este una

puternică (coeficientul variază între aproximativ 0.333 și 0.800 cu un indice de semnificație .000) dacă

disociem în funcție de domeniul de specializare CNATDCU. DAR, relația dintre variabile scade în

intensitate sau devine nesemnificativă statistic atunci când disociem în funcție de ramura de știință în

care este declarată norma de predare a personalului academic.

3. Distribuțiile valorilor variabilelor pentru care au fost colectate date, dar și ale indicatorilor agregați sunt,

nativ (fără ajustări ale curbei de distribuție), deviate puternic de la curba de distribuție normală (grafic

seamănă mai degrabă cu o curbă Poisson). Putem consideră că, indiferent de domeniul științific, în

universitățile din România, o proporție, adesea minoritară, este responsabilă cu producția științifică

(relevantă și vizibilă). În aproape toate domeniile există de asemenea outlieri, persoane a căror operă

științifică este cu mult mai mare și mai recunoscută (citată) față de a colegilor lor.

4. Nu există încă o cultură organizațională la nivelul universităților care să valorizeze responsabilitatea

publică și transparența.