Evaluare si monitorizare – principii generale. Contextul...
Transcript of Evaluare si monitorizare – principii generale. Contextul...
„Dezvoltarea Capacității Administrative a MCI de implementare a unor acțiuni stabilite în Strategia Națională de Cercetare, Dezvoltare Tehnologică și Inovare
2014-2020„ Cod: SIPOCA 27,
Programului Operațional Capacitate Administrativă, Axa prioritară 1
Evaluaresimonitorizare–principiigenerale.Contextulnațional(R1)
DrMarianaChioncel
ExpertcoordonatorR1(UEFISCDI)
Outline • Monitorizarea–deceestenevoiedemonitorizare?• Evaluare.Evaluaredeimpact;Riscurileevaluariiinovarii• EvaluareaincontextulUE• Romaniasiexperientainevaluare• Sistemulna<onaldeinovare:provocarispecificeinmonitorizaresievaluare
Monitorizare. Selectarea indicatorilor de rezultat Indicatoriiderezultattrebuiesăîndeplineascăanumitecriteriii:• A)safiestrânslegaEdeintervenții.Eiartrebuisăsurprindăesențaunuirezultatconformunuiargumentrezonabilcuprivirelacaracteris<cilepecarelepotreprezenta;
• B)saaibeinterpretareclară:trebuiesăexisteunacordcăomodificareîntr-oanumitădirecțieesteunrezultatfavorabilsaunefavorabil;
• C)safierobust:fiabil,validatsta<s<c;• D)sapermitacolectareaînEmpuEladatelor:
Fiecareindicatorderezultatnecesităovaloaredereferință(baseline).
De ce monitorizare ? Ø Funcții interne
§ Se observa dacă si cum instrumentele sunt implementate;
§ Montorizează modificările indicatorilor de rezultat (monitorizarea politicilor);
§ Permite răspunsuri rapide la un mediu în schimbare
Ø Functii externe § Sprijina procesul de descoperire antreprenoriala si
implicarea tuturor actorilor RDI; § Promoveaza transparenta, responsabilitatea,
increderea si dialogul intre actorii CDI
Invatare si reactie
Incredere Transparenta si responsabilitate
Rolul monitorizarii
Monitorizarea este un instrument de management in Strategia CDI • Nu este doar o lista de indicatori • Nu este doar un set de proceduri de colectare de date, rapoarte
Dar • O reprezentare concisa si completa a logicii interventiei
Ce este evaluarea ? Evaluarea=unprocescareurmăreștesăsedetermineînmodsistemaEcșiobiecEv,relevanța,eficiențașiefectuluneiacEvitățiîntermenideobiec<ve• Includeanalizaimplementăriișiges<onăriiadministra<ve,domeniuldeaplicare;
• Diferăînfuncțiedeîntrebărilecaretrebuieabordateșidecaracterulpoli<cii/măsura
• Potfievaluăriretrospec<ve(ex-post),actualesauprospec<ve(ex-ante)
Evaluarea de impact • Impact = Diferența de rezultat între ceea ce s-a observat in urmainterven<eișiceeacearfifostobservatînabsențainterven<ei;
• EVALUARE DE IMPACT răspunde la întrebarea: cum s-ar schimbarezultatele dacă intervenția nu ar fi fost întreprinsă - ‘analizăcontrafactuală’;
• Evaluează schimbările intenEonate si neintenEonate care pot fiatribuiteuneianumiteintervenții(proiect,programsaupoli<că);
Instrumente si metode de evaluare Prac<ciledeevaluarenusuntuniforme/transferabile.DarcatevalecEicomune….• Estenevoiedeocombinațiedeabordăricomplementare(can<ta<veșicalita<ve);
• Programeleaudiferitegradedematuritate/varietateainstrumenteleu<lizate;diferiteinstrumenteèdiferitemetode
• Trebuiesase<nacontdedesign-ulins<tu<onal,specificulna<onal/regional!METODOLOGIILEnusunttransferabile;
• IDEALMECANIMSULdeevaluareTREBUIEinclusînprocesuldeelaborareapoli<cilor!èseasiguracolectareașifurnizareadatelornecesare,acceptareaprocedurilorșicriteriilordeevaluaredecatreins<tuțiileimplicate.
Instrumente si metode de evaluare • Trebuiesaexisteobliga<aformalăacelorresponsabilideelaborareapoli<cilordeareacționalarezultateleevaluărilor;
• Rezultateleevaluărilortrebuieexpuseindezbaterepublică;• Evaluăriletrebuiesăfieorientatesprebeneficiari;• Evaluareatrebuieintegrataintr-unsistemmailargdecolectareșipregă<reainformațiilor,prognozătehnologică;
• Evaluareapoatesprijinideciziileinformate,darNUinlocuiesteprocesulpoli<cdeluareadeciziilor.
• Poli<cieni=intereslimitatprivindimpactuldupăpropriulmandat;necesitateauneistrategiidelungadurata;
• Impactulestedificildecuan<ficatșicuîntârzieriîndelungatede<mpînaintedeaputeafimăsurat.
PROVOCARILE evaluarii inovarii Inovareaprinnaturaeisedesfasoaraîntr-odinamicăexpusamultorfactoriexogeni.Esteriscanta,Imprevizibila-implicăîncurajareagenerăriideidei§ IMPACTULinovariigreumasurabil-"succesulprovinedin"eșec"(HargadonșiSu[on(2000),Al-Dabal(1998),Peters(1988),Zider(1998))
• Emelag–intreinvesEEesiimpact:rareoripoatefievaluatcorespunzătorimpactulpetermenscurt;
• Indicatorii(sau"scorecard-uriledeinovare")potfiu<lilanivelmacroèconstruireaunuiconsenscuprivirelanecesitateaunoracțiunipoli<ceînsprijinulcercetării.
• Raportarea freceventa a "rezultatelor" în termeni indicatorican<ta<vi = factor puternic de descurajare în ceea ce priveșterealizareaoricăreiinovații
• Efectele macroeconomice ale unei intervenții sunt mai dificil deevaluat:legăturadintrevariabileleanalizatedevinemaiambiguă
• Efecte secundare (necuanEficate). Rezultatul măsurabil alintervențieipubliceestemaimultdecâtcelcuan<ficatprinindicatori(produsinova<v,costurileredusedeprocesproduc<vitateacrescutăamuncii).
• Firmele pot câș<ga noi parteneri, pot implementa schimbăriorganizaționale,inves<<iriscante
• Sensibilizarea <nerilor cu privire la carieră în domeniul ș<inței,tehnologieișiinovării
PROVOCARILE evaluarii inovarii
PROVOCARILE EVALUARII DE IMPACT
• Efectuareaanalizeideimpactnecesităanalizadatelorcolectatelamomentulpotrivit,adeseau<lizândmetodesta<s<ceaparentsofis<cate
• FOARTEDIFICILDEAPLICATatuncicandimpactulestedatoratuneigamelargideintervenții
Deci, de ce avem nevoie? • Policymix(obiec<veșiinstrumenteadecvate);• Foaiadeparcurs(necesitateaunorobiec<vepetermenscurtșipetermenmediu);
• Indicatori(măsurareaprogresuluiînregistratîna<ngereaobiec<velorstrategice);
• Mecanismuldemonitorizare(proceseledemonitorizareșiproduseleacestora);
• Structuraguvernării(cineceface,responsabilita<complementare)
De unde incepem ? § Monitorizarea, ideal, ar trebuie Integrata in design-ul strategiei ! § Logica interventiei trebuie sa stabileasca o relatie clara de cauzalitatee intre interventie si indicatori; § Ideal specialistii care au facut design-ul strategiei ar
trebui sa construiasca sistemul de monitorizare
Evaluarea in contextul European EuropeanResearchArea-MoreeffecEvenaEonalresearchsystems(ERApriority1)Compe&&alanivelnaționalestecrucialăpentruaobțineovaloaremaximădinbaniipubliciinves&țiîncercetare.• Alocareafondurilorprincompe<<i,evaluatedegrupurideexperțiinternaționaliindependenți(experțiexterni)
• EvaluareaperformanteiactorilorCDIPoliEcidecoeziune2013-2020/ex-antecondiEonalitaE• EC–”Necesitateaunuimecanismdemonitorizare,evaluare,roadmapRI”RegionalSmartSpecialisaEonStrategy!Responsabilitatesitransparentainfolosireabanilorpublici!
CountrygroupERApriority1-MoreeffecEvenaEonalresearchsystems.Countrygrouping
ing
16
GBAORD 0.5 – 5 billion Euro, GERD per capita > EU average.
GBAORD in the range 0 - 500 MillionEuro,lowtoverylowGERDpercapita(25-400Euro).
GBAORD10-30billionEuro,GERDpercapita~EUaverage
GBAORD 1-10 billion Euro, GERD per capita: 200-350 Euro.
GBAORDintherange2-3.5billionEuro,GERDpercapita>EUaverage
UK, FR, DE
IT, ES, CZ, PT
SE, DK, FI NL, IE, AT, BE
LV, BG, EE, SI, LT, HU, SK, HR, RO, PL, EL
ComplexRDIsystem,GERDpercapita~EUaverage,systemsorientedtowardsexcellence,alloca<onofRDIfundsbasedonevalua<onmechanisms,efficientlyandregularlyimplemented.FR–changesintheRDIgovernanceanfundingpa[erns:ANR,theEvalua<onAgencyforResearchandHE
Fragmenta<onoftheRDIlandscape,insufficientR&Ipolicycoordina<on,.Increasingcompe<<veshare.Limitedadvancementinevalua<onprac<ces.Posi<veside-effectsofRDIbudgetcuts:lessfundingfragmenta<on(IT),HEreforms(IT,CZ).
Fundingfocusedonexcellence.Recentpolicyandsystemreforms.HighR&Dinputandoutput.Swedishparadox–realconcern?
AT:compe<<vefunding≈1/3.FundingofHEIs–performanceagreementNL:HEIs-performanceagreements.ShimfromR&DdirecttoindirectfundingIE-smallandyoungRDIsystem.Peerreviewandevalua<on-customarycultureBE:HighinternalR&Dpolicyheterogeneity.Lackofmonitoringatfederallevel
Revisionoflegisla<ontowardsaccountability.Goodpolicyinten<ons,indeedopera<onalefficiency???EUSF:leveragingeffectsèincreasedcompe<<veshare/improvedevalua<onandmonitoringprac<ces.Methodologyconcerns.Corereviewprinciplesincreasinglyapplied.Mismatchsupply/demand?
SmallR&Isystem,compe<<vefundingisnotrealis<c/effec<ve
LU, MT, CY
COUNTRY GROUPING
SHARE IN EU GBAORD: 55.41%
SHARE IN EU GBAORD: 11.63 %
SHARE IN EU GBAORD: 11.22 %
SHARE IN EU GBAORD: 20.71 %
SHARE IN EU GBAORD: 2.2 %
0.34 %
78%contribuEontoEUGBAORD.HighproporEonoftheEUpublicfundsisfocusedonexcellenceandefficiency
LipsăcronicăderesursepublicepentruCDI;structurăins<tuționalăpublicăsupradimensionată;ContribuțiatotalălaUEGBAORDfoartescăzută(aprox,2,18%,2011);Creștereafondurilorstructuraleaavutefectedeinfluențareasupraeforturilornaționaleèalocarecompe<<va,îmbunătățireaprac<cilordeevaluareșimonitorizare;Prac<cadeevaluareesteinstadiiincipiente;Evaluărileins<tuționaleperiodiceșialocareafondurilorpebazarezultatelorperformanțeinuaufostefec<vpuseînaplicare;ComunitateaCDIadeseafrustrata,presatasădemonstrezeexcelențainternaționala,încondi<icarenucorespund
GBAORD0-500demilioanedeeuro,GERDscăzutpecapdelocuitor(25-400Euro).RO,PL,HR,SK,HU,LI,SL,EE,BG,LV,TR,RS.EL
RO: experienta SNCDI 2007-2013 • CadruldereglementareNP2,POSDRU,POSCCEaasiguratînteoriemecanismedemonitorizareșievaluaretransparentă.
• DARevaluareaNP2afostabandonatăavândînvederecăobiec<veleaufostcorelatecuunbugetdetreiorimaimaredecâtcelalocat
• Pentrualteinstrumente(Nucleu,AcademiaRomână)informațiilenusuntdisponibileîntr-unformatcomplet(Zuleanetal,2015).
• Lipsaunuicadrustandardizatșiocapacitatesistemicăscăzutăpentruevaluareafezabilitățiifinanciareșiaanalizeicost-beneficiuaugeneratevaluărisubiec<ve(Curaj,2015)
• Proceduriledemonitorizareauimpusbirocrațieigreleșicomplicatepentrubeneficiari(Curaj,2015).
Evaluarea intermediarăaNSRDI2007-2013 și PN2007-2013evidențiază faptul că,deși afostu&lizatăo"gamăcompletădeelementedeelaborareapoli&cilor",sevorbeștepuțindespre actorii care ar trebui să angajeze și să implementeze aceste instrumente și, înspecial,calificareașidisponibilitateaacestora"(Technopolis,2012)ÎnPOSDRU2007-2013,informa<eestevalabilaprivindnumărulbeneficiarilor,domeniile,diplomaacordată,DARimpactulșirelevanțaformăriioferiterămâneneclar(MinistrulFE)Înansamblu,existăonevoieclarădecreștereaeficiențeișieficacitățiiinvesEțiilorpubliceșideîmbunătățireamecanismelordeevaluareșimonitorizarelatoatenivelurile:proiecte,programe,insEtuții,profesionișE.
RO: experienta SNCDI 2007-2013
CONTEXTUL ACTUAL NATIONAL În2015,cheltuielileinternebrutealeROpentruC&Daucrescutla0,49%dinPIBdela0,38%în2014,darrămânpepenul<mullocdinUE.• SprijinulguvernamentalpentruCDI-ușoarăcreștereîn2015,(0,26%compara<vcu0,21%dinPIBîn2014).În2016,alocărilebugetarepentruCDIaucrescutcu30%compara<vcu2015.
• Inves<țiileînC&Dînsectoruldeafaceri(BERD)aucrescutdela0,16%în2014la0,21%dinPIBîn2015,
DefalcareacontribuțiilorsectorialelafinanțareatotalăaCDI(Sursadatelor:Eurostat,noiembrie2016).
Romania(EUROSTATNoiembrie2016)INDICATORICDIsidecontext 2009 2015 GDP per capita (euro per capita) 5900 8100 GDP growth rate (% change) -7,1 3,7 Value added of services (% of total) 56,32 60,34
Value added of manufacturing (% of total) 21,56
Value added of High and Medium-High Tech manufacturing (% of total) 7,22 Share of Foreign controlled enterprises in the total nr of enterprises (% of total) 5,22 Labour productivity (Index, 2010=100) 100,1 123,3 New doctorate graduates (ISCED 6) per 1000 population aged 25-34 1,05 Summary Innovation Index (rank) 30 36 Venture capital investment as % of GDP (seed, start-up and later stage) 0 0,001 GERD (as % of GDP) 0,46 0,49 GBAORD (as % of GDP) 0,3 0,26 R&D funded by GOV (% of GDP) 0,25 0,2 BERD (% of GDP) 0,19 0,21 Public-private co-publications per million population 7,04 World Share of PCT applications 0,03
Top 10 Romanian institutions with highest patent activity 2011-2014
Organisation
Number of patent APPLICATIONS
1 UNIV SUCEAVA STEFAN CEL MARE 328 2 UNIV BRASOV TRANSILVANIA 141
3 INST NAT CERC DEZVOLTARE ELECTROCHIMIE 111 4 CONTINENTAL TEVES & CO OHG AG 111
5 UNIV IASI TEHNICA ASACHI GHEORGHE 110
6 INST NAT CERC DEZVOLTARE MASINI INSTALAT 107
7 UNIV CLUJ-NAPOCA TEHNICA 100 8 UNIV POLITEHNICA DIN BUCURESTI 90
9 INST NAT CERC DEZVOLTARE FIZICA TEHNICA 92 10 INST NAT CERC DEZVOLTARE CHIM FARM 88
Source: Thomson Reuters IP Analytics, (2015)
Top 10 Romanian institutions with the highest publication volume, 2005 - 2014
Rank Institution City Number of
papers 1 Polytechnic University of Bucharest Bucharest 7,115 2 University of Bucharest Bucharest 6,605 3 Babes Bolyai University from Cluj Cluj-Napoca 6,440 4 Romanian Academy of Sciences Bucharest 5,195 5 Alexandru Ioan Cuza University Iasi 3,943 6 GH Asachi Technical University Iasi 3,119
7 Horia Hulubei National Institute of Physics & Nuclear Engineering
Magurele 2,990
8 Iuliu Hatieganu University of Medicine & Pharmacy
Cluj-Napoca 2,593
9 Carol Davila University of Medicine & Pharmacy
Bucharest 2,451
10 Grigore T Popa University of Medicine & Pharmacy
Iasi 2,310
DISTRIBUTIACONTRIBUTIEFP7INTREREGINI
PlanulNaționalpentruCDI2015-2020(aprox3300
milioanedeeuro)
ProgramuluiOperaționalCompe<<vitateAP1CDIpentru
susținereacompe<<vitățiieconomiceșidezvoltareaafacerilor
((952,57milEUR)
ProgramulOperaționalRegionalDezvoltare
2014-2020,AP1"Transferuldetehnologie”(206,5mil)
UEFISCDI(celerelevanteS2),MCI,ROSA OI–MCI,AMMFE
MinisterulDezvoltăriiRegionaleșialAdministrației
Publice
MySMISsistempropriudecolectaredate
bioenonomie
PROGRAMfinantare
Ins<tu<eresponsabila
Sistemcolectaredate
Domeniispecializareinteligenta
TIC, spațiu și securitate
Eco-nano-tehnologii și materiale avansate
Energie, mediu și schimbări climatice
Sanatate
InstrumenteCDIcare
explicitauca<ntatoatedomeniileS2
Instrumentedecare
implicitpotbeneficiasiS2
PROVOCARI SPECIFICE SISTEMULUI NATIONAL
• Diferiteins<tu<isuntresponsabilepentrudiferiteprogrameèmecansimuldecolectarededatenuesteunitar/componentademonitorizareMySMISnuesteincafunc<onala;
• Ogamălargădeintervențiièdificildeizolatefectuluneiinterven<i;• Domeniilargidespecializareinteligenta;• RIS3vaaveacapriorita<nisedindomeniilena<onaledespecializareinteligenta;• MecanismuldemonitorizaresievaluarenuafostconceputodatacuSNCDI;• Nuexistainstrumentespecificefiecaruidomeniusiindicatorirelevan<(dificildeurmaritlogicainterven<ei)
• Sistemuldeguvernare• SistemulCDIsubfinantat:efectesemnfica<vepesteunanumitpragdefinantare
PALIERE DE MONITORIZARE/ANALIZA
Monitorizareaimplementarii
Monitorizareasistemguvernare
MonitorizareaeficacitaEiinstrumentelor
MonitorizareaaltorfactoricarepotinfluentasistemulCDI
MonitorizarelegislaEe
Monitorizareaefectelorinstrumentelor
Monitorizareamodificarilorinstructuraeconomiei;specializarii
Monitorizareaintegrariiinlantulvaloric
Analizaimplementarii Metodafolosita
Analizaprogresuluiînimplementarea § Careesteprogresulefectivînimplementare?§ Careesteprogresulrealizatinimplementareaprogramuluicomparativcuobiectivele/țintelestabiliteinițialşicareesteratadeprogres
anualăprevizionată?
§ Rataactualădeprogrespoatecontribuilaîndeplinireaobiectivelorprogramate?Ratadecontractare;Ratadeaprobareacererilorde
finantare;Ratadeincheiereacontractelordefinantare;Ratade
aplicatii;RatarambursareCE(laPOC)
Analizabirou
Interviu
Sondajpe
bazade
chestionar
Analizafactorilorcareauafectatimplementarea
§ Factorii,externişiinterni,careauinfluenţatprogresulimplementăriiprogramului
§ Finantareaafostcorespunzatoaretintelorstabilite?§ Ghidurileaufostclare,deschideriledeaplicatiianuntatedintimp,sipromovatecorespunzator,conditiiledeeligibilitatecorespunzatoare?
§ Procesuldeevaluaresidefinantares-audesfasuratintimp?§ Activităţiledepromovareşicomunicareaufosteficiente
Interviu
Sondajpe
bazade
chestionar
focusgrup
Analizasistemuluideguvernare/management § Eficienta,profesionalismulinstitutiilordeguvernare§ Relevantaactivităţilorsiadocumentațieisuportpentruredactareaproiectelor?
§ Cumpoatefiîmbunătățităcalitateaşieficienţasistemuldemanagement?
Interviu;Sondajpebazadechestionar
Evaluaretransparenta,obiectiva
§ Esteevaluareatransparenta,obiectiva,etica?§ Criteriiledeeligibilitate/evaluaresuntcorespunzatoare?
Interviu;Sondajpebazadechestionar
Analizaeficacitatiiinstrumentelor Analizacapacitățiibeneficiarilor
§ Aufostprimitesuficientecereridefinanțarelaapelurilelansate?Dacănu,dece?
§ Caresuntprincipalelemotivepentrurespingereaproiectelor?§ Cefactoriauinfluenţatcalitateaproiectelor?§ Încemăsurăcapacitatearedusăabeneficiariloraafectatplanificarea
şiimplementareaproiectelorfinanţate?
InterviuSondajpebazadechestionarDeskresearch
Analizatipurilordeintervenții § Suntrelevanteinterventiilepentruobiectiveleasumate?§ SuntrelevanteinterventiilepentrudomeniulspecificdeS2siauatasati
indicatoricorespunzatori?§ Caredintreintervențiileaucontribuitcelmaimultlaîndeplinireaobiectivelor
specificealeacestuia?§ StrategiaCDIestecompatibilacualtestrategiinationale/legislatiirelevante
pentrudomeniileS2?§ Existătipurideintervențiicareaufostinsuficientaccesate/promovate?Factorii
careauafectatrataredusadeaccesare:
InterviuSondajpebazadechestionarDeskresearch
Cemăsurisuplimentarearputeacontribuipeviitorlacreștereaperformanțeipentruunprogramdedezvoltareacapacitățiiadministrative?
Analizaindicatorilor Încemăsurăținteleindicatorilordeprogramaufostrealisteșicaresuntcauzelepotențialeidiscrepanțeînregistrateîntrevalorileindicatorilorderezultatșiținte?
Analizadate
Analizaefectelor
Caresuntefecteleintervențiilordinperspectivaindicatorilorderezultataiprogramului?Analizadate;Metodecantitative
AnalizaEficacității/Analizagrupurilorțintă Caresuntefecteleintervențiilorprogramuluiasupragrupurilorțintădinsectorbioeconomie?
Cateva CONCLUZII Preliminare • Estenevoiede<mpinprocesuldeinvatare;• RIS3estelainceputinmultetariUE;EC“invatamimpreuna”• Importantamontorizareasianalizatransparenta:evidentasucceselorsiesecurilor!
• Primpas:unsistemcoerentsiunitardecolectaredeindicatoriCDI• Metodeledeevaluarevorfitestate!Anuuitacaseevalueazacercetarea&inovare(riscanta,<melag)
• SistemCDIsubfinantat:estenevoiede<mp,inves<<econsecventesieficientapentruobservareaimpactului
Progres rezultat R1 ü Catalogul de indicatori ü Design metodologii de evaluare • Testare metode de evaluare • Revizuire metodologii • Review de catre experti nationali/internationali -> Integrare
comentarii • Prezentare publica a metodologiilor • Evaluare 2018, diseminare rezultate