Lecţii învăţate / Lecţii învăţate / Bune practici Bune practici în în evaluareevaluare

Simona NĂNESCU – expert evaluator

NTSN CONECT

Conferinţa “Îmbunătăţirea eficacităţii şi eficienţei politicii de coeziune. Instrumentele Structurale în România”

Bucureşti, 29 noiembrie 2012

...pe scurt, despre evaluatorii de la NTSN ...pe scurt, despre evaluatorii de la NTSN CONECTCONECT

Experienţă îndelungată în evaluare, demonstrată prin participarea în:

evaluarea tuturor Programelor Phare din România (2001-2010)

primele evaluări intermediare ale Programelor Operaţionale din România (POR, POSCCE, PODCA) – din 2009

Evaluarea Programului Facilitatea Schengen şi a Fondului Frontierelor Externe (România)

Acordul Cadru pentru evaluarea instrumentelor structurale, 2011-2015

Temele prezentăriiTemele prezentării

1. Evaluarea Instrumentelor Structurale în România – privire de ansamblu

2. Principalele provocări ale Evaluării din

perspectiva evaluatorilor

3. Bune practici 4. Lecţii învăţate

1. Evaluarea Instrumentelor Structurale în România – privire de ansamblu1. Evaluarea Instrumentelor Structurale în România – privire de ansamblu

De ce este necesară evaluarea ?De ce este necesară evaluarea ?

Evaluarea reprezintă o activitate strâns legată de buna gestiune a Programelor Operaţionale

În contextul actualei crize economice şi a eşecului parțial al instrumentelor tradiţionale de control în sectorul public (privind aprecierea performanţei cheltuirii fondurilor publice), evaluarea reprezintă unul dintre instrumentele care pot contribui la abordarea unui nou stil de management pentru gestionarea mai eficientă și mai eficace a resurselor publice

1. Evaluarea Instrumentelor Structurale în România – privire de ansamblu1. Evaluarea Instrumentelor Structurale în România – privire de ansamblu

Evaluarea Programelor Operaţionale 2007-2013Evaluarea Programelor Operaţionale 2007-2013

Planurile de evaluare la nivelul PO:

– 2 evaluări intermediare

– Evaluări operaționale, tematice, ad-hoc

Derularea evaluării:

– Contractarea de companii care furnizează experţi evaluatori

Gestionarea evaluării: Unităţile de Evaluare din cadrul Autorităţilor de Management

1. Evaluarea Instrumentelor Structurale în România – privire de ansamblu1. Evaluarea Instrumentelor Structurale în România – privire de ansamblu

Evaluarea – reper terminologicEvaluarea – reper terminologic

Evaluarea reprezintă un instrument de analiză a relevanţei, eficienţei, eficacităţii asistenţei financiare alocate, precum şi a impactului şi durabilităţii rezultatelor atinse

Evaluarea este o însumare de dovezi care stau la baza formulării unor concluzii bazate pe criterii prestabilite. Evaluarea este un instrument important de responsabilizare și de diseminare a experienței.

1. Evaluarea Instrumentelor Structurale în România – privire de ansamblu1. Evaluarea Instrumentelor Structurale în România – privire de ansamblu

Terminologie - Criteriile de evaluare (pe scurt)Terminologie - Criteriile de evaluare (pe scurt)

Relevanţa

Măsura în care obiectivele declarate adresează în mod corect problemele sau nevoile reale identificate

Sunt programele / proiectele relevante pentru nevoile factorilor interesaţi?

1. Evaluarea Instrumentelor Structurale în România – privire de ansamblu1. Evaluarea Instrumentelor Structurale în România – privire de ansamblu

Terminologie - Criteriile de evaluare (pe scurt)Terminologie - Criteriile de evaluare (pe scurt)

Eficienţa

Au fost realizate activităţile conform planificării iniţiale ? Oferă programele valoare adăugată fondurilor cheltuite? Ar putea aceleaşi rezultate să fie obţinute cu costuri mai mici? Sunt costurile unitare prea mari?

1. Evaluarea Instrumentelor Structurale în România – privire de ansamblu1. Evaluarea Instrumentelor Structurale în România – privire de ansamblu

Terminologie - Criteriile de evaluare (pe scurt)Terminologie - Criteriile de evaluare (pe scurt)

Eficacitatea

Cât de bine au utilizat beneficiarii vizaţi produsele sau serviciile puse la dispoziţie?

Programele îşi ating obiectivele? Corespund rezultatele pe termen scurt nevoilor exprimate iniţial în

program?

1. Evaluarea Instrumentelor Structurale în România – privire de ansamblu1. Evaluarea Instrumentelor Structurale în România – privire de ansamblu

Terminologie - Criteriile de evaluare (pe scurt)Terminologie - Criteriile de evaluare (pe scurt)

Impactul

Măsura în care beneficiile adresate beneficiarilor ţintă au avut un efect de ansamblu mai larg, implicând un număr mai mare de persoane din cadrul domeniului, regiunii sau la nivel naţional

Ce se schimbă, ca rezultat al programelor? Depăşesc beneficiile programelor rezultatele imediate?

1. Evaluarea Instrumentelor Structurale în România – privire de ansamblu1. Evaluarea Instrumentelor Structurale în România – privire de ansamblu

Terminologie - Criteriile de evaluare (pe scurt)Terminologie - Criteriile de evaluare (pe scurt)

Durabilitatea Probabilitatea ca rezultatele pozitive ale proiectului să continue şi

după ce finanţarea externă se va încheia şi, de asemenea, dacă impactul lor pe termen lung cu privire la procesul de dezvoltare mai larg poate fi susţinut la nivel de domeniu, regiune sau la nivel naţional.

Vor continua efectele programelor, ori programele în sine, dincolo de faza de implementare?

Se vor găsi surse de finanţare alternative?

2. 2. Principalele provocări ale Evaluării din perspectiva evaluatorilorPrincipalele provocări ale Evaluării din perspectiva evaluatorilor

Evaluarea Programelor Operaţionale Evaluarea Programelor Operaţionale

• Design-ul Proiectelor de Evaluare

• Este adecvat nivelul solicitărilor Beneficiarilor evaluării versus resursele alocate?

• În ce măsură este piaţa de consultanţă pregătită

pentru noile abordări şi metode de evaluare?

22. Principalele provocări ale Evaluării din perspectiva evaluatorilor. Principalele provocări ale Evaluării din perspectiva evaluatorilor

Evaluarea Programelor Operaţionale Evaluarea Programelor Operaţionale

• Contractarea Proiectelor de Evaluare

• Evaluarea independentă –beneficiarul este şi autoritate contractantă

• Decalajul dintre programarea evaluării şi implementarea ei • este evaluarea realizată la timp? (relevanţa evaluării) • lipsa de predictibilitate pentru prestator (disponibilitatea

resurselor umane şi financiare)

• Criteriile de atribuire - deficienţe• preţul cel mai scăzut versus oferta cea mai avantajoasă dpdv

economic (consecinţe)• Neacordarea unui punctaj pentru CV-urile experţilor propuşi

2. 2. Principalele provocări ale Evaluării din perspectiva evaluatorilorPrincipalele provocări ale Evaluării din perspectiva evaluatorilor

Evaluarea Programelor Operaţionale Evaluarea Programelor Operaţionale

Realizarea evaluării– Sunt datele necesare evaluării disponibile la timp?– Deficienţe în stabilirea indicatorilor de realizare şi a corelării

acestora la diferite niveluri (program, Axa Prioritară, DMI, proiect)

Aspecte financiare– Fluxul de numerar este în multe cazuri defavorabil pentru

Prestator (spre deosebire de alte tipuri de asistenţă tehnică)

2. 2. Principalele provocări ale Evaluării din perspectiva evaluatorilorPrincipalele provocări ale Evaluării din perspectiva evaluatorilor

Evaluarea Programelor Operaţionale Evaluarea Programelor Operaţionale

Implementarea recomandărilor evaluării

• Recomandările sunt în general acceptate la nivel tehnic, până la nivel de Director General (Autoritatea de Management) dar uneori exced sfera de responsabilitate a beneficiarilor (ACIS, AM-uri), devenind astfel în practică neimplementabile

• Există voinţă reală şi interes pentru implementarea acestora din partea factorilor de decizie (eşaloanele superioare celor tehnice) ?

3. Bune practici3. Bune practici

Practica evaluării de programe în România s-a consolidat constant în ultimii ani, iar UCE şi Unităţile de Evaluare din AM-uri nu au întâmpinat obstacole şi au fost sprijinite în acest sens

Utilizarea Acordurilor Cadru - permite un acces mai rapid la expertiză de evaluare, se evită distorsiunile apărute în procesul de achiziţie publice (scăderea excesivă a preţurilor, numeroasele contestaţii)

3. Bune practici3. Bune practici

Creşterea constantă a numărului de firme interesate de domeniul evaluării (inclusiv alocarea de resurse pentru dezvoltarea expertizei proprii) şi a numărului de experţi independenţi

4. Lecţii învăţate4. Lecţii învăţate

Expertiza internaţională este încă necesară, din păcate modul de contractare nu permite, în multe cazuri, utilizarea experţilor internaţionali din motive de preţ

Un aspect deficitar major rămâne însă limitarea utilizării evaluării numai la Instrumentele Structurale. În absenţa extinderii acestei practici către toate politicile publice, eficacitatea ofertei pieţei va rămâne limitată

4. Lecţii învăţate4. Lecţii învăţate

Există o tendinţă a creşterii gradului de sofisticare a cererii de evaluare. Pentru ca piaţa să răspundă corespunzător sunt necesare:– Un dialog mai activ între reprezentanţii cererii şi

ofertei– O mai bună adecvare a resurselor proiectelor la

solicitări (expertiza de specialitate, mai ales cea internaţională este costisitoare)

– Firmele din domeniu trebuie să depună eforturi mai susţinute pentru ridicarea nivelului de cunoştinţe în domeniu (aceasta fiind în strânsă legătură cu predictibilitatea pieţei)

Vă multumesc!Vă multumesc!

Simona Nănescu