Planul de evaluare pentru Programul Operațional...

DIRECŢIA GENERALĂ PROGRAME EUROPENE DIRECŢIA PENTRU DEZVOLTAREA CAPACITĂŢII ADMINISTRATIVE

Planul de evaluare pentru

Programul Operațional Capacitate

Administrativă 2014-2020

Versiune aprobată de membrii CM POCA în reuniunea din 26 noiembrie 2015

Planul de evaluare pentru Programul Operațional Capacitate Administrativă 2014-2020

2

Cuprins 1. Introducere. Context. Cerințele regulamentelor ........................................................................ 4

2. Obiectivele planului de evaluare ............................................................................................... 5

3. Prezentarea POCA. Acoperirea planului de evaluare. .............................................................. 5

3.1 Obiective tematice, logica de intervenție și coerența POCA ................................................ 5

3.2 Aspecte relevante în scopul evaluării POCA ........................................................................... 6

4. Abordare generală și strategia de evaluare a POCA ................................................................ 7

4.1 Abordarea generală la nivelul României cu privire la planificarea evaluărilor în perioada de

programare 2014-2020 .................................................................................................................. 7

4.2 Strategia de evaluare a POCA ............................................................................................. 8

4.3 Evaluarea aplicabilității metodelor contrafactuale la nivelul POCA .......................................... 9

5. Evaluări propuse ..................................................................................................................... 10

5.1 Teme de evaluare .................................................................................................................. 10

5.2 Bugetul prevăzut pentru planul de evaluare ....................................................................... 11

5.3 Calendar orientativ de evaluare (tabelul 3)......................................................................... 14

6. Funcția de evaluare și procesele implicate ............................................................................. 17

6.1 Funcția de evaluare, structuri și responsabilități .................................................................... 17

6.2. Aprobarea, modificarea și monitorizarea implementării planului de evaluare ................ 18

6.3. Coordonarea cu alte planuri de evaluare ....................................................................... 18

7. Capacitatea de evaluare. Instruire și dezvoltarea capacității .................................................. 19

7.1 Dezvoltarea capacității de evaluare ....................................................................................... 19

7.2 Programul de instruire ........................................................................................................... 20

8. Strategia de comunicare și urmărire a rezultatelor (follow-up)................................................ 22

9. Anexa 1. Detalii privind temele de evaluare............................................................................ 26


3

Acronime

ADI Asociația pentru Dezvoltare Intercomunitară (ADI ITI DD)

AM Autoritatea de management

ANAP Agenția Națională pentru Achiziții Publice

ANFP Agenția Națională a Funcționarilor Publici

FESI Fondurile Europene Structurale și de Investiții

MDRAP Ministerul Dezvoltării Regionale și Administrației Publice

MFE Ministerul Fondurilor Europene

MJ Ministerul Justiției

ONG Organizație non-guvernamentală

PE Plan de evaluare

PO Program operațional

POC Programul Operațional Competitivitate

POCA Programul Operațional Capacitate Administrativă

POCU Programul Operațional Capital Uman

RDC Regulamentul privind dispozițiile comune

SCAP Strategia pentru consolidarea administrației publice

SDSJ Strategia de dezvoltare a sistemului judiciar

SGG Secretariatul General al Guvernului

SMBR Strategia privind mai buna reglementare


4

1. Introducere. Context. Cerințele regulamentelor

Acest plan de evaluare a fost pregătit în cadrul evaluării ex ante a Programului Operațional

Capacitate Administrativă 2014-2020. În conformitate cu cerințele din Ghidul Comisiei pentru

realizarea planurilor de evaluare aferente perioadei de programare 2014-20201, evaluatorii au avut

ca sarcină să ofere orientări cu privire la principalele evaluări care urmează să fie efectuate, să

furnizeze un calendar al acestor evaluări, să precizeze metodele și datele necesare pentru

realizarea acestora, cât și activitățile de formare posibile, în măsura în care acestea vor fi

considerate necesare. Planul de evaluare a fost dezvoltat mai întâi sub coordonarea Ministerului

Fondurilor Europene2, însă o serie de adaptări și revizuiri au fost ulterior realizate de Unitatea de

programare, monitorizare și evaluare program din cadrul AM POCA.

Pentru perioada 2014-2020, Regulamentul privind dispozițiile comune (RDC) prevede că autoritățile

de management pregătesc un plan de evaluare pentru a gestiona în mod eficient activitățile de

evaluare aferente programelor operaționale finanțate din Fondurile Europene Structurale și de

Investiții.3

„Autoritatea de management sau statul membru elaborează un plan de evaluare care poate include

mai multe programe. Acesta se transmite în conformitate cu normele specifice fondurilor”.

(articolul 56 alineatul (1), RDC).

Rolul și cerințele planului de evaluare din noua perioadă de programare provin din noua abordare

stimulativă, care pune un accent mai mare pe rezultate și utilizarea evaluărilor, astfel încât să se

asigure luarea unor decizii fundamentate pentru gestionarea programelor și elaborarea politicilor.

Trecerea de la o abordare axată pe implementare în perioada 2007-2013 spre una bazată pe

rezultate în noua perioadă de programare și interesul pentru stabilirea contribuției intervențiilor la

rezultatele obținute, necesită evaluări bine planificate, ușor de adaptat în funcție de nevoile

tematice și care dispun de un calendar și resurse adecvate.

Articolul 54 din Regulamentul privind dispozițiile comune oferă cadrul general în baza căruia se vor

desfășura evaluările pentru perioada de programare 2014-2020. Astfel, misiunea evaluării este

compusă din două obiective:

• să îmbunătățească calitatea elaborării și implementării programelor, precum și

• să analizeze eficacitatea, eficiența și impactul acestora.

În timp ce evaluarea ex ante este legată în principal de primul obiectiv (articolul 55, alineatul 1),

evaluările din timpul perioadei de programare și evaluările ex-post se referă în cea mai mare parte

la cel de-al doilea obiectiv (articolele 56 alineatul (3) și 57 alineatul (1) din Regulament).

Trebuie avut în vedere și faptul că statele membre sunt responsabile cu evaluările ex ante și

evaluările din timpul perioadei de programare, în timp ce evaluările ex post sunt efectuate de

Comisie sau de statele membre în strânsă cooperare cu Comisia.

În plus față de cerințele din Regulamentul privind dispozițiile comune, Ghidul Comisiei privind

planurile de evaluare, care oferă mai multe informații cu privire la rolul acestui document și

elementele sale principale. În special, clarifică faptul că:

„În perioadele de programare anterioare, evaluările au avut tendința de a se concentra mai mult pe

aspectele legate de implementare decât pe evaluarea impactului. Pentru perioada 2014-2020, RDC

cere autorităților de management să efectueze evaluări care să măsoare efectele programelor

finanțate din FESI. Acesta este un element esențial al noii politici axate pe rezultate, conform

articolului 56 alineatul (3) din RDC. Prin urmare, planurile de evaluare sunt documente strategice

1 Ghidul Comisiei pentru realizarea planurilor de evaluare aferente perioadei de programare 2014-2020, DG

REGIO-DG EMPL (februarie 2015), p. 5. 2

Proiect cofinanțat prin FEDR din PO AT 2007-2013 (implementat de către consorțiul format din Ecorys și Lideea). 3

Regulamentul (UE) nr. 1303/2013 al Parlamentului European și al Consiliului din 17 decembrie 2013 de stabilire a unor dispoziții comune privind fondurile ESI, denumit în continuare RDC (Regulamentul privind dispozițiile comune).


5

care stabilesc modul în care aceste evaluări vor fi organizate în scopul de a furniza date concrete

privind efectele politicilor publice”.

Articolele 54, 56 alineatul (3) și 57 alineatul (1) din Regulamentul privind dispozițiile comune oferă

informații suplimentare cu privire la modul în care trebuie evaluat impactul programelor. Acestea

arată următoarele:

Impactul programelor se evaluează în ceea ce privește:

• Obiectivele prevăzute în strategia Uniunii pentru o creștere inteligentă, durabilă și

favorabilă incluziunii, acordând atenție misiunii Fondurilor

• Produsul intern brut (PIB) și șomajul din zona vizată de programul în cauză, ținând

seama de dimensiunea programului

• Obiectivele fiecărei priorități.

2. Obiectivele planului de evaluare

Planul de evaluare este conceput ca un instrument eficient de management prin care funcția de

evaluare răspunde nevoilor părților interesate de a lua decizii fundamentate în ceea ce privește

intervențiile programului, cât și referitor la alte intervenții și politici legate de programul respectiv.

Obiectivele planului de evaluare sunt următoarele:

- să informeze părțile interesate/actorii relevanți cu privire la modul de implementare și

rezultatele programului, nivelul de performanță din domeniul capacității instituționale, cât

și în ceea ce privește eficiența administrației publice;

- să se asigure că diferitele părți interesate ale programului au o înțelegere comună asupra

rolului alocat evaluării în implementarea programului;

- să se asigure că sunt prevăzute resursele necesare pentru realizarea diferitelor evaluări;

- să dezvolte capacitatea în rândul diferitelor părți interesate, promovând o cultură de

evaluare mai solidă.

În vederea atingerii acestor obiective, elaborarea și implementarea planului de evaluare ar trebui să

asigure următoarele:

- Evaluările furnizează rezultatele așteptate la timp și sunt disponibile într-o formă accesibilă

pentru toate părțile interesate;

- Evaluările facilitează urmărirea rezultatelor (concluziile și recomandările acestora) pentru

implementarea programului și deciziile legate de politici;

- Evaluările sprijină raportarea către Comisia Europeană cu date pentru rapoartele anuale și

rapoartele privind progresele înregistrate, precum și pentru sinteza evaluărilor;

- Resurse și capacități adecvate sunt disponibile pentru funcția de evaluare.

3. Prezentarea POCA. Acoperirea planului de evaluare.

3.1 Obiective tematice, logica de intervenție și coerența POCA

Planul de evaluare acoperă Programul Operațional Capacitate Administrativă 2014-2020, care este

finanțat din Fondurile Europene Structurale și de Investiții, și anume din Fondul social european

(FSE). Nu există nicio intenție de a include evaluări ale intervențiilor din alte perioade de

programare sau alte programe operaționale.

POCA 2014-2020 abordează exclusiv obiectivul tematic (OT) 11 „Consolidarea capacității

instituționale a autorităților publice și a părților interesate și o administrație publică eficientă”, astfel


6

cum figurează la articolul 9 din RDC și în conformitate cu Acordul de parteneriat 2014-2020.

Obiectivele generale ale acestui obiectiv tematic sunt „consolidarea capacității instituționale și

administrative la toate nivelurile și în toate domeniile și promovarea principiilor bunei guvernanțe”.

Programul operațional este compus din trei axe prioritare, dintre care două sunt operaționale ( a.

consolidarea structurilor, proceselor și a competențelor administrației publice, precum și b.

îmbunătățirea furnizării de servicii pentru cetățeni), iar cea de-a treia reprezintă asistența tehnică

dedicată programului.

3.2 Aspecte relevante în scopul evaluării POCA

Bugetul POCA

Titlul axei prioritare Alocarea FSE (în EUR) Cota din

alocarea

totală

Axa prioritară 1 „Administrație publică și sistem judiciar

eficiente”

326.382.979 59 %

Axa prioritară 2 „Administrație publică și sistem judiciar

accesibile și transparente”

187.697.657 33,93 %

Axa prioritară 3 „Asistență tehnică” 39.110.853 7,07 %

Total POCA 553.191.489 100 %

Bugetul alocat evaluării

Bugetul POCA dedicat evaluării este inclus în obiectivul specific (OS 3.1) „Consolidarea capacității

administrative a AM pentru implementarea eficientă a POCA”, având prevăzută suma de

3.911.085,00 euro.

Logica de intervenție și coerența internă

Fără a avea intenția de a efectua o analiză a logicii de intervenție și coerenței interne a

programului, vom sublinia aspectele care sunt relevante pentru elaborarea temelor de evaluare.

Conform „Evaluării ex ante a POCA 2014-2020”, programul se remarcă printr-o solidă coerență

internă și complementaritate între obiectivele sale specifice, ceea ce permite crearea următoarelor

legături:

o OS 1.1 abordează o parte dintre nevoile principale identificate în sistemul administrației

publice, cum ar fi: nevoia de a îmbunătăți procesul de luare a deciziilor în vederea unei

mai bune guvernanțe (sprijinind astfel Strategia pentru consolidarea administrației

publice), precum și nevoia de reducere a poverii administrative (contribuind la Strategia

privind mai buna reglementare);

o OS 1.3 și OS 2.3 abordează în mod comun sistemul judiciar și contribuie la Strategia de

dezvoltare a sistemului judiciar pentru perioada 2015-2020; în esență, OS 1.3 va sprijini

acțiunile menite să creeze un sistem de management integrat pentru luarea deciziilor

cheie în sectorul judiciar, precum și pentru a consolida și a crește performanța și

capacitatea instituțională; al doilea obiectiv specific (2.3) va avea în vedere îmbunătățirea

calității serviciilor furnizate de către sistemul judiciar, precum și acțiuni menite să

sporească transparența și integritatea sistemului judiciar;

o OS 2.1 abordează nevoile administrației publice locale în ceea ce privește îmbunătățirea

capacității și calității serviciilor furnizate, în strânsă legătură cu sistemele și capacitățile

elaborate la nivel central, prin intermediul OS 1.1 și OS 1.2;

o OS 2.1 este relativ extins ca urmare a faptului că acesta se adresează întregii administrații

publice locale, cât și serviciilor din mai multe sectoare, cu excepția sistemului judiciar care

este abordat prin OS 2.3.


7

Coerența externă

La nivel sectorial, există patru documente strategice relevante, POCA urmând să contribuie la

realizarea obiectivelor acestora:

Strategia pentru consolidarea administrației publice (2014-2020)

Strategia de dezvoltare a sistemului judiciar (2015-2020)

Strategia privind mai buna reglementare (2014-2020)

Strategia Națională privind Agenda Digitală pentru România (2014–2020)

De asemenea, mai există două strategii suplimentare care nu se înscriu în orizontul temporal al

POCA: Strategia Națională Anticorupție (2012-2015) și Strategia de întărire a integrității în justiție

(2011-2016).

Coerența POCA cu celelalte programe operaționale și instrumente finanțate din fondurile

ESI sau din alte surse publice

În materie de complementaritate, în etapa de planificare a evaluărilor vor fi avute în vedere

următoarele programe operaționale:

Programul Operațional Competitivitate

Programului Operațional Capital Uman

Programul Operațional Asistență Tehnică

Strategia pentru Delta Dunării sprijinită prin instrumentul de Investiții Teritoriale Integrate

Strategia pentru regiunea Dunării

Mecanismul Financiar Norvegian

Programul de Cooperare Elvețiano-Român

4. Abordare generală și strategia de evaluare a POCA

4.1 Abordarea generală la nivelul României cu privire la planificarea evaluărilor în

perioada de programare 2014-2020

În ceea ce privește evaluarea la nivelul programului operațional, în conformitate cu Regulamentul

nr. 1303/2013, fiecare prioritate (Axă prioritară) va fi evaluată cel puțin o dată pe parcursul

perioadei de implementare a programului, pentru a analiza contribuțiile fondurilor la obiectivele

specifice. Patru dimensiuni trebuie să fie avute în vedere în cazul tuturor evaluărilor:

Spațială

Sectorială

La nivelul grupurilor țintă

La nivelul instituțional

În această privință, planurile de evaluare vor trebui să precizeze grupurile țintă, zonele și sectoarele

aferente intervențiilor în cauză, precum și domeniul de politică instituțională în care intervenția este

implementată. Aceste patru dimensiuni trebuie să fie incluse în toate etapele evaluării: planificare,

implementare, precum și diseminare a rezultatelor evaluării.

Metode

I. Evaluările de impact contrafactuale ar putea fi utilizate pentru a răspunde la întrebări legate

de efectele nete asupra grupurilor țintă. Cu toate acestea, după cum se arată mai departe,

metoda contrafactuală ar putea să se dovedească insuficientă sau ineficace pentru a măsura


8

efectele asupra diferitelor sectoare. În acest caz, evaluatorii trebuie să utilizeze alte metode de

evaluare, bazate pe teoria și practica evaluării. Cu toate acestea, în cazul intervențiilor de tip

FSE, efectele nete asupra grupurilor țintă ar putea fi măsurate utilizând metode contrafactuale,

alături de sondaje asupra rezultatelor pe termen lung.

II. Evaluarea de impact bazată pe teorie, care a fost deja utilizată pentru a evalua intervențiile

din PO DCA 2007-20134, urmărește fiecare etapă a logicii de intervenție și identifică legăturile

cauzale și mecanismele schimbării, realizând estimări calitative asupra impacturilor

programului. Acest tip de evaluare va utiliza metode precum analiza literaturii de

specialitate, analiza documentară, interviurile, sondajele, focus-grupurile și studiile de

caz.

Așa cum se menționează în Ghidul Comisiei pentru realizarea planurilor de evaluare,

„evaluarea bazată pe teorie se va concentra asupra rezultatelor intervențiilor și va analiza

mecanismele care au condus la îndeplinirea acestora, urmând a completa această analiză cu

alte metode prin care să examineze și alți factori sau ipoteze alternative, înainte de a trage

concluzii cu privire la impactul programului asupra rezultatelor atinse”5.

Prin urmare, cele mai frecvente întrebări de evaluare din cadrul evaluărilor de program ar

putea fi următoarele:

1. Care este progresul actual înregistrat de la adoptarea intervenției la nivelul instituțiilor

și grupurilor țintă în raport cu obiectivele specifice? (eficacitatea intervenției);

2. În ce măsură sunt justificate costurile implicate, având în vedere schimbările/ efectele

care au fost înregistrate? (eficiența intervenției);

3. Ce factori au influențat eficiența cu care au fost atinse rezultatele? (eficiența

intervenției);

4. În ce măsură progresele înregistrate se datorează intervenției? (impactului

intervenției);

5. Există efecte neintenționate, pozitive sau negative?;

6. În ce măsură efectele intervențiilor sunt sustenabile pe o perioadă mai lungă de timp?

(sustenabilitate);

7. Ce mecanisme au facilitat / au constituit un obstacol pentru schimbările avute în

vedere de intervenții sau de efectele intervențiilor?

8. În ce măsură lucrurile ar fi putut fi realizate mai bine? (recomandări pentru

îmbunătățiri de program viitoare).

4.2 Strategia de evaluare a POCA

Analizând abordarea generală privind evaluarea în perioada de programare 2014-2020, strategia

propusă pentru POCA va fi aceea de a măsura pentru fiecare obiectiv specific:

Efectele intervențiilor;

Eficiența intervențiilor, luând în considerare relația dintre resursele utilizate de intervenții

și modificările generate de acestea (pozitive sau negative);

Gradul în care toate rezultatele propuse au fost realizate (măsurarea nivelului de realizare

a rezultatelor);

Contribuția programului/impactul net, efectele neintenționate și de tip spill-over,

sustenabilitatea și alți factori sau mecanisme cu influență asupra impacturilor.

4 „Evaluarea performanțelor în managementul și implementarea PO DCA” (2015, finanțată de PO DCA prin DMI 3.1, axa prioritară de AT) 5 Ghidul Comisiei pentru realizarea planurilor de evaluare aferente perioadei de programare 2014-2020, DG REGIO-DG EMPL (februarie 2015), p. 9


9

În acest sens, trebuie menționat faptul că mai multe teme de evaluare sunt construite în jurul

obiectivelor specifice ale programului, cum ar fi:

a. Realizarea unei evaluări axate pe întregul sistem judiciar, în măsură să acopere atât

OS 1.3, cât și OS 2.3, întrucât reprezintă un domeniu de intervenție cu nevoi specifice

și este inclus în structura de ansamblu a programului operațional; de asemenea,

acest domeniu are o contribuție majoră la Strategia națională sectorială;

b. Având în vedere dimensiunea OS 1.1 și faptul că acesta abordează câteva dintre

principalele deficiențe identificate în programul operațional, următoarele evaluări

tematice ar putea fi prevăzute:

o O evaluare a măsurilor întreprinse pentru abordarea unitară a planificării

strategice și bugetării pe programe (evaluarea procedurilor și mecanismelor

implementate în acest sens);

o O evaluare a sistemelor de management al calității și al performanței

(evaluare a modului de implementare a acestor mecanisme și analiză a

impactului acestora);

o O evaluare a măsurilor luate pentru îmbunătățirea întregului cadru

legislativ, reprezentând toate instrumentele și mecanismele utilizate în acest

sens: procesele de consultare, reglementările, politicile publice, procedurile

instituționale, reducerea birocrației și a poverii administrative pentru cetățeni și

mediul de afaceri (evaluarea tuturor măsurilor luate pentru a aduce o schimbare

în acest domeniu);

o O evaluare a sprijinului acordat pentru susținerea ONG-urilor și a

partenerilor sociali (evaluarea mecanismelor, instrumentelor și acțiunilor menite

să îmbunătățească monitorizarea și evaluarea ulterioară a politicilor publice,

precum și inițiativele de reformă, sesiunile de formare pentru a dezvolta

capacitățile acestor instituții, networking-ul etc.).

c. Celelalte obiective specifice ar putea fi evaluate în mod individual, întrucât există un

accent clar asupra schimbărilor urmărite prin intermediul programului operațional.

Notă importantă 1: întrebări de evaluare suplimentare vor fi adăugate atunci când se

intenționează ca un aspect specific al intervenției să fie asimilat și utilizat pentru îmbunătățirea

implementării și a eficacității intervenției.

Notă importantă 2: proiectele non-competitive aferente OS 1.1 vor fi analizate distinct în cadrul

fiecărei evaluări tematice, având în vedere alocarea bugetară, domeniul de aplicare și importanța

acestora în implementarea SCAP și POCA.

4.3 Evaluarea aplicabilității metodelor contrafactuale la nivelul POCA

Capacitatea de utilizare (suitability)

Dat fiind faptul că intervențiile POCA sunt esențiale în procesul de reformă, există o nevoie

constantă de a furniza dovezi cu privire la eficacitatea acestor măsuri. Prin urmare, metodele

contrafactuale ar putea fi utile pentru evaluarea impactului POCA.

Fezabilitate

Atunci când se aplică metode contrafactuale, trebuie avută în vedere și fezabilitatea acestora, care

este legată de tipul de intervenții, identificarea grupurilor țintă și a grupurilor de control, precum și

de disponibilitatea datelor.

Experiența acumulată în ceea ce privește evaluările de impact la nivelul FSE indică faptul că

această metodă este utilizată, în principal, pentru acțiuni de formare și de ocupare a forței de

muncă. O analiză retrospectivă rapidă a evaluărilor efectuate în perioada 2007-2013 nu a identificat

utilizarea de metode contrafactuale pentru intervențiile din zona administrației publice.


10

Multe dintre aceste intervenții sunt concepute ca intervenții unice, care nu pot fi multiplicate. Cele

identificate cu un nivel rezonabil de replicare sunt: 2.1, 2.2 și 2.3, precum și unele acțiuni vizând

activitățile de formare din cadrul obiectivelor specifice aferente axei prioritare 1.

Analiza intervențiilor POCA de mai sus relevă un nivel redus de omogenitate atât pentru

intervențiile menționate, cât și pentru grupurile țintă aferente acestora, întrucât fiecare

obiectiv specific cuprinde mai multe tipuri de beneficiari și acțiuni.

În stadiul actual, considerăm că analiza contrafactuală este adecvată din perspectiva răspunsurilor

pe care le-ar putea oferi în ceea ce privește efectele nete ale programului, ca urmare a proceselor

de reformă.

Evaluabilitate

Un exercițiu de evaluabilitate este posibil să fie lansat înainte de a decide asupra posibilității

efectuării unei evaluări contrafactuale de impact. Această analiză ar putea fi efectuată atât intern

cât și extern, cu finanțare din alocarea prevăzută pentru evaluările ad-hoc. Prin urmare, în

această etapă, planul de evaluare nu va include o evaluare a impactului prin metodele

contrafactuale.

5. Evaluări propuse

5.1 Teme de evaluare

În conformitate cu abordarea descrisă în strategia de evaluare menționată mai sus, au fost stabilite

nouă teme de evaluare. În plus, va fi elaborat și un raport de sinteză a evaluărilor, care să

acopere toate temele stabilite.

Toate evaluările suplimentare vor fi considerate de către autoritatea de management ca evaluări

ad-hoc, urmând ca acestea să acopere teme specifice care apar în implementarea programului.

Anexa 1 a PE oferă mai multe detalii în ceea ce privește:

Principalele întrebări de evaluare,

Actorii relevanți /părțile interesate care vor face parte din comitetele de coordonare a evaluării,

Sursele de date posibile,

Metodele de evaluare posibile,

Descrierea datelor suplimentare necesare.

Calendarul aferent studiilor de evaluare a fost stabilit plecând de la premisa că POCA va lansa

primele cereri de proiecte la jumătatea anului 2015. Cu toate acestea, pe durata implementării

programului pot să apară o serie de obstacole, provocări și circumstanțe care pot afecta rezultatele

la nivel de proiect și implicit de program, ceea ce ar putea să determine realizarea de evaluări

suplimentare. Aceste evaluări pot fi organizate și desfășurate în funcție de necesități, în mod

continuu. Prin urmare, lista evaluărilor rămâne deschisă.

Tabelul 1. Teme de evaluare pentru POCA 2014-2020

Nr. Teme de evaluare

1 Evaluarea măsurilor întreprinse pentru abordarea unitară a planificării strategice

și bugetării pe programe (evaluarea procedurilor și mecanismelor implementate în

acest sens) – OS 1.1

2 Evaluarea sistemelor de management al calității și performanței (evaluare a

modului de implementare a acestor mecanisme și analiză a impactului acestora) –OS

1.1

3 Evaluarea măsurilor luate pentru îmbunătățirea cadrului legislativ (evaluarea


11

Nr. Teme de evaluare

tuturor măsurilor luate pentru a aduce o schimbare în acest domeniu) –OS 1.1

4 Evaluarea sprijinului acordat pentru susținerea ONG-urilor și a partenerilor sociali

(evaluarea mecanismelor, instrumentelor și acțiunilor menite să îmbunătățească

monitorizarea și evaluarea ulterioară a politicilor publice, precum și inițiativele de

reformă, sesiunile de formare pentru a dezvolta capacitățile acestor instituții,

networking-ul etc.) –OS 1.1

5 Evaluarea măsurilor întreprinse pentru reforma managementului resurselor

umane - OS 1.2

6 Evaluarea măsurilor întreprinse pentru îmbunătățirea calității sistemului judiciar -

OS 1.3 și OS 2.3

7 Evaluarea măsurilor întreprinse pentru îmbunătățirea sistemului de achiziții

publice - OS 1.4

8 Evaluarea măsurilor care vizează optimizarea proceselor la nivelul administrației

publice locale -OS 2.1

9 Evaluarea măsurilor întreprinse pentru creșterea transparenței, eticii și integrității

în cadrul autorităților și instituțiilor publice - OS 2.2

10 Sinteza evaluărilor

5.2 Bugetul prevăzut pentru planul de evaluare

Estimarea bugetului de evaluare a fost realizată plecând de la o serie de premise, având în vedere

atât experiența din perioada de programare anterioară, cât și cerințele actuale ale planului:

Fiecare evaluare va avea ca rezultat final un raport de evaluare (sumarele executive

sau/și rapoartele de activitate nu sunt incluse aici) și va aborda mai multe teme în cadrul

aceluiași exercițiu. Majoritatea temelor propuse vor fi supuse evaluării cel puțin de două

ori în cursul perioadei de programare 2014-2020, o a treia evaluare fiind prevăzută pentru

anul 2023.

Onorariul mediu pentru evaluatori externi este de 550 de euro (reprezentând media

tuturor valorilor estimate pentru evaluările PO DCA);

Estimarea volumului de activități (numărul de zile de lucru) se bazează în mare parte pe

complexitatea temelor, pe amploarea intervenției (numărul de beneficiari, distribuția

acestora, gradul de reprezentare a părților interesate), cât și pe legăturile existente cu

celelalte măsuri aferente POCA sau cu strategiile externe acestuia.

Notă importantă: bugetul de evaluare cuprinde doar temele de evaluare prestabilite, fără a oferi

alte detalii. Fiecare evaluare care urmează a fi efectuată va include probabil și alte activități

relevante în domeniu, ceea ce ar putea conduce la o suplimentare a bugetului general de evaluare.

Estimarea bugetului pentru fiecare temă de evaluare este prezentată în tabelul de mai jos.


12

Tabelul 2. Buget orientativ de evaluare

Nr. Teme de evaluare Valoarea

totală

estimată

Explicație

(euro)

Numărul

de

rapoarte

de

evaluare

Nr. estimat de

zile

lucrătoare/fiecare

temă

Tarif

mediu

(euro/zi

lucrătoare)

1

Evaluarea măsurilor întreprinse

pentru abordarea unitară a

planificării strategice și bugetării

pe programe (evaluarea procedurilor

și mecanismelor implementate în

acest sens) – OS 1.1

132.000 3 80 550

2

Evaluarea sistemelor de

management al calității și

performanței (evaluarea modului de

implementare a acestor mecanisme și

analiză a impactului acestora) –OS

1.1

132.000 3 80 550

3 Evaluarea măsurilor luate pentru

îmbunătățirea cadrului legislativ

(evaluarea tuturor măsurilor luate

pentru a aduce o schimbare în acest

domeniu) –OS 1.1

132.000 3 80 550

4 Evaluarea sprijinului acordat

pentru susținerea ONG-urilor și a

partenerilor sociali (evaluarea

mecanismelor, instrumentelor și

acțiunilor menite să îmbunătățească

monitorizarea și evaluarea ulterioară a

politicilor publice, precum și inițiativele

de reformă, sesiunile de formare

pentru a dezvolta capacitățile acestor

instituții, networking-ul etc.) –OS 1.1

132.000 3 80 550

5 Evaluarea măsurilor întreprinse

pentru reforma managementului

resurselor umane - OS 1.2

132.000 3 80 550


pentru îmbunătățirea calității

sistemului judiciar - OS 1.3 și OS

2.3

165.000 3 100 550


pentru îmbunătățirea sistemului de

achiziții publice - OS 1.4

132.000 3 80 550

8 Evaluarea măsurilor care vizează

optimizarea proceselor la nivelul

administrației publice locale -OS

2.1

132.000 3 80 550


13

Nr. Teme de evaluare Valoarea

totală

estimată

Explicație


pentru creșterea transparenței,

eticii și integrității în cadrul

autorităților și instituțiilor publice -

OS 2.2

132.000 3 80 550

10 Sinteza evaluărilor 110.000 2 100 550

11 Alocarea prevăzută pentru evaluările

ad-hoc 250.000 Estimare globală

Total 1.581.000

Evaluările ad-hoc ar putea aborda teme care sunt considerate la momentul actual ca potențiale

provocări la adresa implementării POCA:

- Progrese nesatisfăcătoare sau o slabă performanță la nivelul anumitor obiective specifice,

în măsură să declanșeze o cercetare asupra mecanismelor sau activităților de promovare

avute în vedere sau desfășurate pentru anumite cereri de proiecte sau

- Măsurarea indicatorilor pentru anumite sectoare sau domenii relevante pentru a determina

contribuția acestora la obiectivele programului.

Notă:

Alte evaluări ad-hoc vor putea fi identificate pe durata implementării POCA, având în vedere că

bugetul global de evaluare prevăzut pentru POCA asigură suficientă flexibilitate în acest sens.



14

5.3 Calendar orientativ de evaluare (tabelul 3)

Număr Teme de evaluare Disponibilitatea rapoartelor de evaluare

2016 2017 2018 2019 2020 2021 2022 2023

Sem. 1 Sem. 2 Sem.

1

Sem. 2 Sem.

1

Sem.

2

Sem.

1

Sem.

2

Sem.

1

Sem.

2

Sem.

1

Sem.

2

Sem.

1

Sem.

2

Sem.

1

Sem.

2

1

Evaluarea măsurilor

întreprinse pentru

abordarea unitară a

planificării strategice și

bugetării pe programe

(evaluarea procedurilor și

mecanismelor

implementate în acest

sens) – OS 1.1

2

Evaluarea sistemelor

de management al

calității și performanței

(evaluarea modului de

implementare a acestor

mecanisme și analiză a

impactului acestora) –OS

1.1

3


luate pentru

îmbunătățirea cadrului

legislativ (evaluarea


15


2016 2017 2018 2019 2020 2021 2022 2023

Sem. 1 Sem. 2 Sem.

1

Sem. 2 Sem.

1

Sem.

2

Sem.

1

Sem.

2

Sem.

1

Sem.

2

Sem.

1

Sem.

2

Sem.

1

Sem.

2

Sem.

1

Sem.

2

tuturor măsurilor luate

pentru a aduce o

schimbare în acest

domeniu) –OS 1.1

4

Evaluarea sprijinului

acordat pentru

susținerea ONG-urilor

și a partenerilor sociali

(evaluarea

mecanismelor,

instrumentelor și

acțiunilor menite să

îmbunătățească

monitorizarea și

evaluarea ulterioară a

politicilor publice, precum

și inițiativele de reformă,

sesiunile de formare

pentru a dezvolta

capacitățile acestor

instituții, networking-ul

etc.) –OS 1.1

5


întreprinse pentru

reforma

managementului

resurselor umane - OS

1.2

6 Evaluarea măsurilor


16


2016 2017 2018 2019 2020 2021 2022 2023

Sem. 1 Sem. 2 Sem.

1

Sem. 2 Sem.

1

Sem.

2

Sem.

1

Sem.

2

Sem.

1

Sem.

2

Sem.

1

Sem.

2

Sem.

1

Sem.

2

Sem.

1

Sem.

2

întreprinse pentru

îmbunătățirea calității

sistemului judiciar - OS

1.3 și OS 2.3

7


întreprinse pentru

îmbunătățirea

sistemului de achiziții

publice - OS 1.4

8


care vizează

optimizarea proceselor

la nivelul administrației

publice locale -OS 2.1

9


întreprinse pentru

creșterea

transparenței, eticii și

integrității în cadrul

autorităților și

instituțiilor publice - OS

2.2

10 Sinteza evaluărilor



17

6. Funcția de evaluare și procesele implicate

6.1 Funcția de evaluare, structuri și responsabilități

Proprietarul evaluărilor care urmează a fi realizate prin acest plan de evaluare este Autoritatea de

management pentru POCA, aceasta având responsabilitatea de a oferi o privire de ansamblu

asupra implementării programului, de a raporta progresele înregistrate în Comitetul de

monitorizare, cât și de a dezvolta și implementa acțiuni de management corective pentru atingerea

rezultatelor și impacturilor planificate.

Autoritatea de management este responsabilă pentru elaborarea și punerea în aplicare a planului

de evaluare și informează atât Comitetul de monitorizare, cât și Comisia Europeană cu privire la

rezultatele evaluărilor (articolul 54 din Regulamentul privind dispozițiile comune).

Funcția de evaluare a POCA implică două structuri:

a) Unitatea de programare, monitorizare și evaluare program (UPME) din cadrul AM:

Personalul din cadrul UPME este format din 2 experți/specialiști în evaluarea de program, având

cunoștințe de specialitate în elaborarea termenilor de referință/caietelor de sarcini pentru evaluări și

experiență practică în gestionarea curentă a activităților de evaluare (implementarea contractelor

de evaluare, supervizarea activității evaluatorilor, analiza metodelor de evaluare și modul de

aplicare a acestora, etc.); de asemenea, ambii experți au fost implicați în funcția de evaluare și în

perioada de programare 2007-2013.

b) Comitetul de coordonare pentru evaluare (CCE):

Comitetul de coordonare pentru evaluare este compus, de regulă, din principalii actori din cadrul

AM, cum ar fi directorul Autorității de management, având și rolul de președinte al Comitetului,

precum și din șefii principalelor servicii și/sau compartimente (Serviciul evaluare, contractare și

asistență implementare proiecte și Serviciul Verificare și Autorizare Plăți); totodată, comitetul mai

este alcătuit și din alți reprezentanți ai UPME, precum și din membri ai Serviciului de asistență

tehnică program.

Scopul principal al Comitetului de coordonare este acela de a furniza o analiză internă atât în

ceea ce privește elaborarea termenilor de referință pentru evaluările care urmează a fi realizate (în

funcție de nevoile existente sau de blocajele înregistrate în implementare), cât și referitor la

calitatea cercetării/rapoartelor puse la dispoziție de către evaluatori. Membrii comitetului de

coordonare vor fi, de asemenea, implicați în monitorizarea recomandărilor evaluării.

Comitetul de coordonare pentru evaluare poate, de asemenea, să implice și alți actori relevanți/

părți interesate în procesul de evaluare, a căror sarcină principală ar putea fi aceea de a evalua

actualitatea și oportunitatea temelor de evaluare și, totodată, de a furniza informații asupra temelor

sensibile care ar trebui supuse evaluării. Părțile interesate vor fi instituțiile publice, atât de la nivel

central, cât și local, ONG-urile și partenerii sociali interesați de rezultatele evaluării sau având un rol

esențial pentru realizarea evaluărilor planificate, cum ar fi acela de furnizori de date. Părțile

interesate care vor fi cooptate în Comitetul de coordonare pentru evaluare ar putea fi selectate

dintre membrii instituționali ai Comitetului de monitorizare POCA.

Prin urmare, Comitetul de coordonare va fi instituit în mod permanent pentru actorii din

cadrul Autorității de management, având însă o componență diferită în ceea ce privește

părțile interesate, acestea urmând a fi implicate în funcție de relevanța instituțională a

subiectelor de evaluare abordate.

Membrii CCE ar trebui să aibă următoarele atribuții:

Să verifice dacă evaluarea răspunde nevoilor de informare ale acestora (prin revizuirea

caietelor de sarcini propuse de către UPME, cât și a rapoartelor de evaluare inițiale, de

activitate și finale, întocmite de consultanții externi);


18

Să furnizeze informațiile necesare pentru realizarea evaluării;

Să participe la discutarea rezultatelor evaluării;

Să-și exprime punctul de vedere referitor la claritatea rapoartelor (de evaluare);

Să-și exprime opinia în legătură cu utilitatea recomandărilor de evaluare.

POCA conține o serie amplă de intervenții care vor necesita o gamă variată de competențe, atât în

ceea ce privește elaborarea, cât și gestionarea evaluărilor cu rigoarea tehnică corespunzătoare.

Aceasta include aspecte cum ar fi calitatea metodologiei, a datelor utilizate, precum și caracterul

adecvat al concluziilor și recomandărilor furnizate pentru un domeniu specific al reformei sectoriale.

6.2. Aprobarea, modificarea și monitorizarea implementării planului de evaluare

Planul de evaluare este aprobat de către Comitetul de monitorizare pentru POCA, în termen de cel

mult un an de la adoptarea POCA.

Membrii CM POCA analizează planul de evaluare, îl modifică dacă este necesar și apoi îl aprobă.

Planul de evaluare este transmis Comisiei Europene prin SFC 2014 și publicat pe site-ul AM

POCA.

Monitorizarea și revizuirea planului de evaluare

Responsabilii UPME raportează de două ori pe an membrilor CM POCA stadiul implementării

planului de evaluare. Planul de evaluare poate fi modificat ca rezultat și în conformitate cu

propunerile de modificare prezentate în cadrul reuniunilor CM POCA.

Planul de evaluare modificat în conformitate cu acordul rezultat în urma reuniunilor comitetului de

monitorizare este aprobat de către acest organism în conformitate cu regulamentul său de

funcționare.

În cazul în care este necesar, un grup de lucru pentru evaluare ar putea fi instituit pentru a

sprijini CM în acest domeniu pe durata implementării planului de evaluare. Acest grup de lucru ar

putea să formuleze propuneri de modificare a planului de evaluare, cât și să consilieze membrii CM

în ceea ce privește deciziile care urmează să fie luate în acest sens.

6.3. Coordonarea cu alte planuri de evaluare

Coordonarea, complementaritatea și sinergia cu alte programe și activitățile lor de evaluare,

inclusiv planurile de evaluare sunt asigurate prin lucrările Grupului de lucru funcțional pentru

evaluarea performanței (GLFEP).

Sarcinile principale ale GLFEP sunt de a armoniza abordările, de a îndruma și dezvolta

capacitatea, inclusiv coordonarea rețelelor în următoarele domenii:

Cadrul de performanță

Evaluare

Raportare

Statistici și indicatori

Management Financiar și previziuni

Sarcinile de coordonare se realizează prin (i) participarea la GLFEP a MFE și experți ai AM,

precum și reprezentanții altor AM relevante și organizații responsabile pentru politicile naționale,

inclusiv a partenerilor socio-economici în cadrul reuniunilor GL, precum și prin (ii) raportarea cu

regularitate la către Subcomitetele tematice de coordonare (STC) constituite pentru a coordona

implementarea Acordului de parteneriat.


19

7. Capacitatea de evaluare. Instruire și dezvoltarea capacității

7.1 Dezvoltarea capacității de evaluare

Conform Art 56(2) din cadrul Regulamentului de stabilire a dispozițiilor comune (RDC), statele

membre sunt obligate să asigure o capacitate adecvată pentru realizarea evaluărilor. Potrivit

metodologiei manualului EVALSED al Comisiei Europene, dezvoltarea capacității de evaluare are

loc la mai multe niveluri, incluzând nivelul: individual (dezvoltarea competențelor și abilităților

necesare), organizațional (proiectarea structurilor organizatorice adecvate și gestionarea acestora),

inter-organizațional / instituțional (consolidarea relațiilor dintre instituțiile publice și private, rețelele

de colaborare, procedurile, parteneriatele) și social în general (creșterea gradului de conștientizare

a societății în ceea ce privește evaluarea)6.

Aspectele multiple ale dezvoltării capacității de evaluare oferă o gamă variată de activități posibile a

fi întreprinse pentru dezvoltarea sa, cum ar fi training-ul care vizează dezvoltarea cunoștințelor cu

privire la metodologia de evaluare. Există o nevoie constantă de a îmbunătăți cunoștințele în

evaluarea programului, astfel încât să se dezvolte competențe în acest domeniu - mai ales analiza

cantitativă și calitativă a datelor și / sau tehnicile de studiu, folosind metode contrafactuale.

Liniile directoare ale CE5 sprijină acțiunile pentru creșterea cererii de studii de evaluare. De

asemenea, există o nevoie de răspândire a practicilor de evaluare în întreaga țară (de exemplu: la

nivelul altor instituții din țară, precum și în ceea ce privește politicile publice care nu sunt finanțate

de către UE).

Având în vedere liniile directoare menționate mai sus, activitățile din cadrul POCA 2014-2020 ar

putea fi îndreptate spre cinci obiective:

1) Furnizarea de personal adecvat și soluții organizaționale pentru implementarea cu

succes a proceselor de evaluare

inițiative care vizează extinderea cunoștințelor și competențelor angajaților

implicați în procesul de evaluare – programe de formare, ateliere de lucru,

conferințe și alte angajamente care cresc îndeplinirea efectivă a obligațiilor care revin

echipei, mai ales în contextul creșterii cunoștințelor privind metodologia studiilor de

evaluare;

inițiative care vizează să asigure un număr adecvat de persoane angajate în

procesul de evaluare – printre care: furnizarea de instrumente/cunoștințe de

evaluare elementare pentru personalul angajat în activități de programare și

monitorizare, în scopul de a aduna resurse suplimentare în caz de necesitate;

cooperarea în cadrul Comitetului de coordonare pentru evaluare – platformă de

cooperare între părțile interesate ale POCA 2014-2020 și alte instituții potențiale (de

ex. implicate în domeniul cercetării), astfel încât să fie asigurat un flux constant de

informații și cunoștințe.

2) O mai bună organizare și coordonare a procesului de evaluare

sprijin din partea Comitetului de Monitorizare pentru POCA 2014-2020 –

cooperarea cu Comitetul de Monitorizare va crește calitatea și promptitudinea

furnizării studiilor de evaluare (de exemplu, ar putea fi realizată o analiză continuă a

progreselor înregistrate în privința îndeplinirii planurilor și rezultatelor studiilor de

evaluare).

3) Creșterea cererii și ofertei pentru studii de evaluare în țară

Creșterea implicării personalului din cadrul Autorității de Management și a

Comitetului de Monitorizare POCA 2014-2020 în procesul de planificare a

studiilor de evaluare – angajamentul continuu al diferitelor părți interesate în

6 EVALSED: Resursă pentru evaluarea dezvoltării socio-economice, septembrie 2013 r., pagina 62.

5 EVALSED: Resursă pentru evaluarea…, op. cit..., paginile 63-70.


20

procesul de programare a evaluării în vederea unei mai bune adaptări la nevoile reale

ale acestora;

Creșterea conștientizării privind evaluarea în rândul factorilor de decizie –

acțiuni pentru creșterea gradului de conștientizare în rândul factorilor de decizie cu

privire la beneficiile care decurg din implementarea și utilizarea corectă a rezultatelor

studiilor de evaluare, de exemplu prin: prezentarea de bune practici, creșterea

utilizării conceptului bazat pe dovezi în procesul de programare.

4) Stimularea ofertei și asigurarea de studii de evaluare de înaltă calitate

cooperarea cu mediul academic și centrele de expertiză – stimularea interesului

cu privire la problemele de evaluare în mediul academic/științific, atunci când se

planifică proiectele de studii de evaluare, va spori șansele de a obține rezultate

complete și corecte ale studiilor de evaluare; opiniile experților vor fi de ajutor atunci

când se vor dezvolta metodologiile studiilor de evaluare planificate;

preocuparea pentru calitatea studiilor de evaluare – definiții precise și clare ale

așteptărilor cu privire la studiul de evaluare, atât ca scop, dar și ca metode propuse,

vor crește șansele realizării unui studiu de calitate de către un evaluator extern;

5) O mai bună utilizare a rezultatelor studiilor de evaluare în procesul de gestionare și

implementare a programului

întâlniri de lucru ale evaluatorilor și reprezentanților instituțiilor la care se referă

recomandările – întâlnirile de lucru vor avea ca scop discutarea rezultatelor evaluării

și planificării procesului de implementare a recomandărilor;

activități pentru diseminarea rezultatelor studiilor de evaluare către destinatari

diferiți - activitățile de promovare și de informare au ca scop diseminarea concluziilor și

recomandărilor din cadrul studiilor de evaluare în rândul grupurilor-țintă de beneficiari;

7.2 Programul de instruire

Se presupune că toate studiile de evaluare vor fi realizate de către echipele de evaluare externe,

selectate prin proceduri de licitație. Acest lucru înseamnă că funcția de evaluare din cadrul AM va

trebui să asigure expertiza necesară pentru elaborarea și implementarea evaluărilor de program.

Un sistem de formare profesională va fi, prin urmare, dezvoltat pentru îmbunătățirea capacității de

evaluare din cadrul AM, dar și în scopul de a furniza o bază teoretică și metodologică tuturor

actorilor relevanți/părților interesate care vor lua parte la procesul de evaluare.

Pe scurt, resursele umane necesare pentru gestionarea, analizarea și implementarea procesului

de evaluare vor fi împărțite în două categorii:

Unitatea de programare, monitorizare și evaluare program din cadrul AM, responsabilă

pentru contractarea și gestionarea evaluărilor;

Membrii Comitetului de coordonare pentru evaluare (selectați din rândul membrilor

instituționali ai CM POCA, pe baza relevanței lor pentru tema de evaluare);

Notă: Nu sunt planificate sesiuni de formare pentru echipele de evaluare externe, întrucât OS 3.1

se ocupă doar de consolidarea capacității AM și a membrilor CM de a monitoriza și evalua

programul operațional.

În continuare, sunt prezentate două modele de planuri de instruire, atât pentru angajații AM, cât

și pentru membrii Comitetului de monitorizare pentru POCA.

Procesul de consultare

Planul de instruire va fi transmis spre consultare grupului de destinatari și modificat în conformitate

cu cerințele și nevoile acestora (va fi efectuată o analiză a nevoilor de formare). După finalizarea

procesului de consultare, AM va iniția procedura de licitație pentru sesiunile de instruire. Structura

responsabilă cu redactarea acestor termeni de referință pentru sesiunile de instruire va fi Unitatea

de programare, monitorizare și evaluare program.


21

Buget

Bugetul estimat pentru aceste sesiuni de instruire va fi furnizat din sumele alocate în cadrul OS 3.1

„Consolidarea capacității administrative a AM pentru implementarea eficientă a POCA”.

Tabelul 4.1: Model de plan de instruire pentru angajații AM POCA

Nr. Tema de formare Descriere/Obiectiv

principal

Calendar

20

14

20

15

20

16

20

17

20

18

20

19

20

20

20

21

20

22

1 Evaluarea de

impact bazată pe

teorie

Îmbunătățirea

competențelor în

domeniul

metodologiei de

evaluare în ceea ce

privește îmbunătățirea

calității studiilor de

evaluare planificate și

adaptarea

competențelor la

recomandările UE

pentru perioada de

programare 2014-

2020.

X

2 Aplicarea de

metode

contrafactuale în

studiile de evaluare

Îmbunătățirea

competențelor în

domeniul

metodologiei de

evaluare în ceea ce

privește îmbunătățirea

calității studiilor de

evaluare planificate și

adaptarea

competențelor la

recomandările UE

pentru perioada de

programare 2014-

2020.

X

3 Meta-analize și

meta-evaluări

Creșterea

cunoștințelor în scopul

utilizării eficiente a

cercetărilor efectuate

anterior (de

asemenea: a

cercetărilor tip

evaluare; tehnici de

dezvoltare a meta-

analizelor și meta-

evaluărilor).

X


22

Tabelul 4.2 Model de plan de instruire pentru membrii CM POCA

Nr. Tema de

formare

Descriere/Obiectiv

principal

Calendar

20

14

20

15

20

16

20

17

20

18

20

19

20

20

20

21

20

22

1 Curs

introductiv în

evaluarea de

program

(teoria

evaluării,

prezentarea

principalele

concepte din

domeniu,

utilizarea

recomandărilor

de evaluare

etc.)

Furnizarea

pentru membrii

CM a unui

instrument

teoretic

elementar/de

bază pentru

familiarizarea

cu principalele

concepte ale

evaluării de

program și

îmbunătățirea

calității studiilor

de evaluare

planificate.

X

2 Curs de

formare în

domeniul

metodelor de

evaluare

(studii de caz,

etc.)

Îmbunătățirea

competențelor

în domeniul

metodologiei

de evaluare

pentru a

îmbunătăți

calitatea

studiilor de

evaluare

planificate.

X

8. Strategia de comunicare și urmărire a rezultatelor (follow-up)

La fel ca în perioada 2007-2013, rapoartele aferente studiilor de evaluare trebuie să fie făcute

publice, fiind necesare acțiuni pentru a asigura diseminarea corespunzătoare a acestor informații.

Cerințele Comisiei indică faptul că procesul de evaluare ar trebui să fie îndreptat către beneficiar

încă de la început8. Este necesar să se desfășoare activități axate nu doar pe ajustarea scopului

studiilor la nevoile beneficiarilor, ci și pe transferul de cunoștințe într-o formă adecvată.

Activitățile de comunicare (diseminare) a rezultatelor evaluării vor fi îndreptate către grupurile de

beneficiari prezentați în tabelul de mai jos:

8 Ghidul privind monitorizarea și evaluarea pentru perioada de programare 2014-2020, Concepte și

recomandări, DG REGIO, p. 16-17.


23

Tabelul 5. Beneficiarii activităților de diseminare a rezultatelor evaluării

Simbol Grup Descriere

A

Persoanele implicate în

programarea POCA

2014-2020, angajați

responsabili pentru

implementarea și

monitorizarea

recomandărilor actuale

Persoanele care iau decizii strategice în programarea

intervențiilor publice în cadrul programului,

Personalul implicat în implementarea PO.

AM

Autoritatea de

Management a POCA

2014-2020

Guvernul României (Ministerul Dezvoltării Regionale

și Administrației Publice).

O

Organismele implicate în

implementarea POCA

2014-2020

Beneficiarii și alte organisme implicate în

implementarea programului.

D

Factorii de decizie din

sectoarele și domeniile

relevante

Organismele responsabile pentru politicile la care

POCA caută să răspundă și cu care își propune să

interacționeze.

R

Reprezentanții

instituțiilor publice cărora

li se adresează

recomandările

Reprezentații instituțiilor publice la care se referă

recomandările formulate în evaluări.

B Beneficiari și potențiali

beneficiari

Reprezentanții instituțiilor care controlează și planifică

acțiunile sprijinite în cadrul programului.

F Beneficiari finali ai

proiectelor

Participanții din cadrul proiectelor și persoanele care

nu folosesc în mod direct sprijinul din cadrul

programului, dar utilizează rezultatele implementării

acțiunilor sprijinite.

C Evaluatori externi,

consultanți

Angajații instituțiilor care efectuează evaluări în mod

profesional sau angajați ai firmelor de consultanță.

AC

Analiști, cercetători,

mediul

științific/academic

Reprezentanți ai mediului științific care se

specializează mai ales în problemele legate de

politica regională și domeniile adiacente care sunt

sprijinite de program.

S Societatea

Comunitatea națională, mai ales persoanele care nu

au cunoștințe despre evaluare sau au cunoștințe

limitate.


24

Tabelul 6. Canalele de comunicare pentru evaluare

Faza de pregătire și

lansare Implementare Diseminarea rezultatelor

Actorii care

implementează

sistemul de

evaluare

Întâlnire a Comitetului

de Coordonare

pentru Evaluare

(CCE) pentru

discutarea caietelor

de sarcini);

Publicarea licitației;

Întâlnirea de început

a proiectului/

contractului de

evaluare (kick-off

meeting);

Rețeaua de evaluare

(de stabilit);

Site web;

Întâlniri/reuniuni ale

CCE pe parcursul

implementării

contractului/ proiectului

de evaluare;

Site web;

Reuniune CCE de

prezentare a rezultatelor

evaluării (debriefing

meeting);

Rețeaua de evaluare (de

stabilit);

Site web;

Utilizatorii

evaluărilor Conferința de lansare

a evaluării;

Depunerea Raportului de

evaluare;

Prezentări în cadrul

reuniunilor CCE;

Conferința finală;

Site web;

Publicul larg Site web

Diseminarea sumarului

executiv și a raportului de

evaluare în formă

integrală

Reuniunile Comitetului de Coordonare a Evaluării vor fi organizate în momente-cheie ale

procesului de evaluare: discutarea CdS, rapoartele inițiale și cele de progres și draftul raportului

final de evaluare. După desemnarea echipei de evaluatori, aceștia pot participa la întâlnirile

Comitetului de Coordonare pentru Evaluare, în special atunci când sunt discutate rezultatele

evaluării. Pentru fiecare raport final de evaluare se va organiza o reuniune de prezentare a

rezultatelor evaluării cu membrii CCE cu scopul de a discuta principalele constatări și

recomandări. După terminarea acestei reuniuni, va fi elaborat și convenit un plan de acțiune

pentru implementarea recomandărilor, cu responsabilități instituționale și termene limită stabilite.

Publicarea licitației: Cererea de oferte va fi publicată în conformitate cu normele naționale privind

achizițiile publice pentru fiecare contract de evaluare, pe baza calendarului de evaluare.


25

Întâlnirea de început a proiectului: O reuniune de lansare va fi organizată de Unitatea de

programare, monitorizare și evaluare cu contractantul evaluării care va fi informat cu privire la CdS,

inclusiv sublinierea contextului evaluării, informații practice cu privire la date, livrabile și termene,

precum și feedback cu privire la punctele care vor fi dezvoltate în Raportul inițial. De asemenea,

aceasta întâlnire oferă oportunitatea de a discuta orice elemente neclare din ofertă sau din CdS,

precum și de a sublinia importanța unor întrebări cu privire la evaluare.

Rețeaua de evaluare va fi utilizată pentru a împărtăși cele mai bune practici de evaluare cu un

grup mai larg de actori relevanți din domeniul evaluării, inclusiv cu mediul academic (care urmează

a fi stabilită).

Rapoartele finale de evaluare vor fi prezentate membrilor și actorilor relevanți care vor face parte

din CCE și odată ce se furnizează un raport final, se va face o prezentare a rezultatelor și a

planului de acțiune. Raportul de evaluare va fi transmis către CE prin SFC2014.

Conferințe de lansare și închidere a evaluării vor fi probabil organizate pentru utilizatorii

evaluării. Conferința de lansare va fi organizată pentru o mai bună conștientizare a temelor,

conținutului, metodelor și evaluatorilor selectați pentru implementarea evaluării. Conferința finală va

fi organizată pentru a discuta rezultatele evaluării parțiale și finale, precum și concluziile referitoare

la toate FESI.

Un site web dedicat evaluării a fost construit pentru perioada anterioară de programare

(http://www.evaluare-structurale.ro), urmând a fi utilizat pentru activitățile de evaluare din perioada

2014-2020. Site-ul include informații cheie privind evaluarea și o bibliotecă electronică de evaluare

dotată cu un motor de căutare pe criterii multiple. Toate rapoartele finale de evaluare cu privire la

POCA vor fi publicate pe acest site.

Rezumatele executive ale fiecărui raport de evaluare vor fi concepute într-o formă accesibilă

pentru a putea fi utilizate și ușor de înțeles de către publicul larg. Acestea vor fi distribuite în cadrul

activităților generale de informare și comunicare, organizate de Ministerul Fondurilor Europene,

inclusiv pe site-ul propriu al AM POCA.


26

9. Anexa 1. Detalii privind temele de evaluare Studiile de evaluare propuse în această listă își propun să examineze calitatea, eficiența și eficacitatea Programului Operațional Capacitate Administrativă 2014-2020, în

raport cu obiectivele stabilite în cadrul fiecărei axe prioritare:

Tema Tema propusă Întrebări de evaluare

orientative

Dimensiunea teritorială/

sectorială/ a grupurilor

țintă

Metode și instrumente

de evaluare propuse Surse de date identificate

Părțile interesate

/Actorii relevanți

propuși pentru a fi

implicați în evaluare1

Tema 1


întreprinse pentru

abordarea unitară a

planificării strategice și

bugetării pe programe

(evaluarea procedurilor și

mecanismelor

implementate în acest

sens) – OS 1.1

1. Care este progresul

actual înregistrat de

la adoptarea

intervenției la nivelul

instituțiilor și

grupurilor țintă în

raport cu obiectivele

specifice?

(eficacitatea

intervenției);

2. În ce măsură sunt

justificate costurile

implicate, având în

vedere schimbările/

efectele care au fost

înregistrate?

(eficiența

intervenției);

3. Ce factori au

influențat eficiența cu

care au fost atinse

rezultatele?

(eficiența

Dimensiunea teritorială:

• Națională

• ITI Delta Dunării

Dimensiunea sectorială:

Nu se aplică

Grupuri-țintă:

• personalul autorităților

și instituțiilor publice;

• factorii de decizie

politică

• reprezentanți ai ONG-

urilor și partenerii

sociali;

• ADI ITI;

• Cetățeni;

Metodă

Evaluarea impactului

bazată pe teorie

Instrumente și atribuții:

Analiza literaturii de

specialitate

Analiza documentară

Interviuri

Sondaj

Focus grupuri

Grup de experţi

(Panel de experți)

Informații contextuale:

• Date administrative

(Ministerele de linie,

Cancelaria PM)

• Informații din surse

secundare (studii ale

Cancelariei PM și

ministerelor de linie)

• Progresele înregistrate

în alte intervenții

relevante (documentele

FESI, ale AM, PO)

• Evaluările strategiei în

domeniu de către

Cancelaria PM (după

caz)

• Informații la nivel de

program (sursă AM și

documente ale

programului): date de

monitorizare, etc.;

• Informații de la nivelul

proiectelor (rapoarte ale

beneficiarilor, etc.)

• AM

• MDRAP

• Cancelaria Primului-

ministru

• SGG

• ADI / ITI

• Ministerele de linie

• ONG-uri

• Partenerii sociali și

economici

1 Părțile interesate propuse să ia parte la procesul de evaluare au fost implicate, de asemenea, și în procesul de consultare pe durata elaborării POCA, iar lista cu propuneri va rămâne deschisă

astfel încât să includă și actori instituționali interesați (în special reprezentanți ai societății civile și parteneri sociali și economici).


27


orientative



țintă




/Actorii relevanți



intervenției);

4. În ce măsură

progresele

înregistrate se

datorează

intervenției?

(impactului

intervenției);

5. Există efecte

neintenționate,

pozitive sau

negative?;

6. În ce măsură

efectele intervențiilor

sunt sustenabile pe o

perioadă mai lungă

de timp?

(sustenabilitate);

7. Ce mecanisme au

facilitat / au constituit

un obstacol pentru

schimbările avute în

vedere de intervenții

sau de efectele

intervențiilor?

8. În ce măsură

lucrurile ar fi putut fi

realizate mai bine?

(recomandări pentru

îmbunătățiri de


28


orientative



țintă




/Actorii relevanți



program viitoare).

Tema 2 Evaluarea sistemelor de

management al calității

și performanței

(evaluarea modului de

implementare a acestor

mecanisme și analiză a

impactului acestora) –OS

1.1



la adoptarea


instituțiilor și



specifice?

(eficacitatea

intervenției);






înregistrate?

(eficiența

intervenției);

3. Ce factori au


care au fost atinse

rezultatele?

(eficiența

intervenției);

4. În ce măsură

progresele

înregistrate se

datorează

intervenției?

(impactului


• Națională



Nu se aplică

Grupuri-țintă:

• Membrilor personalului

din autoritățile și

instituțiile publice;

• Factorii de decizie

politică

• Reprezentanții ONG-

urilor și al partenerilor

sociali;

• IDA/ITI;

• Cetățenii;

Metodă


bazată pe teorie



specialitate


Interviuri

Sondaj

Focus grupuri

Grup de experţi

(Panel de experți)




Cancelaria PM)



Cancelariei PM și





FESI, ale AM, PO)


domeniu de către


caz)



documente ale


monitorizare, etc;




• AM

• MDRAP


ministru

• SGG

• ADI / ITI


• ONG-uri


economici


29


orientative



țintă




/Actorii relevanți



intervenției);

5. Există efecte

neintenționate,

pozitive sau

negative?;

6. În ce măsură




de timp?

(sustenabilitate);

7. Ce mecanisme au


un obstacol pentru



sau de efectele

intervențiilor?

8. În ce măsură


realizate mai bine?


îmbunătățiri de

program viitoare).

Tema 3 Evaluarea măsurilor

luate pentru

îmbunătățirea cadrului

legislativ (evaluarea

tuturor măsurilor luate



la adoptarea


instituțiilor și


• Națională


Metodă


bazată pe teorie






Cancelaria PM)


• AM

• MDRAP



30


orientative



țintă




/Actorii relevanți



pentru a aduce o

schimbare în acest

domeniu) –OS 1.1



specifice?

(eficacitatea

intervenției);






înregistrate?

(eficiența

intervenției);

3. Ce factori au


care au fost atinse

rezultatele?

(eficiența

intervenției);

4. În ce măsură

progresele

înregistrate se

datorează

intervenției?

(impactului

intervenției);

5. Există efecte

neintenționate,

pozitive sau

negative?;


Nu se aplică

Grupuri-țintă:





politică



sociali;

• IDA/ITI;

• Cetățenii;

specialitate


Interviuri

Sondaj

Focus grupuri

Grup de experţi

(Panel de experți)


Cancelariei PM și





FESI, ale AM, PO)


domeniu de către


caz)



documente ale


monitorizare, etc.;




ministru

• SGG

• ADI / ITI


• ONG-uri


economici


31


orientative



țintă




/Actorii relevanți



6. În ce măsură




de timp?

(sustenabilitate);

7. Ce mecanisme au


un obstacol pentru



sau de efectele

intervențiilor?

8. În ce măsură


realizate mai bine?


îmbunătățiri de

program viitoare).

Tema 4 Evaluarea sprijinului

acordat pentru

susținerea ONG-urilor și

a partenerilor sociali

(evaluarea mecanismelor,

instrumentelor și acțiunilor

menite să îmbunătățească

monitorizarea și evaluarea

ulterioară a politicilor

publice, precum și

inițiativele de reformă,



la adoptarea


instituțiilor și



specifice?

(eficacitatea

intervenției);


• Națională



Nu se aplică

Grupuri-țintă:





politică

Metodă


bazată pe teorie



specialitate


Interviuri

Sondaj

Focus grupuri




Cancelaria PM)



Cancelariei PM și





• AM

• MDRAP


ministru

• SGG

• ADI / ITI


• ONG-uri


economici


32


orientative



țintă




/Actorii relevanți



sesiunile de formare

pentru a dezvolta

capacitățile acestor

instituții, networking-ul

etc.) –OS 1.1






înregistrate?

(eficiența

intervenției);

3. Ce factori au


care au fost atinse

rezultatele?

(eficiența

intervenției);

4. În ce măsură

progresele

înregistrate se

datorează

intervenției?

(impactului

intervenției);

5. Există efecte

neintenționate,

pozitive sau

negative?;

6. În ce măsură




de timp?



sociali;

• IDA/ITI;

• Cetățenii;

Grup de experţi

(Panel de experți)

FESI, ale AM, PO)

• Evaluările

strategiei/strategiilor

relevante în domeniu de

către Cancelaria PM

(după caz)



documente ale


monitorizare, etc.





33


orientative



țintă




/Actorii relevanți



(sustenabilitate);

7. Ce mecanisme au


un obstacol pentru



sau de efectele

intervențiilor?

8. În ce măsură


realizate mai bine?


îmbunătățiri de

program viitoare).


întreprinse pentru

reforma

managementului

resurselor umane - OS

1.2



la adoptarea


instituțiilor și



specifice?

(eficacitatea

intervenției);







• Națională



Nu se aplică

Grupuri-țintă:


din autoritățile publice

locale și centrale;

• IDA/ITI;


politică;

Metodă


bazată pe teorie



specialitate


Interviuri

Sondaj

Focus grupuri

Grup de experţi

(Panel de experți)


• Informații statistice (INS)


(ministerele de linie,

ANFP)



ANFP, PODCA)


prin alte măsuri

complementare (alte

organisme responsabile

pentru punerea în

aplicare a SCAP)

• Realizări ale SCAP

(Evaluările strategiei de

• AM

• MDRAP

• ADI / ITI

• Agenția Națională a

Funcționarilor Publici

• Universități, instituții

din mediul academic

• ONG-uri

• Parteneri sociali


34


orientative



țintă




/Actorii relevanți



înregistrate?

(eficiența

intervenției);

3. Ce factori au


care au fost atinse

rezultatele?

(eficiența

intervenției);

4. În ce măsură

progresele

înregistrate se

datorează

intervenției?

(impactului

intervenției);

5. Există efecte

neintenționate,

pozitive sau

negative?;

6. În ce măsură




de timp?

(sustenabilitate);

7. Ce mecanisme au


un obstacol pentru


către Cancelaria PM)


program (Sursă: AM

MSI și documentele de

program): programare,

procese de

implementare, date de

monitorizare;





35


orientative



țintă




/Actorii relevanți




sau de efectele

intervențiilor?

8. În ce măsură


realizate mai bine?


îmbunătățiri de

program viitoare).


întreprinse pentru

îmbunătățirea calității

sistemului judiciar - OS

1.3 și OS 2.3



la adoptarea


instituțiilor și



specifice?

(eficacitatea

intervenției);






înregistrate?

(eficiența

intervenției);

3. Ce factori au


care au fost atinse


• Națională



Sistemul judiciar

Grupuri-țintă:

• Personalul din

instituțiile sistemului

judiciar;

• Personalul din

administrația publică

cu responsabilități

aflate în legătură cu

sistemul judiciar.

Metodă


bazată pe teorie



specialitate


Interviuri

Sondaj

Focus grupuri

Grup de experţi

(Panel de experți)




(Ministerul Justiției și

alte organisme din

sectorul judiciar)



Ministerului Justiției)

• Realizări ale SDSJ

(Ministerul Justiției)


în alte măsuri

complementare (alte


pentru punerea în

aplicare a SDSJ)


program (Sursă: AM



procesele de

• AM

• MDRAP

• Ministerul Justiției

• Alte autorități și

instituții din sectorul

judiciar

• ONG-uri



36


orientative



țintă




/Actorii relevanți



rezultatele?

(eficiența

intervenției);

4. În ce măsură

progresele

înregistrate se

datorează

intervenției?

(impactului

intervenției);

5. Există efecte

neintenționate,

pozitive sau

negative?;

6. În ce măsură




de timp?

(sustenabilitate);

7. Ce mecanisme au


un obstacol pentru



sau de efectele

intervențiilor?

8. În ce măsură


realizate mai bine?


monitorizare





37


orientative



țintă




/Actorii relevanți




îmbunătățiri de

program viitoare).


întreprinse pentru

îmbunătățirea

sistemului de achiziții

publice - OS 1.4



la adoptarea


instituțiilor și



specifice?

(eficacitatea

intervenției);






înregistrate?

(eficiența

intervenției);

3. Ce factori au


care au fost atinse

rezultatele?

(eficiența


• Națională



Nu se aplică

Grupuri-țintă:

• Personalul din

autoritățile publice și

instituții;


politică.

Metodă


bazată pe teorie



specialitate


Interviuri

Sondaj

Focus grupuri

Grup de experţi

(Panel de experți)



(ANRMAP - rapoarte

statistice; Centrul

National de

Management pentru

Societatea

Informațională (CNMSI)

ca operator al

Sistemului Electronic de

Achiziții Publice (SEAP)


secundare (studii

referitoare la achizițiile

publice2); informații cu

privire la achizițiile

publice în cadrul

proiecte FESI;


program (Sursă: AM



procese de


monitorizare

• AM

• ANAP

• MFE


• ONG-uri


2 Studii conduse de ANRMAP


38


orientative



țintă




/Actorii relevanți



intervenției);

4. În ce măsură

progresele

înregistrate se

datorează

intervenției?

(impactului

intervenției);

5. Există efecte

neintenționate,

pozitive sau

negative?;

6. În ce măsură




de timp?

(sustenabilitate);

7. Ce mecanisme au


un obstacol pentru



sau de efectele

intervențiilor?

8. În ce măsură


realizate mai bine?


îmbunătățiri de





39


orientative



țintă




/Actorii relevanți



program viitoare).


care vizează optimizarea

proceselor la nivelul

administrației publice

locale -OS 2.1



la adoptarea


instituțiilor și



specifice?

(eficacitatea

intervenției);






înregistrate?

(eficiența

intervenției);

3. Ce factori au


care au fost atinse

rezultatele?

(eficiența

intervenției);

4. În ce măsură

progresele

înregistrate se

datorează

intervenției?


• de la nivelul NUTS 3

(LAU 1) și LAU 2

(municipii)



Nu se aplică

Grupuri-țintă:

• Personalul din


instituții APL


politică

• Reprezentanți ai ONG-

urilor și parteneri

sociali

Metodă


bazată pe teorie



specialitate


Interviuri

Sondaj

Focus grupuri

Grup de experţi

(Panel de experți)




Cancelaria PM, ANFP)



Cancelariei PM, ANFP,




relevante

• Realizări ale SCAP,

SBR (Evaluările

strategiilor de către

Cancelaria de stat, după

caz);


program (Sursă: AM,

documentele de

program şi MSI):

programare, procese de


monitorizare;




• AM

• MDRAP

• APL

• ANFP

• SGG


ministru

• ADI / ITI

• Ministerele cu

relevanţă în domeniul

vizat

• ONG-uri


40


orientative



țintă




/Actorii relevanți



(impactului

intervenției);

5. Există efecte

neintenționate,

pozitive sau

negative?;

6. În ce măsură




de timp?

(sustenabilitate);

7. Ce mecanisme au


un obstacol pentru



sau de efectele

intervențiilor?

8. În ce măsură


realizate mai bine?


îmbunătățiri de

program viitoare).


întreprinse pentru

creșterea transparenței,



la adoptarea


• Națională


Metodă


bazată pe teorie




• AM

• MDRAP

• ANFP


41


orientative



țintă




/Actorii relevanți



eticii și integrității în

cadrul autorităților și

instituțiilor publice - OS

2.2


instituțiilor și



specifice?

(eficacitatea

intervenției);






înregistrate?

(eficiența

intervenției);

3. Ce factori au


care au fost atinse

rezultatele?

(eficiența

intervenției);

4. În ce măsură

progresele

înregistrate se

datorează

intervenției?

(impactului

intervenției);

5. Există efecte

neintenționate,

pozitive sau

Nu se aplică

Grupuri-țintă:

• Personalul din


instituții APL;


politică;



sociali;

• Cetățenii.



specialitate


Interviuri

Sondaj

Focus grupuri

Grup de experţi

(Panel de experți)

Cancelaria PM)



Cancelariei PM,




relevante


program (documentele

de program şi MSI):

programare, procese de


monitorizare;





ministru

• ADI / ITI


• APL

• ONG-uri


42


orientative



țintă




/Actorii relevanți



negative?;

6. În ce măsură




de timp?

(sustenabilitate);

7. Ce mecanisme au


un obstacol pentru



sau de efectele

intervențiilor?

8. În ce măsură


realizate mai bine?


îmbunătățiri de

program viitoare).

Tema 10 Sinteza evaluărilor Toate întrebările de

evaluare propuse, cât și

întrebările aferente

temelor suplimentare.


• Națională, Locală



Toate sectoarele și în

special cel judiciar.

Grupuri-țintă:

• Personalul din


instituții APC și APL;

Metodă

Toate metodele utilizate.



specialitate


Interviuri

Sondaj

Focus grupuri




(Cancelaria PM,

autorităţile şi ministerele

de linie relevante)


secundare (studii)



• Toate părțile

interesate/actori

relevanți POCA

• AM

• MDRAP

• ANFP

• ANAP


ministru

• ADI / ITI


43


orientative



țintă




/Actorii relevanți




politică;



sociali;

• Cetățenii.

Grup de experţi

(Panel de experți)

Alte instrumente

utilizate pentru a

furniza datele

necesare evaluărilor

complementare (alte


pentru punerea în

aplicare a strategiilor

relevante)


program (Sursă: AM,

documentele de

program şi MSI):

• Rapoarte de evaluare

• Analiza empirică


• APL

• ONG-uri, parteneri

sociali

Planul de evaluare pentru Programul Operațional...

Documents

Transcript of Planul de evaluare pentru Programul Operațional...