THE GUIDE PART II DG...adresează unui public mai larg şi prezintă abordări şi practici ale...

Click here to load reader

  • date post

    06-Feb-2020
  • Category

    Documents

  • view

    0
  • download

    0

Embed Size (px)

Transcript of THE GUIDE PART II DG...adresează unui public mai larg şi prezintă abordări şi practici ale...

  • MANUALUL

    pentru

    EVALUAREA

    DEZVOLTĂRII SOCIO-ECONOMICE

    Institutul Tavistock în colaborare cu:

    GHK IRS

  • CUPRINS MULŢUMIRI .........................................................................................................................................1

    INTRODUCERE....................................................................................................................................2

    CAPITOLUL I CONTRIBUŢIA EVALUĂRII LA DEZVOLTAREA SOCIAL-ECONOMICĂ 6 1.1 AVANTAJELE EVALUĂRII........................................................................................................6 1.2 INTRODUCERE ÎN EVALUARE: ISTORIC ŞI OBIECTIVE ...................................................12 1.3 METODE ŞI SURSELE ACESTORA .........................................................................................21 1.4 EVALUARE ÎN SCOPUL SPRIJINIRII DEZVOLTĂRII SOCIO-ECONOMICE.....................27 1.5 REGULI DE BAZĂ.....................................................................................................................39

    CAPITOLUL 2 PROIECTAREA ŞI IMPLEMENTAREA EVALUĂRII PENTRU DEZVOLTAREA SOCIO-ECONOMICĂ ........................................................................................42

    2.1 PROIECTAREA ŞI PLANIFICAREA EVALUĂRII ..................................................................42 2.2 IMPLEMENTAREA ŞI ADMINISTRAREA EVALUĂRILOR.................................................60 2.4 REGULI DE BAZĂ .....................................................................................................................86

    CAPITOLUL 3 DEZVOLTAREA CAPACITĂŢILOR NECESARE EVALUĂRILOR SOCIO-ECONOMICE ......................................................................................................................................89

    OFERTA.............................................................................................................................................113 CAPITOLUL 4 ALEGEREA METODELOR, A TEHNICILOR ŞI A INDICATORILOR. UTILIZAREA INDICIILOR ÎN EVALUARE................................................................................114

    4.1 FACTORI CARE INFLUENŢEAZĂ ALEGEREA METODELOR, A TEHNICILOR, A DATELOR ŞI A DOVEZILOR .......................................................................................................114 4.2 METODE ŞI TEHNICI PENTRU EVALUAREA DIFERITELOR TIPURI DE INTERVENŢII SOCIO-ECONOMICE.....................................................................................................................121 4.3 METODE ŞI TEHNICI PENTRU DIFERITE SCOPURI ALE EVALUĂRII ...........................127 4.4 METODE ŞI TEHNICI APLICABILE ÎN DIFERITE STADII ALE PROGRAMELOR/POLITICILOR..................................................................................................129 4.5 METODE ŞI TEHNICI APLICABILE DIFERITELOR STADII ALE PROCESULUI DE EVALUARE ....................................................................................................................................133 4.6 OBŢINEREA ŞI UTILIZAREA DATELOR ÎN EVALUARE..................................................136 4.7 CREAREA INDICATORILOR ŞI A SISTEMELOR DE INDICATORI ..................................140 4.8 UTILIZAREA INDICATORILOR ÎN SCOPUL ÎMBUNĂTĂŢIRII MANAGEMENTULUI .155 4.9 REGULI DE BAZĂ ...................................................................................................................160

    Anexe: Anexa A Pricipalele stadii ale evaluării Anexa B Schimbări în Regulile Fondurilor Structurale

    MANUALUL Decembrie 2003

  • MANUALUL pentru Evaluarea Dezvoltării Socio-Economice: Introducere

    MULŢUMIRI

    Evaluarea reprezintă un element cheie în elaborarea şi implementarea corespunzătoare a programelor finanţate prin intermediul instrumentelor structurale din cadrul politicii europene de coeziune. În decursul ultimului an, administraţia publică a României a întreprins eforturi intense în scopul construirii şi consolidării capacităţii sale de a pregăti şi administra evaluări. Aceste eforturi au contribuit la activităţi pregătitoare marcante desfăşurate în România în vederea obţinerii calităţii de stat membru al Uniunii Europene.

    Conceptul de evaluare evoluează în mod constant în ceea ce priveşte aria de interes şi întrebările sale, tehnicile şi metodele utilizate, proiectarea şi indicatorii aferenţi. În acest sens, atât cererea cât şi oferta de evaluare trebuie să-şi dezvolte în continuu capacităţile, pentru a putea face faţă cu succes noilor provocări din domeniu. GHIDUL pentru Evaluarea Dezvoltării Socio-Economice este recunoscut drept cea mai completă şi utilă sursă de informaţie existentă în domeniu, acoperind în mod extensiv probleme ca iniţierea şi implementarea evaluărilor, dezvoltarea capacităţii, a metodelor, tehnicilor şi indicatorilor utilizaţi în procesul evaluării.

    Acestea fiind spuse, versiunea în limba română a GHIDULUI se dovedeşte a fi indispensabilă într-un asemenea moment important, când practicile evaluării urmează a fi extinse de la programele finanţate prin fonduri europene la totalitatea intervenţiilor finanţate din bani publici desfăşurate în România.

    Dorim să aducem mulţumiri Comisiei Europene pentru generozitatea de a pune la dispoziţie GHIDUL în vederea traducerii sale în limba română, cât şi pentru sprijinul şi încurajarea acordate în activitatea fără precedent de a încorpora practicile evaluării şi cultura asociată în procesul de formulare a politicilor publice bazat pe dovezi în cadrul sectorului public din România.

    1

  • MANUALUL pentru Evaluarea Dezvoltării Socio-Economice: Introducere

    INTRODUCERE MANUALUL se adresează celor implicaţi în evaluarea dezvoltării socio-economice din Europa. El este o continuare a colecţiei MEANS (în traducere, metode pentru evaluarea politicilor structurale). Chiar dacă principalul domeniul de interes îl reprezintă evaluarea din cadrul Fondurilor Structurale Europene, MANUALUL nu se limitează doar la evaluarea acestor intervenţii. Dezvoltarea socio-economică este până la urmă o problema foarte des întâlnită în multe programe naţionale şi regionale care nu sunt finanţate de către Uniunea Europeană. În multe ţări din Europa, ca şi în alte părţi ale lumii, îmbunătăţirea economiilor regionale şi locale care au rămas mult în urmă, re-integrarea grupurilor marginalizate şi adaptarea la provocările competiţiei globale şi la evoluţiile tehnologiei, sunt prioritare. În contextul limitării resurselor şi al existenţei strategiilor inovatoare pe care le presupune dezvoltarea socio-economică, cererea pentru evaluare s-a extins odată cu dezvoltarea politicilor şi a intervenţiilor complexe. Evaluarea dezvoltării socio-economice; politici, programe, teme şi proiecte MANUALUL se ocupă de evaluarea dezvoltării socio-economice în Europa, motiv pentru care se pune un accent deosebit pe Fondurile Structurale europene. Fondurile sunt organizate în programe, iar evaluarea are loc în fazele ex-ante, intermediară şi ex-post. Programele reprezintă o modalitate prin care se pot atinge obiective politice mai cuprinzătoare, iar evaluarea programelor contribuie la evaluarea politicilor. Programele cuprind multe intervenţii şi proiecte. Evaluarea la nivel de măsura întreprinsă/ intervenţie efectuată sau proiect desfăşurat, reprezintă o parte din evaluarea întregului program. Multe programe diferite, împreună cu elementele lor, contribuie la obiectivele tematice, în timp ce evaluarea tematică se bazează pe evaluarea proiectelor şi a programelor. Principiile evidenţiate în acest MANUAL se aplică de regulă în programele, politicile, proiectele socio-economice şi în evaluarea tematică. Astfel, MANUALUL se va dovedi util celor care trebuie să planifice, să contracteze şi să realizeze atât evaluări tematice, ale politicilor şi proiectelor, cât şi evaluări ale programelor. Cui se adresează acest MANUAL? Cititorii acestui MANUAL aparţin diferitor comunităţi care activează în domeniul programelor de dezvoltare socio-economică. Printre aceştia se numără: cei implicaţi în formularea politicilor publice şi care manifestă un interes deosebit pentru

    evaluare, având în vedere avantajele dar şi limitele evaluării, precum şi resursele şi capacităţile de care vor avea nevoie;

    managerii din sectorul public şi funcţionarii publici care pot contracta evaluări şi care vor să dobândească o imagine generală cu privire la informaţiile disponibile, inclusiv referitoare la posibilităţile de abordare şi la metodele pe care ar trebui să-şi fundamenteze activitatea;

    managerii de programe care vor dori să integreze şi să ţină cont de rezultatele evaluării în administrarea şi planificarea programelor;

    partenerii la programe, care se implică din ce în ce mai mult ca actori actori-cheie în cadrul evaluărilor, fiind consultaţi în ceea ce priveşte agendele de evaluare şi care va fi necesar să utilizeze constatările procesului de evaluare;

    evaluatorii, dintre care mulţi sunt specializaţi în anumite arii ale evaluării, dar care beneficiază de o scurtă descriere a unei game mai largi de măsuri şi abordări, putând astfel sprijini colaborarea între membrii echipei de evaluare.

    Cu toate că MANUALUL în sine se adresează utilizatorilor şi cititorilor generalişti, mai degrabă decât specialiştilor, am luat în considerare şi nevoile acestora din urmă, punând la dispoziţie câteva cărţi de fundamentare care să sprijine şi să completeze conţinutul

    2

  • MANUALUL pentru Evaluarea Dezvoltării Socio-Economice: Introducere

    MANUALULUI. Aceste materiale sunt disponibile şi pe Internet, la adresa http://www.evalsed.info. De ce încă un MANUAL despre evaluare? În prezent nu ducem lipsă de ghiduri, manuale sau alte materiale-sursă privind evaluarea! Pe măsură ce profesia şi practica evaluării s-au extins, cărţile publicate pe aceasta temă ar putea foarte uşor sa ocupe o întreagă bibliotecă. Deşi acest tip de literatură îşi are originea în America de Nord, răspândirea evaluării şi în Europa – de cele mai multe ori ca răspuns la cerinţele Fondurilor Structurale - a favorizat apariţia multor astfel de publicaţii şi pe continentul european. Comisia Europeană a publicat un Ghid Metodologic detaliat, referitor la indicatori, evaluarea ex-ante, evaluare macroeconomică, etc., teme specifice şi strâns legate de Regulamentele Fondurilor Structurale. Există de asemenea şi o Reglementare Financiară care cere ca o evaluare ex-ante şi una ex-post să fie realizate pentru toate programele finanţate de UE, şi care trebuie riguros respectată1. Autorităţile publice la nivel de stat membru publică şi ele materiale pentru îndrumarea celor care evaluează programe şi politici naţionale şi de dezvoltare socio-economică europeană. Obligaţia de a duce la bun sfârşit evaluări precum şi materialele îndrumătoare publicate de cei responsabili pentru programele de dezvoltare socio-economică sunt în permanentă schimbare. Evaluarea trebuie să corespundă circumstanţelor în care are loc dezvoltarea socio-economică şi alternativelor politice principale cărora li se furnizează informaţia. De reţinut este că acest MANUAL nu substituie alte surse de informare şi că, într-adevăr, el se bazează şi face referinţă la diverse alte surse, acolo unde este cazul. MANUALUL se adresează unui public mai larg şi prezintă abordări şi practici ale evaluării în domeniul programelor si politicilor publice avute în vedere. De multe ori, unele surse sunt strict specializate, adresându-se unor arii restrânse de evaluare şi cu precădere experţilor. MANUALUL îşi propune să umple acest gol existent pe piaţă şi să permită o mai bună înţelegere a metodelor şi a practicii adecvate, prezentând informaţiile într-o formă accesibilă. Actualizarea colecţiei MEANS Până în momentul de faţă, principala sursă în această îndrumare a fost, bineînţeles, colecţia MEANS – un set de manuale utile şi cuprinzătoare publicate de Comisia Europeană în 1999. Colecţia MEANS a devenit un text standard pentru evaluatorii europeni şi s-a bucurat de o reputaţie justificată, datorată mai ales conţinutului, ambiţiei şi ariei de acoperire. Multe aspecte cuprinse în aceste lucrări au rezistat într-adevăr la testul timpului, şi au fost încorporate în acest nou MANUAL. Cu toate acestea între timp au avut loc multe schimbări, cum ar fi: schimbări majore produse în practica evaluării survenite odată cu apariţia noilor

    instrumente de evaluare, cu sporirea importanţei teoriei, cu noile abordări participative şi calitative (referitoare în special la dezvoltarea socio-economică) şi cu accentul pus pe instituţionalizarea evaluării;

    politica europeană a evoluat, urmărind îndeaproape Agenda de la Lisabona; rolul capitalului uman şi social, importanţa societăţii informaţionale şi a economiei bazată pe cunoaştere ca modalităţi de creştere a competitivităţii, priorităţile pentru o dezvoltare durabilă şi pentru şanse egale, au fost în egală măsură aduse în atenţia specialiştilor;

    aderarea în 2004 a încă zece state membre a adus noi provocări procesului de evaluare; Fondurile Structurale sunt introduse în administraţia publică în pofida experienţei insuficiente în evaluare şi a unei culturi a evaluării slab dezvoltată. Autorii acestui

    1 Reglementarea Financiară (Reglemetarea Consiliului 1605/2002), Articol 27. Exemple de reguli şi principii de evaluare care trebuie să fie considerate când se au în vedere fondurile europene inclusiv Articolul 21 despre implementarea regulilor (Reglementarea Comisiei 2342/2002) care defineşte în particular rolul evaluării ex-ante

    3

    http://www.evalsed.info/

  • MANUALUL pentru Evaluarea Dezvoltării Socio-Economice: Introducere

    MANUAL au avut în vedere nevoile de dezvoltare a capacităţii existente în multe dintre noile state membre. În termeni practici, se urmăreşte o maximizare a ceea ce se poate obţine în mod pragmatic, utilizând resursele, competenţele, dezvoltarea instituţională şi sursele de informaţie aflate la dispoziţie.

    Toate aceste schimbări sunt substanţiale, iar MANUALUL a fost conceput pentru a lua în considerare consecinţele acestor schimbări, dar şi pentru a anticipa viitoarele schimbări. Nu există niciun motiv pentru care să se considere că ritmul viitor al schimbărilor intervenite în procesul de evaluare şi în politica socio-economică va încetini. Din această cauză, şi cu intenţia de a face posibilă actualizarea rapidă a informaţiilor, MANUALUL în sine, cărţile de fundamentare şi Glosarul pot fi găsite şi accesate pe Internet. În viitor se intenţionează ca materialul să fie dezvoltat, astfel încât utilizatorii vor avea posibilitatea de a structura şi configura MANUALUL lor „personal”, adaptat propriilor nevoi, rolului pe care îl deţin în cadrul evaluării şi acelor programe şi politici pe care le evaluează sau conduc. Conţinut şi structură Noul MANUAL este publicat într-un singur volum. El are la bază o serie de cărţi de fundamentare2 care furnizează material mai specializat şi mai detaliat şi care poate fi accesat pe Internet. MANUALUL în sine are patru capitole: Capitolul I prezintă o introducere în procesul de evaluare împreună cu avantajele sale. Aceasta începe cu o scurtă descriere a felului în care evaluarea poate contribui la îmbunătăţirea politicilor şi a programelor şi, în cele din urmă, la accentuarea dezvoltării socio-economice. În continuare, sunt prezentate câteva idei de bază privind evaluarea: istoria sa, câteva dintre practicile pe care se axează evaluatorii şi scopurile diferite ale evaluării. În cele din urmă, este discutată specificitatea dezvoltării socio-economice ca obiect al evaluării. Acest lucru include analiza caracteristicilor unei politici de dezvoltare socio-economică, împreună cu implicaţiile sale pentru evaluare, ca şi a principalelor teorii şi idei care stau la baza politicilor şi a programelor pe care evaluatorii trebuie să le aibă în vedere. Capitolul II se referă la problemele practice legate de proiectarea şi implementarea evaluărilor, inclusiv la modul în care se planifică o evaluare, în care se definesc întrebările privitoare la evaluare şi se aleg metodele, precum şi la modul cum se iniţiază şi contractează activitatea de evaluare. Sunt prezentate apoi aspecte privind managementul evaluării, alegerea evaluatorilor, rolul Comitetelor Directoare, coordonarea comunicării în vederea asiguării calităţii în evaluare. Capitolul III cuprinde informaţii referitoare la modul în care se construieşte capacitatea de evaluare şi abordează strategii pentru dezvoltarea capacităţii. Argumentul este structurat în jurul unui model „idealizat” care indică patru stadii în dezvoltarea capacităţii de evaluare. Această parte conţine referiri atât la capacitatea internă, din cadrul administraţiilor, cât şi la capacitatea externă din cadrul reţelelor profesionale şi a parteneriatelor. Capitolul IV introduce metodele şi tehnicile evaluării, cu referire la punctele lor tari, la punctele slabe şi la utilizarea cea mai potrivită a acestora. Metodele şi tehnicile sunt discutate pe marginea unor exemple practice prezente în tipuri diferite de programe socio-economice, în faze diferite ale programului, în stadii distincte ale procesului de evaluare şi în

    2 În continuare, când ne vom referi la fiecare dintre acestea, pentru a simplifica referinţa, vom menţiona doar „Cartea 1”, sau „Cartea 2” etc. (n.t.)

    4

  • MANUALUL pentru Evaluarea Dezvoltării Socio-Economice: Introducere

    scopuri diverse ale evaluării. În final, sunt prezentate tipurile de date (cantitative şi calitative), sistemele de indicatori şi sursele de date. Fiecare capitol al MANUALULUI se încheie cu un set de reguli de bază, care descriu pe scurt atât modul corect de lucru, cât şi regulile fundamentale care pot fi recomandate celor care administrează, contractează, preiau şi folosesc evaluări. Cu toate acestea, MANUALUL evită în general să fie exagerat de prescriptiv. Aceasta se datorează într-o anumită măsură faptului că, de multe ori, nu există o soluţie general valabilă în evaluare, iar diferitele abordări prezintă fiecare avantaje şi dezavantaje în contexte distincte. În aceeaşi ordine de idei, se poate afirma că precondiţiile ideale pentru evaluare sunt de cele mai multe ori inexistente – fie din cauza lipsei de date, fie datorită problemelor de sincronizare sau de disponibilitate a competenţelor. Tema centrală a acestui MANUAL este îmbunătăţirea capacităţii de evaluare. Pentru a veni în sprijinul MANUALULUI, a fost pregătită şi o serie de cărţi de fundamentare, care se adresează atât specialiştilor, cât şi practicienilor. Cartea 1 - “Abordări ale evaluării în cadrul anumitor teme şi domenii de politică publică”. Aceasta ia în considerare priorităţi importante precum dezvoltarea durabilă, societatea informaţională, incluziunea socială şi şansele egale, dar şi politicile publice care pot include intervenţii pentru promovarea dezvoltării socio-economice. Cartea 1 furnizează metode de evaluare, date şi indicatori adecvate acestor arii prioritare şi politici, oferind totodată exemple pentru aplicarea lor. Cartea 2 - “Tehnici şi metode de evaluare”. Aceasta include elaborarea unei game largi de instrumente şi tehnici, atât cantitative cât şi calitative care se dovedesc utile în diferite stadii ale evaluării. Cartea 3 – “O resursă privind construirea capacităţii de evaluare”. Această prezintă cazuri reale de dezvoltare a capacităţii de evaluare în UE, mai exact în Italia, Olanda şi Irlanda, precum şi referinţe la alte experienţe regionale, naţionale şi internaţionale, inclusiv în ţările în curs de aderare. Ea susţine partea teoretică prezentată în MANUAL, intenţionând să stimuleze dezvoltarea capacităţii de evaluare. În final, este pus la dispoziţie un Glosar care conţine definiţiile termenilor întâlniţi în MANUAL şi în cărţile de fundamentare.

    5

  • MANUALUL pentru Evaluarea Dezvoltării Socio-Economice: Capitolul I

    CAPITOLUL I CONTRIBUŢIA EVALUĂRII LA DEZVOLTAREA SOCIAL-ECONOMICĂ Primul capitol al acestui manual se referă la motivele pentru care evaluării i se acordă o importanţă atât de mare în cadrul programelor de dezvoltare social-economică. Acesta introduce câteva principii de bază de evaluare, originile acestor principii şi scopurile în care ele sunt aplicate. În continuare, sunt evidenţiate unele dintre caracteristicile politicilor şi intervenţiilor de natură socio-economică, cât şi implicaţiile pe care aceste caracteristici le au asupra modului în care pot fi evaluate. 1.1 AVANTAJELE EVALUĂRII Evaluări care pot avea un impact important A investi timp, bani şi efort în evaluare trebuie să fie justificat de schimbările aduse de aceasta politicilor socio-economice, cât şi de succesul înregistrat de un program. Evaluarea nu reprezintă un scop în sine. În dezvoltarea social-economică, scopul politicilor este acela de a îmbunătăţi perspectivele social-economice ale indivizilor, teritoriilor sau sectoarelor de activitate. Desigur, fiecare program socio-economic are scopul său specific. Unele vizează modernizarea centrelor urbane, altele modernizarea sectoarelor industriale devenite nerentabile sau aflate în declin, în timp ce altele pot viza integrarea socială a grupurilor defavorizate sau diversificarea/modernizarea zonelor rurale. Toate aceste priorităţi şi multe altele sunt abordate în cadrul programelor Fondurilor Structurale Europene. Indiferent de tipul programului sau al politicii, motivul care face ca evaluarea să fie necesară în toate aceste cazuri este unul singur, raportat la următoarea întrebare fundamentală: este posibilă aplicarea metodelor şi procedeelor de evaluare astfel încât să fie îmbunătăţită calitatea vieţii şi oportunităţile oferite cetăţenilor? Pentru a putea avea o astfel de influenţă, evaluarea trebuie sa pună întrebări şi să ofere răspunsuri legate de probleme de importanţă deosebită pentru actorii cheie ai programelor şi finanţatorii acestora - fie că aceştia sunt manageri, legislatori sau beneficiari.

    Oferind răspunsuri la întrebări ce merită dezbătute

    Evaluarea are cel mai mare potenţial de contribuţie în domeniul politicilor inovative, acolo unde atingerea succesului nu este garantată, iar implementarea nu este lipsită de obstacole. În aceste situaţii este necesar un management performant şi o planificare adecvată. Aplicată în mod corespunzător, evaluarea ajută la rezolvarea anumitor incertitudini inerente unor situaţii complexe. Dezvoltarea socio-economică nu este o ştiinţă exactă, este un proces complex, având numeroase incertitudini. Alegerea obiectivelor şi a măsurilor, proiectarea programelor, implementarea şi asigurarea unei dezvoltări dinamice a acestora, toate necesită analiză, putere de anticipare, crearea unor sisteme de feed-back şi mobilizarea diferitelor instituţii, agenţii şi grupuri din cadrul populaţiei. Atât expertiza teoretică, dar şi practica propriu-zisă au făcut ca evaluarea să devină o componentă cheie în foarte multe iniţiative de dezvoltare socio-economică.

    Evaluarea poate reduce incertitudinea şi îmbunătăţi procesele de planificare şi implementare

    Această perspectivă privind justificarea necesităţii evaluării are două implicaţii importante:

    În primul rând, dacă evaluarea este utilă şi aplicabilă, trebuie să fie Capacitatea

    6

  • MANUALUL pentru Evaluarea Dezvoltării Socio-Economice: Capitolul I

    privită ca parte integrantă a procesului de luare a deciziilor şi management – şi desigur a întregului proces de obligativitate democratică de a răspunde în faţa cetăţenilor. Astfel, ciclul unei politici socio-economice sau al programului trebuie să includă un sistem funcţional de evaluare. Acesta este motivul pentru care MANUALUL acordă o atât de mare atenţie proiectării sistemului de evaluare şi dezvoltării capacităţii evaluative în interiorul agenţiilor publice şi în cadrul reţelelor profesionale şi ştiinţifice.

    evaluativă şi integrarea în ciclul formativ al politicilor social- economice

    În al doilea rând, evaluatorii şi cei care contractează evaluarea şi folosesc rezultatele evaluării trebuie întotdeauna să analizeze şi să aleagă între a folosi cele mai bune metode existente şi cerinţele pragmatice, reale. În lumea reală a dezvoltării socio-economice, rareori dispunem de timpul, de resursele - sau uneori chiar de datele necesare pentru a implementa o evaluare detaliată. Acesta este motivul pentru care acest MANUAL pune un accent deosebit asupra tipurilor de decizii strategice care trebuie adoptate în procesul de evaluare, cum ar fi de exemplu: Când pot fi considerate ca fiind justificate investiţii sporite în evaluare? În ce condiţii sunt necesare metode mai performante? Cum poate evaluarea să acopere acele goluri în cunoaştere, goluri care într-o lume mai perfectă ar fi fost deja acoperite încă înainte ca o intervenţie să fi fost măcar planificată?

    A cântări între pragmatism şi o evaluare “ca la carte”

    Îmbunătăţirea programelor în timp Un important principiu organizatoric adoptat în cadrul acestui MANUAL este acela al liniei temporale în formarea politicilor social-economice. Este ceva absolut firesc a vorbi despre un “ciclu formativ al politicilor socio-economice”, care începe atunci când acestea, dar şi programele asociate lor, sunt formulate şi continuă cu planificarea, alocarea resurselor, proiectarea/realizarea programului, implementarea şi obţinerea realizărilor programului şi a rezultatelor finale. Limbajul utilizat în evaluare urmează acest ciclu, acest fapt putând fi observat din folosirea termenilor precum evaluare ex ante, evaluare intermediară, evaluare ex post, termeni adesea folosiţi de Fondurile Structurale Europene. Aceşti termeni sunt explicaţi pe larg în Anexa A. După o logică asemănătoare, este făcută o distincţie clară între realizări imediate, rezultate pe termen scurt, rezultate pe termen lung şi impacturi. Înainte de a reveni la caracteristicile specifice ale dezvoltării social-economice trebuie să definim contribuţia adusă de evaluare la fiecare stadiu al ciclului formativ al politicilor socio-economice.

    Diferite stadii ale ciclului formativ al unei politici socio-economice sau al unui program

    După cum sugerează şi diagrama din Fig.1.1, există trei cicluri temporale distincte care prezintă importanţă pentru toţi cei implicaţi în procesul de evaluare.În primul rând, putem vorbi de ciclul procesului de evaluare, care are loc la diferite momente şi stadii; în cadrul unui al doilea ciclu putem vorbi de un ciclu de programare, care este cel care generează cererea pentru diferitele momente în care evaluarea este necesară. Există şi un al treilea “ciclu”, ciclul formativ al politicilor social-economice, care, concomitent conturează şi influenţează programele şi, în mod inevitabil şi cerinţele de evaluare. În mod normal, ciclul formativ al politicilor social-economice este mai lung decât ciclul de

    7

  • MANUALUL pentru Evaluarea Dezvoltării Socio-Economice: Capitolul I

    programare.

    Fig. 1.1 Cele trei cicluri formative: al politicilor socio-economice, de programare şi de evaluare

    Fig.1cadrudiagrproblCercsunt progrcadruprogr

    Formularea politicilor

    R p

    evizuireaoliticilor

    .1 este doar una ilustrativă – desigur există multe alte stadii în l fiecărui ciclu, stadii care pot fi descrise în diferite moduri. Însă

    ama ilustrează într-adevăr câteva dintre cele mai importante eme de sincronizare în timp, foarte frecvent întâlnite în evaluare. ul interior porneşte de la evaluarea de tip ex-ante, în cadrul căreia analizate nevoile iniţiale şi se fac studii de fezabilitate ale

    amelor planificate, ajunge apoi la evaluarea de tip intermediar, în l căreia se analizează progresul şi modul de implementare al amului, apoi la evaluarea de tip ex-post, care pune accent pe

    Păstrând alinierea ciclurilor neschimbată

    Evaluare ex -ante/ de

    fezabilitate

    Proiectarea programului

    Evaluări în derulare/intermediare

    Concluziile programului

    Evaluare ex-post/a rezultatelor

    Implementarea programului

    Aplicarea politicilor

    8

  • MANUALUL pentru Evaluarea Dezvoltării Socio-Economice: Capitolul I

    rezultate. Cu toate acestea, evaluarea de tip ex-ante trebuie să influenţeze fazele de proiectare a programelor şi de formulare a politicilor social-economice în acelaşi mod în care evaluările intermediare trebuie să influenţeze implementarea programului şi politicile socio-economice formulate în legătură cu aplicarea acestui program şi a unor programe similare. La finalul ciclului de evaluare, evaluările de tip ex-post trebuie să contribuie la revizuirea politicilor socio-economice. Este ideal ca aceste cicluri să se desfăşoare astfel, însă în realitate acest lucru nu este întotdeauna posibil. Evaluările de tip ex-ante pot fi uneori făcute mult prea târziu pentru a fi capabile să influenţeze stadiul de proiectare al programului sau, mai mult, cel de formulare a politicilor socio-economice. Rezultatele evaluărilor de tip ex-post pot apărea mult prea târziu pentru a mai putea influenţa revizuirea politicilor. De asemenea, schimbări în cadrul politicilor sau în programe pot apărea şi înainte ca evaluarea să fie declanşată – aspect nu foarte neobişnuit în programe de dezvoltare socio-economică adoptate la nivel naţional sau european. Acest aspect poate conduce, de exemplu, la modificarea obiectivelor şi priorităţilor ca urmare a elaborării unor sisteme care au ca scop cuantificarea rezultatelor sau chiar anularea anumitor proiecte sau intervenţii care au constituit “obiectul” evaluării. Unul dintre avantajele implicării în faza de proiectare a evaluării a legislatorilor şi a celor însărcinaţi cu planificarea este dat de îmbunătăţirea modului în care sunt aliniate toate aceste activităţi strâns interconectate. În general, în cadrul acestui manual interesul este pus într-o mai mare măsură pe evaluarea programelor decât pe evaluarea politicilor socio-economice. Cu toate acestea, uneori cele două nu sunt uşor de separat, cu precădere în perioada aşa-numitelor politicilor bazate pe indicii. Se pune un accent deosebit pe folosirea adecvată a resurselor şi pe învăţarea din experienţe anterioare: pe scurt, pe a formula politici socio-economice în baza unor argumente practice. Aceasta reprezintă într-adevăr o caracteristică cheie a modului în care evaluarea de tip ex-ante este definită în cadrul Fondurilor Structurale Europene. Evaluarea poate reprezenta un instrument deosebit de puternic pentru a învăţa lecţii din derularea altor programe, lecţii ce pot fi folositoare pentru îmbunătăţirea politicilor socio-economice ulterioare.

    Învăţare cu scopul îmbunătăţirii politicilor socio-economice

    9

  • MANUALUL pentru Evaluarea Dezvoltării Socio-Economice: Capitolul I

    Există o serie de avantaje specifice pe care evaluarea le poate conferi în cadrul ciclului de programare:

    Proiectarea programelor Unul dintre atributele de bază ale evaluării este acela de a colecta informaţii de la diferiţii actori cheie sau de la public în general. Acest lucru are o relevanţă deosebită, cu precădere în faza de proiectare a programelor. Asigurarea relevanţei programelor şi adaptabilităţii lor la nevoile utilizatorilor este esenţială în acest stadiu – iar evaluarea poate contribui la acest lucru. Nu se poate vorbi de un anumit moment în timp în care se decide sporirea relevanţei unui anumit program. De-a-lungul a numeroase faze ale dezvoltării socio-economice, programele sunt supuse unui proces continuu de feed-back primit din partea utilizatorilor (potenţiali şi actuali) şi din partea altor actori cheie. Într-adevăr se poate vorbi de un moment de “reprogramare” explicit definit, iar un astfel de lucru reprezintă ceva destul de obişnuit.

    Asigurând relevanţa programelor

    Selectarea instrumentelor Un sistem de evaluare bine proiectat, şi în mod special o evaluare de tip ex-ante vor contribui şi la selectarea instrumentelor şi a modalităţilor de intervenţie specifice, corespunzatoare obiectivului general urmărit de program. Evaluarea poate face apel la o serie de resurse în selectarea instrumentelor. Acestea pot lua forma unei analize economice menite să evalueze costurile şi beneficiile aproximative ale unui număr de instrumente alternative sau ale unor proiecte de dimensiuni mari. De asemenea, poate face apel la o evaluare de eligibilitate, menită a găsi o corespondenţă între intervenţiile specifice propuse şi criteriile care le asigură relevanţa, în cadrul unui program sau al unor regulamente de ansamblu. Poate face apel la o apreciere a transparenţei şi a credibilităţii intervenţiei propuse, astfel încât să permită aprecierea probabilităţii de obţinere a succesului.

    Apreciind capacitatea şi posibilităţile de alegere a intervenţiilor şi a instrumentelor

    Îmbunătăţirea managementului şi a rezultatelor

    Un proces de evaluare pe deplin integrat poate aduce o contribuţie deosebită asupra modului de administrare şi aplicare al programelor. Analizând datele rezultate în urma procesului de monitorizare şi investigând cauzele care au condus la dificultăţile cu care un program este confruntat, evaluarea poate pune la dispoziţia administratorilor de program un feed-back adecvat şi poate face posibile eventuale corecţii pe parcurs. Chiar şi într-un stadiu incipient, există de obicei rezultate preliminare, în special dacă avem de-a face cu o succesiune bine precizată a procesului de implementare bazată pe un model logic. Astfel, evaluarea procesului de implementare oferă rezultate încă din faze incipiente. Cu toate acestea, multe din problemele care apar încă din primele stadii ale implementării sunt direct legate de modul în care părţile interacţionează, de modul în care sunt adoptate deciziile şi sunt realizate planurile, de schimbările organizaţionale sau de noi parteneriate. Evaluarea acestor procese – chiar şi o descriere detaliată efectuată în mod direct – pot fi deosebit de utile atât părţilor implicate cât şi principalilor finanţatori şi administratori.

    Rezultate şi procese preliminare

    10

  • MANUALUL pentru Evaluarea Dezvoltării Socio-Economice: Capitolul I

    Identificarea realizărilor imediate, a rezultatelor pe termen scurt şi pe termen lung, precum şi a impacturilor Începând încă din primele faze, programele de dezvoltare socio-economică trebuie să dea rezultate. În fazele foarte incipiente, aceste rezultate imediate iau adesea forma realizărilor imediate (de exemplu, numărul de firme care primesc subvenţii pentru reînnoirea echipamentelor tehnologice, sau numărul de persoane aflate în şomaj care participă la cursuri de calificare). Cu toate acestea, politicienii sunt preocupaţi cu precădere de rezultate mai substanţiale, cum ar fi faptul că firmele îşi sporesc competitivitatea pe piaţă, sau de faptul că persoanele aflate în şomaj îşi pot găsi un loc de muncă. Este de aşteptat ca asemenea “efecte” să aibă un impact mai ridicat asupra obiectivelor urmărite de politicile socio-economice sau de program, cel puţin pe termen lung. Acest fapt permite evaluării să ridice întrebări precum: Poate fi considerată creşterea înregistrată de firmele regionale ca fiind durabilă? Sau, au fost îmbunătăţite în mod viabil perspectivele de angajare ale persoanelor aflate în şomaj de o perioadă îndelungată de timp? Pentru numeroşi politicieni/legislatori, identificarea, descrierea şi cuantificarea realizărilor imediate, a rezultatelor şi a impacturilor reprezintă avantajul major oferit de evaluare. Cu toate acestea, pentru ca întregul proces să fie cu adevărat util, politicienii/legislatorii trebuie să se asigure întotdeauna că obiectivele programului sunt clar stabilite şi că există o relaţie directă între intervenţiile efectuate şi obiectivele stabilite. La rândul lor, administratorii programelor - dacă este necesar chiar apelând la evaluatori şi lucrând împreună cu aceştia - trebuie să se asigure de existenţa unor sisteme de indicatori şi de monitorizare eficiente şi totodată, de existenţa unei legături directe şi clare între indicatorii aleşi şi obiectivele sau ţintele stabilite.

    Efecte şi rezultate substanţiale

    Identificarea consecinţelor nedorite şi a efectelor “perverse” Chiar şi atunci când programele şi instrumentele îşi îndeplinesc obiectivele fixate, acestea pot da naştere totuşi unor consecinţe nedorite, fie pozitive, fie negative. De exemplu, sprijinul acordat întreprinzătorilor rurali poate afecta negativ întreprinzătorii dintr-un oraş învecinat care activează în acelaşi sector de activitate sau pe aceeaşi piaţă. Uneori, aceste consecinţe nedorite pot avea efecte negative. De exemplu, un instrument menit să îmbunătăţească posibilităţile de angajare ale unui grup pe piaţa muncii poate avea consecinţe negative pentru un alt grup. În cazul cel mai nefavorabil, intervenţiile pot avea chiar şi un aşa-numit efect “pervers”: adică, pot conduce într-o direcţie total opusă celei dorite. De exemplu, o intervenţie menită a promova turismul, ca urmare a confuziei asupra a ceea ce reprezintă “cerere” pentru turism într-o regiune, poate să reducă turismul existent. A delimita clar rezultatele intervenţiilor de natură socio-economică, inclusiv consecinţele neaşteptate sau efectele “perverse” reprezintă un aspect esenţial. Acesta reprezintă şi o modalitate prin care evaluarea poate contribui la procesul de învăţare - în acest caz în special de învăţare a modului de realizare al intervenţiilor, de proiectare mai bună a

    Delimitarea consecinţelor nedorite este importantă pentru procesul

    11

  • MANUALUL pentru Evaluarea Dezvoltării Socio-Economice: Capitolul I

    programelor şi de înlăturare a intervenţiilor păgubitoare şi a efectelor “perverse”.

    de învăţare

    Niveluri de evaluare: politici, teme, programe şi proiecte Stabilirea unei relaţii între politici, programe, intervenţii specifice şi proiecte reprezintă o problemă constantă în evaluare. Adesea, programe bine realizate nu conduc întotdeauna la politici sau strategii eficiente, documente de programare bine întocmite nu se transpun în proiecte bune sau nu toate proiectele bune asigură în mod neapărat succesul unui program. Totuşi evaluarea stadiului de programare reprezintă în mod absolut un punct de plecare în evaluarea politicilor socio-economice, iar evaluarea proiectelor reprezintă un punct de plecare în evaluarea unui program. Evaluările tematice şi criteriile care derivă din politicile socio-economice, atunci când acestea sunt aplicate unui anume program, reprezintă modalităţi obişnuite de a introduce o dimensiune politică evaluării. Se manifestă în prezent o tendinţă de a muta obiectul evaluării la un nivel “superior”, şi de a acorda o atenţie sporită dimensiunii politice/strategice. Aceasta reflectă acordul şi dorinţa legislatorilor/politicienilor de a lua în considerare rezultatele evaluării. În acelaşi timp, prezintă o serie de provocări pentru evaluatori, în special deoarece aceştia doresc să analizeze rezultatele muncii lor într-un context mult mai larg. Considerarea dimensiunii politice poate, de asemenea, să sprijine procesul de evaluare al stadiului programării, de exemplu prin identificarea unor criterii orientate spre rezultate, care pot spori considerabil şansele succesului unui program. Cea mai mare parte a evaluării de proiect, cel puţin în cazul proiectelor mici, revine promotorilor de proiecte şi altor intermediari. Cea mai importantă excepţie apare în cazul proiectelor mari (de exemplu, proiecte de infrastructură), care prezintă numeroase din caracteristicile unui program, atât în termeni de complexitate cât şi de mărime. O sarcină frecventă ce revine managerilor de proiect şi promotorilor este aceea de a conduce un tip de evaluare internă, proprie. Cu toate că acest gen de evaluări pot fi adesea lipsite de autonomia considerată importantă pentru a garanta credibilitatea externă, totuşi ele pot aduce contribuţii importante programului. De exemplu, dacă a fost stabilit un cadru bine structurat pentru evaluarea proprie a unui proiect, există anumite garanţii care să ateste faptul că rezultatele vor fi sistematizate şi vor fi utile la nivelul programului. În plus, cerinţele pentru o evaluare proprie pot crea condiţii pentru feed-back şi pentru o atmosferă propice învăţării, atât în interiorul proiectului, cât şi în cadrul altor proiecte, ceea ce se va dovedi benefic pentru program în general. Toţi cei implicaţi în planificarea şi realizarea muncii de evaluare trebuie să cunoască clar legatura dintre politici, programe, proiecte şi evaluare tematică. Principiile elaborate în cadrul acestui MANUAL sunt în general aplicabile oricărui tip de evaluare.

    Stabilirea unei legături între intervenţii, programe şi politici constituie adesea o problemă …în special datorită faptului că există tendinţa de a muta obiectul evaluării la un nivel superior, cel a politicilor socio-economice Evaluarea internă poate fi benefică la nivelul intervenţiilor sau al proiectului

    1.2 INTRODUCERE ÎN EVALUARE: ISTORIC ŞI OBIECTIVE

    12

  • MANUALUL pentru Evaluarea Dezvoltării Socio-Economice: Capitolul I

    O scurtă istorie a evaluării Evaluarea a apărut ca o latură distinctă a practicii profesionale în America de Nord a anilor de după război. Trei dintre laturile mai importante ale perioadei de început au fost: evaluarea inovaţiilor din cadrul sistemului educaţional (de exemplu, eficienţa introducerii unei noi programe şcolare), stabilirea unei legături între evaluare şi alocarea eficientă a resurselor (de exemplu, prin procedeele planificării, programării şi prin sistemul bugetar) şi evaluarea programelor de luptă împotriva sărăciei (de exemplu, experimentele sociale din anii `60). Aceste laturi distincte definesc deja câteva dintre cele mai importante procedee de evaluare, încă utilizate şi astăzi, care includ studii cantitative şi experimentale folosind grupuri de control – care constituie baza a numeroase experimente şi teste efectuate în domeniul educaţional, metode de apreciere economice şi analize cost-beneficiu, şi, de asemenea metode participative şi calitative care implică în procesul de evaluare şi beneficiarii ţintă ai respectivelor programe.

    Diferite laturi ale procesului de evaluare

    Luând în considerare aceste stiluri diferite de evaluare, putem identifica patru tipuri de actori-cheie, ale căror opinii diferă uneori în legătură cu definirea priorităţilor evaluării. Aceste grupuri includ: legislatori, spre exemplu oficiali şi politicieni aleşi prin vot; interesele profesioniştilor şi ale specialiştilor în domeniu (ex. profesori

    din domeniul educaţional sau oameni de ştiinţă implicaţi în cercetare) manageri şi administratori, de exemplu funcţionari publici sau

    administratori ai agenţiilor publice locale; un mare număr de persoane afectate de intervenţia publică (de ex.,

    posibilii beneficiari ai unei asemenea intervenţii).

    Fiecare dintre aceste grupuri are o anumită opinie legată de modul în care evaluarea poate servi intereselor sale. De exemplu, legislatorii au tendinţa de a privi evaluarea ca pe un instrument menit să asigure responsabilizarea şi justificarea deciziilor politice; cetăţenii au cu precădere tendinţa de a privi evaluarea ca pe un instrument de responsabilizare şi ca pe o oportunitate de a adapta intervenţiile publice la necesităţile lor; managerii şi administratorii sunt adesea preocupaţi de aplicarea politicilor şi a programelor – de eficienţa cu care acestea sunt administrate şi organizate; în timp ce specialiştii în domeniu privesc adesea evaluarea ca pe o oportunitate de a îmbunătăţi calitatea muncii lor sau chiar autonomia asociaţiei profesionale din care fac parte. Aceasta nu înseamnă că evaluarea, în sensul său cel mai larg – desemnând aplicarea sistematizată a cercetării socio-economice - ar fi lipsit cu desăvârşire din Europa sau din alte părţi ale lumii. Cu toate acestea, a avut probabil impactul cel mai puternic în Europa de Nord şi în acele părţi ale Europei care aveau în mod special relaţii strânse cu Statele Unite şi Canada. Pornind din anii '70, evaluarea a început să fie folosită în diferite ţări europene, însă adesea utilizând procedee şi prezentând caracteristici diferite. În ţările scandinave, de exemplu, unde se pune un accent deosebit de puternic pe guvernarea democratică, evaluarea a urmat şi ea o direcţie similară. În Franţa, evaluarea a oglindit, până nu demult, trăsăturile unui stat francez caracterizat printr-o abordare formală, structurată la nivel central-guvernamental şi printr-o practică mai diversificată şi mai dinamică la nivelele regionale şi locale.

    Diferiţi actori cheie doresc ca evaluarea să le servească în diferite scopuri Există diferite “tradiţii” naţionale în realizarea evaluărilor

    13

  • MANUALUL pentru Evaluarea Dezvoltării Socio-Economice: Capitolul I

    Cu toate acestea, evaluarea nu poate fi considerată ca fiind un proces static în niciuna dintre aceste ţări. De exemplu, practica de evaluare din Franţa a evoluat în mod considerabil după anul 2000, datorită cerinţelor de reformă bugetară. În foarte multe ţări, accentul şi modul de cuantificare al activităţii de evaluare au reflectat adesea schimbările politice ale diferitelor guverne. De exemplu, în Marea Britanie, evaluarea a cunoscut o dezvoltare considerabilă o dată cu schimbarea guvernului în anul 1997. Fondurile Structurale Europene au jucat un rol deosebit de important în extinderea practicii de evaluare în interiorul Uniunii Europene. În cadrul fiecărui stadiu al ciclului de programare aplicat evaluării (evaluare ex-ante, intermediară şi ex-post), obiectivele şi responsabilităţile sunt clar stabilite. Faptul că introducerea evaluării în multe ţări din Sudul Europei a avut loc în urma cerinţelor formulate în cadrul regulamentelor Fondurilor Structurale este astăzi un aspect unanim recunoscut. Pornind de la începuturi relativ modeste în anul 1988, se poate vorbi astăzi despre o abordare deosebit de bine elaborată a Fondurilor Structurale în ce priveşte evaluarea. Această abordare include: o obligaţie legală pentru finanţatorii programului şi pentru manageri

    de a recurge la evaluare; o responsabilitate comună a diferitelor structuri guvernamentale faţă

    de întregul proces de evaluare; un proces de evaluare multifazic, interconectat (evaluare ex-ante,

    intermediară, ex-post); implicarea a numeroşi parteneri în programe şi în evaluarea

    acestora; legături clare între evaluare, pe de o parte, şi programe şi alocarea

    resurselor financiare publice, pe de altă parte.

    În ultima perioadă, se remarcă o diversificare a regulamentelor Fondurilor Structurale în ceea ce priveşte evaluarea (pentru detaliere, a se vedea Fig.1.2). Câteva dintre cele mai importante schimbări se referă la: trecerea de la obligativitatea de a realiza procesul de evaluare

    impusă din exterior, la o cerere pentru evaluare venită din interior, din partea managerilor de programe şi a legislatorilor înşişi;

    trecerea de la o evaluare a programelor făcută la finele unui ciclu de programare, la o evaluare pe deplin integrată în cadrul programelor încă de la început;

    trecerea de la publicarea rezultatelor evaluării din motive de responsabilizare, către o preocupare pentru o utilizare sistematizată a evaluării pe parcursul procesului de implementare al unui program;

    trecerea de la ideea conform căreia managementul procesului de evaluare era în mod esenţial un aspect strict legat de procedeele administrative sau contractuale, către un interes sporit acordat modului în care evaluarea poate contribui la dezvoltarea unui management bazat pe cunoaştere.

    Aceste schimbări au intervenit în paralel cu modificări de

    Abordarea Fondurilor Structurale privind evaluarea a evoluat în timp Au existat de asemenea modificări în dezvoltarea regulamentelor de evaluare Schimbări de responsabilitate /modificarea

    14

  • MANUALUL pentru Evaluarea Dezvoltării Socio-Economice: Capitolul I

    responsabilitate ale diferiţilor actori la nivel european, naţional şi regional, dar şi cu o extindere a importanţei acordate principiului de parteneriat. Lista potenţialilor iniţiatori ai proceselor de evaluare a fost extinsă astfel încât astăzi poate include, spre exemplu, autorităţi locale, parteneri sociali sau grupuri din cadrul societăţii civile. Reforma din cadrul Regulamentelor Fondurilor Structurale (a se vedea anexa B), pentru cea de-a treia generaţie de programe (2000-2006), deşi transferă multe din atribuţiile procesului de evaluare în competenţa statelor membre impune şi ca aceste evaluări să fie utilizate atât într-o fază ex-ante, cât şi într-una intermediară. Proceselor de revizuire a evaluărilor intermediare li se acordă denumirea de evaluări finale. Această combinaţie de transferuri de responsabilitate şi monitorizare externă din partea unor structuri guvernamentale superioare ierarhic reprezintă de asemenea un aspect tipic al evaluărilor din domeniul dezvoltărilor socio-economice.

    competenţelor în cadrul procesului de evaluare

    15

  • MANUALUL pentru Evaluarea Dezvoltării Socio-Economice: Capitolul I

    Box 1.2 Dezvoltarea Regulamentelor Fondurilor Structurale 1994 I 1999 2000 I 2006

    EVALUAREA EX-ANTE O evaluare ex-ante trebuie realizată în cadrul unui parteneriat între Comisie şi statul membru; trebuie în mod necesar să includă şi impactul asupra mediului înconjurător. Comisia evaluează planurile luând în considerare această evaluare de tip ex-ante.

    Statul membru deţine responsabilitatea principală pentru evaluarea de tip ex-ante. Obiectivul evaluării ex-ante este clar definit, o atenţie specială trebuie acordată impactului asupra mediului, pieţei muncii şi asupra promovării egalităţii şanselor pentru femei şi bărbaţi. Evaluarea ex-ante este încorporată în cadrul planurilor elaborate ulterior.

    EVALUAREA INTERMEDIARĂ Nu există nici un fel de precizări care să solicite ca informaţia să fie colectată şi comunicată. Nu există nici un fel de prevederi care să definească un anumit rol al Comitetului de Monitorizare în cadrul procesului de evaluare (în practică, principalul rol al Comitetului de Monitorizare a fost acela de a numi evaluatorii).

    Statul membru este responsabil pentru derularea evaluării intermediare, în parteneriat cu Comisia; Comisia este aceea care apreciază relevanţa procesului de evaluare. Obiectivul evaluării intermediare este unul bine definit. Evaluarea intermediară este organizată de către autorităţile relevante implicate în administrarea programului şi este realizată de un evaluator independent; trebuie să fie defintivată până la 31 Decembrie 2003. Pentru a facilita evaluările, autoritatea de management trebuie să creeze un sistem pentru colectarea datelor financiare şi statistice necesare pentru evaluările intermediare şi ex-post. Comitetul de Monitorizare analizează rezultatele evaluării intermediare şi pe această bază poate propune schimbări în structura programului. O versiune completată a evaluării intermediare va fi derulată până la finele anului 2005 cu scopul de a face pregătirile necesare pentru operaţiunile care se vor derula în continuare. (Această versiune mai completă, revizuită a evaluării intermediare poartă şi denumirea de evaluare finală).

    EVALUAREA EX-POST O evaluare ex-post trebuie realizată în cadrul unui parteneriat între Comisie şi statul membru, apreciindu-se impactul măsurilor adoptate în raport cu obiectivele urmărite.

    Comisia deţine responsabilitatea principală pentru evaluarea de tip ex-post, în parteneriat cu statul membru. Obiectivul evaluării de tip ex-post este unul bine definit. Evaluarea ex-post este realizată de către un evaluator independent, într-o perioadă de trei ani de la finele perioadei de programare.

    REZERVA DE PERFORMANŢĂ Înainte de 31 martie 2004, alocaţia în procent de 4% pentru fiecare

    stat membru, reţinută la începutul perioadei, este alocată ca o “rezervă de performanţă”, în baza documentelor fazei de programare a cărei performanţă este considerată a fi un succes de către Comisie. Performanţa este apreciată în baza unor indicatori, a eficienţei, a managementului şi a implementării finanaciare, care sunt definite de către statul membru în urma consultărilor cu Comisia.

    În ultima perioadă s-a manifestat o tendinţă puternică îndreptată cu precădere înspre reforma managementului public şi înspre introducerea conceptului de management al performanţei în administraţia publică în multe ţări europene şi în cadrul Comisiei Europene (a se vedea „Management Performant şi Eficient-SEM 2000”; şi „A cheltui mai eficient

    Legătura cu managementul performanţei

    16

  • MANUALUL pentru Evaluarea Dezvoltării Socio-Economice: Capitolul I

    - Implementarea Politicilor de Evaluare ale Comisiei Europene”). Această tendinţă continuă să se manifeste prin conectarea deciziilor financiare şi bugetare la un nivel de performanţă care în mod necesar trebuie cuantificat şi detaliat. Managementul performanţei atât la nivelul Comisiei Europene (a se vedea „Implementarea Managementului bazat pe activitate în cadrul Comisiei”), cât şi la nivelul statelor membre este acum reflectat de încă un element cuprins în cadrul cerinţelor de evaluare din cadrul regulamentelor existente, şi anume cele legate de Rezerva de Performanţă. Indicatorii de eficienţă a managementului şi ai implementării financiare trebuie colectaţi astfel încât să fie justificată returnarea fondurilor reţinute la începutul perioadei de programare. Diferite “tradiţii”şi surse

    Evaluarea are diferite surse şi nici nu se poate vorbi despre evaluare ca fiind o practică unitară, sau care derivă dintr-un singur set de procedee. Acest lucru se datorează parţial evoluţiei istorice a evaluării, atât în Europa cât şi în America de Nord. Aşa cum am menţionat deja, în mod obişnuit se poate vorbi de trei surse importante ale gândirii/şcolii de evaluare: 1/ iniţiativele Marii Societăţi din Statele Unite din anii '60, 2/ inovaţiile aduse în domeniul educaţional şi în special introducerea unor programe şcolare inovatoare şi 3/ introducerea controlului bugetar şi a sistemelor de eficienţă, ca de exemplu Sistemele de Planificare, Programare şi Bugetare (PPBS). Acestor trei surse distincte, li se mai pot adăuga managementul prin obiective, cercetarea participativă în domeniul dezvoltării comunităţilor sau al dezvoltării rurale, managementul bazat pe rezultate şi multe altele. O modalitate de a distinge între aceste surse este aceea de a analiza exemple particulare şi de a pune accent pe ideile şi teoriile principale care stau la baza diferitelor procedee de evaluare.

    Numeroase surse şi origini diferite

    Putem descrie patru astfel de seturi de teorii: Cercetare şi metode ştiinţifice. Multe dintre ideile şi metodele de bază folosite în evaluare provin din ştiinţele sociale şi economice. Pornindu-se de la o logică ce combină testări de ipoteze, observaţii, colectare şi analize de date, sunt în permanenţă căutate explicaţii pentru fenomenele observate. În cadrul programelor socio-economice complexe, aceste explicaţii sunt rareori uşor de furnizat. O bună parte a muncii evaluatorilor este reprezentată în fapt de încercarea de a atribui rezultatele observate resurselor financiare publice folosite şi invers. Teoria economică şi alegerile publice. Gândirea economică influenţează evaluarea la diferite nivele. Acestea includ noţiuni de eficienţă şi alocare adecvată a resurselor financiare publice limitate, noţiuni despre stimuli şi comportamente instituţionale (în special la nivel macroeconomic) şi studii la nivel macroeconomic care încearcă să identifice efectele agregate ale intervenţiilor politice (de exemplu, în termeni de competitivitate sau de PIB). Teoria managerială şi organizaţională. Aceasta a căpătat o influenţă mai notabilă în cadrul evaluării în decursul ultimelor perioade, pe măsură ce accentul a fost pus din ce în ce mai mult pe implementare şi pe punerea

    Patru surse de idei şi teorie

    17

  • MANUALUL pentru Evaluarea Dezvoltării Socio-Economice: Capitolul I

    în practică a programelor şi politicilor. Acest curent de gândire scoate în evidenţă aspecte legate de contextul organizaţional, de coordonarea inter-organizaţională (de exemplu, prin intermediul parteneriatelor sau prin crearea de consorţii), precum şi aspecte legate de motivare, drept de proprietate şi participare. Ştiinţele politice şi administrative. Pe măsură ce programele publice şi administratorii acestora au în vedere probleme legate de procesul politic şi de reforma sectorului public, ei au reuşit să tragă din ce în ce mai multe concluzii legate guvernare, responsabilizare şi cetăţenie. Multe dintre teoriile principale ale reformei sectorului public şi ale noului model de management al sectorului public, precum transparenţă şi responsabilizare au fost influenţate de aceste perspective. În plus, mediul politic contemporan evidenţiază din ce în ce mai stringent importanţa obţinerii consensului în întărirea legitimităţii acţiunilor politice. Din cele discutate anterior rezultă în mod evident că evaluatorii pot avea profesii diferite. Pot fi economişti - preocupaţi de probleme legate de eficienţă şi costuri, consultanţi de management - interesaţi de funcţionarea corespunzătoare a organizaţiei sau analişti politici, fiind interesaţi de reforma dintr-un anumit sector şi de problematica transparenţei, sau, pur şi simplu, oameni de ştiinţă (din diverse discipline), interesaţi de stabilirea adevărului, de descoperirea a noi informaţii şi de a confirma/infirma ipoteze diverse. Una dintre cele mai mari probleme cu care se confruntă cei care conduc sau care apelează la o evaluare este aceea de a alcătui o “echipă” adecvată de persoane competente, care să poată combina în mod eficient toate aceste stiluri de evaluare (acest aspect va fi abordat pe larg în Capitolul al doilea al acestui MANUAL, care va analiza în detaliu “profilul” unei echipe de evaluare şi modalităţile de selecţie ale evaluatorilor potriviţi). La nivel naţional sau european, unul din rolurile cheie ale evaluării, acela de sporire a capacităţii, se manifestă prin a pune în legătură grupuri diferite ale comunităţilor de evaluatori profesionişti. Organizarea de conferinţe, reţele şi societăţi profesionale care reunesc evaluatori din diferite medii reprezintă modalităţi de a spori gradul de cunoaştere dintre aceştia, dar şi de a transmite şi de a împărtăşi practici, cunoştiinţe, expertiză (aceste aspecte vor fi discutate pe larg in capitolul al doilea al acestui MANUAL).

    Îmbinarea diversităţii în cadrul unei echipe de evaluare

    În ciuda acestor diferenţe privind sursele şi procedeele de evaluare, se pot distinge totuşi câteva tipuri principale de evaluare. Acestea pot fi analizate în funcţie de două criterii principale. Un prim criteriu se referă la obiectivele evaluării, iar cel de-al doilea are în vedere metodologia aplicată în cadrul procesului de evaluare.

    Principalele obiective ale evaluării

    Evaluările pot servi întotdeauna unui scop mai larg, cum ar fi acela de a aduce o contribuţie semnificativă unui anumit domeniu al politicii publice sau al programului. Evaluarea poate avea unul din următoarele cele mai cunoscute scopuri:

    18

  • MANUALUL pentru Evaluarea Dezvoltării Socio-Economice: Capitolul I

    Planificare/eficienţă – a se asigura că există o justificare clară pentru o anume politică/program şi că resursele financiare publice sunt utilizate în mod eficient.

    Responsabilizare – a demonstra măsura în care un program şi-a atins

    obiectivele şi cât de eficient au fost utilizate resursele financiare publice.

    Implementare – a îmbunătăţi performanţa programelor şi eficienţa

    modului în care ele sunt aplicate şi administrate. Furnizarea de cunoaştere - a spori nivelul de înţelegere al măsurilor

    care pot fi utilizate în diferite circumstanţe şi al modului în care se poate spori eficiernţa diferitelot măsuri şi intervenţii.

    Întărirea capacităţii instituţionale – îmbunătăţirea şi dezvoltarea

    capacităţii participanţilor la program, reţelelor şi instituţiilor acestora.

    Cinci obiective diferite

    Fiecare dintre aceste scopuri ale evaluării prezintă interes diferit pentru diverşi actori cheie şi în general le sunt asociate variate tipuri de întrebări de evaluare, de exemplu: Dacă scopul evaluării este reprezentat de planificare/eficienţă,

    evaluarea va fi utilă în principal persoanelor responsabile cu planificarea şi politicienilor, dar şi cetăţenilor în general. Aceşti actori- cheie vor fi în general preocupaţi de modul în care resursele financiare publice sunt alocate între diverse obiective concurente şi de modul în care acestea sunt apoi utilizate. Ei vor dori să afle răspunsuri la întrebări precum: Este acesta cel mai bun mod în care pot fi utilizaţi banii publici? Există modalităţi alternative de folosire a resurselor care pot aduce beneficii sporite? Există o echivalenţă între costurile presupuse de intervenţii, pe de o parte şi beneficiile aşteptate, pe de altă parte?

    Dacă scopul evaluării îl constituie responsabilizarea, atunci va fi utilă

    politicienilor, finanţatorilor programelor şi parlamentelor. Ea răspunde acelor iniţiatori care, având un program sau o politică socio-economică deja aprobată, doresc să afle ce s-a întâmplat cu resursele alocate. Acest tip de evaluare răspunde la întrebări precum: Cât de mare a fost succesul înregistrat de programul respectiv? Obiectivele programului au fost îndeplinite? Au fost banii cheltuiţi în mod eficient şi care a fost impactul înregistrat?

    Dacă scopul evaluării este implementarea, atunci va fi utilă în principal

    managerilor de programe şi principalilor parteneri implicaţi în program. Aceşti iniţiatori de programe sunt în principal interesaţi de îmbunătăţirea managementului şi a modului de aplicare a programelor, etape de care sunt direct responsabili. Acest tip de evaluare răspunde la întrebări precum: Este managementul eficient? În ce măsură sunt partenerii de program implicaţi? Este definită eligibilitatea (ce zone, ce grupuri ţintă etc. sunt eligilibile pentru a primi asistenţă prin program)? Este respectat graficul de timp stabilit?

    Dacă scopul evaluării este de a furniza cunoaştere, aceasta va veni

    cu precădere în întâmpinarea nevoilor politicienilor şi a celor implicaţi

    Diferite obiective prezintă interes pentru actori -cheie diferiţi ....şi ridică probleme de evaluare diferite

    19

  • MANUALUL pentru Evaluarea Dezvoltării Socio-Economice: Capitolul I

    în planificare – incluzându-i şi pe cei implicaţi în planificarea de noi programe. Aceşti actori-cheie doresc să ştie în ce măsură ipotezele programelor sunt confirmate şi ce învăţăminte pot fi trase pentru viitor. Acest tip de evaluare răspunde la întrebări precum: Ce am învăţat din ceea ce s-a dovedit că funcţionează? Sunt mecanismele de intervenţie şi de schimbare mai bine înţelese? Este necesar să analizăm logica programului sau ipotezele sale de bază? Este aceasta o modalitate eficientă de atingere a obiectivelor - sau există alternative mai bune? Care este dovada eficienţei intervenţiilor efectuate?

    Dacă scopul evaluării este reprezentat de îmbunătăţirea capacităţii

    instituţionale, atunci ea va fi utilă partenerilor implicaţi în program şi altor actori-cheie. Aceştia vor fi interesaţi de modul în care îşi pot spori eficienţa, de modul în care capacităţile lor pot fi extinse sau de modul în care beneficiarii pot obţine maximum din ceea ce un program poate oferi. Acest tip de evaluare oferă răspunsuri la întrebări precum: Sunt beneficiarii (inclusiv comunităţile locale) suficient de implicaţi în conceperea programului şi a măsurilor acestuia? Ce poate fi făcut pentru a spori gradul de participare şi obţinere a consensului? Sunt mecanismele programului îndeajuns de durabile, iar abordarea este descentralizată?

    Învăţarea ca obiectiv general al evaluării

    Este uneori sugerat faptul că evaluarea poate fi privită ca având un obiectiv general, atotcuprinzător, în cadrul cărora pot fi incluse toate celelalte obiective discutate mai sus. Acest obiectiv general are în vedere procesul de învăţare, iar evaluarea, privită din această perspectivă, are drept scop:

    a învăţa prin intermediul unei analize sistematizate a modului în care pot fi elaborate, implementate şi aplicate mai bine programele şi politicile publice.

    Importanţa acordată procesului de învăţare subliniază o trăsătură cheie a evaluării, trăsătură care este într-o mare măsură în acord cu necesităţile programelor de dezvoltare socio-economică. Aşa cum am arătat deja, în cadrul acestor programe, baza de cunoştiinţe pusă la dispoziţie nu este una perfectă, şi se manifestă o nevoie constantă de a dobândi mai multe informaţii despre diferite contexte şi despre modul de combinare mai eficientă a diferitelor măsuri. Accentul pus pe procesul de învăţare evidenţiază de asemenea un alt aspect deosebit de important al procesului de evaluare, un element cheie al capacităţii de evaluare, care va fi dezbătut pe larg în continuare. Este unanim recunoscut faptul că pentru ca o evaluare să fie în mod adecvat integrată în cadrul procesului de elaborare a unei politici, trebuie să existe totodată un cadru propice învăţării, în care succesul, dar şi problemele şi eşecurile unui program să fie luate în considerare pentru a trage învăţăminte utile pentru viitor.

    Trebuie să învăţăm cum poate fi îmbunătăţită dezvoltarea socio-economică

    20

  • MANUALUL pentru Evaluarea Dezvoltării Socio-Economice: Capitolul I

    1.3 METODE ŞI SURSELE ACESTORA

    Capitolul al IV-lea al acestui MANUAL descrie în detaliu metodele, instrumentele şi tehnicile utilizate în evaluare. Accentul va fi pus în principal pe fundamentele acestor metode şi instrumente. Sunt descrise cinci procedee metodologice complexe, după care este dezbătut modul în care acestea sunt interconectate cu diferite şcoli filosofice care au avut o influenţă puternică în cadrul ştiintelor sociale aplicate sau al ştiintelor economice.

    Perspective metodologice

    Având în vedere metodologia evaluării şi luând în considerare diferitele abordări ale procesele de evaluare discutate mai sus, putem distinge cinci perspective metodologice: Perspectiva alocării resurselor, care are în vedere utilizarea eficientă

    a resurselor, atât prospectiv, în termenii planificării, cât şi retrospectiv, având în vedere modul în care resursele au fost utilizate.

    Perspectiva bazată pe standarde sau ţinte, care are în vedere aprecierea succesului sau a performanţelor prin raportarea la anumite criterii.

    Perspectiva explicativă, care are în vedere explicarea impacturilor şi a succesului unui program şi furnizarea de aserţiuni de natură cauzală cu privire la a ceea ce dă rezultate, cum şi în ce condiţii.

    Perspectiva de formare / orientată spre schimbare, ce oferă pe parcusrul existenţei unui program un feed-back pozitiv şi de o complexitate sporită, foarte util pentru funcţionarea eficientă a unui sistem propriu de corecţie şi monitorizare.

    Perspectiva participativă/evolutivă, care încearcă să dezvolte reţele, comunităţi şi teritorii, utilizând metode participative, şi o structură de tip descentralizat.

    Cinci procedee metodologice

    Toate aceste consideraţii metodologice pot fi deosebit de folositoare în evaluare deoarece ne permit să realizăm diferite demersuri. Unele dintre acestea vor părea extrem de familiare acelora care au deja experienţă în evaluarea politicilor şi a programelor, de exemplu: O analiză cost-beneficiu, utilizată în stadiul de evaluare a proiectelor,

    reprezintă un exemplu adecvat al unei prespective de alocare a resurselor.

    Un studiu indicator care analizează gradul în care un program şi-a îndeplinit obiectivele reprezintă un exemplu elocvent al perspectivei bazată pe standarde/obiective.

    O evaluare intermediară, menită a oferi un feed-back adecvat care să

    permită managerilor de programe şi partenerilor să nu devieze de la obiectivele propuse iniţial şi dacă este necesar să reorienteze anumite programe, constituie un bun exemplu pentru perspectiva de formare.

    O evaluare tematică menită să analizeze efectele produse de diferite

    tipuri de intervenţii şi care încearcă să înţeleagă care sunt acele tipuri de intervenţii capabile să sprijine în mod eficient întreprinderile mici şi mijlocii şi în ce condiţii – ar reprezenta un exemplu pentru perspectiva explicativă.

    Diferite tipuri de evaluare ne permit să realizăm diferite lucruri Adevărata provocare

    21

  • MANUALUL pentru Evaluarea Dezvoltării Socio-Economice: Capitolul I

    O evaluare desfăşurată la nivel local, menită să conducă la obţinerea

    consensului între actorii locali, să sprijine problemele aflate deja pe agenda lor de lucru şi să le dezvolte capacităţile ar reprezenta o exemplificare a procedeului participativ, de tip descentralizat.

    Una dintre principalele caracteristici ale intervenţiilor de dezvoltare socio-economică este reprezentată de modul în care reuşesc să combine diferite programe în cadrul unui anumit sector de activitate sau teritoriu.

    presupusă de evaluarea programelor complexe

    Programele provin din diferite zone sau domenii ale politicii socio-economice: educaţie şi recalificare, cercetare şi dezvoltare tehnologică, mediu, dezvoltarea infrastructurii etc. Aceasta reprezintă una dintre provocările distincte cu care evaluatorii programelor de dezvoltare socio-economică se confruntă, şi anume modul în care să evalueze seturi complexe de intervenţii interconectate între ele, apreciind totodată nu numai contribuţia fiecărui element în parte, ci şi a sinergiilor existente între elemente. Fiecare dintre aceste domenii sau sectoare ale politicii socio-economice au modalităţi tradiţionale de evaluare, precum şi teorii specifice care se pot dovedi a fi dificil de combinat. Există, cu siguranţă, motive întemeiate datorită cărora evaluarea prezintă procedee şi metode specifice, adecvate diferitelor domenii ale politicilor socio-economice. Aceste diferenţe tind să reflecte caracteristici, obiective şi aşteptări de natură politică specifice fiecărui domeniu de politici socio-economice – iar acest lucru afectează şi tipurile de măsuri sau de indicatori care pot fi folosiţi, ca şi întregul procedeu de evaluare ce se impune a fi utilizat. De exemplu, evaluările intervenţiilor din domeniul ştiinţei şi tehnicii utilizează cu precădere indicatori bibliometrici drept măsură de cuantificare a rezultatelor cercetării, în timp ce evaluările intervenţiilor din domeniul educaţional depind într-o mare măsură de indicatorii de măsurare a performanţelor studentului. În unele domenii ale politicii socio-economice, poate exista o tradiţie ca managerii de programe să realizeze propria lor evaluare asupra intervenţiilor pe care le administrează. Un exemplu ar fi programele internaţionale de dezvoltare, în care evaluarea se realizează sub forma analizării documentelor proiectelor din teren efectuată de către managerii responsabili de portofoliul respectiv de proiecte dintr-o ţară sau sector de activitate aflate în curs de dezvoltare. În alte sectoare ale politicii socio-economice, implicarea directă a managerilor care administrează proiectele supuse evaluării ar fi pusă sub semnul întrebării, din punct de vedere al independenţei şi al obiectivităţii. Efectuarea unei evaluări economice a proiectelor de infrastructură înainte de a aloca resursele financiare publice unor asemenea proiecte este considerat un aspect cât se poate de firesc. Acest lucru însă nu este atât de des întâlnit în cazul proiectelor în care investiţiile în infrastructură reprezintă doar o mică parte din resursele totale alocate unei anume intervenţii.

    Fiecare sector al politicilor socio-economice are propriile sale “tradiţii” de evaluare şi teorii

    Trei Curente Filozofice Trei curente filozofice marchează abordările metodologice de mari dimensiuni utilizate în evaluarea programelor de dezvoltare socio-economică.

    • Pozitivismul – acest curent filozofic a influenţat diferite domenii ale

    22

  • MANUALUL pentru Evaluarea Dezvoltării Socio-Economice: Capitolul I

    ştiinţei, începând cu secolul al XVIII-lea. Curentul pozitivist porneşte de la premisa că este posibilă obţinerea cunoaşterii obiective prin observaţie. Astfel, diferite persoane, aplicând acelaşi tip de instrumente de observare, ar trebui să obţină rezultate identice, rezultate care, atunci când sunt analizate folosindu-se aceleaşi tehnici obiective ar trebui să conducă la aceleaşi descoperiri, fără a avea importanţă persoana care a aplicat respectivele tehnici. Curentul pozitivist avea ca obiectiv descoperirea principiilor şi a regulilor (asemănătoare celor existente în ştiinţele naturii). Explicaţia se bazează pe agregarea elementelor individuale şi a comportamentelor şi interacţiunilor dintre acestea. Aceasta constituie de altfel şi baza reducţionismului, unde întregul este înţeles prin analizarea părţilor componente, cât şi a metodelor bazate pe chestionare şi a modelelor econometrice utilizate în evaluare. În cel mai bun caz, aceste metode pot oferi dovezi cuantifiabile privind relaţiile dintre resursele alocate unor intervenţii şi rezultatele obţinute în urma acestor intervenţii. Limitările curentului pozitivist în contextul evaluării dezvoltării socio-economice sunt evidenţiate de dificultăţile presupuse de modul de cuantificare al multora dintre rezultatele care prezintă interes, de complexitatea interacţiunilor dintre intervenţii şi alţi factori, precum şi de absenţa unor informaţii suficiente legate de măsurile care pot fi aplicate în mod eficient în anumite situaţii.

    Limitările unei forme “pure” de pozitivism sunt astăzi bine cunoscute. Între acestea putem include: dificultăţile presupuse de observarea “realităţii”, întrucât tot ceea ce poate fi observat este în general incomplet şi de aceea necesită o interpretare bazată pe anumite contexte şi teorii; imposibilitatea de a evita efectele de “instrument”, întrucât tot ceea ce poate fi observat este întotdeauna intermediat, simplificat sau chiar distorsionat de instrumentele şi tehnicile utilizate în colectarea datelor; dificultatea inerentă oricăror tipuri de comunităţi umane de a găsi principii şi “legi” care să nu difere în funcţie de contextul local; probleme de complexitate, unde fenomenele înseşi suferă modificări pe măsură ce interacţionează – adesea în moduri imposibil de prevăzut; şi totodată aprecierile subiective, curpinzând judecăţi de valoare ale persoanelor care îşi construiesc o realitate proprie – importante în special în numeroase contexte de dezvoltare socială în cadrul cărora probleme precum excluziunea socială reprezintă nu numai o problemă ce merită a fi analizată, dar şi o realitate incontestabilă.

    Aceste limitări ale curentului pozitivist au condus la apariţia a numeroase şcoli post-pozitiviste. Cea mai radicală dintre aceste şcoli, care respinge aproape în totalitate ideile pozitiviste este “constructivismul”, care neagă posibilitatea existenţei unei cunoaşteri obiective. Realismul, pe de altă parte, pune accent pe înţelegerea diferitelor contexte şi pe teoriile şi principiile care dau naştere la diferite explicaţii şi interpretări. Astfel:

    Dezvoltarea socio-economică diferă în medii diferite-principii comune sunt dificil de întâlnit în contexte diferite

    Constructivismul susţine că lumea poate fi înţeleasă doar prin intermediul teoretizării observaţiilor; “construcţiile” există, însă nu pot fi în mod necesar cuantificate, faptele sunt mereu încărcate de teorie, iar faptele şi valorile sunt interdependente. Potrivit acestui curent, în centrul procesului de descoperire a cunoştiinţelor se află evaluatorii şi iniţiatorii de programe. Evaluatorul îşi va asuma cu precădere un rol interactiv, de coordonare a procesului, de a oferi răspuns la întrebări,

    Părerile actorilor cheie sunt cele care contează

    23

  • MANUALUL pentru Evaluarea Dezvoltării Socio-Economice: Capitolul I

    reunind diferite grupuri de actori-cheie cu opinii divergente, în vederea realizării unei analize comune şi a atingerii consensului. Evaluatorul joacă un rol cheie în stabilirea priorităţilor şi în medierea negocierilor dintre actorii-cheie. Actorul-cheie reprezintă deseori cea mai importantă sursă de informaţii, însă analizele specifice şi informaţiile provenite din surse externe trebuie luate în considerare şi folosite pentru a oferi şi puncte de vedere diferite.

    Realismul reprezintă acel curent care caută să deschidă “cutia neagră” a politicilor şi programelor, pentru a pune în evidenţă mecanisme răspunzătoare pentru o schimbare de un anume tip. Propunându-şi acest lucru, curentul filozofic recunoaşte faptul că programele şi politicile sunt adânc înrădăcinate în procese sociale şi organizaţionale multistratificate, precum şi faptul că influenţa acestor dimensiuni diferite şi a contextelor variate trebuie luată în considerare. O importanţă deosebită este acordată analizei sociale, explicându-se diferite principii, ţinându-se cont de modelul “context-mecanism-rezultat”. Sistemele analizate sunt considerate sisteme “deschise”. În cadrul acestui curent de gândire, evaluatorii încearcă să identifice mecanismele cauzale şi să explice motivele pentru care anumite procedee oferă rezultate bune în anumite contexte. Adesea, evaluatorul dezvoltă o relaţie de tip “profesor - elev” cu legislatori, practicieni şi cu alţi participanţi la acest proces. Evaluările tematice tind să se deruleze în conformitate cu un asemenea model. Mergând mai în profunzime, studiile de caz comparative reprezintă abordări caracteristice ale practicii de evaluare influenţate de curentul realist.

    Deschidearea “cutiei negre”pentru a stabili mecanisme cauzale

    În practică, evaluatorii rare ori îşi desfăşoară activitatea în conformitate cu unul dintre aceste curente filozofice, însă, în funcţie de circumstanţele specifice ale evaluării, se vor apropia mai mult de un curent sau de altul. În termeni generali, procedeele de evaluare aplicate în conformitate cu gândirea pozitivistă vor fi utile cu precădere în faza de revizuire a politicilor sau programelor. Abordările realiste pot conduce la o serie de informaţii foarte utile în faza formativă, în special în cazul când evaluarea vizează dezvoltarea unei politici socio-economice. Abordările constructiviste pot fi în mod special utile în “a face ca programele să funcţioneze în mod corect”, însă depind într-o mare măsură de încrederea şi de relaţiile existente între evaluator şi actorii-cheie.

    Este deosebit de important să identificăm aceste curente filozofice, chiar şi numai datorită faptului că ele sunt extrem de utile în a explica motivele pentru care evaluarea prezintă abordări atât de diferite. A defini în mod explicit aceste curente şi a-şi forma totodată propriile preferinţe reprezintă cu siguranţă aspecte foarte folositoare pentru evaluatori (cât şi pentru cei care apelează la evaluare).

    Combinând cele două “axe” ale obiectivelor şi metodologiei de evaluare, putem identifica măcar câteva dintre diferitele tipuri de evaluare care se folosesc în mod frecvent pentru programele de dezvoltare socio-economică. Cele două axe şi tipurile de evaluare sunt prezentate în Fig.1.3. Cu siguranţă, cererile de evaluare specifice vor avea în mod normal mai multe obiective şi vor apela la diferite tipuri de metode. De exemplu, o evaluare de “tip formativ” menită a îmbunătăţi implementarea programului poate, de asemenea, să genereze şi cunoaştere; tot în acest fel, tipurile de evaluare utilizate în managementul performanţei pot ajuta, dacă sunt administrate în mod adecvat, la dezvoltarea instituţiilor şi a

    24

  • MANUALUL pentru Evaluarea Dezvoltării Socio-Economice: Capitolul I

    reţelelor. Astfel, o anumită evaluare nu va corespunde în mod neapărat cu exactitate unuia dintre cele cinci tipuri prezentate. Mai degrabă, se poate afirma că aceasta prezintă, în mod aproximativ, caracteristicile unui anume tip. În acelaşi timp, un “sistem de evaluare” va reflecta elemente cuprinse în diferite tipuri de evaluare. Fig. 1.3 Cele două axe ale evaluării: Scop şi Metodologie

    ImbunatatireSchimbare

    Explicatie

    Evolutiv/Participativ

    Standarde siobiective

    Alocarearesurselor

    Planning/Efficiency Responsabilizare

    - Implementare- Productie bazatape cunoastereIntarirea capacitatii

    institutionalePlanificare/Eficienta

    O B I E C T I V E

    Alocativa/Economica

    Management/Performata

    Formativ

    Cauzal/Experimental

    Participativ

    METODOLOGIE

    La intersecţia celor două axe – scop şi metodologie, pot fi observate cinci tipuri principale de evaluare. Acestea sunt: Evaluări alocative/economice – situate la intersecţia dintre planificare şi eficienţă, pe de o parte şi metodologia de alocare a resurselor pe de altă parte; Evaluări orientate spre management/performanţă, situate la intersecţia între responsabilizare şi stabilirea ţintelor şi a standardelor, ca metodologie; Evaluări formative, situate la intersecţia între implementarea şi aplicarea programelor şi metodologiile care au ca scop relizarea unor îmbunătăţiri şi modificări; Evaluări cauzale/experimentale, situate la intersecţia între furnizarea cunoaşterii şi metodologii care încearcă să asigure explicaţii pentru efectele obţinute în urma unei intervenţii; Evaluări participative, situate la intersecţia între întărirea capacităţii instituţionale sau de reţea şi metodologiile de dezvoltare socială sau organizaţională.

    Cinci tipuri principale de evaluare

    25

  • MANUALUL pentru Evaluarea Dezvoltării Socio-Economice: Capitolul I

    Aceste “tipologii” nu pot fi localizate cu exactitate, deşi a le plasa, chiar şi de o manieră aproximativă, se poate dovedi a fi extrem de util. De exemplu, evaluarea formativă poate de asemenea să întărească capacitatea instituţională şi să vină în ajutorul managementului în îndeplinirea obiectivelor; evaluarea alocativă/economică poate aduce contribuţii unor obiective de responsabilizare şi să furnizeze cunoaştere – şi în egală măsură poate contribui la planificarea şi la adoptarea unor decizii de eficienţă în faza ex-ante. Cu toate acestea, aceste tipologii nu surprind decât câteva dintre principalele curente de gândire legate de evaluare şi de dezvoltarea socio-economică. Am subliniat, de exemplu importanţa managementului performanţelor, a participării şi a întăririi capacităţii instituţionale, şi toate acestea sunt încorporate în tipologiile de evaluare identificate anterior.

    Aceste cinci tipuri de evaluare oferă un punct de plecare extrem de util discuţiei despre instrumentele şi tehnicile evaluării din capitolul al patrulea al acestui manual şi din cărţile de fundamentare.

    O importantă distincţie trebuie făcută în cadrul acestei diversităţi de scopuri, metode şi tipologii de evaluare. Această distincţie se referă la diferenţa între evaluările care au ca scop să aprecieze, cuantifice şi să demonstreze eficienţa politicilor şi a programelor şi acele evaluări care au ca scop să furnizeze recomandări, să dezvolte şi să îmbunătăţească politicile şi programele. Multe dintre evaluările cerute în cadrul Fondurilor Structurale Europene fac parte din prima categorie, deşi se aşteaptă totuşi ca evaluările ex-ante şi intermediară să contribuie într-o anumită măsură şi la îmbunătăţirea programului.

    Cu toate acestea, numeroase evaluări derulate în cadrul contextului de dezvoltare socio-economică sunt în întregime orientate către a furniza recomandări, pentru dezvoltarea socio-economică şi pentru îmbunătăţirea programelor. Acest MANUAL doreşte să aibă în vedere ambele abordări, deşi implicaţiile acestora sunt total diferite. De exemplu, evaluările de natură externă, care au ca scop să aprecieze şi să cuantifice eficienţa, au în vedere într-o mai mare măsură structurile evaluării, inclusiv independenţa acestora. Pe de altă parte, evaluările de natură internă sunt în mai mică măsură preocupate de problema independenţei/autonomiei, comparativ cu importanţa acordată oferirii de recomandări oportune şi furnizării de resurse care pot întări structura programelor din interior. Utilizatorii acestui MANUAL trebuie să aibă în vedere această distincţie.

    Patru tipologii teoretice relevante în evaluare

    Importanţa acordată “teoriei” a crescut din ce în ce mai mult. Acest lucru