Metode_utilizate_in_evaluarea_programelor

8/7/2019 Metode_utilizate_in_evaluarea_programelor

1/103

METODE UTILIZATE N EVALUAREA PROGRAMELOR: ANALIZA IMPACTULUI SOCIAL

Raluca Grboan


2/103

Argument .....................................................................................................................................

I. EVALUAREA PROGRAMELOR.......................................................................................Capitolul 1. Evaluarea programelor .............................................................................................Capitolul 2. Tipurii sisteme de evaluare......................................................................................1Capitolul 3. Metode de cercetare utilizate n evaluare.................................................................Capitolul 4. Metodei modele de evaluare a programelor ............................................................4II. IMPACTUL SOCIAL AL PROGRAMELOR .......................................................................Capitolul 1. Impactul social al programelor -stadiul actual al cunoaterii ....................................58Capitolul 2. Principii ale impactului social..................................................................................Capitolul 3. Metodologia de evaluare a impactului social...........................................................Capitolul 4. Designul indicatorilor unui studiu de impact social.................................................III. APLICAII ..............................................................................................................................

Capitolul 1. Evaluarea impactului unui parc industrial Analiza contextului, identificareanevoilor i a problemelor sociale, elemente de benchmarking.....................................................Capitolul 2. Impactul social al unui Centru de Zi pentru copiii provenii din familii defavorizate-designul unei evaluri ....................................................................................................................9Capitolul 3. Impactul social al unui muzeu-indicatori de performan i raport executiv............96Concluzii: Cultura evalurii n administraia public romneasc ...............................................97


3/103

ArgumentPentru ca programele finanate sau co-finanate din bani publici s i ndeplineasc scopul i

obiectivele cu maxim eficien este necesar evaluarea lor i msurarea impactului pe care l au asupra

indivizilor, grupurilor i comunitilor.Scopul acestei cr i este de a evidenia beneficiile evalurii n generali a studiilor de impact nspecial n managementul proiectelor i programelor finanate sau co-finanate din bani publici. Un accentdeosebit va fi pus pe studiile de impact sociali pe metodele utilizate pentru realizarea acestora. Analizaimpactului social reprezint o metod specific de evaluare a politicilor, programelor i proiectelor.Impactul social va fi prezentat n contextul evalurii politicilor, programelor i proiectelor finanate sauco-finanate din bani publici.

Accentul pe sfera public se justific prin necesitatea de a pune la dispoziia autoritilor publicecentralei locale un set de instrumente cu ajutorul crora s-i fundamentezetiinific deciziile legate depoliticile, programelei proiectele iniiate i s poat anticipa rezultatele anumitor aciuni. Guvernelestatelor occidentale, instituiile financiare internaionale i ali finanatori responsabili cer i utilizeaz astfel de studii. Este timpul ca administraia public din Romnia s fac acelai lucru, avnd n vedere pe

de o parte orientarea administraiei publice spre munca pe baza unor programei proiecte, iar pe de alt parte dimensiunile finanrilor prin proiecte odat cu accesul Romniei n Uniunea European.Prezentul studiu este de asemenea un ghid care are intenia de a aduce evaluarea pe masa de lucru a

coordonatorilor de proiecte din Romnia, proiecte finanate sau co-finanate din bani publici. Acetia potfi funcionari publici, sau colaboratori ai instituiilor publice (provenii din sectorul non-profit sau privat).Cartea se adreseaz i altor membri din echipele de proiect cu responsabiliti n procesul de evaluare,evaluatorilor externii factorilor de decizie implicai n susinereai derularea proiectelor. Se urmretefurnizarea de informaii despre stadiul actual al cunoaterii n evaluarea de proiecte, despre cum seorganizeaz o evaluarei cum se realizeaz aceasta n practic.

Personalul implicat n managementul proiectelor, far cunotine prealabile de evaluare sau cu noiunielementare n acest sens, va reui cu ajutorul acestui ghid s realizeze evaluarea intern, necesar i util proiectelor, pornind de la criteriitiinifice, riguroase. Astfel, se vor reduce abordrile intuitive cnd sepune problema evalurii unor proiecte sau programe n instituiile publice romneti. n acest sens vor fiamintitei f cute accesibile principalele metodei tehnici de cercetare utilizate n evaluarea de proiecte.

Celor deja familiarizai cu metodele si tehnicile evalurii de proiecte n sectorul public, aceast cartele ofer un interlocutor i o nou perspectiv asupra ultimelor orientri n domeniu, sintetizatei adaptaterealitilor romneti.

Cartea este dedicat studenilor la Administratie public, viitori managerii evaluatori de programeiproiecte finanate sau co-finanate din bani publici, cu mesajul: evaluarea nu reprezint un scop n sine saundeplinirea formal a unei condiii impuse de ctre finanator; ea este un instrument prin care putemsprijini eficientizarea administraiei publice romneti.

Oportunitatea momentului publicrii acestei cr i este dat mai ales de necesitatea stringent de adezvolta capacitatea de evaluare din administraia public romneasc n contextul fondurilor europene.Programelei proiectele finanate din fondurile de pre-aderare (PHARE, ISPA, SAPARD) au beneficiade sisteme de monitorizare bine stabilite. Aceasta a condus la o anumit dezvoltare a capacitii demonitorizare n instituiile administraiei publice romneti. Au r mas ns dou principale probleme derezolvat:extrapolarea practicii de monitorizare- utilizarea unor sisteme de monitorizarei pentruactivitile i proiectele nefinanate din fonduri europene,i dezvoltarea unei capaciti de evaluareintern n general i a evalurii impactului social n special. Capacitatea intern de evaluare exist actualmente n instituiile administraiei publice centrale, ns este aproape absent n cazuladministraiilor locale.

La nivel central, Ministerul Finanelor Publice, n colaborare cu Ministerul Administraiei iInternelor a iniiat un amplu proces de creare a capacitii de evaluare. Astfel, s-a nfiinat Unitatea

Central de Evaluare, n cadrul Ministerului Finanelor Publice. Scopul acesteia este de a coordonacreareai dezvoltarea capacitii de evaluare la nivelul administraiei publice romneti. Fiecare minister are actualmente, n cadrul Autoritii de Management, o Unitate de Evaluare. Funcionalitatea acestora


4/103

depinde de dezvoltarea unui cadru legislativ n domeniul evalurii i, desigur, de dezvoltarea continu aacestei capaciti. Este necesar suplimentarea pregtirii unor funcionari publici prin specializarea nevaluarea de programe. Aceast specializare este actualmente posibil n Romnia prin frecventareacursurilor de Evaluare a Programelor oferite de Departamentul de Administraie public al Facultii detiine Politice, Administrativei ale Comunicrii, Universitatea Babe-Bolyai, Cluj-Napocai, ncepnddin 2007, a unui program profesional de masterat organizat de ctre acelai Departament de Administraiepublic n domeniul evalurii de programe.

Programul de masterat profesional care va introduce funcionarul public n domeniul evaluriiprogramelor, precumi cursurile de evaluare a programelor oferite r spund i nevoilor de evaluareexistente la nivel local n administraia public romneasc. Tot la nivel local, ca exemplu de bun practic poate fi menionat cazul Primriei Cluj-Napoca, la nivelul creia a fost nfiinat un birou deevaluare a programelor.

Cartea este organizat n trei pr i. Primele dou pr i cuprind cte patru capitole, iar cea de-a treiaparte este format din trei capitole. Alturi de acestea, exist o seciune introductiv i una destinat concluziilor. La nceputul fiecrui capitol din primele dou pr i sunt prezentate noiunile eseniale.

Prima parte introduce unele dintre noiunile cheie n domeniul evalurii. Aceasta r spunde lantrebri precum: Ce este evaluarea? Care sunt principalele tipuri de evaluare? Care este diferena dintreevaluarei alte concepte similare?, De ce apelm la evaluare? Care sunt actorii implicai? Care suntprincipalele metodei tehnici de evaluare utilizate? Ce presupune designul unei evaluri? Care suntparadigmelei modelele dominante n evaluarea de proiecte? etc.

Tot n prima parte sunt incluse elemente privind pregtirea i realizarea unei evaluri n practic.Astfel, i vor gsi r spunsul ntrebri precum: Care este materia prim a evalurii? n ce constauelementele-cheie ale evalurii? Cum colectm datele necesare evalurii? Care sunt metodele de cercetareutilizate n evaluare? Cum analizm i interpretm datele ntr-un studiu de evaluare? Aplicarea metodelorde cercetare va fi exemplificat pornind de la cazuri concrete ns transformate pentru pstrareaanonomatului instituiilor, programelor, proiectelor i persoanelor implicate.

n cea de-a doua parte vom analiza principiilei metodele fundamentale ale analizei impactului social

al proiectelor i programelor. De asemenea vor fi explicitate legturile pe care analiza de impact le are cudezvoltarea serviciilor publicei metodologia de realizare a studiilor de impact. Care sunt etapele sale? Lce trebuie s ne gndim cnd realizm designul unui astfel de studiu? Care sunt constrngerile ntlnite practic i cum le putem face fa?

A treia parte are n vedere ilustrarea unor fragmente adaptate dup studii de evaluarei impactrealizate n practic, n intervalul 2005-2006. Sunt prezentate etape din trei studii de caz, pornind de la proiecte, fiecare analiznd o etap esenial a evalurii impactului social. Studiile de caz prezentate suntinspirate din cazuri reale, ns prelucrate pentru a fi ct mai ilustrative pentru subiectul abordati pentru afi respectat confidenialitatea datelor.

Principalele concluzii att referitor la evaluare n general, cti la evaluarea impactului social alprogramelor i proiectelor, sunt prezentate n seciunea final. Rolul acestei pr i estei acela de a pune ndiscuie unele aspecte problematice legate de capacitatea de evaluare n sistemul administraiei publice dinRomniai de necesitatea consolidrii acesteia n contextul programelor europenei nu numai.


5/103

I. EVALUAREA PROGRAMELOR


6/103

Capitolul 1. Evaluarea programelor

Concepte:

Program orice efort sistematic care i propune atingerea unui obiectiv strategic ntr-un anumitdomeniu.

Proiect un efort specific, concret, organizat, de implementare a unei anumite pr i a unui program.

Politic public o direcie de aciune, stabilit la nivel strategic, cu un nalt grad de generalitate princare se ncearc rezolvarea unei probleme.

Evaluarea de programe efortul sistematic de analiz a unui program sau proiect cu scopul de a

determina msura n care au fost ndeplinite obiectivele propuse, au fost consumate resursele avutedispoziie, s-a respectat designul iniial sau ar fi necesare anumite modificri ale acestuia datorit schimbrii contextului.

Monitorizarea procesul continuu de-a lungul vieii unui program sau proiect de cuantificare agradului de implementare a unui proiect, de msurare a modificrilor survenite n urma procesului deimplementare.


7/103

Capitolul 1. Evaluarea programelor

Studiul evalurii este relativ nou, ndeosebi n Romnia. ns una dintre primele nregistr ri aleunei evaluri este evaluarea eficacitii terapeutice a sucului de lmie n rndul marinarilor realizat demarina britanic n secolul al XVIII1-lea.

Evaluarea a debutat ca un domeniu practici a devenit o disciplin recunoscut a cercetriitiinifice ncepnd din anii 1960. Pe parcursul evoluiei s-au remarcat o serie de dispute privindterminologia, metodologiai etica evalurii. n 2004, FitzPatrick, Sandersi Worthern au identificataproape 60 de modele aprute ntre 1960i 19902. Anul 1965, a nsemnat startul masiv n Statele Unite aunor programe destinate combaterii sr ciei (War on Poverty r zboi mpotriva sr ciei, denumireageneral a setului de programe)3.

1 Eficacitatea sucului de lmie n combaterea scorbutului la marinari comandat de marina britanic n secolulXVIII! Francezii pretind c au realizat prima cercetare de acest gen chiar mai devreme cd armatele normande aurealizat o evaluare privind eficacitatea relativ a diferitelor tipuri de arcuri n Models for the evaluation of elearning, http://wiki.ossite.org/index.php?title=Models_for_the_evaluation_of_elearning2 J.L. Fitzpatrick, Sanders, J.R.,i Worthen, B.R.,(2004),Program Evaluation. (3rd Edition) Boston: Pearson 3 Sorin Danandor, (2005),Analiz i cercetare n administra ia public , Accent, p.73


8/103

Caseta 1: Marea Societate. Revoltele din Watts. R zboiul mpotriva sr ciei.

Un pachet de reforme n educaie, sntate, nvmnt, protecie social i protecia mediului f ceau parte din planul preedintelui Johnson de areconstrui America ca pe o Mare Societate (The Great Society). Iniial,acesta are suportul total al opiniei publice. Marea Societate urma s reprezinte cea mai complex reform de la Noua nelegere (New Deal)promovat de Ronald Reagan. n 1960, n pofida climatului de

prosperitate, aproape un sfert din familiile americane tr iau sub limitasr ciei. Regiuni ntregi nu beneficiaser de prosperitatea economic dinperioada postbelic. Mai mult, evoluia tehnologic din industrie i lsa pecei nepregtii f r locuri de munc. n 1964, 44% dintre persoanele peste 65 de ani nu aveauasigurare de sntate. Starea precar de snatate, datorat naintrii n vrst determina intrarea lor automat n rndul celor sraci. n realitate, mai mult de unul din trei Americani sub 65 de ani tr iausub limita sr ciei. Prin urmare, preedintele Johnson a considerat c R zboiul mpotrivasraciei(War on Poverty) trebuia s ocupe centrul preocuprilor pentru construcia Marii Societti.Un imbold semnificativ n iniierea R zboiului mpotriva sr ciei l-au constituit Revoltele din Watts.Revoltele din Watts (Watts Riots) au fost o serie de conflicte civile de mari dimensiuni, care auizbucnit n cartierul Watts din sudul oraului Los Angeles din Statele Unite ale Americii. Acestea aunceput in 11 August 1965i au durat 6 zile. n urma lor, au fost ucii 34 de oameni, 1100 au fost

r nii, 4000 de persone au fost arestate, 600 de cldiri au fost incendiatei s-au produs pagube deaproximativ 100.000.000 de dolari. Majoritatea daunelor s-au nregistrat n cazul afacerilor care aucauzat resentimente in cartier datorit nedreptilor sociale percepute. Domiciliile nu au fost atacate,ns unele eu luat foc din cauza apropierii de alte cldiri incendiate. O comisie guvernamental ainvestigat revoltele. Principalele cause au fost stabilite ca fiind:omajul,colile slabei sraceprecumi alte condiii inferioare de via.

Preedintele LyndonBaines Johnson - iniiator

al R zboiului mpotrivasr ciei prin programeleMarii Societi

Costurile cauzate de r zboiul din Vietnam, alturi de costurile programelor de reform, au determinato mare presiune asupra economiei americane. Odat cu scderea n popularitate a r zboiului dinVietnam, preedintele Johnsoni-a pierdut capitalul politic necesar pentru continuarea reformelor.

Criticii Marii Societi pretend c aceste programe de reform au avut efecte departe de celeateptate, dac nu chiar inverse, n pofida unor investiii publice de mari dimensiuni. S-au creat doar noi sisteme birocratice care au nghiit banii, f r a produce rezultatele scontate. Exemplul cel maivehiculat este reforma privind asistena social care a produs o fragmentare a oraelor, cu consecintedintre cele mai nocive. Aceasta a fost f cut responsabil pentru crearea dependenei de asisten social n rndul sracilor, pentru crearea unor cercuri vicioase ale sr ciei.

dup John Gardner- Engineer of the great Societyn http://www.pbs.org/johngardner/chapters/4.html(tr.n.) http://en.wikipedia.org/wiki/Watts_Riots
http://www.pbs.org/johngardner/chapters/4.htmlhttp://www.pbs.org/johngardner/chapters/4.htmlhttp://images.google.ro/imgres?imgurl=http://x34.xanga.com/0138421506d355694659/b4870039.jpg&imgrefurl=http://www.xanga.com/groups/rnp.aspx%3Fd%3Dn%26user%3Dleenawords%26id%3D359991&h=198&w=146&sz=10&tbnid=NkXodGLhTfMJ:&tbnh=99&tbnw=73&hl=ro&start=15&prev=/images%3Fq%3DWatts%2Briot%2Bin%2B1965%26svnum%3D10%26hl%3Dro%26lr%3D%26sa%3DNhttp://images.google.ro/imgres?imgurl=http://members.fortunecity.com/babyboomer/sixties/sixties126.jpg&imgrefurl=http://members.fortunecity.com/babyboomer/sixties.html&h=600&w=474&sz=60&tbnid=tWsIf-WsJdgJ:&tbnh=133&tbnw=105&hl=ro&start=25&prev=/images%3Fq%3DWatts%2Briots%2B%26start%3D20%26svnum%3D10%26hl%3Dro%26lr%3D%26sa%3DNhttp://images.google.ro/imgres?imgurl=http://www.generationaldynamics.com/ww2010/watts1.jpg&imgrefurl=http://www.generationaldynamics.com/cgi-bin/D.PL%3Fd%3Dww2010.i.sixties040501&h=189&w=225&sz=40&tbnid=QG8k_LbYlLwJ:&tbnh=85&tbnw=102&hl=ro&start=5&prev=/images%3Fq%3DWatts%2Briot%2Bin%2B1965%26svnum%3D10%26hl%3Dro%26lr%3D%26sa%3DNhttp://images.google.ro/imgres?imgurl=http://www.africanamericans.com/MLKWatts.jpg&imgrefurl=http://www.africanamericans.com/WattsRiots.htm&h=372&w=360&sz=77&tbnid=KNiZi5nO2TYJ:&tbnh=118&tbnw=114&hl=ro&start=3&prev=/images%3Fq%3DWatts%2Briot%2Bin%2B1965%26svnum%3D10%26hl%3Dro%26lr%3D%26sa%3DN


9/103

Sume substaniale au fost investite pentru eradicarea unor probleme sociale, ns rezultatele dorite s-aulsat ateptate. S-a ajuns la concluzia c nu existau suficieni bani pentru rezolvarea tuturor problemelor existente. De asemenea, s-a observat c pentru rezolvarea problemelor cu care se confrunt comunitile,banii nu reprezint singura problem. Evaluarea programelor s-a lansat prin asumarea acestor dou constrngeri,4 dar i prin adoptarea sistemului de bugetare Planning-Programming Budgeting Syst(PPBS), care ncuraja monitorizareai evaluarea programelor. Opinia public a devenit din ce n ce maiprecaut, cernd dovezi pentru succesul programelor care urmau a fi susinute din bani publici. n acestecondiii, evaluarea a cunoscut un adevrat boom, numrul celor care o consider esenial pentru reuitaunui program crescnd spectaculos.Dup cum se anticipa5, evaluarea se diversific metodologic nencetat, depete graniele naionale,idevine extrem de util ntr-o sfer din ce n ce mai larg de preocupri.

Materia prim a evalurii Materia prim a evalurii este constituit din proiecte, programei politici publice. Proiectele reprezint unitatea cu gradul cel mai sczut de generalitate. Un proiect este efortul organizat de a pune n practic oidee. Desigur, ne referim n acest studiu mai ales la proiectele de dezvoltare socio-economic. Ele potavea o form standardizat, sau pot s nu fie standardizate. Printre elementele eseniale ale unui proiectstandardizat se numr : scopul, obiectivele, actorii implicai (iniiatori, beneficiari direci i indireci,finanatori, etc.) activitile, calendarul, resurselei efectele multiplicatoare. Proiectele stansardizate suntcele scrise de obicei scrise pornind de la un anumit formular, care impune precizarea tuturor aceelemente. Adesea, n administraia romneasc, exist eforturi mai puin sau deloc standardizate, dar careoricnd pot fi considerate proiecte, avnd elementele eseniale unui proiect, chiar dac nu sunt consemnaten scris, conform unui formular. Orice proiect co-finanat prin PHARE este un exemplu de proiect standar Proiectele pot fi iniiate i implementate de diferite entiti printre care: instituiile administraiei publice,organizaiile non-guvernamentalei chiar firmele din sfera privat. De regul proiectele reprezint punerea n aplicare a obiectivelor specifice ale unor programe. Programul este unitatea cu gradugeneralitate mai ridicat dect proiectul, ns cu o structur asemntoare. Implementarea unui program serealizeaz prin implementarea mai multor proiecte, care detaliaz i pun n aplicareunul sau mai multedintre obiectivele programului. Politica public reprezint unitatea cu gradul cel mai ridicat degeneralitate, ce corespunde unei direcii strategice de aciune ntr-un anumit domeniu. Un exempu depolitic public, specific administraiei publice din Romnia este dezvoltarea capacitii administrative;un program subsecvent acestei politici este Modernizarea Administraiei Publice Locale, iar unul dintreproiectele care pun n aplicare acest program este Evaluarea Programelor n Administraia Public.Proiectul este impelmentat la nivelul unei primrii i detaliaz i aplic unul dintre obiectiveleprogramului: creterea responsabilitii pentru cheltuirea banilor publici. Programelei proiectele pot fifinanate de instituii ale administraiei publice centralei locale, de organizaii internaionale (UniuneaEuropean, Banca Mondial, etc.), organizaii non-profiti alte entiti. De obicei, finanatorul este celinteresat de rezultatele proiectului, de evaluarea ndeplinirii obiectivelor propuse. n numeroase cainstituiile publice co-finaneaz sau sunt parteneri n proiectele de dezvoltare care afecteaz grupurile deoameni, comunitile din raza lor de aciune. Mai mult, un management performant presupune organizareactivitii instituiilor publice pe baz de proiecte, pentru a fi mai uor administrat, mbuntit, urmrit i verificat. Este o tendin susinut i ncurajat n ntreaga Uniune European. Nevoia de evaluare nsistemul administrativ este n continu cretere. Reforma administraiei publice, dezvoltarea capacitiiadministrative presupune dezvoltarea capacittii de evaluare. Aceasta poate fi realizat prin crearea unuicadru legislativ, a unei capaciti instituionalei prin dezvoltarea resursei umane n domeniul evalurii.

4Michael Quinn Patton Utilization-Focused Evaluation: The New Century Text , 3

rded., Beverly Hills: SagePublications, 1997

5 E. Chelimski, W.R. Shadish (Editori) Evaluation for the 21st Century,SAGE Publications Inc., 1997
http://images.google.ro/imgres?imgurl=http://www.tcnj.edu/~blohm3/rubble.jpg&imgrefurl=http://www.tcnj.edu/~blohm3/essay.htm&h=543&w=805&sz=180&tbnid=NUGMt1oW-e8J:&tbnh=95&tbnw=142&hl=ro&start=6&prev=/images%3Fq%3DWatts%2Briots%2B%26svnum%3D10%26hl%3Dro%26lr%3D%26sa%3DGhttp://images.google.ro/imgres?imgurl=http://www.frostillustrated.com/news/2005/0119/mlk/025p1_sm.jpg&imgrefurl=http://www.frostillustrated.com/news/2005/0119/mlk/&h=147&w=150&sz=7&tbnid=8vfTv9ANFwcJ:&tbnh=88&tbnw=90&hl=ro&start=37&prev=/images%3Fq%3DWatts%2Briots%2B%26start%3D20%26svnum%3D10%26hl%3Dro%26lr%3D%26sa%3DNhttp://images.google.ro/imgres?imgurl=http://www.pbs.org/hueypnewton/images/times_watts02.jpg&imgrefurl=http://www.pbs.org/hueypnewton/times/times_watts.html&h=180&w=240&sz=11&tbnid=D3i1P3b63NAJ:&tbnh=78&tbnw=104&hl=ro&start=15&prev=/images%3Fq%3DWatts%2Briots%2B%26svnum%3D10%26hl%3Dro%26lr%3D%26sa%3DGhttp://images.google.ro/imgres?imgurl=http://www.pbs.org/hueypnewton/images/times_watts01.jpg&imgrefurl=http://www.pbs.org/hueypnewton/times/times_watts.html&h=180&w=240&sz=13&tbnid=YwcnsekYGbsJ:&tbnh=78&tbnw=104&hl=ro&start=1&prev=/images%3Fq%3DWatts%2Briots%2B%26svnum%3D10%26hl%3Dro%26lr%3D%26sa%3DGhttp://images.google.ro/imgres?imgurl=http://www.stormfront.org/whitehistory/hwr66_files/watts_riots1.jpg&imgrefurl=http://www.stormfront.org/whitehistory/hwr66.htm&h=207&w=150&sz=19&tbnid=rIgyNO3LKxIJ:&tbnh=100&tbnw=72&hl=ro&start=2&prev=/images%3Fq%3DWatts%2Briots%2B%26svnum%3D10%26hl%3Dro%26lr%3D%26sa%3DGhttp://images.google.ro/imgres?imgurl=http://www.tcnj.edu/~blohm3/rubble.jpg&imgrefurl=http://www.tcnj.edu/~blohm3/essay.htm&h=543&w=805&sz=180&tbnid=NUGMt1oW-e8J:&tbnh=95&tbnw=142&hl=ro&start=6&prev=/images%3Fq%3DWatts%2Briots%2B%26svnum%3D10%26hl%3Dro%26lr%3D%26sa%3DG


10/103

Definiii ale evaluriiEvaluarea proiectelor i programelor n administraia public este o etap specific, extrem de util nplanificareai managementul proiectelor, o tehnic de cercetarei un instrument pentru realizareapoliticilor publice, utilizat cu succes de ctre responsabili de managementul instituiilor i alorganizaiilor, de coordonarea proiectelor i a programelor derulate din fonduri publice sau private. nalifuncionari publici, politicieni, manageri, directori de instituii i organizaii, directori de programeicoordonatori de proiecte utilizeaz diferite modele de evaluare pentru a sesiza, n timp util, efectelinterveniilor pe care le implementeaz sau intenioneaz s le implementeze. Scopul este de a sesizai acontracara la timp efectele nedorite asupra grupurilor de oameni, comunitilor i societii, precumipentru a ncuraja elementele pozitive ale programelor i proiectelor. Mai mult, scopul implicit al evaluriieste de a colecta sistematic informaii despre rezultate, output si administrarea proiectelor pentrumbuntirea implementrii i generarea unor decizii performante n viitor. Pe scurt, diferitele modele evaluare sunt utilizate pentru a minimiza pierderilei a maximiza beneficiile interveniilor asupragrupurilor sociale de mici sau mari dimensiuni.

De-a lungul evoluiei sale, evaluarea a primit numeroase definiii. O sintez a definiiilor evaluriidate de diferite dicionare relev anumii termini-cheie: determinarea meritului, a valorii, estimare

preuire etc. Evaluarea de proiecte sau programe este strns legat de sensul acestor termeni, f r a serezuma ns la ei. n definiiile evalurii apar de asemenea ca o constant o serie de elemente legate demetodologie.

n cartea sa despre Analiz i cercetare n administratia public, Danandor descrie sinteticfaptul c pentru un program, evaluarea implic o analiz sistematic cu scopul de a afla dac i n cemsur proiectelei programele au fost implementate conform inteniilor i i-au atins obiectivele6.

Comisia European propune cinci criterii relevante n evaluare: relevan, eficien, eficacitate,sustenabilitatei impact7. Pornind de la acestea, putem defini evaluarea ca fiind procesul prin care, ajutorul unor metodei instrumente specifice, putem msura gradul n care proiectele au obiectiveirezultate relevante, resursele sunt consumate economic, pentru a atinge obiectivele propuse, dac proiectulare anse de a continuai dup ncheierea finanrii, msura n care activitile i ating grupulint idac impactul lor este resimit pe termen lung.

Cheia unei nelegeri corecte este diferena ntre sistematici continuu din care rezult diferenantre evaluare (sistematic dar secvenial- realizat n anumite momente din viaa unui program)imonitorizare (proces continuu de colectare a datelor n timpul implementrii unui program). La fel trebuieneleas i definiia dat de N.C Allum, M.W. Bauer, G. Gasgell -Quality, Quantity and Knowledgeinterests, Avoiding confusion in Bauer and Gasgell, Qualitative research. Termenul de evaluare se refer la activitatea de colectare, analiz i raportare sistematic a informaiilor care pot fi utilizate pentruschimbarea atitudinilor i pentru mbuntirea unui proiect sau program.(tr.n., Allum, 1990)8Sintetiznd, putem reliefa urmtoarele elementele eseniale ale unei evaluri:

Evaluarea este un instrument util n managementul politicilor, programelor i proiectelor; Implic aprecieri pe baza unor criterii; Evaluarea este util n oricare dintre stadiile dezvoltrii unui program:

o n stadiul de design;o nainte de implementare- evaluarea ex-ante;o n timpul implementrii- evaluarea concomitent;o Ulterior implementrii- evaluarea ex-post;

Evaluarea este un proces explicativ: pornete de la anumite ntrebri pentru care gseter spunsuri;

Este mai comprehensiv dect monitorizarea; Evaluarea este o activitate sistematic i implic analizetiinifice (colectarea de date, analiza lor,

compararea lor pe baza anumitor criterii);

6 Sorin Danandor- Analiz i Cercetare n Administra ia Public , Ed. Accent, Cluj-Napoca, 2005, p.737 www.evalsed.info8 N.C Allum, M.W. Bauer, G. Gasgell -Quality, Quantity and Knowledge interests, Avoiding confusion in Bauer and Gasgell, Qualitative research, London, Sage, 2000, citat de Jenny Hughes nProject Manager's Guide ot

Evaluation,p.3, http://www.evaluate-europe.net/handbook/handbookpdf


11/103

Evaluarea st la baza lurii unor decizii n legatur cu programul evaluat : modificarea designuluisau a modului de implementare. Deciziile se pot referi la continuarea, modificarea sau cstoparea programului.

n opinia unuia dintre autorii clasici n domeniul evalurii, Michael Quinn Patton, Evaluarea estecolectarea sistematic de informaii despre activitile, caracteristicilei rezultatele programelor pentru afi utilizate de anumite personane cu scopul de a reduce nesigur anele, pentru a spori eficacitateai a luadeciziile oportune n legtur cu programele respective(tr.n.)9. Aceast definiie, dac nu este neleas adecvat poate produce confuzii. Cheia unei nelegeri corecte este diferena ntre sistematici continuu dincare rezult diferena ntre evaluare (sistematic dar secvenial- realizat n anumite momente din viaaunui program)i monitorizare (proces continuu de colectare a datelor n timpul implementrii unuiprogram).

Pentru a ntelege ce este evaluarea, trebuie f cut distincia intre aceastai ali termini cu utilizareparalel, inter anjabili. Diferite autoriti sau agenii dau sensuri diferite acelorai termeni. Pentru a nencadra n contextul general al integr rii europenei pentru c ne referim la evaluarea de programe nsfera public, vom adopta terminologia utilizat de ctre Comisia European n domeniul evalurii de

programe.

MonitorizareaMonitorizarea se refer la cuantificarea pe tot parcursul implementrii proiectului sau programului aevoluiei privind atingerea obiectivelor, consumarea resurselor, atingerea grupuluiint, cuantificareasistematic a schimbrilor generate de implementarea programului sau proiectului. n urma monitorizriise poate sesiza n mod permanent raportul input output, venituri-cheltuieli, activitti planificate-activiti realizate, grupint propus-grupint atins, nregistrndu-se eventualele discordane. Evaluareaexplic de ce respectivele discordane exist (dac exist). Monitorizarea este descriptiv, n timp ceevaluarea este explicativ. Legtura dintre monitorizarei evaluare este foarte strns. Evaluarea nu poatefi realizat (sau poate fi realizat extrem de dificil), dac nu exist un sistem coerent de monitorizare.

Acest sistem presupune de regul un set de indicatorii un plan de monitorizare. Deasemenea anumiteresurse trebuie alocate procesului de monitorizare. De obicei, resursele umane pentru monitorizaremobilizate din echipa de implementare a proiectului. Dar nu este exclus, mai ales n cazul unor proiecmari dimensiuni, ca monitorizarea s fie asigurat de persoane specializate din afara echipei deimplementare a proiectului.

AuditulAuditul reprezint o verificare a prevederilor financiare ale unui proiecti a msurii n care acestea suntndeplinite n conformitate cu criteriile legalei financiare specifice. Auditorii Comisiei Europeneiagenii lor atribuie termenului deaudit o sfer mult mai larg de semnificaii: verificarea necesitiiproiectului, a msurii n care activitile i rezultatele proiectului sau programului justific investiiafinanciar , a existenei i vizibilitii n practic a unei plus-valori generate de proiectul sau programulrespectiv10.(tr.n.)

Scopul evaluriiEvaluarea reprezint un proces prin care se msoar performana unui programi se identific soluii laproblemele existente. Mai exact, evaluarea poate avea, printre altele, urmtoarele scopuri:

Analiza rezultatelor,output-uluii impactului unui program; Compararea rezultatelor cu costurile unui program; Identific eventualele mbuntiri necesare privind designuli implementarea programelor;

9 Michael Quinn Patton -Utilization-focused evaluation, ediia a doua, Newbury Park, CA, SAGE Publications,1986, citat de Jenny Hughes nProject Manager's Guide ot Evaluation,p.3, http://www.evaluate-europe.net/handbook/handbookpdf 10 Jenny Hughes -Project Manager's Guide ot Evaluation,p.3, http://www.evaluate-europe.net/handbook/handbookpdf


12/103

Ajut autoritile s r spund n faa cetenilor pentru aciunile lor; D indicii pentru alocarea resurselor; Ajut la mbuntirea managementului programelor; Ajut, prin investigatii sistematice, la realizarea calitativ superioar a designului, implementrii i

livr rii programelor i serviciilor publice (Gidul UE) Identific modele de bun practic ce pot fi diseminatei utilizate n programele viitoare

Datele rezultate n urma evalurii sunt utile att pentru mbuntirea procesului de implementare, cti acelui de luare a deciziilor. Prin evaluare este determinat eficacitatea proiectelor i programelor, prinr spunsul pe care l d ntrebrilor: ce funcioneaz?, pentru cine?i n ce condiii?. Evaluarea susinedeasemenea procesul de planificare a activittilor viitoare, de repartizare a resurselor umane, financiareetc.

Evaluarea este un instrument de baz n managementul organizaiilor publice (i private)asigurnd o baz informativ robust care vine n sprijinul celor care trebuie s ia decizii. Soluiileidentificate prin evaluarei deciziile care se iau pornind de la date furnizate de studiile de evaluare vorfoarte bine documentatei vor beneficia de dovezi clare,tiinifice, n favoarea lor.

Rezumnd multiplele abordri ale utilitii evalurii, ajungem la concluzia c evaluarea este

necesar n creterea performanei proiectelor i programelor i n procesul de dare de seam pentrubanii utilizai. Cu ajutorul evalurii, putem demonstra c programul respective este necesar, funcioneaz i trebuie continuat sau dimpotriv. Putem investiga dac banii investii i-au atinsinta, dac standardelede calitate au fost respectate etc. n ceea ce privete creterea performanei programelor , evaluareacontribuie la identificarea problemelor i recunoaterea punctelor tari. Totui evaluarea poate fi utilizat in scopuri ne-etice. Ne referim aici la manipularea datelor obinute din evaluri pentru susinereadiferitelor interese politice.Criterii de evaluarePe ce se bazeaz aprecierile evaluatorilor? R spunsul este simplu: criteriile de evaluare. Abordarea UE arela baza 5 criterii:

Relevan Eficacitate Eficien Impact Sustenabilitate

Figura 1 . Principalele criterii de evaluare11

Impact

Utilitate,Sustenabilitate

Context socio- economic

Program

Evaluare Relevanta Eficienta

Eficacitate

OutputInputObiective

Rezultate

Nevoi,Probleme

11 Tavistock Institute et all,The Evaluation of Socio-Economic Development: The GUIDE , 2003


13/103

Relevana se refer la msura n care programul analizat reuete s r spund nevoilor reale ale actorilor implicai. De asemenea are n vedere eventualele schimbri de context care ar putea avea ca rezultatanumite modificri n tipul nevoilor la care programul ar trebui s se adreseze sau schimbri n ierarhiaacestora. Un program este relevant dac pe tot parcursul implementrii saleine cont de aceste modificride context, are flexibilitatea necesar de a se replia de cte ori este necesar pentru a r spunde nevoilor lacare i propune s r spund. Iar un program devine irelevant n momentul n care, pe parcursul existeneisale, eueaz n acoperirea nevoilor pe care-i propune s le acopere sau le acoper n mod defectuos,raportat la planul iniial. Un aspect al relevanei estei necesitatea ca anumite programe s fie susinutedin bani publici. Care sunt aceste programe? Care sunt motivele pentru care statul trebuie s se implice nimplementarea sa? Sectorul privat sau non-profit nu a reuit s acopere nevoile actorilor implicai? De ce?Pentru a afla dac un program este relevanti n ce msur , trebuie apreciate toate aceste elemente.

Eficacitateaare n vedere msura n care programele i ating obiectivele propuse. De asemenea, graduln care rezultatele proiectului corespund nevoilor identificate n faza de design este o msur a eficacitiiunui program.

Eficiena ia n calcul un aspect suplimentar, esenial n existena proiectelor i programelor: cel financiar.Mai mult, eficiena are n vederei urmtoarele aspecte: Ar fi putut fi obinute aceleai rezultate cu mai puine resurse? Sunt costurile unitare prea ridicate? Chiar dac obiectivele sunt atinse, este proiectul/programul prea costisitor pentru a putea

continuat?

Impactul reprezint efectul net pe care un program l produce. Datorit variabilelor externe,distorsionante, impactul unui proiect este greu de calculat cu exactitate. Este greu s difereniezi efectulunui program ntr-un context socio-economic este extrem de complex. Totui folosind metode adecvateeste posibil, cu o marj de eroare asumat s dm r spunsul la urmtoarele ntrebri:

Ce schimbri au rezultat n urma programului? Exist alte beneficii ale programului, alturi de cele preconizate?

O alt accepiune a impactului este aceea n care impactul prezint efectele unui program pe termen lung.

Sustenabilitatease refer la continuitatea programului dup ntreruperea finanrii din sursa iniial. Efectele programelor sau programele nsele continu dup ncheierea implementrii? Pot fi identificate surse alternative de finanare?

Sustenabilitatea d, alturi de celelalte criterii msura performanei unui proiect sau program.Alturi de aceste criterii mai pot fi menionate i altele, la fel de importante pentru aprecierea

performanelor unui program. Cele la care ne vom referii n continuare sunt echitateai implicareacomunitii.

Echitatea se refer la aspecte precum: accesul la serviciile furnizate de proiect indiferent de: vrst, sex,condiii materialei sociale. De regul sunt promovate proiecte care descurajeaz discriminarea de oricetip.Participarea comunitii este un alt criteriu de care seine cont n evaluarea anumitor proiecte. Desigur,este vorba despre proiectele care permit aceasta.Toate aceste criterii, alturi de altele pe care nu le-am menionat, dar care pot fi la fel de importante, suntutilizate n precesul de evaluare. ns, n funcie de programul sau proiectul evaluat, se poate apela doar lao parte dintre acestea.Pe lng luarea n considerare a ct mai multe dintre criteriile enumerate, evaluarea ar trebui s fieanalitic, sistematic, de ncredere, orientat pe probleme sau pe utilizatori, in funcie de modelul deevaluare utilizat.


14/103

Capitolul 2. Tipurii sisteme de evaluareConcepte

Evaluarea sumativ un tip de evaluare, realizat de regul la finalul unui program sau proiect sau lancheierea anumitor etape ale programelor i proiectelor cu scopul de a verifica msurai modul n careau fosta atinse obiectivele propuse.

Evaluarea formativ tip specific de evaluare prin care se urmrete mbuntirea designului unuiproiect sau program, aducerea de mbuntiri modului de implementare pentru minimizarea pierderilor imaximizarea beneficiilor.

Evaluarea ex-ante evaluarea realizat nainte de etapa implementri unui program sau proiect cu scopulde a aduce eventuale corecii necesare designului programului sau proiectului pentru a asigura realizareacu succes a obiectivelor propuse.

Evaluarea ex-post evaluarea realizat ulterior etapei de implementare a unui program sau proiectpentru a sesiza gradul de ndeplinire a obiectivelor, prin compararea acestora cu rezultatele atinse.

Evaluarea interim evaluarea realizat pe parcurs pentru a sesiza eventualele modificri care trebuieaduse designului proiectului sau programului evaluat pentru a obine ndeplinirea obiectivelor calitativeicantitative propuse.


15/103

Capitolul 2. Tipurii sisteme de evaluare

Exist numeroase criterii n functie de care putem clasifica tipurile de evaluare: dup scopul evalurii,dup momentul de timp n care se desf oar evaluarea, dup unitatea de analiz, dup poziia membrilor echipei de evaluare, etc.1. Dup scopul evalurii:

a. Evaluarea sumativ, care analizeaz rezultatele la un anumit moment de la ncepereaprogramului cu scopul de a stabili performana programuluii de a estima valoarea sa

b. Evaluarea formativ se face de obicei n timpul implementrii (este o evaluareintermediar ) cu scopul de a analiza situaia i de a uura mbuntirea programului.

Aceasta terminologie a fost utilizata pentru prima data de Michael Scriven, (1991), ulterior fiind preluat de toate sursele relevante n domeniu.

Robert Stake ofer n Standards-Based and Responsive Evaluationo definiie extrem de sugestiv a evlurii sumativei formative: Cnd buctarul gust supa, este evaluare formativ, iar cnd oaspeiigust supa, este evaluare sumativ12(tr.n).

Robert Stake, evaluator de programe educaionale n Statele Unite ale Americii n perioada anilor60-70, este unul dintre primii susintori ai metodelor calitative n evaluarea programelor sociale. conformitate cu tradiia Verstehen, Stake percepe evaluarea ca serviciui ca reflectare de valori.

Stake recomand evaluarea selectiv, pe care o definete ca fiind o abordare care sacrific oanumit precizie a selectrilor n sperana de a crete valoarea descoperirilor pentru persoanele din afaraidin interiorul programelor13. Tot la Stake se regsete diferenierea ntreevaluarea prestabilit,recunoscut prin: afirmarea obiectivelor, utilizarea testelor obiective, utilizarea standardelor deinute deresponsabilii programelor i a rapoartelor de tip cercetarei evaluarea reactiv, caracterizat prinurmtoarele elemente:

Pune un accent mai mare asupra activitilor unui program, dect asuprainteniilor sale.

R spunde necesitilor publicului. Perspectivele valorice ale actorilor sunt luate n considerare n menionareaeecurilor i a succeselor unui program.Termenul reactiv (provenit din relaia stimul r spuns) asociat procesului de evaluare

promoveaz ideea evaluatorului-stimul n contrast cu evaluatorul-r spuns. Unul dintre principaleledezavantaje ale evalurii prestabilite este faptul c cercettorii (tradiional cantitativiti) se concentreaz asupra unor variabile care nu pot fi controlate de management, prin aceasta pierznd din utilitate. Stistandardizai generai de evaluarea prestabilit s-au dovedit adesea mai puin relevani dect stimulii careapar spontan n cadrul programului(cum ar fi reaciile actorilor, discuiile ulterioare desf ur rii uneiactiviti, etc.).

Cteva tr sturi eseniale ale evalurii reactive sunt: accentul pus pe observaie i flexibilitate,preferina pentru metodele calitativei accentul pe mbuntirea practicilor locale.

Evaluarea reactiv are o serie de avantajei dezavantaje. Printre avantaje se numr : relevareaunor variabile importante ale programului, ncurajarea eforturilor de schimbare ale celor implicai ntr-unprogram, ncurajarea creterii controlului local. Totui, evaluarea prestabilit ar trebui preferat evaluriireactive atunci cnd este important s tim dac anumite scopuri au fost atinse, dac anumite promisiuniau fostinutei cnd urmeaz s fie investigate ipoteze sau aspectepredeterminate. ne putem atepta camsur torile prestabilite s fie mai obiectivei mai de ncredere.14 n concluzie, trebuie avute n vedereambele tipuri de evaluare n funcie de program.

12 Robert Stake,Standards-Based and Responsive Evaluation,2003, p.5213 Stake, Robert E.Program evaluation, particularly responsive evaluationn W.B. Dockrell&D. Hamilton (Eds.)Rethinking educational research(pp72-87). London: Hodder and Stoughto citat n William R. Shadish Jr., ThomasD. Cook, Laura C. Leviton (1999),Fundamentele evalu rii programelor: Teorii ale practicii, FIMAN, p. 27814 Idem, p.283


16/103


17/103

economic care pot afecta programul. Tot n cursul evalurii interim trebuie sesizat orice deviere de lanormele europene n furnizarea de bunurii servicii.Evaluarea interim utilizeaz informaiile obinute n urma monitorizrii i n urma evalurii ex-ante. Deregul evaluarea interim presupune analize ale rezultatelor intermediare ale proiectului, ns esterecomandabil i o anali detaliat a impactului probabil care nc nu a avut timp s se manifeste, ns este inerent. Pe baza concluziilor evalurii interim poate fi mbuntit att designul cti managementulprogramelor analizate, pot fi prevenite eventuale impacturi negative..

Evaluarea ex-post Evaluarea ex-post vizeaz analiza ntregului program n principal din perspectiva rezultatelo

comparate cu obiectivele iniiale ct i din perspectiva impactului pe care l are. Exist numeroaseelemente comune ntre evaluarea ex-posti evaluarea sumativ. Pe lng metode de evaluare precumanaliza rezultatelor i a impactului, evaluarea ex-post mai poate utiliza urmtoarele metode:benchmarking, analiza cost-beneficiui cost-eficien, analiza proceselor i analiza multi-atribut.

Scopul evalurii ex-post este multiplu: cuantificarea rezultatelor i efectelor intenionate sau nuale unui program, analiza calitativ i cantitativ a performanelor, nvarea unor lecii pentrumbuntirea managementului unor programe viitoare, compararea performanelor programului evaluat

cu performanele altor programe similare, etc.

3. Dup poziia membrilor echipei de evaluare exist dou tipuri eseniale de evaluare:a. Evaluarea intern b. Evaluarea extern

a. Evaluarea intern este evaluarea realizat de personal specializat din interiorul instituiei careimplementeaz programul. De regul, instituia implementatoare are personalul calificati datele necesarepentru realizarea evalurii. Totui, n Romnia exist numeroase instituii (dac ne referim la sectorulpublic) sau organizaii (dac lum n calculi sectorul non-profit) care nu beneficiaz de o capacitateintern de evaluare (nu au persoane specializate n domeniul evalurii), dei au specialiti pe diferite

sectoare relevante pentru proiectul evaluat. Aceste instituii vor apela, chiar i pentru evaluarea intern aprogramelor la serviciile unor exper i n evaluare din exterior, de preferin independeni (f r alteconexiuni cu proiectul evaluat sau cu echipa de implementare a proiectului).

Scopul evalurii interne este furnizarea unei analize din perspectiva implementatorului care are acla date mai uor dect orice alt actor implicat (fie el finanator sau evaluator extern). Prin urmare acest tipde evaluare este extrem de bogat n date, iar raportul de evaluare este unul foarte expliciti explicativ. Ceicare au implementat proiectul cunosc cel mai bine teoria, proceselei rezultatele acestuiai motivelepentru care s-au implementat anumite modificri n designul iniial, eventual motivele pentru care nu afost respectat calendarul iniial, s-a depit bugetul sau, dimpotriv, nu s-au utilizat resursele, care au fostelementele distorsionante aprute pe parcursi ce efecte au avut aceste elemente asupra programului.

Evaluare intern este foarte potrivit pentru evaluarea formativ, ajutnd la controlul calitiievalurii i la dezvoltarea capacitii interne de evaluare. Dezavantajele evalurii interne sunt: lipsa unor expertize sectorialei lipsa independenei.c. Evaluarea extern reprezint evaluarea realizat de ctre evaluatori independeni, de regul din afara

instituiei sau organizaiei care implementeaz programul sau care se numr printre actorii careparticip la realizarea programului. Avantajele principale ale acestui tip de evaluare sunt independeai potenialul unei game largi de expertiz. Evaluarea este potrivit mai ales evalurilor sumative.Dezavantajele acestui tip de evaluare sunt posibilele presiuni care pot limita independena, faptul c nuajut la dezvoltarea capacittii interne de evaluarei costurile ridicate pe care le presupune.

4. Alte tipuri de evaluareAlturi de tipurile de evaluare amintite anterior, n literatura de specialitate sunt menionatei o serie dealte tipuri de evaluare, printre care evaluarea participativ i evaluarea bazat pe teorie.

n evaluarea participativ, perspectiva evaluatorului este pe poziie de egalitate cu perspectiveleactorilor implicai n program. Intenia este de a avea un proces de evaluare cu concluziii recomandrirelevantei utile pentru proiectele viitoare ale actorilor implicai. Acest tip de evaluare se potrivete attcu


18/103

evaluarea sumativ ct i cu cea formativ. Implicarea tututor participanilor pe poziii de egalitate aducede obicei un plus semnificativ de informaie n procesul de evaluare. Evaluarea participativ este adeseaprezentat ca un tip modern de evaluarei este prezentat n opoziie cu evaluarea tradiional.18

Evaluarea bazat pe teorie aplicat de anumii cercettori n domeniul abuzului de substane carecreeaz dependen19 sau n evaluarea iniiativelor comunitare comprehensive20. Acest tip de evaluare secaracterizeaz prin faptul c nu permite realizarea unor analize statistice ale datelor obinute, de cele maimulte ori datorit diveritii acestora. Prin urmare, vor fi utilizate preponderent metode calitative dcercetare. Utilitatea acestui tip de evaluare este evident mai ales n cazul evalurilor unor iniiativecomunitare, ale cror efecte nu pot fi analizate statistic, dar care pot furniza informaii despre eficacitateaacestui tip de iniiativ. Anumii cercettori21 susin c, prin combinarea datelor legate de rezultatele unuiprogram cu informaii privind desf urarea procesului de implementare a proiectului, putem obineinformatii valoroase privind efectele programuluii impactul acestuia.

Evaluarea bazat pe teorie pornete de la premisa c orice program de intervenie social are la baz oteorie despre cum funcioneaz un anumit proces, n ce condiii va atinge eficiena i eficacitatea maxim etc. Aceast teorie poate fi implicit sau explicit. Teoria unui program este, n linii mari, echivalent cumodelul logic al acestuia care explic modul su de funcionare. Acest tip de evaluare ofer numeroaseinformaii edificatoare pentru modul de implementare a unor programe complexe similare, indic

riscurile, elementele-cheiei leciile nvate pe parcursul implementrii.Evaluarea impactului. n cadrul analizelor de impact, se msoar pe de o parte efectele nete aleinterveniei (impactul net), iar pe de alt parte se cuantific efectele programului sau proiectului pe termenmediu i lung. Principala problem a determinrii impactului net este diferenierea efectelor datorateprogramuluii a cele datorate altor cauze. Impactul net poate fi determinat att naintea implementrii(preconizarea impactului), n timpul implementrii i ulterior acesteia. Impactul pe termen mediui lungpoate fi anticipat anterior implementrii i n timpul acesteia,i poate fi calculat ulterior implementrii.Indiferent dac este vorba de determinarea impactului net sau a efectelor pe termen mediui lung,evaluarea impactului poate fi extrem de util pentru mbuntirea designului proiectelor actualeiviitoare, pentru fundamentarea deciziilor privind continuarea sau stoparea anumitor iniiative. O abordaredetaliat a analizelor de impact va fi prezentat n a doua parte a lucr rii.

Sisteme de evaluare: Evaluarea centralizat i evaluarea descentralizat

Problema care se ridic n cazul sistemelor de evaluare este un loc comun n problematicadministraiei publice: care este nivelul optim de centralizare/descentralizare n activitatea de evaluaprogramelor. Cai n cazul serviciilor publice, exist avantajei dezavantaje, fie c se opteaz pentrucentralizare, fie c se alege descentralizarea ca model de organizare a sistemului de evaluare programelor n Romnia. n timp ce o centralizare excesiv imprim lips de flexibilitatei induce lipsadiscreiei administrative, descentralizarea poate atrage dup sine lipsa coerenei, utilizarea deficitar a

metodologiei, etc. Din acest motiv se opteaz de cele mai multe ori pentru o soluie intermediar : nicicentralizare, dar nici descentralizare excesiv. O atenie deosebit trebuie acordat nevoilor fiecruidomeniu de activitate. Chiar dac iniial dezvoltarea unui sistem de evaluare este legat de un anumit

18 De vzut Sorin Danandor,Analiz i cercetare n administra ia public , Accent, 2005, p.8119 H.T. Chen, (1990).Theory-driven evaluation. Thousand Oaks, CA: Sage Publications.

20 Weiss, Carol Hirschon, 1995, Nothing as Practical as Good Theory: Exploring Theory-Based Evaluation forComprehensive Community Initiatives for Children and Families. n James P. Connell, Anne C. Kubish, LisbeSchorr and Carol H. Weiss (eds.)New Approaches to Evaluating Community Initiatives. Vol.1: Concepts, Methods,and Contexts.Washington, D.C.: The Aspen Institute

21 Schorr and Kubisch, 1995,New approaches to evaluating community initiatives. Washington DC: The AspenInstitute


19/103

minister, ulterior, trebuie analizat nevoia de evaluarei la nivelul celorlalte ministere. Mai mult, dei oatenie deosebit va fi acordat evalurii programelor cu finanare european (PHARE, SAPARD, FonduriStructurale, etc), nu trebuie ignoratei celelalte programe finanate din surse interne, dar i din alte surseexterne. Sistemul de evaluare va ctiga astfel n complexitate.

Irlanda este un exemplu n care au fost ncercate ambele modele.Modelul centralizata fost adoptatn intervalul 2000-2006. Activitatea de evaluare a fost organizat i coordonat de ctre Unitatea deEvaluare a Ministerului Finanelor. n acest interval s-a asigurat o concentrare a eforturilor de evaluare pprogramele operaionale. A fost o abordare consecvent i s-au semnalat costuri reduse. Un alt avantaj alsistemului centralizat de evaluare este faptul c Unitatea de Evaluare e exterioar Autoritii deManagement care implementeaz programul operaional respectiv.Modelul descentralizata fostimplementat n intervalul 1994-1999. Evaluarea reprezenta n aceast perioad responsabilitatea fiecreiAutoriti de Management responsabile cu un Program Operaional. i aceast abordare are o serie deavantaje: permite Autorittilor de Management s conceap evalurile conform propriilor nevoi, iar acestea pot apela la Unitatea Central de Evaluare pentru expertiz tehnic.

Modelul Propus pentru Romnia pe perioada 2007-2013 este o combinaie ntre modelul centralizaticel descentralizat.


20/103

Capitolul 3. Metode de cercetare utilizate n evaluare

Concepte

Metode cantitative metodele de cercetare care au n vedere studiul unor realiti prin cuantificareafenomenelor care prezint interesi generarea unor teorii generalizabile pe baza datelor obinute n urmacuantificrii; printre acestea se numr : ancheta sociologic i analiza cantitativ a documentelor.

Metode calitative metode de cercetare care se concentreaz pe studiul intensiv al fenomenelor sociale,cu accent pe aprofundarea problematiciii detalierea aspectelor care prezint interes; aici se nscrieinterviul individual, focus-grupul, analiza calitativ a documentelor i observaia.

Paradigma multi-metod un nou model de abordare n privina metodelor de cercetare, care puneaccent pe complementaritatea dintre acestea; acesta propune utilizarea conjugat a metodelor cantitativeicalitative, pentru a obine rezultate optime.

Date primare datele care sunt colectate direct de ctre cercettorii care realizeaz un anumit studiu, cuajutorul unor metodei instrumente de cercetare specifice.

Date secundare- datele care sunt utilizate ntr-o cercetare, dar au fost colectate anterior i cu alte scopuri.

Metode statistice metodele utilizate pentru analiza datelor obinute cu ajutorul metodelor de cercetare;se refer la metode specifice de testare a unor ipoteze utiliznd asocieri, modele de regresie, difeicoeficieni statistici etc.


21/103

Capitolul 3. Metode de cercetare utilizate n evaluare

Pentru fiecare tip de evaluare a fost dezvoltat o gam larg de metode de cercetare n conformitatecu scopul evalurii, cu tipurile de ntrebri la care evaluarea urmeaz s r spund, cu contextulorganizaional i socio-economic, cu bugetul disponibil, cu capacitatea de cercetarei cu ali factorisemnificativi. Evaluarea unui proiect sau program presupune utilizarea att a metodelor calitativcercetare cti a celor cantitative. Abordarea cel mai des utilizat este cea a metodelor multiple-ocombinaie funcional ntre cele dou tipuri de metode. Un anumit grad de cuantificare este necesar ntoate studiile de evaluare pentru a aprecia succesul interveniilor i amploarea efectelor adverse. n acelaitimp, metodele calitative de cercetare sunt extrem de utile n rafinarea instrumentelor de cercetarei naprofundarea informaiei colectate.

n sociologie n particular i n tiinele socio-umane n general, termeniicantitativ i calitativ ajung s desemneze dou mari paradigme.

Diferena ntre calitativi cantitativ se face att la nivel epistemologic general, cti privindanumite aspecte precum: rolul cercettorului, relatia cu subiectul, relaia teoretic-empiric, metodeleprincipale utilizatei natura datelor obinute.22 Traian Rotariui Petru Ilu n Ancheta sociologic isondajul de opinie: Teoriei practic demasc falsa opoziie dintre cele dou mari paradigme23. De ce

opoziie i de ce fals?Ideea de opoziie ntrecantitativ i calit ativ are la baz distincia dintre abordarea pozitivist icea fenomenologic, dintreErklaren i Verstehen24. Erklaren- explicaia obiectiv, din afar i verstehen-ntelegerea subiectiv-din interior. Modelul cantitativist presupune descrierii explicaii de tip pozitivist,dintr-o perspectiv exterioar , obiectiv-structural. Spre deosebire de acesta, modelul calitativist are labaz subiectivitatea uman. Socialul este construit prin interaciunea simbolurilor i reprezentrilor individuale sau de grup, iar cunoaterea este de tip comprehensiv. Una dintre diferenele majore dintrecele dou modele, la nivel metodologic este faptul c modelul cantitativ utilizeaz metode structurate, ntimpce modelul calitativ se bazeaz pe metodei tehnici nestructurate.

Exist numeroase motive pentru care opoziia dintre cantitativ i calitativ este un constructartificial. Dnd un r spuns la ntrebarea: Ce este abordarea calitativ a socio-umanului?, P. Ilu genereaz o definiie a calitativului axat pe 12 dimensiuni25: orientarea general epistemologic, nivelul realitii

vizat, natura realitii vizate, relevana punctului de vedere n explicareai ntelegerea realitii, relatiadintre cercettor i subiect, relaia dintre teoriei cercetarea empiric, selecia unitilor de cercetat efectivdin populaia vizat, timpul afectat culegerii datelor, metodele principale utilizate, natura datelor obinute,stilul raportului de cercetare (al textului elaborat), preponderena n disciplinele socioumane(n sensrestrns). Astfel, abordarea calitativ a socio-umanului este modelul care are la baz orientareaepistemologic fenomenologico-comprehensiv, idiografic, care se aplic la nivel microsocial, local,contextual, care vizeaz realitatea procesual i construit social de actor, care utilizeaz punctul devedere al subiecilor n explicareai nelegerea realitii, n care relaia dintre cercettor i subiect esteuna apropiat, iar relaia teoretic-empiric este una de emergen a teoriei pe parcursul cercetrii empirice.Acelai model calitativist utilizeaz ca uniti de cercetat ntrega populaie sau o eantionare teoretic,datele sunt culese pe parcursul unei perioade lungi, continue, iar metodele principale utilizate observatia participativ, interviul intensiv, (auto)biografiile, analiza calitativ a documentelor. Dateleobinute sunt complexe, de profunzime, este utilizat un limbaj natural, metaforic, cu putine date statii reprezentri graficei e utilizat cu preponderen n antropologie cultural i istorie. Pentru a reliefa ctmai clar specificitatea modelului calitativ, autorul l prezint n compara ie, deci nu opozi ie cucantitativismul. Urmnd aceeai arhitectur a definiiei, orientarea general epistemologic a modeluluicantitativ este una pozitivist-explicativist. Cercetarea cantitativ se aplic prepondernt niveluluimacrosocial, global, formal, vizeaz realitatea static i exterioar actorului social, utilizeaz perspectivacercettorului, intre cercettor i subiect exist o relaie distant(din exterior). n cercetarea cantitativ teoria este verificat prin cercetarea empiric(ipotezele sunt testate), selecia unitilor de cercetat din

22 Adaptare dup Brayman, A.(1992),Quantity and Quality in Social Research,Londra, New York, Routlege, n Traian Rotariui Petru Ilu (2001)Ancheta sociologic i sondajul de opinie: teoriei practic , Polirom, p. 2523

Traian Rotariui Petru Ilu (2001)Ancheta sociologic i sondajul de opinie: teoriei practic , Polirom, p. 24 24 Dup Petru Ilu(1997)Abordarea calitativ a socioumanului, Polirom, Iai, p.40 25 Petru Ilu(1997)Abordarea calitativ a socioumanului, Polirom, Iai, p.63


22/103

populaia vizat se face preponderent prin eantionare statistic, culegerea datelor se face episodic,i sentinde pe perioade scurte de timp, metodele principale utilizate sunt: experimentul, ancheta cu cheststandardizat, analiza cantitativ a documentelor i observaia sistematic din exterior. Datele obinute nurma cercetrilor cantitative sunt tari(valide, de mare fidelitate), ns nu surprind la fel de multe detaliica i cercetarea calitativ i nu ating profunzimea coleciilor de date calitative. Totui, datele cantitativesunt generalizabile, pot sta la baza contructiei unor noi axiome, teorii. Raportul de cercetare n cmodelului cantitativist este consistent n cifre, tabele, graficei comentarii n limbaj natural, iar frecvenacea mai mare a utilizrii acestui model este ntlnit n sociologiei psihologie social.

Evident r mne faptul c cele dou paradigme sunt puse fa n fa cu scopul de a face ocomparaie i nu pentru a sublinia un raport de opoziie.

n Ancheta sociologic i sondajul de opinie: teoriei practic , Rotariui Ilu expun cel puinpatru motive pentru care opoziia cantitativ-calitativ este un construct artificial:

1. Tot ceea ce este subsumabil comprehensiunii poate servi ca punct de plecare n proiectarea ucercetri pozitiviste(prin experiment, anchet cu ajutorul chestionarului, sau prin observaieneparticipativ). Mai mult, acelai bagaj comprehensiv este inevitabil prezent n faza de analiz i interpretare calitativ-globalist a unor date statistice26.

2. Intuiia se poate nscrie alturi de procesele de cunoatere (inducie, deducie, asocierei

imaginaie) ca un plus semnificativ nc neexplicat psiho-fiziologic27

. tiinele tari nu excludintuiia(intuiionismul n matematic), deci comprehensiunea nu poate fi opus modeluluipozitivist detiin i exclus din modelul cantitativist.

3. Diverse alte dimensiuni ale comprehensiunii(e.g. empatia) pot fi cercetate n cadrul raionaluluiidescrisei explicate n termeni cantitativiti.

4. Expresiile subiectivitii umane (cuvintele rostite, gesturile, comportamentele, atitudinilvalorile, credinele) pot fi analizate nu doar prin metode intensive, specifice arsenalulmetodologic calitativ cii cu ajutorul unor metodei tehnici specifice modelului cantitativist(esteceea ce se ntmpl n general n sondaje, n cadrul ntrebrilor de opinie). Iar metodele intensivede cercetare nu pot pretinde c au acces la perspectiva actorului n esena sa, depindinterpretat-construitul.

Prin urmare, relaia dintre cantitativi calitativ este neleas inexact de ctre cei care pretind c este vorba despre un raport de opoziie. Aceast iluzie este indus de cele mai multe ori deprezentarea lor fa n fa nu pentru c s-ar opune, ci pentru c sunt complementare, iar explicaiauneia, faciliteaz comprehensiunea celeilalte.

Metodele mixte de cercetare - o nou paradigm sau un magnet semantic?n Handbook of Mixed Methods in Social and Behavioral Researchpublicat n 2003, Tashakkori

i Teddlie (editori) lanseaz noua paradigm a metodelor mixte de cercetare. Pe parcursul a douazeciiase de capitole, Tashakkorii Teddlie, alturi de ali autori, analizeaz, nu de puine ori critic, nouaparadigm. Fundamentele acestei noi paradigme se regsesc n lucrarea publicat de cei doi autori n1998:Mixed Methodology: Combining Qualitative and Quantitative Approaches.Mai mult, dup cum seobserv din analiza de mai sus, aceast paradigm a fost anunat n publicaiile autorilor romni TraianRotariu i Petru Ilu care nc din 1997 susineau nexistena unei opoziii reale ntre calitativicantitativ28. Dincolo de reiterarea realitii inexistenei unui conflict ntre cele dou paradigme alecercetrii clasice, Tashakkorii Teddlie aduc dou contribuii fundamentale prin popularizarea noiiparadigme a metodologiei mixte: crearea unei tipologii a metodelor mixte de cercetarei a modelelor mixte de cercetare, precumi prezentarea unui ghid practic de utilizare a lor. Metodele mixte de cercetapresupun combinaii ale abordrilo cantitativei calitative n metodologia unei cercetri (spre exemplu netapa colectrii datelor), n timp ce modelele mixte de cercetare combin cele dou abordri pe tot

26Traian Rotariui Petru Ilu (2001)Ancheta sociologic i sondajul de opinie: teoriei practic , Polirom p. 2527 ibidem

28 Traian Rotariui Petru Ilu (1997)Ancheta sociologic i sondajul de opinie: teoriei practic , Polirom


23/103

parcursul unui studiu29. n cartea publicat n 2003,Handbook of Mixed Methods in Social & BehavioralResearch, Tashakkori i Teddlie aduc elemente noi, de rafinament care clarific dimensiunile noiiparadigme. Cercetarea prin metodele mixte sau cu metode multiple (multimethod) cum mai este nu,poate fi definit succint ca fiind practica utilizrii mai multor tipuri de metode de colectare a datelor(atde natura cantitativ, ct i de natur calitativ) n acelai studiu sau program de cercetare(spre exemplu,msurarea variabilelor att cu ajutorul anchetei sociologice cu chestionar standardizat, cti prin analizacalitativ a datelor, testarea ipotezelor att prin metode experimentale, cti prin metode non-experimentale, sau utilizarea metodelor calitative de cercetare empiric pentru a detalia informaiilefurnizate printr-un sondaj de opinie.30Metodele de cercetare difer nu numai prin tipul datelor pe care le pot oferi, cii prin vulnerabilitatea lor la diferite tipuri de erori. Abordarea metodelor mixte poate fi considerat o strategie pentru eliminarea saucel puin reducerea gradului de vulnerabilitate la eroare a ambelor tipuri de metode. n ce msur aceast paradigm reprezint o noutate, r mne de vzut. Promotorii si recunosc c metodele implicate de nouaabordare sunt, n general, metodele utilizate n cercetarea contemporan n tiinele socio-umane. n acestsens, metodele mixte nu sunt o noutate.31 Ceea ce este nou este designul unei sinteze sistematice a celodou modele diferite de cercetare (cantitativi calitativ) cu scopul de a crete nivelul cunoaterii ntiinele sociale. A spune c metodele analizei statisticei cele ale analizei calitative a unui studiu de caz

sunt complementare, nu este ceva nou. Cum nu este nou faptul c asocierilei corelaiile statistice potsugera adesea noi direcii pentru cercetarea calitativ. Testarea ipotezelor prin metode de analiz cantitativ nu excludea nici pn acum utilizarea n paralel sau ulterior a unor ,etode calitative dcercetare pentru a ntri sau detalia concluziile. Dup cum susin chiar promotorii noii paradigme, nc din 1970 cercetarea multimetod sau cu ajutorul metodelor mixte era utilizat sub denumirea detriangulaie.32

R zboiul paradigmatic n evaluarea de programeDomeniul evalurii programelor preia aceast fals opoziie. Paradigmele dominante n

metodologia evalurii de progr ame a anilor 70-80 sunt cantitativversuscalitativ. ncepnd cu deceniulnou, aceast lupt pierde teren33.

Natura specific a investigaiilor calitative deriv din deschiderea acestora, din legtura strns aevaluatorului cu programul, din utilizarea observaiei i mai ales a interviului nestructurat care comunic

respect respondenilor prin transformarea opiniilor proprii (exprimate n propriile lor cuvinte) ntr-o su important de date pentru evaluare.34 Metodele cantitative implic analiza statistic a unor date obiective,de regul cifre. Acestea sunt obinute prin numrarea beneficiarilor unui program, sau prin analizasecundar a unor date. Metodele calitative utilizeaz informaiile obinute n urma unor discuii, n urmaunor observaii participative sau non-participative care sunt analizatei organizate tematic ulterior,urmnd a fi raportate ntr-un stil narativ. Metodele cantitative sunt utilizate pentru a insera diverse oi experiene n categorii predeterminate, pentru a ajunge la rezultate semnificative din punct de vedstatistici generalizabile. Cu ajutorul metodelor calitative pot fi studiate n profunzime diverse problale unui program. Ele genereaz date detaliate, de multe ori n propriile cuvinte ale participanilor dintr-unanumit programi nu exist metode cantitative adecvate pentru a descrie comportamentul variabilelinvestigate. Studiile metodologice orientate spre cantitativ, apreciaz metodologia calitativ ca avnd preapuin impact asupra rezultatelor cercetrii, i c este util doar n fazele incipiente, exploratorii ale uneicercetri. Din aceast perspectiv, metodele calitative de cercetare sunt necesare pentru a produce ceea cnumim de obicei familiarizarea cu subiectul investigaiei, pregtind astfel terenul pentru cercetareacantitativ. Aceasta presupune faptul c validitatea cercetrii este dat n tiinele sociale exclusiv dedatele experimentale, de statisticile oficialei de eantionarea aleatorie.

29 Abbas Tashakkori, Charles Teddlie (1998)Mixed Methodology: Combining Qualitative and QuantitativeApproaches, SAGE Publications, Inc., p. ix30 Dup Tashakkori, Abbas, Charles Teddlie (2003)Handbook of Mixed Methods in Social & Behavioral Research,SAGE Publications, Inc., p. 55731 Ibidem, p.578 32 Ibidem, p.57933

Dup William Shadish Jr, Thomas D. Cook i Laura C, Leviton (1991)Foundation of Program evaluation:Theories and Practice, Newbury Park, CA, SAGE34 Dup Michael Q. Patton (2002),Qualitative Research and Evaluation Methods, SAGE, p.124


24/103

Criticii metodelor cantitative susin c metodologia cantitativ nu este singurul mod n care poatefi demonstrat validitatea rezultatelor unei cercetri. 35. Experimentele, statisticile oficialei sondajele deopinie pot fi inadecvate pentru cercetarea anumitor probleme dintiinele sociale. Acetia accept faptulc n anumite circumstane metodele cantitative pot aduce informaii noi cercettorilor, dar, n acelaitimp, pot lsa n umbr anumite aspecte eseniale.

Iniial, evaluarea programelor a fost dominat de paradigma naturalist a metodologiei ipotetico-deductive care pune accentul pe cantitativ, pe designul experimentali pe analiza statistic. n 1995, laConferina Internaional de Evaluare din Vancouver William Shadish Jr, Thomas D. Cook i Laura C.Leviton anun victoria paradigmei calitative36. Thomas D. Cook i Donald T. Campbell militeaz n acestsens nc din 1979 n Quasi-experimentation: Design and Analysis Issues for Field Settings37. Totui,validitatea metodelor experimentalei a metodelor cantitative utilizate n mod adecvat nu a foscontrazis. Acum ns, metodele calitativei-au ctigat drepturi egale celor cantitative. n 1991,Preedintele Asociaiei Americane pentru Evaluare, Lee Sechrest, punea preferina pentru metodelecalitative pe seama simplitii acestora comparativ cu metodele cantitative mult mai dificil de abordTotui, Sechrest recunoate necesitatea metodelor calitative, ns doar n combinaie cu cele cantitative.38

Paradigma metodologic alternativ (calitativ) i are originile n antropologie, n sociologiacalitativ i n fenomenologie. Doctrinar, aceast paradigm a fost plasat sub girul Verstehen-ului.

Principalul motiv l reprezint faptul c oamenii au scopurii emoii, i fac planuri, construiesc culturiisusin anumite valori, iar comportamentul lor este influenat de aceste valori, planurii scopuri39.Tradiia Verstehenpune accent pe capacitatea uman de a cunoate i nelege alteritatea prin

introspecie empatic i prin reflecii avnd la baz descrieri detaliate rezultate din observaia direct,interviuri nestandardizatei studii de caz.

Paradigma alternativ cantitativului/experimentalului acord o atenie crescut semnificaieicomportamentului uman, contextului interaciunii sociale i legturii dintre strile subiectiveicomportament.

n domeniul evalurii paradigma alternativ ctig din ce n ce mai muli adepi. Unul dintre ceidinti care se face auzit este Robert Stake.

Analiza cantitativ a documentelorDatele culese trebuie s aib o legatur direct cu proiectul sau programul care urmeaz a fianalizat. Informaia necesar poate fi adunat n mai multe moduri. Un prim pas l poate constituirevizuirea unor cercetri sau studii realizate anterior. n cazul evalurii unui program pot exista cercetri anterioare care s furnizeze informaii legate deprograme similare, activiti cotidienei diverse caracteristici ale unui anumit grup de persoane. Alteornu exist asemenea informaii. n acest din urm caz se va apela la alte metode de colectare a datelor consecutiv operaiunilor preliminarii de analiz a situaiei.Uneori evalurile anterioare pot fi utilizate ca surse importante de date. Uneori, pentru comparaia dintreprezenti trecut se va recuge la memoria persoanelor implicate sau afectate de diverse intervenii sociale.Un caz particular l constituie problematica schimbrii instituionale. Pentru aprecierea schimbriiinstituionale se vor cuta indicatori utilizai n anii precedeni privind modul de aciune al instituiilor.Este dificil de definit n avans obiectul investigaiilor. Aceasta presupune de obicei studiul unor documente mai vechi sau discuii cu diferite persoane care pot duce la identificarea schimbrilor i aelementelor constante.

35 David Silverman (2001)Interpreting Qualitative Data: Methods for analysing Talk, Text and Interaction, 2nd ed.Sage, p.3236 Michael Quinn Patton (1997)Utilization-Focused Evaluation: The New Century Text , Sage Publication, p. 26637 Thomas D. Cook,i Donald T. Campbell (1979)Quasi-experimentation: Design and Analysis Issues for Field SettingsChicago, Rand McNally7 Idem 4.

39 Kenneth Strike, (1972)Explaining and Understanding the Impact of Science on Our Concept of Man, nPhilosophical Redirection of Educational Research: The Seventy-First Yearbook of the National Society forStudy of Education, editor: Lawrence G. Thomas, Chicago, University of Chicago Press, p.28, citat n MichQuinn Patton (1997),Utilization-Focused Evaluation, The New Century Text, Sage Publication, p. 271.


25/103

O surs de date necesare pentru realizarea unui studiu de iunei evaluri este cercetarea arhivelor, adatelor provenite din recensmintei al celorlalte date statistice existente. Este necesar colectarea unuiset de principal de date cantitative care s se refere la calitatea vieii, nivelul veniturilor, al cheltuielilor etc. la nivel de comunitate. Aceasta mai ales cnd sunt studiate diferite comuniti pentru a asiguracomparabilitatea tematic ntre acestea. Alturi de datele obinute prin cercetarea cr ilor i a articolelor publicate, o atenie deosebit ar trebui acordat informaiilor oferite de lucr rile de la diverse conferine,de rapoartele tehnice realizate n urma anumitor proiecte, intervenii sau cercetri. Este extrem deimportant ca rezultatul analizei documentelor s includ referiri la toate studiile empirice realizate, cuscopul unei abordri comparative privind domeniul, metodelei validitatea evalurii. Analizadocumentelor va furniza informaii referitoare la problemei variabile sociale relevante pentru proiectulsau programul respectiv care este n curs de implementare sau n faz de proiectare. ns, din moment cefiecare proiecti program este unic, trebuie adunate informaii suplimentare depre situaia concret.Pentru fiecare program evaluat vor fi necesare date legate de variabile precum: participarea anterioar sauimplicarea prezent n programe similare, stilul de via, angajarea, atitudinile, valorile socialeicredinele care caracterizeaz comunitile, organizarea social a acestora, dinamica populaiei,coordonatele demografice ale comunitaii i regiunii.

Analiza cantitativ a documentelor are avantajul de a fi mai puin costisitoare n termeni de timp

i alte resurse dect sondajele de opinie, dar potenialul de eroare este mai ridicat. Prin utilizarea bazelorde date existente, analistul poate formula modele despre performana unui program, impactul socialpotenial la nivelul grupurilor i al comunitilor, etc. Informaia care contrazice modelul construit,determin revizuirea acestuia, mai ales dac datele care nu se potrivesc modelului sunt consideraterelevante. Analiza documentelor este preferat ca metod primar de culegere a datelor pentru evaluare.Aceasta datorit virtuilor sale privind economia de resurse. Totui ea este de obicei utilizat mpreun cualte metode, att cu scopul completrii informaiei, cti cu scopul examinrii validitii datelor.

Pentru a observa utilizarea metodelor de cercetare in evaluarea de proiecte, am nceput pranaliza o parte din studiile de evaluare a impactului derulate de exper ii Bncii Mondiale n intervalul2003-2005. Am realizat un eantion aleatoriu, stratificat, de evaluari, dup urmtoarele variabile:domeniul proiectelor evaluate (dezvoltare economic, educaie, infrastructur ) i numrul beneficiarilor acestora (sub 50.000 indivizi, ntre 50.001 si 100.000i peste sau egal cu 100.001 indivizi) (Tabelul 18).

Am selectat aceste variabile pentru c: domeniul - d specificitatea analizelor la care se preteaz unproiect n cursul evalurii i numrul indivizilor din grupulint al proiectului ilustreaz de regul dimensiunea proiectului. Iar metodele de cercetare utilizate n evaluarea proiectelor sau programelovaria n funcie de aceste dou variabile. Aceasta este ipoteza de la care am pornit. Scopul a fost obinereaunei selecii omogene de studii de evaluare. Ulterior am notat care este metoda de cercetare utilizat cupredilecie (i am numit-ometoda principal ), precumi metodele utilizate n completarea acesteia(metoda secundar i metoda ter iar ). Ulterior am notat apariia fiecrei metode de cercetare in studiilede evaluare, precumi poziia (primar , secundar sau ter iar ) pe care o ocup n studiul de evaluare. Amsesizat utilizarea n principal a trei metode de cercetare-analiza documentelor, sondajul de opiniinterviul individual-metode pe care le-am luat n calcul pe tot parcursul analizei realizate.

Dup cum reiese din Tabelul 1i 2, n eantionul de 40 de studii de evaluare a impactului socialrealizate de ctre Banca Mondial, 45% (18) utilizeaz analiza cantitativ a documentelor ca metod principal, iar alte 20 % (8) ca metod secundar .Tabelul 1. Metoda principal de cercetare utilizat n evalurile realizate de Banca Mondial

Frecvena Procentulanaliza doc 18 45,0

sondaj 9 22,5interviu ind 7 17,5

alta 6 15,0Total 40 100,0

Este interesat de notat faptul c, dei ca metod primar este preferat analiza documentelor, urmat de

ancheta sociologic, n topul metodelor secundare (de suport) ancheta este devansat de interviu. Este odovad a utilitii paradigmei multimetod.Tabel 2. Metoda secundar de cercetare utilizat n evalurile realizate de Banca Mondial


26/103

Frecvena Procentul

analizadoc

8 20,0

sondaj 10 25,0interviu

ind 12 30,0focusgroup

2 5,0

Delphi 8 20,0Total 40 100,0

Ancheta sociologic i sondajul de opinie40

Conjuncia copulativ i din Ancheta sociologic i sondajul de opinie atrage atenia asupraunor deosebiri ntre ancheta sociologic i sondajul de opinie, chiar dac anumii cercettori tind s pun semnul egalitii, echivalenei i chiar al identitii ntre cele dou noiuni. Diferenele ntre o anchet sociologic i un sondaj de opinie sunt ilustrate ct se poate de clar n cartea profesorilor Traian RotariiPetru Ilu (Ancheta sociologic i sondajul de opinie: teoriei practic ). Se remarc astfel existena a celpuin apte note distinctive ntre cele dou forme de cercetare:

1. O prim caracteristic specific a sondajului de opiniespre deosebire deancheta sociologic sedetaeaz din semnificaia termenului la nivel semantic. Sondajele de opinieau n centru pe de o partesondajul,iar pe de alt parteopinia.Termenulsondajeste sinonim cu sintagmacercetare selectiv , iar sensul s se poate reduce n mod strict la operaia de selectare a indivizilor care urmeaz a fichestionai41. -Aspect prin excelen subiectiv alr ealitii sociale, prin opinie se nelege o stare sau opredispoziie mental fa de un anumit referent.42 Opinia are la baz diverse credine, valori, atitudini,sentimentei aprecieri personale ale celor care o exprim. De multe ori,sondajul de opinieeste utilizatinter anjabil cu sintagmasondaj de opinie public . Dan andor prezint un model al formrii imanifestrii opiniilor n sfera public, i mai concret n sistemul administrativi politic:43

Fig.2 Nivelul de manifestare al opiniilor n sistemul administrativi politic. (Sursa: Sorin Danandor,

(2004),Analiz i cercetare, Cluj-Napoca: Accent, p.59, adaptare dup Robert G. Lehnen,AmericanInstitutions, Political Opinion & Public Policy, Dryden Press, 1976, p. 32)

Institu iiPreedinteParlamentTribunaleAdministraiacentral Administra ia

OpiniiAtitudinii credinepe termen scurt saulung privindinstituiile publiceipoliticile acestora

ParticipareInteraciuni cuadministraiaVotulParticiparea naciuni de lobby

40 dup Traian Rotariui Petru Ilu (1997),(2001),Ancheta sociologic i sondajul de opinie: teoriei practic ,Polirom41 dup Traian Rotariui Petru Ilu (2001),Ancheta sociologic i sondajul de opinie: teoriei practic , Polirom, p.5242

Sorin Danandor, (2004),Analiz i cercetare, Cluj-Napoca: Accent, p.5843 adaptare dup Robert G. Lehnen,American Institutions, Political Opinion & Public Policy, Dryden Press, 1976, p.32, n Sorin Danandor, (2004),Analiz i cercetare, Cluj-Napoca: Accent, p.59


27/103

Detaliind noiunea de opinie public, sunt subliniate trei aspecte fundamentale: intensitateaopiniei, importana subiectului,i stabilitatea opiniilor 44. Aceste elemente dau msura n care opiniapublic este relevant. Opinia public este ns considerat complex i greu de definit operaional45.2. O alt caracteristic specific a sondajului de opinie n comparaie cu ancheta sociologic este specificul

problemelor cercetate. n cazul sondajului de opinie public, problemele sau temele abordate au uncaracter de interes general (opiuni politice, atitudini fa de probleme instituionale, etc.), pe cndancheta sociologic poate fi centrat pe probleme care preocup un grup mai restrns(e.g. beneficiariiunui program sau proiect, o anumit categorie ocupaional, etc). Din acest motiv, n evaluarea deprograme vom vorbi mai degrab de anchet sociologic dect de sondaj de opinie.

3. Sondajul de opinie este o subspecie a anchetei sociologice, care se remarc printr-un puternic caracter descriptiv. De cele mai multe ori, sondajele de opinie nu stau la baza unor cercetri explicative.

4. Spre deosebire de anchet, sondajul de opinie necesit, de regul, un timp mai scurt de desf urare.ntrebrile din chestionarele folosite sunt de cele mai multe ori clar structuratei relativ simple.Eantioanele selectate asigur o reprezentativitate rezonabil pentru evalurile cu caracter generalurmrite. Ancheta sociologic, dimpotriv, necesit un timp mai indelungat de organizarei desf urare,ntrebrile din cadrul chestionarului specific anchetei pot fi structurate, semistructuratei chiar nestructurate, iar eantionarea se face dup proceduri mai complexe.

5. Rezultatele sondajului sunt prezentate ntr-o form uor accesibil Ancheta sociologic are urmtoarele caracteristici:46presupune un numr mare de cazuri,selectarea acestora trebuie f cut dup criterii riguroase de eantionare;datele trebuie colectate n situaiinormale, ct mai apropiate de viaa de zi cu zi; colectarea se face n conformitate cu procedurstandardizate iar datele sunt ntr-o form msurabil cantitativ, cea mai simpl fiind prezena sau absenaunui atribut.

n evaluarea de proiectei programe pentru administraia public cel mai adesea este utilizat ancheta sociologic. Aceasta poate avea ca populaie statistic cetenii-clieni ai unei anumite instituii(administraia financiar , poliia, cu sistemul educaional, etc.), beneficiarii unui program sau proiect.Populaia statistic poate constai n membrii unei uniti administrativ-teritoriale sau ai unui grup dintr-oanumit comunitate,int a unor intervenii susinute din bani publici.

Toate acestea de mai sus sunt mai mult problematici din care pot fi puse ntrebri. Putem punentrebarea ntr-un mod apropiat de formularea propus sau pentru fiecare dintre ele putem formula maimulte ntrebri, astfel nct s nelegem mai bine fenomenul.

Sondajul de opinie este utilizat ca surs principal de culegere a datelor n 22.5 %(9) din cazuri(Tabelul1), ca metod secundar n 25%(10) din cazuri(Tabelul 2), iar ca metod ter iar , tot n 25%(10) dintrecazuri dupa cum reiese din Tabelul 3.

Tabelul 3.Metoda teriar

Frecvena Procentulanaliza doc 10 25,0

sondaj 10 25,0interviu ind 4 10,0focus group 6 15,0

Delphi 8 20,0observaia 2 5,0

Total 40 100,0Dac prin analiza documentelor este ncurajat utilizarea datelor deja existente, din motive de

economiei eficient, analiza va evidenia de cele mai multe ori carene n datele avute la dispoziie ca o

44 Sorin Danandor, (2004),Analiz i cercetare, Cluj-Napoca: Accent, p.5945

Traian Rotariui Petru Ilu (2001),Ancheta sociologic i sondajul de opinie: teoriei practic , Polirom, p. 52 46 H.H. Hyman, 1973,Surveys in the Study of Political Psichology, n J.N. Knutson ed.,Handbook of Political Psichology, Jossey Bass


28/103

consecin a unor studii anterioare. Datele obinute prin sondajul de opinie aplicat n cadrul studiului deimpact trebuie interpretate prin prismai n contextul datelor regsite n arhive, datelor provenite dinrecensmintei al celorlalte date statistice existente.Scopul unui astfel de sondaj ar fi :

1. s verifice valabilitatea datelor obinute iniial, pe un eantion mai largi mai reprezentativ2. adresarea unor ntrebri n legatur cu probleme care nu au fost abordate anterior

Astfel se obin date predominant cantitative (legate de nivelul de angajare a for ei de munc, sursele devenit).

Dac se utilizeaz sondajul de opinie, trebuie avute n vedere urmatoarele elemente:

utilizarea ntrebrilor potrivite construcia eantionului alegerea celor mai relevante tehnici de analiz a datelor

ntrebrile ar trebui s se concentreze pe problemele sociale cu care are legatur proiectul. Trebuie s existe o legatur direct ntre variabilele cu ajutorul crora se msoar impactul i ntrebrilechestionarului. Numrul i coninutul ntrebrilor trebuie s se plieze pe importana relativ a variabilelor.Accentul trebuie pus pe claritatea formulrii ntrebrilor. nc din aceast etap, o importan semnificativ o are influena variabilelor externe. Validitatea concluziilor depinde de masura n care poafi anticipat i controlat influen acestora. Claritateai relevana ntrebrilor, precumi ordinea n carentrebrile sunt prezentate poate avea un impact semnificativ asupra validitii analizei. Problemavariabilelor externei a oportunitii ntrebrilor poate fi rezolvat prin pre-testarea instrumentului. nacest context, unii cercettori vorbesc despre procesul de clarificare sau de cur are a instrumentului.nainte de a ncepe construcia unui chestionar n vederea utilizrii lui pentru evaluarea impactului socialal unui proiect sau program, specialistul ntiinte sociale trebuie s in cont de dou realiti: realizareaunor cercetri noi presupun, de regul mult timp,i n al doilea rnd, este recomandabil utilizareacercetrilor anterioare. Studiile cantitative trebuie corelate cu tehnicile inductive de analiz a informaieiexistente, cu analiza informaiei calitativei cu observaia.

Metode calitative complementare

Interviul semi-structuratSimilar unui sondaj de opinie, interviul semi-structurat utilizeaz un ghid foarte asemntor cu unchestionar cu mai multe ntrebri deschise. Utilizat n EIS de doar 17.5% dintre cercettori ca metod principal (vezi Tabelul 1), el are supremaia ca metod secundar utilizat n evaluarea impactului social(vezi Tabelul 2), fiind apreciat ca metod predilect n procesul de aprofundarei clarificare ainformaiei. n utilizarea interviurilor semistructurate,

Metode_utilizate_in_evaluarea_programelor

Documents

Transcript of Metode_utilizate_in_evaluarea_programelor