EVALUAREA PROGRAMELOR Curs adaptat dup cursul doamnei lect. univ. Raluca Antonie

1

Capitolul 2. Evaluarea de programe explicitarea conceptelor Studiul evalurii este relativ nou, ndeosebi n Romnia. Una dintre primele nregistrri ale unei evaluri la nivel internaional este evaluarea eficacitii terapeutice a sucului de lmie n rndul marinarilor realizat de marina britanic n secolul al XVIII1-lea. 2.1 Scurt istoric Evaluarea a debutat ca un domeniu practic i a devenit o disciplin recunoscut a cercetrii tiinifice ncepnd din anii 1960. Pe parcursul evoluiei s-au remarcat o serie de dispute privind terminologia, metodologia i etica evalurii. n 2004, FitzPatrick, Sanders i Worthern au identificat aproape 60 de modele aprute ntre 1960 i 1990 (J.L. Fitzpatrick, Sanders, J.R., i Worthen, B.R., 2004). Anul 1965, a nsemnat startul masiv n Statele Unite a unor programe destinate combaterii srciei (War on Poverty rzboi mpotriva srciei, denumirea general a setului de programe) (Sorin Dan andor, 2005: 73). Marea Societate. Revoltele din Watts. Rzboiul mpotriva srciei Un pachet de reforme n educaie, sntate, nvmnt, protecie social i protecia mediului fceau parte din planul preedintelui Johnson de a reconstrui America ca pe o Mare Societate (The Great Society)2. Iniial, acesta are suportul total al opiniei publice. Marea Societate urma s reprezinte cea mai complex reform de la Noua nelegere (New Deal) promovat de Ronald Reagan. n 1960, n pofida climatului de prosperitate, aproape un sfert din familiile americane triau sub limita srciei. Regiuni ntregi nu beneficiaser de prosperitatea economic din perioada postbelic. Mai mult, evoluia tehnologic din industrie i lsa pe cei nepregtii fr locuri de munc. n 1964, 44% dintre persoanele peste 65 de ani nu aveau asigurare de sntate. Starea precar de snatate, datorat naintrii n vrst determina intrarea lor automat n rndul celor sraci. n realitate, mai mult de unul din trei Americani sub 65 de ani triau sub limita srciei. Prin urmare, preedintele Johnson a considerat c Rzboiul mpotriva sraciei(War on Poverty) trebuia s ocupe centrul preocuprilor pentru construcia Marii1

Eficacitatea sucului de lmie n combaterea scorbutului la marinari comandat de marina britanic n secolul XVIII! Francezii pretind c au realizat prima cercetare de acest gen chiar mai devreme cd armatele normande au realizat o evaluare privind eficacitatea relativ a diferitelor tipuri de arcuri n Models for the evaluation of elearning, http://wiki.ossite.org/index.php?title=Models_for_the_evaluation_of_elearning 2 dup John Gardner- Engineer of the great Society n http://www.pbs.org/johngardner/chapters/4.html

2

Societti. Un imbold semnificativ

n iniierea Rzboiului mpotriva srciei l-au

constituit Revoltele din Watts. Revoltele din Watts (Watts Riots3) au fost o serie de conflicte civile de mari dimensiuni, care au izbucnit n cartierul Watts din sudul oraului Los Angeles din Statele Unite ale Americii. Acestea au nceput in 11 August 1965 i au durat 6 zile. n urma lor, au fost ucii 34 de oameni, 1100 au fost rnii, 4000 de persone au fost arestate, 600 de cldiri au fost incendiate i s-au produs pagube de aproximativ 100.000.000 de dolari. Majoritatea daunelor s-au nregistrat n cazul afacerilor care au cauzat resentimente in cartier datorit nedreptilor sociale percepute. Domiciliile nu au fost atacate, ns unele eu luat foc din cauza apropierii de alte cldiri incendiate. O comisie guvernamental a investigat revoltele. Principalele cause au fost stabilite ca fiind: omajul, colile slabe i srace precum i alte condiii inferioare de via. Costurile cauzate de rzboiul din Vietnam, alturi de costurile programelor de reform, au determinat o mare presiune asupra economiei americane. Odat cu scderea n popularitate a rzboiului din Vietnam, preedintele Johnson i-a pierdut capitalul politic necesar pentru continuarea reformelor. Criticii Marii Societi pretind c aceste programe de reform au avut efecte departe de cele ateptate, dac nu chiar inverse, n pofida unor investiii publice de mari dimensiuni. S-au creat doar noi sisteme birocratice care au nghiit banii, fr a produce rezultatele scontate. Exemplul cel mai vehiculat este reforma privind asistena social care a produs o fragmentare a oraelor, cu consecinte dintre cele mai nocive. Aceasta a fost fcut responsabil pentru crearea dependenei de asisten social n rndul sracilor, pentru crearea unor cercuri vicioase ale srciei. Sume substaniale au fost investite pentru eradicarea unor probleme sociale, ns rezultatele dorite s-au lsat ateptate. S-a ajuns la concluzia c nu existau suficieni bani pentru rezolvarea tuturor problemelor existente. De asemenea, s-a observat c pentru rezolvarea problemelor cu care se confrunt comunitile, banii nu reprezint singura problem. Evaluarea programelor s-a lansat prin asumarea acestor dou constrngeri (Michael Quinn Patton, 1997) dar i prin adoptarea sistemului de bugetare Planning-

3

http://en.wikipedia.org/wiki/Watts_Riots

3

Programming Budgeting System (PPBS), care ncuraja monitorizarea i evaluarea programelor. Opinia public a devenit din ce n ce mai precaut, cernd dovezi pentru succesul programelor care urmau a fi susinute din bani publici. n aceste condiii, evaluarea a cunoscut un adevrat boom, numrul celor care o consider esenial pentru reuita unui program crescnd spectaculos. Dup cum se anticipa (Chelimski, Shadish, 1997) evaluarea se diversific metodologic nencetat, depete graniele naionale, i devine extrem de util ntr-o sfer din ce n ce mai larg de preocupri. 2.2 Materia prim a evalurii Materia prim a evalurii este constituit din proiecte, programe i politici publice. Proiectele reprezint unitatea cu gradul cel mai sczut de generalitate. Un proiect este efortul organizat de a pune n practic o idee. Desigur, ne referim n acest studiu mai ales la proiectele de dezvoltare socio-economic. Printre elementele eseniale ale unui proiect se numr: scopul, obiectivele, actorii implicai (iniiatori, beneficiari direci i indireci, finanatori, etc.) activitile, calendarul, resursele i efectele multiplicatoare. Proiectele pot fi iniiate i implementate de diferite entiti printre care: instituiile administraiei publice, organizaiile non-guvernamentale i chiar firmele din sfera privat. De regul proiectele reprezint punerea n aplicare a obiectivelor specifice ale unor programe. Programul este unitatea cu gradul de generalitate mai ridicat dect proiectul, ns cu o structur asemntoare. Implementarea unui program se realizeaz prin implementarea mai multor proiecte, care detaliaz i pun n aplicare unul sau mai multe dintre obiectivele programului. Politica public reprezint unitatea cu gradul cel mai ridicat de generalitate, ce corespunde unei direcii strategice de aciune ntr-un anumit domeniu. Un exempu de politic public, specific administraiei publice din Romnia este dezvoltarea capacitii administrative; un program subsecvent acestei politici este Modernizarea Administraiei Publice Locale, iar unul dintre proiectele care pun n aplicare acest program este Evaluarea Programelor n Administraia Public. Proiectul este impelmentat la nivelul unei primrii i detaliaz i aplic unul dintre obiectivele programului: creterea responsabilitii pentru cheltuirea banilor publici. Programele i proiectele pot fi finanate de instituii ale administraiei publice centrale i locale, de organizaii internaionale

4

(Uniunea European, Banca Mondial, etc.), organizaii non-profit i alte entiti. De obicei, finanatorul este cel interesat de rezultatele proiectului, de evaluarea ndeplinirii obiectivelor propuse. n numeroase cazuri, instituiile publice co-finaneaz sau sunt parteneri n proiectele de dezvoltare care afecteaz grupurile de oameni, comunitile din raza lor de aciune. Mai mult, un management performant presupune organizarea activitii instituiilor publice pe baz de proiecte, pentru a fi mai uor administrat, mbuntit, urmrit i verificat. Este o tendin susinut i ncurajat n ntreaga Uniune European. Nevoia de evaluare n sistemul administrativ este n continu cretere. Reforma administraiei publice, dezvoltarea capacitii administrative presupune dezvoltarea capacittii de evaluare. Aceasta poate fi realizat prin crearea unui cadru legislativ, a unei capaciti instituionale i prin dezvoltarea resursei umane n domeniul evalurii. 2.3 Definiii ale evalurii Evaluarea proiectelor i programelor n administraia public este o etap specific, extrem de util n planificarea i managementul proiectelor, o tehnic de cercetare i un instrument pentru realizarea politicilor publice, utilizat cu succes de ctre responsabili de managementul instituiilor i al organizaiilor, de coordonarea proiectelor i a programelor derulate din fonduri publice sau private. nali funcionari publici, politicieni, manageri, directori de instituii i organizaii, directori de programe i coordonatori de proiecte utilizeaz diferite modele de evaluare pentru a sesiza, n timp util, efectele interveniilor pe care le implementeaz sau intenioneaz s le implementeze. Scopul este de a sesiza i a contracara la timp efectele nedorite asupra grupurilor de oameni, comunitilor i societii, precum i pentru a ncuraja elementele pozitive ale programelor i proiectelor. Mai mult, scopul implicit al evalurii este de a colecta sistematic informaii despre rezultate, output si administrarea proiectelor pentru mbuntirea implementrii i generarea unor decizii performante n viitor. Pe scurt, diferitele modele de evaluare sunt utilizate pentru a minimiza pierderile i a maximiza beneficiile interveniilor asupra grupurilor sociale de mici sau mari dimensiuni. De-a lungul evoluiei sale, evaluarea a primit numeroase definiii. O sintez a definiiilor evalurii date de diferite dicionare relev anumii termini-cheie: determinarea

5

meritului, a valorii, estimare, preuire etc. Evaluarea de proiecte sau programe este strns legat de sensul acestor termeni, fr a se rezuma ns la ei. n definiiile evalurii apar de asemenea ca o constant o serie de elemente legate de metodologie. n cartea sa despre Analiz i cercetare n administratia public, Dan andor descrie sintetic faptul c evaluarea programelor se refer la o analiz sistematic pentru a vedea msura n care proiectele i programele au fost implementate conform inteniilor i i-au atins obiectivele. Comisia European propune cinci criterii relevante n evaluare: relevan, eficien, eficacitate, sustenabilitate i impact4. Pornind de la acestea, putem defini evaluarea ca fiind procesul prin care, cu ajutorul unor metode i instrumente specifice, putem msura gradul n care proiectele au obiective i rezultate relevante, resursele sunt consumate economic, pentru a atinge obiectivele propuse, dac proiectul are anse de a continua i dup ncheierea finanrii, msura n care activitile i ating grupul int i dac impactul lor este resimit pe termen lung. Cheia unei nelegeri corecte este diferena ntre sistematic i continuu din care rezult diferena ntre evaluare (sistematic dar secvenial- realizat n anumite momente din viaa unui program) i monitorizare (proces continuu de colectare a datelor n timpul implementrii unui program). La fel trebuie neleas i definiia dat de N.C Allum, M.W. Bauer, G. Gasgell - Quality, Quantity and Knowledge interests, Avoiding confusion in Bauer and Gasgell, Qualitative research. Termenul de evaluare se refer la activitatea de colectare, analiz i raportare sistematic a informaiilor care pot fi utilizate pentru schimbarea atitudinilor i pentru mbuntirea unui proiect sau program.(Allum, 2000: 3) Sintetiznd, putem reliefa urmtoarele elementele eseniale ale unei evaluri: Evaluarea este un instrument util n managementul politicilor, programelor i proiectelor; Implic aprecieri pe baza unor criterii; Evaluarea este util n oricare dintre stadiile dezvoltrii unui program: o n stadiul de design; o nainte de implementare- evaluarea ex-ante;4

www.evalsed.info

6

o n timpul implementrii- evaluarea concomitent; o Ulterior implementrii- evaluarea ex-post; Evaluarea este un process explicativ: pornete de la anumite ntrebri pentru care gsete rspunsuri; Este mai comprehensiv dect monitorizarea; Evaluarea este o activitate sistematic i implic analize tiinifice (colectarea de date, analiza lor, compararea lor pe baza anumitor criterii); Evaluarea st la baza lurii unor decizii n legatur cu programul evaluat : modificarea designului sau a modului de implementare. Deciziile se pot referi la continuarea, modificarea sau chiar stoparea programului. n opinia unuia dintre autorii clasici n domeniul evalurii, Michael Quinn Patton, Evaluarea este colectarea sistematic de informaii despre activitile, caracteristicile i rezultatele programelor pentru a fi utilizate de anumite personane cu scopul de a reduce nesiguranele, pentru a spori eficacitatea i a lua deciziile oportune n legtur cu programele respective( Michael Quinn Patton, 1997: 23). Aceast definiie, dac nu este neleas adecvat poate produce confuzii. Cheia unei nelegeri corecte este diferena ntre sistematic i continuu din care rezult diferena ntre evaluare (sistematic dar secvenial- realizat n anumite momente din viaa unui program) i monitorizare (proces continuu de colectare a datelor n timpul implementrii unui program).

Pentru a ntelege ce este evaluarea, trebuie fcut distincia intre aceasta i ali termini cu utilizare paralel, interanjabili. Diferite autoriti sau agenii dau sensuri diferite acelorai termeni. Pentru a ne ncadra n contextul general al integrrii europene i pentru c ne referim la evaluarea de programe n sfera public, vom adopta terminologia utilizat de ctre Comisia European n domeniul evalurii de programe.

2.4 Monitorizarea Monitorizarea se refer la cuantificarea pe tot parcursul implementrii proiectului sau programului a evoluiei privind atingerea obiectivelor, consumarea resurselor, atingerea grupului int, cuantificarea sistematic a schimbrilor generate de implementarea

7

programului sau proiectului. n urma monitorizrii se poate sesiza n mod permanent raportul input output, venituri-cheltuieli, activitti planificate- activiti realizate, grup int propus-grup int atins, nregistrndu-se eventualele discordane. Evaluarea explic de ce respectivele discordane exist (dac exist). Monitorizarea este descriptiv, n timp ce evaluarea este explicativ. Legtura dintre monitorizare i evaluare este foarte strns. Evaluarea nu poate fi realizat (sau poate fi realizat extrem de dificil), dac nu exist un sistem coerent de monitorizare. Acest sistem presupune de regul un set de indicatori i un plan de monitorizare. Deasemenea anumite resurse trebuie alocate procesului de monitorizare. De obicei, resursele umane pentru monitorizare sunt mobilizate din echipa de implementare a proiectului. Dar nu este exclus, mai ales n cazul unor proiecte de mari dimensiuni, ca monitorizarea s fie asigurat de persoane specializate din afara echipei de implementare a proiectului.

2.5 Auditul Auditul reprezint o verificare a prevederilor financiare ale unui proiect i a msurii n care acestea sunt ndeplinite n conformitate cu criteriile legale i financiare specifice. Auditorii Comisiei Europene i agenii lor atribuie termenului de audit o sfer mult mai larg de semnificaii: verificarea necesitii proiectului, a msurii n care activitile i rezultatele proiectului sau programului justific investiia financiar, a existenei i vizibilitii n practic a unei plus-valori generate de proiectul sau programul respectiv (Hughes, 2000: 3).

2.6 Scopul evalurii Evaluarea reprezint un proces prin care se msoar performana unui program i se identific soluii la problemele existente. Mai exact, evaluarea poate avea, printre altele, scopul de a analiza rezultatele unui program, de a le compara cu costurile sale, de a ajuta autoritile s rspund n faa cetenilor pentru aciunile lor, de a ajuta la procesul de alocare a resurselor i de a ajuta la mbuntirea managementului programelor.

8

Datele rezultate n urma evalurii sunt utile att pentru mbuntirea procesului de implementare a programelor, ct i a celui de luare a deciziilor. Prin evaluare este determinat eficacitatea proiectelor i programelor, prin rspunsul pe care l d ntrebrilor: ce funcioneaz?, pentru cine? i n ce condiii? Evaluarea susine deasemenea procesul de planificare a activittilor viitoare, de repartizare a resurselor umane, financiare etc.

2.7 Criterii de evaluare Pe ce se bazeaz aprecierile evaluatorilor? Rspunsul este simplu: criteriile de evaluare. Abordarea UE are la baza 5 criterii: Relevan Eficacitate Eficien Impact Sustenabilitate Figura 1 . Principalele criterii de evaluare

Context socioeconomic

Nevoi, Probleme

Impact

Rezultate

Program

Obiective

Input

Output

Evaluare

Relevan

Eficienta Eficacitate Utilitate, Sustenabilitate

Sursa: Tavistock Institute et all, The Evaluation of Socio-Economic Development: The GUIDE, 2003

9

Relevana se refer la msura n care programul analizat reuete s rspund nevoilor reale ale actorilor implicai. De asemenea are n vedere eventualele schimbri de context care ar putea avea ca rezultat anumite modificri n tipul nevoilor la care programul ar trebui s se adreseze sau schimbri n ierarhia acestora. Un program este relevant dac pe tot parcursul implementrii sale ine cont de aceste modificri de context, are flexibilitatea necesar de a se replia de cte ori este necesar pentru a rspunde nevoilor la care i propune s rspund. Iar un program devine irelevant n momentul n care, pe parcursul existenei sale, eueaz n acoperirea nevoilor pe care-i propune s le acopere sau le acoper n mod defectuos, raportat la planul iniial. Un aspect al relevanei este i necesitatea ca anumite programe s fie susinute din bani publici. Care sunt aceste programe? Care sunt motivele pentru care statul trebuie s se implice n implementarea sa? Sectorul privat sau non-profit nu a reuit s acopere nevoile actorilor implicai? De ce? Pentru a afla dac un program este relevant i n ce msur, trebuie apreciate toate aceste elemente. Eficacitatea are n vedere msura n care programele i ating obiectivele propuse. De asemenea, gradul n care rezultatele proiectului corespund nevoilor identificate n faza de design este o msur a eficacitii unui program. Eficiena ia n calcul un aspect suplimentar, esenial n existena proiectelor i programelor: cel financiar. Mai mult, eficiena are n vedere i urmtoarele aspecte: Ar fi putut fi obinute aceleai rezultate cu mai puine resurse? Sunt costurile unitare prea ridicate? Chiar dac obiectivele sunt atinse, este proiectul/programul prea costisitor pentru a putea fi continuat? Impactul reprezint efectul net pe care un program l produce. Datorit variabilelor externe, distorsionante, impactul unui proiect este greu de calculat cu exactitate. Este greu s difereniezi efectul unui program ntr-un context socio-economic este extrem de complex. Totui folosind metode adecvate este posibil, cu o marj de eroare asumat s dm rspunsul la urmtoarele ntrebri:

10

Ce schimbri au rezultat n urma programului? Exist alte beneficii ale programului, alturi de cele preconizate?

O alt accepiune a impactului este aceea n care impactul prezint efectele unui program pe termen lung. Sustenabilitatea se refer la continuitatea programului dup ntreruperea finanrii din sursa iniial. Efectele programelor sau programele nsele continu dup ncheierea implementrii? Pot fi identificate surse alternative de finanare? Sustenabilitatea d, alturi de celelalte criterii msura performanei unui proiect sau program. Alturi de aceste criterii mai pot fi menionate i altele, la fel de importante pentru aprecierea performanelor unui program. Cele la care ne vom referii n continuare sunt echitatea i implicarea comunitii. Echitatea se refer la aspecte precum: accesul la serviciile furnizate de proiect indiferent de: vrst, sex, condiii materiale i sociale. De regul sunt promovate proiecte care descurajeaz discriminarea de orice tip. Participarea comunitii este un alt criteriu de care se ine cont n evaluarea anumitor proiecte. Desigur, este vorba despre proiectele care permit aceasta. Toate aceste criterii, alturi de altele pe care nu le-am menionat, dar care pot fi la fel de importante, sunt utilizate n precesul de evaluare. ns, n funcie de programul sau proiectul evaluat, se poate apela doar la o parte dintre acestea. Pe lng luarea n considerare a ct mai multe dintre criteriile enumerate, evaluarea ar trebui s fie analitic, sistematic, de ncredere, orientat pe probleme sau pe utilizatori, in funcie de modelul de evaluare utilizat.

11

Capitolul 3. Tipuri i sisteme de evaluare Exist numeroase criterii n functie de care putem clasifica tipurile de evaluare: dup scopul evalurii, dup momentul de timp n care se desfoar evaluarea, dup unitatea de analiz, dup poziia membrilor echipei de evaluare, etc. 3.1 Dup scopul evalurii: a. Evaluarea sumativ, care analizeaz rezultatele la un anumit moment de la nceperea programului cu scopul de a stabili performana programului i de a estima valoarea sa b. Evaluarea formativ se face de obicei n timpul implementrii (este o evaluare intermediar) cu scopul de a analiza situaia i de a uura mbuntirea programului. Aceasta terminologie a fost utilizata pentru prima data de Michael Scriven, (1991), ulterior fiind preluat de toate sursele relevante n domeniu. Robert Stake ofer n Standards-Based and Responsive Evaluation o definiie extrem de sugestiv a evlurii sumative i formative: Cnd buctarul gust supa, este evaluare formativ, iar cnd oaspeii gust supa, este evaluare sumativ (Robert Stake, 2003: 52). Robert Stake, evaluator de programe educaionale n Statele Unite ale Americii n perioada anilor 60-70, este unul dintre primii susintori ai metodelor calitative n evaluarea programelor sociale. Stake percepe evaluarea ca serviciu i ca reflectare de valori. Stake recomand evaluarea selectiv, pe care o definete ca fiind o abordare care sacrific o anumit precizie a selectrilor n sperana de a crete valoarea descoperirilor pentru persoanele din afara i din interiorul programelor (Shadish Jr., Cook, Leviton 1999: 278). Tot la Stake se regsete diferenierea ntre evaluarea prestabilit, recunoscut prin: afirmarea obiectivelor, utilizarea testelor obiective, utilizarea standardelor deinute de responsabilii programelor i a rapoartelor de tip cercetare i evaluarea reactiv, caracterizat prin urmtoarele elemente:

12

Pune un accent mai mare asupra activitilor unui program, dect Rspunde necesitilor publicului. Perspectivele valorice ale actorilor sunt luate n considerare n

asupra inteniilor sale.

menionarea eecurilor i a succeselor unui program. Termenul reactiv (provenit din relaia stimul rspuns) asociat procesului de evaluare promoveaz ideea evaluatorului-stimul n contrast cu evaluatorul-rspuns. Unul dintre principalele dezavantaje ale evalurii prestabilite este faptul c cercettorii (tradiional cantitativiti) se concentreaz asupra unor variabile care nu pot fi controlate de management, prin aceasta pierznd din utilitate. Stimulii standardizai generai de evaluarea prestabilit s-au dovedit adesea mai puin relevani dect stimulii care apar spontan n cadrul programului(cum ar fi reaciile actorilor, discuiile ulterioare desfurrii unei activiti, etc.). Cteva trsturi eseniale ale evalurii reactive sunt: accentul pus pe observaie i flexibilitate, preferina pentru metodele calitative i accentul pe mbuntirea practicilor locale. Evaluarea reactiv are o serie de avantaje i dezavantaje. Printre avantaje se numr: relevarea unor variabile importante ale programului, ncurajarea eforturilor de schimbare ale celor implicai ntr-un program, ncurajarea creterii controlului local. Totui, evaluarea prestabilit ar trebui preferat evalurii reactive atunci cnd este important s tim dac anumite scopuri au fost atinse, dac anumite promisiuni au fost inute i cnd urmeaz s fie investigate ipoteze sau aspecte predeterminate. ne putem atepta ca msurtorile prestabilite s fie mai obiective i mai de ncredere. (Shadish Jr., Cook, Leviton 1999: 283) n concluzie, trebuie avute n vedere ambele tipuri de evaluare n funcie de program. Evaluarea reactiv are o serie de elemente comune cu evaluarea formativ, n timp ce evaluarea prestabilit se suprapune parial evalurii sumative5. Tabelul 1. Puncte comune ntre evaluarea reactiv i formativ pe de o parte i evaluarea prestabilit i sumativ pe de alt parte

5

Este vorba de conceptele promovate de Michael Scriven.

13

Evaluarea reactiv

Flexibilitatea metodologic Preferina pentru metode calitative Concentrarea pe activiti Accentul pe mbuntirea practicilor Se realizeaz de regul pe parcursul unui program Preferina pentru metode cantitative

Evaluarea formativ

Evaluarea prestabilit

Evaluarea

Concentrarea pe obiective i pe gradul de sumativ realizare a acestora Se realizeaz, de obicei, la finalul unui program

Caracterizat de anumii critici ca fiind atractiv superficial (Shadish Jr., Cook, Leviton 1999: 317), distincia reactiv-prestabilit rmne valabil n teoria evalurii deoarece elucideaz anumite aspecte ale procesului de evaluare care, neconceptualizate rmn n penumbr: importana flexibilitii metodologice, utilitatea metodelor calitative, accentul care trebuie pus i pe activiti, nu numai pe obiective etc. Ambele sunt considerate relevante i utile pentru sectorul public. 3.2 Dup momentul evalurii: c. Evaluarea ex-ante d. Evaluarea interim e. Evaluarea ex-post

Evaluarea ex-ante Exaluarea ex-ante (Tavistock Institute, 2003: i, ii) este un tip de evaluare realizat n cea dinti etap a ciclului unui program sau proiect (faza de planificare i design), nainte de a fi luat decizia de implementare a sa, nainte de a se manifesta presiunea termenelor limit. Evaluarea ex-ante presupune o analiz SWAT, n cadrul creia vor fi luate n considerare caracteristicile definitorii ale localitii, regiunii, statului n care se

14

implementeaz proiectul, o analiz a nevoilor i anumite simulri ale efectelor socioeconomice. Acest tip de evaluare asigur relevana i coerena programului n functie de context. n cazul n care este vorba de un program care urmeaz a fi pus n aplicare prim mai multe proiecte, iar acestea vor fi selectate prin licitatie, evaluarea ex-ante a programului ajut la determinarea criteriilor de selecie a proiectelor i la selectarea proiectelor care urmeaz a fi finanate. De asemenea cu noul statut al Romniei de stat membru al Uniunii Europene trebuie acordat o atenie specific respectrii regulamentelor i standardelor Uniunii Europene de calitate n furnizarea de bunuri i servicii. Evaluarea interim Evaluarea interim se realizeaz n cea de-a doua etap a ciclului unui proiect sau program, n timpul implementrii. Scopul acestei evaluri este mbuntirea designului i a procesului de implementare a unui proiect sau program. Evaluarea interim are elemente comune cu evaluarea formativ n sensul c: urmrete gradul de realizare a obiectivelor pn n momentul evalurii, gradul de respectare a calendarului, ncadrarea n buget, gradul de utilizare a celorlalte resurse, etc. Prin comparaia cu situatia iniial, n cursul evalurii interim, pot fi semnalate anumite schimbri relevante n contextul socioeconomic care pot afecta programul. Tot n cursul evalurii interim trebuie sesizat orice deviere de la normele europene n furnizarea de bunuri i servicii. Evaluarea interim utilizeaz informaiile obinute n urma monitorizrii i n urma evalurii ex-ante. De regul evaluarea interim presupune analize ale rezultatelor intermediare ale proiectului, ns este recomandabil i o anali detaliat a impactului probabil care nc nu a avut timp s se manifeste, ns este inerent. Pe baza concluziilor evalurii interim poate fi mbuntit att designul ct i managementul programelor analizate, pot fi prevenite eventuale impacturi negative.

Evaluarea ex-post Evaluarea ex-post vizeaz analiza ntregului program n principal din perspectiva rezultatelor comparate cu obiectivele iniiale ct i din perspectiva impactului pe care l are. Exist numeroase elemente comune ntre evaluarea ex-post i evaluarea sumativ. Pe

15

lng metode de evaluare precum analiza rezultatelor i a impactului, evaluarea ex-post mai poate utiliza urmtoarele metode: benchmarking, analiza cost-beneficiu i costeficien, analiza proceselor i analiza multi-atribut. Scopul evalurii ex-post este multiplu: cuantificarea rezultatelor i efectelor intenionate sau nu ale unui program, analiza calitativ i cantitativ a performanelor, nvarea unor lecii pentru mbuntirea managementului unor programe viitoare, compararea performanelor programului evaluat cu performanele altor programe similare, etc. 3.3 Dup poziia membrilor echipei de evaluare Dup poziia membrilor echipei de evaluare exist dou tipuri eseniale de evaluare: a. Evaluarea intern b. Evaluarea extern a. Evaluarea intern este evaluarea realizat de personal specializat din interiorul instituiei care implementeaz programul. De regul, instituia implementatoare are personalul calificat i datele necesare pentru realizarea evalurii. Totui, n Romnia exist numeroase instituii (dac ne referim la sectorul public) sau organizaii (dac lum n calcul i sectorul non-profit) care nu beneficiaz de o capacitate intern de evaluare (nu au persoane specializate n domeniul evalurii), dei au specialiti pe diferite sectoare relevante pentru proiectul evaluat. Aceste instituii vor apela, chiar i pentru evaluarea intern a programelor la serviciile unor experi n evaluare din exterior, de preferin independeni (fr alte conexiuni cu proiectul evaluat sau cu echipa de implementare a proiectului). Scopul evalurii interne este furnizarea unei analize din perspectiva implementatorului care are acces la date mai uor dect orice alt actor implicat (fie el finanator sau evaluator extern). Prin urmare acest tip de evaluare este extrem de bogat n date, iar raportul de evaluare este unul foarte explicit i explicativ. Cei care au implementat proiectul cunosc cel mai bine teoria, procesele i rezultatele acestuia i motivele pentru care s-au implementat anumite modificri n designul iniial, eventual motivele pentru care nu a fost respectat calendarul iniial, s-a depit bugetul sau,

16

dimpotriv, nu s-au utilizat resursele, care au fost elementele distorsionante aprute pe parcurs i ce efecte au avut aceste elemente asupra programului. Evaluare intern este foarte potrivit pentru evaluarea formativ, ajutnd la controlul calitii evalurii i la dezvoltarea capacitii interne de evaluare. Dezavantajele evalurii interne sunt: lipsa unor expertize sectoriale i lipsa independenei. c. Evaluarea extern reprezint evaluarea realizat de ctre evaluatori independeni, de regul din afara instituiei sau organizaiei care implementeaz programul sau care se numr printre actorii care particip la realizarea programului. Avantajele principale ale acestui tip de evaluare sunt independena i potenialul unei game largi de expertiz. Evaluarea este potrivit mai ales evalurilor sumative. Dezavantajele acestui tip de evaluare sunt posibilele presiuni care pot limita independena, faptul c nu ajut la dezvoltarea capacittii interne de evaluare i costurile ridicate pe care le presupune. 4. Alte tipuri de evaluare Alturi de tipurile de evaluare amintite anterior, n literatura de specialitate sunt menionate i o serie de alte tipuri de evaluare, printre care evaluarea participativ i evaluarea bazat pe teorie. n evaluarea participativ, perspectiva evaluatorului este pe poziie de egalitate cu perspectivele actorilor implicai n program. Intenia este de a avea un proces de evaluare cu concluzii i recomandri relevante i utile pentru proiectele viitoare ale actorilor implicai. Acest tip de evaluare se potrivete attcu evaluarea sumativ ct i cu cea formativ. Implicarea tututor participanilor pe poziii de egalitate aduce de obicei un plus semnificativ de informaie n procesul de evaluare. Evaluarea participativ este adesea prezentat ca un tip modern de evaluare i este prezentat n opoziie cu evaluarea tradiional (Sorin Dan andor, 2005 :81) Evaluarea bazat pe teorie aplicat de anumii cercettori n domeniul abuzului de substane care creeaz dependen (Chen, 1990) sau n evaluarea iniiativelor comunitare comprehensive (Weiss, 1995). Acest tip de evaluare se caracterizeaz prin faptul c nu permite realizarea unor analize statistice ale datelor obinute, de cele mai multe ori datorit diveritii acestora. Prin urmare, vor fi utilizate preponderent metode calitative de cercetare. Utilitatea acestui tip de evaluare este evident mai ales n cazul evalurilor unor iniiative comunitare, ale cror efecte nu pot fi analizate statistic, dar care pot

17

furniza informaii despre eficacitatea acestui tip de iniiativ.

Anumii cercettori

(Schorr, Kubisch, 1995) susin c, prin combinarea datelor legate de rezultatele unui program cu informaii privind desfurarea procesului de implementare a proiectului, putem obine informatii valoroase privind efectele programului i impactul acestuia. Evaluarea bazat pe teorie pornete de la premisa c orice program de intervenie social are la baz o teorie despre cum funcioneaz un anumit proces, n ce condiii va atinge eficiena i eficacitatea maxim etc. Aceast teorie poate fi implicit sau explicit. Teoria unui program este, n linii mari, echivalent cu modelul logic al acestuia care explic modul su de funcionare. Acest tip de evaluare ofer numeroase informaii edificatoare pentru modul de implementare a unor programe complexe similare, indicnd riscurile, elementele-cheie i leciile nvate pe parcursul implementrii. Evaluarea impactului. n cadrul analizelor de impact, se msoar pe de o parte efectele nete ale interveniei (impactul net), iar pe de alt parte se cuantific efectele programului sau proiectului pe termen mediu i lung. Principala problem a determinrii impactului net este diferenierea efectelor datorate programului i a cele datorate altor cauze. Impactul net poate fi determinat att naintea implementrii (preconizarea impactului), n timpul implementrii i ulterior acesteia. Impactul pe termen mediu i lung poate fi anticipat anterior implementrii i n timpul acesteia, i poate fi calculat ulterior implementrii. Indiferent dac este vorba de determinarea impactului net sau a efectelor pe termen mediu i lung, evaluarea impactului poate fi extrem de util pentru mbuntirea designului proiectelor actuale i viitoare, pentru fundamentarea deciziilor privind continuarea sau stoparea anumitor iniiative. O abordare detaliat a analizelor de impact va fi prezentat n a doua parte a lucrrii. 3.4 Sisteme de evaluare: Evaluarea centralizat i evaluarea descentralizat Problema care se ridic n cazul sistemelor de evaluare este un loc comun n problematica administraiei publice: care este nivelul optim de centralizare/descentralizare n activitatea de evaluare a programelor. Ca i n cazul serviciilor publice, exist avantaje i dezavantaje, fie c se opteaz pentru centralizare, fie

18

c se alege descentralizarea ca model de organizare a sistemului de evaluare a programelor n Romnia. n timp ce o centralizare excesiv imprim lips de flexibilitate i induce lipsa discreiei administrative, descentralizarea poate atrage dup sine lipsa coerenei, utilizarea deficitar a metodologiei, etc. Din acest motiv se opteaz de cele mai multe ori pentru o soluie intermediar: nici centralizare, dar nici descentralizare excesiv. O atenie deosebit trebuie acordat nevoilor fiecrui domeniu de activitate. Chiar dac iniial dezvoltarea unui sistem de evaluare este legat de un anumit minister, ulterior, trebuie analizat nevoia de evaluare i la nivelul celorlalte ministere. Mai mult, dei o atenie deosebit va fi acordat evalurii programelor cu finanare european (PHARE, SAPARD, Fonduri Structurale, etc), nu trebuie ignorate i celelalte programe finanate din surse interne, dar i din alte surse externe. Sistemul de evaluare va ctiga astfel n complexitate. Irlanda este un exemplu n care au fost ncercate ambele modele. Modelul centralizat a fost adoptat n intervalul 2000-2006. Activitatea de evaluare a fost organizat i coordonat de ctre Unitatea de Evaluare a Ministerului Finanelor. n acest interval s-a asigurat o concentrare a eforturilor de evaluare pe programele operaionale. A fost o abordare consecvent i s-au semnalat costuri reduse. Un alt avantaj al sistemului centralizat de evaluare este faptul c Unitatea de Evaluare e exterioar Autoritii de Management care implementeaz programul operaional respectiv. Modelul descentralizat a fost implementat n intervalul 1994-1999. Evaluarea reprezenta n aceast perioad responsabilitatea fiecrei Autoriti de Management responsabile cu un Program Operaional. i aceast abordare are o serie de avantaje: permite Autorittilor de Management s conceap evalurile conform propriilor nevoi, iar acestea pot apela la Unitatea Central de Evaluare pentru expertiz tehnic. Modelul propus pentru Romnia de ctre specialitii din Unitatea Central de Evaluare pentru perioada 2007-2013 este o combinaie ntre modelul centralizat i cel descentralizat.

19

Capitolul 4. Metode de cercetare utilizate n evaluare Pentru fiecare tip de evaluare a fost dezvoltat o gam larg de metode de cercetare n conformitate cu scopul evalurii, cu tipurile de ntrebri la care evaluarea urmeaz s rspund, cu contextul organizaional i socio-economic, cu bugetul disponibil, cu capacitatea de cercetare i cu ali factori semnificativi. Evaluarea unui proiect sau program presupune utilizarea att a metodelor calitative de cercetare ct i a celor cantitative. Abordarea cel mai des utilizat este cea a metodelor multiple-o combinaie funcional ntre cele dou tipuri de metode. Un anumit grad de cuantificare este necesar n toate studiile de evaluare pentru a aprecia succesul interveniilor i amploarea efectelor adverse. n acelai timp, metodele calitative de cercetare sunt extrem de utile n rafinarea instrumentelor de cercetare i n aprofundarea informaiei colectate. n sociologie n particular i n tiinele socio-umane n general, termenii cantitativ i calitativ ajung s desemneze dou mari paradigme. Diferena ntre calitativ i cantitativ se face att la nivel epistemologic general, ct i privind anumite aspecte precum: rolul cercettorului, relatia cu subiectul, relaia teoretic-empiric, metodele principale utilizate i natura datelor obinute (Rotariu i Ilu 2001 : 25) n Ancheta sociologic i sondajul de opinie: Teorie i practic, Traian Rotariu i Petru Ilu demasc falsa opoziie dintre cele dou mari paradigme (Rotariu i Ilu 2001 : 24). De ce opoziie i de ce fals? Ideea de opoziie ntre cantitativ i calitativ are la baz distincia dintre abordarea pozitivist i cea fenomenologic, dintre Erklaren i Verstehen (Ilu 1997: 40). Erklarenexplicaia obiectiv, din afar i verstehen-ntelegerea subiectiv-din interior. Modelul cantitativist presupune descrieri i explicaii de tip pozitivist, dintr-o perspectiv exterioar, obiectiv-structural. Spre deosebire de acesta, modelul calitativist are la baz subiectivitatea uman. Socialul este construit prin interaciunea simbolurilor i reprezentrilor individuale sau de grup, iar cunoaterea este de tip comprehensiv. Una dintre diferenele majore dintre cele dou modele, la nivel metodologic este faptul c modelul cantitativ utilizeaz metode structurate, n timpce modelul calitativ se bazeaz pe metode i tehnici nestructurate. Exist numeroase motive pentru care opoziia dintre cantitativ i calitativ este un construct artificial. Dnd un rspuns la ntrebarea: Ce este abordarea calitativ a socio-

20

umanului?, P. Ilu genereaz o definiie a calitativului axat pe 12 dimensiuni (Ilu 1997: 63): orientarea general epistemologic, nivelul realitii vizat, natura realitii vizate, relevana punctului de vedere n explicarea i ntelegerea realitii, relatia dintre cercettor i subiect, relaia dintre teorie i cercetarea empiric, selecia unitilor de cercetat efectiv din populaia vizat, timpul afectat culegerii datelor, metodele principale utilizate, natura datelor obinute, stilul raportului de cercetare (al textului elaborat), preponderena n disciplinele socioumane(n sens restrns). Astfel, abordarea calitativ a socio-umanului este modelul care are la baz orientarea epistemologic fenomenologicocomprehensiv, idiografic, care se aplic la nivel microsocial, local, contextual, care vizeaz realitatea procesual i construit social de actor, care utilizeaz punctul de vedere al subiecilor n explicarea i nelegerea realitii, n care relaia dintre cercettor i subiect este una apropiat, iar relaia teoretic-empiric este una de emergen a teoriei pe parcursul cercetrii empirice. Acelai model calitativist utilizeaz ca uniti de cercetat ntrega populaie sau o eantionare teoretic, datele sunt culese pe parcursul unei perioade lungi, continue, iar metodele principale utilizate sunt: observatia participativ, interviul intensiv, (auto)biografiile, analiza calitativ a documentelor. Datele obinute sunt

complexe, de profunzime, este utilizat un limbaj natural, metaforic, cu putine date statistice i reprezentri grafice i e utilizat cu preponderen n antropologie cultural i istorie. Pentru a reliefa ct mai clar specificitatea modelului calitativ, autorul l prezint n comparaie, deci nu opoziie cu cantitativismul. Urmnd aceeai arhitectur a definiiei, orientarea general epistemologic a modelului cantitativ este una pozitivistexplicativist. Cercetarea cantitativ se aplic prepondernt nivelului macrosocial, global, formal, vizeaz realitatea static i exterioar actorului social, utilizeaz perspectiva cercettorului, intre cercettor i subiect exist o relaie distant(din exterior). n cercetarea cantitativ teoria este verificat prin cercetarea empiric(ipotezele sunt testate), selecia unitilor de cercetat din populaia vizat se face preponderent prin eantionare statistic, culegerea datelor se face episodic, i se ntinde pe perioade scurte de timp, metodele principale utilizate sunt: experimentul, ancheta cu chestionar standardizat, analiza cantitativ a documentelor i observaia sistematic din exterior. Datele obinute n urma cercetrilor cantitative sunt tari(valide, de mare fidelitate), ns nu surprind la fel de multe detalii ca i cercetarea calitativ i nu ating profunzimea coleciilor de date

21

calitative. Totui, datele cantitative sunt generalizabile, pot sta la baza contructiei unor noi axiome, teorii. Raportul de cercetare n cazul modelului cantitativist este consistent n cifre, tabele, grafice i comentarii n limbaj natural, iar frecvena cea mai mare a utilizrii acestui model este ntlnit n sociologie i psihologie social. Evident rmne faptul c cele dou paradigme sunt puse fa n fa cu scopul de a face o comparaie i nu pentru a sublinia un raport de opoziie. n Ancheta sociologic i sondajul de opinie: teorie i practic, Rotariu i Ilu expun cel puin patru motive pentru care opoziia cantitativ-calitativ este un construct artificial: 1. Tot ceea ce este subsumabil comprehensiunii poate servi ca punct de plecare n proiectarea unor cercetri pozitiviste (prin experiment, anchet cu ajutorul chestionarului, sau prin observaie neparticipativ). Mai mult, acelai bagaj comprehensiv este inevitabil prezent n faza de analiz i interpretare calitativglobalist a unor date statistice (Rotariu i Ilu 2001 : 25) . 2. Intuiia se poate nscrie alturi de procesele de cunoatere (inducie, deducie, asociere i imaginaie) ca un plus semnificativ nc neexplicat psiho-fiziologic (Rotariu i Ilu 2001 : 25). tiinele tari nu exclud intuiia(intuiionismul n matematic), deci comprehensiunea nu poate fi opus modelului pozitivist de tiin i exclus din modelul cantitativist. 3. Diverse alte dimensiuni ale comprehensiunii (e.g. empatia) pot fi cercetate n cadrul raionalului i descrise i explicate n termeni cantitativiti. 4. Expresiile subiectivitii umane (cuvintele rostite, gesturile, comportamentele, atitudinile, valorile, credinele) pot fi analizate nu doar prin metode intensive, specifice arsenalului metodologic calitativ ci i cu ajutorul unor metode i tehnici specifice modelului cantitativist(este ceea ce se ntmpl n general n sondaje, n cadrul ntrebrilor de opinie). Iar metodele intensive de cercetare nu pot pretinde c au acces la perspectiva actorului n esena sa, depind interpretatconstruitul. Prin urmare, relaia dintre cantitativ i calitativ este neleas inexact de ctre cei care pretind c este vorba despre un raport de opoziie. Aceast iluzie este indus de

22

cele mai multe ori de prezentarea lor fa n fa nu pentru c s-ar opune, ci pentru c sunt complementare, iar explicaia uneia, faciliteaz comprehensiunea celeilalte. 4.1 Metodele mixte de cercetare - o nou paradigm sau un magnet semantic? n Handbook of Mixed Methods in Social and Behavioral Research publicat n 2003, Tashakkori i Teddlie (editori) lanseaz noua paradigm a metodelor mixte de cercetare. Pe parcursul a douazeci i ase de capitole, Tashakkori i Teddlie, alturi de ali autori, analizeaz, nu de puine ori critic, noua paradigm. Fundamentele acestei noi paradigme se regsesc n lucrarea publicat de cei doi autori n 1998:

Mixed and

Methodology:

Combining

Qualitative

Quantitative Approaches. Mai mult, dup cum se observ din analiza de mai sus, aceast paradigm a fostanunat n publicaiile autorilor romni Traian Rotariu i Petru Ilu care nc din 1997 susineau nexistena unei opoziii reale ntre calitativ i cantitativ (Rotariu i Ilu, 1997). Dincolo de reiterarea realitii inexistenei unui conflict ntre cele dou paradigme ale cercetrii clasice, Tashakkori i Teddlie aduc dou contribuii fundamentale prin popularizarea noii paradigme a metodologiei mixte: crearea unei tipologii a metodelor mixte de cercetare i a modelelor mixte de cercetare, precum i prezentarea unui ghid practic de utilizare a lor. Metodele mixte de cercetare presupun combinaii ale abordrilo cantitative i calitative n metodologia unei cercetri (spre exemplu n etapa colectrii datelor), n timp ce modelele mixte de cercetare combin cele dou abordri pe tot parcursul unui studiu (Tashakkori, Teddlie, 1998: ix). n cartea publicat n 2003, Handbook of Mixed Methods in Social & Behavioral Research, Tashakkori i Teddlie aduc elemente noi, de rafinament care clarific dimensiunile noii paradigme. Cercetarea prin metodele mixte sau cu metode multiple (multimethod) cum mai este numit, poate fi definit succint ca fiind practica utilizrii mai multor tipuri de metode de colectare a datelor(att de natura cantitativ, ct i de natur calitativ) n acelai studiu sau program de cercetare(spre exemplu, msurarea variabilelor att cu

23

ajutorul anchetei sociologice cu chestionar standardizat, ct i prin analiza calitativ a datelor, testarea ipotezelor att prin metode experimentale, ct i prin metode nonexperimentale, sau utilizarea metodelor calitative de cercetare empiric pentru a detalia informaiile furnizate printr-un sondaj de opinie (Tashakkori, Teddlie, 1998: 557). Metodele de cercetare difer nu numai prin tipul datelor pe care le pot oferi, ci i prin vulnerabilitatea lor la diferite tipuri de erori. Abordarea metodelor mixte poate fi considerat o strategie pentru eliminarea sau cel puin reducerea gradului de vulnerabilitate la eroare a ambelor tipuri de metode. n ce msur aceast paradigm reprezint o noutate, rmne de vzut. Promotorii si recunosc c metodele implicate de noua abordare sunt, n general, metodele utilizate n cercetarea contemporan n tiinele socio-umane. n acest sens, metodele mixte nu sunt o noutate (Tashakkori, Teddlie, 1998: 578). Ceea ce este nou este designul unei sinteze sistematice a celor dou modele diferite de cercetare (cantitativ i calitativ) cu scopul de a crete nivelul cunoaterii n tiinele sociale. A spune c metodele analizei statistice i cele ale analizei calitative a unui studiu de caz sunt complementare, nu este ceva nou. Cum nu este nou faptul c asocierile i corelaiile statistice pot sugera adesea noi direcii pentru cercetarea calitativ. Testarea ipotezelor prin metode de analiz cantitativ nu excludea nici pn acum utilizarea n paralel sau ulterior a unor ,etode calitative de cercetare pentru a ntri sau detalia concluziile. Dup cum susin chiar promotorii noii paradigme, nc din 1970 cercetarea multimetod sau cu ajutorul metodelor mixte era utilizat sub denumirea de triangulaie (Tashakkori, Teddlie, 1998: 579) 4.2 Rzboiul paradigmatic n evaluarea de programe Domeniul evalurii programelor preia aceast fals opoziie. Paradigmele dominante n metodologia evalurii de programe a anilor 70-80 sunt cantitativ versus calitativ. ncepnd cu deceniul nou, aceast lupt pierde teren (Shadish Jr, Cook i Leviton, 1991). Natura specific a investigaiilor calitative deriv din deschiderea acestora, din legtura strns a evaluatorului cu programul, din utilizarea observaiei i mai ales a interviului nestructurat care comunic respect respondenilor prin transformarea opiniilor proprii (exprimate n propriile lor cuvinte) ntr-o surs important de date pentru evaluare (Patton, 2002). Metodele cantitative implic analiza statistic a unor date obiective, de

24

regul cifre. Acestea sunt obinute prin numrarea beneficiarilor unui program, sau prin analiza secundar a unor date. Metodele calitative utilizeaz informaiile obinute n urma unor discuii, n urma unor observaii participative sau non-participative care sunt analizate i organizate tematic ulterior, urmnd a fi raportate ntr-un stil narativ. Metodele cantitative sunt utilizate pentru a insera diverse opinii i experiene n categorii predeterminate, pentru a ajunge la rezultate semnificative din punct de vedere statistic i generalizabile. Cu ajutorul metodelor calitative pot fi studiate n profunzime diverse probleme ale unui program. Ele genereaz date detaliate, de multe ori n propriile cuvinte ale participanilor dintr-un anumit program i nu exist metode cantitative adecvate pentru a descrie comportamentul variabilelor investigate. Studiile metodologice orientate spre cantitativ, apreciaz metodologia calitativ ca avnd prea puin impact asupra rezultatelor cercetrii, i c este util doar n fazele incipiente, exploratorii ale unei cercetri. Din aceast perspectiv, metodele calitative de cercetare sunt necesare pentru a produce ceea ce numim de obicei familiarizarea cu subiectul investigaiei, pregtind astfel terenul pentru cercetarea cantitativ. Aceasta presupune faptul c validitatea cercetrii este dat n tiinele sociale exclusiv de datele experimentale, de statisticile oficiale i de eantionarea aleatorie. Criticii metodelor cantitative susin c metodologia cantitativ nu este singurul mod n care poate fi demonstrat validitatea rezultatelor unei cercetri (Silverman, 2001: 32). Experimentele, statisticile oficiale i sondajele de opinie pot fi inadecvate pentru cercetarea anumitor probleme din tiinele sociale. Acetia accept faptul c n anumite circumstane metodele cantitative pot aduce informaii noi cercettorilor, dar, n acelai timp, pot lsa n umbr anumite aspecte eseniale. Iniial, evaluarea programelor a fost dominat de paradigma naturalist a metodologiei ipotetico-deductive care pune accentul pe cantitativ, pe designul experimental i pe analiza statistic. n 1995, la Conferina Internaional de Evaluare din Vancouver William Shadish Jr, Thomas D. Cook i Laura C. Leviton anun victoria paradigmei calitative (Patton, 1997: 266). Thomas D. Cook i Donald T. Campbell militeaz n acest sens nc din 1979 n Quasi-experimentation: Design and Analysis Issues for Field Settings. Totui, validitatea metodelor experimentale i a metodelor cantitative utilizate n mod adecvat nu a fost contrazis. Acum ns, metodele calitative

25

i-au ctigat drepturi egale celor cantitative. n 1991, Preedintele Asociaiei Americane pentru Evaluare, Lee Sechrest, punea preferina pentru metodele calitative pe seama simplitii acestora comparativ cu metodele cantitative mult mai dificil de abordat. Totui, Sechrest recunoate necesitatea metodelor calitative, ns doar n combinaie cu cele cantitative. Paradigma metodologic alternativ (calitativ) i are originile n antropologie, n sociologia calitativ i n fenomenologie. Doctrinar, aceast paradigm a fost plasat sub girul Verstehen-ului. Principalul motiv l reprezint faptul c oamenii au scopuri i emoii, i fac planuri, construiesc culturi i susin anumite valori, iar comportamentul lor este influenat de aceste valori, planuri i scopuri (Patton, 1997: 271). Tradiia Verstehen pune accent pe capacitatea uman de a cunoate i nelege alteritatea prin introspecie empatic i prin reflecii avnd la baz descrieri detaliate rezultate din observaia direct, interviuri nestandardizate i studii de caz. Paradigma alternativ cantitativului/experimentalului acord o atenie crescut semnificaiei comportamentului uman, contextului interaciunii sociale i legturii dintre strile subiective i comportament. n domeniul evalurii paradigma alternativ ctig din ce n ce mai muli adepi. Unul dintre cei dinti care se face auzit este Robert Stake.

4.3 Analiza cantitativ a documentelor Datele culese trebuie s aib o legatur direct cu proiectul sau programul care urmeaz a fi analizat. Informaia necesar poate fi adunat n mai multe moduri. Un prim pas l poate constitui revizuirea unor cercetri sau studii realizate anterior. n cazul evalurii unui program pot exista cercetri anterioare care s furnizeze informaii legate de programe similare, activiti cotidiene i diverse caracteristici ale unui anumit grup de persoane. Alteori nu exist asemenea informaii. n acest din urm caz se va apela la alte metode de colectare a datelor consecutiv operaiunilor preliminarii de analiz a situaiei. Uneori evalurile anterioare pot fi utilizate ca surse importante de date. Uneori, pentru comparaia dintre prezent i trecut se va recuge la memoria persoanelor implicate sau afectate de diverse intervenii sociale. Un caz particular l constituie problematica

26

schimbrii instituionale. Pentru aprecierea schimbrii instituionale se vor cuta indicatori utilizai n anii precedeni privind modul de aciune al instituiilor. Este dificil de definit n avans obiectul investigaiilor. Aceasta presupune de obicei studiul unor documente mai vechi sau discuii cu diferite persoane care pot duce la identificarea schimbrilor i a elementelor constante. O surs de date necesare pentru realizarea unui studiu de evaluare este cercetarea arhivelor, a datelor provenite din recensminte i a celorlalte date statistice existente. Este necesar colectarea unui set de principal de date cantitative care s se refere la calitatea vieii, nivelul veniturilor, al cheltuielilor etc. la nivel de comunitate. Aceasta mai ales cnd sunt studiate diferite comuniti pentru a asigura comparabilitatea tematic ntre acestea. Alturi de datele obinute prin cercetarea crilor i a articolelor publicate, o atenie deosebit ar trebui acordat informaiilor oferite de lucrrile de la diverse conferine, de rapoartele tehnice realizate n urma anumitor proiecte, intervenii sau cercetri. Este extrem de important ca rezultatul analizei documentelor s includ referiri la toate studiile empirice realizate, cu scopul unei abordri comparative privind domeniul, metodele i validitatea evalurii. Analiza documentelor va furniza informaii referitoare la probleme i variabile sociale relevante pentru proiectul sau programul respectiv care este n curs de implementare sau n faz de proiectare. ns, din moment ce fiecare proiect i program este unic, trebuie adunate informaii suplimentare depre situaia concret. Pentru fiecare program evaluat vor fi necesare date legate de variabile precum: participarea anterioar sau implicarea prezent n programe similare, stilul de via, angajarea, atitudinile, valorile sociale i credinele care caracterizeaz comunitile, organizarea social a acestora, dinamica populaiei, coordonatele demografice ale comunitaii i regiunii. Analiza cantitativ a documentelor are avantajul de a fi mai puin costisitoare n termeni de timp i alte resurse dect sondajele de opinie, dar potenialul de eroare este mai ridicat. Prin utilizarea bazelor de date existente, analistul poate formula modele despre performana unui program, impactul social potenial la nivelul grupurilor i al comunitilor, etc. Informaia care contrazice modelul construit, determin revizuirea acestuia, mai ales dac datele care nu se potrivesc modelului sunt considerate relevante. Analiza documentelor este preferat ca metod primar de culegere a datelor pentru

27

evaluare. Aceasta datorit virtuilor sale privind economia de resurse. Totui ea este de obicei utilizat mpreun cu alte metode, att cu scopul completrii informaiei, ct i cu scopul examinrii validitii datelor. Pentru a observa utilizarea metodelor de cercetare in evaluarea de proiecte, am nceput prin a analiza o parte din studiile de evaluare a impactului derulate de experii Bncii Mondiale n intervalul 2003-20056. Am realizat un eantion aleatoriu, stratificat, de evaluari, dup urmtoarele variabile: domeniul proiectelor evaluate (dezvoltare economic, educaie, infrastructur) i numrul beneficiarilor acestora (sub 50.000 indivizi, ntre 50.001 si 100.000 i peste sau egal cu 100.001 indivizi) (Tabelul 22). Am selectat aceste variabile pentru c: domeniul - d specificitatea analizelor la care se preteaz un proiect n cursul evalurii i numrul indivizilor din grupul int al proiectului ilustreaz de regul dimensiunea proiectului. Iar metodele de cercetare utilizate n evaluarea proiectelor sau programelor pot varia n funcie de aceste dou variabile. Aceasta este ipoteza de la care am pornit. Scopul a fost obinerea unei selecii omogene de studii de evaluare. Ulterior am notat care este metoda de cercetare utilizat cu predilecie (i am numit-o metoda principal), precum i metodele utilizate n completarea acesteia (metoda secundar i metoda teriar). Ulterior am notat apariia fiecrei metode de cercetare in studiile de evaluare, precum i poziia (primar, secundar sau teriar) pe care o ocup n studiul de evaluare. Am sesizat utilizarea n principal a trei metode de cercetare-analiza documentelor, sondajul de opinie i interviul individualmetode pe care le-am luat n calcul pe tot parcursul analizei realizate. Dup cum reiese din Tabelul 2 i 3, n eantionul de 40 de studii de evaluare a impactului social realizate de ctre Banca Mondial, 45% (18) utilizeaz analiza cantitativ a documentelor ca metod principal, iar alte 20 % (8) ca metod secundar. Tabelul 2. Metoda principal de cercetare utilizat n evalurile realizate de Banca Mondial Frecvena Procentul analiza doc 18 45,0

6

www.worldbank.org/oed/ (februarie 2005)

28

sondaj interviu ind alta Total

9 7 6 40

22,5 17,5 15,0 100,0

Este interesat de notat faptul c, dei ca metod primar este preferat analiza documentelor, urmat de ancheta sociologic, n topul metodelor secundare (de suport) ancheta este devansat de interviu. Este o dovad a utilitii paradigmei multimetod. Tabelul 3. Metoda secundar de cercetare utilizat n evalurile realizate de Banca Mondial Frecvena Procentul analiza doc sondaj interviu ind focus group Delphi Total 8 40 20,0 100,0 2 5,0 10 12 25,0 30,0 8 20,0

4.4 Metode cantitative utilizate n evaluarea de proiecte

Conjuncia copulativ i din Ancheta sociologic i sondajul de opinie (Rotariu i Ilu, 1997, 2001) atrage atenia asupra unor deosebiri ntre ancheta sociologic i sondajul de opinie, chiar dac anumii cercettori tind s pun semnul egalitii, echivalenei i chiar al identitii ntre cele dou noiuni. Diferenele ntre o anchet

29

sociologic i un sondaj de opinie sunt ilustrate ct se poate de clar n cartea profesorilor Traian Rotariu i Petru Ilu (Ancheta sociologic i sondajul de opinie: teorie i practic). Se remarc astfel existena a cel puin apte note distinctive ntre cele dou forme de cercetare: 1.O prim caracteristic specific a sondajului de opinie spre deosebire de ancheta sociologic se detaeaz din semnificaia termenului la nivel semantic. Sondajele de opinie au n centru pe de o parte sondajul, iar pe de alt parte opinia. Termenul sondaj este sinonim cu sintagma cercetare selectiv, iar sensul s se poate reduce n mod strict la operaia de selectare a indivizilor care urmeaz a fi chestionai (Rotariu i Ilu, 2001: 52). Aspect prin excelen subiectiv al realitii sociale, prin opinie se nelege o stare sau o predispoziie mental fa de un anumit referent (andor, 2005: 58). Opinia are la baz diverse credine, valori, atitudini, sentimente i aprecieri personale ale celor care o exprim. De multe ori, sondajul de opinie este utilizat interanjabil cu sintagma sondaj de opinie public. Dan andor prezint un model al formrii i manifestrii opiniilor n sfera public, i mai concret n sistemul administrativ i politic (andor, 2005: 59):

InstituiiPreedinte Parlament Tribunale Administraia central Administraia local

OpiniiAtitudini i credine pe termen scurt sau lung privind instituiile publice i politicile acestora

ParticipareInteraciuni cu administraia Votul Participarea n aciuni de lobby

Agenii publice

Figura 2. Nivelul de manifestare al opiniilor n sistemul administrativ i politic. input (cereri sau sprijin) (Sursa: Sorin Dan andor, (2004),Analiz i cercetare, Cluj-Napoca: Accent, p.59, adaptare dup Robert G. Lehnen, American Institutions, Political Opinion & Public Policy, Dryden Press, 1976, p. 32) Detaliind noiunea de opinie public, sunt subliniate trei aspecte fundamentale: intensitatea opiniei, importana subiectului, i stabilitatea opiniilor (andor, 2005: 59).

30

Aceste elemente dau msura n care opinia public este relevant. Opinia public este ns considerat complex i greu de definit operaional (Rotariu i Ilu, 2001: 52). 2.O alt caracteristic specific a sondajului de opinie n comparaie cu ancheta sociologic este specificul problemelor cercetate. n cazul sondajului de opinie public, problemele sau temele abordate au un caracter de interes general (opiuni politice, atitudini fa de probleme instituionale, etc.), pe cnd ancheta sociologic poate fi centrat pe probleme care preocup un grup mai restrns(e.g. beneficiarii unui program sau proiect, o anumit categorie ocupaional, etc). Din acest motiv, n evaluarea de programe vom vorbi mai degrab de anchet sociologic dect de sondaj de opinie. 3. Sondajul de opinie este o subspecie a anchetei sociologice, care se remarc printr-un puternic caracter descriptiv. De cele mai multe ori, sondajele de opinie nu stau la baza unor cercetri explicative. 4. Spre deosebire de anchet, sondajul de opinie necesit, de regul, un timp mai scurt de desfurare. ntrebrile din chestionarele folosite sunt de cele mai multe ori clar structurate i relativ simple. Eantioanele selectate asigur o reprezentativitate rezonabil pentru evalurile cu caracter general urmrite. Ancheta sociologic, dimpotriv, necesit un timp mai indelungat de organizare i desfurare, ntrebrile din cadrul chestionarului specific anchetei pot fi structurate, semistructurate i chiar nestructurate, iar eantionarea se face dup proceduri mai complexe. 5. Rezultatele sondajului sunt prezentate ntr-o form uor accesibil. Ancheta sociologic are urmtoarele caracteristici (Hyman, 1973): presupune un numr mare de cazuri, selectarea acestora trebuie fcut dup criterii riguroase de eantionare;datele trebuie colectate n situaii normale, ct mai apropiate de viaa de zi cu zi; colectarea se face n conformitate cu proceduri standardizate iar datele sunt ntr-o form msurabil cantitativ, cea mai simpl fiind prezena sau absena unui atribut.

n evaluarea de proiecte i programe pentru administraia public cel mai adesea este utilizat ancheta sociologic. Aceasta poate avea ca populaie statistic cetenii-clieni ai unei anumite instituii (administraia financiar, poliia, cu sistemul educaional, etc.), beneficiarii unui program sau proiect. Populaia statistic poate consta i n membrii unei

31

uniti administrativ-teritoriale sau ai unui grup dintr-o anumit comunitate, int a unor intervenii susinute din bani publici. Toate acestea de mai sus sunt mai mult problematici din care pot fi puse ntrebri. Putem pune ntrebarea ntr-un mod apropiat de formularea propus sau pentru fiecare dintre ele putem formula mai multe ntrebri, astfel nct s nelegem mai bine fenomenul. Sondajul de opinie este utilizat ca surs principal de culegere a datelor n 22.5 %(9) din cazuri(Tabelul 1), ca metod secundar n 25%(10) din cazuri(Tabelul 2), iar ca metod teriar, tot n 25%(10) dintre cazuri dupa cum reiese din Tabelul 3. Tabelul 4 . Metoda teriar de cercetare utilizat n evalurile realizate de Banca Mondial

Frecvena analiza doc 10 sondaj 10

Procentul 25,0 25,0 10,0 15,0 20,0 5,0 100,0

interviu ind 4 focus group 6 Delphi 8

observaia 2 Total 40

Dac prin analiza documentelor este ncurajat utilizarea datelor deja existente, din motive de economie i eficient, analiza va evidenia de cele mai multe ori carene n datele avute la dispoziie ca o consecin a unor studii anterioare. Datele obinute prin sondajul de opinie aplicat n cadrul studiului de impact trebuie interpretate prin prisma i n contextul datelor regsite n arhive, datelor provenite din recensminte i al celorlalte date statistice existente.

32

Scopul unui astfel de sondaj ar fi : 1. s verifice valabilitatea datelor obinute iniial, pe un eantion mai larg i mai reprezentativ 2. adresarea unor ntrebri n legatur cu probleme care nu au fost abordate anterior Astfel se obin date predominant cantitative (legate de nivelul de angajare a forei de munc, sursele de venit). Dac se utilizeaz sondajul de opinie, trebuie avute n vedere urmatoarele elemente: utilizarea ntrebrilor potrivite construcia eantionului alegerea celor mai relevante tehnici de analiz a datelor

ntrebrile ar trebui s se concentreze pe problemele sociale cu care are legatur proiectul. Trebuie s existe o legatur direct ntre variabilele cu ajutorul crora se msoar impactul i ntrebrile chestionarului. Numrul i coninutul ntrebrilor trebuie s se plieze pe importana relativ a variabilelor. Accentul trebuie pus pe claritatea formulrii ntrebrilor. nc din aceast etap, o importan semnificativ o are influena variabilelor externe. Validitatea concluziilor depinde de masura n care poate fi anticipat i controlat influen acestora. Claritatea i relevana ntrebrilor, precum i ordinea n care ntrebrile sunt prezentate poate avea un impact semnificativ asupra validitii analizei. Problema variabilelor externe i a oportunitii ntrebrilor poate fi rezolvat prin pre-testarea instrumentului. n acest context, unii cercettori vorbesc despre procesul de clarificare sau de curare a instrumentului. nainte de a ncepe construcia unui chestionar n vederea utilizrii lui pentru evaluarea impactului social al unui proiect sau program, specialistul n tiinte sociale trebuie s in cont de dou realiti: realizarea unor cercetri noi presupun, de regul mult timp, i n al doilea rnd, este recomandabil utilizarea cercetrilor anterioare. Studiile cantitative trebuie corelate cu tehnicile inductive de analiz a informaiei existente, cu analiza informaiei calitative i cu observaia. Analiza statistic a informaiei cantitative 33

Nivelul de masur a caracteristicilor utilizat ( nominal, ordinal, interval sau raport ) va determina tipul instrumentelor utilizate pentru msurarea variabilelor. Pentru c marea parte a caracteristicilor msurate n tiinele sociale sunt nominale, sunt utilizate, de obicei, metode de analiz statistic elementare referitoare la asociere i semnificaie. i pentru evaluarea impactului social (EIS) metodele descriptive predomin, n defavoarea celor infereniale. Unde este posibil aplicarea unui chestionar, se poate recurge la metode de analiz statistic mai sofisticate. Anumite informaii de natur cantitativ vorbesc de la sine. Este cazul n care un grup de participani ntr-un anumit proiect obin o crestere semnificativ a veniturilor n comparaie cu un grup de control comparabil. n alte cazuri, pentru a ajunge la concluzii pertinente este necesar o analiz statistic sofisticat. Teoretic limitele de ncredere ntre care pot fi pstrate prin analiza statistic ar trebui s arate ct sunt de pertinente rezultatele. La nivel practic erorile sistematice nedetectate la nivelul datelor pot depi cu mult incertitudinile luate n calcul. Rezultatele vor mima riguarea tiinific, fr a o atinge. Totui, tehnicile pur calitative pot avea un grad ridicat de subiectiviate. O comparaie ntre tehnicile calitative i cantitative este adesea necesar. La fel cum pot ajuta la explicarea rezultatelor, inconsistenele evideniate prin triangulaia rezultatelor generate prin diferite metode de analiz pot ajuta i la identificarea erorilor sistemetice i a unor false interpretri care altfel ar trece neobservate. Acolo unde potenialul pentru erori sistematice este ridicat, metodele cantitative care presupun analize statistice sofisticate pot avea un raport cost-eficien mai sczut, iar n final s fie mai puin relevante dect o combinaie a unor metode cantitative i calitative mult mai simple. Pentru a determina ct de mare i ct de semnificativ este impactul unui proiect, cel mai important lucru este formularea ntrebrilor semnificative, implicarea persoanelor potrivite, inclusiv a evaluatorilor potrivii. Studiu de impact care utilizeaz analiza statistic Copestake coordoneaz n anul 2000 Studiul de impact a microcreditelor asupra srciei n Zambia. Acest studiu a avut la baz trei surse de date : Un sondaj de opinie cu un chestionar aplicat pe un eantion din participanii la program .

34

Un al doilea sondaj de opinie cu un chestionar aplicat pe o populaie mai larg de firme si gospodrii. Un set de focus-group-uri calitative n cascad. Identificarea caracteristicilor primitorilor de credite (gen, nivel de srcie, vechimea afacerii) pentru a estima nivelul atins de program Identificarea i estimarea impacturilor directe ale imprumuturilor asupra debitorilor, asupra afacerii lor i asupra gospodariilor acestora Identificarea efectelor indirecte ale programului

Analiza programului a avut trei scopuri:

Studiul de impact a comparat datele obinute din sondajul aplicat participanilor cu datele furnizate de trei surse secundare: Un sondaj de opinie oficial pentru determinarea nivelului actual al srciei n raport cu limita srciei calculat n funcie de consum Un studiu participativ de evaluare a gradului de urbanizare i un sondaj de opinie naional aplicat pe ntreprinderi mici i mijlocii Unde a fost posibil chestionarul utilizat pentru studiul eantionului participant n program a preluat ntrebri utilizate n aceste surse secundare. Acesta acoperea: Caracteristici ale respondenilor Activitile gospodariilor i afacerilor pe parcursul unei perioade standard de o lun. Respondenii au fost, de asemenea, rugai s estimeze care ar fi fost rspunsurile lor n aceeai lun, anul trecut / cu un an nainte. Chestionarul a inclus de asemenea ntrebri deschise i ntrebri de opinie, n timp ce informaiile despre mprumuturile primite au fost obinute direct din documentele proiectului. Regresia a fost utilizat pentru a evalua impactul direct al programului asupra afacerilor celor care au primit credite. Acesta a scos n eviden urmatoarele aspecte: Diferena ntre profitul mediu obinut de ctre firmele care au apelat la credit i cel obtinut de ctre grupul de control nu a fost semnificativ statistic. Diferena privind rata de cretere a profiturilor a fost semnificativ statistic. Profitul celor care au apelat la credite coreleaz cu trainingul oferit ca parte a programului.

35

Datele cantitative au fost completate cu cele obinute n urma ntrebrilor calitative prin care respondenilor li s-au cerut s explice motivele pentru schimbrile profitabilitii principalei lor afaceri de-a lungul ultimului an. O proporie mai mare a celor care au luat credit(comparativ cu cei care nu au luat) ale cror profituri s-au mrit au atribuit aceast cretere, creterii nivelului investiiilor, banilor reinvestii i diversificrii produciei. Acest caz ilustreaz avantajele utilizrii mai multor metode de cercetare n studiile de evaluare, i implicit, de impact. O abordare pozitivist a fost util n identificarea i cuantificarea celor mai importante impacturi. Analiza interpretativ (att a datelor obtinute prin metode cantitative ct i calitative) a fost necesar pentru a explica rezultatele, pentru a relata efectele variaiei n jurul mediei i pentru a plasa rezultatele analizei ntr-un context mai larg. Studiul de caz ilustreaz de asemenea importana comparaiilor nainte i dup intervenie. Pentru a avea un rezultat optim, metodele de cercetare se utilizeaz n combinaii de dou, trei sau chiar mai multe. Tabelul 5. Numr de metode de cercetare utilizate Numrul metodelor utilizate cumulativ Frecvena 2 3 4 5 Total 10 20 6 4 40

Dintr-un eantion de 40 de studii de evaluare a impactului social, observm c n 75% din cazuri(30) utilizeaz combinaii de doua sau trei metode. Nu exist nici un caz de EIS care are la baza o singur metod, 10%(4) utiliznd cinci metode. 4.5 Metode calitative utilizate n evaluarea de proiecte

36

Selectarea unei metodologii pentru evaluarea unui proiect sau a unui program i pune amprenta asupra ntregului proces de evaluare. De cele mai multe ori, selecia se fcea din rndul metodelor cantitative. Recent cercettorii metodelor de evaluare au observat anumite limitri ale tehnicilor cantitative privind rspunsul care trebuia dat anumitor ntrebri de evaluare. n acest referat voi sublinia anumite diferene existente ntre metodele cantitative i calitative de cercetare utilizate n procesul de evaluare. Tendina actual este de a combina cele dou abordri metodologice. Metodele calitative de colectare a datelor la care m refer cu predilecie sunt: interviurile individuale, observaia participativ i analiza documentelor. Toate acestea particip uneori la constructia unui studiu de caz.

Utilizarea metodelor calitative n evaluarea de programe Prin utilizarea metodelor calitative n evaluarea de programe, se obin o serie de descrieri ale organizrii i funcionrii programului, ale experienelor pe care le au cei implicai n program. Scopul acestor descrieri este oferirea unei imagini despre programul respectiv. Prin utilizarea metodelor calitative se ncearc gsirea unui rspuns la urmtoarele tipuri de ntrebri: 1. Cum funcioneaz programul? 2. Care este perspective participanilor n programul respective? Ct sunt ei de mulumii cu desfurarea sau cu rezultatele programului? Care este rolul fiecrui actor implicat? Care sunt principalele nemulumiri i care sunt cauzele acestora? 3. Cum s-au desfurat anumite activiti ale programului? Se urmrete descrierea tuturor aspectelor care pot fi relevante pentru nelegerea unui program. Din totalitatea informaiilor colectate prin interviuri, studii de caz, observaii de teren, vor fi ulterior selectate pentru raportul de evaluare acele informaii care ofer un rspuns pentru ntrebrile evalurii.

37

Observaia Observaia este o metod cu multiple avantaje n evaluarea de proiecte. Caracterul su non-invaziv este esenial n obinerea unor informaii nedistorsionate, spre deosebire de cele obinute prin interviu sau prin sondajul de opinie unde efectul de dezirabilitate social este mai pregnant. Evaluatorul poate realiza observaia i poate beneficia de informaiile culese prin aceast metod n cursul participrii n implementarea unui proiect, cu ocazia ntlnirilor i interaciunilor ocazionate de derularea proiectului. Datele astfel obinute trebuie notate imediat, nregistrrile fiind indicat s fie fcute ntr-un jurnal de observaie care urmeaz a fi analizat ulterior. Acest tip de date pot fi extrem de utile n evalurile de proces. De asemenea, evaluatorul poate colecta o serie de date prin analiza activitilor specifice unui program. n cursul interaciunilor cotidiene, un numr de detalii aparent nesemnificative se pot dovedi ulterior ca fiind eseniale. Ele pot atrage atenia evaluatorului asupra unor aspecte care urmeaz a fi analizate formal ulterior. De exemplu, dac n cazul evalurii activitii unui centru de zi pentru copii provenii din familii defavorizare, evaluatorul observ materialele didactice care se presupune c sunt utilizate zilnic n stare perfect(neatinse, neuzate) i poate pune ntrebri n legtur cu utilizarea efectiv a materialelor in timpul activitilor zilnice. Dac, n aceeai situaie, evaluatorul observ o atitudine de mirare a copiilor care intr n sala de mese la vederea fructelor i a feelor de mas, evaluatorul poate investiga ulterior condiiile n care copii iau masa de obicei, precum i dac sunt hrnii corespunztor. n evaluarea programelor observaia nu este folosit la adevrata sa valoare. O prim cauz este explicarea problemelor prin cauze sociale sau economice (de genul: srcia este datorat situaiei economice generale, salariilor mici, educaiei reduse, provenienei dintr-o familie cu mijloace reduse, etc.). n anumite cazuri astfel de explicaii nu sunt suficiente, comportamentul putnd fi cauza real, iar pentru studiul comportamentelor observaia este cea mai bun metod. O a doua cauz este costul n timp i for de munc pentru a face suficiente observaii referitoare la un grup mare de oameni sau la o comunitate. Cercetrile efectuate pe astfel de teme dureaz perioade mari de timp, exact ceea ce lipsete de

38

obicei ntr-o evaluare. Ca s dm un exemplu, cercetarea unui clasic al observaiei, William Foot Whyte, Street Corner Society: The Social Structure of an Italian Slum (1943) a durat 5 ani! Interviul individual Interviul individual este cel mai adesea utilizat in evaluarea unor programe de mici dimensiuni, cnd sunt implicai un numr relativ restrns de indivizi-cheie n implementarea unui program. Cnd utilizeaz acest tip de interviu, evaluatorul urmrete fie clarificarea modului de funcionare a programului, fie determinarea unor soluii pentru realizarea de schimbri n modul de funcionare (Chen, 2005: 79). Interviul individual este o ncercare de a obine informaii pentru evaluarea unui program prin intermediul unor ntrebri i rspunsuri din cadrul unor convorbiri ntre evaluator i participanii ntrun anumit program. La baza interviului, fie c este individual, fie c este de grup, st un ghid de interviu care precizeaz mai mult sau mai puin exact ntrebrile care urmeaz a fi utilizate n cursul interviului. Spre exemplu, pentru evaluarea unui program al crui obiect l constituie un Centru de Zi pentru educarea copiilor precolari provenii din familii defavorizate, putem recurge la un interviu semi-structurat. Interlocutorii vor fi prinii copiilor-beneficiari direci ai programului. n acest caz, putem utiliza urmtorul ghid de interviu: Ghid de interviu utilizat n evaluare:

Ghid de interviu pentru evaluarea Centrului de Zi pentru educarea copiilor precolari provenii din familii defavorizate

Vrsta interlocutorului ____________ Sexul interlocutorului_____________ 39

Data _____________________________

Bun ziua, numele meu este ____________. Scopul acestui interviu este s aflm prerea dumneavoastr despre acest CZ unde v aducei zilnic copilul. Sunt interesat n special de problemele pe care le-ai ntmpinat i de recomandrile pe care le avei. Dac suntei de acord, voi nregistra aceast convorbire, pentru a putea evita orice denaturare a conversaiei noastre. Tot ce vom vorbi aici rmne confidenial, doar un rezumat al prerilor tuturor persoanelor implicate n program, fr referin la numele acestora, va fi fcut public. Pentru nceput v rog s ne spunei dac avei vreun copil care frecventeaz centrul de zi i dac da, cum a fost ales copilul dvs. pentru programul Centrului de Zi? (Not: n funcie de rspuns se pot adresa alte ntrebri pentru clarificare). Avei cunotin s fi existat probleme n selecia participanilor n program? (Not: dac da, se continu cu ntrebri cum ar fi: Care au fost acestea?, tii de ce au aprut?, Cum au fost rezolvate? Sau Ce sugestii avei pentru rezolvarea unor astfel de probleme?). Ct de mulumit suntei de serviciile oferite? (Not: se poate continua cernd detalii despre serviciile la care se refer, i poate fi utilizat o scal de la 1 la 10 pentru evaluarea fiecrui serviciu). Care este programul zilnic al copiilor? (Not: dup ce se primete rspunsul se poate continua cu ntrebri cum ar fi: Cum ai aprecia prestaia educatorilor?, Cum apreciai comportamentul personalului auxiliar?). Cum colaborai cu personalul angajat al Centrului de Zi? (Not: se vor cere detalii i explicaii; se poate continua seria ntrebrilor cu: Ai participat la edintele cu prinii? Ct de des? Dar la serbri? Ce alte activiti implic participarea dumneavoastr?).

40

Ce credei c nu este bun n programul centrului de zi? Not: se vor cere detalii i explicai; se poate continua cu ntrebarea Care sunt soluiile pe care le propunei pentru eventualele probleme? Care ar fi elementele pozitive ale acestui program? De ce credei acest lucru? (Not: se va insista pe explicarea motivelor pentru care acestea au fost menionate). Dac ai mai avea un copil ntre 3 i 6 ani l-ai nscrie la Centrul de Zi? Ce prere avei despre ntregul program? (Not: se va insista pe aspectele care nu au aprut mai devreme n discuie). Ce alte lucruri ar merita tiute despre program? (Not: se vor cere detalii i explicaii).

Focus grupul (FG) FG este un interviu structurat aplicat asupra unui grup special constituit cu ocazia interviului. Se folosete mult n domeniul marketingului, n care se urmrete aflarea opiniilor despre anumite produse sau servicii i pentru a completa anumite cercetri sociologice (pentru triangulare). O variant este cea n care sunt convocai experi (metoda Delphi), n care se urmrete ajungerea la o soluie sau la evaluarea unor situaii. Principalul scop al FG este surprinderea ct mai detaliat a atitudinilor, credinelor, sentimentelor, experienelor i reaciilor respondenilor ntr-o manier mai puin specific celorlalte metode calitative de cercetare fie c este vorba de observaie, interviu individual sau studiu de caz). Particularitatea FG este interaciunea. n comparaie cu interviul individual, care intenioneaz cunoaterea atitudinilor individuale, FG agreg o multitudine de perspective i procese emoionale ntr-un context de grup. Fa de observaie, FG poate furniza o cantitate mai mare de informaii ntr-o perioad mai scurt de timp, economisind astfel resurse (timp, bani, personal). n timp ce n cadrul observaiei cercettorul asteapt ca lucrurile sa se ntmple, n cadrul FG el conduce direcia investigaiei n sensul dorit, prestabilit prin ghidul de FG. n acest sens, FG nu este un eveniment spontan, ci organizat.

41

FG poate fi utilizat n etapele preliminare sau exploratorii ale unei evaluri, n timpul acesteia, pentru a valida opiniile obtinute n interviurile individuale, i informaiile provenite din studiul documentelor sau ulterior implementrii unui program pentru a evalua impactul sau pentru a da noi direcii de evaluare. FG poate fi utilizat ca metod de evaluare de preferin n combinaie cu alte metode de cercetare pentru verificarea validitii evalurii. Organizarea interviurilor FG necesit mai multe resurse i o mai bun planificare dect celelalte tipuri de interviu. Selectarea participanilor, pregtirea i adunarea lor n locuri dotate cu toate dispozitivele tehnice necesare ia de obicei mult timp. Numrul recomandat de persoane participante la FG este de obicei ntre ase i zece (MacIntosh, 1981), ns anumii cercettori utilizeaz pn la 15 persoane (Goss, 1996), pe cnd alii se opresc la patru (Kitzinger, 1995). Numrul grupurilor variaz deasemenea, mergndu-se de la cte o ntlnire cu cele cteva grupuri formate, (Burgess 1996), la mai multe ntlniri cu un singur grup pan la mai multe intlniri cu mai multe grupuri. FG dureaz de obicei ntre o or si dou ore. Sunt preferate locaiile neutre pentru a evita orice tip de dezirabilitate i asocierile cu influenele pozitive i negative pe care le-ar putea genera un anumit context. Dealtfel, FG utilizate pentru evaluarea unui program pot fi organizate ntr-o varietate de locuri: sli nchiriate, sli de edin (n care, eventual, subiecii ca grup pre-determinat se intalnesc si cu alte ocazii, n timpul implementrii programului)etc. Selecia participanilor pentru FG nu este nici ea un proces simplu. Dac un grup e prea eterogen, sub aspectul genului sau al categoriei sociale sau ocupaionale, diferenele dintre participani pot avea un impact considerabil asupra contribuiilor acestora n cadrul FG. Deasemenea, dac un grup e omogen din perspectiva anumitor caracteristici, diverse opinii sau experiene ar putea fi omise. (Morgan 1988). Odat ce profilul participanilor a fost stabilit, urmtoarea provocare e reprezentat de localizarea lor. Recrutarea participanilor poate necesita timp, mai ales dac tema n discuie nu prezint beneficii imediate sau nu este ntr-un alt fel atractiv pentru participani. Acesta nu este ns cazul n evaluarea de programe, mai ales atunci cnd prin FG se testeaz satisfacia beneficiarilor fa de un anumit program, sau in

42

cazurile n care, programele sunt susinute de ctre anumii finanatori, iar actorii implicai i-au asumat obligaia transparenei. Odat ce ntlnirea a fost stabilit, rolul moderatorului devine esenial. El ofer informaii i explicaii clare n legatur cu scopul ntlnirii, i ajut pe participani s se simt n largul lor i nlesnete interaciunea dintre ei. n timpul ntlnirii moderatorul trebuie s anime dezbaterea prin ntrebri deschise, prin provocarea participanilor la a-i exprima opiniile. Rolul moderatorului se refer i la concentrarea continu a ateniei participanilor asupra subiectului. De asemenea, moderatorul trebuie s asigure fiecrui participant ansa de a interveni i n acelai timp, moderatorii trebuie s evite manifestarea propriilor opinii (Kreuger 1988), pentru a nu influena anumii participani. Moderatorul trebuie s posede caliti deosebite de comunicare interpersonal, s fie un bun asculttor neprejudiciat i adaptabil. Astfel va fi ncurajat un dialog deschis, interactiv, eficient. Nivelul controlului impus de moderatori depinde de tipul proiectului, de tipul i scopul evalurii. Dac sunt implicai doi sau mai muli moderatori trebuie s existe un acord prealabil n legtur cu aportul fiecruia. E recomandabil ca unul dintre moderatori s supervizeze interaciunea grupului, iar celalalt s ia notie n legtur cu aspecte ale discuiei care nu pot fi nregistrate, precum i cu opinii sau reacii care trebuie clarificate ulterior. n evaluarea de programe, metoda poate fi folosit n urmtoarele scopuri: 1. S nelegem de ce a aprut o anumit problem n mediul din care sunt selectai participanii i n ce msur programul respectiv o acoper; 2. Pentru identificarea nevoilor recunoscute, dar i a celor latente i a satisfaciei fat de modul n care programul rspunde la ateptrile lor; 3. Gsirea unor posibile soluii pentru eventualele probleme ale programului; 4. Pentru a afla posibilele reacii fa de anumite soluii propuse de diferiii actori implicai in program; 5. Aflarea atitudinilor fa de anumite instituii sau programe sau a ncrederii n acestea. n evaluarea unui program, pot fi utilizate mai multe focus grupuri, rezultatele fiind ulterior corelate. Este chiar recomandabil ca n momentul n care avem de a face cu

43

grupuri eterogene pe care vrem s le studiem, s construim mai multe focus grupuri. Este bine s evitm s reunim n acelai grup efii i subordonaii, persoane cu mai mult educaie i persoane mai slab educate, etc. pentru c difer modul n care se pun problemele, exist sentimente de team sau respect care pot mpiedica prezentarea unor puncte de vedere. De asemenea, populaia studiat poate fi mprit i pe faete ale problemei studiate. De exemplu, dac dorim s vorbim despre educaia contraceptiv n rndul tineretului ar fi bine s vorbim separat cu bieii i fetele. Metodele de colectare a informaiei cel mai des ntlnite n cazul evalurii programelor, precum i tipul de informaii obinute pot fi descrise astfel: Tabelul 6. Metode de colectare a informaiei Surse de date Arhive: Recensmnt Indicatori statistici Baze de date ale instituiilor Alte cercetri non- Aceste tehnici utilizeaz forme Date sau protocoale structurate, o percepii, de varietate de scale i modaliti de rspuns calitative: opinii, valori, observaii, Descriere Informaii obinute Date deja existente aflate n Date cantitative care ne ajut s arhivele instituiilor publice aflm care este starea actual sau private de fapt; pot aprea i indicaii ale unor anumite nevoi

Comunicare interactiv: Sondaje opinie Surse cheie Tehnica

de judeci de valoare

incidentului critic Grup Delphi Aceste tehnici presupun un Date n principal calitative: numr mai mic sau mai mare opinii, judeci ca expert; de persoane implicate n percepii i perspective de grup, valori i importan a nevoilor; diferite grade de interaciune

Comunicare interactiv: Forumuri ceteneti

44

-

Tehnica grupului nominal

Consens asupra scopurilor sau aciunilor; Informaie asupra cauzelor; Decizii asupra prioritilor

-

Focus grupuri

Sursa : Adaptare dup Belle Ruth Witkin, James W. Altschuld, (1995) Planning and Conducting Needs Assessments. A Pratical Guide, Sage Publications, p. 48 n andor, Sorin Dan (2005) Analiz i cercetare, Cluj-Napoca, Accent, p.54

n practic se folosesc cel mai des sondajele de opinie n rndul beneficiarilor, acestea fiind percepute ca fiind mai profesionale i mai uor de administrat. Din pcate instrumentul folosit, chestionarul, este lipsit de finee i rezultatele obinute nu sunt ntotdeauna cele mai bune. De asemenea, este greu s surprinzi nevoile latente (care nu au fost contientizate nc) printr-un sondaj. De aceea este preferabil ca n limita timpului, a banilor i a personalului pe care le avem la dispoziie s ncercm s mbinm ct mai bine ct mai multe dintre metodele menionate mai sus.

Analiza documentelor Analiza documentelor este sursa de informaii cel mai adesea exploatat de ctre evaluatori mai ales din motive de economie de resurse: timp, bani, personal. n cadrul procesului de evaluare, analiza documentelor se poate referi la analiza rapoartelor, evidentelor contabile i nu numai, a planurilor anuale, a tuturor detaliilor legate de un anumit proiect sau prog