EVALUAREA NAIONAL LA FINALUL CLASEI A IV-A

Raportul tehnic

Bucureti, septembrie 2007

CUPRINS:

Sintez ....................................................................................................................................... 5 1. Introducere. Scopul i obiectivele Evalurii Naionale la finalul clasei a IV-a. Organizarea i administrarea EN IV 2007 .......................................................................... 7 2. Elemente de noutate n proiectarea i administrarea EN IV 200711 .............................. 11 3. Metodologia proiectrii i administrrii EN IV 2007 ........................................................ 17

3.1. Constituirea eantionului de coli i de elevi ......................................................... 17 3.2. Variabilele de cercetare ............................................................................................ 20

3.3. Caracteristici ale populaiei investigate .................................................................. 25 3.4. Proiectarea instrumentelor de evaluare: teste de cunotine i chestionarul nvtorului ......................................................................................... 26 3.5. Factorii de mediu socio-educaional ........................................................................ 29

4. Rezultatele evalurii .......................................................................................................... 31 4.1. Rezultate generale ..................................................................................................... 31

4.2. Performarea sarcinilor de lucru la nivel de eantion .............................................. 34 4.2.1. Limba i literatura matern (limba i literatura romn, limba i literatura maghiar) ................................................................................................... 40 4.2.2. Matematica ....................................................................................................... 76

4.2.3. tiine ale naturii .............................................................................................120 5. Analiza factorilor de mediu i interpretarea rezultatelor pe variabile de cercetare ................147 6. Raportarea rezultatelor EN IV 2007 la diferite contexte ................................................172

6.1. Comparaii ntre EN IV 2007 i alte studii evaluative internaionale .....................172 6.2. Comparaii cu EN IV 2005 ........................................................................................181

7. Concluzii ...........................................................................................................................191

8. Glosar de termeni utilizai n EN IV 2007 ........................................................................193

ANEXE

1. Baremele de corectare i notare .......................................................................................196

2. Chestionarul nvtorului .................................................................................................223

3. Lista unitilor de nvmnt participante la EN IV 2007 ................................................225

4. Lista membrilor grupului de lucru al CNCEIP pentru nvmntul primar ...................230

5

SINTEZ

Evaluarea naional a elevilor aflai la finalul nvmntului primar administrat n luna mai 2007 (EN IV 2007) a fost proiectat, organizat i realizat de ctre SNEE / CNCEIP i reprezint cea de-a treia evaluare de acest tip, construit pe baza noului curriculum naional introdus ncepnd cu anul colar 1998/1999, cruia i s-a asociat, ncepnd cu acelai an colar, noul sistem de evaluare pe baza calificativelor. Evaluarea naional 2007 este corelat cu evalurile naionale administrate anterior (1995, 1998, 2000 i 2005) pentru disciplinele de studiu Limba i literatura matern (romn i, respectiv, maghiar), Matematic i tiine ale naturii, pe baza unora dintre obiectivele de evaluare raportate la standardele curriculare pentru nvmntul primar. Este posibil astfel crearea unei imagini complexe a variaiei n timp a performanelor elevilor aflai la final de ciclu primar, raportat la standardele curriculare n vigoare.

EN IV 2007 a fost condus pe un eantion naional reprezentativ de elevi, aflai n 151 de coli din toate judeele rii, totaliznd 221 de clase a IV-a (nvmnt tradiional i simultan). Instrumentele de evaluare au fost administrate unui numr de 3523 elevi. Au fost urmrite ca variabile de eantionare: mediul de reziden (rural / urban) i tipul de predare (tradiional / simultan). mpreun cu testele scrise la cele trei discipline menionate, a fost administrat i un chestionar destinat cadrului didactic, pentru a putea corela informaiile primite din cele dou surse cu informaiile rezultate din rapoartele administratorilor de test pentru fiecare clas de elevi participant la testare.

n toate cele 151 de coli care au format eantionul instrumentele de evaluare au fost administrate extern. Procesul de proiectare, pretestare i corectare a probelor de evaluare a fost n totalitate extern, centralizat i realizat de ctre membrii grupului de lucru pentru nvmntul primar din cadrul SNEE / CNCEIP.

Scopul principal al ENIV 2007 este descrierea performanelor populaiei colare a elevilor de clasa a IV-a n termenii realizrii obiectivelor de evaluare corespunztoare standardelor curriculare selectate pentru fiecare disciplin. n cazul ENIV 2007 obiectivele de evaluare formulate pentru msurarea standardelor curriculare au acoperit elementele eseniale descriind rezultatele ateptate la finalul nvmntului primar. n raportul tehnic descrierea performanelor se face n termenii procentajelor de elevi care ndeplinesc acele criteriile stabilite pentru obiectivele de evaluare proiectate, n cadrul fiecrui domeniu din cele trei discipline.

EN IV 2007 a introdus o serie de nouti att n administrarea evalurii, ct i n proiectarea instrumentelor de evaluare (testele scrise). Astfel, s-a urmrit o apropiere mai susinut fa de formatul evalurilor internaionale ale elevilor aflai la aceast vrst. Primii beneficiari ai informaiilor obinute n urma administrrii EN IV 2007 sunt cadrele didactice, inspectorii de specialitate i directorii de coal care doresc s aplice n practica de zi cu zi elemente de evaluare scris a performanelor elevilor, care au fost standardizate

6

i care au valoare de repere cu un caracter normativ, naional. Este posibil, astfel, raportarea performanelor individuale ale elevilor la o medie naional n scopul optimizrii propriului proces de evaluare curent i al creterii calitii globale a procesului educaional.

Analizele primare realizate reflect: modul n care obiectivele de evaluare stabilite au fost performate pe fiecare disciplin; modul distribuirii performanelor pe variabilele de cercetare (tipul unitii de nvmnt, genul subiecilor, distribuia performanelor elevilor din mediul rural n funcie de tipul de predare); ofer anumite informaii cu caracter descriptiv n ceea ce privete ethosul colar, precum i unele elemente despre profilul de formare iniial i continu a cadrelor didactice (nvtori), a vechimii i a continuitii lor la clas etc.

Datele obinute n urma EN IV 2007 au fost corelate cu unele dintre cele rezultate din evalurile naionale anterioare, permind urmrirea performanelor elevilor i a variaiei caracteristicilor n funcie de mediul socio-educaional i gen pe domenii ale disciplinelor de studiu evaluate. Acestea constituie reperele empirice i sistematice ntemeiate pe argumente cantitative i calitative, importante att pentru viitoarele evaluri naionale (n copul urmririi tendinelor), ct i pentru conceptorii de curriculum, n vederea revizuirii curriculumului naional pentru nvmntul primar.

7

1. Introducere. Scopul i obiectivele Evalurii Naionale la finalul clasei a IV-a. Organizarea i administrarea EN IV 2007

n luna mai 2007 a fost administrat cea de-a cincea evaluare naional a elevilor aflai la finalul nvmntului primar. Seria evalurilor naionale la finalul clasei a IV-a a nceput prin studiile din anii 1995, 1998 i a fost continuat cu cele din 2000, 2005 i, respectiv, 2007, ultimele trei avnd un design comun al cercetrii.

Evaluarea Naional la finalul nvmntului primar se constituie deja ca un rspuns prompt la solicitrile factorilor de decizie care doresc fundamentarea pe baze cantitative i calitative a propunerilor de schimbare din domeniul educaiei. Astfel, i n Romnia, la fel ca peste tot n lumea educaional, datele furnizate de un studiu evaluativ naional, realizat pe eantion naional reprezentativ documenteaz diferenele de performan a elevilor, n funcie de un set de variabile de mediu socio-educaional sau de particulariti ale elevilor (de ex.: performana medie la limba i literatura matern, la matematic i la tiinele naturii pentru fete vs. biei); rezultatele elevilor n contextul diferitelor domenii ale curriculumului naional (raportate la standardele curriculare de final de ciclu); punctele tari i punctele slabe ale curriculumului real, implementat.

Culegerea sistematic, periodic, a acestor date permite monitorizarea standardelor educaionale, oferind repere privind variaia acestora pe o perioad de timp extins i fcnd posibil luarea unor decizii adecvate, documentate pe baza concluziilor formulate.

Evalurile naionale sunt proiectate sub forma unor studii obiective, constatative, care nu au drept scop identificarea cauzelor producerii respectivelor rezultate. Acesta este rolul unor analize i al unor studii ulterioare. Evalurile naionale sunt ns cele care furnizeaz datele de baz pentru cercetrile investigative i rolul lor ntr-un sistem naional de evaluare este esenial din aceast perspectiv.

Scopul ENIV este de a identifica acele informaii care pot susine factorii de decizie n stabilirea punctelor-cheie ce necesit controlul, schimbarea, optimizarea unor elemente precum: monitorizarea standardelor curriculare (de performan) pentru disciplinele trunchiului comun; pregtirea cadrelor didactice din nvmntul primar pentru a optimiza eficiena n abordarea punctelor vulnerabile ale formrii deprinderilor de baz ale elevilor; un mai bun control al condiiilor ethosului colar; abordarea auxiliarelor curriculare din perspectiva necesitii de optimizare a calitii procesului de predare nvare - evaluare; utilizarea real i eficient a tehnologiei informaiei i comunicrii n coal i n procesul educaional etc.

n funcie de msurile luate, este vizat creterea responsabilizrii tuturor partenerilor educaionali implicai i, n timp, a calitii globale a actului educaional.

Obiectivele Evalurii Naionale IV 2007 sunt, n mare msur, aceleai cu cele ale evalurilor naionale anterioare, pentru a putea ntemeia comparaii i pentru a evidenia evoluia tendinelor n timp, fiind ns actualizate conform necesitilor curriculare ale acestei etape: 1. Evaluarea cunotinelor, a capacitilor i a deprinderilor de baz la citire, matematic i tiinele naturii ale elevilor de clasa a IV-a, n scopul informrii deciziilor de politic educaional viznd nivelul nvmntului primar;

2. Realizarea unei diagnoze a performanelor elevilor aflai la finalul nvmntului primar la momentul 2007, cu scopul identificrii punctelor tari i ale punctelor slabe ale curriculumului implementat;

3. Raportarea performanelor elevilor testai n termenii sistemului evalurii curente, sistem utilizat n practica de la clas (prin utilizarea descriptorilor de performan pentru acordarea calificativelor i nu neaprat prin utilizarea calificativelor ca atare ca manier de raportare);

4. Obinerea unui feedback util din partea sistemului, cu scopul activrii dimensiunii prognostice a evalurii, pentru proiectarea parcursului educaional ulterior (ciclul gimnazial). n mod concret, este

8

de dorit ca, de rezultatele evalurii naionale la finalul clasei a IV-a s beneficieze i cadrele didactice care predau elevilor la nceputul clasei a V-a;

5. Informarea, ntr-un mod transparent i accesibil, a diferiilor parteneri educaionali (responsabili pentru dezvoltarea de politici educaionale specifice, inspectori, nvtori, metoditi, autori de curriculum, autori de manuale i auxiliare curriculare, opinia public, prini, elevi etc.) cu privire la raportarea performanelor elevilor de clasa a IV-a la standardele curriculare corespunztoare.

6. Constituirea, n timp, a unei baze de date permind comparaiile cu evalurile naionale anterioare, pentru a asigura, n viitor, comparaii ntre cohorte. Astfel, se va putea, de exemplu, determina evoluia performanelor colare datorat introducerii clasei pregtitoare n ciclul prima, precum i efectele generalizrii nvmntului obligatoriu ncepnd cu nvmntul precolar (3-6 ani).

Evaluarea prin teste scrise i chestionarul nvtorului1 Testele scrise Administrarea instrumentelor de evaluare are drept scop principal evaluarea performanelor elevilor de clasa a IV-a, pentru cele trei discipline de baz: citire, matematic i tiine ale naturii. Pentru standardele curiculare corespunztoare au fost redactate obiective de evaluare cu o acoperire ct mai cuprinztoare. Forma de evaluare aleas a fost testarea scris. n vederea acoperirii ct mai bune a obiectivelor raportate la standardele de final de ciclu, prin probe de evaluare adecvate, ca lungime, vrstei subiecilor, s-a procedat la distribuirea obiectivelor de evaluare formulate n dou variante de test complementare, pentru fiecare disciplin de studiu (C1, C2, M1, M2, S1, S2). Fiecare elev susine cte o variant de test la dou discipline diferite, combinaiile fiind aleatorii, dar respectnd succesiunea la nivelul eantionului naional al elevilor. Durata fiecrui test este de 50 de minute, fiecare elev fiind astfel testat timp de 100 de minute, ceea ce reprezint, n conformitate cu standardele de proiectare metodologice acceptate n domeniu, o baz suficient pentru construirea credibilitii ENIV2007. Algoritmul administrrii testelor scrise urmrete distribuirea simultan i controlat a celor ase variante n fiecare clas testat, din fiecare coal eantionat la nivel naional, dup un model n spiral, cu respectarea succesiunii variantelor la nivelul ntregii populaii colare testate (la nivelul clasei, al colii i al ntregului eantion de coli). Modelul utilizat asigur fidelitatea statistic a rezultatelor, cele ase variante fiind susinute practic de aceeai populaie statistic. Utiliznd acest model, la nivelul unei clase, factorii de mediu educaional care influeneaz performana colar vor fi aceeai pentru toi elevii clasei, indiferent de proba susinut, respectiv de combinaiile de probe susinute. Sub aspect metodologic, n baza de date ale acestui proiect sunt introduse rspunsurile directe, cele efectiv oferite de elev, excepie fcnd rspunsurile care necesit o evaluare i o codificare prealabil de ctre echipa corectorilor formai n acest scop. Corectarea fiind extern colii eantionate, este diminuat ntr-o msur controlabil caracterul subiectiv al aprecierii itemilor deschii (cu rspuns liber, construit de ctre elev) ntruct, prin intervenia corectorului se poate asigura o apreciere consistent i moderat prin procedurile specifice urmate, pe baza algoritmului asociat prelucrrii bazei de date. Acest lucru este, de principiu, o msur de asigurare a unei evaluri unitare a itemilor deschii.

Chestionarul nvtorului Chestionarul nvtorului reprezint un instrument necesar obinerii informaiilor privitoare la principalele categorii de resurse educaionale, capabile s influeneze performana colar: resursele umane (formarea, pregtirea i continuitatea cadrului didactic la clas) i resursele

1 Prile care sunt prezentate n continuare n acest capitol se regsesc n Manualul de proceduri pentru

proiectarea i administrarea Evalurii Naionale la finalul clasei a IV-a care a fost conceput pentru prima dat pentru ENIV 2007 i utilizat ca suport pentru sesiunile de formare a inspectorilor de specialitate pentru nvmntul primar.

9

materiale (material didactic i echipamente utilizate, diferitele tipuri de media, biblioteca colar etc.). Chestionarul se adreseaz tuturor nvtorilor care funcioneaz la clasele a IV-a din fiecare coal eantionat n conformitate cu metodologia de constituire a eantionului, potrivit creia selecia vizeaz unitatea de nvmnt, n timp ce eantionul de elevi deriv din cuprinderea n cercetare a tuturor elevilor de clasa a IV-a ai colii, nvtorii care predau la aceste clase formeaz, la rndul lor, un eantion derivat al EN IV 2007. Chestionarul nvtorului este construit pe baza unor ipoteze urmrind factorii educaionali, a cror investigare reprezint o surs important de informaii. Datele rezultate din codificarea i ncrcarea acestor chestionare n baza central de date sunt corelate cu performanele elevilor din clasa corespunztoare, realizndu-se astfel o estimare a modului n care caracteristicile de mediu socio-educaional pot influena performanele elevilor de clasa a IV-a.

Diagrama Evalurii naionale la clasa a IV-a 2007

10

EVALUAREA NAIONAL LA CLASA A IV-A 2007

Pretestare ianuarie-februarie

2007

Definitivarea testelor i a baremelor de corectare dup

pretestare 15.10.2006-15.02.2007

Elaborarea chestionarelor i a

instruciunilor

Chestionar nvtor Raport AT Raport ISJ Proceduri Liste de verificare

Lista de verificare - Teste / Chestionare - Manual de proceduri - Instruciuni - Documente necesare n vederea testrii Centralizatoare Rapoarte

Colectarea materialelor, numerotare, clasificare 14-16 Mai 2007

Corectarea testelor 17.05-15.06.2007

Procesarea datelor Iunie-iulie 2007

Documentaie

Manual proceduri de administrare

Raportare Septembrie 2007

List Responsabili la niv. ISJ Responsabili la niv. colii

Stabilirea administratorilor de teste (AT)

Aprilie-Mai 2007

Eantionarea colilor Nov.- Dec. 2006

Contactarea inspectoratelor i a colilor Martie 2007

Tiprire Aprilie 2007

(pretestare)Martie 2007

Stabilirea standardelo rcurriculare de evaluat n EN IV 2007 i formularea obiectivelor de

evaluare

Proiectarea instrumentelor i a

baremelor

Tiprire Aprilie 2007

Consumabile

Pregtirea materialelor pentru distribuie

Mai 2007

Documentaie

Formarea inspectorilor de specialitate

Mai 2007

Manual proceduri de administrare

Desfurarea evalurii naionale 9-11 Mai 2007

Distribuirea materialelor Mai 2007

Aspecte financiare

11

2. Elemente de noutate n proiectarea i administrarea EN IV 2007

Comparativ cu administrrile anterioare, proiectarea ENIV 2007 a adus o serie de schimbri care au avut n principal scopul de a susine activ contientizarea importanei concluziilor programului de evaluare naional la nivelul diferitelor categorii de beneficiari, prin intermediul implicrii inspectorilor de specialitate de la nivelul inspectoratelor judeene, respectiv al Municipiului Bucureti. Astfel, programul de evaluare naional trebuie s devin, dintr-un simplu studiu, dintr-un exerciiu de cercetare educaional realizat cu o anumit frecven i finalizat printr-un raport fcut public, un mecanism eficient de monitorizare participativ a implementrii standardelor curriculumului naional n cazul disciplinelor de baz.

Pentru atingerea acestui scop, inspectorii de specialitate pentru nvmntul primar au beneficiat de sesiunile de formare prin care sunt implicai activ n aspectele de administrare i diseminare a rezultatelor ENIV 2007, fiind astfel responsabilizai i devenind parte activ a procesului de monitorizare a standardelor curriculare.

Organizarea i administrarea EN IV 2007

Principalele etape parcurse sunt: 1. Stabilirea eantionului de coli i de elevi care particip la ENIV 2007. Cerina de baz

este cea a acoperirii i a reprezentativitii naionale, prin eantionul de elevi selectat, a cohortei elevilor ce finalizeaz nvmntul primar n anul 2007. S-a avut n vedere populaia colar de clasa a IV-a cu o pondere minim de aproximativ 5% n ntreaga populaie int. Astfel testarea a fost adaptat (ca limb) i pentru elevii din minoritatea maghiar, cuprini implicit n eantion pe baza procedurilor de selecie i nu ca un eantion independent.Variabilele de eantionare au fost: mediul de reziden (rural / urban); acoperirea (proporional) a tuturor judeelor rii;

2. Elaborarea probelor de evaluare (teste scrise), conform Curriculumului Naional, urmrindu-se curriculumul-nucleu pentru fiecare disciplin i avnd n vedere numai elementele parcurse pn la momentul testrii. Disciplinele alese au fost : Citire, Matematic i tiinele naturii. Au fost formulate obiective de evaluare care au vizat elementele de baz ale standardelor curriculare de final de ciclu pentru fiecare disciplin testat.

3. Proiectarea unui numr de itemi pentru fiecare obiectiv de evaluare stabilit. Dup ce itemii au fost pretestai iar rezultatele pretestrii au fost analizate n grupurile de lucru au fost selectai acei itemi care au constituit n final cele dou variante de test pentru fiecare disciplin. 4. Concomitent cu testele au fost elaborate criteriile de corectare / apreciere (baremele de notare / corectare) pentru fiecare variant de test. Astfel, raportarea rezultatelor pentru evaluarea final a deprinderilor de baz ale elevilor la Citire, Matematic i tiine ale naturii s-a fcut prin raportarea la standardele de final de ciclu;

5. n paralel cu etapele de analiz a standardelor curriculare, de formulare a obiectivelor de evaluare, de proiectare de itemi, de redactare a testelor i a baremelor de corectare, de pretestare pentru limba romn, s-au desfurat activitile cu grupul de lucru constituit pentru limba maghiar. Unele dintre aceste activiti s-au desfurat concomitet, alte activiti s-au desfurat ntr-un grup de lucru comun limba romn i limba maghiar alte activiti au fost realizate separat (de exemplu procesul de traducere a testelor).

Principii pentru administrarea instrumentelor de evaluare

La fel ca n cazul evalurilor naionale anterioare, i n ENIV 2007 elaborarea, administrarea i corectarea testelor, precum i redactarea chestionarului nvtorului, sunt etape externe colilor n care se desfoar testarea.

12

Astfel, testele au fost elaborate de ctre grupul de lucru pentru nvmntul primar al SNEE / CNCEIP.

Administrarea instrumentelor de evaluare a fost gndit n ENIV 2007 ca un proces extern, realizat cu ajutorul administratorilor de test formai n acest scop, acetia avnd responsabilitea de a asigura condiiile standardizate de testare pentru toi elevii participani. Administratorii de test pot fi att inspectorii de specialitate formai n sesiunile de la nivel naional, pe baza Manualului de proceduri pentru administrarea ENIV 2007, ct i cadrele didactice nominalizate i formate n acest scop, pe baza procedurilor din manual, de ctre inspectorii de specialitate. Condiiile principale pentru administrarea instrumentelor de evaluare n ENIV2007 au fost :

1. Administratorul de test trebuie s fie o persoan extern colii n care se desfoar testarea;

2. Administratorul de test trebuie s fie format n mod direct pe baza Manualului de proceduri pentru administrarea EN IV 2007.

Administratorii de test au responsabilitatea principal de a asigura condiiile standardizate de testare pentru toi elevii participani, iar acest lucru va fi documentat att n rapoartele ntocmite de ctre acetia, ct i n rapoartele inspectorilor de specialitate.

Fiecare elev participant la ENIV 2007 susine dou teste, la dou discipline dintre cele trei testate, conform eantionrii aleatorii a combinaiei de discipline i de variante de test. Cele dou teste sunt cuprinse n broura elevului (ase combinaii alctuiesc cele ase tipuri de brouri, numerotate de la 1 la 6). Testele sunt individuale, fiecare elev primete o singur brour de test. Administratorul de test (extern colii n care se realizeaz testarea) distribuie brourile urmnd procedura specific i citete scenariului standard al testrii pentru fiecare clas de elevi n care se administreaz testarea;

n cazul unitilor cu dou sau mai multe clase a IV-a paralele, testarea va fi realizat fie de ctre acelai administrator, n zile diferite ale perioadei de testare, fie, dac se opteaz pentru administrarea concomitent a probelor pentru toi elevii colii, vor fi formai, de ctre inspectorul de specialitate responsabil pentru ENIV 2007 la nivelul judeului, un numr corespunztor de AT care vor administra probele pentru fiecare clas.

Corectarea testelor i analiza datelor sunt realizate extern i centralizat (la nivelul grupului de lucru al CNCEIP). Analiza vizeaz att dimensiunea statistic-cantitativ a datelor rezultate, ct i pe cea calitativ. Astfel, vor fi realizate corelri cu informaiile rezultate n urma prelucrrii chestionarelor completate de ctre nvtorii claselor de elevi participani la testare, precum i comparaii urmrind performarea standardelor n timp. Se urmrete, de exemplu, aprecierea, pe baza corelaiilor, a modului n care influeneaz mediul socio-educaional al elevului performanele sale, a modului n care calificarea cadrelor didactice i perfecionrile realizate n ultima vreme de ctre acetia, influeneaz asupra performanelor elevilor, a influenei utilizrii auxiliarelor curriculare, precum i a utilizrii bibliotecii i a tehnologiei informaiei i comunicrii n practica de la clas etc;

Raportarea final a performanelor elevilor de clasa a IV-a este fcut n concordan cu coninutul descriptorilor de performan corespunztori calificativelor utilizate n mod obinuit n practica de la clas, aprecierea performanelor elevilor la evaluarea naional fiind evaluate i raportate ntr-un mod consistent celui n care se realizeaz n practica colar curent. n cazul ENIV 2007 raportarea final a performanelor elevilor nu se realizeaz n termeni de calificative, ci n puncte de scor care sunt agregate pe niveluri de performan.

13

3. Proceduri pentru formarea membrilor grupului de lucru

Proiectarea ENIV este un proces ciclic iar calitatea realizrii fiecrei etape este un element constitutiv al calitii ntregului produs. Caracterul ciclic este dat n mare msur de aspectele repetitive ale proiectrii i administrrii unei evaluri naionale, aspecte care constituie, de fapt, dimensiunile unui program naional de lung durat. Membrii grupului de lucru pentru ENIV2007 sunt specialitii (cadre didactice cu expertiz specific, din nvmntul primar) care lucreaz mpreun cu membrii SNEE / CNCEIP responsabili pentru proiectarea i administrarea evalurilor naionale. Activitatea acestora este desfurat pe baza urmtoarelor proceduri:

P1. Selecia membrilor grupului de lucru pentru ENIV2007 se realizeaz cu cel puin ase luni nainte de administrarea propriu-zis a ENIV. Criteriile de selecie a membrilor sunt: experiena n proiectarea de instrumente de evaluare pentru evalurile naionale anterioare; cunoaterea scopului i a obiectivelor programului de evaluare naional la finalul clasei a IV-a; experiena lucrului n echip; capacitate de mobilizare rapid; disponibilitate de deplasare pentru activitile de pretestare a itemilor i a testelor; pstrarea confidenialitii cu privire la itemii, baremele de corectare i notare, testele, datele statistice etc. cuprinse n baza de itemi / baza de date a SNEE / CNCEIP;

P2. Membrii grupului de lucru particip la toate sesiunile de formare organizate de ctre SNEE / CNCEIP, precum i la exerciiile practice de scriere a itemilor, de analiz i inter-verificare a produselor create. Durata perioadei de formare este variabil, dar nu mai scurt de 4 sptmni, incluznd activitile practice;

P3. Membrii grupului de lucru particip la toate ntlnirile sptmnale pentru pregtirea bazei de itemi i de teste pentru ENIV2007, precum i la etapele preliminare pretestarea, analiza datelor, rescrierea / reformularea itemilor, baremelor de corectare, a testelor etc.;

P4. Membrii grupului de lucru particip la toate sesiunile de formare n calitate de corectori pentru testele administrate n ENIV. Durata perioadei de formare este variabil, dar nu mai scurt de 2 sptmni, incluznd activitile practice;

P5. Membrii grupului de lucru particip la toate sesiunile de diseminare pentru ENIV 2007 organizate de ctre CNCEIP n acest context.

4. Proceduri pentru formarea inspectorilor de specialitate. Roluri i responsabiliti specifice n contextul EN IV 2007

n contextul EN IV 2007 inspectorii de specialitate pentru nvmntul primar ndeplinesc roluri specifice, contribuind n mod decisiv la asigurarea calitii proceselor i activitilor externe centrului naional al ENIV2007 (respectiv, SNEE/CNCEIP) derulate la nivel local. Evaluarea Naional se constituie ntr-un proiect cu acoperire naional, de aceea unul dintre criteriile de eantionare colilor a fost reprezentarea i participarea fiecrui jude, prin colile eantionate, la EN IV 2007.

a) Proceduri pentru identificarea responsabililor la nivelul fiecrui jude P6. SNEE /CNCEIP iniiaz procesul de nominalizare a inspectorului de specialitate pentru nvmntul primar responsabil la nivelul fiecrui jude cu administrarea ENIV2007, prin

14

redactarea, cu avizul secretarului de stat, a notei adresate inspectorilor generali solicitai s ia aceast decizie;

P7. Inspectorii generali nominalizeaz inspectorul de specialitate pentru nvmntul primar, responsabil pentru derularea ENIV2007 n fiecare jude. Acesta confirm datele de contact la SNEE/CNCEIP, conform coninutului notei primite;

P8. Rolurile i responsabilitile inspectorilor de specialitate n contextul ENIV2007 sunt detaliate n cadrul sesiunilor de formare la care acetia trebuie s participe, sesiuni organizate de ctre SNEE/CNCEIP.

b) Proceduri pentru formarea inspectorilor de specialitate n nvmntul primar pentru asumarea rolurilor legate de ENIV2007

P9. Inspectorii de specialitate nominalizai particip la toate sesiunile de formare programate i organizate de ctre CNCEIP n contextul ENIV 2007, avnd ca baz de referin Manualul de proceduri pentru administrarea ENIV2007, precum i alte materiale-reper, acolo unde este cazul.

P10. Sesiunile de formare au drept scop: cunoaterea i asumarea tuturor rolurilor i a responsabilitilor legate de ENIV 2007 a diferiilor parteneri; constituirea unei echipe active i eficiente pentru derularea n condiiile de calitate cerute, a activitilor programate; crearea unui forum de dezbatere pentru diferitele aspecte legate de ENIV2007, construind argumentele pe o baz metodologic articulat coerent i documentate n mod sistematic i transparent.

P11. Sesiunile de formare a inspectorilor de specialitate constituie baza pentru activitile de diseminare legate de ENIV2007, iar activitile necesar a fi derulate sunt cuprinse n Lista de verificare a activitilor aflate n responsabilitatea inspectorului de specialitate pentru ENIV 2007 (Anexa ) .

5. Proceduri pentru formarea corectorilor i monitorizarea procesului de corectare n contextul EN IV2007 procesul de corectare a testelor administrate elevilor este unul n ntregime extern colii n care a fost administrat testarea. Aceast condiie trebuie ndeplinit pentru a consolida obiectivitatea corectrii. Astfel, corectarea tuturor testelor administrate elevilor de clasa a IV-a va fi realizat de ctre membrii grupului de lucru, sub coordonarea SNEE/CNCEIP.

P12. Pentru a putea ndeplini rolul de corectori la nivelul de calitate necesar, cerut de metodologia de proiectare a ENIV 2007 membrii grupului de lucru sunt formai la nivelul SNEE/CNCEIP, pe o perioad de timp variabil, iar activitatea lor este monitorizat pe tot parcursul derulrii activitilor legate de ENIV.

P13. Toi membrii grupului de lucru care ndeplinesc sarcini de lucru n procesul de corectare a instrumentelor de evaluare particip la procesul de formare, prin activiti practice, pentru utilizarea baremelor de corectare i notare agreate pentru fiecare variant de test administrat.

P14. Toi corectorii particip la cele dou sesiuni de corectare independent a 20 de teste (din cele administrate n faza de pretestare), pe baza rspunsurilor reale ale elevilor, pentru fiecare disciplin, att pentru cele n limba romn, ct i pentru cele n limba maghiar. Prima corectur este urmat de schimbarea testelor, pe perechi de corectori i de re-corectare. Este realizat

15

compararea rezultatelor corectrii perechilor de corectori i identificarea tendinelor n corectare. Analiza este urmat de msurile necesare pentru creterea consistenei procesului de corectare. P15. La corectarea propriu-zis (a testelor returnate n urma administrrii pe eantion naional reprezentativ a ENIV2007) este corectat un eantion de 20 de teste reale, pentru fiecare variant de test. Procedura 14 este repetat. P16. Monitorizarea procesului de corectare, pe toat durata acestuia, este realizat i documentat de ctre responsabilul de disciplin al CNCEIP, att pentru limba romn, ct i pentru limba maghiar. Este realizat raportarea sptmnal a progresului i a problemelor de corectare identificate.

P17. La ENIV 2007 se aplic mecanismul de dubl corectur i recorectare prin sondaj n cazul unui numr de lucrri selectate aleatoriu. P18. Toi corectorii participani la ENIV 2007 ntocmesc rapoarte de corectare sistematice, pe baza formatului pus la dispoziie de ctre CNCEIP i discutat n grupul de lucru.

16

Diagrama de flux a activitilor de formare pentru administrarea EN IV 2007

Pregtirea testrii

Verificarea condiiilor de testare Pregtirea elevilor pentru

testare

Chestionarul nvtorului

Administrarea testrii

Colectarea i returnarea materialelor

( inspectorul de specialitate)

Intocmirea raportului judeean

ntocmirea raportului tehnic naional

Diseminarea rezultatelor EN IV

2007

Distribuirea materialelor de testare

Gestionarea brourilor de test

Gestionarea chestionarului nvtorului

Brourile de test

Manualul de proceduri

Introducere privind ENIV 2007

Roluri i responsabiliti ale Inspectorului de specialitate

Preluarea materialelor de testare

Stabilirea datelor testrii pentru fiecare coal eantionat

Participarea la sesiunile de formare

Stabilirea i formarea administratorilor de test

17

3. Metodologia proiectrii i administrrii EN IV 2007

3.1. Constituirea eantionului de coli i de elevi La evaluarea naional particip, pe de o parte colile i, pe de alta, elevii de clasa a IV-a din colile respective. Raportarea rezultatelor obinute de ctre elevi pe colile din care acetia provin nu face ns obiectul evalurilor naionale ntruct nu se urmrete ierarhizarea colilor sau a elevilor pe baza acestor rezultate. 3.1.1. Baza de eantionare Asemntor evalurilor naionale anterioare, ca unitate de eantionare a fost aleas unitatea colar cu secii de nvmnt primar, baza de eantionare fiind reprezentat de ntreaga reea colar a unitilor cu clasa a IV-a din anul colar 2006-2007, aflat n gestiunea MECT. Construirea eantionului a vizat toate tipurile de uniti n care se desfoar cursurile clasei a IV-a: coli cu clase I-IV, coli cu clase I-VIII sau licee/grupuri colare cu secii de nvmnt primar. Criteriile de selecie a unitilor de eantionare i numrul acestora au fost stabilite n perspectiva asigurrii reprezentativitii populaiei colare de clasa a IV-a.

Trebuie precizat faptul c, fr a afecta reprezentativitatea populaiei colare int, comparativ cu evalurile anterioare, metodologia proiectrii eantionului utilizat n cadrul prezentei evaluri a fost adaptat noului sistem de definire i organizare a unitii de nvmnt, n conformitate cu noile prevederi legislative (Legea nr.354/2004 pentru modificarea i completarea Legii nvmntului nr.84/1995). De asemenea, pe de o parte nsui procesul de reorganizare i de gestiune a reelei colare precum i, pe de alta, schimbrile n conceperea administrrii probelor de evaluare (prin transferul responsabilitilor de administrare a probelor de evaluare ctre inspectorii de specialitate pentru nvmntul primar i includerea printre obiectivele prezentei cercetri a) au condus att la introducerea necesitii formrii actorilor educaionali locali privind aspectele practice i metodologice ale evalurii naionale, ct i necesitatea introdicerii unor schimbri de natur metodologic privind constituirea eantionului de elevi comparativ cu designul eantionrii din anii 2000 i 2005. Astfel, n cadrul evalurilor anterioare, construirea eantionului a impus unele constrngeri n abordarea bazei de eantionare - legate de resursele unei evaluri complet externe unitii de nvmnt eantionate (administrarea probelor a fost realizat numai de ctre reprezentani ai unitii coordonatoare de proiect sau de ctre colaboratori externi acesteia, formai ca administratori de test), ca i constrngeri legate de costul ridicat al unei cercetri pe o reea cu mprtiere mare a unitilor colare sau de dificultile de acces n zone izolate, mai cu seam n condiiile unei administrri simultane a probelor n toate unitile din eantion. Resursele cercetrii au determinat excluderea colilor foarte mici din baza de eantionare, raportul cost-eficien n cazul colilor cu 2-3 elevi pe clas fiind extrem de ridicat. Sunt, de asemenea, de menionat i alte limitri n proiectrile anterioare ale eantionului: neincluderea n eantion a unitilor de nvmnt special i a unitilor cu alt limb de predare dect limba romn. Exceptnd evaluarea naional din 1995, cnd probele au fost adaptate i pentru elevii de limb maghiar, evalurile urmtoare au vizat numai populaia colar cu studiul curriculumului naional n limba romn. n procesul de eantionare a elevilor din EN IV 2007, constrngerile n construcia eantionului au fost n bun msur depite, avnd drept efect direct asupra extinderii bazei de eantionare. Fr a afecta condiiile i rezultatele unei evaluri externe, administrarea probelor n EV2007 a fost realizat de administratori de test din zon, externi colii, formai i monitorizai de inspectorii de specialitate pentru nvmntul primar din fiecare jude. n aceste condiii, baza de eantionare a fost alctuit din ntreaga reea cu populaie colar int, excluderile ne mai viznd unitile foarte mici sau pe toate cele cu alte limbi de predare dect limba romn, excluderile reducndu-se la unitile de nvmnt special i la unitile cu predare n limbi ale minoritilor, altele dect limba maghiar, toate reprezentnd o pondere foarte mic n cadrul populaiei colare de clasa a IV-a.

18

Modificrile legislative n organizarea reelei colare au atras dup sine i reproiectarea bazei de date aferente element important n organizarea bazei de selecie, gestiunea reelei locale realizndu-se diferit de la un jude la altul. n acest sens, precizm c unele judee au proiectat baza de date numai la nivelul unitilor de baz, n timp ce altele au alctuit baza de date cu informaii privind toate unitile colare fizice din jude, aducnd precizri asupra unitilor de baz i structurilor aferente acestora. Cu toate c finalizarea eantionului a fost realizat pe baza validrii / corectrii informaiilor la nivelul fiecrui jude, gestiunea bazei a condus la diferene ntre eantionul proiectat i cel realizat, respectiv ntre numrul de uniti colare selectate i confirmate ca eantion i numrul efectiv de uniti evaluate, n condiiile n care unitatea de eantionare este considerat unitatea colar fizic. Astfel dac volumul eantionului proiectat a fost de 129 de uniti, numrul real de coli evaluate a fost de 151, apte dintre unitile selectate din baza de date reprezentnd n realitate unitatea pe ansamblul ei (unitatea de baz i structurile aferente). Dac cele apte uniti au aprut cu un numr sporit de coli n cadrul eantionului, legat de gestiunea unitilor presupunem i manifestarea unui efect contrar. n cazul judeelor cu gestiuni la nivelul unitilor de baz nu excludem posibilitatea ca unitatea selectat (coal cu clase I-VIII (S08), liceu sau grup colar) s aib n subordine i alte structuri cu clase I-IV, dar acestea s nu fi fost cuprinse n eantion. Dat fiind faptul c, din perspectiva criteriilor de eantionare, reprezentativitatea eantionului n raport cu ntreaga populaie colar a elevilor de clasa a IV-a nu a fost cu nimic afectat, eantionul rezultat este valid i reprezentativ pentru populaia evaluat.

Distribuia unitilor de nvmnt i a populaiei colare n anul colar 2006-2007

Elevi Total Urban Rural Urban Rural Total 1824129 920227 903902 50,4% 49,6% Primar 912230 438028 474202 48,0% 52,0% Gimnazial 911899 482199 429700 52,9% 47,1%

Clasa a IV-a 260890 124499 136391 47,7% 52,3% LMA cls.IV 13378 6330 7048 47,3% 52,7% 5,1%

3.1.2. Criterii de eantionare innd cont de experiena evalurilor naionale anterioare, drept criteriu de eantionare a reelei de nvmnt primar a fost aleas distribuia acesteia pe medii de reziden. Dac n evaluri anterioare, tipul unitii colare (S04, S08, LIC/GRS) a fost i el abordat ca i criteriu, analiza lui ca factor a respins ipoteza influenei semnificative. Tipul de predare la clas normal sau simultan - care i-a dovedit pe deplin influena - este abordat numai ca variabil de cercetare, nefiind posibil de reinut n lista variabilelor de eantionare, de asemenea din cauza modului de gestiune a reelei colare, predarea simultan lipsind din evidena la nivelul unitilor de baz. Cercetarea opereaz cu trei categorii de populaii statistice, care au generat trei eantioane distincte: eantionul unitilor de nvmnt, eantionul elevilor i eantionul rezultat al cadrelor didactice care funcioneaz la clasele evaluate. Se poate vorbi, astfel, despre dou tipuri de eantioane: eantionul rezultat din selecia unitilor colare i dou eantioane derivate. Primul eantion derivat este cel al populaiei colare int, n cadrul fiecrei coli eantionate fiind testai toi elevii claselor a IV-a din coala respectiv. In

Uniti Total Urban Rural Urban Rural Total 4920 1422 3498 28,9% 71,1% Primar 33 17 16 51,5% 48,5% Gimnazial 4887 1405 3482 28,7% 71,3%

19

perspectiva unei analize complete, care i propune i investigarea unor condiii i resurse educaionale pentru beneficiarii sistemului, cu alte cuvinte a unor factori care pot influena performana colar, cercetarea a abordat i un al doilea eantion derivat, cel al cadrelor didactice care funcioneaz la clasele evaluate, crora li s-a administrat un chestionar de evaluare calitativ a factorilor educaionali. Baza de selecie cuprinde reeaua unitilor cu predare n limbile romn i maghiar, selecia unitilor realizndu-se din baza comun, elevii care studiaz n limba maghiar fiind cuprini n baza de eantionare integrat, i nu ca populaie separat. Dat fiind faptul c obiectul studiului l constituie performane ale populaiei de clasa a IV-a la finalul unui curriculum unitar, limba de predare nejustificnd abordarea ei ca variabil de cercetare. n ce privete reprezentativitatea, eantionul de baz este cel al populaiei colare de clasa a aIV-a, cu distribuia ei pe cele dou medii de reziden. Din punct de vedere metodologic, n perspectiva implicrii i responsabilizrii n evaluare a inspectorilor de specialitate din judee, baza de selecie a fost organizat astfel nct eantioul s cuprind uniti din toate judeele rii. Asigurarea reprezentativitii eantionului i cuprinderea n eantion a tuturor judeelor, au impus o stratificare prealabil a reelei, selecia unitilor realizndu-se proporional, pe baza unui pas de eantionare n cadrul stratului. Ca urmare a seleciei, au fost cuprinse n eantion uniti din toate cele 41 de judee ale rii plus municipiul Bucureti. Toate unitile eantionate au participat la cercetare, neexistnd nici un refuz sau impediment n acest sens. Eantionul proiectat a cuprins 129 uniti colare cu 3776 elevi, dar numrul real final al unitilor participante a fost de 151, avnd un total de 221 clase i 3510 elevi de clasa a IV-a. Cifra de 3510 reprezint volumul eantionului validat din totalul de 3523 brouri primite, 13 brouri fiind excluse ca nendeplinind criteriile de validare stabilite.

Structura populaiei i a eantionului pe medii de reziden

Clase de elevi

Populaie clasa a IV-a

Esantion proiectat Esantion evaluat

Nr.clase % clase

Nr.elevi % elevi Nr.elevi % elevi Nr.elevi % elevi

Hi patrat

Rural 142 64,7% 136391 52,3% 1971 52,2% 1912 54,5% 3,78 Urban 79 35,3% 124499 47,7% 1805 47,8% 1598 45,5% Total 221 100,0% 260890 100,0% 3776 100,0% 3510 100,0%

Structura populaiei i a eantionului n funcie de limba matern de predare (pentru studiul n limba romn i limba maghiar)

Populaie clasa a IV-a

Esantion proiectat

Hi p.

Esantion evaluat

Nr.elevi %

clase

Nr.elevi %

clase

P-E

Nr.elevi %

clase

Hi patrat

LRO 244861 94,8% 3602 95,4% 1,33 3345 95,3% 0,08 LMA 13378 5,2% 174 4,6% 165 4,7% Total 258239 100,0% 3776 100,0% 3510 100,0%

Valoarea de 3,78 a coeficientului de concordan hi-ptrat, mai mic dect valoarea tabelar Hitab=3,81 pentru 1 grad de libertate, ne permite s afirmm c eantionul de elevi rezultat este reprezentativ n ce privete distribuia elevilor pe medii de reziden. Uoara diferen procentual poate fi pus pe seama plusului de uniti, toate din mediul rural Coeficienii de concordan ntre eantionul proiectat i populaia colar (hi=1,33) i, respectiv ntre eantionul teoretic i cel realizat (0,08) asigur i reprezentarea corect n eantion a elevilor, n ce privete limba de predare.

20

3.2. Variabilele de cercetare Variabilele de cercetare, selectate ca urmare a analizei rezultatelor oferite de cercetri anterioare similare, au stat la baza proiectrii instrumentelor i se refer la operaionalizarea factorilor socio-educaionali care influeneaz performanele colare ale elevului. Din lista factorilor selectai, mediul de reziden ca factor socio-economic singurul n raport cu care sunt cunoscute informaii asupra populaiei investigate, a fost ales drept criteriu de eantionare, ceilali fiind elemente cu informaii rezultate ca urmare a cercetrii desfurate i care au constituit principalele repere de proiectare a chestionarului nvtorului. 3.2.1 Variabile de eantionare Variabilele de eantionare reflect operaionalizarea criteriilor de eantionare, n cazul nostru, acestea referindu-se la mediul de reziden a colii. Dac n cadrul evalurilor anterioare, ca ipotez de lucru a fost inclus ntre criteriile de eantionare i tipul unitii, analiza acestuia ca factor nu a confirmat ipoteza, astfel nct nu a mai fost abordat n acest scop. Variabilele de eantionare constituie elemente de baz pentru analiza rezultatelor, astfel fiind, desigur, asimilate variabilelor de cercetare.

3.2.2. Variabilele de cercetare Variabilele de cercetare, analizate i confirmate de cercetrile anterioare similare, au stat la baza proiectrii instrumentelor i se refer la operaionalizarea factorilor socio-educaionali care influeneaz performanele colare ale elevului. Dintre caracteristicile de mediu socio-educaional n chestionar au fost cuprinse urmtoarele:

factori de mediu socio-economic - mediul rezidenial n care funcioneaz coala (urban / rural)

factori de mediu educaional - caracteristici ale colii:

- organizarea procesului de instruire (clas tradiional/ clas cu predare simultan) - caracteristici ale cadrului didactic

- calificarea cadrului didactic - perfecionarea cadrului didactic - continuitatea la clas a unui cadru didactic, pe parcursul nvmntului primar - condiiile de lucru ale cadrului didactic: domiciliu n localitate / navet

- resurse materiale: utilizarea n procesul didactic, pe principalele discipline, a unor mijloace i echipamente moderne (computer, mijloace audio-vizuale), resurse materiale clasice i confecionate de profesor, utilizarea de ctre elevi a bibliotecii colare

- caracteristici ale clasei de elevi, ca resurs educaional - ponderea elevilor provenii din familii cu probleme socio-economice grave

particulariti ale elevilor - genul elevilor (fete / biei)

Elemente metodologice pentru prelucrarea i analiza datelor Finalizarea evalurii i raportarea rezultatelor presupun parcurgerea urmtoarelor etape de lucru: - evaluarea nivelului de performare a obiectivelor de evaluare raportate la standardele de final de ciclu, ca indicatori ai eficacitii implementrii curriculumului naional n nvmnntul primar; - utilizarea unor indicatori statistici care s permit analize, corelri i comparaii att cu factorii

de influen, ct i cu rezultate obinute n studiile de evaluare naionale anterioare. Asemntor evalurilor din ultimii ani, EN2007 i-a propus ca, pe baza rezultatelor obinute din analiza statistic a informaiilor la nivel de eantion sau de componente ale acestuia, s se realizeze i o raportare a performanelor n termenii evalurii utilizate n mod curent la clas, pe baz de calificative. Sub aspect metodologic, evaluarea pe baz de calificative reprezint, n

21

special, un atribut al evalurii individuale, fiind (poate) cel mai bun indicator de msurare a eficacitii sistemului la nivel de individ, prin raportarea finalitilor calitative la obiectivele propuse. Evaluarea unor caracteristici la nivelul unei colectiviti se bazeaz pe tehnici statistice specifice, care opereaz cu date cantitative. Att procedeele statistice, ct i procedeele analitice permit ierarhizri sau grupri ale populaiei pe baza diferitelor criterii, corelri sau analize comparative. Operarea cu indicatorii statistici afereni variabilelor cantitative permit clasificri pe criterii diferite. Din punctul de vedere al prelucrrilor statistice, asemntor analizei din EN IV 2005, cnd metodologia a fost propus i utilizat pentru prima dat, se propune utilizarea unor variabile cantitative pe baza definirii indicatorului grad de performare. Indicatorul construit din raiuni metodologice servete nu numai prelucrrilor statistice, ci nsi rezultatelor cercetrii, constituind n sine un indicator de performan. Gradul de performare indic ponderea sarcinilor de lucru performate la nivelul entitii analizate (item, obiectiv sau test) n totalul sarcinilor impuse de entitatea respectiv. n aceste condiii, n scopul unei evaluri ct mai complete, a fost introdus noiunea de sarcin de lucru primar, care definete cea mai elementar sarcin de lucru, care nu permite descompuneri sau dezagregri i care va fi evaluat prin alternativa dihotomic performat / neperformat. O evaluare corect este aceea prin care se raporteaz cte dintre aceste sarcini primare necesare evalurii itemului au fost performate, sau ponderea sarcinilor performate n totalul sarcinilor impuse de soluionat. Noiunea introdus astfel poate fi abordat n relaia ei cu obiectivul de evaluat.

Elementele metodologice ale definirii relaiei item-obiectiv de evaluare Fiecare obiectiv de evaluare stabilit presupune realizarea unor anumite sarcini de lucru primare, alctuind (sub)itemii proiectai i distribuii complementar pe cele dou variante de test aferente fiecreia dintre cele trei discipline. Introducerea noiunii de sarcin de lucru primar i-a propus definirea celei mai elementare sarcini de lucru, care nu permite descompuneri sau dezagregri i care va fi evaluat prin alternativa dihotomic performat / neperformat. Referirea la sarcinile primare este deseori realizat pe baza unor subitemi agregai n itemii care operaionalizeaz obiectivul, dar poate constitui ea nsi, n mod direct, un item. Analiza la nivelul itemului presupune analiza performrii fiecrei sarcini de lucru exprimate de itemul respectiv. Sarcinile primare vor servi i unei evaluri complete a performanei obinute. Astfel, pe lng raportarea modului n care a fost performat obiectivul sau itemul / itemii prin care acesta este msurat, se impune analiza de detaliu asupra modului n care a fost performat fiecare sarcin de lucru primar, evideniindu-se n acest mod i erorile de rspuns cu frecven mai mare. n cele ce urmeaz se vor exemplifica unele dinrte atributele utilizrii sarcinii primare. De exemplu, analiza performrii unui item cu alegere multipl permite, pe lng evaluarea performanei (numrul/ponderea rspunsurilor corecte) i o analiz a erorilor, prin urmrirea distribuiei rspunsurilor pe distractori. Descompunerea itemului ntr-un numr de sarcini egal cu cel al distractorilor permite realizarea de observaii att nu numai privind performarea proprriu-zis, ct i privind calitatea distractorilor creai. Referindu-ne la o alt categorie de exemple, amintim itemii cu sarcini multiple, a cror evaluare presupune codificarea de ctre un corector format pentru aplicarea baremului de corectare. n aceste situaii nu este suficient simpla menionare a performrii itemului sau o raportare cantitativ privitoare la numrul de sarcini performate, ci se impune o analiz calitativ cu referire la performarea fiecrei sarcini de lucru n contextul global. Parcurgnd etapele analizei de la sarcinile primare ctre realizarea obiectivelor, vom opera att cu itemi primari, ct i cu itemi agregai, care vor fi definii prin sarcinile complexe rezultate din

22

asocieri / grupri sau operri cu sarcini primare (exprimate prin grupuri de itemi sau la nivelul obiectivelor). Ca mod de lucru n vederea prelucrrii statistice, (sub)itemii primari vor fi operaionalizai n variabile numerice dihotomice care s indice performarea (1) sau neperformarea (0) sarcinii respective. n etapele urmtoare ale analizei statististice se va opera cu variabile scalare - rezultate din agregarea indicilor primari, sau ordinale - obinute pe baza asocierii scorurilor rezultate, n grupe care s reprezinte scala ordinal a calificativelor colare (indicarea nivelurilor de performare a sarcinilor complexe). Aspecte metodologice privind analiza statistic Dintre indicatorii statistici utilizai n prezenta cercetare menionm:

- intervalul de performare marcat de valoarea minim i maxim a performrii (cea mai slab i cea mai bun performare), cu determinarea ponderilor elevilor care se situeaz n aceste categorii; - gradul mediu de performare raportul ntre numr de sarcini performate i numrul total de sarcini de performat; - coeficientul de variabilitate care ofer informaii asupra reprezentativitii mediei pentru segmentul de populaie analizat; - quartilele, indicatorii statistici care determin (n cazul unei evaluri a populaiei pe baz de scoruri) scorurile care separ fiecare sfert dintr-o populaie ordonat cresctor sau descresctor (primul sfert al pupulaiei de cel de al doilea - q1, cel de al doilea sfert de al treilea sau jumtatea populaiei ordonate q2, trei sferturi din populaie de sfertul superior - q3. Cu alte cuvinte, indicatorii n discuie ca indicatori statistici de poziie sunt n numr de trei i ofer informaii asupra scorurilor ntre n care a performat primul sfert din eantion (cei mai slabi subieci, n cazul ordonrii cresctoare), prima jumtate i respectiv grupa cea mai bun ca sfert al populaiei evaluate. n analiza de fa se va proceda la o abordare mai larg a indicatorului, meninnd semnificaia dar extinznd utilizarea lui. Referirea la quartile se va face din dou perspective:

quartile n populaie (quartilele efective), referitoare la populaia evaluat (q1, q2, q3) reprezentnd scorurile care separ cte un sfert din populaia ierarhizat; quartile ale scalei de evaluare (p1, p2, p3) - obinute prin mprirea scalei de performare (scalei de notare) n patru grupe de valori ierarhizate (ex.: scala de notare 1-100 se mparte n grupele de punctaj 1-25, 26-50, 51-75, 76-100). Pe baza acestei grupri se pot determina numrul / ponderea subiecilor care au obinut cel mult 25 de puncte, numrul celor care au obinut ntre 26-50 de puncte etc. Se realizeaz astfel o grupare a populaiei sub aspect valoric n patru grupe, demers care nu trebuie echivalat cu scala calitativ de evaluare utilizat n ciclul primar, sistemul utilizat fiind stabilit pe criterii calitative.

Oricare abordare a quartilelor n funcie de conjunctura dat n cercetarea de fa se introduce i noiunea de grupare quartil care definete cele patru grupe (Q1. Q2, Q3, Q4) separate de cele trei quartile (q1, q2, q3). De regul, ca grupare pe criterii valorice (niveluri de performare), grupele quartile vor servi la determinarea ponderii populaiei cuprinse n quartila valoric respectiv, respectiv distribuia populaiei pe cele patru grupe valorice i, de asemenea, performarea medie a grupei quartile analizate. Pentru simplificare, n analiz se va utiliza o notaie diferit referitoare la cele dou abordri: (q1, q2, q3) pentru quartilele populaiei (scorurile care separ populaia ordonat n cele patru grupe cu numr egal de subieci) i (p1, p2, p3) quartilele care grupeaz scala de notare. De asemenea, cu majusculele corespunztoare se vor face referiri la grupele quartile ale populaiei (Q1, Q, Q3, Q4) i cele generate de subiecii situai pe scal n zona respectiv (P1, P2, P3, P4).

23

Este de precizat c n analiza de performan care urmeaz se vor utiliza ocazional i ali indicatori de poziie, precum decilele care separ scala de evaluare n zece nivele de performare sau cvintilele care ofer separarea pe cinci grupe. - n cazul obiectivelor evaluate pe baza a doi sau mai muli itemi, cuprini n aceeai variant de test, se investigheaz corelarea performrii acestora de ctre subiecii din eantion. Testul de corelaie va orienta modul n care va fi analizat obiectivul, i anume: n cazul n care itemii coreleaz, analiza se va realiza la nivel de obiectiv, dac itemii nu coreleaz, indicnd comportri diferite din punct de vedere al performrii, este de preferat analiza la nivelul celor doi (sau maimuli) itemi independeni. Ca procedeu statistic, n cazul a doi itemi a fost determinat coeficientul de corelaie Pearson, iar n cazul a trei sau mai muli itemi (cele mai multe situaii) coeficientul Alpha-Cronbach, acesta din urm oferind informaii asupra consistenei ntre itemii ce evalueaz obiectivul.

O meniune special trebuie fcut pentru varianta n care itemii evaluai coreleaz (indic o performare asemntoare a sarcinilor de lucru), corelaia fiind semnificativ la nivel de eantion. Aceasta poate fi valorificat att din perspectiva evalurii globale a obiectivului n contextul evalurii naionale actuale, ct i n viitor, n momentul proiectrii viitoarelor teste. n acest din urm caz, n situaia n care se dorete o evaluare a aceluiai obiectiv, se poate reproiecta modelarea asocierii dintre itemii folositi (ale cror caracteristici de msurare sunt cunoscute din aplicrile anterioare) i itemi noi (ale cror proprieti vor fi cunoscute, ntr-o prim faz eventual doar din pretestare) n funcie de necesitileimpuse de obiectivul evaluat;

- n cazul obiectivelor evaluate pe baz de itemi distribuii n ambele variante de test, care nu permit prelucrri statistice comune, s-a procedat la ponderri ntre elementele celor dou obiective pariale (la nivelul celor dou variante de test). - pentru compararea cu rezultate obinute n cercetri anterioare sau pentru analiza factorilor de mediu vor fi utilizate teste statistice specifice variabilelor calitative, cu deosebire testul hi-ptrat. - analiza calitativ complet vizeaz i identificarea erorilor cu frecven ridicat, care va permite identificarea unor disfuncii care le genereaz. Analiza erorilor n performarea sarcinilor de lucru, care au fcut obiectul prezentei analize, se nscrie n urmtoarele categorii: (i) pentru itemii cu alegere multipl se pun n eviden rspunsurile acordate tuturor distractorilor; (ii) pentru itemii cu sarcini multiple, se pun n eviden i performrile pariale; (iii) pentru sarcini referitoroare la ierarhizri de date sau n cazul unor sarcini cu o grupare anumit, au fost analizate variantele succesiunilor de rspunsuri oferite etc.

Aspecte metodologice privind comparaiile, corelaiile i raportarea la evaluri naionale anterioare (EN IV 2000 i EN IV 2005) Dac ne referim, n mare, la principalele obiective ale unui demers de acest fel, trebuie amintite dou aspecte: cercetarea permite evaluarea strii sistemului la momentul respectiv, din punctul de vedere al eficacitii acestuia (nivelul de performare a absolvenilor nvmntului primar, cu identificarea principalelor puncte nevralgice), dar i evoluia n timp a performrii, prin analize comparative a performrii anumitor obiective, meninute n acest scop pe parcursul evalurilor succesive Pentru a se putea vorbi de ameliorri ale rezultatelor, se impun condiii similare n ce privete derularea cercetrii, altfel modificrile rezultate putnd fi puse n seama diferenelor n condiii sau resurse. Pentru a surprinde evoluia unor fenomene s-a procedat la compararea rezultatelor obinute cu rezultate similare obinute n condiii asemntoare de testare. Condiiile impuse comparrii sau corelrii presupun referirea la indicatorii echivaleni, utilizai n evalurile anterioare. Similitudinile, dar i principalele diferene ntre cele dou cercetri sunt puse n eviden n cele ce urmeaz de principalele caracteristici ale acestora, astfel:

24

a) Elemente de baz privind metodologia eantionrii

2000 2005 2007 Elaborarea eantionului

- selecia aleatoare a unitilor - testarea tuturor elevilor claselor a IV-a din coal

- selecia aleatoare a unitilor - testarea tuturor elevilor claselor a IV-a din coal

- selecia aleatoare a unitilor - testarea tuturor elevilor claselor a IV-a din coal

Criterii de eantionare - distribuia pe medii i tipuri de uniti

- distribuia pe medii i tipuri de uniti

- distribuia pe medii

Numr de uniti eantionate 115 118 151 Numr de elevi investigai 3717 3379 3510 Componena eantionului

Elevi care studiaz n limba romn (probe n limba romn)

Elevi care studiaz n limba romn (probe n limba romn)

Elevi care studiaz n limbile romn i ma-ghiar (probe n limbile romn i maghiar)

Au fost investigate obiective de evaluare corespunztoare standardelor curriculare pentru finalul nvmntului primar la disciplinele limba matern, matematic i tiine ale naturii, pe baza aceluiai algoritm de distribuire a celor ase semiteste n fiecare dintre clasele testate (n spiral).

2000 2005 2007 Discipline evaluate - matematic

- tiinele naturii - limba romn

- matematic - tiinele naturii - limba romn

- matematic - tiine ale naturii - limba matern romn / maghiar

Tehnica de administrare

- perechi de probe - distribuie n spiral

- perechi de probe - distribuie n spiral

- perechi de probe, grupate n broura elevului - distribuie n spiral a brourilor (de la 1 la 6)

b) Proiectarea, administrarea i corectarea probelor

2000 2005 2007 Proiectarea probelor - extern

- definitivate ca urmare a pretestrii pe un numr mic de clase de elevi

- extern - definitivate ca urmare a pretestrii pe un numr mic de clase de elevi

- extern - definitivate ca urmare a pretestrii pe aproximativ 100 subieci pe disciplin, cu testele prezentate n dou formate, a i b

Administrarea probelor

- extern colii, de ctre operatori coordonai de unitatea central

- extern colii, de ctre operatori coordonai de unitatea central

- extern colii, organizat i coordonat de inspectorii de specialitate, la nivel judeean, pe baza planului de administrare, ntocmit dup sesiunile de formare la nivel central

Corectarea probelor - extern, prin codificarea rspun-surilor deschise

- extern, prin codificarea rspun-surilor deschise

- extern, prin codificarea rspun-surilor deschise

25

c) Instrumente conexe / factori de influen investigai:

2000 2005 2007 Instrumente chestionarul colii chestionarul

nvtorului chestionarul nvtorului

Factori de influen investigai

(a) particulariti ale elevului: - gen; - timp afectat n medie studiului la domiciliu (estimat de director). (b) factori educaionali: - tip de predare la nivelul colii: normal / simultan - elemente de dotare a colii: biblioteca colar i calculatoare.

(a) particulariti ale elevului: - gen (b) factori educaionali: - tip de predare la clas: normal / simultan; -caracteristici nvtor: calificare i forme de perfecionare; domiciliul n localitate sau navet; - continuitate la clas a nvtorului: tot parcursul ciclului primar, preluarea clasei pe parcurs, numai n clasa a IV-a; - elemente de dotare a colii: biblioteca colar i calculatoare; - utilizarea de ctre nvtor, n procesul didactic pentru fiecare disciplin, a calculatorului, a fondului de carte, a auxiliarelor didactice i a mijloacelor de nvmnt.

(a) particulariti ale elevului: - gen (b) factori educaionali: - tip de predare la clas: normal / simultan; -caracteristici nvtor: calificare i forme de perfecionare; domiciliul n localitate sau navet; - continuitate la clas a nvtorului: tot parcursul ciclului primar, preluarea clasei pe parcurs, numai n clasa a IV-a; - elemente de dotare a colii: biblioteca colar i calculatoare; - utilizarea de ctre nvtor, n procesul didactic pentru fiecare disciplin, a calculatorului, a fondului de carte, a auxiliarelor didactice i a mijloacelor de nvmnt (c) factori familiali: -caracteristic a clasei sub aspectul ponderii elevilor cu probleme socio-economice deosebite.

d) Analize realizate: 2000 2005 2007

- gradul de performare a obiectivelor nvmntului primar

-gradul de realizare a obiectivelor nvmntului primar, raportate la standardele de final de ciclu primar

-gradul de realizare a obiectivelor nvmntului primar, raportate la standardele de final de ciclu primar

- corelarea cu factorii de influen

-corelarea cu factorii de influen

-corelarea cu factorii de influen

-evidenierea erorilor sistematice deficiene n performarea finalitilor nvmntului primar

-evidenierea erorilor sistematice deficiene n performarea finalitilor nvmntului primar

3.3. Caracteristici ale populaiei investigate Dac proiectarea cercetrii a realizat constituirea unui eantion de uniti colare, fr a include ntre criterii caracteristici ale acestora, ca urmare a etapei de administrare a probelor au rezultat cele dou eantioane derivate, ntre care i cel al populaiei int. n acest capitol sunt prezentate

26

principalele caracteristici ale celor dou eantioane - elevi i cadre didactice - rezultate din cercetare, urmnd ca ansamblul informaiilor care alctuiesc caracteristici ale resrselor i ale condiiilor de mediu s fie puse n eviden n odat cu analiza factorilor de influen.

Populaia colar (eantionul de elevi) (a) Participarea la test Eantionul proiectat a cuprins 3776 elevi din 151 uniti colare i 221 de clase. Prezena la testare a fost de 93%, fiecare dintre cei 3510 de elevi testai susinnd cte dou teste la dou discipline diferite. Din punctul de vedere al participrii, se apreciaz c n cazul fiecreia din cele ase variante, respectiv, n cazul fiecrui item, eroarea de reprezentativitate a fost de 2,9%. (b) Distribuia elevilor pe variantele de test susinute Reamintin c administrarea probelor s-a desfurat n conformitate cu modelul n spiral, elevii susinnd cte dou probe la discipline diferite, cuprinse n ase brouri de test. Fiecare prob se regsete n cte dou brouri, odat ca prob de prima prob, iar n a doua brour ca cea de a doua prob. n tabelul urmtor este prezentat distribuirea probelor pe discipline n cele ase brouri:

Broura 1 Broura 2 Broura 3 Broura 4 Broura 5 Broura 6 Proba 1 Mat 1 Mat 2 Lmt 1 Lmt 2 Sti 1 Sti 2 Proba 2 Sti 1 Sti 2 Mat 1 Mat 2 Lmt 2 Lmt 1 Nr.subieci 585 578 590 587 591 579

Distribuia elevilor, n raport cu proba susinut a fost urmtoarea: Lmt 1 Lmt 2 Mat 1 Mat 2 Sti 1 Sti 2 Proba 1 590 587 585 578 601 579 Proba 2 579 591 590 587 575 578 Total 1169 1178 1175 1165 1176 1157 Er.eant. 2,87% 2,86% 2,86% 2,87% 2,86% 2,88%

Respectarea regulii de distribuie n spiral, respectiv reprezentativitatea eantionului pe discipline este pus n eviden de concentrarea seriei de date privind numrul de subieci care au susinut cte o brour, ntre 578-591 i de volumul fiecrui subeantion pe probe: 1157-1178 elevi. n cazul tuturor probelor eroarea de eantionare, pentru o semnificaie de t=1,96 este de aproximativ 2,9%.

(c) Distribuia pe gen (biei / fete) Analiza variabilei gen a evideniat o distribuie echilibrat a eantionului de elevi pe sexe, att la nivel global (n proporie de cte 48,4% fete i 51,6% biei), ct i distribuii echilibrate la susinerea fiecreia dintre probe.

3. 4. Proiectarea instrumentelor de evaluare: teste de cunotine i chestionarul nvtorului 3.4.1. Probele pe discipline (testele scrise) Testarea a avut ca scop evaluarea performanelor colare la principalele obiective ale nvmntului primar, pentru cele trei discipline de baz: matematic (Mat), limba matern (romn/maghiar Lmt) i tiine ale naturii (Sti).

27

Premergtor elaborrii instrumentelor, proiectarea cercetrii a parcurs urmtoarele etape: selectarea standardelor curriculare care vor fi supuse evalurii, stabilirea obiectivelor de evaluare pentru fiecare standard selectat, operaionalizarea obiectivelor pe baz de itemi / subitemi ce vor alctui proba pe disciplin. n vederea acoperirii ct mai bune a acestor obiective raportate la standardele de final de ciclu, cu ajutorul unor probe de evaluare adaptate, ca lungime, vrstei subiecilor, pentru fiecare disciplin de studiu (Mat1, Mat2, Lmt1, Lmt2, Sti1, Sti2)s-a procedat la distribuirea obiectivelor de evaluare formulate n dou semiteste complementare. Pentru definitivarea probelor s-a procedat la pretestarea instrumentelor proiectate. Pretestarea a fost organizat pe o medie de 100 elevi pentru fiecare prob din cele ase i a avut ca obiect att testarea itemilor proiectai - ca formulare i capacitate de receptare a mesajului de ctre elev, ct i ncadrarea n perioada de timp stabilit (50 minute) pentru finalizarea probei. Durata de performare a fost evaluat prin proiectarea a dou probe similare n coninut dar cu itemii dispui pe locuri diferite, o atenie sporit fiind acordat repoziionrii itemilor din finalul primei variante n alt zon a acesteia. De asemenea, precizm c, n scopul obinerii unor rezultate care s acopere media populaiei, ca i criteriul de eantionare ales, n acest demers s-a acordat atenie i populaiei colare cuprins n acest lot de elevi. Astfel pentru pretestare au fost selectate uniti din mediul urban i rural, de niveluri diferite de performare (coli bune, coli slabe i coli de performan medie). Ca urmare a analizei rezultatelor din pretestare s-a procedat la ameliorarea i definitivarea instrumentelor. Sub aspectul administrrii probelor, dac n evalurile anterioare elevii au completat succesiv dou probe diferite distincte, distribuite fiecare n cele dou ore ale testului, n acest an probele perechi au fost reunite ntr-o brour comun, fiecare elev completnd n cele dou ore broura respectiv. Avantajul acestui demers este n primul rnd - de natur organizatoric, eliminnd sarcina administratorului de test de a se ngriji de distribuirea celei de a doua probe dup aceeai schem cu prima, asigurnd susinerea corect de ctre elev a celor dou probe . De asemenea, formatul brourii, proiectate astfel nct datele de identificare s fie cuprinse ntr-un cartu de pe copert, a sporit calitatea informaiilor despre subiectul evaluat. Ca organizare, cele ase probe (semiteste pe discipline) au fost grupate, perechi n ase brouri, fiecare prob fiind coninut de ctre dou brouri distincte. Ca mod de constituire a brourii s-a avut n vedere ca fiecare prob s fie situat ca prim parte ntr-o brour, i ca o a doua parte n cea de a doua brour. Pentru a testa dac durata testului a afectat sau nu ca oboseal performarea celei de a doua probe din brour, pentru toate cele ase semi-teste s-a procedat la compararea performrii probei n cele dou situaii. Etapa de testare a avut n vedere administrarea probelor n toate unitile eantionate pe parcursul a trei zile consecutive, n fiecare unitate fiind administrate concomitent att probele pentru elevi, ct i chestionarele adresate nvtorilor de la clasele respective. Fiecare elev a susinut cte o variant de test la dou discipline diferite, combinaiile fiind aleatorii, dar respectnd succesiunea la nivelul eantionului naional al elevilor. Durata fiecrui test a fost de 50 de minute, fiecare elev fiind astfel testat timp de 100 de minute, ceea ce reprezint o baz suficient pentru construirea credibilitii E.N. Algoritmul administrrii probelor a urmrit administrarea simultan a celor ase variante n fiecare clas testat, dup un model n spiral, cu respectarea succesiunii variantelor la nivelul ntregii populaii colare testate (la nivelul clasei, al colii i al ntregului eantion de coli). Modelul utilizat a asigurat fidelitatea statistic a rezultatelor, cele ase variante fiind susinute practic de aceeai populaie statistic. Astfel, la nivelul unei clase, factorii de mediu educaional presupui a influena performana colar sunt aceeai pentru toi elevii clasei, indiferent de proba susinut. Sub aspect metodologic, proiectarea baremului de corectare a avut n vedere evaluarea i codificarea de ctre corector numai a itemilor cu rspuns deschis, ceilali itemi (de tipul valorilor calculate sau al alegerii unei variante de rspuns dintr-o list dat) fiind ncrcai n baza de date n forma rspunsului oferit de elev. Dac administrarea instrumentelor a revenit ca responsabilitate inspectorului colar din judeul respectiv, corectarea probelor a fost cu totul extern, fiind realizat de un grup de corectori formai n acest scop, coordonai de unitatea de coordonare a proiectului. Prin acest demers s-a diminuat, i pe acest cale, caracterul subiectiv al aprecierii itemilor deschii (cu rspuns liber, construit de ctre elev), prin intervenia corectorului asigurndu-se totodat o

28

evaluare consistent, pe baza unui algoritm asociat prelucrrii bazei de date, respectiv asigurarea unei evaluri unitare a itemilor.

3.4.2. Chestionarul nvtorului Chestionarul nvtorului reprezint un instrument necesar obinerii informaiilor privitoare la principalele resurse educaionale, capabile s influeneze performana colar: resursele umane (formarea, pregtirea i continuitatea cadrului didactic la clas) i resursele materiale (material didactic i echipamente utilizate, biblioteca colar). De asemenea, n cadrul prezentei cercetri, n chestionarul cadrului didactic a fost introdus i o ntrebare privitoare la ponderea elevilor cu situaii socio-economice deosebite, pentru a estima i eventuale dificulti cu care cadrele didactice se confrunt la clas, alturi de deficitul de material didactic. Chestionarul a fost completat de ctre 98,6% (218 din 221) dintre nvtorii care funcioneaz la clasele a IV-a din fiecare coal eantionat, cercetarea realiznd corelarea performanelor elevilor din clasa respectiv cu caracteristicile de mediu socio-educaional.

29

3.5. Factorii de mediu socio-educaional 3.5.1. Structuri ale eantionului n funcie caracteristicile de eantionare Pentru a oferi o imagine complet a eantionului investigat i a permite eventuale compararea cu evaluarea din anul 2005, dei criteriul de eantionare a fost doar mediul de reziden, tabelul care urmeaz prezint distribuia celor trei eantioane att pe cele dou tipuri de localiti (rural / urban), ct i n raport cu tipul unitii colare.

Distribuia unitilor i a populaiei colare eantionate

EN2005 EN2007 UNITATI ELEVI UNITATI ELEVI

Tip R U Total R U Total R U Tota

l R U Total S04 13 1 14 140 66 206 50 50 308 0 308 S08 73 24 97 1437 1443 2880 69 24 93 1578 1214 2792 Secii LIC/GRS 2 5 7 81 2112 293 1 7 8 26 384 410 Total 88 30 118 1658 1721 3379 120 31 151 1912 1598 3510

% 74,6 25,4 100 49,1 50,9 100,0 79,5 20,5 100 54,5% 45,5% 100,0

Structura eantionului de elevi pe medii de reziden

Nr.clase Nr.elevi % clase % elevi

Rural 142 1912 64,7% 54,5% Urban 79 1598 35,3% 45,5% Total 221 3510 100,0% 100,0%

Structura eantionului de elevi n funcie de limba de predare

Nr.clase Nr.elevi %

clase % elevi LRO 210 3345 95,0% 95,3% LMA 11 165 5,0% 4,7% Total 221 3510 100,0% 100,0%

3.5.2. Structuri ale eantionului de elevi n funcie de principalele caracteristici ale unitii: Distribuia unitilor eantionate, n funcie de dimensiunea acestora

(numr de clase a IV-a testate n coal) Nr.clase R U Total R U Total

1 102 8 110 85,0% 25,8% 72,8% 2 15 8 23 12,5% 25,8% 15,2% 3 3 10 13 2,5% 32,3% 8,6% 4 0 3 3 0,0% 9,7% 2,0%

peste 4 clase

2 2 0,0% 6,5% 1,3% Total 120 31 151 100,0% 100,0% 100,0%

Structuri ale eantionului de elevi, n funcie de modul de predare la clas

EN2005 EN2007

Clase Elevi Clase Elevi Program Nr.clase % Nr.elevi % Nr.clase % Nr.elevi % tradiional 180 93,3% 3254 96,3% 160 72,4% 3026 86,2% simultan 13 6,7% 125 3,7% 61 27,6% 484 13,8% Total 193 100,0% 3379 100,0% 221 100,0% 3510 100,0%

30

Analiza informaiilor referitoare la eantionare, rezultate ca urmare a aplicarea cercetrii, permite cteva concluzii: creterea volumului eantionului de uniti colare, prin extinderea, n cazul unitii de baz, de la evaluarea unitii selectate i la evaluarea unitilor din structur; creterea calitii eantionului, datorat organizrii cercetrii cu implicarea factorilor locali, special formai. Dup cum s-a mai amintit, dac baza de eantionare utilizat n evalurile anterioare ca reea colar - a fost restrns din motive de eficien, n evaluarea prezent proiectarea eantionului s-a realizat pe aproape ntreaga reea de uniti, exceptnd nvmntul special i cel n limbi ale minoritilor diferite de limba maghiar. Restrngerea anterioar a bazei de eantionare s-a realizat prin excluderea unitilor foarte mici, de regul, coli cu clase I-IV din mediul rural, cu mai puin de cinci elevi de clasa a IV-a. Reorganizarea reelei colare n conformitate cu noua legislaie, nu a modificat cu nimic funcionarea unitilor mici, n aceleai condiii (exceptnd comasrile), astfel nct, n realitate, colile S04 din mediul rural continu s reprezinte o pondere mare n reeaua efectiv de nvmnt. Comparnd eantioanele de uniti colare utilizate n cele dou cercetri, se constat c, dei populaia colar int este aproximativ egal ca numr de elevi, evaluarea EN2007 s-a realizat ntr-un numr cu 28% mai mare de uniti, diferenele cele mai mari nregistrndu-se n cazul colilor S04 din mediul rural, numrul acestora crescnd de la 13 la 50 de uniti evaluate. Pe lng faptul c diferena reprezint mai bine reeaua colar real, conducnd i la amelirarea calitativ a eantionului, intervin i avantaje legate de cercetarea statistic. Influena de mediu educaional fiind confirmat de cercetri anterioare, cuprinderea n eantion a elevilor provenii dintr-o mprtiere mai mare de uniti, faciliteaz cuprinderea n analiz a unei diversiti mai mari de medii socio-educaionale. O mprtiere mai mare a unitilor din eantion constituie un deziderat important al metodologiei de eantionare. Ca prim rezultat, n acest sens, pus n valoare de caracteristicile reelei investigate este modul de predare la clas, ntre nvmntul tradiional i cel simultan evideniindu-se n cercetrile anterioare diferene semnificative. Excluderea unitilor foarte mici a afectat tocmai acest segment de populaie, care n EN2005 a reprezentat doar 3,7% dintre elevii evaluai cuprini n 6,7% dintre clasele aparinnd unitilor eantionate. Condiiile evalurii din acest an au oferit posibilitatea ameliorrii situaiei. Ponderea de 13,8% a elevilor cuprini n clase cu predare simultan se apropie mai mult de realitate, ponderea acestor clase crescnd i ea de la 7% la 28%. Considerat un element important n formarea elevului, pentru predarea la clas, chestionarul a evideniat i tipul nvmntului simultan:

Clase Elevi Rural Urban Total Rural Urban Total

1 tradiional 81 79 160 2856 3196 6052 2 simultan cu 2 clase 46 46 832 832 3 simultan cu 3 clase 4 4 16 16 4 simultan cu 4 clase 11 11 120 120 Total 142 79 221 3824 3196 7020

31

4. Rezultatele evalurii Designul cercetrii, ales att pentru eantionarea colilor i a elevilor, ct i pentru administrarea probelor asigur msutarea tuturor obiectivelor de evaluare i a sarcinilor de lucru / itemilor pe acelai eantion de respondeni (elevi de clasa a IV-a). Algoritmul rotaiei probelor (distribuia lor dup modelul n spiral) confer caracteristica de unicitate a eantionului, toi elevii aparinnd aceleiai populaii. Distribuia sarcinilor de lucru pe cele dou variante de test a avut ca scop posibilitatea evalurii unui numr ct mai mare de obiective de evaluare corespunztoare standardelor curriculare de final al nvmntului primar, prin teste echilibrate n raport cu posibilitile de lucru (numr de sarcini de lucru pe unitatea de timp) ale subiecilor. n consecin, analiza vizeaz nivelul de performare pe ansamblul disciplinei i nu rezultatele pe variantele de test. 4.1. Rezultate generale Comparativ cu evalurile anterioare, i n analiza pentru ENIV 2007, exist elemente de optimizare viznd inclusiv organizarea analizei statistice a datelor obinute. Etapa obligatorie a pretestrii itemilor s-a realizat, ca i n cazul evalurilor anterioare, nainte de finalizarea instrumentelor de evaluare (testele elevilor). Pretestarea a urmrit ncadrarea elevilor n timpul de lucru, corelat cu nelegerea formulrii sarcinilor de lucru i a permis ameliorarea itemilor att din punctul de vedere al calitii acestora, ct i din punctul de vedere al lungimii probelor propuse. Este, totui, de menionat faptul c pretestarea nu s-a realizat n condiiile testrii, cu evaluarea performrii de ctre elevi a perechilor de probe, ci fiecare elev a susinut doar o prob la o singur disciplin dintre cele trei pentru care s-au pregtit variante de teste. Avnd n vedere acest lucru, n analiza final a datelor produse prin EN IV 2007 a fost realizat i o analiz statistic a cazurilor n care procentul de nonrspunsuri a fost mai ridicat, testnd ipoteza posibilei instalri a obosealii elevului spre sfritul celei de-a doua ore de testare. Pretestarea a confirmat ca suficient durata timpului de lucru n cazul designului pentru cele ase probe, cu rezerva c aceast abordare vizeaz o majoritate a populaiei testate i nu populaia n ntregul ei. La nivelul baremului de corectare, pentru o evaluare corect, consistent i care s permit diferenierea ntre nonrspuns i nonperformare, a fost inclus i codificarea separat a nonrspunsului, respectiv a fiecrei sarcini cu totul neabordate de ctre elev, prin codul 9 (respectiv 99 . 99999). Spre deosebire de cercetrile sociologice n cazul crora analiza vizeaz numai calitatea rspunsurilor oferite la ntrebrile acceptate de subiect (nonrspunsurile semnificnd, de regul, refuzul de exprimare a opiniei respondentului), analizele datelor reprezentnd performarea sarcinilor de lucru cognitive trateaz lipsa unui rspuns n contextul necunoaterii rspunsului la sarcina evaluat. n aceste condiii, dei din punct de vedere al analizei statistice lipsa rspunsului este tratat asemntor unei sarcini neperformate (prin atribuirea codului 0), sarcinilor de lucru intrnd n aceast categorie li s-au acordat n analiz o atenie special. Pentru itemii intermediari, nregistrnd un procent mare de nonrspunsuri se pot aprecia n afara unei slabe pregtiri individuale - fie sarcini de lucru receptai a avea dificultate major de ctre anumite categorii de populaie, fie neabordarea suficient n coal a problemei, fie existena unui format diferit de cel cu care elevul a fost obinuit. Pentru itemii plasai la finalul semitestului, la analiz s-a acordat o importan mai mare sarcinilor neperformate. Dei pentru cei mai muli dintre subieci timpul de lucru s-a dovedit suficient, se pleac de la premiza c exist i elevi care lucreaz mai ncet sau elevi care pot manifesta oboseal la finalul celor aproape dou ore de lucru (fiecare elev susinnd cte o prob la dou discipline diferite). Dat fiind faptul c fiecare semi-test pe disciplin a fost distribuit n cte dou brouri pe poziii diferite - ca prima i cea de a doua prob, respectiv prima i cea de-a doua or de testare s-a procedat la compararea performrii sarcinilor n cele dou situaii. Pe baza testului z de comparare a dou medii, n scopul confirmrii / infirmrii unor cauze generate de oboseal, s-a procedat la compararea rezultatelor la nivelul celor dou semieantioane de elevi care au susinut proba

32

respectiv. Au fost comparate scorurile medii obinute pe ansamblul probei, dar i la itemi perechi, care au nregistrat un numr mare de nonrspunsuri. Analiza rezultatelor va fi abordat din dou perspective (1) evaluarea calitativ a probei, referitoare la gradul de performare a sarcinilor de lucru de ctre populaia colar curent; i (2) analiza performrii diferitelor obiective de evaluare, formulate pentru standardele curriculare selectate. Dei instrumentele de evaluare au fost definitivate urmrind rezultatele la pretestarea pe un numr redus de respondeni, dat fiind faptul c aceast pretestare nu s-a realizat pe eantion reprezentativ i nici n condiiile reale ale aciunii de evaluare, este necesar o reevaluare global a calitii probelor de evaluare supuse analizei. ntr-o prim etap sunt prezentate rezultatele de ansamblu ale testrii, raportate la performarea sarcinilor de lucru incluse n test, pe discipline. n acest sens, se va prezenta gradul de performare a sarcinilor primare i principalii indicatori statistici privind distribuiile pe discipline.

Evaluarea calitativ, pe discipline De regul proiectarea unei probe de evaluare se realizeaz n concordan cu obiectivele de evaluare stabilite, iar nivelul de dificultate al probei se regleaz n funcie de scopul evalurii : pentru selecie, pentru certificare etc. Cu excepia unei probe proiectate cu scop de selecie de regul nivelul de complexitate a probei este gndit, de regul, pentru nivelul mediu. Totui, aprecierea gradului de dificultate a itemilor propui este un demers subiectiv i diferit n raport cu actorii implicai (n acest caz, membrii grupului de lucru pentru nvmntul primar, care au fcut aprecierea itemilor). Aadar, un tip de apreciere este cea venit din partea proiectantului, format pe baza experienei sale didactice sau a unor experiene de evaluare anterioare i cu totul altul poate fi dificultatea itemilor (sarcinilor de lucru) / testului raportate la potenialul de rezolvare a acestora al populaiei efectiv testate, permind evaluarea realizrii sarcinilor de lucru n contextul ntregii generaii de elevi, reprezentat prin eantionul de coli i de elevi. Aceasta este premiza pe care se bazeaz analiza care urmeaz. Astfel, definim indicatorul grad de dificultate a sarcinii de lucru din cele dou perspective: gradul de dificultate estimat (raportat la proiectantul itemului) i gradul de dificultate de impact (raportat la respondent). Dac prima form a stat la baza proiectrii instrumentelor, cea de a dou form a rezultat din administrarea probelor i constituie obiectul evalurii calitative i cantitative a instrumentului de evaluare. Ca mod de calcul, gradul de dificultate manifest a fost definit pe baza ponderii subiecilor care au performat o anumit sarcin de lucru. Este important de precizat faptul c dezideratul teoretic al utilizrii exclusive a unor sarcini primare de natur dihotomic nu a putut fi pe deplin respectat, existnd sarcini codificate n funcie de nivelurile rspunsului oferit, baremul de corectare prevznd coduri diferite pentru soluii pariale sau soluii totale (complete). n cazul unor astfel de sarcini, gradul de dificultate a fost determinat prin ponderarea corespunztoare a rspunsurilor. Nivelurile de dificultate au fost definite prin structurarea itemilor n raport cu ponderea subiecilor care i-au performat, alegndu-se ca reper distribuia pe cvintile a sarcinilor n funcie de ponderea subiecilor care au reuit s le performeze (n cincimi, sau 20%). Definirea celor cinci niveluri ale scalei este urmtoarea:

1. itemi cu grad foarte ridicat de dificultate sunt cei performai de mai puin de 20% dintre subieci ;

2. itemi cu grad ridicat de dificultate sunt cei performai n proporie de 20-40% dintre subieci ; 3. itemi cu grad mediu de dificultate sunt cei performai n proporie de 40-60% dintre

subieci ; 4. itemi cu grad sczut de dificultate sunt cei performai n proporie de 60-80% dintre subieci 5. itemi cu grad de dificultate foarte redus / cu accesibilitate foarte ridicat sunt cei performai

de peste 80% dintre subieci.

33

Pe discipline, s-au obinut urmtoarele distribuii:

Distribuia sarcinilor primare, pe discipline, n funcie de gradul de dificultate estimat Distribuia sarcinilor primare, pe

discipline Scor Pondere de

performare l.matern tiine matematic

Grad de dificultate estimat

acces dific. Sarcini primare 83 56

123

foarte mare 1 5 sub 20% 16,9% 12,5% 2,4%

mare 2 4 20-40% 9,6% 25,0% 8,1%

medie 3 3 40-60% 30,1% 28,6% 19,5%

sczut 4 2 60-80% 39,8% 23,2% 41,5% foarte sczut 5 1 peste 80% 3,6% 10,7% 28,5%

Total 100,00% 100,00% 100,00%

Accesibilitate test

3,036 2,946 3,854

Dificultate test 2,964 3,054 2,146

Hi-ptrat 47,8

Amplitudinea intervalului de performare a sarcinilor, pe discipline Pondere de

performare Pondere de performare

Pondere de performare

l. matern tiine matematic nivel minim 4,20% 4,10% 4,10%

nivel maxim 82,00% 96,60% 93,70%

Aceast analiz permite o caracterizare calitativ general a testelor, respectiv evaluarea gradului de dificultat