Pretestarea Unui Chestionar

PRETESTAREA CHESTIONARULUI

Autori:

Nicolina Racoceanu, CS I

Aniela Matei, CS III

Andra Bertha Snduleasa CS III

Mihaela Ghena, CS

Institutul Naional de Cercetare tiinific n Domeniul Muncii i Proteciei Sociale

1

CUPRINS:

Cuprins1

Introducere..2

1. Pretestarea unui chestionar3

1.1. Obiectivele pretestrii.........6

1.2. Tehnici de pretestare..........7

1.2.1.Fiabilitate i validitate9

1.2.2. Componenta informal11

1.2.3. Componenta formal...12

1.2.4. Sarcinile operatorilor...13

1.2.5. Urmrirea reaciei respondenilor15

1.2.6. Aspecte referitoare la eantionare...15

1.2.7. Alte aspecte referitoare la construirea chestionarului16

1.2.8. Codificare i analiz.17

2. Pretestarea metodologiei de evaluare cantitativ a eficacitii politicii familiale

din Romnia.18

2.1. Tehnici de pretestare utilizate .......18

2.2. Inventarierea problemelor ntmpinate.20

2.3. Analizarea i discutarea neclaritilor identificate n chestionar..21

2.4. Perfecionarea chestionarului i pregtirea lui pentru lansarea anchetei de

teren21

Concluzii21

Bibliografie23


2

Introducere Un moment care nu poate s lipseasc din elaborarea instrumentului unei anchete este

pretestarea chestionarului. Cele mai multe lucrri de specialitate care trateaz problematica

metodologiei de cercetare fac referire i la etapa n care, odat conceput, un instrument de

cercetare (n cazul de fa, un chestionar) necesit a fi pretestat (Bailey, 1982; de Vaus, 1991;

Hussey, 1997; Thietart, 1999).

Pretestarea reprezint una dintre componentele unui proces de cercetare care nu ar trebui

omis. n lipsa pretestrii instrumentului de cercetare, chiar i cei mai experimentai

cercettori pot ajunge s administreze anchete incerte, care ridic ulterior multe semne de

ntrebare n legtur cu rezultatele obinute. Din acest motiv, muli dintre cercettori consider

c n cazul n care nu avem suficiente resurse pentru a efectua operaiunea de pretestare a

chestionarului, este mai bine s amnm ancheta pn n momentul n care facem rost de

resursele necesare. n ce const pretestarea chestionarului? n linii mari, pretestarea unui

chestionar se refer la faptul c, dup elaborarea chestionarului ntr-o prim form, acesta este

aplicat unui lot de subieci selectat din populaia care reprezint universul cercetrii.

Rezultatele culese n urma pretestrii chestionarului sunt ulterior analizate. Analiza

rezultatelor acestei aplicri poate aduce mai multe contribuii valoroase la producerea, n final,

a unui chestionar ct mai bun:

- Identificarea ntrebrilor care produc multe non-rspunsuri sau rspunsuri evazive;

- Identificarea erorilor de formulare a ntrebrilor sau a variantelor de rspuns;

- Stabilirea variantelor de rspuns la ntrebrile nchise prin nregistrarea acestora prin

ntrebri deschise n pretestare;

- Identificarea unor ntrebri necesare dar ignorate iniial;

- Necesitatea rspunsurilor multiple;

- Precizarea variantei Altul. Care?;

- Imposibilitatea de a da rspunsuri calificate.

Aceasta nseamn c este necesar examinarea fiecrei ntrebri n parte, ca i chestionarul n

ntregul su, cu foarte mare atenie. Din acest motiv, este bine s ne rezervm suficient timp


3

pentru aceast activitate, astfel nct s nu ne grbim n momentul n care facem mbuntiri

asupra ntrebrilor din chestionar. Din pcate, foarte muli oameni consider c pretestarea

unui chestionar este o activitate de rutin.

1. Pretestarea unui chestionar n ultimii ani, activitatea de pretestare a chestionarului a cunoscut o serie de tehnici inovative

de pretestare i perfecionare a instrumentului de cercetare adus n discuie. Astfel, pe lng

tehnicile convenionale de pretestare, sunt utilizate tehnici cognitive i tehnici

comportamentale. Tehnicile cognitive presupun realizarea unui studiu pilot n cadrul cruia

respondenii tiu c particip la testarea unui chestionar i li se solicit acestora s fac orice

comentariu doresc fa de oricare dintre ntrebrile din chestionar. Tehnicile comportamentale

presupun realizarea de interviuri structurate, ocazie cu care este studiat atent comportamentul

de rspuns al participanilor la interviu. Reacia la anumite ntrebri poate arta faptul c

respondenii ntmpin dificulti n nelegerea ntrebrilor sau poate arta faptul c

respondenii nu dein informaiile pe care cercettorul le solicit prin intermediul ntrebrilor.

Din descrierea succint a acestor tehnici de pretestare a unui chestionar reiese faptul c fiecare

dintre aceste tehnici ajut la corectarea unor erori care apar n procesul de construire a

chestionarului. Astfel, tehnicile convenionale i cele comportamentale ajut att la detectarea

unor probleme legate strict de formularea ntrebrilor din chestionar ct i la rezolvarea unor

probleme ntmpinate de ctre operatorii care adreseaz ntrebrile din chestionar. Tehnicile

cognitive ajut la evaluarea acurateei tehnice a rspunsurilor date de participanii la testarea

chestionarului, analiznd calitatea ntrebrilor din punctul de vedere al efortului necesar

pentru a rspunde la ntrebri. Tehnicile convenionale i cele cognitive servesc de asemenea

la identificarea unor erori semantice.

Iarossi (2006) spune c dup utilizarea tuturor celor 3 tehnici sau doar a o parte dintre aceste

tehnici prezentate mai sus, urmeaz o a patra etap, etapa n care cercettorul las la o parte

munca de teren i revine n birou pentru a analiza toate rezultatele colectate din teren i pentru

a da retuul final. Presser i Blair (1994) spun c aceast etap este benefic n special pentru

valoarea analitic a ntrebrilor din chestionar. Iarossi (2006) spune c procesul de pretestare a

chestionarului, n ansamblul su, conduce la atingerea a 3 obiective majore:

- Evaluarea gradului de adecvare a chestionarului;

- Estimarea duratei chestionarului;


4

- Evaluarea calitii operatorilor de teren.

Biemer i Lyberg (2003) prezint chiar o list extrem de folositoare coninnd categorii de

codificare pe care experii le pot utiliza n procesul de revizuire a chestionarului (vezi Tabelul

1).

Tabelul 1

1. PROBLEME LEGATE DE CITIRE: determin msura n care operatorii citesc ntrebrile corect i n aceeai manier tuturor respondenilor

a) CE SE CITETE: operatorii pot ntmpina dificulti n distingerea prilor din

chestionar care se citesc operatorilor de prile care nu se citesc cu voce tare

operatorilor

b) INFORMAII LIPS: lipsa unor informaii de care operatorul are nevoie pentru

administrarea chestionarului

c) CUM SE CITETE: chestionarul nu este tehnoredactat n ntregime i prin

urmare apar dificulti de citire

2. PROBLEME LEGATE DE INSTRUCIUNI: probleme cu instruciunile, ndrumrile sau explicaiile, din perspectiva respondenilor

a) INSTRUCIUNI CONTRADICTORII SAU NEADECVATE:

b) INSTRUCIUNI COMPLICATE

3. PROBLEME LEGATE DE CLARITATEA ITEMILOR: identificarea problemelor legate de comunicarea inteniei sau semnificaiei ntrebrilor

a) FORMULAREA: propoziia este lung, dificil, negramatical, cu sintax dificil

b) TERMENI TEHNICI: nedefinii, neclari, compleci

c) VAG: formularea ntrebrii este vag ntruct las loc de interpretare a sensului

ntrebrii

d) PERIOADELE DE REFERIN: lipsesc, nu sunt bine specificate, sunt

contradictorii

4. PROBLEME LEGATE DE PRESUPUNERE:

a) PRESUPUNERI NEADECVATE: operatorul face presupuneri n legtur

respondentul

b) SUGERAREA UNUI COMPORTAMENT CONSTANT: formularea ntrebrilor

sugereaz un pattern de comportament constant n situaii care pot varia


5

c) NTREBRI MULTIPLE: ntrebri care conin la rndul lor mai multe ntrebri

5. PROBLEME LEGATE DE CUNOTERE/MEMORIE: msura n care respondenii cunosc sau i amintesc informaia solicitat

a) CUNOATEREA: respondentul nu cunoate informaia solicitat

b) ATITUDINEA: respondentul poate nu are o atitudine formulat

c) EECUL: respondenii nu doresc s-i aminteasc de situaii neplcute

6. ASPECTE LEGATE DE SENSIBILITATE/BIAS

a) SENSIBILITATE: ntrebri cu subiect sensibil care pot primi un rspuns n

funcie de poziionarea n chestionar

b) RSPUNS DEZIRABIL: respondenii ofer rspunsuri dezirabile din punct de

vedere social

7. PROBLEME LEGATE DE CATEGORIILE DE RSPUNS: evaluarea acurateei categoriilor de rspuns

a) NTREBRI CU RSPUNS LIBER: pot fi dificile sau neadecvate, nepotrivite

b) NEPOTRIVIRE ntre ntrebare i categoriile de rspuns

c) TERMENI TEHNICI nedefinii, neclari sau compleci

d) Categorii de rspuns VAGI

e) Categorii de rspuns care se SUPRAPUN

f) categorii de rspuns care LIPSESC

g) ORDINE ILOGIC a categoriilor de rspuns

Salant i Dillman (1994) afirm faptul c orice pretestare a unui chestionar trebuie s

rspund la urmtoarele ntrebri:

- ntrebrile msoar ceea ce s-a intenionat s msoare?

- Respondenii neleg toate cuvintele?

- ntrebrile sunt interpretate n mod similar de ctre toi respondenii?

- Fiecare dintre ntrebrile cu rspunsuri predefinite au variante de rspuns potrivite

situaiei n care se afl fiecare respondent n parte?


6

- Chestionarul este alctuit astfel nct s motiveze oamenii s rspund la ntrebrile

din cuprinsul acestuia?

Dillman (2000) atrage atenia, aa cum i ali metodologi au fcut-o, asupra faptului c, de

multe ori, etapa de pretestare a chestionarului este realizat ntr-un mod haotic. Acelai autor

consider c pretestarea unui chestionar ndeplinete mai multe roluri care sunt atinse n 4

etape:

- etapa 1: chestionarul este revizuit de ctre colegi de breasl i ali metodologi; aceast

etap este folosit pentru a mbunti chestionarul bazndu-ne pe experiena i

cunoaterea altor cercettori;

- etapa 2: realizarea de interviuri cu scopul de a evalua calitile cognitive i

motivaionale; n cadrul acestei etape vedem msura n care respondenii neleg

ntrebrile i msura n care respondenii rspund corespunztor;

- etapa 3: un mic studiu pilot n cadrul cruia sunt clarificate ntrebri din chestionar la

care nu s-a putut rspunde n cadrul primelor 2 etape;

- etapa 4: revizuirea final, ocazie cu care sunt verificate i corectate i eventualele

greeli gramaticale, aezarea n pagin, filtrele ntrebrilor, etc.

1.1. Obiectivele pretestrii

Numeroi cercettori au subliniat n literatura de specialitate faptul c exist multe scopuri

care stau la baza pretestrii unui chestionar i c cercettorii i vor maximiza rezultatele dac

vor formula pentru pretestarea chestionarului obiective precise i clare. Dillman (1978)

precizeaz un numr de 7 obiective pentru o metod de pretestare complet, n vreme ce Frey

(1989) discut despre existena a 10 obiective iar Converse i Presser discut despre 11

considerente care trebuie avute n vedere atunci cnd proiectm pretestarea unui chestionar.

Dac cercettorul are n vedere doar pretestarea chestionarului n sine, atunci principalele

obiective ale procesului de pretestare ar trebui s in cont de urmtoarele aspecte:

1. Identificarea ntrebrilor care produc multe non-rspunsuri sau rspunsuri evazive


7

2. Identificarea erorilor de formulare a ntrebrilor sau a variantelor de rspuns

3. Stabilirea variantelor de rspuns la ntrebrile nchise prin nregistrarea acestora prin

ntrebri deschise n pretestare

4. Identificarea unor ntrebri necesare dar ignorate iniial.

n cazul n care, aa cum am artat i mai sus, cercettorul dorete o pretestare complet,

atunci, pe lng aspectele legate strict de calitatea chestionarului, expertul ar trebui s aib n

vedere i lmurirea unor aspecte legate de:

5. Gradul de interes manifestat de respondeni fa de tematica cercetrii;

6. Responsabilitile operatorului de teren; eantionare; analiza i codificarea

rspunsurilor.

1.2. Tehnici de pretestare

Mrimea i modul de selecie al eantionului folosit la pretestare variaz n funcie de

resursele i obiectivele cercetrii. n cazul unui studiu vast, care folosete multe ntrebri

inedite, n care precauia metodologic este important, este bine s se realizeze pretestarea cu

subeantioane aleatoare suficient de mari pentru a se putea aprecia aspecte precum incidena

non-rspunsurilor sau validitatea concurent a unor instrumente. n cazul pretestrii unui

chestionar care a mai fost utilizat anterior n cadrul unui studiu pilot sau care a fost construit

pornind de la aspecte metodologice deja cunoscute de cercettor, atunci pretestarea

chestionarului poate fi realizat pe un singur eantion, suficient de mare astfel nct s poat

acoperi obiectivele procesului de pretestare.

Principalele tehnici de pretestare a unui chestionar sunt cunoscute a fi mprite n dou

categorii: procedura informal i procedura formal. Ca i metode de pretestare, exist o

multitudine de opiuni despre care trebuie s spunem c nu se exclud reciproc, ci, din contr,

sunt complementare. Dintre aceste metode amintim:

studiul literaturii de specialitate;


8

recenzii ale experilor;

focus group-uri;

interviuri;

interviuri observaionale;

teste cognitive;

decodificarea comportamental.

n realitate, cercettorii i-au dat seama c, n ciuda ncercrilor lor de a standardiza

instrumentele i procedurile de colectare a datelor, erorile de msurare apar n mod inevitabil.

n mod tradiional, aceste erori au fost clasificate n dou categorii: cele legate de ntrebrile

din cadrul anchetei i cele legate de operatorii utilizai n cadrul anchetei (Fowler i

Mangione, 1990).

Totui, mai recent, a existat o schimbare de accent, de la a vedea erorile ca produs al

chestionarului sau al operatorului, la a relaiona erorile de natura sarcinilor/atribuiilor pe care

actorii din cadrul unei anchete trebuie s le ndeplineasc (Oksenberg, Cannell i Kalton,

1991). Acest tip de abordare atrage atenia asupra faptului c este indicat s nu pierdem din

vedere faptul c poteniale surse de eroare de msurare sunt reprezentate i de componentele

specifice ale procesului de ntrebare-rspuns. Spre exemplu, simpla observaie c respondenii

nu pot rspunde la o anumit ntrebare din chestionar nu ne ajut s identificm motivul

pentru care acetia nu pot rspunde, iar astfel, gsirea unei soluii pentru rezolvarea acestei

probleme este ceva mai dificil de realizat. Soluia este la ndemn dac cercettorul adopt o

abordare centrat pe funciile/atribuiile actorilor implicai n ancheta de teren (modelul

centrat pe atribuii). O astfel de abordare ajut la identificarea cauzei problemei, lsndu-l pe

cercettor s afle dac problema este una de nelegere a ntrebrii din chestionar, sau dac

este o problem de procesare sau de comunicare (vezi Tabelul 2).

Aceast abordare este, ns, nefolositoare dac nu este operaionalizat. Cu alte cuvinte, sunt

necesare metode i instrumente care s permit testarea ntrebrilor din chestionar, care s

identifice sursele poteniale de erori de msurare, dar, n egal msur, s permit

cuantificarea dimensiunii i direciei oricrei erori de msurare.


9

Tabelul 2. Componente ale erorii de msurare

MODELUL TRADIIONAL

MODELUL CENTRAT PE ATRIBUII

(1) Probleme legate de ntrebrile din

chestionar: - care sunt nelese incorect; - la care nu se ofer un rspuns exact; - la care respondenii refuz s

rspund.

(2) Probleme legate de operatorii de teren:

- nu citesc ntrebrile ad litteram; - erori legate de modul n care

operatorii se raporteaz la respondeni (ex.: diferene etnice, de vrst, gen, clas social);

- nregistrarea inexact a rspunsurilor.

(1) Probleme de nelegere rezultate

din: - utilizarea vocabularului; - structura complex a propoziiilor; - nenelegerea naturii atribuiilor i a

regulilor dup care trebuie date rspunsurile la ntrebri.

(2) Probleme de validitate rezultate din:

- respondenii interpreteaz aceeai ntrebare n feluri diferite sau

- interpreteaz toi n aceeai manier, dar nu n maniera dorit de ctre cercettor.

(3) Dificulti de procesare: - respondenii pot s nu doreasc sau s

nu fie n msur s ofere informaia cerut prin intermediul ntrebrii.

(4) Dificulti de pronunare sau de comunicare:

- acest aspect poate afecta att operatorii ct i respondenii.

1.2.1.Fiabilitate i validitate

Pe lng gradul de acceptabilitate a chestionarului din partea subiecilor inclui n anchet, n

procesul de pretestare, cercettorii urmresc s identifice fiabilitatea i validitatea ntrebrilor

din chestionar. Pentru a fi fiabil, o ntrebare din componena chestionarului trebuie s

primeasc rspuns n aceeai manier de fiecare dat cnd este adresat unui subiect.

Weisberg (1996) spune c cercettorii pot testa fiabilitatea unei ntrebri comparnd

rspunsurile pe care respondenii le dau pentru aceast ntrebare n cadrul a dou pretestri

realizate la momente diferite n timp.

n ceea ce privete validitatea ntrebrii, aceasta se refer la ct de bine msoar ntrebarea

formulat ceea ce cercettorul intenioneaz s msoare. Literatura de specialitate vorbete


10

despre validitatea convergent i validitatea divergent a ntrebrilor dintr-un chestionar. Att

validitatea convergent ct i validitatea divergent pot fi determinate n primul rnd prin

compararea rspunsurilor primite la o alt ntrebare care msoar acelai concept, apoi

msurnd aceste rspunsuri cu rspunsurile participanilor la o ntrebare care solicit ca

rspuns exact opusul celei dinti.

Spre exemplu, putem include n chestionarul pretestat ntrebri care testeaz n mod explicit

validitatea acestuia: dac un respondent rspunde Da la ntrebarea Considerai c

urmtorul preedinte ar trebui s fie un democrat-liberal? apoi ntrebm Ce partid credei c

vei vota la urmtoarele alegeri prezideniale? pentru a verifica validitatea convergent a

ntrebrii, iar apoi Credei c vei vota un social-democrat la urmtoarele alegeri? ca s

verificai rspunsurile primite pentru validitatea divergent.

Indiferent de tehnicile alese pentru a pretesta un chestionar, ideal ar fi ca procesul de

pretestare s verifice semnificaia ntrebrilor, dificultatea de adresare sau de a primi un

rspuns, interesul respondenilor i atenia respondenilor fa de chestionar i fa de tema

investigat. Procesul de pretestare trebuie s includ i ntrebrile din chestionar care au mai

fost cuprinse i n alte cercetri similare, chiar dac aceste ntrebri au fost deja pretestate.

Acest lucru este recomandabil deoarece semnificaia ntrebrilor poate fi influenat de

contextul particular al anchetei pe care o desfurm. Cercettorii pot de asemenea s

pretesteze aspecte legate de: flux, ordine, paii de filtrare a ntrebrilor din chestionar, durata

chestionarului i starea general a respondentului n momentul completrii chestionarului.

Alte aspecte de care este recomandat ca cercettorii s in cont atunci cnd testeaz

fiabilitatea i validitatea ntrebrilor dintr-un chestionar sunt urmtoarele:

ntrebrile deschise necesit o atenie sporit n procesul de pretestare. Dac sunt

foarte puine comentarii, rspunsurile sunt puin detaliate, nseamn c formularea

ntrebrii, poziionarea ntrebrii sau spaierea item-ilor nu au fost bine alese.

Examinarea frecvenelor rspunsurilor ofer de asemenea informaii n legtur cu

claritatea i corectitudinea unui chestionar. Dac sunt puine rspunsuri sau

rspunsurile primite nu variaz dect n mic msur, exist posibilitatea ca ntrebarea

s nu msoare ceea ce ne-am dorit s msoare.


11

Dac se obin rspunsuri multe de tipul: Nu tiu, nseamn c metoda de scalare a

variantelor de rspuns nu este bine aleas, este neclar pentru subieci sau sunt

utilizate cuvinte neadecvate.

De asemenea, este necesar ca cercettorul s se asigure c operatorii nu ntmpin

probleme n urmrirea instruciunilor i a filtrelor din chestionar.

Dac respondenii dau semne de plictiseal sau refuz parcurgerea chestionarului pn

la final, atunci cercettorul trebui s verifice dac nu cumva chestionarul este prea

lung sau prea greoi pentru categoria de populaie pentru care a fost proiectat.

1.2.2. Componenta informal

n prima etap a pretestrii chestionarului, este recomandabil ca subiecii s fie informai de

faptul c particip la un proces de pretestare a unui instrument de cercetare, iar procedura de

pretestare s se menin la un nivel informal. Acest tip de pretestare l ajut pe cercettor s

vad msura n care chestionarul este formulat pe nelesul subiecilor.

Operatorul poate s administreze chestionarul fie prin procedura fa n fa, fie prin telefon,

discutnd ntrebrile mpreun cu respondenii. Operatorul necesit experien n domeniu,

ntruct este nevoie ca acesta s detecteze orice semn de confuzie, ambiguitate sau ezitare n

rndul respondenilor. Subiecii trebuie s fie ncurajai s fie ct mai deschii.

Una dintre cele mai des utilizate metode este aceea de a aduna un grup de persoane obiective

care s rspund la ntrebrile din chestionar i s critice chestionarul.

n cazul n care sunt planificate mai multe etape de pretestare, atunci, ntr-o prim etap, nu

este necesar ca respondenii s ntruneasc toate caracteristicile universului cercetrii.

De asemenea, este indicat s cerem o prere critic i din partea colegilor de breasl. Acetia

vor citi ntrebrile din chestionar i vor putea s spun n ce msur consider ei c ntrebrile

sunt bine formulate, c instruciunile sunt clare, c sunt atinse obiectivele studiului.

Ceea ce trebuie punctat este faptul c aceast component informal de pretestare este o

procedur de pretestare de factur calitativ, desfurat dup metodologia focus group-urilor:


12

operatorul conduce interviul cu fiecare respondent astfel nct s adune ct mai multe

informaii de la subiecii intervievai.

1.2.3. Componenta formal

Majoritatea cercettorilor susin c aceast component este o etap absolut obligatorie n

schema metodologic a anchetei de teren i trebuie s se desfoare n aceeai manier n care

este proiectat s se desfoare ancheta n sine. Converse i Presser (1986) spun c atunci

cnd cercettorii nu au suficiente finane pentru a face mai multe pretestri pentru un

instrument i trebuie s se rezume la o singur pretestare, este mai bine s opteze pentru o

pretestare de tip formal (neparticipatorie), dect s opteze pentru o pretestare informal

(participatorie).

Concret, chestionarul trebuie pretestat n rndul unor respondeni care au aceleai

caracteristici ca i populaia care constituie universul cercetrii proiectate, respectnd aceeai

metodologie de culegere a datelor care va fi utilizat i n cadrul anchetei propriu-zise. Cel

mai important aspect de care trebuie s se in cont este faptul c respondenii nu trebuie s

tie c ei nu particip la o anchet, ci la pretestarea unui instrument de cercetare.

n ceea ce privete numrul chestionarelor care ar trebui pretestate, nu exist o regul

prestabilit. Decizia aparine cercettorului care trebuie s in cont de constrngerile de timp,

de resursele financiare, de gradul de noutate a studiului n domeniu i de faptul c exagerarea

numrului de subieci inclui n etapa de pretestare poate mri probabilitatea ca aceti subieci

s fie inclui i n ancheta final, lucru indezirabil.

Un alt aspect de care cercettorul trebuie s in cont n deciziile sale este faptul c subiecii

utilizai n procesul de prestare joac rolul de experi n acest proces, dar autoritatea n

domeniu este nsui cercettorul. De aceea, cercettorul trebuie s in cont c nu toate

sugestiile primite din partea subiecilor inclui n procesul de pretestare sunt demne de luate n

considerare.

n ceea ce privete subiecii care vor participa la pretestarea chestionarului, este bine ca

acetia s fie pe ct posibil similari cu populaia care va constitui ulterior universul de

cercetare. Mai mult, este indicat s ncercm s simulm ct mai bine condiiile unei anchete


13

n adevratul sens al cuvntului, indiferent c este vorba despre o anchet desfurat prin

pot, telefon sau interviuri directe. Spre exemplu, dac avem de dus la capt o anchet care

este proiectat s culeag informaii de la respondeni prin intermediul potei, atunci este bine

ca i pretestarea chestionarului s se desfoare n aceeai manier, iar sugestiile

respondenilor cu privire la formularea ntrebrilor s fie cerute ulterior.

1.2.4. Sarcinile operatorilor

n cazul unei anchete care este desfurat cu ajutorul operatorilor de teren, este bine ca,

ulterior procesului de completare a chestionarelor pretestate, s cerem feedback din partea

operatorilor. Ei ne pot spune dac au existat ntrebri care nu au fost nelese corect, dac

instruciunile din chestionar au fost clare, dac chestionarul a fost prea dificil sau prea lung.

Tot de la operatorii de teren aflm cu precizie durata aplicrii chestionarului i dac am

rezervat suficient spaiu pentru ntrebrile libere din chestionar. n aceeai manier putem afla

dac am adresat ntrebri redundante sau ntrebri ale cror rspunsuri nu sunt de mare

folosin. Aceast activitate realizat n cadrul etapei de pretestare a chestionarului face,

aadar, referire la procesul de interogare a operatorului de teren. Pn de curnd, activitatea

de interogare a operatorului de teren o ntlnire de grup n cadrul creia se discut

experiena operatorilor n procesul de administrare a chestionarului pretestat era considerat

a fi prima tehnic de pretestare utilizat de ctre cercettor cu scopul obinerii unor informaii

referitoare la eventualele probleme de concepere a chestionarului. Ulterior, metodologii au

decis c activitatea de interogare a operatorilor de teren trebuie s aib loc i dup

completarea numrului de chestionare decis a fi pretestat. Punctele atinse n cadrul ntlnirii

de grup cu operatorii de teren fac referire la urmtoarele aspecte: retrospectiva pretestrii n

vederea identificrii problemelor ntmpinate de ctre operatori pe teren; identificarea

problemelor ntmpinate la aplicarea fiecrei ntrebri n parte; sugestii pentru revizuirea

ntrebrilor din chestionar; comentarii (Czaja i Blair, 2005).

Czaja i Blair (2005) spun c n majoritatea cazurilor n care cercettorii decid s realizeze o

pretestare convenional n cadrul creia completeaz cteva chestionare i apoi are loc

ntlnirea de grup cu operatorii, nu sunt surprinse toate problemele legate de ntrebrile care

compun chestionarul. De vin, spun cei doi autori, ar fi structura acestor activiti

convenionale. Cercettorul trebuie s se asigure c are n echip operatori de teren


14

experimentai, ntruct rolul unui operator este unul complex. El trebuie nu numai s citeasc

fiecare ntrebare conform instruciunilor primite, dar i s nregistreze corect rspunsul primit.

Nu este uor pentru un operator s fie att intervievator ct i observator al eventualelor

probleme. Mai mult, exceptnd situaiile evidente sau flagrante, determinarea msurii n care

un respondent are dificulti n a rspunde la ntrebrile adresate este o sarcin care poate

cdea cu uurin prad subiectivitii operatorului. Dac cercettorul identific probleme n

procesul de culegere a datelor i ncearc s verifice msura n care operatorul a respectat sau

nu instruciunile primite, operatorul poate ncerca s acopere problemele legate de

responsabilitile lui invocnd alte probleme precum: erori de tipografie, instruciuni eronate,

ntrebri slab concepute, spaiu insuficient pentru nregistrarea rspunsurilor, etc.

Din aceste cauze i nu numai, unele sugestii oferite de ctre operatorii de teren pot fi complet

nepractice sau contrare cu metodologia de baz a cercetrii, motiv pentru care cercettorului i

revine rolul de a menine echilibrul. Pe de alt parte, lipsa sugestiilor i comentariilor asupra

ntrebrilor cuprinse n chestionar constituie un motiv de ngrijorare, ntruct lipsa

slbiciunilor unui chestionar semnaleaz mai degrab o problem intervenit n procesul de

pretestare dect un chestionar perfect.

Pe lng aceste aspecte, cercettorul trebuie s acorde o atenie sporit unei liste de aspecte

legate strict de sarcina operatorilor n procesul de culegere a datelor. Aceast list face referire

la urmtoarele aspecte:

a) Operatorii ntmpin dificulti n pronunarea cuvintelor sau n citirea anumitor

propoziii?

b) Operatorii omit cuvinte sau modific topica din interiorul ntrebrilor?

c) Operatorii citesc ntrebarea ntr-o manier neutr?

d) Operatorii respect saltul ntrebrilor din chestionar i instruciunile prezentate att n

coninutul chestionarului ct i n cadrul sesiunilor de instruire?

e) Operatorii noteaz complet rspunsurile primite?

f) Exist alte sarcini n realizarea crora operatorii ntmpin dificulti?


15

1.2.5. Urmrirea reaciei respondenilor

Aa cum am artat i mai sus, operatorilor de teren le revine sarcina de a urmri reacia

respondenilor n momentul n care este pretestat chestionarul. Reacia respondenilor face

referire la gradul de nelegere fa de ntrebrile adresate i la interesul manifestat fa de

subiectul cercetrii. Prin urmare, operatorii de teren n sarcina crora revine culegerea datelor

n cadrul procesului de pretestare a chestionarului trebuie s aib n vedere, pe lng

completarea corect a chestionarului, n acord cu instruciunile primite, i urmtoarele aspecte

referitoare la comportamentul respondenilor:

a) Respondenii ntmpin dificulti n nelegerea cuvintelor, termenilor sau conceptelor

utilizate n formularea ntrebrilor?

b) Structura propoziiilor este prea complex? Respondenii neleg ntrebarea, sau

cerinele formulate?

c) Respondenii interpreteaz sensul ntrebrii n aceeai manier cu cercettorul?

d) Respondenii aleg alte categorii de rspuns dect cele oferite n chestionar?

e) Respondenii sunt dispui s ofere informaiile solicitate complet i exact?

f) Respondenii sunt ateni i interesai de ntrebrile adresate?

1.2.6. Aspecte referitoare la eantionare

Atunci cnd se decide pretestarea unui chestionar este bine ca respondenii s fie selectai din

cadrul grupului int al cercetrii. Spre exemplu, dac un chestionar este construit pentru a fi

aplicat populaiei adulte neinstituionalizate din mediul urban al Romniei, atunci este bine ca

i pretestarea chestionarului s se fac alegnd pentru completarea chestionarului respondeni

cu aceleai caracteristici.

Un alt aspect care trebuie urmrit cu grij este rata de rspuns a subiecilor solicitai s

participe la completarea chestionarului. Rata de rspuns este definit ca raportul dintre

numrul de interviuri finalizate, mprit la numrul de uniti de eantionare eligibile. Se

cunoate faptul c sunt de dorit rate mai mari de rspuns, pentru a reduce incidena

erorilor/bias-urilor cauzate de non-rspunsuri. O valoare sczut a ratei de rspuns ar putea

indica poteniale probleme n momentul realizrii anchetei propriu zise. Un alt aspect care

trebuie avut n vedere n procesul de pretestare este rata de eligibilitate. Aceasta este o msur


16

a gradului n care populaia din grupul int al cercetrii este sau nu uor de identificat. Dac,

spre exemplu, un cercettor i-ar dori s investigheze o populaie constituit din mame cu

vrsta cuprins ntre 20 i 30 de ani care apeleaz la serviciile bonelor pentru ngrijirea

copiilor lor, cercettorul respectiv trebuie s in cont de faptul c n Romnia nu se

colecteaz date referitoare la acest aspect la nivelul administraiei publice i, prin urmare,

potenialii subieci ai anchetei vor fi ceva mai greu de identificat, fiind necesar a se apela la

tehnici speciale de eantionare, precum tehnica bulgrelui de zpad.

Prin urmare, principalele ntrebri la care un cercettor trebuie s gseasc rspunsuri

favorabile n procesul de pretestare cu privire la eantionare, sunt urmtoarele:

Care este rata de rspuns? Rata de rspuns indic poteniale probleme?

Ratele de eligibilitate sunt cele previzionate? Valoarea ratelor indic probleme

neanticipate?

Exist liste de eantionare?

Sunt trecute toate unitile n listele de eantionare?

Exist semnale c ar putea aprea probleme legate de acurateea i integralitatea bazei

de eantionare?

Potenialii respondeni sunt dispui s participe la anchet?

1.2.7. Alte aspecte referitoare la construirea chestionarului

Alte aspecte pe care un cercettor nu trebuie s le piard din vedere sunt cele legate de logica

ntrebrilor din chestionar, de corectitudinea filtrelor i a instruciunilor din chestionar,

precum i de eventuale efecte referitoare la ordinea ntrebrilor din chestionar. Cu alte

cuvinte, responsabilii conceperii unui chestionar trebuie s urmreasc s-i rspund n urma

procesului de pretestare i la urmtoarele ntrebri:

Seciunile chestionarului i ntrebrile din cadrul seciunilor urmeaz un fir logic al

ideilor?

Instruciunile referitoare la filtrele din chestionar sunt corecte?

Exist semnale c ordinea ntrebrilor din chestionar influeneaz rspunsurile primite

din partea subiecilor care au rspuns la ntrebrile din chestionar?


17

n plus, indiferent c cercettorul alege s utilizeze o metod formal (neparticipativ) sau

informal (participativ) de pretestare a chestionarului, este indicat s se urmreasc i gradul

de receptivitate i atenie a subiecilor participani la pretestarea chestionarului, precum i

gradul de dificultate n ceea ce privete completarea chestionarului de ctre operator. Chiar i

n situaia n care se utilizeaz ntrebri preluate din alte chestionare care au fost deja

pretestate, este bine ca i aceste ntrebri, integrate n componena noului chestionar, s fie

incluse n procesul de pretestare, ntruct semnificaia ntrebrilor poate fi afectat de

contextul particular ar cercetrii n cadrul creia urmeaz a fi utilizat chestionarul nou

conceput.

1.2.8. Codificare i analiz

Odat ce datele au fost culese din teren, este bine ca acestea s fie ncrcate ntr-o baz de date

pe care s se fac o serie de teste care s ne certifice faptul c precodificarea variantelor de

rspuns ne ajut la prelucrarea datelor n maniera n care ne-am dorit. Dac ajungem la

concluzia c procesarea datelor este greoaie, este bine s regndim procedura formulare a

ntrebrilor i de precodificare a variantelor de rspuns. Aadar, introducerea chestionarelor

ntr-o baz de date este o alt etap important n cadrul procesului de pretestare a unui

chestionar, ntruct ajut cercettorul s rspund la cel puin trei ntrebri fundamentale:

Este dificil construirea categoriilor de codificare la ntrebrile nchise n cadrul bazei

de date?

Este dificil post-codificarea rspunsurilor la ntrebrile deschise?

Este acceptabil nivelul de variaie a rspunsurilor pentru fiecare ntrebare n parte?


18

2. Pretestarea metodologiei de evaluare cantitativ a eficacitii politicii

familiale din Romnia

2.1. Tehnici de pretestare utilizate

Echipa de cercettori a decis realizarea pretestrii instrumentului de cercetare n 3 etape

majore:

1. discutarea chestionarului mpreun cu colegii de breasl, ocazie cu care am primit

sugestii pentru mbuntirea chestionarului n sensul reformulrii unor ntrebri i

schimbrii topicii unora dintre ntrebri;

2. completarea a 15 chestionare de ctre operatori de teren aparinnd unui institut de

sondare a opiniei publice (CURS S.A.).

3. dintre cele 15 chestionare, 10 au fost dublate de discutarea ntrebrilor i rspunsurilor

din chestionar de ctre echipa de cercettori mpreun cu intervievaii, cu scopul

mbuntirii chestionarului.

Prin intermediul celor 3 pai pe care i-am fcut n cadrul procesului de pretestare a

chestionarului, am dorit s ne asigurm c identificm i soluionm toate problemele care ar

fi putut aprea n momentul n care ancheta de teren propriu-zis se va desfura. Astfel, am

considerat necesar c este bine s pretestm chestionarul utiliznd att tehnici calitative ct i

tehnici de natur cantitativ.

Componenta cantitativ (formal, neparticipativ) a fost asigurat prin completarea a 15

chestionare. Pentru a asigura neutralitatea completrii chestionarului i pentru a evita

implicarea subiectiv a echipei de cercettori care au participat la elaborarea chestionarului,

am decis subcontractarea componentei de completare a chestionarului construit. Astfel, o

echip de operatori de teren din partea Centrului de Sociologie Urban i Rural (Centrul de

Sociologie Urban i Regional) a cules date pentru completarea unui numr de 15

chestionare. Respondenii au fost alei s fie prini cu copii, innd cont c acesta constituie

grupul int al anchetei ale cror baze metodologice sunt puse. n aceast etap, respondenii

nu au fost informai despre faptul c ei particip la pretestarea unui chestionar, ntruct ne-am

dorit s simulm ct mai bine condiiile unei anchete de teren. Astfel, toi cei 15 respondeni


19

au fost informai c particip la realizarea unei anchete de teren al crei scop este s evalueze

eficacitatea politicilor familiale din Romnia.

Rspunsurile nregistrate n cadrul celor 15 chestionare au fost introduse n format electronic

(.sav), ocazie cu care a fost construit capul bazei de date care va fi utilizat i la momentul

realizrii anchetei. Totodat, introducerea chestionarelor n baza de date ne-a ajutat s

identificm eventualele dificulti legate de codificarea ntrebrilor din chestionar i s

urmrim nivelul de variaie a rspunsurilor pentru fiecare ntrebare n parte.

Introducerea datelor culese din teren a fost efectuat prin intermediul pachetului specializat

S.P.S.S. (Statistical Package for the Social Science) versiunea 15.0, aplicnd un sistem de

codificare a ntrebrilor i rspunsurilor din anchet. Baza de date obinut n urma efecturii

sondajului se prezint pe suport electronic, sub forma unui fiier de date SPSS 15.0.

Discutarea chestionarului cu colegii de breasl i, ulterior, cu o parte dintre cei 15 subieci

care au participat la completarea chestionarului au constituit tehnici calitative (componenta

informal, participativ) de pretestare a chestionarului. n cadrul acestor etape echipa de

cercettori s-a implicat n mod direct, purtnd discuii cu colegii de breasl pe marginea

chestionarului i discutnd ntrebrile i rspunsurile din chestionar mpreun cu 10 din cei 15

subieci participani la completarea chestionarelor. Discuiile cu cei 10 subieci participani n

etapa formal de pretestare a chestionarului au fost purtate individual, telefonic, la

aproximativ 2 sptmni dup completarea chestionarelor de ctre operatorii de teren. Ne-am

dorit astfel ca subiecii s poat rspunde cu aproximaie n condiii conjuncturale similare

celor n care au rspuns operatorilor de teren (condiii economice, politice, etc.). Cu aceast

ocazie, cei 10 subieci au fost informai asupra faptului c au fost implicai n procesul de

pretestare a unui instrument de cercetare (prin completarea chestionarului prin intermediul

operatorilor de teren) i li s-a solicitat acordul de a discuta ntrebrile din chestionarul la care

au rspuns deja. Astfel, am reluat ntrebrile din chestionar i am urmrit msura n care

respondenii i menin sau nu rspunsurile date anterior (n momentul n care li s-a

administrat chestionarul de ctre operatorul de teren, fr a cunoate faptul c particip la un

proces de pretestare a chestionarului). Scopul acestei etape de pretestare a chestionarului a

fost acela de a testa validitatea i sigurana ntrebrilor. n cazul n care se ntmpl ca

respondenii s ofere la ntrebrile din chestionar rspunsuri diferite fa de rspunsurile pe

care le-au dat n momentul administrrii chestionarului de ctre operatorii de teren, atunci

nseamn c exist probleme legate de nelegerea ntrebrilor. De asemenea, pe parcursul


20

interviului, cercettorul poate observa faptul c opiniile reale ale respondentului difer

considerabil fa de opiniile exprimate prin rspunsurile date la ntrebrile din chestionar.

Acest fapt poate fi observat reformulnd ntrebrile din chestionar ntr-o manier diferit de

cea utilizat n chestionarul aplicat de ctre operatorul de teren. Concret, acest fenomen ne

semnaleaz faptul c ntrebrile nu sunt formulate suficient de clar astfel nct, o persoan

creia i se adreseaz n mod repetat ntrebrile respective, s decodeze acelai mesaj de fiecare

dat. Mai mult, acest fenomen ne semnaleaz faptul c ntrebrile nu msoar ceea ce ne-am

propus s msoare i prin urmare nu ne vom putea atinge obiectivele formulate n momentul

elaborrii metodologiei de cercetare. Aceast component a procesului de pretestare asigur

astfel fiabilitatea i validitatea chestionarului, dar i sigurana faptului c indiferent de cte

ori este repetat o ntrebare din chestionar, aceasta este decodat n aceeai manier de oricare

dintre participanii la ancheta de teren. Totodat, prin interviurile desfurate cu cei 10

participani am testat i acceptabilitatea chestionarului. Cu alte cuvinte am observat msura n

care respondenilor le-a fcut plcere s participe la completarea chestionarului i interesul

manifestat fa de tematica abordat n cadrul cercetrii.

Prin urmare, discuiile individuale cu cei 10 subieci au condus la identificarea unor probleme

de nelegere a sensului ntrebrilor formulate n chestionar. De asemenea, colegii de breasl

au sugerat schimbarea topicii unora dintre ntrebri, astfel nct s ne asigurm c rspunsurile

primite din partea participanilor la anchet nu vor fi influenate de coninutul unor ntrebri

anterioare.

2.2. Inventarierea problemelor ntmpinate

n urma procesului de pretestare au fost semnalate unele probleme de coninut, unele aspecte

privind structura logica a chestionarului (salturi n chestionar) dar i unele probleme legate de

codificare a variantelor de rspuns n cazul ntrebrilor cu rspuns precodificat din chestionar.

Inventarierea problemelor ntmpinate a fost realizat pe baza pailor pe care i-am parcurs n

procesul de pretestare. Concret, am nceput cu inventarierea problemelor semnalate de ctre

colegii notri de breasl crora le-am cerut feedback pe chestionar; am continuat cu

inventarierea problemelor semnalate de ctre operatorii de teren n raportul lor de teren; a

urmat inventarierea problemelor semnalate n discuiile telefonice cu cei 10 respondeni i cu

inventarierea problemelor semnalate n momentul ncrcrii datelor n baza de date. Am


21

finalizat raportul de inventariere clasificnd problemele identificate dup cum am subliniat i

mai sus: probleme de coninut, unele aspecte privind structura logica a chestionarului (salturi

n chestionar) dar i unele probleme legate de codificare a variantelor de rspuns n cazul

ntrebrilor cu rspuns precodificat din chestionar.

Toate aceste aspecte au fost notate i discutate ulterior mpreun cu ntreaga echip de

cercettori care a participat n cadrul etapei III a proiectului la elaborarea chestionarului ca

instrument ce st la baza metodologiei de evaluare cantitativ a eficacitii politicii familiale

din Romnia.

2.3. Analizarea i discutarea neclaritilor identificate n chestionar

Aspectele sesizate n cadrul operaiunii de pretestare a chestionarului au fost corectate n

acord cu obiectivele metodologiei de cercetare. Obiectivul central al discutrii neclaritilor

identificate n chestionar de ctre echipa de cercettori care a participat la elaborarea i

testarea chestionarului a fost acela de a produce n final un instrument fiabil (ntrebrile au

consisten, sunt coerente i primesc acelai rspuns cnd sunt adresate n mod repetitiv) i

valid (msoar ceea ce echipa de cercettori i-a propus s msoare).

2.4. Perfecionarea chestionarului i pregtirea lui pentru lansarea anchetei de teren

Chestionarul a fost revizuit n acord cu obiectivele metodologiei de cercetare.

Concluzii

Pretestarea reprezint una dintre componentele unui proces de cercetare care nu ar trebui

omis. n lipsa pretestrii instrumentului de cercetare, chiar i cei mai experimentai

cercettori pot ajunge s administreze anchete incerte, care ridic ulterior multe semne de

ntrebare n legtur cu rezultatele obinute. Pe lng gradul de acceptabilitate a chestionarului

din partea subiecilor inclui n anchet, n procesul de pretestare, cercettorii urmresc s

identifice fiabilitatea i validitatea ntrebrilor din chestionar.


22

n ultimii ani, activitatea de pretestare a chestionarului a cunoscut o serie de tehnici inovative

de pretestare i perfecionare a instrumentului de cercetare adus n discuie. Astfel, pe lng

tehnicile convenionale de pretestare, sunt utilizate tehnici cognitive i tehnici

comportamentale. Tehnicile cognitive presupun realizarea unui studiu pilot n cadrul cruia

respondenii tiu c particip la testarea unui chestionar i li se solicit acestora s fac orice

comentariu doresc fa de oricare dintre ntrebrile din chestionar. Tehnicile comportamentale

presupun realizarea de interviuri structurate, ocazie cu care este studiat atent comportamentul

de rspuns al participanilor la interviu.

n linii mari, pretestarea unui chestionar se refer la faptul c, dup elaborarea chestionarului

ntr-o prim form, acesta este aplicat unui lot de subieci selectat din populaia care

reprezint universul cercetrii. Rezultatele culese n urma pretestrii chestionarului sunt

ulterior analizate. Analiza rezultatelor acestei aplicri poate aduce mai multe contribuii

valoroase la producerea, n final, a unui chestionar ct mai bun.

Aceasta nseamn c este necesar examinarea fiecrei ntrebri n parte, ca i chestionarul n

ntregul su, cu foarte mare atenie. Din acest motiv, este bine s ne rezervm suficient timp

pentru aceast activitate, astfel nct s nu ne grbim n momentul n care facem mbuntiri

asupra ntrebrilor din chestionar.

Faza IV de execuie a avut ca rezultate concrete elaborarea metodologiei de pretestare a

chestionarului construit n cadrul etapei III, chestionar care reprezint instrumentul de

cercetare n cadrul metodologiei de evaluare cantitativ a eficacitii politicii familiale din

Romnia. Aceast etap a fost n integralitate responsabilitatea echipei de cercettori

aparinnd Coordonatorului (INCSMPS) i poart titlul Pretestarea metodologiei de evaluare

cantitativa a eficacitii politicii familiale din Romnia.

S-a decis realizarea pretestrii instrumentului de cercetare cu 15 chestionare (din care 10 au

fost dublate de discutarea ntrebrilor i rspunsurilor cu intervievaii) pentru mbuntirea

chestionarului. Pentru a asigura un anumit grad de neutralitate n procesul de pretestare,

echipa de cercettori a decis subcontractarea completrii chestionarelor la subieci. n pasul

urmtor, echipa de cercettori s-a implicat personal n procesul de pretestare informal a

chestionarului. Pretestarea informal a fost realizat prin intermediu unor discuii informale i

detaliate a ntrebrilor din chestionar cu o parte dintre subiecii care au rspuns n mod

tradiional la ntrebrilor din chestionar, prin tehnica fa n fa, n prima etap a procesului


23

de pretestare. Subiecii care au fost inclui n procesul de pretestare au fost alei din grupul

int al metodologiei de evaluare cantitativ a eficacitii politicii familiale din Romnia,

stabilit n cadrul etapei III. Grupul int al anchetei este reprezentat de membrii familiilor cu

copii cu vrste ntre 0 i 18 ani (mama/tat/susintor legal). Persoanele intervievate n cadrul

activitii de pretestare au rezidena n Bucureti, Craiova i Oradea. n urma procesului de

pretestare au fost semnalate unele probleme de coninut, unele aspecte privind structura logica

a chestionarului (salturi n chestionar) dar i unele probleme legate de codificare. Toate aceste

probleme au fost corectate n acord cu obiectivele de cercetare.

Rezultatele pretestrii instrumentului de cercetare chestionarului (chestionarul n form

finit, capul de baz de date n format sav.) au fost valorificate n forma produsului finit al

acestei faze, respectiv n forma raportului de faz ce fundamenteaz pretestarea metodologiei

de evaluare cantitativ a eficacitii politicii familiale din Romnia.

Rezultatele celei de-a patra faze de execuie urmeaz a fi publicate n detaliu pe pagina web a

proiectului (www.meipf.ro).

Bibliografie:

Bassili J.N. (1996). The how and why of response latency measurement in telephone

surveys. n Schwarz, N. i Sudman, S. Answering Questions: Methodology for

Determining Cognitive and Communicative Processes in Survey Research. San

Francisco: Editura Jossey-Bass Publishers

Bolton R.N. (1991). An exploratory investigation of questionnaire pretesting with

verbal protocol analysis. Advances in Consumer Research.

Converse J.M. i Presser S. (1986). Survey Questions: Handcrafting the Standardized

Questionnaire. California: Editura Sage.

Czaja R. i Blair J. (1996). Designing Surveys: A guide to Decisions and Procedures.

California: Editura Pine Forge

DeMaio T.J. & Rothgeb J.M. (1996). Cognitive interviewing techniques: in the lab and

in the field. In Schwarz, N. i Sudman, S. Answering Questions: Methodology for


24

Determining Cognitive and Communicative Processes in Survey Research. San

Francisco, Editura Jossey-Bass Publishers

Dillman D.A. (1978). Mail and Telephone Surveys: the Total Design Method. New

York, Editura John Wiley i Fii

Esposito J.L.; Campanelli PC; Rothgeb J i Polivka AE (1991). Determining Which

Questions are Best: Methodologies for Evaluating Survey Questions, n Proceedings

of the American Statistical Association (Survey Research Methods Section).

Alexandria, VA: American Statistical Association

Fowler Jr. FJ i Cannell CF (1996). Using behavioral coding to identify cognitive

problems with survey questions, n Schwarz, N i Sudman, S. Answering Questions:

Methodology for Determining Cognitive and Communicative Processes in Survey

Research. San Francisco, Editura Jossey-Bass Publishers

Fowler Jr. FJ (1993). Survey Research Methods (Second Edition). California: Editura

Sage

Frey J.H. (1989). Survey Research by Telephone (Second Edition). California: Editura

Sage

Krueger R.A. (1994). Focus Groups: A Practical Guide for Applied Research (Second

Edition). California: Editura Sage

Lessler J.T. i Forsyth BH (1996). A coding system for appraising questionnaires. n

Schwarz N. i Sudman S. Answering Questions: Methodology for Determining

Cognitive and Communicative Processes in Survey Research. San Francisco: Editura

Jossey-Bass Publishers

Martin E. i Polivka A.E. (1995). Diagnostics for redesigning questionnaires. Public

Opinion Quarterly, Nr. 59 (4) pag. 547-567

Oksenberg L., Cannell CF i Kalton G (1991). New strategies for pretesting survey

questions. Journal of Official Statistics, Nr. 7 (3), pag. 349-365.

Presser S. i Blair J. (1994). Survey pretesting: do different methods produce different


25

results? n Marsden P.V. i alii. Sociological Methodology, Volumul 24. Cambridge:

The American Sociological Association, pag. 73-104

Royston P.; Bercini D.; Sirken M. i Mingay D. (1986). Questionnaire Design

Research Laboratory. Proceedings American Statistics Association, pag. 703-707

Bailey, K. (1982): Methods of Social Research, New York, Editura The Free Press

Collins D. (2003). Pretesting survey instruments: An overview of cognitive methods,

Quality of Life Research, Vol. 12, pag. 229-238

Conrad F. i Blair J. (1996), From impressions to data: increasing the objectivity of

cognitive interviews, n Proceedings of the Survey Research Methods Section of the

American Statistical Association, Alexandria, pag 1-10

de Vaus, David A. (2001): Research Design in Social Research, California, Editura

Sage Publications Inc.

Dillman, D. (2000), Mail and Internet Surveys: The Tailored Design Method, ediia a

doua, New York, Editura Wiley

Drennan J. (2003). Cognitive interviewing: verbal data in the design and pretesting of

Questionnaires, Journal of Advanced Nursing, Vol. 42, pag. 57-63

Hussey, J. i Hussey R. (1997), Business Research: A Practical guide for

Undergraduate and Postgraduate Students, Basingstoke, Editura MacMillan Business

Jobe J. i Mingay, D. J. (1991). Cognition and survey measurement: History and

overview, Applied Cognitive Psychology, Vol. 5, pag. 175-193

Qureschi H., Rowlands O. (2004). User satisfaction surveys and cognitive question

testing in the public sector: the case of personal services in England, International

Journal of Social Research Methodology, Vol. 7, nr. 4, pag. 273-287

Salamon, L.M. i Anheier, H.K. (1996): The International Classification of Nonprofit

Organizations: ICNPO-Revision 1, 1996, Working Papers of the Johns Hopkins

University Comparative Nonprofit Sector Project, Nr. 19, editat de LM Salamon i

HK Anheier, Baltimore: The Johns Hopkins Institute for Policy Studies


26

Taylor C. (2000). Clinical problem solving in nursing: insights from the literature,

Journal of Advanced Nursing, Vol. 31, pag. 842-849

Tourangeau R. (1984). Cognitive science and survey methods n T. Jabine, M. Straf, J.

Tanur i R. Tourangeau, Cognitive Aspects of Survey Methodology: Building a

Bridge Between Disciplines, Washington, Editura National Academic Press, pag. 73-

100

Thietart, R. (1999). Doing Management Research: A Comprehensive Guide, London:

Editura Sage

Willis G. B., Royston P. i Bercini D. (1991). The use of report methods in the

development and testing of survey questionnaires, Applied Cognitive Psychology,

Vol. 5, pag. 251-267

Fowler, F.J. i Mangione, T.W. (1990). Standard survey interviewing: Minimizing

interviewer-related error. Applied Social Research Methods Series: Vol. 18. Newbury

Park, Editura: Sage

Oksenberg L., Cannell C. i Kalton G. (1991). New strategies for pretesting survey

questions. J Off Stat 1991; 7(3): 349365

Czaja R., Blair J. (2005). Designing surveys: a guide to decisions and procedures.

Ediia a doua. Editura: Sage

Weisberg H., Krosnick J. i Bowen D. (1996).An introduction to survey research,

polling, and data analysis. Ediia a treia. Editura: Sage

Pretestarea Unui Chestionar

Documents

Transcript of Pretestarea Unui Chestionar