Managementul Structurilor Info Document Are, III, II,BSI

1

Introducere

Cursul intitulat Managementul structurilor infodocumentare, partea a II-a destinat

studenților de la Biblioteconomie și știința informării, anul III,semestrul II Învățământ

la Distanță.

face o incursiune în managementul structurilor infodocumentare, abordând câteva

dintre cele mai importante noţiuni şi concepte: Evaluarea calității serviciilor de bibliotecă,

Instrumente de evaluare, Model de evaluare a satisfacției utilizatorilor unei biblioteci.

Obiectivele cursului

Cursul intitulat Managementul structurilor infodocumentare are ca obiectiv

principal îmbogăţirea cunoştinţelor din sfera disciplinelor cu caracter managerial

ale studenţilor de la Biblioteconomie și știința informării forma de învăţământ

ID. În acest sens, la sfârşitul acestui curs, studenţii vor fi capabili să:

opereze cu noţiuni precum: conceptul de calitate și evaluare în bibliotecă,

calitatea serviciilor,indicatori de performanță;

identifice indicatorii de performanță;

identifice factorii care influenţează satisfacția utilizatorilor;

să dezvolte modele strategice de dezvoltare și îmbinătățire a serviciilor

bibliotecii;

să dezvolte cercetări de marketing utilizând ca instrumente chestionarul .

Cerinţe preliminare

Parcurgerea unităţilor de învăţare necesită cunoştinţe elementare din domeniul

științei informării, cunoştinţe pe care studenţii le-au dobândit în urma parcurgerii

materiilor din anii I și II de studiu.

Mijloace de lucru

Parcurgerea unităţilor de învăţare aferente primului modul nu necesită existenţa

unor mijloace sau instrumente de lucru.

Structura cursului

Cursul Management în structurile infodocumentare este structurat în două module,

astfel: primul modul cuprinde două unităţi de învăţare, iar al doilea modul

cuprinde o unitate de învăţare. La rândul său, fiecare unitate de învăţare cuprinde:

obiective, aspecte teoretice privind tematica unităţii de învăţare respective,

exemple, teste de autoevaluare precum şi probleme propuse spre discuţie şi

rezolvare.

La sfârşitul fiecărui modul sunt indicate teme de control. Rezolvarea acestor teme

de control este obligatorie. Acestea vor fi încărcate de către studenţi pe platforma

2

e-learning până la odată prestabilită.

Durata medie de studiu individual

Parcurgerea de către studenţi a unităţilor de învăţare ale cursului de Management

în structurile infodocumentare (atât aspectele teoretice cât şi rezolvarea testelor de

autoevaluare şi rezolvarea problemelor propuse) se poate face în 2-3 ore pentru

fiecare unitate.

Evaluarea

La sfârşitul semestrului, fiecare student va primi o notă, care va cuprinde: un test

grilă, ce va conţine întrebări teoretice din materia prezentată în cadrul acestui

material, testul va deţine o pondere de 60% în nota finală şi notele aferente

temelor de control, realizate pe parcursul semestrului, care vor deţine o pondere

de 20% fiecare.

Spor la treaba !

3

MODULUL 1. EVALUAREA CALITĂŢII SERVICIILOR OFERITE DE

BIBLIOTECĂ

Cuprins

Introducere ...................................................................................................................... 3

Obiectivele modului ........................................................................................................ 3

M1.U1. Evaluarea calităţii serviciilor oferite de bibliotecă...................................................4

1.1 Conceptul de evaluare.........................................................................................................4

1.1.1 Definiţii.................................................................................................................4

1.1.2 Conceptul de evaluare în bibliotecă......................................................................5

1.2 Conceptul de calitate.............................................................................................................6

1.3 Calitatea în bibliotecă............................................................................................................6

1.3.1 Criteriile calităţii serviciilor de bibliotecă după Peter Brophy..............................9

1.3.2 Roata lui Deming ...............................................................................................10

1.3.3 Schema roţii lui Deming în bibliotecă................................................................15

1.4 Rolul evaluării în procesul îmbunătăţirii calităţii serviciilor unei biblioteci.....................16

Introducere

Biblioteca este o instituţie publică ce concurează pentru un loc pe piaţa

informaţională. Pentru a învinge, ea trebuie să fie bazată pe o cultură de tip

managerial care să aibă în centru utilizatorul bibliotecii - scopul final al tuturor

activităţilor care se petrec în interiorul unei biblioteci. De aceea, e important ca

biblioteca să aibă la dispoziţie forme de măsurare care să reflecte percepţia

utilizatorului cu privire la serviciile care-i sunt oferite. Aşadar, evaluarea este un

punct esenţial în procesul de creştere al oricărei biblioteci.

Această lucrare are ca temă centrală evaluarea satisfacţiei utilizatorilor unei

biblioteci universitare. În context actual aceasta este o temă de interes general

deoarece biblioteca universitară este – mai întâi de toate - un furnizor de produse

şi servicii prin care urmăreşte satisfacerea nevoilor de informare ale utilizatorilor.

În contextul unei creşteri spectaculoase a numărului de resurse informaţionale, este

necesară efectuarea unor studii privind utilizatorii şi nevoile lor de informare,

preferinţa pentru un anumit tip de suport informaţional şi nevoile pe care aceştia le

au.

4

Obiectivele modulului

La sfârşitul acestui modul studenţii vor fi capabili să:

realizeze un plan strategic de dezvoltare a unui serviciu al bibliotecii

să identifice indicatorii de performanță ce pot si măsurați și calculați în

activitatea de bibliotecă

să orienteze dezvoltarea activităților spre satisfacția utilizatorilor

să cunoască instrumentele de masurare a activităților existente pană acum.

Unitatea de învăţare M1.U1. Evaluarea calităţii serviciilor oferite de bibliotecă

M1.U1.1. Introducere

„Biblioteca e un organism viu” – aşa afirmă a cincea lege a lui

Ranganathan1. Ea se află într-o continuă transformare, încercând să se adapteze la

nevoile informaţionale ale societăţii contemporane. În secolul III î.Hr., Calimah

era preocupat de organizarea colecţiei bibliotecii din Alexandria. A scris marea

operă Pinakes, 120 de cărţi care reprezentau un soi de biobibliografie a literaturii

greceşti. Apoi, pentru mult timp, bibliotecile s-au axat pe organizarea şi

conservarea patrimoniului cultural. Dar odată cu mărirea volumului de informaţie,

înmulţirea suporturilor pe care aceasta poate fi stocată, facilitatea cu care poate fi

răspândită în mediul electronic, au determinat bibliotecile să-şi centreze atenţia

asupra calităţii serviciilor pe care le oferă. Furnizarea unui serviciu de calitate

înseamnă adaptarea la aşteptările şi nevoile utilizatorului.

Acest capitol va trata, la nivel teoretic, conceptul de evaluare, pe cel de

calitate, sensul, importanţa şi aplicabilitatea pe care acestea o au într-o bibliotecă.

Accentul va fi pus pe evaluarea satisfacţiei utilizatorului cu privire la serviciile

oferite de bibliotecă.

M1.U1.2. Obiectivele unităţii de învăţare

Această unitate de învăţare îşi propune ca obiectiv principal o iniţiere a studenţilor

în interesanta lume a managemetului de bibliotecă.

La sfârşitul acestei unităţi de învăţare studenţii vor fi capabili să:

înţeleagă şi să explice elementele care stau la baza managementului strategic;

1 Shiyali Ramamrita Ranganathan, Op. cit.

5

înţeleagă importanţa activităţilor de management din cadrul unei biblioteci;

identifice caracteristicile etapelor din evaluarea calității serviciilor bibliotecii;

identifice ariile de acţiune a diferitelor persoane implicate în activităţi de

management.

Durata medie de parcurgere a primei unităţi de învăţare este de 6 ore.

M1.U 1.1 Conceptul de evaluare

Pentru a vorbi de calitatea serviciilor de bibliotecă, trebuie să avem în vedere în

primul rând activitatea de evaluare, deoarece fără o evaluare continuă, nu poate exista nici

calitate. Vom vedea ce seminificaţie are conceptul de evaluare în general, dar şi atunci când el

este folosit în context biblioteconomic.

U1.1.1 Definiţii

În limba română, verbul a evalua provine din franţuzescul évaluer. În Noul dicţionar

explicativ al limbii române2 este definit după cum urmează: “A examina calitativ şi cantitativ

stabilind preţul sau valoarea; a preţui; a aprecia; a estima. 2) (greutatea, durata, măsura,

cantitatea, numărul, mărimea unui lucru). A determina cu aproximaţie”. Potrivit Oxford

English Dictionary, a evalua înseamnă a calcula, a aprecia cantitatea, a exprima în termeni

cunoscuţi. În Longman – Dicţionarul de engleză contemporană, evaluarea este definită ca

formarea unei opinii cu privire la cât de bun şi de folositor este un anumit lucru sau serviciu.

Cambridge Dictionary defineşte verbul a evalua prin a judeca sau a calcula calitatea,

importanţa, cantitatea sau valoarea a ceva. Evaluarea este totalitatea activităţilor desfăşurate

pentru a exprima o judecată în scopul luării unei decizii. O astfel de judecată trebuie să fie

argumentată prin intermediul unor proceduri de cercetare evaluativă care constituie elementul

esenţial şi de neînlocuit al argumentării.

U1.1.2 Conceptul de evaluare în bibliotecă

În biblioteconomie, verbul a evalua are următoarea semnificaţie, conform ISO

11620:1998 este “procesul de estimare a eficacităţii, eficienţei, utilităţii şi caracterului adecvat

al unui serviciu sau al unei infrastructuri”3. Steve Hiller, Director de Evaluare al Bibliotecilor

Universităţii din Washington vorbeşte despre evaluarea bibliotecilor ca fiind un proces

2 Noul dicţionar explicativ al limbii române. Bucureşti: Editura Litera Internaţional. 2002

3 ISO 11620: 1998, p.9 apud Dumitrescu Daniela. Evaluarea bibliotecilor [online] document disponibil la

adresa: http://www.bcub.ro/continut/unibib/dumitrescu2.php [citat în 3 ianuarie 2009]

http://www.bcub.ro/continut/unibib/dumitrescu2.php

6

structurat prin care se cunosc comunităţile umane şi se stabileşte măsura în care biblioteca

satisface nevoia informaţională a acestor comunităţi.

U1.2 Conceptul de calitate

Conceptul de calitate în sine este greu de definit deoarece oferă posibilităţi de

interpretare variate în funcţie de contextul în care este folosit. În limba română acest

substantiv provine din franţuzescul qualité şi latinescul qualitas, -atis. Conform

Dicţionarului Explicativ al Limbii Române 4 calitatea este : 1. Totalitatea însuşirilor şi

laturilor esenţiale în virtutea cărora un lucru este ceea ce este, deosebindu-se de celelalte

lucruri. 2. Însuşire (bună sau rea), fel de a fi (bun sau rău); p. restr. caracteristică pozitivă,

însuşire bună. Loc. adj. De calitate = de calitate bună, de valoare. 3. Poziţie, situaţie, titlu

care conferă un drept. Loc. conj. În calitate de... = cu dreptul de..., fiind... 4. (La jocul de şah)

Diferenţă de valoare între un turn şi un nebun sau un cal.

Calitatea poate fi apreciată doar de cel căruia îi este destinată. Deşi această sintagmă

pare un clişeu, ea este adevărată. Atunci când clienţii / utilizatorii spun că există calitate, ea

există. Dar dacă ei afirmă că nu există, atunci ea nu există, indiferent de opiniile contrare pe

care le poate avea organizaţia5. Standardul SR ISO 8402 (1995) defineşte astfel „calitatea”:

„ansamblul caracteristicilor unei entităţi, care îi conferă aptitudinea de a satisface nevoile

exprimate sau implicite”6. Conform acestei definiţii, calitatea nu este exprimată printr-o

singură caracteristică, ci printr-un ansamblu de caracteristici care variază continuu, în relaţie

cu nevoile clienţilor. De asemenea, se observă că trebuie satisfăcute nu numai nevoile

exprimate în mod concret, dar şi cele implicite.

Chiar dacă facem referire strict la mediul biblioteconomic, avem de-a face cu mai

multe accepţiuni ale acestui concept. Pe de-o parte, calitatea poate fi concepută ca satisfacerea

cerinţelor utilizatorilor bibliotecii în ceea ce priveşte serviciile care le sunt oferite; dar pe de

altă parte avem, calitatea referitoare la producţie, văzută din interiorul organizaţiei, aceasta se

referă la optimizarea muncii şi reducerea costurilor. Acestea sunt două aspecte distincte ale

calităţii serviciilor de bibliotecă, dar ele sunt interdependente şi au ca rezultat conceptul

global de “calitate totală”. Conceptul de „calitate totală” este înţeles ca o extindere a

problematicii calităţii la toate funcţiunile şi la toate nivelurile structurii organizatorice, de la

4 Dicţionarul explicativ al limbii române. Academia Română. Institutul de Lingvistică „Iorgu Iordan”.

Buucureşti: Editura Univers Enciclopedic, 1998 5 Peter Hernon, Ellen Altman. Service quality in Academic libraries. Ablex Publishing, 1996, p. 5-6

6SR ISO 8402 (1995) apud Eugen Axinte. „Îmbunătăţirea calităţii” în Noţiuni de management strategic, suport

de curs, 2007 [online] document disponibil la adresa: http://www.geocities.com/axintee/AQ6.pdf, p.110-125

[citat în 4 ianuarie 2009]

http://www.geocities.com/axintee/AQ6.pdf

7

directorul general până la ultimul angajat, fiecare în parte trebuind să participe la procesul de

îmbunătăţire continuă a calităţii.

Conceptul de calitate totală are la bază următoarele principii:

- implicarea tuturor compartimentelor întreprinderii în realizarea şi ameliorarea

calităţii;

- în cadrul fiecărui compartiment toţi salariaţii au atribuţii precise privind calitatea;

- problema calităţii este în primul rând o problemă de evitare a noncalităţii

(imperfecţiuni, nonconformităţi, defecte, etc.), dar totodată de creştere a nivelului

calitativ al produselor sau serviciilor;

- toate etapele traiectoriei produsului sunt luate în considerare în vederea asigurării

calităţii. 7

Implementarea principiilor calităţii totale este astăzi predominantă în întreprinderile

moderne care asigură satisfacerea cerinţelor clienţilor, creşterea vânzărilor şi reducerea

costurilor prin evitarea risipei de timp, materiale şi energie. Forma de organizare cunoscută şi

acceptată este managementul calităţii totale (TQM). De remarcat faptul că termenul de calitate

totală nu înseamnă calitate perfectă. A-ţi propune să produci „perfect” poate fi nerealist şi,

deci, imposibil de atins. În sfera producţiei de bunuri, ca şi în cea a serviciilor, a realiza o

calitate perfectă este dificil, dacă nu chiar imposibil. Mai mult decât atât, eforturile materiale

şi umane făcute cu scopul obţinerii unei calităţi perfecte se vor traduce în preţuri foarte mari,

chiar prohibitive pentru produsul respectiv. Piaţa de desfacere va fi formată dintr-un număr

foarte restrâns de cumpărători, ceea ce conduce la concluzia că atingerea unei calităţi perfecte

nu merită efortul. De aceea, TQM nu înseamnă că organizaţia respectivă trebuie să

urmărească perfecţiunea pentru toate produsele şi serviciile proprii; înseamnă, de fapt,

obţinerea celei mai bune calităţi posibile pentru produsele realizate sau serviciile furnizate, în

condiţiile date din organizaţia respectivă.

Conform filosofiei TQM, calitatea nu este un obiectiv care, odată atins, trebuie celebrat

evenimentul şi apoi uitată. Calitatea este o ţintă în mişcare, iar obiectivul este îmbunătăţirea ei

constantă.

7 Giovanni di Domenico “Le culture e le pratiche della qualità in biblioteca”, în Biblioteconomia. Principi e

questioni. Coord: Giovanni Solimine e Paul G. Weston. Roma: Carocci, 2007, p. 105-127

8

U1.3 Calitatea în bibliotecă

Interesul pentru evaluare şi îmbunătăţirea calităţii serviciului a devenit unul dintre

principalele obiective ale bibliotecilor. Furnizarea unui serviciu de calitate înseamnă

adaptarea la aşteptările utilizatorului. Aceste aşteptări sunt evidenţiate în urma unei evaluări

asupra satisfacţiei utilizatorului. Când se vorbeşte de calitate, se face referire mai ales la

gradul de satisfacţie al utilizatorului.

În acest context pot fi menţionate cele cinci legi ale biblioteconomiei, elaborate în

anul 1931 de către Shiyali Ramamrita Ranganathan (1892-1972)8:

1. Books are for use – Cărţile sunt făcute pentru a fi folosite

2. Every reader his book – Fiecărui cititor cartea care-i este menită

3. Every book its reader – Fiecărei cărţi cititorul ei

4. Save the time of reader – Ecomomisiţi timpul cititorilor

5. The library is a growing organism – Biblioteca e un organism care creşte

În aceste legi accentul se pune pe utilizator, văzut ca un consumator de servicii şi

materiale oferite de bibliotecă. Aici este locul în care literatura managementului calităţii şi cea

a biblioteconomiei se intersectează. Legile subliniază importanţa accesului la colecţiile

bibliotecii. Scopul biblioteconomiei din zilele noastre, al unei biblioteconomii centrate pe

serviciu şi fondate pe metodologii manageriale, e acela de a mări capacitatea de intersecţie

dintre utilizatori şi colecţiile posedate de bibliotecă până la punctul în care se ajunge la

intersecţia totală, la unificarea acestor două elemente, aşa cum este ilustrat in schema

următoare:

8 Shiyali Ramamrita Ranganathan, Op. cit.

9

Figura U1.1: Capacitatea de intersecţie dintre utilizatori şi colecţiile bibliotecii

U1.3.1 Criteriile calităţii serviciului de bibliotecă după Peter Brophy

Philip Bayard Crospby, om de afaceri şi autor care a contribuit la teoria

managementului, afirma că nu există niciodată o problemă în ceea ce priveşte calitatea.

Aceste probleme nu vin din afară, nu sunt de sine stătătoare. Ele sunt provocate mereu de un

management prost şi pot fi îndreptate tot prin management. Trebuie doar să se ia la cunoştinţă

dorinţele şi nevoile consumatorului de informaţie (în cazul unei organizaţii cum este

biblioteca) şi să se facă tot posibilul ca acestea să ajungă la împlinire.

Peter Brophy9, având ca punct de plecare literatura managerială generală, a adaptat un

set de atribute ale calităţii şi bibliotecilor. Pleacă de la teoriile elaborate de David Garvin în

SUA, în anii ’80. În 1984, Garvin recunoaşte complexitatea termenului şi delimitează cel

puţin cinci perspective din care poate fi privit conceptul de calitate10

:

● viziunea transcendentală: calitatea poate fi recunoscută, dar nu poate fi definită;

● viziunea consumatorului: calitatea ca îndeplinirea cerinţelor acestuia;

● viziunea producătorului: calitatea ca îndeplinire a caietului de sarcini;

●viziunea produsului: calitetea este relaţionată cu caracteristicile inerente produsului;

● viziunea bazată pe valoare: calitatea depinde de suma pe care e dispus clientul să o

plătească;

9 Peter Brophy. “The quality of libraries”. în K. Hilgermann and P. te Boekhorst, eds. The effective library.

München: K. G. Saur, pp. 30-46 10

Garvin, D. A. “Competing on the Eight Dimensions of Quality.”Harvard Business Review, November-

December, 1987, 108-109 apud Peter Brophy. Op.cit., p. 6-7

colecţii

utilizatori

biblioteci instituţii, societate

10

Abordarea lui Garvin era destinată sectorului industrial, dar a fost adaptată mai apoi şi

pentru domeniul biblioteconomiei şi ştiinţelor informării în 1990 de către Marchand, iar mai

apoi de către Peter Brophy şi Jillian Griffiths.

Următorul tabel11

se bazează pe setul de atribute ale calităţii elaborat de Brophy şi

desemnează criteriile de calitate împreună cu exemplele aplicării lor în serviciile de

bibliotecă.

Criteriile calităţii

bibliotecii

Exemple

Performanţă Un serviciu îşi îndeplineşte scopul

de bază

Resursele

informaţionale cheie

devin accesibile la

cerere

Trăsături Caracteristicile secundare care se

adaugă serviciului

Mobilizarea

serviciilor

Funcţionalitate Performanţele serviciului folosit Niciun web link

invalid

Aliniere Serviciul îndeplineşte standardele

stabilite

Dublin Core

Durabilitate Menţinerea serviciului pentru o

perioadă de timp

Predarea

documentului în

două zile

Actualitate Actualizarea informaţiei Catalogul online

Întreţinere Gradul de ajutor disponibil pentru

utilizatori

Serviciul reclamaţii

Estetică Atractivitatea vizuală Felul în care se

prezintă biblioteca,

aspectul site-ului

Accesibilitate Uşurarea accesului şi folosirii Orar de lucru,

structura site-ului

Asigurarea/Competenţa/

Credibilitatea

Experienţa şi cunoştinţele

personalului

Răspunsuri corecte

Politeţea/Responsabilita-

tea/Empatia

Accesibilitatea, flexibilitatea şi

atitudinea prietenoasă a

personalului

Serviciul relaţii

Comunicarea Explicarea clară a serviciilor şi

opţiunilor, într-o limbă lipsită de

jargon

Site-ul, semnele

prezente în

bibliotecă

Viteza Asigurarea rapidă a serviciilor Împrumuturile

interbibliotecare

Varietatea de servicii

oferite

Resursele trebuie să fie suficiente

pentru întreţinerea calităţii în

toate serviciile

Colecţii întregi,

serviciul de

referinţă, servicii de

mail şi chat

Perceperea calităţii Viziunea utilizatorului asupra Satisfacţia

11

Peter Brophy, Op. cit.

11

serviciului utilizatorului

Tabelul U1.1 Criteriile calităţii serviciului de bibliotecă după Peter Brophy

U1.3.2 Roata lui Deming

Această metodă de îmbunătăţire continuă a calităţii a fost concepută şi reprezentată

grafic de W. E. Deming sub forma „ ciclului PDCA ” (Plan- Do- Check- Act), denumit şi

ciclul lui Deming. Acesta constă din patru faze: PLAN (planifică, proiectează, pregăteşte),

DO (execută), CHECK (verifică) şi ACT (acţionează).

În procesul de definire şi stabilire a nivelului de calitate primul aspect de mare

importanţă, care determină evoluţia calităţii la nivel de organizaţie, este transcrierea nevoilor

utilizatorilor în caracteristici măsurabile. Cu aceste caracteristici deja cristalizate se poate

realiza proiectarea şi dezvoltarea unor servicii care să îndeplinească nevoile şi aşteptările

utilizatorilor, utilizând stadiile prezentate în cele ce urmează. Iată în ce constă fiecare din cele

patru faze12

:

1.Faza de planificare (PLAN). Această fază constă din recunoaşterea şi definirea

necesităţii îmbunătăţirii. Deoarece satisfacerea cerinţelor clienţilor / utilizatorilor este punctul

central, se analizează deosebirile dintre necesităţile clienţilor (obţinute prin cercetarea pieţei)

şi performanţele proceselor (obţinute ca informaţii feedback). În această fază trebuie să fie

luate decizii asupra obiectivelor de realizat, tipurilor de măsurare a performanţelor care vor fi

utilizate, precum şi cine va fi responsabil şi pentru ce anume. Pentru observarea şi analiza

cauzelor principale ale problemelor de calitate în vederea elaborării planului de îmbunătăţire,

se pot aplica instrumente şi tehnici statistice.

12

Eugen Axinte, Op. cit., p. 113-125

Do Execută

Act Acţionează

Plan Planifică

Check Verifică

Figura U1.2. Spirala calităţii

12

2. Faza de executare (DO). Se aplică la scară redusă, în scopul testării, planul de

îmbunătăţire, elaborat în faza de planificare, cu implicarea tuturor angajaţilor. Aceasta va

include instruirea în metodele ştiinţifice, examinarea informaţiilor feedback obţinute de la

clienţi cu privire la aşteptările acestora, colectarea informaţiilor statistice din procese,

înţelegerea controlului şi variaţiilor proceselor, formarea echipelor de lucru pentru proiectele

de îmbunătăţire şi comunicarea succeselor rezultate. În această fază va avea loc

implementarea la scară redusă a oricărei schimbări sau oricărui test planificat şi vor fi

colectate datele rezultate.

3. Faza de verificare (CHECK). În faza de verificare sunt investigate rezultatele

implementării pe scară mică a planului de îmbunătăţire. Această verificare implică măsurarea

şi observarea efectelor oricărei schimbări sau oricărui test, efectuate în faza de executare,

analiza rezultatelor precum şi analiza măsurii în care diferenţele dintre necesităţile clienţilor şi

performanţele proceselor au fost micşorate prin adoptarea planului. În analiza rezultatelor vor

fi utile metodele statistice. Rezultatele verificării pot confirma sau nu dacă proiectul de

îmbunătăţire este corect.

4. Faza de acţiune (ACT). În această fază se ia decizia asupra implementării planului:

schimbările vor fi adoptate sau abandonate în funcţie de rezultatele fazei precedente. Se va

obţine feedback-ul din procese şi de la clienţi după implementarea pe scară largă a planului.

Astfel de informaţii vor oferi o evaluare reală a succesului planului, în cazul în care acestea nu

ies la iveală în faza de verificare.

Procesul operativ al metodei PDCA se bazează pe trei subcicluri:

- subciclul de menţinere;

- subciclul de acţiune corectivă (sau prevenire periodică);

- subciclul de îmbunătăţire.

Subciclul de menţinere. În acest subciclu trebuie să se desfăşoare ceea ce este

planificat şi pus în acţiune, în care scop uneori trebuie să se facă o verificare (CHECK); dacă

verificarea este pozitivă, starea de fapt va fi menţinută aşa cum este în prezent şi trebuie să se

controleze în permanenţă că procesul are loc într-un mod sigur. Dacă la verificare se constată

ceva ce nu merge, trebuie activat subciclul de acţiune corectivă. Atunci când faza CHECK

nu confirmă eficienţa planului (măsurii) de îmbunătăţire, trebuie aplicată o acţiune corectivă.

Această acţiune constă în aplicarea unui remediu pentru eliminarea lucrurilor negative

constatate, iar pentru realizarea unei activităţi de menţinere, trebuie să fie eliminate, prin

acţiuni de prevenire periodică, cauzele defectelor sau erorilor din procese.

13

Subciclul de îmbunătăţire trebuie să se bazeze pe primele două subcicluri. Când

activitatea de menţinere a stării de fapt este bine realizată, cu rezultate pozitive, la un moment

dat trebuie să se acţioneze cu o îmbunătăţire a acesteia, lucrurile trebuie efectuate mai simplu,

cu costuri mai puţine, mai bine, mai rapid, mai sigur, aşadar, trebuie să se reînceapă fazele

PLAN – DO. Dacă plecând de la noul PLAN, faza CHECK dă rezultate pozitive, se continuă

cu subciclul de menţinere.

Procesul de îmbunătăţire continuă a calităţii poate fi considerat ca o serie de rotaţii ale

PDCA, efectuate în continuare de toate persoanele care lucrează în întreprindere. Procesul de

îmbunătăţire continuă a calităţii poate fi considerat ca o serie de rotaţii ale PDCA, efectuate în

continuare de toate persoanele care lucrează în întreprindere. Întreaga strategie se bazează pe

gestiunea continuă a metodei PDCA pentru orice proces din întreprindere.

Exemple

Roata lui Deming în bibliotecă

Figura 1.3: Schema roţii lui Deming în bibliotecă

A: Plan (Planifică)

1. Definirea părţilor interesate (stakeholders) de funcţionarea instituţiei

În cazul unei biblioteci aceştia sunt reprezentaţi de:

● Utilizatori (actuali şi potenţiali)

● Instituţiile de finanţare (o universitate, o comunitate, o firmă comercială etc.)

● Personalul bibliotecii

1. Definirea părţilor interesate (stakeholders)

de funcţionarea instituţiei

2. Definirea obiectivelor şi sarcinilor

bibliotecii (misiunea bibliotecii)

3. Definirea caracteristicilor de performanţă

4. Definirea organizaţiei în funcţie de

serviciile pe care le oferă

5. Alocarea resurselor pentru realizarea

obiectivelor

c) Check (Verifică)

a) Plan (Planifică)

1. Activitate

2. Control şi

supraveghere

b) Do (Execută)

1. Verificarea rezultatelor

obţinute în raport cu

obiectivele stabilite şi cu

impactul pe care serviciul

oferit de bibliotecă l-a avut

asupra utilizatorilor

d) Act (Acţionează)

1. O nouă proiectare şi/sau

consolidarea satisfacţiei clienţilor, pe

baza rezultatelor obţinute

14

● Managerii bibliotecii

● Alte grupuri: reprezentanţii angajaţilor şi comitetul de control al bibliotecii

2. Definirea obiectivelor şi sarcinilor bibliotecii (misiunea bibliotecii)

Misiunea bibliotecii ar putea fi rezumată după cum urmează: să selecteze, organizeze

şi asigure accesul la informaţie al utilizatorilor, în primul rând al utilizatorilor primari, şi să

extindă literatura de informare prin ajutor şi serviciile de pregătire.

Misiunea unei biblioteci trebuie să fie construită pe următoarele întrebări:

● De ce există biblioteca?

● Cine este clientul / utilizatorul?

● Ce are valoare pentru client / utilizator?

● Care vor fi pe viitor caracteristicile sectorului prezidat? Până când activitatea

dezvoltată va fi semnificativă?

3. Definirea caracteristicilor de performanţă13

Conform modelului strategic pentru biblioteci, propus de Christine Abbot, următoarele

caracteristici sunt relevante pentru procesul de evaluare în toate tipurile de biblioteci:

● Satisfacţia clientului;

● Eficienţa economică;

● Penetrarea pieţei;

● Numărul de clienţi reali în raport cu numărul celor potenţiali;

● Acceptarea serviciilor oferite;

● Rapiditatea punerii la dispoziţia clienţilor a produselor şi serviciilor;

● Cifra de afaceri (împrumuturi, informaţii);

● Punerea la dispoziţie a documentului sau informaţiei în timp util;

● Productivitatea.

● Acurateţea produselor şi serviciilor;

● Exactitatea (relevanţa);

● Costurile;

4. Definirea organizaţiei în funcţie de serviciile pe care le oferă:

13

“Managementul serviciilor de bibliotecă”, în Managementul serviciilor publice. Prof.univ.dr. Ion Plumb

(coordonator), Conf.univ.dr. Armenia Androniceanu, Prep.univ.drd. Oana Abaluţă http://www.biblioteca-

digitala.ase.ro/biblioteca/carte2.asp?id=12&idb=7

[citat 28 noiembrie 2008]

http://www.biblioteca-digitala.ase.ro/biblioteca/carte2.asp?id=12&idb=7


15

Bibliotecile sunt organizaţii publice, prestatoare de servicii (informaţionale, culturale

si de educaţie) având caracteristici specifice, ce le particularizează in raport cu celelalte

instituţii social-culturale, cum ar fi:

● sunt agenţi de prestare servicii, instituţii care nu sunt orientate spre realizarea de

profit;

● furnizează informaţii şi nu servicii sau produse de factură materială;

● reactionează atât faţă de resurse, cât şi faţă de clientelă într-o manieră dualistă,

câteodată chiar contradictorie, o parte din personal fiind caracterizată de orientarea

preponderentă către carte, restul fiind orientat mai mult către utilizatori, văzuţi ca beneficiari.

5. Alocarea resurselor pentru realizarea obiectivelor

Când este vorba de o organizaţie, resursele se împart în trei categorii:

● resurse financiare şi patrimoniale

● resurse umane

● resurse logistice şi de infrastructură

B: Do (Execută)

1. Activitate

În această fază biblioteca îşi va pune în aplicare, la scară redusă, obiectivele pe care le-

a stabilit în prima etapă. Activitatea va implica tot personalul bibliotecii. Pentru îndeplinirea

misiunii, personalul bibliotecii va fi instruit cu privire la metodele ştiinţifice utilizate şi va

examina continuu informaţiile de feedback obţinut de la clienţi cu privire la aşteptările

acestora.

2. Control şi supraveghere continuă

C: Check (Verifică)

1. Verificarea rezultatelor obţinute în raport cu obiectivele stabilite şi cu impactul pe care

serviciul oferit de bibliotecă l-a avut asupra utilizatorilor

În faza de verificare sunt investigate rezultatele implementării pe scară redusă a

planului de îmbunătăţire, efectul pe care acest plan l-a avut pentru fiecare sector al bibliotecii

şi gradul de realizare al obiectivelor instituţiei. Verificarea va avea două dimensiuni: una de

ordin intern – cercetarea sistematică a climatului organizaţional (care reiese din armonia

relaţiilor dintre indivizii unei organizaţii, precum şi dintre indivizi şi resursele tehnologice

existente la locul de muncă); şi alta de ordin extern – o cercetare sistematică privind

satisfacţia clienţilor bibliotecii. Verificarea continuă a funcţionării serviciilor de bibliotecă,

16

precum şi cercetarea sistematică privitoare la satisfacţia utilizatorilor reprezintă cheia

îmbunătăţirii continue a serviciilor organizative.

D: Act (Acţionează)

1. O nouă proiectare şi/sau consolidarea satisfacţiei clienţilor, pe baza rezultatelor obţinute

În această fază are loc compararea rezultatelor obţinute în urma implemantării pe scară

redusă a planului de îmbunătăţire cu obiectivele propuse în faza de planificare. Se verifică de

asemenea dacă resursele alocate au fost utilizate în mod corespunzător. În funcţie de

rezultatele obţinute, se va propune fie o revizuire a obiectivelor şi o redistribuire a resurselor,

fie ele umane, financiare sau materiale; fie menţinerea şi consolidarea obiectvelor care au dat

rezultate pozitive şi au fost apreciate de utilizatorii bibliotecii. Din fiecare ciclu PDCA,

managerul unei biblioteci învaţă câte ceva. Deciziile luate în această fază sunt canalizate spre

îmbunătăţirea serviciului. Aşa, ciclul este reluat.

Ciclul PDCA sau Roata lui Deming este folositor oriunde scopul final este

îmbunătăţirea performanţei. Furnizează o metodă pentru îmbunătăţirea oricărui proces în mod

sistematic şi doar dacă este folosit în mod constant poate furniza îmbunătăţiri semnificative.

Scopul central al bibliotecii este acela de a oferi servicii de calitate utilizatorilor săi, aşadar

Roata lui Deming trebuie să se rotească în continuu în vederea îmbunătăţirii permanente a

calităţii erogate.

În cele ce urmează, vom vedea care este rolul evaluării în procesul îmbunătăţirii

continue a calităţii serviciilor oferite de bibliotecă.

Să ne reamintim...

Evaluarea calităţii serviciilor oferite de bibliotecă - tratează, la nivel

teoretic, conceptul de evaluare şi pe cel de calitate în bibliotecă.

Pentru a sublinia importanţa evaluării performanţei unei biblioteci, am

prezentat „ciclul PDCA” (Plan- Do- Check- Act), numit şi Roata lui Deming – un

model pentru îmbunătăţirea continuă a calităţii serviciilor oferite de o organizaţie.

Exemple

Roata lui Deming-aplicație în bibliotecă.

17

Să ne reamintim...

Biblioteca este o instituţie publică ce concurează pentru un loc pe piaţa

informaţională. Pentru a învinge, ea trebuie să fie bazată pe o cultură de tip

managerial care să aibă în centru utilizatorul bibliotecii - scopul final al tuturor

activităţilor care se petrec în interiorul unei biblioteci.

De aceea, e important ca biblioteca să aibă la dispoziţie forme de măsurare

care să reflecte percepţia utilizatorului cu privire la serviciile care-i sunt oferite.

Aşadar, evaluarea este un punct esenţial în procesul de creştere al oricărei biblioteci.

Alegeţi un serviciu al bibliotecii şi identificaţi activităţile desfăşurate de către

personalul bibliotecii.

M1.U1.4. Rezumat

Evaluarea calităţii serviciilor oferite de bibliotecă - tratează, la nivel

teoretic, conceptul de evaluare şi pe cel de calitate în bibliotecă.

Pentru a sublinia importanţa evaluării performanţei unei biblioteci, am

prezentat „ciclul PDCA” (Plan- Do- Check- Act), numit şi Roata lui Deming

– un model pentru îmbunătăţirea continuă a calităţii serviciilor oferite de o

organizaţie. Am arătat felul în care acest model poate fi aplicat într-o

organizaţie aşa cum este biblioteca şi cât de importantă este faza de verificare

(Check) în tot acest proces.

În bibliotecă, verificarea va avea două dimensiuni: una de ordin intern –

privind procesele interne ale bibliotecii - şi alta de ordin extern – o cercetare

sistematică privind satisfacţia clienţilor bibliotecii.

Aceste două tipuri de evaluare nu se exclud, ci se completează reciproc,

procesul de evaluare nefiind complet atunci când este realizat doar din una

din aceste perspective.

18

M1.U1.5. Test de evaluare a cunoştinţelor

Care este semnificația termenului de evaluare a bibliotecilor?

Care sunt principiile care stau la baza conceptului de calitate totală?

Enumerați cele 5 legi ale biblioteconomiei elaborate în 1931 de către

Ranganathan.

Temă de control

Alegeţi un serviciu al biblotecii universitare şi dezvoltaţi un plan strategic de

îmbunătățire a serviciilor având în vedere următoarele aspecte:

a) Descrierea produselor şi a serviciilor oferite.

b) Utilizatorii cărora se adresează oferta serviciului

c) Caracterizare a principalilor indicatori de calitate

d) Prezentarea câtorva modalităţăți de verificare a eficienței planului

strategic propus.

19

M1 Unitatea de învățare 2. Instrumente de evaluare în biblioteci

M 1 U2. .1. Instrumente de evaluare în biblioteci....................................................................18

1.1 Indicatorii de performanţă......................................................................................20

1.2 Contribuţiile majore aduse la dezvoltarea recentă a indicatorilor de performanţă

în biblioteci...................................................................................................................21

M1.U2 .2 Perspectivele procesului de evaluare......................................................................24

M2.U2.3 Evaluarea satisfacţiei utilizatorilor..........................................................................26

M2.U2. 4 Elaborarea unui chestionar pentru evaluarea satisfacţiei utilizatorilor...................27

4.1 Structura unui chestionar.......................................................................................28

4.2 Testarea chestionarului..........................................................................................29

Introducere

Este abordată tema instrumentelor de evaluare în bibliotecă. Accentul cade

pe indicatorii de performanţă şi pe contribuţiile majore făcute pentru dezvoltarea

acestora. International Standards Organisation ISO 11620: 1998 Informare şi

Documentare – Indicatori de performanţă pentru bibliotecă, Cheile succesului:

Indicatori de performanţă pentru bibliotecile publice - un manual despre

indicatorii şi măsuratorile de performanţă alcătuit de King Research Ltd.(1998) şi

Roswitha Poll, Peter te Boekhorst (2007). Măsurarea calităţii: Măsurători de

performanţă în biblioteci sunt principalele lucrări menţionate.

Lucrarea se axează pe evaluarea satisfacţiei utilizatorului bibliotecii –

subiectul central al acestei lucrări. Am făcut apel la standardul ISO 11620 pentru a

individua indicatorul de performanţă „satisfacţia utilizatorului”, din prima grupă

de indicatori descrisă de acest standard: B1. percepţia utilizatorului; B1.1 General;

B1.1.1 satisfacţia utilizatorului. Acest indicator poate fi calculat din datele culese

prin intermediul unui chestionar care cuprinde întrebări cu privire la serviciile

pentru care evaluarea este făcută. Ultima parte a acestui modul conţine câteva

detalii privind elaborarea unui astfel de chestionar,

20



Identifice indicatorii de performanță

Să elaboreze un chestionar destinat evaluării satisfacției utilizatorilor



în evaluarea serviciilor bibliotecii


înţeleagă şi să explice elementele care stau la evaluării serviciilor de bibliotecă;

înţeleagă importanţa activităţilor de evaluare din cadrul unei biblioteci;

identifice caracteristicile etapelor din procesul de evaluare;

identifice ariile de acţiune a diferitelor persoane implicate în activităţi de

marketing.


M1.U 2.1 Instrumente de evaluare în biblioteci

2.1.1 Indicatorii de performanţă

Indicatorii de performanţă sunt indicatori tehnico-economici care analizează sintetic

şi calitativ performanţa activităţilor biblioteconomice şi rezultatele managementului aplicat,

adică performanţa sa.

Ca instrument de planificare şi evaluare a activităţii de bibliotecă, indicatorii de

performanţă au două obiective principale: facilitarea controlului în cadrul procesului de

management şi servirea ca referinţă şi dialog între personalul bibliotecii şi organele

finanţatoare sau comunitatea utilizatorilor.

Întrucât varietatea bibliotecilor este atât de mare, este important de înţeles că nu toţi

indicatorii stabiliţi sunt utili tuturor bibliotecilor. Bibliotecile, consultându-se cu instituţiile

cărora le sunt subordonate şi cu autorităţile tutelare, cum ar fi administraţiile locale sau

administraţia centrală, precum şi cu utilizatorii sau alte organe de decizie, trebuie să hotărască

indicatorii care sunt mai adecvaţi pentru fiecare situaţie particulară. Decizia trebuie luată în

funcţie de misiunea, scopurile şi obiectivele bibliotecii. Indicatorii de performanţă trebuie

corelaţi cu procesul sistematic de planificare şi evaluare a bibliotecilor. Acţiunile de măsurare

şi evaluare trebuie să se desfăşoare cu regularitate. Rezultatele trebuie raportate astfel încât să

21

se furnizeze informaţii pentru procesul decizional şi să demonstreze modul în care biblioteca

îşi îndeplineşte misiunea sa.

Pentru a stabili care indicatori de performanţă sunt mai adecvaţi pentru o anume

bibliotecă, pentru a colecta şi analiza datele necesare, ca şi pentru a formula o strategie

managerială pe baza interpretării rezultatelor, sunt necesare o serie de calificări profesionale

specifice. Unele biblioteci vor considera important şi necesar ca, înaintea aplicării

indicatorilor de performanţă, să se ocupe de instruirea corespunzătoare a personalului şi

crearea capacităţilor de perfecţionare pentru aceasta.

2.1.2 Contribuţiile majore făcute la dezvoltarea recentă a indicatorilor de

performanţă în biblioteci

a) King Research Ltd. Cheile succesului: Indicatori de performanţă pentru bibliotecile

publice. Londra; HMSO 1990.

Această lucrare a fost iniţiată în Marea Britanie de către Departamentul guvernamental

de moştenire naţională, într-un moment în care evaluarea performanţei în biblioteci devenise o

prioritate. British Library Research and Development Department (Departamnetul de

cercetare şi dezvoltare al bibliotecii britanice) a depus eforturi considerabile pentru realizarea

acestei iniţiative.

O secţiune de la începutul manualului intitulată „cum să?” explică raţiunile pentru care

e necesară evaluarea performanţelor în biblioteci, dar dă şi detalii precise despre cum aceasta

poate fi făcută. Terminologia privitoare la evaluarea performanţei este definită minuţios. De

exemplu, se face o distincţie clară între măsurători de performanţă „indicatori de mărime, de

valoare” şi indicatori de performanţă - care rezultă din combinarea a două măsurători şi oferă

o indicaţie de performanţă.

A doua secţiune enumeră şi descrie măsurătorile de performanţă prezente în manual. Sunt

21 de măsurători, împărţite în 4 categorii:

Măsurători de performanţă14

1. Măsurători ale costului intrărilor (input)

2. Măsurători ale ieşirilor (output)

3. Măsurători ale eficienţei serviciilor

4. Măsurătorile domeniilor vizate de servicii

14

“Managementul serviciilor de bibliotecă”, în Managementul serviciilor publice. Prof.univ.dr. Ion PLUMB

(coordonator), Conf.univ.dr. Armenia ANDRONICEANU, Prep.univ.drd. Oana ABALUTA .


[citat 10 decembrie 2008]


22

A treia secţiune enumeră 16 indicatori de performanţă ce pot fi alcătuiţi din măsurători. Şi

aceştia sunt împărţiţi în patru categorii15

:

● indicatori de performanţă operaţionali

● indicatori de eficacitate

● indicatori de eficienţă economică

● indicatori de impact

În cadrul acestei lucrări care are ca element central evaluarea serviciilor unei biblioteci

în funcţie de gradul de satisfacţie al utilizatorilor cu privire la acestea, este relevantă clasa

indicatorilor de eficacitate din fac parte indicatorii de satisfacţie din punct de vedere al

utilizatorilor informaţiei, respectiv:

- gradul de satisfacţie al utilizatorului in raport cu biblioteca;

- timpul mediu de aşteptare pentru obţinerea informaţiei solicitate;

- gradul de satisfacţie al utilizatorului raportat la calitatea informaţiei solicitate;

- proporţia utilizatorilor nemulţumiti de serviciile oferite in raport cu numărul total de

utilizatori ai serviciilor bibliotecii (pentru raportare se consideră un interval de timp

convenabil ales);

Calcularea şi interpretarea fiecărui indicator este apoi descrisă în conformitate cu

următoarele elemente: măsurători, metode, corelaţia cu performanţa, indicatori înrudiţi şi

exemple. Manualul se încheie cu prezenterea unor metodologii detaliate pentru măsurarea

intrărilor, ieşirilor, eficienţei şi valorii domeniilor de servicii vizate şi pentru calcularea

măsurătorilor şi indicatorilor derivaţi din acestea.

b) Poll, di R., Boekhorst, te P. (2007). Measuring Quality: Performance Measurement in

Libraries. Walter de Gruyter: Berlin – New York16

Sunt mai mult de zece ani de când manualul Măsurarea calităţii a fost pentru prima

oară publicat. În aceşti zece ani, au avut loc schimbări rapide şi pe scară largă în comunicarea

şcolară şi în serviciile din biblioteci. Bibliotecile îşi dezvoltă atât fondul tradiţional, cât şi

serviciile în format electronic şi web. Aşadar, măsurarea performanţelor trebuie să includă

indicatori pentru resursele şi serviciile electronice. Ea trebuie să combine formele noi cu cele

tradiţionale. Prima ediţie (1995) a acestui manual cuprindea doar doi indicatori foarte simpli

pentru serviciile electronice ale bibliotecii. Noua ediţie oferă şapte indicatori special

15

Cheile succesului. Indicatori de performanţă pentru bibliotecile publice. Bucuresti: ABBPR, 1998, p. 55-118

apud Amelia COSTOIU Indicatori de performanţă pentru evaluarea activităţilor biblioteconomice.

http://www.bcub.ro/continut/unibib/costoiu.php [citat în 11 decembrie 2008]

16

Roswitha Poll, Peter te Boekhorst, op. cit. p. 5-9

http://www.bcub.ro/continut/unibib/costoiu.php

23

concepuţi pentru serviciile electronice; o mare parte din alţi indicatori combină calitatea

serviciilor tradiţionale cu cele electronice.

Din cei 17 indicatori din prima ediţie, 6 au fost eliminaţi, fie din cauza faptului că s-au

dovedit prea dificili în practică şi de aceea nu au fost folosiţi prea des (ex: lista de expertiză

pentru verificarea colecţiilor, rata de succes la căutarea subiectelor) sau pentru că au fost

înlocuite de indicatori mai noi, inclusiv de cei destinaţi serviciilor electronice. Această carte

este destinată ca instrument practic pentru evaluarea serviciilor bibliotecii. În vreme ce prima

ediţie ţintea doar spre bibliotecile academice, perspectiva a fost acum lărgită ca să includă şi

bibliotecile publice, dar indicatorii propuşi pot fi selectaţi astfel încât să facă posibilă

evaluarea calităţii serviciilor în orice fel de bibliotecă.

Această carte ilustrează un set de 40 de indicatori care au fost selectaţi după următoarele

criterii:

Să acopere întreaga gamă de resurse şi servicii oferite în general de bibliotecile

publice şi academice.

Să ia în considerare atât serviciile tradiţionale, cât şi noile servicii electronice şi, dacă

este posibil, să le combine în indicatori uniţi.

Să acopere diverse aspecte ce ţin de calitatea serviciilor, cum sunt ele descrise în

Managementul strategic al bibliotecii, incluzând indicatori ce ţin de dezvoltare şi

potenţial.

În manual, cei 40 de indicatori sunt împărţiţi în 4 grupe, aşa cum poate fi observat în

Anexa 1 : Cei 40 de indiatori de performanţă enumeraţi în manulul Măsurarea calităţii.

Măsurători de performanţă în biblioteci.

c) International Standards Organisation ISO 11620:1998 Informare şi Documentare –

Indicatori de performanţă pentru bibliotecă.

Studiul PROLIB-PI a fost iniţiat de Comisia Europeană în 1993, ca parte componentă a

planului European pentru Biblioteci. Scopul studiului era să dezvolte un set de măsuri de

performanţă şi de indicatori relevanţi şi aplicabili în orice tip de bibliotecă din Europa.

Instrumentul creat furnizează informaţii cu privire la implementarea şi analiza unei varietăţi

de măsurători şi indicatori folositori pentru evaluarea serviciilor de bibliotecă. Autorii susţin

că tehnicile pentru măsurarea performanţei propuse de ei pot fi aplicate în orice fel de

bibliotecă, indiferent de modelul de management folosit. ISO 11620 este segmentat în cinci

24

arii principale, referitoare la serviciile, activităţile şi aspectele care pot fi măsurate într-o

bibliotecă. Fiecărei arii îi corespund indicatori de performanţă specifici evaluării. Iată, pe

scurt, ce reprezintă acest standard:

Se referă la evaluarea oricărui tip de bibliotecă

Specifică cerinţele pentru fiecare indicator de performanţă

Propune un set de indicatori centrali

Este un ghid pentru implementarea acestor indicatori de performanţă în bibliotecile

unde nu există deja

În lucrare sunt specificaţi 29 de indicatori, grupaţi după cum urmează:

1. percepţia utilizatorului

2. servicii pentru public

3. servicii tehnice

4. promovarea serviciilor

5. disponibilitatea si folosirea resurselor umane

În această lucrare, ne vom axa pe prima grupă de indicatori:

B1. percepţia utilizatorului

B1.1 General

B1.1.1 satisfacţia utilizatorului

2.1.3. Care sunt perspectivele procesului de evaluare?

Perspectivă

internă

Biblioteca

Focus asupra

proceselor şi

produselor

Abordare

cantitativă

Perspectivă

externă

Utilizatorul

Focus asupra

calităţii şi asupra

impactului

Abordare

calitativă

Figura 2.4. Perspectivele procesului de evaluare

25

Aşa cum ilustrează Figura 1.4, există două perspective ale evaluării. Una are în centru

biblioteca, văzută ca instituţie care oferă servicii, iar cealaltă are ca punct central utilizatorul

bibliotecii şi felul în care acesta percepe serviciile oferite de bibliotecă. În această lucrare,

accentul va fi pus pe evaluarea calitativă, care are drept punct de interes utilizatorul

bibliotecii. În Dicţionarul explicativ de biblioteconomie şi ştiinţa informării, utilizatorul este

definit ca fiind “o persoană sau instituţie care beneficiaază de serviciile unei biblioteci,

organism de informare şi documentare, program de calculator”17

Să ne reamintim...

Există 16 indicatori de performanţă ce pot fi alcătuiţi din măsurători. Şi aceştia sunt împărţiţi

în patru categorii18

:

● indicatori de performanţă operaţionali

● indicatori de eficacitate

● indicatori de eficienţă economică

● indicatori de impact

Pentru evaluarea serviciilor unei biblioteci în funcţie de gradul de satisfacţie al utilizatorilor

cu privire la acestea, este relevantă clasa indicatorilor de eficacitate din fac parte indicatorii de

satisfacţie din punct de vedere al utilizatorilor informaţiei, respectiv:

- gradul de satisfacţie al utilizatorului in raport cu biblioteca;

- timpul mediu de aşteptare pentru obţinerea informaţiei solicitate;

- gradul de satisfacţie al utilizatorului raportat la calitatea informaţiei solicitate;

- proporţia utilizatorilor nemulţumiti de serviciile oferite in raport cu numărul total de

utilizatori ai serviciilor bibliotecii (pentru raportare se consideră un interval de timp

convenabil ales);

17

Mircea Regneală. Dicţionarul explicativ de biblioteconomie şi ştiinţa informării, vol. II (M-Z). Bucureşti:

FABR, p.349 apud Informaţia şi utilizatorii săi. Coord. Rodica Mandeal şi Octavia-Luciana Porumbeanu.

Bucureşti: Editura Universităţii din Bucureşti, 2006, p. 198 18

Cheile succesului. Indicatori de performanţă pentru bibliotecile publice. Bucuresti: ABBPR, 1998, p. 55-118

apud Amelia COSTOIU Indicatori de performanţă pentru evaluarea activităţilor biblioteconomice.



26

Identificați indicatorii de performanță ce pot fi măsurați în cadrul serviciului de

catalogare-clasificare-indexare.

2.1.4 Evaluarea satisfacţiei utilizatorului

Aşa cum afirmă Giovanni di Domenico19

„Satisfacţia clientului, a utilizatorului, a

cetăţeanului, reprezintă inima tuturor culturilor organizaţionale orientate spre calitate”.

Această afirmaţie este motivată de faptul că utilizatorii, văzuţi ca producători, difuzori sau

consumatori de informaţie, reprezintă un element fundamental în procesul de transfer al

informaţiei20

.

Nevoile utilizatorilor în ceea ce priveşte biblioteca sunt uşor de intuit. Ei vor să

identifice materiale care să satisfacă nevoile lor de informare, vor să le găsească uşor, iar în

cazul în care au probleme cu identificarea anumitor resurse ei doresc să primească răspunsuri

prompte şi politicoase din partea unui personal calificat. Îşi doresc un loc liniştit unde să

citească sau să studieze. Ei nu doresc opusul unui serviciu de calitate: personal nepoliticos,

ignoranţă, întârzieri.21

Pentru a evalua nivelul aşteptărilor utilizatorilor şi a percepţiei acestora asupra

serviciului care le este furnizat, cercetătorii au dezvoltat proceduri din ce în ce mai complexe.

Multe din aceste metode sunt bazate pe scale de evaluare (notate cu valori de la 1 la 5 – valori

care variază de la foarte nesatisfăcător la foarte satisfăcător). Aceste scale permit nu doar

măsurarea serviciilor oferite, prin raportare la percepţia utilizatorului, dar se poate evidenţia

dacă, în timp, calitatea serviciului s-a îmbunătăţit; pot fi comparate diverse sectoare ale unei

organizaţii sau pot fi comparate propriile prestaţii cu cele ale concurenţei.

Aşa cum putem observa din Standardul ISO 11620:1998 Informare şi Documentare –

Indicatori de performanţă pentru bibliotecă, pentru ultimele patru grupe de indicatori (B2

Servicii oferite publicului, B3 Servicii tehnice, B4 Promovarea serviciilor si B5

Disponibilitatea resurselor umane22

), datele evaluării sunt obiective, obţinute prin măsurători,

spre deosebire prima grupă, unde datele sunt furnizate chiar de către utilizatorii bibliotecii. În

timp ce pentru ultimele patru arii, indicatorul final este reprezentat de media altor indicatori,

percepţia utilizatorilor este dată de un singur indicator: B. 1.1.1 – Satisfacţia utilizatorului

19

Giovanni di Domenico, Op.cit, p.105-127 20

Informaţia şi utilizatorii săi..., Op.cit. p. 9 21

Peter Hernon, Ellen Altman.Op. cit., p. 6 22

Paolo Bellini, Ivana Rizzi. Op. cit., p.56-57

27

(User Satisfaction). Acest indicator poate fi calculat din datele culese prin intermediul unui

chestionar care cuprinde întrebări cu privire la serviciile pentru care se evaluarea este făcută.

Fiecărui serviciu, evaluat separat, sau fiecărui grup de servicii îi corespunde un punctaj mediu

calculat pe o scală de 5 puncte, unde 1 coincide cu valoarea minimă. Chestionarul este

distribuit utilizatorilor care se folosesc de serviciul respectiv. După ce au fost strânse datele

necesare se calculează media care-i corespunde indicatorului B. 1.1.1 – Satisfacţia

utilizatorului.

Descrierea indicatorului satisfacţia utilizatorului (user satisfaction):

Definiţie: Cotarea medie de către utilizatori a serviciilor de bibliotecă în totalitate sau

a diferitelor servicii prestate de aceasta pe baza unei scale formată din cinci niveluri (de la 1-

5, în care 1 este valoarea cea mai scăzută).

Se alcătuieşte un chestionar enumerând serviciile specifice sau aspecte ale serviciilor

oferite care trebuie apreciate. În chestionar pot fi introduse întrebări privind statutul

utilizatorului. Se formează un eşantion reprezentativ de utilizatori, aceştia fiind solicitaţi să

completeze chestionarul.

2.1.5 Elaborarea unui chestionar pentru evaluarea satisfacţiei utilzatorilor

Chestionarul reprezintă o succesiune logică şi psihologică de întrebări scrise sau

imagini grafice care, administrate de un anchetator, determină din partea celui intervievat un

anumit comportament ce urmează a fi înregistrat în scris. Este instrumentul principal de

obţinere a informaţiilor în cercetarea directă, de aceea, în elaborarea chestionarului este foarte

important numărul de întrebări, conţinutul lor, modul de formulare şi aranjare a acestora în

chestionar.

Elaborarea unui chestionar presupune stabilirea unui eşantion. Eşantionul

reprezintă o parte dintr-un tot care permite, prin studierea sa, cunoaşterea întregului.

Eşantionul este reproducerea la scară largă a structurii universului anchetei, macheta care

reprezintă ansamblul. Numărul de subiecţi investigaţi depinde şi de timpul de care dispune

cercetătorul. Când este vorba despre efectuarea unei lucrări cu caracter didactic, al cărei timp

de realizare nu este mare, eşantionul va cuprinde un număr nu prea mare de subiecţi; el va

trebui să fie însă reprezentativ; să păstreze o proporţie între bărbaţi/femei, să reprezinte

diferite vârste sau, dacă este cazul, diferite situaţii în care se pot afla studenţii unei facultăţi,

sub aspectul modului de locuire: la părinţi/gazdă/cămin studenţesc, al anilor de studii etc.

28

Este bine ca înainte de a lansa un chestionar să se ştie dacă cititorilor nu li s-a mai

cerut să răspundă foarte recent şi la alte chestionare, deoarece informaţiile furnizate pot fi

afectate. Utilizatorul poate răspunde superficial şi în cazul în care deficienţele semnalate de

către cititor nu au fost corectate23

.

2.1.6 Structura unui chestionar

Un chestionar are două părţi:

partea care conţine întrebări de identificare a subiectului intervievat (stare civilă, sex,

venit, loc de muncă);

parte care cuprinde problematica propriu-zisă a cercetării.

Elaborarea unui chestionar necesită parcurgerea unui plan cu următoarele etape:

Evaluarea necesarului de informaţii pentru cercetare;

Formularea întrebărilor care să ducă la obţinerea informaţiilor solicitate;

Aranjarea întrebărilor într-o succesiune logică pentru a obţine informaţii complete

(ancheta pilot);

Pretestarea chestionarului pe un subeşantion de interlocutori;

Verificarea răspunsurilor reieşite din ancheta pilot din punct de vedere al calităţii

informaţiilor şi al posibilităţilor de tabelare a acestora;

Reformularea chestionarului (dacă este cazul).

Numărul minim de întrebări este de 15 – 20 pentru cercetările simple, cu

răspunsuri de natură categorială sau dihotomice. În cercetările motivaţionale (comportamentul

consumatorului) se poate ajunge la un număr de 60 – 100 de întrebări. Întrebările de

identificare trebuie amplasate la sfîrşitul chestionarului deoarece interlocutorul trebuie mai

întîi familiarizat cu problematica cercetării şi apoi întrebat detalii personale. Amplasarea la

sfîrşitul chestionarului reprezintă atît o chestiune de politeţe, cît şi o strategie întrucît mai întîi

se obţin cît mai multe informaţii, pentru ca mai apoi subiectul să fie “enervat” cu întrebări

personale. În anumite situaţii întrebările de identificare se pun la începutul chestionarului: în

cazul testării intenţiilor de cumpărare sau al unor studii cu caracter profesional24

. Întrebările

care se referă la cercetarea propriu-zisă se aranjează pe principiul pîlniei, de la general către

particular sau invers. Din punctul de vedere al conţinutului şi aranjării întrebărilor, eficienţa

elaborării unui chestionar este asigurată de cele 10 principii formulate de Pierre Dubois şi

Alain Jolibert:

23

Daniela Dumitrescu, Op. cit. 24

Septimiu Chelcea. Chestionarul în investigaţia sociologică, Bucureşti: Editura ştiinţifică şi enciclopedică,

1975, 187-201

29

Chestionarul trebuie să respecte două principii:

să stimuleze interesul celui intervievat;

să reflecte prin conţinutul său întreaga problematică ce trebuie cunoscută.

Întrebările25

:

trebuie să fie clare pentru a putea fi înţelese şi interpretate;

să fie realiste şi să nu comporte grad ridicat de dificultate;

să fie neutre, netendenţioase, să aibă o succesiune logică şi un caracter progresiv ;

să fie scurte (o întrebare să se refere la o singură problemă);

să determine răspunsuri care pot fi repetate şi uşor înregistrate;

să poată fi reformulate uşor pentru a se vedea dacă pot comporta răspunsuri diferite;

să nu aibă un caracter vag, ipotetic sau insinuant;

răspunsurile să nu fie influenţate de apelarea la memorie, dorinţă, prestigiu.

Întrebările pot fi26

:

întrebări simple, cu o singură opţiune;

întrebări filtru : pentru stabilirea gradului de cunoaştere de către cel anchetat a

problemei puse în discuţie ;

întrebări care comportă mai multe opţiuni (întrebări închise precodificate), dînd

posibilitatea interlocutorului să aleagă două sau mai multe variante;

întrebări deschise care dau posibilitatea interlocutorului de a comenta cu propriile lui

cuvinte părerea despre un produs;

întrebări semantice/în scară oferă posibilitatea exprimării graduale a unor opinii.

Modalităţi de adresare pentru completarea chestionarului:

prin deplasarea la cei intervievaţi (pe stradă, la expoziţii) prin contact direct;

prin telefon;

prin corespondenţă;

prin internet

2.1.7 Testarea chestionarului

Este important să se ştie cât timp ia unui subiect completarea chestionarului şi dacă

acesta conţine întrebări pe care subiectul nu le înţelege.

Pentru testarea în avans a chestioanrului pe care l-a întocmit, cercetătorul trebuie să

dea formulare de chestionar membrilor de familie sau unor prieteni şi să discute apoi cu

25

Ibidem, p. 201-226 26

Ibidem, p. 148

30

aceştia asupra dificultăţilor întâmpinate în completarea lor sau a altor aspecte observate,

vizând următoarele:

Cât timp le-a luat completarea chestionarului?

Cât de clare sunt instrucţiunile?

Este vreo întrebare neclară sau ambiguă? Care şi de ce?

S-a obiectat în a răspunde la vreo întrebare?

S-a omis vreun aspect important?

Prezentarea chestionarului este clară, atrăgătoare?

Alte comentarii.

În funcţie de răspunsurile celor care au răspuns solicitării, cercetătorul trebuie să revadă

şi să modifice chestionarul înainte de a-l distribui subiecţilor. Acest lucru ia ceva timp dar o

pregătire anterioară bine pusă la punct, scuteşte de multe ore de muncă în etapa de

centralizare şi analizare a rezultatelor.

Să ne reamintim...

„Satisfacţia clientului, a utilizatorului, a cetăţeanului, reprezintă inima tuturor

culturilor organizaţionale orientate spre calitate”.

Standardul ISO 11620:1998 Informare şi Documentare – Indicatori de

performanţă pentru bibliotecă, pentru ultimele patru grupe de indicatori (B2 Servicii

oferite publicului, B3 Servicii tehnice, B4 Promovarea serviciilor si B5

Disponibilitatea resurselor umane27

), datele evaluării sunt obiective, obţinute prin

măsurători

Chestionarul reprezintă o succesiune logică şi psihologică de întrebări scrise

sau imagini grafice care, administrate de un anchetator, determină din partea celui

intervievat un anumit comportament ce urmează a fi înregistrat în scris.

Este instrumentul principal de obţinere a informaţiilor în cercetarea directă, de

aceea, în elaborarea chestionarului este foarte important numărul de întrebări,

conţinutul lor, modul de formulare şi aranjare a acestora în chestionar.

27

Paolo Bellini, Ivana Rizzi. Op. cit., p.56-57

31

Elaborați un chestionar destinat măsurării satisfacției utilizatorului.

M2.U2.8. Rezumat

Lucrarea se axează pe evaluarea satisfacţiei utilizatorului bibliotecii –

subiectul central al acestei lucrări. Am făcut apel la standardul ISO 11620 pentru a

individua indicatorul de performanţă „satisfacţia utilizatorului”, din prima grupă de

indicatori descrisă de acest standard: B1. percepţia utilizatorului; B1.1 General;

B1.1.1 satisfacţia utilizatorului. Acest indicator poate fi calculat din datele culese

prin intermediul unui chestionar care cuprinde întrebări cu privire la serviciile pentru

care evaluarea este făcută. Ultima parte a primului capitol conţine câteva detalii

privind elaborarea unui astfel de chestionar, date care vor fi puse în practică în

capitolul al treilea.


Cum definim satisfacția utilizatorului?

Ce reprezintă un chestionar?

Ce este un eșantion?

Temă de control

Elaborați un chestionar pentru testarea satisfacției colegilor Dvs privind serviciul

de relații cu publicul al bibliotecii.

32

MODULUL 2. UNITATEA DE ÎNVĂȚARE 1

LibQUAL+TM

– un model pentru evaluarea satisfacţiei

utilizatorilor unei biblioteci

Introducere

Un element fundamental în acest domeniu de cercetare este proiectul

LibQUAL+™ - un proiect destinat evaluării satisfacţiei utilizatorilor bibliotecii cu

privire la serviciile furnizate de aceasta. Această suită de servicii este răspândită în

toată lumea. Chestionarul care stă la baza acestui proiect a fost deja tradus în 12

limbi. LibQUAL+™ este cel mai complex proiect care există în lume în acest

moment pentru evaluarea satisfacţiei utilizatorilor bibliotecii.

- LibQUAL+™ - Un model pentru evaluarea satisfacţiei utilizatorilor unei

biblioteci – este prezentat un model foarte complex folosit pentru evaluarea

satisfacţiei utilizatorilor în ceea ce priveşte serviciile oferite de bibliotecă. Este

vorba de LibQUAL+™ - o suită de servicii pe care bibliotecile le folosesc pentru a

urmări şi înţelege opiniile utilizatorilor cu privire la calitatea serviciilor oferite de

bibliotecă. Proiectul are în vedere îmbunătăţirea serviciilor bibliotecii în funcţie de

cerinţele şi nevoile imediate ale utilizatorilor. Elementul care ocupă un loc central

în cadrul LibQUAL+™ este un chestionar în format electronic adresat

utilizatorilor bibliotecii. Acest chestionar ajută bibliotecile să evalueze serviciile pe

care le oferă publicului şi – în funcţie de rezultate - să-şi schimbe cultura

organizaţională.

Adoptarea acestui model plătit de evaluare poate aduce multe beneficii atât

instutuţiei care îl demarează cât şi utilizatorilor acesteia. Acesta este motivul

pentru care prezentarea lui este de mare importanţă în cadrul unei lucrări care

tratează evaluarea bibliotecilor din punctul de vedere al utilizatorilor acesteia. Este

util pentru instituţie deoarece îi furnizează rapoarte şi statistici care îi permit să se

compare cu o altă instituţie de acelaşi nivel, rapoarte care permit evaluarea

serviciilor în funcţie de percepţia utilizatorilor, şansa de a deveni membru al unei

comunităţi care are ca interes central dezvoltarea principiului excelenţei în ceea ce

priveşte serviciile de bibliotecă şi accesul la o bibliotecă digitală care conţine

articole referitoare la LibQUAL+TM

, dar şi alte publicaţii de interes

biblioteconomic.

33

Şi pentru utilizatori este util LibQUAL+TM

deoarece le dă oportunitatea de

a semnala punctele în care serviciile de bibliotecă necesită îmbunătăţiri, în aşa fel

încât biblioteca să poată răspunde la exigenţele lor. Calitatea serviciilor – cea

dorită de utilizatori – poate fi obţinută fie şi prin simpla comparaţie între

rezultatele obţinute de către biblioteca evaluată şi cele ale unei

instituţii de acelaşi rang, examinând serviciile oferite de acele biblioteci care au

fost evaluate pozitiv de către utilizatori.





satisfacţiei utilizatorilor în ceea ce priveşte serviciile oferite de bibliotecă.

Este vorba de LibQUAL+™ - o suită de servicii pe care bibliotecile le folosesc

pentru a se cunoaște cum se realizează practic evaluarea unei biblioteci.

Unitatea de învăţare M2.U1. - LibQUAL+™ - Un model pentru evaluarea

satisfacţiei utilizatorilor unei biblioteci

M2.U2.1. Introducere..............................................................................................................33

M2.U2.2. Obiectivele unităţii de învăţare................................................................................34

M2.U 2.3 Ce este LibQUAL+™?............................................................................................35

M2.U 2.4 Care sunt scopurile LibQUAL+™?.........................................................................37

M2.U 2.5 Cum a luat naştere LibQUAL+™?...........................................................................37

M2.U 2.6 Scurt istoric LibQUAL+™.......................................................................................39

M2.U 2.7 Comitetul de conducere LibQUAL+™....................................................................43

M2.U 2.8 Părţile componente ale sondajului LibQUAL+™....................................................43

M2.U 2.9 Serviciile şi taxele LibQUAL+™.............................................................................45

M2.U 2.10 Beneficiile pe care le aduce LibQUAL+™...........................................................46

10.1 Instituţiei care îl foloseşte.....................................................................................46

10.3 Utilizatorilor bibliotecii.........................................................................................47

M2.U 2.11. Defectele chestionarului LibQUAL+™................................................................47

34

M2.U2.1. Introducere



satisfacţiei utilizatorilor în ceea ce priveşte serviciile oferite de bibliotecă. Este

vorba de LibQUAL+™ - o suită de servicii pe care bibliotecile le folosesc pentru a

urmări şi înţelege opiniile utilizatorilor cu privire la calitatea serviciilor oferite de

bibliotecă. Proiectul are în vedere îmbunătăţirea serviciilor bibliotecii în funcţie de

cerinţele şi nevoile imediate ale utilizatorilor. Elementul care ocupă un loc central

în cadrul LibQUAL+™ este un chestionar în format electronic adresat

utilizatorilor bibliotecii. Acest chestionar ajută bibliotecile să evalueze serviciile pe

care le oferă publicului şi – în funcţie de rezultate - să-şi schimbe cultura

organizaţională.



în analiza și evaluarea serviciilor de bibliotecă.


● Să stimuleze o cultură a excelenţei în furnizarea serviciilor de bibliotecă;

● Să ajute bibliotecile în înţelegerea felului în care utilizatorul percepe calitatea

serviciilor;

● Să colecteze şi să interpreteze feedback-ul dat de utilizatorii bibliotecii de-a

lungul timpului;

● Să furnizeze bibliotecilor informaţii obţinute în urma evaluării altor instituţii de

profil în vederea realizării unor comparaţii cu acestea;

● Să identifice care sunt cele mai eficiente practici în serviciul oferit de bibliotecă;

● Să crească nivelul capacităţii de interpretare analitică şi de prelucrare a

informaţiei în rândul personalului bibliotecii;


35

M2.U2.3. O bibliotecă este o instituţie prestatoare de servicii, al cărei scop primar este

acela de a furniza servicii de calitate clienţilor / utilizatorilor săi. Calitatea este judecată în

termeni de eficacitate, mulţumită unei activităţi de evaluare care se află în măsura de a stabili

până la ce punct serviciul îşi îndeplineşte obiectivele. Giovani di Domenico28

consideră că în

mod necesar „cultura calităţii se conjugă întotdeauna cu cultura evaluării”. Eficacitatea

bibliotecilor şi a altor servicii de informare poate fi măsurată în termeni de rezultate, înţelese

ca produse sau servicii erogate de bibliotecă. Din moment ce scopul final al tuturor

activităţilor care se petrec în interiorul unei biblioteci este utilizatorul, e important ca

biblioteca să aibă la dispoziţie forme de măsurare care să reflecte percepţia utilizatorului cu

privire la serviciile care-i sunt oferite.

În acest capitol, este prezentat LibQUAL+™ - un model de evaluare plătit, al cărui

punct central este un chestionar menit să evalueze satisfacţia utilizatorilor cu privire la

serviciile oferite de biblioteca pe care o frecventează.

Exemplificaţi alte produse prin care se poate evalua serviciile unei biblioteci.

M2.U 2.3 Ce este LibQUAL+™? LibQUAL+™ reprezintă o suită de servicii pe care bibliotecile le folosesc pentru a

urmări şi înţelege opiniile utilizatorilor cu privire la calitatea serviciilor oferite de bibliotecă.

Tot în acest context se are în vedere îmbunătăţirea serviciilor bibliotecii în funcţie de cerinţele

şi nevoile imediate ale utilizatorilor. LibQUAL+™ este oferit comunităţii bibliotecare de

către Association of Research Libraries – (ARL)29

. Sloganul LibQUAL+™ este următorul:

“….only customers judge quality; all other judgments are essentially irrelevant” 30

(doar

clienţii pot să judece calitatea; celelalte opinii sunt irelevante). Internetul şi serviciile oferite

28

Giovanni di Domenico. Op. cit. p.105-127 29

Martha Kyrilidou. Library assessment: why today and not tomorrow? lucrare prezentată la Conferinţa despre

Evaluarea bibliotecilor care a avut loc la Tesalonic, Grecia, 13-15 iunie, 2005, p. 8. [online] articol disponibil la

adresa: www.libqual.org/documents/admin/KyrillidouGreecePapers.doc [citat în 26 septembrie 2008]

26 Zeithaml, Parasuraman, Berry. Delivering quality service. NY: The Free Press, 1999 apud „LibQUAL+:

Service quality assessment in research libraries” în IFLA Journal 27 (2001) 4, p. 265 [online] document

disponubil la adresa: http://ifla.queenslibrary.org/V/iflaj/art2704.pdf [citat 4 ianuarie 2009]

http://www.libqual.org/documents/admin/KyrillidouGreecePapers.doc

http://ifla.queenslibrary.org/V/iflaj/art2704.pdf

36

de Google au schimbat radical felul în care ne raportăm la informaţie. Acum bibliotecile

concurează pentru un loc pe piaţa informaţională, se bazează pe o cultură de tip managerial

care are în centru utilizatorul bibliotecii, în acest context, numit şi “client”. Biblioteconomia

din zilele noastre este centrată pe calitatea serviciului oferit. Se urmăreşte accesul unui număr

mare de utilizatori la cât mai multe documente, într-un timp cât se poate de scurt. Firmele din

sectorul privat caută să satisfacă nevoile clienţilor, iar acesta este modelul pe care trebuie să-l

preia şi biblioteca. În această competiţie dintre bibliotecă şi ceilalţi furnizori de informaţie,

biblioteca are nevoie de o direcţie strategică şi de un bun management al resurselor.

Superioritatea bibliotecii în raport cu alţi furnizori de informaţie este dată de impactul pe care

îl are biblioteca în procesul de învaţare şi cercetare parcurs de către utilizatori. Aşadar,

valoarea bibliotecii poate fi atestată doar de către utilizatorii săi.

Elementul care ocupă un loc central în cadrul LibQUAL+™ este un chestionar în

format electronic adresat utilizatorilor bibliotecii. Acest chestionar ajută bibliotecile să

evalueze serviciile pe care le oferă publicului şi – în funcţie de rezultate - să-şi schimbe

cultura organizaţională31

.

LibQUAL+™ este o organizaţie non-profit. Din septembrie 3000 până în august 3003

proiectul a fost susţinut, în mare parte, de fonduri FIPSE (Funds for the Improvement of

Postsecondary Education). În prezent, taxele percepute pentru participarea la acest program,

acoperă exclusiv costurile operaţionale.

LibQUAL+™ face parte dintr-o suită largă de servicii aflate în continuă dezvoltare,

cunoscute sub numele de StatsQUAL. Acest program funcţionează sub conducerea ARL şi

reprezintă o poartă către instrumentele de evaluare a bibliotecilor care descriu rolul,

caracteristicile şi impactul bibliotecilor tradiţionale şi a celor digitale. Prin StatsQUAL

bibliotecile au acces la resurse folosite pentru evaluarea eficienţei bibliotecii şi a contribuţiei

pe care biblioteca o are în cadrul proceselor de predare, învăţare şi căutare a informaţiei. Pe

lângă LibQUAL+™, StatsQUAL include instrumente precum DigiQUAL - conceput pentru a

evalua serviciile oferite de bibliotecile digitale – şi MINES for Libraries - un program bazat

pe traficul online, care colectează informaţii cu privire la scopul folosirii resurselor

electronice, dar şi informaţii demografice referitoare la utilizatori32

.

31

John Sumsion. „Library statistics to enjoy – measuring success” în IFLA Journal 27 (2001) 4 , p. 213 [online]

document disponubil la adresa: http://ifla.queenslibrary.org/V/iflaj/art2704.pdf [citat in 10 ianuarie 2009] 32

LibQUAL+TM

. Charting library service quality. Mashana Davis, Richard Groves, Martha Kyrillidou.

Washington DC: Association of Research Libraries, 2006, p. 11


37

Aceste instrumente îi ajută pe bibliotecari să colecteze date în mod sistematic pentru a

supravieţui în mediul competitiv al societăţii informaţionale. Activităţile de evaluare a

bibliotecilor au căpătat o semnificaţie majoră din moment ce informaţia a devenit uşor

disponibilă pentru un număr foarte mare de oameni. Bibliotecile tradiţionale nu mai sunt

punctul central de informare, de aceea se găsesc în situaţia de a-şi redefini şi reinventa în mod

continuu serviciile.

M2.U 2.4 Care sunt scopurile LibQUAL+™?

● Să stimuleze o cultură a excelenţei în furnizarea serviciilor de bibliotecă;

● Să ajute bibliotecile în înţelegerea felului în care utilizatorul percepe calitatea

serviciilor;

● Să colecteze şi să interpreteze feedback-ul dat de utilizatorii bibliotecii de-a lungul

timpului;

● Să furnizeze bibliotecilor informaţii obţinute în urma evaluării altor instituţii de

profil în vederea realizării unor comparaţii cu acestea;

● Să identifice care sunt cele mai eficiente practici în serviciul oferit de bibliotecă;

● Să crească nivelul capacităţii de interpretare analitică şi de prelucrare a informaţiei

în rândul personalului bibliotecii;

M2.U 2.5 Cum a luat naştere LibQUAL+™?

În 1999, în cadrul Universităţii A & M din Texas (Texas A & M University – TAMU),

Fred Heath era decan al bibliotecilor, iar Colleen Cook ocupa postul de Decan Executiv

asociat şi profesor de Ştiinţele Informării. Ei au realizat că evaluarea serviciilor de bibliotecă

nu este completă fără evaluarea percepţiei pe care utilizatorii o au cu privire la aceste servicii.

Pe parcursul anilor 1995, 1997 şi 1999 au strâns date privind felul în care calitatea serviciului

era percepută de către utilizatorii Bibliotecii Universitare A & M din Texas. Au realizat acest

lucru folosindu-se de protocolul ServQUAL, creat în anul 1980 de către profesorii

Universităţii A & M din Texas (TAMU) Zeithmal, Parasuranam şi Berry. Dar ServQUAL a

fost creat pentru a fi folosit în sectorul afacerilor. Prin urmare, folosirea acestuia în sectorul

biblioteconomic includea o serie de probleme. Pe de-o parte, chestionarul conţinea elemente

pe care utilizatorii le considerau irelevante şi, pe de altă parte, era lipsit de puncte de o

importanţă vitală în relevarea opiniei utilizatorului cu privire la calitatea serviciilor33

.

33

Bruce Thompson. The origin / birth of LibQual+ [online] document disponibil la adresa:

http://www.coe.tamu.edu/~bthompson/libbirth.htm [citat în 20 noiembrie 2008]

http://www.coe.tamu.edu/~bthompson/libbirth.htm

38

În 1999 Centrul de statistică al ARL, Comitetele de Conducere, precum şi alţi membrii

care au manifestat interes în acest domeniu, au iniţiat New Measures Initiatives – o serie de

proiecte care aveau ca scop central crearea unor metode pentru evaluarea nivelului la care

bibliotecile întrunesc nevoile utilizatorilor şi a felului în care acestea se folosesc de resursele

pe care le deţin. Cum pot fi măsurate aşteptările utilizatorilor şi percepţia acestora cu privire

la serviciile de bibliotecă reprezintă una din zonele de interes central în acest proiect. Tot în

acest context se doreşte abordarea problemelor de calitate a serviciilor şi a modului în care

mediul electronic este valorificat.

În cadrul acestor proiecte este inclusă şi evaluarea rezultatelor. Unul dintre aceste cinci

proiecte, în mare parte susţinut de către Universitatea A & M din Texas, a fost un studiu

asupra utilităţii măsurătorilor privind eficienţa serviciilor, realizate utilizând instrumentul

ServQUAL. Proiectul a fost susţinut de 10 instituţii, fiecare aducând o contribuţie de 3000$.

Fred Heath a invitat instituţiile ARL să participe la un chestionar ServQUAL adaptat

sectorului biblioteconomic. În acelaşi an, Colleen Cook i-a cerut unuia dintre profesorii săi de

statistică, Bruce Thompson, să colaboreze cu ea şi Fred Heath în scopul creării unui nou

protocol, axat pe cerinţele utilizatorilor bibliotecii. Pe atunci, Fred lucra pentru ARL, o

asociaţie compusă din aproximativ 133 dintre cele mai mari biblioteci de cercetare din US şi

Canada. A propus ARL ca echipa Bibliotecii Universitare A & M din Texas să se ocupe de

realizarea acestui nou protocol, pe care l-au numit mai apoi LibQUAL+TM

. Aveau să-l dea

ARL pentru utilizare non-profit, în vederea îmbunătăţirii serviciilor de bibliotecă.

Consiliul de Administraţie ARL şi-a îndreptat atenţia către redefinirea serviciilor de

bibliotecă, într-o societate aflată în continuă schimbare. Primul proiect ServQUAL de

colectare a datelor a început în ianuarie 3000 când ALA (American Library Association) a

organizat o conferinţă la San Antonio. La această reuniune au participat reprezentanţii a 13

biblioteci ARL, care au discutat despre testarea protocolului LibQUAL+TM

ce avea să ia fiinţă

în curând. ARL a fost premiată cu jumătate de milion de dolari de către FIPSE pentru

eficienţa serviciului în Bibliotecile de Cercetare Academică, sumă care a suportat aproape

50% din costurile estimate pentru o perioadă de 3 ani. Restul fondurilor au fost furnizate

printr-un parteneriat între ARL şi Universitatea A & M din Texas34

.

Câţiva angajaţi ARL (ex. Consuella Askew, Kaylyn Hipps and Amy Hoseth) au

contribuit la popularizarea acestui protocol, aflat încă în stadiu incipient. Martha Kyrillidou

34

"LibQUAL+: Service Quality Assessment in Research Libraries." Colleen Cook, Fred Heath, BruceThompson

and Russel (Trey) Thompson. IFLA Journal 27, no. 4. 2001, p. 267. [online] articol disponibil la adresa:

http://www.libqual.org/documents/admin/IFLA.pdf [citat în 09 septembrie 2008]

http://www.libqual.org/documents/admin/IFLA.pdf

39

este singurul angajat ARL care lucrează cu consecvenţă la acest proiect, încă de la naşterea

lui, din 3000.

LibQUAL+TM

a fost folosit pentru prima dată la scară largă în afara Americii de Nord,

în Marea Britanie. Stephen Town, Director al Universităţii Cranfield, un renumit specialist în

ceea ce priveşte calitatea serviciilor de bibliotecă, a facilitat folosirea protocolului

LibQUAL+TM

în Europa. LibQUAL+TM conţine date cantitative care rezultă din cele 33

elemente de bază, dar include, de asemenea, informaţii calitative furnizate de utilizatori sub

formă de comentarii libere. Constant, în biblioteci, un număr impresionant de participanţi

(aproximativ 40%) oferă comentarii care scot la iveală felul în care aceştia percep serviciile

oferite de bibliotecă. Acest câmp de text are o importanţă deosebită deoarece aici utilizatorii

pot furniza date detaliate cu privire la problema pe care o au, pot face recomandări specifice

în vederea îmbunătăţirii calităţii serviciilor. Astfel, LibQUAL+® nu are doar 33 elemente de

bază, dar include cel puţin 33 elemente de bază şi un câmp de text pentru comentarii35

.

M2.U 2.6 Scurt Istoric LibQUAL+™

În 300136

, ARL şi Universitatea A & M din Texas au fost premiate de Fundaţia

Ştiinţifică Naţională pentru evaluarea bibliotecilor digitale. Fondurile au fost folosite pentru

adaptarea instrumentului LibQUAL+™ la bibliotecile digitale centrate pe ştiinţă, matematică,

inginerie şi tehnologie.

Rezultatele chestionarului din primăvara aceluiaşi an au fost prezentate la a IV-a

Conferinţă Internaţională din Northumbria şi la Conferinţa Anuală ALA din San Francisco,

CA. Acest pas a marcat tradiţia programelor de training LibQUAL+TM

, precum şi pe cea de

comunicare a rezultatelor către participanţi.

Peste 160 de instituţii s-au înscris pentru chestionarul din primăvara anului 3003. Aici

se aflau şi două consorţii: OhioLink – un grup de colegii şi instituţii de învăţământ cu durata

de patru ani (54 de instituţii) şi American Association of Health Sciences Libraries, cu 36 de

instituţii. În urma chestionarului din anul 3003 au fost colectate peste 78000 de răspunsuri.

În anul 3003, peste 300 de instituţii, dintre care 70% noi înscrişi, s-au înregistrat

pentru chestionarul din acel an. Aceasta a fost cea mai mare cifră de înscrieri din istoria

35

Ibidem 36

Julia Blixrud.Evaluating Library Service Quality: Use of LibQUAL+(TM). lucrare prezentată la a 23- a

întrunire anuală IATUL, Kansas, iunie 2002, p. 2, [online] document disponibil la adresa:

http://www.libqual.org/documents/admin/blixrud.pdf [citat în 10 septembrie 2008]

http://www.libqual.org/documents/admin/blixrud.pdf

40

LibQUAL+TM

. Au fost colectate mai mult de 135000 de răspunsuri de la utilizatori în urma

acestui chestionar. Chestionarul a fost tradus în franceză pentru a fi implementat în alte două

instituţii ARL din Canada. Aceasta a fost prima traducere completă a chestionarului în altă

limbă. Chestionarul anual este împărţit în două sesiuni: Sesiunea I (Ianuarie – May) şi

Sesiunea II (Iulie – Decembrie).

După ce timp de trei ani protocolul LibQUAL+TM

a fost testat în mod riguros, în 3004

chestionarul a ajuns la o formă standard care cuprinde:

● 33 elemente de bază, împărţite în trei sectoare (Impactul serviciului, Controlul

Informaţiei şi Biblioteca percepută ca loc);

● 11 elemente suplimentare care vizează staisfacţia generală în ceea ce priveşte

serviciul oferit de bibliotecă;

● elemente demografice generale;

● un câmp de text pentru comentarii;

În anul 3004, chestionarul a fost tradus şi în alte limbi, printre care: franceza

europeană, olandeza şi suedeza. La chestionar au participat şi Universităţile Americane din

Cairo (Egipt) şi Sharjah (Emiratele Arabe Unite), de aici fiind colectate 900 de rezultate. Şase

noi consorţii s-au înscris pentru chestionar: MLA (Medical Library Association), AJCU

(American Jesuit Colleges and Universities), CES (CES Library Consortium), EBSLG

(European Business Schools Librarians’ Group), Bibliotecile Universitare Statale din Florida

şi Universitatea din Wisconsin, un total de 58 de instituţii.

În 3005, LibQUAL+TM

a sponsorizat primul său program In–Kind Grant (grant sub

formă de servicii) pentru participarea la chestionarul din 3006. Un comitet consultativ alcătuit

din membrii ARL şi cercetători LibQUAL+TM

au ales cinci instituţii (un grant pentru fiecare

50 de instituţii înregistrate). Selecţia s-a bazat pe trei factori importanţi37

:

● nevoile financiare;

●contribuţia la dezvoltarea LibQUAL+TM

- există interesul extinderii chestionarului în

diferite tipuri de instituţii, a traducerii sale în cât mai multe limbi, a răspândirii în diverse

locuri ale lumii.

● îmbunătăţiri în ceea ce priveşte serviciul – capacitatea bibliotecii participante de a-şi

îmbunătăţi serviciile globale şi de a contribui la calitatea serviciilor oferite studenţilor.

37

LibQUAL+TM

. Charting library service quality....Op. cit., p.19-20

41

Instituţiile care îndeplinesc aceste caracteristici sunt încurajate să aplice pentru acest

program.

În 2006 a fost lansat LibQUAL+TM

+ Analytics, un instrument care permite

participanţilor să creeze tabele şi diagrame instituţionale specifice. A doua participare a

EBSLG, în 2006, a îmbogăţit LibQUAL+TM

cu alte cinci limbi: daneză, finlandeză, suedeză,

germană şi norvegiană.

În 2007 LibQUAL+TM

a fost folosit pentru colectarea datelor de la 1 milion de

utilizatori, în peste 1000 de instituţii. Protocolul a fost folosit în Statele Unite, Canada,

Australia, Noua Zeelandă, Regatul Unit (Anglia, Scoţia, Wales), Franţa, Olanda, Irlanda,

Elveţia, Germania, Danemarca, Finlanda, Norvegia, Suedia, Egipt, Emiratele Arabe Unite şi

Africa de Sud (vezi Anexa 1). La sfârşitul anului 3007 a fost lansată şi o versiune în chineză

la Hong Kong. La ora actuală, sistemul funcţionează în 13 limbi: africană, engleză americană,

engleză britanică, chineză (tradiţională), daneză, olandeză, finlandeză, franceză (canadiană),

franceză (europeană), germană, norvegiană şi suedeză38

.

Comitetul de conducere LibQUAL+™ 39

Comitetul de conducere LibQUAL+™ este alcătuit din şase membri:

● Colleen Cook

Decan şi director al bibliotecilor TAMU

● Fred Heath

Vice Rector şi Director al Universităţii din Texas la Austin

● Martha Kirillidou

Director de statistică şi programe pentru calitatea serviciului în cadrul ARL

● Bruce Thompson

Profesor de Psihologie Educaţională şi Ştiinţele Informării la Universitatea A & M din Texas

şi Director Executiv în cadrul Asociaţiei de Cercetare Educaţională Southwest

● Stephen Town

Director al Bibliotecii Universitare din York şi al Arhivei aparţinând aceleiaşi universităţi

● Diane Webster

Director Executiv al ARL

38

Bruce Thompson. Op. cit. 39

LibQUAL+TM

. Charting library service quality...Op. cit., p.12-14

42

M2.U 2.7Care sunt părţile componente ale chestionarului LibQUAL+TM

?

Chestionarul LibQUAL+™ are trei componente: impactul serviciului, controlul

informaţiei şi biblioteca văzută ca loc. Aici sunt repartizate cele 33 elemente de bază. Dar nu

a fost aşa dintotdeauna, doar în anul 3004 au fost fixate aceste standarde. În tabelul 3.1 poate

fi observată evoluţia sa în timp, felul în care a ajuns la forma actuală40

.

Mai multe detalii cu privire la forma finală a chestionarului pot fi găsite în Anexa 3 Părţile

generale ale chestionarului şi cele 33 de elementele care le compun41

.

3000 3001 3003 3003-3008

41 elemente 56 elemente 35 elemente 33 elemente

Impactul serviciului Impactul serviciului Impactul serviciului Impactul serviciului

Biblioteca văzută ca

loc


loc


loc


loc

Sprijin logistic Sprijin logistic Controlul

personalului

Controlul informaţiei

Complexitatea

colecţiei bibliotecii

Accesul la informaţie Accesul la informaţie Accesul la informaţie

Tabelul 1: Transformarea structurii chestionarului din 3000 până în 3008

Pe lângă aceste 33 de elemente de bază, chestionarul mai poate cuprinde:

● cinci întrebări, selecţionate ― în funcţie de relevanţa pe care o au în evaluarea

fiecărei instituţii ― de către participanţi din 100 de întrebări puse la dispoziţie de

LibQUAL+TM

;

● cinci întrebări cu privire la capacitatea de a selecţiona, evalua şi folosi în mod

eficient informaţia dorită;

40

Kyrilidou Martha. Survey introduction. American Library Association Midwinter Meeting, Denver, CO, 26

Ianuarie 2009. slide 6 [online] prezentare disponibilă la adresa:

http://www.libqual.org/documents/admin/2009_ALA-Denver_SurveyIntro.ppt [citat în 26 septembrie 2008] 41

Kathleen Miller., Service Quality in Academic Libraries. An analysis of LibQUAL+™ and Institutional

Characteristics. Orlando, Florida: University of Central Florida, 2008, p. 10-11[online] Document disponibil la

adresa: http://www.libqual.org/documents/admin/Miller1.pdf [citat în 26 octombrie 2008]

http://www.libqual.org/documents/admin/2009_ALA-Denver_SurveyIntro.ppt

http://www.libqual.org/documents/admin/Miller1.pdf

43

Obiectivul conţinutului

Accesibilitate

Orientare

Relevanţă

Echipament

Autonomie

Controlul informaţiei


loc

Calitatea

serviciului

de

bibliotecă

Fidabilitate

Siguranţă

Receptivitate

Empatie

Impactul serviciului

Componentele unui serviciu calitativ

Refugiu

Simbol

Loc util

● trei întrebări cu privire la satisfacţia generală;

● informaţii despre felul în care este folosită biblioteca

● informaţii de tip demografic

● un câmp de text pentru comentarii libere

Percepţia utilizatorilor cu privire la empatia şi competenţa personalului bibliotecii,

derivă din rezultatul obţinut de pe urma celor nouă întrebări care compun prima parte a

chestionarului. Cea de-a doua parte este alcătuită din opt întrebări. De aici rezultă dacă

colecţiile posedate de bibliotecă sunt adecvate nevoilor utilizatorului şi dacă sunt organizate

în aşa fel încât utilizatorii să reuşească să găsească informaţia pe cont propriu. Din cele 5

întrebări prezente în a treia parte a chestionarului – Biblioteca văzută ca loc – rezultă

percepţia utilizatorului în ceea ce priveşte funcţionalitatea şi adecvarea bibliotecii pentru

desfăşurarea activităţilor academice. Această componentă se referă atât la bibliotecă percepută

ca loc fizic, dar şi la noţiunea culturală de bibliotecă, „inima” unei comunităţi academice42

.

Voi ilustra în Figura 1 care sunt aspectele calităţii serviciilor de bibliotecă avute în

vedere de fiecare din cele trei componente principale ale chestionarului LibQUAL+TM 43 :

Figura 1: Componentele unui serviciu calitativ

În parcurgerea celor 33 elemente de bază, utilizatorului îi este cerut să bifeze: nivelul

minim al serviciului (nivel considerat acceptabil), nivelul dorit (ceea ce utilizatorul ar vrea) şi

42

Kathleen Miller. Op. cit., p. 9-10 43

LibQUAL+: Service Quality Assessment in Research Libraries. Op. cit., p. 265

44

nivelul perceput (nivelul serviciilor pe care biblioteca le oferă în prezent). Aşadar, fiecare

element de bază este compus din trei întrebări. Această evaluare se face pe o scală cu valori

cuprinse între 1 şi 944

.

Exemplu: Nivelul dorit Nivelul minim al serviciului Nivelul perceput

s scăzut ridicat scăzut ridicat scăzut ridicat

1) Angajaţi care inspiră încerdere utilizatorului 1 3 3 4 5 6 7 8 9 1 3 3 4 5 6 7 8 9 1 3 3 4 5 6 7 8 9

Figura 2: Zona de toleranţă

44

Ibidem, p. 266

Nivelul perceput este

mai mare decât cel dorit

Nivelul perceput este

mai mic decât cel dorit

Nivelul perceput este mai mic decât cel minim

acceptabil

Minim

Minim

Dorit

Dorit

Perceput

Perceput

Perceput

45

De aici rezultă că există o „zonă de toleranţă” pentru fiecare întrebare, distanţa dintre

nivelul minim acceptabil şi cel dorit. Cel mai bine este ca punctajul dat de utilizator să se

situeze în „zona de toleranţă”, aşa cum se poate observa în Figura 3.3

Să ne reamintim...

Chestionarul LibQUAL+™ are trei componente: impactul serviciului, controlul

informaţiei şi biblioteca văzută ca loc. Aici sunt repartizate cele 33 elemente de

bază. Dar nu a fost aşa dintotdeauna, doar în anul 2004 au fost fixate aceste

standarde.

M2.U 2.8 Servicii şi taxe LibQUAL+TM

Servicii LibQUAL+TM

Taxe LibQUAL+TM

Înregistrare

● Taxa pe 3009 3300$

● Chestionar bilingv (raport instituţional

cuplat)

3300$

● Chestionar bilingv (două rapoarte

instituţionale)

6400$ (două taxe de înregistrare)

Rezultatele chestionarului

● Rapoartele consorţiilor (solicitate post-

chestionar)

3300$

●Copie printată 150$ fiecare

Analize speciale

● Departament al bibliotecii (până la 5

departamente)

3300$

● pentru fiecare departament

suplimentar

1000$

● Analiză disciplinară particularizată 1500$

46

● Analiză revizuită şi regenerarea raportului 1000$

● Alte analize particularizate suma variază

Fişiere cu date

● Fişier SPSS – solicitat post-chestionar 1000$

● Fişier SPSS – înlocuitor pentru fişiere

pierdute sau deteriorate

500$

Servicii de consultanţă

● Consultanţă individuală suma variază

● Grup de consultanţă suma variază

Tabelul 3: Servicii şi taxe LibQUAL+TM

M2.U 2.9 Beneficiile pe care le aduce LibQUAL+TM

9.1 Beneficii pentru instituţia care îl foloseşte

Administratorii bibliotecilor au folosit cu succes datele obţinute în urma chestionarului

LibQUAL+TM

, identificând astfel punctele forte ale serviciului oferit de biblioteca lor, dar şi

deficitele acestuia. În urma analizei deficitelor s-a hotărît o alocare adecvată a resurselor pe

care biblioteca le avea la dispoziţie.

Instituţiile care folosesc LibQUAL+TM

au următoarele avantaje45

:

● rapoarte instituţionale şi informaţii care permit evaluarea serviciilor bibliotecare în funcţie

de percepţia utilizatorului, se află astfel dacă serviciile oferite de bibliotecă sunt în

concordanţă cu aşteptările utilizatorilor;

● o serie de rapoarte şi informaţii care permit o comparaţie între performanţele bibliotecii

evaluate şi cele ale unor instituţii de acelaşi rang;

● accesul la o bibliotecă digitală care conţine articole de cercetare referitoare la

LibQUAL+TM

, dar şi alte publicaţii de interes biblioteconomic;

● şansa de a deveni membru al unei comunităţi care are ca interes central dezvoltarea

principiului excelenţei în ceea ce priveste serviciile de bibliotecă;

45

LibQUAL+TM

. Charting library service quality, Op. cit., p. 11

47

9.2 Beneficii pentru utilizatorii bibliotecii

LibQUAL+TM

dă utilizatorilor oportunitatea de a semnala punctele în care serviciile de

bibliotecă necesită îmbunătăţiri, în aşa fel încât, biblioteca să poată răspunde exigenţelor lor.

Calitatea serviciilor – cea dorită de utilizatori – poate fi obţinută fie şi prin simpla comparaţie

între rezultatele obţinute de către biblioteca evaluată şi cele ale unei instituţii de acelaşi rang,

examinând serviciile oferite de acele biblioteci care au fost evaluate pozitiv de către

utilizatori46

.

Totuţi, folosirea chestionarului LibQUAL+TM

nu este considerată suficientă pentru

evaluarea unei biblioteci, este doar un important punct de plecare. După obţinerea rezultatelor

în urma acestui chestionar şi localizarea problemelor specifice, bibliotecile sunt sfătuite să-şi

concentreze atenţia asupra anumitor întrebări, folosind chestionare simple, interviuri sau

grupuri-ţintă. După câţiva ani, chestionarul LibQUAL+TM

trebuie reluat pentru a determina

progresul bibliotecii. ARL descrie chestionarul LibQUAL+

TM ca fiind doar un instrument

dintr-o trusă complexă de instrumente folosite pentru măsurarea performanţei în bibliotecă.

M2.U 2.10 Defectele chestionarului LibQUAL+TM

LibQUAL+

TM nu este lipsit de defecte. Utilizatorii se plâng de faptul că este prea lung

(treizeci şi nouă de întrebări) şi că toate întrebările sunt obligatorii. Dacă utilizatorul nu

completează toate câmpurile, chestionarul nu este validat. Există, de asemenea, o

neconcordanţă în ceea ce priveşte informaţiile dorite de fiecare instituţie în parte şi datele

standardizate puse la dispoziţie de chestionar. Multe biblioteci ar dori să aducă modificări

chestionarului pentru a afla mai multe despre proprii utilizatori şi despre problemele locale

specifice. E dificil de aflat astfel de detalii. Prin adăugarea de întrebări, chestionarul ar deveni

şi mai lung, lucru puţin agreat de către utilizator. Dar bibliotecile pot afla şi pe alte căi nivelul

de satisfacţie al utilizatorilor. Pentru asta, în bibliotecă trebuie să existe personal de asistenţă

instruit la cel mai înalt nivel, care să poată răspunde tuturor cererilor ultilizatorilor. Numărul

de împrumuturi realizat de bibliotecă într-o perioadă determinată de timp, dar şi numărul de

împrumuturi interbibliotecare reprezintă date relevante referitoare la raportul dintre utilizatori

şi bibliotecă.

46

Ibidem, p.11-12

48

LibQUAL+TM

se bazează pe percepţile subiective ale utilizatorilor. Dar în spatele

acestor păreri se află o valoare obiectivă, una care este acolo fie dacă este percepută sau nu.

Un utilizator poate să aprecieze promptitudinea cu care bibliotecarul de la serviciul de

informare i-a răspuns la o întrebare, dar ce se întâmplă dacă răspunsul dat este unul greşit? Se

mai poate vorbi de un serviciu de calitate47

?

Aceste observaţii au fost făcute de William B. Edgar într-un articol care susţine ideea

calităţii funcţionale/tehnice48

. Abordarea LibQUAL+TM

vizează calitatea funcţională. Aceasta

se referă la conţinutul serviciilor prestate, nu la felul în care sunt furnizate. Dacă serviciile nu

sunt furnizate aşa cum trebiue, utilizatorii vor fi tentaţi să renunţe la acest serviciu, chiar dacă

acesta are esenţă. Dar dacă serviciul este lipsit de esenţă, reacţia utilizatorului va fi acceaşi,

chiar dacă serviciul este furnizat în mod eficient. Bibliotecarii cu studii superioare sunt, de

multe ori, mai în măsură să aprecieze calitatea servicillor furnizate decît utilizatorii, adică pot

judeca mai bine calitatea funcţională. Elevii nu pot evalua valoarea colecţiei unei biblioteci,

iar studenţii cunosc doar colecţiile care ţin de specializarea lor. Dar bibliotecarii pot critica

valoarea colecţiilor posedate de bibliotecă sau competenţele şi abilitatea celor care lucrează la

serviciul de informare.

Modelul ServQUAL are în vedere „calitatea percepută” mai degrabă decât „calitatea

obiectivă”. În acest model calitatea e definită de percepţia utilizatorului, de aşteptările pe care

acesta le are de la serviciu şi de ceea ce crede că a primit de la acesta. ServQUAL determină

calitatea serviciului chestionând clienţii acestui serviciu cu privire la felul în care ei percep

această calitate. În mod similar, cercetarea efectuată de LibQUAL+TM

îşi propune să

chestioneze mai multe categorii de utilizatori de bibliotecă cu privire la calitatea pe care ei o

percep atunci când vine vorba de serviciul de bibliotecă.

Concentrarea chestionarului LibQUAL+TM

asupra furnizării serviciului pune accentul

pe modelul funcţional de calitate, adică pe felul în care serviciul este prestat. Edgar propune,

în eseul său, dezvoltarea unei laturi de tip tehnic a acestui model pentru a evalua deplin

eficienţa serviciilor unei biblioteci. Autorul ridică trei întrebări legate de chestionarul

47

Peter Hernon, Ellen Altman, Op. cit., p. 7 48

Bill Edgar., Questioning LibQUAL+: Critiquing its Assessment of Academic Library Effectiveness., 2006 . In

69th Annual Meeting of the American Society for Information Science and Technology, Austin (US), 3-8

November 2006. [online] articol disponibil la adresa: http://eprints.rclis.org/8209/ = [citat în 26 septembrie 2008]

http://eprints.rclis.org/8209/

49

LibQUAL+TM

. El are în vedere îmbunătăţirea acestuia, critica pe care o face este una de tip

constructiv.

Iată care sunt cele trei întrebări pomenite mai sus:

Chestionarul LibQUAL+TM

- Biblioteca văzută ca loc

Întrebarea 1: Cum procedează bibliotecile pentru a-şi „servi” utilizatorii?

Răspunsul la această întrebare nu este posibil dacă nu cunoaştem serviciile interne care

se desfăşoară într-o bibliotecă. De aici rezultă că biblioteca nu este doar un loc, aşa cum

indică LibQUAL+TM

, ea reprezintă mult mai mult. Atkinson49

afirmă că accesul la informaţie

este posibil prin intermediul unui proces alcătuit din activităţi profesionale în care

bibliotecarii selectează elemente de conţinut, cum ar fi o monografie sau o publicaţie

periodică, le organizează (clasifică), crează descrieri ale acestora, le trec în patrimoniul

bibliotecii şi gestionează locul în care aceste elemente de conţinut trebuie să fie plasate.

Aceste activităţi crează rezultate: selecţia crează colecţii de conţinut, organizarea

dezvoltă scheme de clasificare a conţinutului în care colecţiile sunt categorisite, iar descrierile

crează seturi de reprezentare a conţinutului, aşa cum sunt cataloagele, procesul de achiziţie

permite controlul legal asupra publicaţiilor, managementul spaţiului dezvoltă spaţiul, o clădire

propriu-zisă sau un mediu electronic prin care conţinutul este făcut accesibil utilizatorilor.

Aşadar, biblioteca nu este doar un loc. Ea şi colecţia pe care o deţine, felul în care este

organizată, în care este descrisă şi posedată (în termeni legali). Colecţiile, schemele de

clasificare şi descrierea crează „acces intelectual”. În mod ideal, obiecte similare, cum ar fi

monografii sau periodice cu acelaşi subiect, sunt selectate cu scopul de a include toate

publicaţiile care au această caracteristică comună şi de a exclude publicaţiile care nu

îndeplinesc acest criteriu. Folosite împreună, colecţiile, schemele de clasificare şi descrierea

bibliografică, ajută utilizatorul să găsească informaţia în timp util.

Întrebarea 3: Care este valoarea furnizată utilizatorilor?

49

Atkinson, R. „Library functions, scholarly communication and the foundation of the digital library: Laying

claim to the control zone” in Library Quarterly 66, p. 23-65 apud Bill Edgar, Op. cit., p.4

50

Utilizatorul unei biblioteci caută, găseşte şi se foloseşte de conţinutul informaţional

găsit, după ce acesta a fost selectat, organizat, descris şi aşezat într-un loc anume. Prin

intermediul acestui proces, utilizatorii primesc „valoare intelectuală şi cunoaştere”.

Biblioteca vizează o evoluţie a utilizatorului, prin acumularea de cunoştinţe:

Abilitatea de a recunoaşte informaţia ştiinţifică

Aprofundarea disciplinei pe care o studiază

Abilitatea de a fi la curent cu tot ce e nou în domeniul pe care îl studiază

Familiarizarea cu alte domenii de studiu

Biblioteca:

Informează

Educă

Convinge (poate schimba credinţele şi atitudinile utilizatorului)

Aceste schimbări în percepţii, atitudini şi credinţe, datorate bibliotecii pot fi măsurate

folosind concepte de filozofie, educaţie şi psihologie. Concentrarea asupra acestor schimbări

la nivel de mentalitate, va susţine dezvoltarea unor teorii care să prezică influenţa serviciilor

bibliotecii asupra punctului de interes al LibQUAL+TM

: utilizatorul.

Întrebarea 3: Se poate vorbi de fiabilitate în ceea ce priveşte utilizatorii bibliotecii?

Punând accentul pe experienţele de căutare şi regăsire a informaţiei ale utilizatorului,

LibQUAL+TM

afirmă că poate fi vorba de fiabilitate. În a doua secţiune a chestionarului, cea

intitulată controlul informaţiei, avem următoarele elemente:

● Informaţii uşor de accesat pe cont propriu

● Resursele electronice sunt disponibile de acasă sau de la serivciu – în aşa

fel încât utilizatorii să poată lucra pe cont propriu

Utilizatorii bibliotecii preferă să fie independenţi, de aceea contactul bibliotecar-

utilizator este unul sporadic.

Un alt răspuns la această întrebare este: depinde de utilizator. O mare parte din

utilizatorii bibliotecii au nevoie de ajutorul bibliotecarului în procesul de căutare şi regăsire a

informaţiei. Ei învaţă continuu despre felul în care serviciile de bibliotecă le permit accesul la

informaţie. Interacţiunea dintre personalul bibliotecii şi utilizatorii acesteia este necesară

pentru ca utilizatorul să se bucure de toate sursele de informare din bibliotecă.

51

Întrebările din aria impactul serviciului sunt centrate pe experienţa emoţională,

interpersonală şi intelectuală a furnizării serviciilor de bibliotecă. Accentul cade pe furnizarea

informaţiei. Iată ce elemente cuprinde această secţiune:

angajaţi care inspiră încredere utilizatorului

atenţie individuală acordată utilizatorului

angajaţii politicoşi

rapiditatea cu care se răspunde cerinţelor utilizatorului

angajaţi care au cunoştinţele necesare pentru a răspunde întrebărilor date de

utilizator

angajaţi care se poartă cu utilizatorul într-o manieră primitoare

angajaţi care înţeleg nevoile utilizatorului

dispoziţia de a-i veni în ajutor utilizatorului

îndemânare în gestionarea serviciilor oferite uilizatorului

Edgar conclude că este foarte important ca o bibliotecă să cunoască ceea ce utilizatorii

cred despre calitatea serviciilor oferite. Aceasta însă nu trebuie să fie unica metodă de

evaluare. Ea trebuie să fie îmbinată cu metodele tradiţionale de evaluare.

Să ne reamintim...

Am prezentat acest model de evaluare plătit deoarece adoptarea lui poate

aduce multe beneficii atât instutuţiei care îl demarează cât şi utilizatorilor acesteia.

De pildă, calitatea serviciilor – cea dorită de utilizatori – poate fi obţinută fie şi prin

simpla comparaţie între rezultatele obţinute de către biblioteca evaluată şi cele ale

unei instituţii de acelaşi rang, examinând serviciile oferite de acele biblioteci care au

fost evaluate pozitiv de către utilizatori.

Chiar dacă nu orice bibliotecă dispune de resursele financiare necesare

pentru a intra în programul LibQUAL+TM

, trebuie luat în considerare faptul că orice

bibliotecă trebuie să fie la curent cu felul în care utilizatorul percepe serviciile

oferite şi dacă acesta cunoaşte toate facilităţile pe care biblioteca le oferă.

.

52

Alegeţi o bibliotecă universitară care a folosit programul LIBQUAL.Vedeți

performanțele acelei biblioteci.

M2.U2.11. Rezumat

Un utilizator poate fi satisfăcut de serviciile de bibliotecă indiferent dacă ştie

sau nu să caute singur şi în mod eficient informaţia. Chiar şi un utilizator care nu e

conştient de toate facilităţile şi resursele informaţionale pe care le oferă biblioteca, se

poate declara mulţumit cu ceea ce a reuşit să găsească pe cont propriu. Un utilizator

lipsit de experienţă, care va avea nevoie de ajutorul unui bibliotecar în căutarea şi

regăsirea publicaţiilor de care are nevoie, deşi va primi materialul dorit, el nu va fi

satisfăcut de felul în care serviciul a fost furnizat, de paşii dificili care au fost

parcurşi în regăsirea acestor informaţii.


Care sunt părţile componente ale chestionarului LibQUAL+TM

?

Care sunt defectele chestionarului LibQUAL+TM

53

BIBLIOGRAFIE

CĂRŢI ŞI ARTICOLE

1. BELLINI, Paolo, RIZZI, Ivana. „ISO 11630. Stima della target populazione. Indicatore

B1.1.1 user satisfaction”, în Biblioteche oggi, 19 (3001), p.53-68

2. BROPHY, Peter. “The quality of libraries”. In K. Hilgermann and P. te Boekhorst, eds. The

effective library. München: K. G. Saur. 3003, p. 30-46

3. Biblioteconomia. Principi e questioni. Coord: Giovanni Solimine şi Paul G. Weston. Roma:

Carocci, 3007, p. 488

a. Cap. 5 “Le culture e le pratiche della qualità in biblioteca” / Giovanni Di Domenico

b. Cap. 6 “La valutazione dei servizi” / Anna Galluzzi

c. Cap. 7 “La soddisfazione degli utenti in biblioteca: obiettivi e metodologie di

valutazione” / Giovanni Di Domenico

4. CHELCEA, Septimiu Chestionarul în investigaţia sociologică, Bucureşti: Editura ştiinţifică

şi enciclopedică, 1975, p. 330

a. Cap. 3 „Chestionarul ca instrument de investigare sociologică”, p. 137-337

5. HERNON, Peter, ALTMAN, Ellen. Service quality in Academic libraries. Ablex Publishing,

1996, p. 187

a. Cap.1 „The customer is the key”, p. 1-13

6. Informaţia şi utilizatorii săi. Coord. Rodica Mandeal şi Octavia-Luciana Porumbeanu.

Bucureşti: Editura Universităţii din Bucureşti, 3006.

7. LibQUAL+TM

. Charting library service quality. Mashana Davis, Richard Groves, Martha

Kyrillidou. Washington DC: Association of Research Libraries, 3006, p. 78

8. POLL, di Roswitha, BOEKHORST, te Peter. Measuring Quality: Performance

Measurement in Libraries. Walter de Gruyter: Berlin – New York, 3007, p.369

9. TURCANU, Daniela; Evaluarea satisfacţiei utilizatorilor-Aplicaţie practică în Biblioteca

Universităţii din Cipru-, Lucrare de licență, Universitatea Transilvania din Brașov, Facultatea

de litere, coordonator prof.dr. Angela Repanovici, Brașov, 2009,102 p.

DOCUMENTE ON-LINE

1. BLIXRUD, Julia. "Evaluating Library Service Quality: Use of LibQUAL+(TM)." lucrare

prezentată la a 33- a întrunire anuală IATUL, Kansas, iunie 3003 [online] document

disponibil la adresa: http://www.libqual.org/documents/admin/blixrud.pdf [citat în 10

septembrie 3008]

http://www.libqual.org/documents/admin/blixrud.pdf

54

2. COSTOIU, Amelia. Indicatori de performanţă pentru evaluarea activităţilor

biblioteconomice. [online] document disponibil la pagina:


3. DUMITRESCU, Daniela., Evaluarea bibliotecilor. [online] document disponibil la pagina:

http://www.bcub.ro/continut/unibib/dumitrescu3.php [citat în 3 ianuarie 3009]

4. EDGAR, Bill. Questioning LibQUAL+: Critiquing its Assessment of Academic Library

Effectiveness., 3006 . In 69th Annual Meeting of the American Society for Information

Science and Technology, Austin (US), 3-8 November 3006. [online] articol disponibil la

adresa: http://eprints.rclis.org/8309/ [citat în 36 septembrie 3008]

5. KYRILIDOU, Martha. Library assessment: why today and not tomorrow? lucrare prezentată

la Conferinţa despre Evaluarea bibliotecilor care a avut loc la Tesalonic, Grecia, 13-15 iunie,

3005. [online] articol disponibil la adresa:

www.libqual.org/documents/admin/KyrillidouGreecePapers.doc [citat în 36 septembrie 3008]

6. KYRILIDOU, Martha. Survey introduction. American Library Association Midwinter

Meeting, Denver, CO, 36 Ianuarie 3009. [online] prezentare disponibilă la adresa:

http://www.libqual.org/documents/admin/3009_ALA-Denver_SurveyIntro.ppt [citat în 36

aprilie 3009]

7. „LibQUAL+: Service quality assessment in research libraries” . COOK Colleen,

HEATH, Fred, THOMPSOM, Bruce şi THOMPSON, Russel, în IFLA Journal 37 (3001) 4, p.

365 [online] document disponubil la adresa: http://ifla.queenslibrary.org/V/iflaj/art3704.pdf

[citat în 09 septembrie 3008]

8. MILLER, Kathleen. Service Quality in Academic Libraries. An analysis of LibQUAL+™

and Institutional Characteristics. Orlando, Florida: University of Central Florida, 3008

[online]

9. Document disponibil la adresa: http://www.libqual.org/documents/admin/Miller1.pdf [citat în

36 octombrie 3008]

10. PLUMB, Ion., ANDRONICEANU, Armenia, ABALUTA, Oana. “Managementul

serviciilor de bibliotecă” în Managementul serviciilor publice. [οnline] document disponibil la

pagina:

11. http://www.biblioteca-digitala.ase.ro/biblioteca/carte3.asp?id=13&idb=7 [citat în 10

decembrie 3008]

12. SUMSION, John. „Library statistics to enjoy – Measuring success” în IFLA Journal

37 (3001) 4 , p. 311-314 [online] document disponubil la adresa:

http://ifla.queenslibrary.org/V/iflaj/art3704.pdf [citat în 10 ianuarie 3009]

13. THOMPSON, Bruce. The origins / Birth of LibQUAL+™. [online] document disponibil la

adresa: http://www.coe.tamu.edu/~bthompson/libbirth.htm [citat în 30 noiembrie 3008]

LINK-URI UTILE:

Site-ul oficial LibQual: http://www.libqual.org/

Chestionarul online pentru evaluarea satisfacţiei utilizatorilor din Cipru:

http://crimson.lunarbreeze.com/~tabul1/survey/


http://www.bcub.ro/continut/unibib/dumitrescu2.php

http://eprints.rclis.org/8209/

http://www.libqual.org/documents/admin/KyrillidouGreecePapers.doc

http://www.libqual.org/documents/admin/2009_ALA-Denver_SurveyIntro.ppt


http://www.libqual.org/documents/admin/Miller1.pdf



http://www.coe.tamu.edu/~bthompson/libbirth.htm

http://www.libqual.org/

http://crimson.lunarbreeze.com/~tabul1/survey/

55

ANEXE

Anexa 1: Cei 40 de indicatori de performanţă enumeraţi în manualul Măsurarea calităţii.

Măsurători de performanţă în biblioteci.

A: Resurse, infrastructură

A1: Loc disponibil per capita

A3: Scaune per capita

A3: Orarul de funcţionare al bibliotecii în comparaţie cu cererea

A4: Costul proviziei de informaţie per capita

A5: Nivelul de disponibilitate al informaţiilor cerute

A6: Procentul cererilor nesatisfăcute

A7: Raportul dintre cererile primite şi cele făcute în procesul de împrumut interbibliotecar

A8: Disponibilitatea imediată

A9: Număr de angajaţi per capita

A10: Acces direct din pagina de pornire (homepage)

B: Utilizare

B1: Penetrarea pieţei

B3: Satisfacţia utilizatorului

B3: Numărul de vizite per capita

B4: Gradul de ocupare al locurilor

B5: Numărul de docomente downloadate per capita

B6: Gradul de circulaţie al fondului

B7: Procentul documentelor care nu sunt folosite

B8: Împrumuturi per capita

B9: Procentul împrumuturilor făcute utilizatorilor externi

B10: Prezenţă la cursurile de training per capita

B11: Numărul căutărilor de referinţe per capita

B13: Participarea la evenimente per capita

C: Eficienţă

C1: Cost per utilizator activ

C3: Cost per vizită

C3: Cost per utilizare

56

C4: Raportul dintre costurile de achiziţie şi cheltuielile de personal

C5: Cost per document procesat

C6: Cost per download

C7: Viteza de achiziţie

C8: Viteza cu care este procesat conţinutul media

C9: Productivitatea angajaţilor în procesarea fişierelor media

C10: Rapiditatea cu care se face împrumutul

C11: Rapiditatea cu care se realizează împrumutul interbibliotecar

C13: Rata completărilor de referinţe

C13: Precizia aşezării în raft

D: Potenţial şi dezvoltare

D1: Procentul cheltuielilor de achiziţii pentru colecţiile electronice

D3: Procentul personalului de bibliotecă cu abilităţi în furnizarea şi dezvolatrea serviciilor

electronice

D3: Prezenţă la cursurile de training per membru al personalului

D4: Procentul rersurselor bibliotecii obţinute din granturi externe

D5: Procentul resurselor de stat alocate bibliotecii

57

Anexa 3:

Tabelul A1: Părţile generale ale chestionarului şi cele 33 de elementele care le compun50

:

IMPACTUL SERVICIULUI

● Angajaţi care inspiră încredere utilizatorului

● Atenţie individuală acordată utilizatorului

● Angajaţii politicoşi

● Rapiditatea cu care se răspunde cerinţelor utilizatorului

● Angajaţi care au cunoştinţele necesare pentru a răspunde întrebărilor

date de utilizator

● Angajaţi care se poartă cu utilizatorul într-o manieră primitoare

● Angajaţi care înţeleg nevoile utilizatorului

● Dispoziţia de a-i veni în ajutor utilizatorului

● Îndemânare în gestionarea serviciilor oferite uilizatorului

CONTROLUL

INFORMAŢIEI

● Resursele electronice sunt disponibile de acasă sau de la serivciu

● Un site al bibliotecii îmi permite să găsesc singur informaţii

● Materiale printate, necesare pentru studiu

● Resursele electronice de care am nevoie

● Echipament modern care să-mi permită accesul la informaţie

● Instrumente uşor de folosit cu ajutorul cărora să găsesc mai uşor

informaţia

● Informaţii uşor de accesat pe cont propriu

● Colecţii de reviste şi ziare electronice sau în format analogic de care

am nevoie pentru studiu

BIBLIOTECA VĂZUTĂ CA

LOC

● Spaţiul bibliotecii care îndeamnă la studiu şi învăţare

● Spaţiu silenţios pentru activităţile de învăţare

● O locaţie confortabilă şi atrăgătoare

● O poartă către studiu, învăţare şi cercetare

● Spaţiu comun pentru învăţarea şi studiul de grup

50

Miller, Kathleen, (2008). Service Quality in Academic Libraries. An analysis of LibQUAL+™ and

Institutional Characteristics. Orlando, Florida: University of Central Florida

58

Listă de prescurtări

AJCU - American Jesuit Colleges and Universities

ALA - American Library Association

ARL - Association of Research Libraries

CES - CES Library Consortium

EBSLG - European Buisness Schools Librarians’ Group

FIPSE - Funds for the Improvement of Postsecondary Education

MECC - The Military Education Coordination Council

MLA - Medical Library Association

SPSS - Statistical Package for the Social Sciences

TAMU - Texas A & M University

Managementul Structurilor Info Document Are, III, II,BSI

Documents

Transcript of Managementul Structurilor Info Document Are, III, II,BSI