UNIVERSITATEA POLITEHNICA DIN BUCUREȘTI

FACULTATEA DE INGINERIE

ÎN LIMBI STRĂINE

Construirea şi exploatarea profilului utilizatorilor în medii de învăţare virtuale: metode, implicaţii

psihosociale şi consecinţe utilizând tehnici de analiză avansată a datelor – LeProVE

(Learner Profiling in Virtual Environments)

Contract de finantare 83/26.09.2016, cod 303

Raport final de cercetare

Director proiect: Conf. dr. Maria-Iuliana Dascălu E-mail: maria.dascalu@upb.ro

Comisia de avizare: Prof. dr. ing. Cristian Dragomirescu - președinte Conf. dr. ing. Iosif Nemoianu Conf. dr. ing. Camelia Stanciu – secretar Data avizării: 04.10.2017

București 2017

2

Construirea şi exploatarea profilului utilizatorilor în medii de învăţare virtuale: metode, implicaţii

psihosociale şi consecinţe utilizând tehnici de analiză avansată a datelor – LeProVE

(Learner Profiling in Virtual Environments)

Contract de finantare 83/26.09.2016, cod 303

Raport final de cercetare

Director proiect: Conf. dr. Maria-Iuliana Dascălu E-mail: maria.dascalu@upb.ro

București 2017

UNIVERSITATEA POLITEHNICA DIN BUCUREȘTI

FACULTATEA DE INGINERIE

ÎN LIMBI STRĂINE

3

Cuprins Introducere ......................................................................................................................................... 4

Analiza datelor educaționale .............................................................................................................. 4

Oportunități și bariere .................................................................................................................... 4

Metode ............................................................................................................................................ 5

Surse de date .................................................................................................................................. 5

Exemple ........................................................................................................................................... 6

Studii de caz, anchete și experimente ................................................................................................ 6

LA în medii de învățare dezvoltate cu tehnologii de realitate virtuală ........................................... 6

LA în medii de învățare dezvoltate cu tehnologii Web ................................................................... 7

LA folosind anchete online .............................................................................................................. 7

LA în Moodle ................................................................................................................................... 7

Indicatori utili în analiza datelor educaționale și set de bune practici pentru definirea lor ........... 8

LeProVE - uCluster, instrument pentru analiza datelor educaționale într-un mediu virtual ........... 11

Funcționalități ............................................................................................................................... 11

Tehnologii folosite......................................................................................................................... 12

Analiza datelor educaționale în LeProVE - uCluster ..................................................................... 12

Validarea instrumentului – studiu de caz ..................................................................................... 15

Concluzii și direcții viitoare ............................................................................................................... 16

Diseminarea rezultatelor .................................................................................................................. 17

Mulțumiri .......................................................................................................................................... 18

Bibliografie ........................................................................................................................................ 18

Anexa 1. Lista lucrărilor publicate în extenso ................................................................................... 19

4

Introducere

Analiza datelor educaționale, learning analytics (LA), înseamnă analiza avansată a datelor pentru înțelegerea și optimizarea învățării și predării. Este un subdomeniu emergent al educației cu ajutorul tehnologiei. LA poate fi un instrument valoros de lucru atât pentru studenți și profesori, cât și pentru reprezentanții universităților și pentru cei care iau decizii privind politicile educaționale la nivel național. Deși cantități enorme de date educaționale au fost strânse și analizate de-a lungul anilor, foarte puține schimbări practice s-au făcut la nivelul instituțiilor de învățământ. Profesorii au nevoie de educație și training la fel de mult ca și studenții: le lipsește timpul și capacitatea de a înțelege cum pot folosi datele educaționale pentru a-și îmbunătăți efectiv metodele de predare. Totodată, studenții înșiși pot interpreta propriile date educaționale pentru ameliorarea traseului profesional viitor. Prezentul raport dezbate importanța analizei avansate a datelor educaționale, care provin din mediile de învățare virtuale sau mixte, prezintă studii de caz/ experimente efectuate în diverse medii de învățare, dezvoltate cu tehnologii recente, propune indicatori de analiză a datelor educaționale în funcție de întrebarea sau aria de cercetare, propune un șablon pentru profilul unui cursant virtual care să conțină indicatorii propuși, un instrument de analiză a datelor educaționale, precum și direcții de perfecționare a acestuia.

Obiectivul general al cercetării desfășurate în cadrul proiectului LeProVE a fost optimizarea procesului educațional în medii virtuale și mixte de învățare prin tehnici de analiză a datelor. Obiectivele specifice au fost: (O1) dezvoltarea de module în aplicațiile de învățare virtuală construite în proiectele anterioare, pentru a permite studierea colectării datelor; (O2) stabilirea indicatorilor utili în LA, care să reflecte veridic comportamentul virtual al studenților, folosind analiză de literatură, dar și studii de caz/ experimente în mediile virtuale dezvoltate și UPB; (O3) stabilirea formei și conținutului unui profil virtual al studentului; (O4) implementarea instrumentului de extragere, agregare și analiză de date relative la profilul virtual al studentului; (O5) stabilirea unui set de bune practici pentru realizare de LA în diverse medii virtuale și a direcțiilor viitoare de cercetare.

Analiza datelor educaționale

Oportunități și bariere

Tehnologiile recente sunt o oportunitate pentru crearea de instrumente de analiză a datelor, dar există și numeroase bariere create de aceleași tehnologii. Ferguson (2012) identifică limitările curente ale LA în contextul apariției rețelelor sociale, a blogurilor, a sistemelor bazate pe taguri, a cursurilor online gratuite (Massive Open Online Courses sau MOOCs), dar și în contextul fenomenului de învățare pe tot parcursul vieții, nu doar în cadrul unei instituții de învățământ: (1) insuficiența aplicării științei educației când se implementează LA; (2) armonizarea deficitară a datelor colectate din diverse medii de invățare (Moodle, rețele sociale informale, sisteme de colectare a datelor emoționale etc); (3) accent prea mic pe analiza datelor personale ale studenților (e.g. obiective de carieră, factori motivaționali, etc) și prea mare pe analiza notelor; (4) lipsa unui set de reguli de etică cu privire la folosirea datelor despre

5

studenți; (5) neînțelegeri în comunitatea de LA cu privire la importanța indicatorilor care trebuie analizați.

Metode

Există mai multe metode de LA: descriptive (raportare), de diagnosticare (analiza automată), predictive sau prescriptive, fiecare fiind utile în anumite situații, după cum reiese din Tabelul 1.

Tabel 1. Metode de analiză a datelor educaționale și principalele arii de aplicație

Metode de LA Arii de aplicație Exemple

LA descriptiv, LA de diagnosticare

Îmbunătățirea (auto-) reflecției și (auto-) cunoașterii

Baker, Corbett & Wagner (2006)

Santos et al. (2012)

LA descriptiv, LA de diagnosticare

Crearea de alerte în timp real pentru părțile interesate

Baron, J. (2015)

LA descriptiv, LA de diagnosticare, LA predictiv

Îmbunătățirea serviciilor de feedback și evaluare

Barla et al. (2010)

LA de diagnosticare, LA predictiv

Modelarea profilului de student Jeong & Biswas (2008)

LA de diagnosticare, LA predictiv, LA prescriptiv

Recomandarea resurselor educaționale Antonenko, Toy & Niederhauser (2012)

Romero and Ventura (2013)

LA de diagnosticare, LA predictiv

Cercetarea științifică în domeniul educației Baker, Corbett & Wagner (2006)

Ming & Ming (2012)

LA de diagnosticare, LA predictiv

Predicția performanței Yadav & Pal (2012)

LA de diagnosticare, LA predictiv

Predicția abandonului școlar Ueno (2004)

Surse de date

Există numeroase surse de date pentru LA: anchete online, date obținute din activitatea studenților în medii de învățare virtuală, dar și datele biometrice pot fi utile (VIS5); metode de obținere a datelor biometrice ce pot fi interpretate pentru a depista puterea de concentrare, emoția etc sunt: electroencefalograma, măsurarea pupilei, răspunsul galvanic la nivelul pielii, respirația, tensiunea arterială etc. Instrumente specializate de colectare și analiză

6

a datelor trebuie folosite în această situație: pentru colectare - Biometric Software Suite, Emotiv, Pupil Meter for iPhone etc; pentru analiză – SDK dedicat, OpenViBE, LabChart.

Exemple

Au fost identificate aplicatii utile pentru LA (Bodea, Dascalu, Mogos, & Stancu, 2018), dezvoltate cu tehnologii web și mobile, fiecare fiind folosită în anumite contexte și doar pentru anumite medii, deci este loc de optimizare:

• platforma Khan Academy (Ruipérez-Valiente & all, 2015) are un modul pentru LA; • Active Campus – o aplicație care poate conecta studenții și resursele educaționale, prin

alerte despre prieteni, colegi sau evenimente cu caracter de învățare din proximitatea utilizatorilor, promovând astfel învțarea oportunistă (Griswold & all, 2004);

• MOBIlearn – exploatează analiza contextuală (Syvanen et al, 2005); • platforma Visualisation Infrastructure Service (GVIS) – agregă date despre utilizatori

ce activează în diferite medii virtuale de învățare și le crează profilul (Mazzola et al, 2010);

• ASSISTments combină asistența educațională online și activitățile de testare și a fost dezvoltată de Worcester Polytechnic Institute în colaborare cu Carnegie Mellon University (ASSISTments, 2016);

• LearnTracker, dezvoltată de Open Universiteit din Olanda, este o soluție bazată pe cloud în care profesorii pot crea aplicații și le pot executa pe diverse dispozitive mobile; platforma este foarte utilizată pentru a analiza rolul LA mobil în învățarea individuală (Tabuenca, 2015).

Studii de caz, anchete și experimente

Mai multe studii de caz, anchete și experimente au fost efectuate pentru a determina indicatorii utili în LA, care trebuie să se regăsească în profilul cursanților.

LA în medii de învățare dezvoltate cu tehnologii de realitate virtuală

S-au dezvoltat module care să permită înregistrarea activității utilizatorilor într-un laborator virtual de Arhitectura calculatoarelor (a se vedea Fig. 1), în medii virtuale pentru a învăța să își stăpânească fobiile (RIS1, VIS2) sau să parcheze o mașină (VIS4). Al doilea și al treilea experiment sunt potrivite pentru învățarea pe tot parcursul vieții, iar primul este potrivit pentru laboratoarele desfășurate în UPB. Pentru primul experiment, s-a decis înregistrarea timpului necesar rezolvării corecte a întregului exercițiu de asamblare în mediul virtual, în al doilea experiment s-au înregistrat timpul necesar parcurgerii tuturor provocărilor din mediile virtuale (e.g. urcarea pe munte, găsirea unei persoane în mulțime etc) și timpul în care utilizatorul a reușit să reziste în scenariu, iar în al treilea experiment timpul necesar pentru a parca în mod corect o mașină. În cazurile în care se utilizează realitatea virtuală în contextul învățării, suntem mai mult interesați de timpul necesar rezolvării unui task și mai puțin de reușita propriu-zisă, deoarece de obicei studenții reușesc datorită indiciilor vizuale foarte intuitive. Se recomandă și colectarea datelor EEG în aceste cazuri. Din punct de vedere tehnologic, s-a folosit Unity3D și Oculus Rift.

7

Fig. 1. Medii de învățare dezvoltate cu tehnologii de realitate virtuală

LA în medii de învățare dezvoltate cu tehnologii Web

Patru experimente s-au făcut în medii de învățare virtuale dezvoltate cu tehnologii Web. Primul experiment s-a făcut într-o platformă destinată învățării agriculturii (VIS6): indicatorii considerați importanți aici au fost numărul total de greșeli și numărul de greșeli repetate. Studenții trebuiau să îngrijească niște plante dintr-o seră virtuală, deci scopul principal era să facă cât mai puține greșeli și să învețe din greșeli. Al doilea experiment s-a făcut într-o platformă de învățare socială, în care indicatorul important este numărul de aprecieri primite de la membrii comunității în care utilizatorul este activ: cu cât mai mare acest indicator, cu atât mai vizibil va fi studentul pentru recrutorii care vor veni și ei pe platformă (RIS1). Al treilea și al patrulea experiment s-au făcut folosind modulele destinate LA din platforma PoliCAT: https://policat.herokuapp.com/ , pe care studenții din anul I și anul IV au putut-o folosi pentru a se pregăti pentru un test scris pe hârtie. Ca și indicatori de LA, am folosit notele și progresul studenților (VIS2, VIS8).

LA folosind anchete online

S-a realizat o anchetă online pentru a determina tipul de comportament al unui cursant în mediul virtual. Astfel, din 53 de participanți, 38% s-au dovedit a fi agresiv-dependenți, 24.5% agresiv-independenți, 22.5% pasiv-dependenți, iar 15% pasiv independenți (VIS7). Pentru fiecare tip de comportament, s-a oferit o descriere care poate fi utilă profesorului pentru a interacționa optim și a motiva studentul.

LA în Moodle

Un loc aparte l-au ocupat experimentele cu datele provenite din Moodle. Dintre toate sistemele de management al continutului educațional s-a ales Moodle, pentru că UPB folosește Moodle. S-a folosit un set de date anonimizate de pe Moodle: http://research.moodle.net/158/ din august 2016. Ca și indicatori de LA, s-au folosit nota finală a celor 3500 de studenți și un id de eficiență, cu valoarea 0 dacă studenții au accesat cursurile pe parcursul semestrului și 1 dacă le-au accesat la sfârșit. Pentru a studia corelația între accesare pe parcurs a resurselor educaționale și nota finală, s-au utilizat IBM Watson Analytics (Fig. 2) și MatLab (Fig. 3). S-

8

a observat o corelație pozitivă între nota studenților și accesarea cursurilor în timpul semestrului.

Fig. 2. Analiza datelor educaționale folosind IBM Watson Analytics

Fig. 3. Analiza datelor educaționale folosind MatLab

Indicatori utili în analiza datelor educaționale și set de bune practici pentru definirea lor

Profesorii au avut dintotdeauna acces la foarte multe date educaționale, iar odată cu răspânirea platformelor de e-learning, la și mai multe, e.g. note, lista de materii parcurse, dar și timp petrecut pe platformă, număr de întrebări adresate profesorului etc. Nu toate datele sunt cu adevărat importante, nu toate datele sunt informații utile cu privire la student. Prin urmare, profesorii au nevoie de suport pentru a folosi datele eficient, pentru a-și ajusta modelul de predare la nevoile cursanților și pentru a prezice evoluția studenților, astfel putând preveni, spre exemplu, eșecul academic sau alegerea unor trasee profesionale nepotrivite.

În urma unei atente analize de literatură, a studiilor de caz de la materiile predate la UPB-FILS, precum și prin observarea indicatorilor de învățare în medii imersive create cu ultimele tehnologii (web semantic, social, realitate virtuală etc), am stabilit un set de indicatori

9

utili, care pot răspunde la anumite întrebări de cercetare și pot fi aplicați în diverse arii de analiză a datelor educaționale, după cum apare în Tabelul 2.

Tabel 2. Indicatori importanți în analiza datelor educaționale

Denumire arie din analiza datelor educaționale

Întrebări de cercetare Indicatori

Modelarea cunoștințelor studenților

Ce știe un student?

Ce cunoștințe teoretice și practice are un student?

Numarul de răspunsuri corecte/ incorecte/ parțial corecte date de studenți la teste și întrebări

Timpul petrecut pentru a răspunde la o întrebare teoretică/a rezolva o cerință practică

Numărul total de greșeli și numărul de greșeli repetate

Curba progresului realizat de studenți cu privire la acumularea anumitor cunoștințe

Modelarea comportamentului studenților

Ce relație există între șabloanele comportamentale ale studenților și evoluția lor profesională?

Pot prezice șabloanele comportamentale informații suficiente cu privire la evoluția studenților?

Numarul de răspunsuri corecte/ incorecte/ parțial corecte date de studenți la teste și întrebări

Timpul petrecut pentru a răspunde la o întrebare teoretică/a rezolva o cerință practică

Numărul de intervenții în discuțiile de pe forumuri sau comunități virtuale

Numărul de fire de discuții create

Modul de interacțiune în comunități (participare activă – aprecieri, intervenții sau pasivă – simplă logare)

Modelarea experienței educaționale a studenților

Cursanții sunt încântați de experiențele lor din platformele de învățare?

Rata de răspuns la chestionare și anchete

Răspunsurile oferite la chestionare și anchete

Șabloane de comportament din diverse cursuri în cadrul aceleiași platforme/ școli

Crearea profilurilor studenților

Pe ce criterii pot fi clasificați și grupați studenții pentru a crea comunități de învățare?

Numarul de răspunsuri corecte/ incorecte/ parțial corecte date de studenți la teste și întrebări de la o anumită materie

Timpul petrecut pentru a răspunde la o întrebare teoretică/a rezolva o cerință practică

Interese și preocupări din afara instituției de învățare

Modelarea domeniului educațional

Cum pot fi create cursurile astfel încât să ofere o experiență educațională cât mai bună? Cum pot fi împărțite în mod optimal topicele pe module?

Performanța studenților pe module, în funcție de cantitatea de informație din acel modul

10

Analiza componentelor de învățare și a principiilor de predare

Ce componente ajută procesul de învățare (testele adaptive, video-urile interactive etc)?

Ce principii sunt conforme cu o instruire solida?

Cât de eficientă este curriculum în corelație cu nevoile pieței?

Performanța studenților pe module, în funcție de cantitatea de informație din acel modul

Performanța studenților ca urmare a parcurgerii unei componente de învățare de un anumit tip

Procentul de angajabilitate a absolventilor

Analiza tendințelor Ce tendințe se pot observa în timp cu privire la studenți și comunități de învățare?

Date de admitere

Număr de absolvenți

Specializări de succes

Note

Adaptarea și personalizarea

Ce activități și resurse educaționale pot fi recomandate unui student în cadrul unei platforme educaționale?

Cum ar trebui să se schimbe experiența fiecărui student, în funcție de acțiunile din cadrul unei platforme de e-learning sau în funcție de profil?

Date istorice ale studenților – conținut accesat, interacțiune cu ceilalți colegi, performanță academică, preferințe de interfață

Indicatorii pot fi simple metrici sau pot fi complecși: combinații de metrici, statistici. Indicatorii din Tabelul 2 trebuie să se regăsească în profilul virtual al cursanților, împreună cu studiile și interesele educaționale ale acestora. Pentru a putea fi accesat de orice fel de aplicație, ușor de parsat și interogat, disponibil pe Web si nu numai, formatul indicat este XML, e.g.:

<student>

<nume>....</nume>

<prenume>....</prenume>

<numar_interventii_forum>.... </numar_interventii_forum>

….......................

</student>

Următorul set de bune practici este bine de consultat când se stabilesc indicatorii de LA, parte integrantă din profilul utilizatorului:

11

1. Nu toate datele sunt cu adevărat importante, nu toate datele sunt informații utile cu

privire la student.

2. Indicatorii aleși depind de întrebările de cercetare.

3. Indicatorii pot fi utili în diverse probleme: modelarea cunoștințelor studenților,

modelarea comportamentului studenților, modelarea experienței educaționale a

studenților, crearea profilurilor studenților, modelarea domeniului educațional etc

4. Exemple de indicatori:

a. Numarul de răspunsuri corecte/ incorecte/ parțial corecte date de studenți la

teste și întrebări

b. Timpul petrecut pentru a răspunde la o întrebare teoretică/a rezolva o cerință

practică

c. Numărul total de greșeli și numărul de greșeli repetate

d. Curba progresului realizat de studenți cu privire la acumularea anumitor

cunoștințe

e. Timpul petrecut pentru a răspunde la o întrebare teoretică/a rezolva o cerință

practică

5. Indicatorii de LA trebuie să se regăsească în profilul virtual al cursanților, împreună

cu studiile și interesele educaționale ale acestora, sub un format independent de

tehnologie și cât mai flexibil, ușor de interogat.

6. Indicatorii trebuie să fie cuantificabili.

7. Indicatorii pot fi simple metrici sau pot fi complecși: combinații de metrici, statistici.

LeProVE - uCluster, instrument pentru analiza datelor educaționale într-un mediu

virtual

S-a implementat instrumentul LeProVE - uCluster, având ca funcționalitate principală oferirea unei reprezentări vizuale a studenților înscriși la un anumit curs, pe baza datelor oferite de cel mai utilizat sistem de management al conținutului educațional, Moodle. Cu ajutorul unor algoritmi de analiză a datelor, platforma poate analiza datele fiecărui student și poate construi un profil relevant pentru acesta. Profilurile tuturor studenților sunt exploatate și agregate ulterior în clustere, astfel profesorii pot ajunge să cunoască mai ușor studenții și să își analizeze metodele de predare. Instrumentul propus este foarte util pentru valorile sociale și culturale actuale, pentru că studenții nu sunt analizați absolut, folosind un standard stabilit de profesor, ci sunt analizați în funcție de media clasei, de performanțele colegilor, ținând cont nu doar de nota, ci și de interacțiunile lor sociale în grupul de colegi. Astfel, profesorul poate ajusta metodele de predare, dificultatea temelor etc la contextul clasei și poate recomanda resurse utile unui anumit profil de student. Totodată, un student, odata clasificat într-un anumit cluster, poate beneficia de recomandările utile studenților din clusterul respectiv.

Funcționalități

Funcționalitățile propuse pentru instrumentul LeProVE - uCluster sunt:

• Încărcare fișier în format csv cu datele studenților dintr-o platformă de învățare; pentru fiecare platformă, modulul de încărcare trebuie actualizat;

12

• Definire/editare/ștergere/selectare indicatori de analiză; în mod implicit, 5 indicatori sunt activi (quizLevel, assignmentLevel, learningIndex, socialActivityIndex, socialPassivityIndex):

o quizLevel și assignmentLevel sunt indicatori care semnifică notele studenților în comparație cu media clasei și ponderate de numărul de teme trimise/ numărul de teme cerute;

o learningIndex este un indicator care cuantifică timpul investit în consultarea diverselor materiale educaționale disponibile pe platforma cursului;

o socialActivityIndex este un indicator care cuantifică implicarea în contexte sociale de învățare, forumuri etc;

o socialPassivityIndex este un indicator care cuantifică timpul petrecut pentru navigarea sau citirea forumurilor, fără o implicare activă.

• Creare și salvare profil cursant în format xml, folosind valori concrete pentru indicatorii de analiză selectați, valori care vor fi obținute prin interogarea csv-ului inițial.

• Gruparea cursanților în clustere semnificative, folosind indicatorii de analiză aleși.

• Analiza și diagnosticarea metodelor de predare, pe baza clusterelor.

• Clasificarea unui nou cursant în clusterele deja existente.

• Recomandarea de activități pentru un cursant, în funcție de profil și clasificarea în clustere. Ultimele două funcționalități sunt destinate atât studenților, cât și profesorilor, în timp

ce celelalte sunt exclusive pentru profesori.

Tehnologii folosite

Tehnologiile folosite pentru implementare sunt actuale: Scala, Spark, Angular JS și algoritmi de data mining (K-Means) sau de probabilități și statistică (Big Data Sampling), oferiți de Spark. Limbajul Scala implementează paradigma programării orientate spre obiecte și a celei funcționale. Apache Spark este un motor pentru procesarea de date, care oferă și funcții pentru machine learning, interogări etc.

Analiza datelor educaționale în LeProVE - uCluster

Formatul datelor de intrare

LeProVE - uCluster poate rula în mod demo folosind fișiere csv exportate de Moodle, după cum urmează: mdl_course_modules.csv - conține înregistrări cu descrierea tuturor activităților din cursul Moodle; mdl_course_modules_completion.csv - conține înregistrări cu stadiul de îndeplinirie al activităților din curs; mdl_grade_grades_history.csv - conține înregistrări cu notele tuturor studenților, la fiecare element din curs; mdl_logstore_standard_log.csv - conține înregistrări ale evenimentelor din curs; mdl_user.csv - conține înregistrări ale participanților la curs. Pentru folosirea datelor exportate din alte platforme, variate actualizări sunt necesare.

Construirea profilului cursantului

Dacă se aleg indicatorii de analiză predefiniți, putem afla: a) cât de bine performează studentul la teste și la trimiterea temelor, comparativ cu ceilalți

studenți (nu suntem interesați de o valoare absolută);

13

b) care este nivelul angajamentului său față de elementele de evaluare (nu este de-ajuns ca studentul să obțină 100% la unul din ele, trebuie să aibă o activitate constantă);

c) activitățile lui educaționale (de câte ori a accesat o anumită resursă educațională, e.g. wiki-ul cursului sau un anumit material video postat în cadrul cursului), relativ la cele ale colegilor;

d) nivelul lui de comunicare cu ceilalți membri ai comunității: participare pasivă (doar vizualizarea postărilor realizate de ceilalți) sau activă (numărul de răspunsuri sau de fire de discuție create pe forumul cursului). Astfel, se pot selecta indicatorii impliciți ai instrumentului dezvoltat. Formatul xml al profilului de cursant ce va fi creat va avea următoarea structură:

<student>

<id>....</id>

<quizLevel>....</ quizLevel >

<assignmentLevel>.... </ assignmentLevel>

<learningIndex>.... </ learningIndex>

<socialActivityIndex>.... </ socialActivityIndex>

<socialPassivityIndex>.... </ socialPassivityIndex>

</student>

Algoritmul de analiză

a) Din csv-ul mdl_course_modules extragem itemurile de tip test (quiz) și temă (assign) pentru fiecare curs.

b) Din csv-ul mdl_grade_grades_history extragem notele pentru teste și teme. c) Pentru fiecare test, respective temă, calculăm media între cea mai mica notă și cea mai

mare notă. d) Clasificăm locul ocupat de student în funcție de acea medie (sub medie, egal cu media,

peste medie), pentru teste și teme. e) Calculăm două statistici relevante pentru nota unui student, comparativ cu nivelul

clasei, după formula, atât pentru teme, cât și pentru teste: student_grade_statistics = gradeLevel * submissionPercentage, unde: -gradeLevel = sub medie, egal cu medie sau peste media clasei; -submissionPercentage = câte teme au fost trimise/teste trecute din totalul cerut de professor, extrase din csv-ul mdl_course_modules_completion.

f) Procesăm csv-ul the mdl_logstore_standard_logs, pentru a studia activitățile educaționale ale studenților; suntem interesați de resursele de tip book, resource, wiki,

book-tool, glossary and recording, și de activitățile de tip view și print, relative la aceste resurse educaționale.

g) Procesăm csv-ul the mdl_logstore_standard_logs, pentru a studia implicarea în comunitate – pasivă sau activă, adică analizăm activitățile de tip create, update și submit din cadrul forumurilor, ancheteleor și chestionarelor de feedback.

14

h) Construim profilul cursantului ( a se vedea Fig. 4), care se bazează pe cei cinci indicatori de analiză: quizLevel (daca nota obținută la teste este sub, egală sau peste nivelul clasei), assignmentLevel (daca nota obținută la teme este sub, egală sau peste nivelul clasei), learningLevel (de câte ori a accesate resursele educaționale, comparative cu ceilalți colegi), socialActivityIndex sau activeInteractionLevel (dacă este activ pe forumurile cursului), socialPassivityIndex sau passiveInteractionLevel

(dacă este pasiv pe forumurile cursului). i) aplicăm algoritmul de clusterizare K-means (Trevino, 2016): avem 9 clustere, in funcție

de cele trei clase de performanță la teste și teme (indicatorii quizLevel și assignmentLevel), pentru fiecare cluster putem avea alte 3 sub-clustere, bazate pe ceilalți 3 indicatori (learningIndex, socialActivityIndex, socialPassivityIndex). Cu alte cuvinte, putem ajunge la maxim 27 de clustere (Fig. 5). Centroizii clusterelor sunt aleși prin tehnica Reservoir Sampling. Pentru a calcula gradul de asemănare între profiluri, calculăm distanța euclediană ca în Fig. 6.

Fig. 4. Crearea profil cursant în cadrul LeProVE - uCluster

Fig. 5. Definirea clusterelor folosind K-means

15

Fig.6. Calculul gradului de asemănare dintre profilurile cursanților

Validarea instrumentului – studiu de caz

Descrierea setului de date folosit

Pentru a demonstra funcționalitatea platformei, fără importarea unui set de date din Moodle-UPB, LeProVE - uCluster poate rula în mod demo și folosi setul de date Moodle disponibil pentru cercetare de pe (Moodle Research Library, 2017): http://research.moodle.net/158/ . Datele au fost colecționate dintr-un curs online despre Moodle folosind platforma Moodle, oferit în perioada 7 august – 8 septembrie 2016, către 6119 studenți și la care au participat 2 profesori. Doar 45% din acești studenți au completat chestionarul legat de folosirea datelor educaționale în scopuri de cercetare și doar 35% din numărul initial de studenți au acceptat ca datele lor să fie folosite, după anonimizare. Prin urmare, doar datele celor 2167 de studenți care și-au dat acordul au fost folosite. Datele sunt oferite sub forma unor 6 fișiere csv, dar doar 5 au fost folosite, după cum urmează:

• mdl_course_modules.csv: conține înregistrări cu descrierea tuturor activităților din cursul Teaching with Moodle;

• mdl_course_modules_completion.csv: conține înregistrări cu stadiul de îndeplinirie al activităților din cursul Teaching with Moodle;

• mdl_grade_grades_history.csv: conține înregistrări cu notele tuturor studenților, la fiecare element din cursul Teaching with Moodle;

• mdl_logstore_standard_log.csv: conține înregistrări ale evenimentelor din cursul Teaching with Moodle;

• mdl_user.csv: conține înregistrări ale participanților la cursul Teaching with

Moodle.

Rezultate

În urma rulării algoritmului de analiză, cu cei 5 indicatori de analiză predefiniți și folosind setul de date descris anterior, s-au obținut clusterele din Fig. 7.

16

Fig. 7. Clusterele de studenți

Deoarece nici un student nu a reușit să rezolve cu succes temele, cei 2 profesori implicați în curs pot concluziona fie că temele au fost prea grele, fie că nu au fost relevante, în ciuda implicării studenților. Prin urmare, ajustarea temelor în conformitate cu materia predată este necesară.

Totuși, peste 700 de studenți s-au descurcat peste medie la test, in comparație cu cei aproximativ 380 care au fost sub medie. Următoarea întrebare pentru analiza datelor ar fi ce îi diferențiază pe cei care au performat de ceilalți, astfel recomandări utile li se pot face și grupului care nu au performat.

Selectăm cele mai mari sub-clustere din fiecare categorie:

(below, below) -> (16, 7, 14) [count: 357]

(above, below) -> (41, 28, 70) [count: 732]

Observăm că cei care au obținut note mai mari la test, fiind în al doilea sub-cluster, au fost și mai activi pe forumuri, deci o recomandare pentru studenți ar putea fi o implicare socială mai mare în comunitățile virtuale de învățare.

Concluzii și direcții viitoare

Proiectul are o mare importanță știinţifică, deoarece se încadrează în direcțiile actuale ale cercetărilor în domeniul LA și completează studiile privind mediile virtuale de învățare realizate cu tehnologii noi (sociale, semantice, RV). Impactul știinţific și tehnologic este dat de exploatarea acestor tehnologii, de asigurarea interoperabilităţii dintre instrumentul dezvoltat și mediile virtuale realizate cu tehnologii diverse, de aplicarea unor algoritmi de data mining.

Proiectul oferă posibilitatea universităţilor să-si măsoare eficienţa actvităţilor didactice, nu doar prin analiza rezultatelor concrete ale studenţilor sau a interesului manifestat de acestea faţă de materialele oferite, ci prin menţinerea unei evidenţe a gradului de angajabilitate a studenților: unul din mediile virtuale optimizate în cadrul proiectului furnizează date ce permit expunerea studenţilor către recrutorii care vor adera la acel mediu (comportamentele exceptionale ale studenţilor din cadrul comunităţilor virtuale de învăţare din cadrul mediului vor fi răsplătite prin recomandări către recrutorii interesaţi) (a se vedea RIS1 din Anexa1) . Astfel impactul economic și aplicabilitatea proiectului sunt justificate. Poate cel mai important este impactul social si cultural al proiectului, deoarece LA îi face pe profesori și studenţi să fie

17

conștienţi si motivaţi în actul educaţional. Oamenii din ziua de astăzi sunt din ce în ce mai dornici să se exprime si să interacţioneze unii cu alţii, să-si construiască o identitate, iar tehnologiile noi sunt o reflexie a acestei schimbări (e.g. web-ul semantic si social). Instrumentele de LA în general si LeProVE în special îi ajută pe oameni să-si creeze această identitate, să-si conștientizeze abilităţile sau neputinţele. Totodată, rolul universităţilor s-a schimbat, nu mai oferă doar conţinut educaţional, ci oferă suport personalizat studenţilor pentru o învăţare mai profundă, de durată, îi învaţă cum să fie membri de bază ai comunităţii, iar LeProVe poate fi un sprijin în acest sens, pentru ca acest rol să nu fie doar declarativ, ci și asumat.

În viitor, se va experimenta în LeProVE - uCluster și cu date din alte platforme de e-learnin, se va optimiza continuu codul și vor fi dezvoltați noi algoritmi de analiză LA în special de tip prescriptiv și predictiv.

Diseminarea rezultatelor

Rezultatele cercetării din cadrul proiectului LeProVE au fost diseminate în 11 lucrări științifice listate în Anexa 1: 2 articole în jurnale (1 jurnal ISI cu factori de impact 3.435 și altul BDI), 1 capitol de carte și 8 lucrări în volumele unor conferințe internaționale prestigioase. Diseminarea a avut loc conform obiectivelor stabilite: a se vedea Tabelul 3.

Tabel 3. Diseminarea rezultatelor conform obiectivelor de cercetare

Denumire obiectiv Cod lucrare conform listei din Anexa 1

Obiectiv general: optimizarea procesului educațional în medii virtuale și mixte de învățare prin tehnici de analiză a datelor

RIS1, RIS2, D1, VIS1, VIS2, VIS3, VIS4, VIS5, VIS6,

VIS7, VIS8

O1: dezvoltarea de module în aplicațiile de învățare virtuală construite în proiectele anterioare, pentru a permite studierea colectării datelor

RIS1, RIS2, VIS1, VIS2, VIS4, VIS6, VIS7, VIS8

O2: stabilirea indicatorilor utili în LA, care să reflecte veridic comportamentul virtual al studenților, folosind analiză de literatură, dar și studii de caz/ experimente în mediile virtuale dezvoltate și UPB

D1, VIS5

O3: stabilirea formei și conținutului unui profil virtual al studentului

D1, VIS5

O4: implementarea instrumentului de extragere, agregare și analiză de date relative la profilul virtual al studentului

D1, VIS8

O5: stabilirea unui set de bune practici pentru realizare de LA în diverse medii virtuale și a direcțiilor viitoare de cercetare

D1, VIS3

18

Mulțumiri

Această activitate a fost finanțată de Universitatea POLITEHNICA din București (UPB), prin programul“Excellence Research Grants”, UPB – GEX. Identificator: UPB–EXCELENȚĂ 2016.

Bibliografie

Antonenko, P. D., Toy, S., & Niederhauser, D. S. (2012). Using cluster analysis for data mining in

educational technology research. Educational Technology Research and Development, 60(3), 383–

398. doi:10.1007/s11423-012-9235-8

ASSISTments (2016), https://www.assistments.org/

Barla, M., Bieliková, M., Ezzeddinne, A. B., Kramár, T., Šimko, M., & Vozár, O. (2010). On the impact

of adaptive test question selection for learning efficiency. Computers & Education, 55(2), 846–857.

doi:10.1016/j.compedu.2010.03.016

Baron, J. (2015). Learning Analytics in the United States: Surveying the Landscape, Retrieved July 30,

2016, from: http://projet-cela.fr/wp-content/ uploads/2015/12/Learning-Analytics-in-the-United-States-

Surveying-the-Landscape.pdf

Baker, R. S. J. D., Corbett, A. T., & Wagner, A. Z. (2006). Human classification of low-fidelity replays of

student actions, in: Ikeda, M., Ashlay, K. & Chan, T. (eds.), Proceedings of the 8th International

Conference on Intelligent Tutoring Systems. Springer.

Ferguson, R. (2012). Learning analytics: Drivers, developments and challenges. International Journal

of Technology Enhanced Learning, 4(5/6), 304–317. doi:10.1504/IJTEL.2012.051816

Griswold, W. G., Shanahan, P., Brown, S.W., Boyer, R., Ratto, M., Shapiro, R.B., Truong, T.M.:

ActiveCampus: Experiments in Community-Oriented Ubiquitous Computing, Computer 37 (10), 73 –

81 (2004)

Jeong, H., & Biswas, G. (2008). Mining student behavior models in Learning-by-teaching

environments. Proceedings of the 1st International Conference on Educational Data Mining, 127-

136.

Mazzola, L. & Mazza, L. (2010). GVIS: A Facility for Adaptively Mashing Up and Representing Open

Learner Models, Proceedings of EC-TEL, LNCS 6383, Barcelona, Spain, pp. 554–559.

Ming, N. C., & Ming, V. L. (2012). Predicting Student Outcomes from Unstructured Data, Proceedings

of the 2nd International Workshop on Personalization Approaches in Learning Environments, 11-16.

Moodle Research Library (2017), http://research.moodle.net/158/

Romero, C., & Ventura, S. (2013). Data mining in education. WIREs Data Mining and Knowledge

Discovery, 3(1), 12–27. doi:10.1002/widm.1075

Ruipérez-Valiente, J.A., Muñoz-Merino, P.J., Leony, D. & Kloos, C.D. (2015). ALAS-KA: A learning

analytics extension for better understanding the learning process in the Khan Academy platform,

Computers in Human Behavior, vol. 47, pp. 139–148.

Santos, J. L., Govaerts, S., Verbert, K., & Duval, E. (2012). Goal-oriented visualizations of activity

tracking: A case study with engineering students, in: S. Buckingham Shum, D. Gasevic, & R. Ferguson

19

(eds.), Proceedings of the 2nd International Conference on Learning Analytics and Knowledge, New

York, 143–152. doi:10.1145/2330601.2330639

Syvanen, A., Beale, R., Sharples, M. & Ahonen, M. (2005). Supporting Pervasive Learning

Environments: Adaptability and Context Awareness in Mobile Learning, Proceedings of IEEE

International Workshop on WMTE, Tokushima, Japan, pp. 251 – 253.

Tabuenca, B., Kalz, M., Drachsler, H. & Specht, M. (2015). Time will tell: The role of mobile learning

analytics in self-regulated learning, Computers & Education, vol. 89, pp.53-74.

Trevino, A. (2016). Introduction to K-means Clustering, https://www.datascience.com/blog/k-

means-clustering

Ueno, M. (2004). Online Outlier Detection System for Learning Time Data in E-Learning and its

Evaluation. Proceedings of the International Conference on Computers and Advanced Technology in

Education, 248-253.

Yadav, S. K., & Pal, S. (2012). Data Mining: A Prediction for Performance Improvement of Engineering

Students using Classification. World of Computer Science and Information Technology Journal, 2(2),

51–56.

Anexa 1. Lista lucrărilor publicate în extenso

RIS1. Maria-Iuliana Dascălu, Constanta-Nicoleta Bodea, Bianca Tesila, Alin Moldoveanu, Patricia Ordoñez de Pablos, How social and semantic technologies can sustain employability

through knowledge development and positive behavioral changes, Computers in Human Behavior, ISSN: 0747-5632, Elsevier, vol. 70, mai 2017, pg. 507-517, https://doi.org/10.1016/j.chb.2017.01.026, ISI, IF 3.435

RIS2. Iulia-Cristina Stănică, Maria-Iuliana Dascălu, Alin Moldoveanu, Florica Moldoveanu, An Innovative Solution based on Virtual Reality to Treat Phobia, International Journal of Interactive Worlds, ISSN : 2165-9508, IBIMA, vol. 2017, februarie 2017, Article ID 155350, DOI: 10.5171/2017.155350, BDI

D1. Constanta-Nicoleta Bodea, Maria-Iuliana Dascălu, Radu Ioan Mogos, Stelian Stancu, Learning Analytics, capitol 448 în Encyclopedia of Information Science and Technology, Fourth Edition, ISBN: 9781522522560, IGI Global, 2018, pg. 5158-5168, DOI: 10.4018/978-1-5225-2255-3.ch448

VIS1. Iulia-Cristina Stănică, Maria-Iuliana Dascălu, Alin Moldoveanu, Florica Moldoveanu, Le Traitement Des Phobies Par La Réalité Virtuelle, Proceedings of the 28th International Business Information Management Association Conference, ISBN: 978-0-9860419-8-3, 9-10 noiembrie 2016, Sevilia, Spania, pg. 1655-1667, Proceedings ISI

VIS2. Maria-Iuliana Dascălu, Constanta-Nicoleta Bodea, Melania Nitu, Gabriel Alecu, Iuliana Marin, Dan Alexandru Mitrea, Ana-Maria Neagu, Supporting Self-Regulated Learning

via Technology Tools: a Case Study in an Engineering Degree Program in Romania, The 11th annual International Technology, Education and Development Conference (INTED), ISBN: 978-84-617-8491-2, 6-8 martie 2017, Valencia, Spania, pg. 5054- 5061, Proceedings ISI

20

VIS3. Maria-Iuliana Dascălu, Constanta-Nicoleta Bodea, Radu Ioan Mogos, Iulia Stanica, Gordana Velikic, Martina Huemann, START-SOPI Project - Feasibility Study on Implementing

a Pan-European Social Platform to Support Lifelong Learning and Employability, The 11th annual International Technology, Education and Development Conference (INTED), ISBN: 978-84-617-8491-2, 6-8 martie 2017, Valencia, Spania, pg. 5070- 5078, Proceedings ISI

VIS4. Nicholas Uzoma Muoh, Imad Abdul-Karim, Stefan Octavian Rosu, Maria-Iuliana Dascălu, Iulia-Cristina Stanica, Training based on Virtual Simulators. Case Study for

Improving Parking Skills, The 13th International Scientific Conference eLearning and Software for Education (ELSE), 27-28 aprilie 2017, Bucuresti, Romania, pg. 495- 501, DOI: 10.12753/2066-026X-17-155, Proceedings ISI

VIS5. Viviana Elena Dinu, Dalia Papuc, Alexandru Gheorghiu, Maria-Iuliana Dascălu, Alin Moldoveanu, Florica Moldoveanu, Biometric Data in Learning Analytics: a Survey on Existing

Applications, The 13th International Scientific Conference eLearning and Software for Education (ELSE), 27-28 aprilie 2017, Bucuresti, Romania, pg. 465 - 472, DOI: 10.12753/2066-026X-17-151, Proceedings ISI

VIS6. Jullia Birsan Diana Stavarache, Maria-Iuliana Dascălu, Ionel Bujorel Pavaloiu, Ana Maria Neagu Trocmaer, Internet of Things in Education: a Case Study for Learning

Agriculture, The 13th International Scientific Conference eLearning and Software for Education (ELSE), 27-28 aprilie 2017, Bucuresti, Romania, pg. 450 - 457, DOI: 10.12753/2066-026X-17-149, Proceedings ISI

VIS7. Roxana Postelnicu, Maria-Iuliana Dascălu, Elena Laura Trifan, Elisabeth Lazarou, Constanta-Nicoleta Bodea, Behavioral Patterns in Smart Learning Environments to Enhance

Employability, The 13th International Scientific Conference eLearning and Software for Education (ELSE), 27-28 aprilie 2017, Bucuresti, Romania, pg. 430 - 437, DOI: 10.12753/2066-026X-17-146, Proceedings ISI

VIS8. Maria-Iuliana Dascălu, Melania Nitu, Gabriel Alecu, Constanta-Nicoleta Bodea, Alin Dragos Bogdan Moldoveanu, Formative Assessment Application with Social Media

Integration using Computer Adaptive Testing Techniques, The 12th International Conference

on e- Learning (ICEL), ISBN: 978-1-911218-35-7, 1-2 iunie 2017, Orlando, SUA, pg. 56-65, Proceedings ISI