Localizarea punctelor faciale importante cu reţele convoluţionale adânci

Student: Ing. Iulian-Ionuț FELEAProfesor coordonator: Sl. Dr. Ing. Laura Maria FLOREA

Cuprins● Introducere● Domenii de aplicabilitate a punctelor faciale● Rețele convoluționale adânci● Modelele folosite● Calculul erorii● Baze de imagini● Rezultate● Concluzii● Bibliografie

Introducere- în transmiterea mesajelor comunicare non-verbală

transmite până la 93% din informație- se bazează pe expresiile faciale, tonul vocii și

mișcările corpului- oamenii sunt capabili să recunoască semnale ale

comunicării până la 30% numai pe baza expresiilor faciale [1]

- la baza detecției de expresii faciale stă o bună detecție a punctelor faciale importante

Domenii de aplicabilitate a punctelor faciale- detecția emoțiilor faciale- detecția senzațiilor de durere- detecția senzațiilor de neatenție și oboseală în cazul șoferilor- detecția gradului de stres

Rețele convoluționale adânci

- inspirate din modul de organizare al cortexului vizual uman- explorează corelația spațială din cadrul imaginilor- procesul de convergență se bazează pe interconectarea fotoreceptorilor din retina cu

celulele ganglionale- gruparea celulelor ganglionale formează campurile receptive ale unei celule din creier

Rețele convoluționale adânci- Rețelele neurale convoluționale se caracterizează prin:

● conectivitate locală: neuronii sunt contectați doar la un subset de neuroni din stratul anterior

● partajarea ponderilor: ponderile sunt partajate între un subset de neuroni din stratul convoluțional (acești neuroni formează o hartă de trăsături)

● pooling: reduce progresiv dimensiunea spațială a intrării [2]

Fig.1. Ilustrarea conectivității locale și partajarea ponderilor [2]

Rețele convoluționale adânci

Fig.2 Arhitectura unei rețele neuronale convoluționale [3]

0 input 1x96x96 1 conv1 32x94x94 2 pool1 32x47x47 3 dropout1 32x47x47 4 conv2 64x46x46 5 pool2 64x23x23 6 dropout2 64x23x23 7 conv3 128x22x22 8 pool3 128x11x11 9 dropout3 128x11x11 10 hidden4 1000 11 dropout4 1000 12 hidden5 1000 13 output 30

Modelul 1

0 input 1x96x96 1 conv1 16x94x94 2 conv2 16x92x92 3 pool1 16x46x46 4 conv3 32x44x44 5 conv4 32x42x42 6 pool2 32x21x21 7 conv5 64x20x20 8 conv6 64x18x18 9 pool3 64x9x9 10 conv7 128x8x8 11 conv8 128x6x6 12 pool4 128x3x3 13 hidden9 1000 14 hidden10 1000 15 output 30

Modelul 2

Modelul 30 input 1x96x961 conv1 16x94x942 conv2 16x92x923 conv3 16x90x904 conv4 16x88x885 pool1 16x44x446 conv5 32x42x427 conv6 32x40x408 conv7 64x38x389 conv8 64x36x3610 pool2 64x18x1811 conv9 128x16x1612 conv10 128x14x1413 conv11 256x12x1214 conv12 256x10x1015 pool3 256x5x516 hidden13 100017 hidden14 100018 output 30

0 input 1x96x96 1 conv1 16x94x94 2 conv2 16x92x92 3 pool1 16x46x46 4 conv3 32x44x44 5 conv4 32x42x42 6 pool2 32x21x21 7 conv5 64x20x20 8 conv6 64x18x18 9 pool3 64x9x9 10 conv7 128x8x8 11 conv8 128x6x6 12 pool4 128x3x3 13 hidden9 1000 14 hidden10 1000 15 output 30

Modelul 4

Calculul erorii:

N - numărul de puncte faciale px - punctul prezis de rețeaua convoluțională ax - punctul adnotat distinter - distanța interoculară dist(px,ax) - distanța dintre un punct facial prezis și unul adnotat

Baze de imaginiSetul de antrenare:

Kaggle facial keypoint detection (KFKD)- are în componență imagini în grayscale de

96x96 pixeli- 2140 imagini au toate 15 puncte faciale adnotate- 1783 imagini de testare

Setul de testare:BioID- 1521 de imagini monocrome de 384x286 pixeli.- marcate cu 20 de puncte faciale/imagine

Fig.3 . Imagini din cadrul bazei de imagini KFKD [2]

Rezultate

Rezultate

Fig.4. Reprezentarea diferențelor pentru baza de imagini BioID dintre punctele adnotate manual (albastre) și punctele prezise (verzi) pentru modelul 1 (st. sus), modelul 2 (dr. sus), modelul 3 (st. jos), modelul 4 (dr. sus)

Baze de imaginiSetul de testare:

AR- peste 4000 de imagini color de 768x576 pixeli- 126 participanți (70 barbați și 56 femei)- cu diferite expresii faciale, iluminări și ocluziuni- marcate cu 56 de puncte faciale/imagine

Rezultate

Rezultate

Fig.5. Reprezentarea diferențelor pentru baza de imagini AR dintre punctele adnotate manual (albastre) și punctele prezise (verzi) pentru modelul 1 (st. sus), modelul 2 (dr. sus), modelul 3 (st. jos), modelul 4 (dr. sus)

Baze de imaginiSetul de testare:

PUT- 2200 de imagini color de 2048x1536 pixeli- 100 participanți, 22 imagini/persoană- cu diferite expresii faciale și rotații ale capului- marcate cu 65 de puncte faciale/imagine

Rezultate

Baze de imaginiSetul de testare:

Cohn-Kanade+- peste 11000 de imagini color de 2048x1536 pixeli- 100 participanți, cu vârste între 18-30 ani- cu diferite expresii faciale, iluminări- marcate cu 68 de puncte faciale/imagine

Fig. 6. Imagini din baza de imagini Cohn-Kanade+ ce prezintă diferite expresii faciale

Rezultate

Baze de imaginiSetul de testare:

LFW- 13233 de imagini color, de 250x250 pixeli- 5749 participanți- cu diferite expresii faciale, iluminări, rotații ale capului și ocluziuni- marcate cu 13 de puncte faciale/imagine

Fig. 7. Imagini din baza de imagini LFW ce prezintă diferite expresii faciale cât și rotații ale capului

Rezultate

Concluzii- contraindicat implementarea a mai mult de 3 straturi convoluționale consecutive- se recomandă utilizarea unui set de antrenare ce conține imagini diversificate și în

special în “natură”- s-au obținut rezultate foarte bune pentru cazuri ideale, în laborator, cu subiecți ce au

fața orientată frontal- în cazul bazei de imagini Cohn-Kanade, detecția punctelor faciale este eronată în caz

de expresie facială- în cazul bazei de imagini LFW, detecția punctelor faciale este eronată în situațiile de

obturare și rotație a feței

Bibliografie:[1] - Corneliu FLOREA, Mihai CIUC, “Interfata vizuala om-masina”, 2013[2]http://danielnouri.org/notes/2014/12/17/using-convolutional-neural-nets-to-detect-facial-keypoints-tutorial/[3] - http://www.dataiku.com/blog/2015/08/18/Deep_Learning.html[4] - https://www.bioid.com/About/BioID-Face-Database[5] - https://www.kaggle.com/c/facial-keypoints-detection/data[6] - http://deeplearning.net/tutorial/lenet.html