Prezentare Doctorat Ionut Mironica

Universitatea Politehnica București – Facultatea de Electronica, Telecomunicații și Ingineria Informației

TEHNICI INTELIGENTE PENTRU ANALIZA ȘI CLASIFICAREA DUPĂ

CONȚINUT A COLECȚIILOR DE BAZE DE DATE MULTIMEDIA

Doctorand: ing. Ionuț MIRONICĂ

Conducător de doctorat: prof. dr. ing. Radu DOGARU

LAPI, Departamentul de Electronică Aplicată și Tehnologia Informației, Universitatea Politehnica București

Romania

Universitatea Politehnica Bucureşti

Stagiu 6 luni „University of Trento”, Italia


2


3


4


55

Informație vizuală - culoare - textură - forme - trăsături

Informație de mișcare

Informație audio - muzică - vorbire - sunete

Informație textuală

Scopul tezei de doctoratDate multimedia

[www.youtube.com]


6

Cuprins

• Concluzii și perspective de dezvoltare

• Prezentare concepte

• Trăsături propuse pentru descrierea documentelor video• reprezentarea „Fisher kernel”

• Metode de Relevance Feedback propuse

• Trecerea în revistă a principalelor contribuții originale


7

I. Prezentare concepte

(On-line)Calcul

DescriptoriComparaţie

Rezultate

Relevance feedback

Baza de date multimedia

(Off-line)Calcul

Descriptori

Interogare

Descriptori multimedia(vectori cu

componente)

Antrenare/clasificare

Căutare similaritate

Căutare concepte

Căutare în conținut


8

• “Semantic gap” (paradigma semantică) - diferenţa dintre informaţia computaţională extrasă din documentul multimedia şi interpretarea semantică a acestuia.

I. Prezentare concepte


Capitolul IITrăsături pentru descrierea

documentelor video


[Czurka et al., ECCV 2004]

Creare dicționarDetecție de puncte de interes Generare histograme

Antrenare clasificator

10

II. Trăsături pentru descrierea videoModelul „Bag of Words” („State-of-the-Art”)


• conține apartenența fiecărui punct de interes către un element al unui dicționar (histogramă de cuvinte)

Rezultat: D = [0;0;0;1];

Dimensiune: K (numărul de cuvinte din dicționar)

II. Trăsături pentru descrierea videoModelul „Bag of Words”

11

[Czurka et al., ECCV 2004]


• nu există nici o metodă riguroasă de reprezentare a distribuției spațiale dintre anumite perechi de cuvinte.

• există multe cuvinte care nu sunt relevante

• procesul de cuantizare a cuvintelor generează zgomot de cuantizare.

• costul computațional crește foarte mult odată cu dimensiunea vocabularului de cuvinte.

II. Trăsături pentru descrierea videoDezavantaje model „Bag of Words”

12


13

- conceptul a fost introdus de [Jaakkola et al.,: Exploiting generative models in discriminative classifiers. NIPS’99] pentru detecția de proteine.

- introdus în Computer Vision de [Perronnin et al.,: "Fisher kernels on visual vocabularies for image categorization." CVPR’07] pentru clasificarea de imagini.

- combină beneficiile algoritmilor generativi cu cei discriminativi.

- reprezintă un semnal ca și gradientul funcției de densitate de probabilitate care este învățată ca un model generativ al unui semnal.

II. Trăsături pentru descrierea videoTeoria reprezentării „Fisher kernel”

(1)

(2)


• Calculează probabilitățile de apartenență la un cuvânt din dicționar Rezultat: D = [0.3;0.1;0.1;0.5]; - calculează gradientul mediei și a varianței probabilităților deapartenență la un cuvânt din dicționar.

Dimensiune: 2*D*K

2 – medie + varianță

K – numărul de cuvinte din dicționar

D – lungimea trăsăturii

II. Trăsături pentru descrierea videoReprezentarea „Fisher kernel”

14


15

II. Trăsături pentru descrierea videoContribuții

(1) am introdus reprezentarea Fisher pentru modelarea variației de timp în cadrul documentelor video

(2) am demonstrat că modelul propus are un caracter general în funcție de problema selectată: de la recunoaștere de gen, la recunoaștere de secvențe sportive și acțiuni cotidiene.

(3) am arătat generalitatea metodei în funcție de trăsăturile alese: de la descriptori vizuali, la descriptori de mișcare și trăsături audio

(4) cu metoda propusă am obținut rezultate similare sau mai bune decât cele propuse în literatură, deși am utilizat un set de trăsături mai ușor de calculat.

[Mironică et al., Multimedia’13 ACM]


16

Calcul a vectorilor Fisher

Pas de antrenare și clasificare

Extragere dicționar

Secțiune generativăSecțiune

discriminativă

II. Trăsături pentru descrierea videoArhitectura reprezentării „Fisher kernel”

[Mironică et al., ICMR’13 ACM]

X = {x1 ... xm}

Extragere trăsături

Reducere dimensiune descriptori


17

II. Trăsături pentru descrierea videoAgregarea cadrelor cu reprezentarea „Fisher kernel”

Reprezentare „Fisher kernel”

Cadrele similare vor face parte din aceeași componentă, modelând variațiile subtile de timp.

[Mironică et al., ICMR’13 ACM][Mironică et al., Multimedia’13 ACM]


18

II. Trăsături pentru descrierea videoAgregarea cadrelor cu reprezentarea „Fisher kernel”

Cadrele nesimilare vor face parte din componente separate, prevenind amestecarea conceptelor nesimilare.

[Mironică et al., ICMR’13 ACM]Reprezentare „Fisher kernel” [Mironică et al., Multimedia’13 ACM]


19

Scor 1(normalizat)

Scor 1(normalizat)

Scor 2(normalizat)

Scor 2(normalizat)

Scor n(normalizat)

Scor n(normalizat)

Normalizarea scorurilor de încredere

Vector Fisher 1

Vector Fisher 2 Vector Fisher 2

Vector Fisher n Vector Fisher n

Generare vectori Fisher

clasificator 1

clasificator 1

clasificator2

clasificator2

clasificatorn

clasificatorn

Clasificare

DecizieDecizieScor de încredere

global

Scor de încredere global

Obținerea unui scor de încredereglobal

Fuziunea trăsăturilor – „Late Fusion”

II. Trăsături pentru descrierea video

[Mironică et al., CBMI 2013, IEEE/ACM]


20

Detecția genului documentelor video


[http://www.multimediaeval.org/mediaeval2012]

• Programe de televiziune– știri, sport, documentare, talk show, …

• Filme– drame, comedii, thriller, …

• Înregistrări– conferințe, video teleconferințe, ...

• Altele

– camere de supraveghere, înregistrări personale, …


21

• 14.838 episoade ~ aproximativ 3.260 ore de conținut video o 5.288 documente pentru antrenareo 9.550 documente pentru testare

• conține documente video semi-profesionale de pe internet grupate în 26 de genuri: artă, autovehicule, afaceri, jurnalism, comedie, documentare, educațional, bucătărie

Baza de date „MediaEval 2012”, Tagging Task


[http://www.multimediaeval.org/mediaeval2012]


22

Histograme de gradienți orientați (HoG)•Împarte imaginea în 3x3 regiuni și pentru fiecare zonă calculează o histogramă de orientări de pixeli

[Ludwig et al, CITS 2009]

Trăsături vizuale


Histograma de culoare „Color naming”•Proiectează culorile în 11 culori universale: negru, albastru, maro, gri, verde, portocaliu, roz, purpuriu, roșu, alb și galben

[Weijer et al, IEEE TIP’ 2009]


[Mathieu et al., Yaafe toolbox, ISMIR’10, IEEE]

23

Trăsături audio


• Linear Predictive Coefficients,

• Line Spectral Pairs,

• Mel-Frequency Cepstral Coefficients,

• Zero-Crossing Rate,

+ toate împărțite la varianța globală a trăsăturii

• Spectral centroid, flux, rolloff și kurtosis

Trăsături audio bazate pe blocuri audio

f1 fn…f2

time

+ var{f2} var{fn}

Parametrii extrași:

[Mironică et al., CBMI 2013, IEEE/ACM]

[Mironică et al., ICMR 2013, ACM]


Tip trăsătură Metodă raportată la MediaEval 2012

MAP metodă raportată

MediaEval 2012

MAP metodă propusă

Audio Descriptori pe bază de blocuri audio & SVM Liniar

0,192 0,475

Vizual descriptori vizuali (Color,Texture, rgbSIFT)

0,350 0,460

Audio & Vizual - - 0,550

Text Bag of Words - Metadata & Text ASR

0,522 -

Audio & Vizual & Text

- - 0,66

II. Trăsături pentru descrierea videoComparație rezultate cu MediaEval 2012 Genre Retrieval

24

Indicator performantă: MAP (valoare maximă = 1)[Mironică et al., Multimedia’13 ACM]


III. Trăsături pentru descrierea videoRecunoașterea de acțiuni sportive

25

Baza Sport UCF 50 •6500 documente video preluate de pe Youtube împărțite în 50 de acțiuni:•baseball, aruncări, biliard, înot, ridicare de greutăți, scufundări, bătut la tobă, scrima, golf, cântat la chitară, sărituri cu prăjina,curse de cai, aruncarea suliței, sărituri în lungime, caiac, exerciții de încălzire, cal cu mânere, tracțiuni, box, urcări pe pereți artificiali, urcare pe frânghie, canotaj, salsa, skate boarding, sky etc

[Reddy et al., MVAP, 2012]


II. Trăsături pentru descrierea videoRecunoașterea de acțiuni sportive – Trăsături utilizate

26

Fuziune cu „Late Fusion”

Trăsături vizuale•Histograme de gradienţi orientaţi (HOG - 2x2, 3x3, 4x4)•Histograme „Color Naming” (2x2, 3x3, 4x4)

Trăsături de mișcare•Histograme de flux optic (HOF) (2x2, 3x3, 4x4)

[Lazebnik et al., CVPR, 2006]Piramide Spațiale



Metodă Acuratețe

Reddy et al. MVAP 2012 76,9%

Metoda propusă 74,7%

Solmaz et al. MVAP 2012 73,7%

Everts et al. CVPR 2012 72,9%

Kliper-Gross et al. ECCV 2012 72,6%

GIST3D - Solmaz et al. MVAP 2012 65,3%

II. Trăsături pentru descrierea videoRecunoașterea de acțiuni sportive – Comparație „State-of-the-Art”

27



II. Trăsături pentru descrierea videoRecunoașterea de acțiuni cotidiene

28

Răspuns la telefon

Tocat de banane

Formare de numere la telefon

A bea apă

Utilizare furculiță

A mânca biscuiți

Desfacere banane

Citire agendă telefonică

A mânca banane

Scris pe tablă

Baza de date „University of Rochester Activities of Daily Living Dataset”

[www.cs.rochester.edu/rmessing/uradl]


II. Trăsături pentru descrierea videoRecunoașterea de acțiuni cotidiene – metoda propusă

29

[Rostamzadeh, Zen, Mironică, Uijlings, Sebe, ICIAP 2013, IEEE]

[Ramanan, et. al. CVPR 2007]


Metodă AcuratețeMetodă propusă 97,3%Wang et al. CVPR 2012 96,0%Lin et al. ICCV 2011 95,0%Messing et al. ICCV 2009 89,0%

II. Trăsături pentru descrierea videoRecunoașterea de acțiuni cotidiene – comparație „State-of-the-Art”

30



Capitolul IIIAlgoritmi de „Relevance

Feedback”

31


32

Se utilizează exemplele pozitive şi negative preluate de la utilizator pentru a îmbunătăţi performanţa sistemului.

FeedbackUtilizator

Afişare

Estimare a noilordocumente

Afişare

FeedbackUtilizator

III. Relevance FeedbackArhitectura algoritmilor de Relevance Feedback


• viteza de procesare (sisteme în timp real)

33

Provocările algoritmilor de Relevance Feedback

• numărul de documente pe care se oferă feedback este mult mai redus decât spațiul descriptorilor

• dezechilibru în modul de a acorda feedback între utilizatori diferiți

• dezechilibru între numărul de documente relevante și nerelevante

III. Relevance Feedback


34

Algoritmi clasici de „Relevance feedback”

III. Relevance Feedback

Căutare inițială

Feedback utilizator

Antrenare

[Tao et al., PAMI’07, IEEE Trans.]

Documente relevante

Documente nerelevante

Document de interogare

Documente fără feedback


35

Calculează gradul de similaritate intre oricare două combinații de documente

Crează un cluster cu cele mai similare 2 grupuri de documente

Calculează gradul de similaritate între clusterul creat și restul clusterelor

Condiție de încheiere

Clasificare documente din baza de date utilizând

dendograma antrenatăStop

III. Relevance Feedback„Relevance feedback” cu clusterizare ierarhică

[Mironică et al., CBMI’12, IEEE/ACM]

[Mironică et al., ISSCS’11, IEEE]


36

Interogare Inițială





37





38





39

Varianta 1: Numărul fix de clustere

Varianta 2: Număr adaptiv de clustere – criteriul arcului

III. Relevance FeedbackCondiție de încheiere

Număr de centroizi

Pro

cent

ul d

e va

rianț

ă



40

Distanța dintre centroizi

+

+

C1

C2

Centroid

Centroid

Distanța Minimă

+

+

C1

C2

III. Relevance FeedbackCalculul similarității dintre clusteri




41

Distanța Medie

C1C2

Gradul de similaritate = Media distanțelor posibile dintre 2 clustere

Distanța Maximă+

+

C1

C2

III. Relevance FeedbackCalculul similarității dintre clusteri




42

Metoda propusă a fost comparată cu o serie de algoritmi „State-of-the-Art”:-Rocchio-Nearest Neighbor RF - NB-Boost RF-SVM RF -Random Forest RF - (RF)-Decision Trees RF-Relevance Feature Estimation - (RFE)

III. Relevance FeedbackEvaluare – Comparație cu „State-of-the-Art”



04/15/23

Curbele Precizie – Reamintire pentru bazele de date Caltech 101 și Microsoft utilizând descriptorii de culoare, MPEG7 și Bag of Words (SURF)

III. Relevance FeedbackComparație cu „State-of-the-Art” (baze de date de imagini)

43



04/15/23

III. Relevance FeedbackComparație cu „State-of-the-Art” – mai multe iterații feedback

44



04/15/23

Grafice Precizie – Reaminitire pentru o sesiune de relevance feedback pe patru ferestre de afisare (20, 30, 40 si 50 de documente afișate)

III. Relevance FeedbackComparație cu „State-of-the-Art” – baze de date video (MediaEval 2011)

45

[Ionescu, Seyerlehner, Mironică, Vertan, MTAP ’12]


Capitolul IVAlte contribuții originale

Interfață


47

• Descrierea conținutului de textură folosind automate celulare[Mironică et al., Buletin UPB, ‘13]

• Analiza influenței metricilor asupra performanțelor sistemelor de indexare

[Mironică et al., EUSIPCO ’12, IEEE ]

• Algoritm de „Relevance Feedback" cu estimare a importanței trăsăturilor

[Mironică et al., SPAMEC ’11, EURASIP]

• Metode multimodale de clasificare a documentelor video web prin integrarea acestora cu algoritmi de relevance feedback

[Ionescu, Seyerlehner, Mironică, Vertan, MTAP ’12]

[Ionescu, Seyerlehner, Mironică, Vertan, EUSIPCO’12, IEEE]

• Sistem de indexare multimedia după conținut

[Mironică, Raport cercetare 2011]

IV. Alte contribuții originale

• Algoritm de „Relevance Feedback" cu reprezentare „Fisher kernel"

[Mironică et al., ICMR ’13, ACM]


48

• Catalogarea imaginilor ORL[Mironică et al., EHB ’11, IEEE]

• Catalogarea imaginilor microscopice

[Mironică et al., COMM ’10, IEEE]

[Mironică et al., ISSCS ’11, IEEE]

• Catalogarea după gen a documentelor video

Competiție MediaEval 2012 - Poziția 2 / 29 sisteme[Mironică et al., CBMI’13, ACM/IEEE]

• Catalogarea conținutului de violență în filme (analiza și implementarea de trăsături vizuale)

Competiție MediaEval 2012 - Poziția 1 / 35 sisteme[Ionescu, Schlüter, Mironică, Schedl ICMR’13, ACM]

• Catalogarea gesturilor (pozițiilor) statice ale mâinii

[Vieriu, Mironică, Goraș, ISSCS’13, IEEE]

IV. Alte contribuții originale


49 04/15/23

IV. Lista de lucrări originaleArticole publicate în reviste de specialitate [1] Ionuț Mironică, Radu Dogaru, „A novel feature-extraction algorithm for efficient classification of texture images", în Scientific Bulletin of UPB, Series C - Electrical Engineering, 2012.[2] Bogdan Ionescu, Klaus Seyerlehner, Ionuț Mironică, Constantin Vertan, Patrick Lambert, „An Audio-Visual Approach to Web Video Categorization", Multimedia Tools and Applications, 2012 (factor impact ISI 0.91).

Cărți [3] Bogdan Ionescu, Ionuț Mironică, „Conceptul de Indexare Automată după Conținut în Contextul Datelor Multimedia", trimisă spre publicare (103 pagini).

49


04/15/23

IV. Lista de lucrări originale Articole publicate în conferințe internaționale (18) [4] Ionuț Mironică, Constantin Vertan, „Relevance feedback approaches for MPEG-7 content-based biomedical image retrieval", Communications (COMM), iunie 2010, Bucucurești, Romania.[5] Ionuț Mironică, Radu Dogaru, „A comparison between various classification methods for image classification stage in CBIR", Signals, Circuits and Systems (ISSCS), iulie 2011, Iași Romania[6] Ionuț Mironică, Constantin Vertan „An adaptive hierarchical clustering approach for relevance feedback in content-based image retrieval systems", Signals, Circuits and Systems (ISSCS), iulie 2011, Iași, Romania.[7] Ionuț Mironică, Constantin Vertan „A Modified Feature Relevance Estimation Approach to Relevance Feedback in Content-Based Image Retrieval Systems", Signal Processing and Applied Mathematics for Electronics and Communications, 26-28 august, 2011, Cluj-Napoca, Romania.[8] Ionuț Mironică, Constantin Vertan, Bogdan Ionescu „A Relevance Feedback Approach to Video Genre Retrieval", International Conference on Intelligent Computer Communication and Processing august, 2011, Cluj-Napoca, Romania.[9] Ionuț Mironică, Constantin Vertan, Dan Cristian Gheorghe „Automatic Pediatric Otitis Detection by Classification of Global Image Features", International Conference on e-Health and Bioengineering, EHB, noembrie, 2011, Iași, Romania.[10] Ionuț Mironică, Bogdan Ionescu, Constantin Vertan, „Hierarchical Clustering Relevance Feedback for Content-Based Image Retrieval", IEEE/ACM 10th International Workshop on Content-Based Multimedia Indexing, 27-29 iunie, Franța, 2012.[11] Bogdan Ionescu, Klaus Seyerlehner, Ionuț Mironică, Constantin Vertan, Patrick Lambert, "Automatic Web Video Categorization using Audio-Visual Information and Hierarchical Clustering Relevance Feedback", 20th European Signal Processing Conference - EUSIPCO 2012, 27-31 august, București, Romania.[12] Ionuț Mironică, Bogdan Ionescu, Constantin Vertan, „The Influence of the Similarity Measure to Relevance Feedback", 20th European Signal Processing Conference - EUSIPCO 2012, 27-31 august, București, Romania, 2012.[13] Jan Schlüter, Bogdan Ionescu, Ionuț Mironică, Markus Schedl, „ARF @ MediaEval 2012: An Uninformed Approach to Violence Detection in Hollywood Movies", MediaEval Benchmarking Initiative for Multimedia Evaluation workshopItalia 2012. [14] Bogdan Ionescu, Ionuț Mironică, Klaus Seyerlehner, Peter Knees, Jan Schlüter, Markus Schedl, Horia Cucu, Andi Buzo, Patrick Lambert, „ARF @ MediaEval 2012: Multimodal Video Classification", MediaEval workshop, Italia, 4-5 octombrie, 2012.[15] Bogdan Ionescu, Jan Schlüter, Ionuț Mironică, Markus Schedl, „A Naive Mid-level Concept-based Fusion Approach to Violence Detection in Hollywood Movies", ACM International Conference on Multimedia Retrieval - ICMR 2013, SUA, 2013.

50

EHBICMR ISSCS


04/15/23

IV. Lista de lucrări originale

51

Articole publicate în conferințe internaționale [16] Ionuț Mironică, Bogdan Ionescu, Jasper Uijlings, Nicu Sebe, „Fisher Kernel based Relevance Feedback for Multimodal Video Retrieval", ACM International Conference on Multimedia Retrieval - ICMR 2013, Dallas, Texas, SUA, 2013.[17] Ionuț Mironică, Bogdan Ionescu, Peter Knees, Patrick Lambert, „An In-Depth Evaluation of Multimodal Video Genre Categorization", IEEE/ACM 11th International Workshop on Content-Based Multimedia Indexing CBMI, iunie, Veszprém, Ungaria, 2013.[18] Ionuț Mironică, Bogdan Ionescu, Christoph Rasche, Patrick Lambert, „A Visual-based Late-Fusion Framework for Video Genre Classification" Signals, Circuits and Systems (ISSCS), iunie 2013, Iași, Romania.[19] Ionuț Mironică, Jasper Uijlings, Negar Rostamzadeh, Bogdan Ionescu, Nicu Sebe „Time Matters! Capturing Temporal Variation in Video using Fisher Kernels", ACM Multimedia - ACM MM 2013, Barcelona, Spania, octombrie 2013.[20] Negar Rostamzadeh, Gloria Zen, Ionuț Mironică, Jasper Uijlings, Nicu Sebe, „Daily Living Activities Recognition via Efficient High and Low Level Cues Combination and Fisher Kernel Representation", International Conference on Image Analysis and Processing, ICIAP, Napoli, Italia, 2013.[21] Radu-Laurențiu Vieriu, Ionuț Mironică, Bogdan-Tudor Goraș, „Background Invariant Static Hand Gesture Recognition based on Hidden Markov Models", Signals, Circuits and Systems (ISSCS), iunie 2013, Iași, Romania.

Competiții (3) [22] participare MediaEval 2012 – secțiunea Tagging Task – membru în cadrul echipei ARF, cu membrii: Bogdan Ionescu, Ionuț Mironică, Klaus Seyerlehner, Peter Knees, Jan Schlüter, Markus Schedl, Horia Cucu, Andi Buzo, Patrick LambertAm obținut locul 2 pentru pentru cel mai bun sistem (din 29 de sisteme propuse) [23] participare MediaEval 2012 – secțiunea Violence Detection – membru în cadrul echipei ARF, cu membrii: Jan Schlüter, Bogdan Ionescu, Ionuț Mironică, Markus Schedl Am obținut locul 1 pentru pentru cel mai bun sistem (din 35 de sisteme propuse)[24] organizare Mediaeval 2013 - secțiunea Diversity Task - membru organizator în echipa formată de: Bogdan Ionescu, Maria Menéndez, Adrian Popescu, Henning Müller, Anca-Livia Radu, Ionuț Mironică și Bogdan Boteanu


04/15/23

IV. Lista de lucrări originale

52

Citări - 1 citare într-o revistă ISI (MTAP)

- 5 citări în conferințe internaționale de prestigiu (ACM MM, CBMI, MMSys, ICASSP )


V. Concluzii și direcții de dezvoltare

53

Direcții de dezvoltare - extinderea reprezentării „Fisher kernel” către alte modalități - (text) prin crearea de metrici bazate pe ontologii semantice - puncte de interes de mișcare

-îmbunătățirea performanței sistemelor multimodale prin utilizarea de algoritmi de reducere a dimensionalității

-implementarea algoritmilor de relevance feedback pentru baze de date de dimensiuni foarte mari (large scale)

Contribuții principale - propunere de algoritmi pentru indexarea conținutului multimedia (baze de date de imagini și video)

- algoritmi de relevance feedback

- particularizarea conceptelor pentru diferite probleme de aplicație


54

Intrebări?


55

Vă mulţumesc!

Prezentare Doctorat Ionut Mironica

Education

Transcript of Prezentare Doctorat Ionut Mironica