Universitatea Transilvania din Bra úov - unitbv.roold.unitbv.ro/Portals/31/Sustineri de...

Investeşte în oameni!FONDUL SOCIAL EUROPEANProgramul Operaţional Sectorial Dezvoltarea Resurselor Umane 2007 – 2013Axa prioritară 1 „Educaţie şi formare profesională în sprijinul creşterii economice şi dezvoltării societăţii bazate pe cunoaştere”Domeniul major de intervenţie 1.5. „Programe doctorale şi post-doctorale în sprijinul cercetării”Titlul proiectului: Burse doctorale si postdoctorale pentru cercetare de excelentaNumărul de identificare al contractului: POSDRU/159/1.5/S/134378Beneficiar: Universitatea Transilvania din Braşov

Universitatea Transilvania din BraşovŞcoala Doctorală Interdisciplinară

Departament: Automatică şi Tehnologia Informaţiei

Ing. Mihai SCUTARU

Modelarea şi simularea sistemului cardiovascular uman, utilizând tehnici de

procesare digitală a imaginilor şi de inteligenţă artificială

Human Cardiovascular System Modeling and Simulation, using Digital

Image Processing and Artificial Intelligence Techniques

Conducător ştiinţific

Prof. dr. ing. Florin MOLDOVEANU

BRAŞOV, 2016

MINISTERUL EDUCAŢIEI NAȚIONALE ȘI CERCETĂRII ȘTIINȚIFICEUNIVERSITATEA “TRANSILVANIA” DIN BRAŞOV

BRAŞOV, B-DUL EROILOR NR. 29, 500036, TEL. 0040-268-413000, FAX 0040-268-410525RECTORAT

D-lui (D-nei) ..............................................................................................................

COMPONENŢAComisiei de doctorat

Numită prin ordinul Rectorului Universităţii „Transilvania” din BraşovNr. 8367 din 7.11.2016

PREŞEDINTE: Conf. univ. dr. ing. Carmen GERIGANUniversitatea „Transilvania” din Braşov

CONDUCĂTOR ŞTIINŢIFIC: Prof. dr. ing. Florin MOLDOVEANUUniversitatea „Transilvania” din Braşov

REFERENŢI: Prof. dr. ing. Ioan SALOMIEUniversitatea Tehnică din Cluj-NapocaProf. dr. ing. Decebal POPESCUUniversitatea Politehnica din BucureștiProf. univ. dr. ing. Sorin-Aurel MORARUUniversitatea „Transilvania” din Braşov

Data, ora şi locul susţinerii publice a tezei de doctorat: , ora , sala V III 9.

Eventualele aprecieri sau observaţii asupra conţinutului lucrării vă rugăm să letransmiteţi în timp util, pe adresa [email protected] sau la numărul de fax:Departamentul de Automatică şi Tehnologia Informaţiei: 0268-418836

Totodată vă invităm să luaţi parte la şedinţa publică de susţinere a tezei de doctorat.

Vă mulţumim.

CUPRINS

Pg.teză

Pg.rez.

MENȚIUNI1. INTRODUCERE ..................................................................................................................

1.1 Actualitatea și oportunitatea temei ...................................................................................1.2 Problema propusă spre rezolvare ......................................................................................1.3 Obiectivele cercetării ................................................................................................1.4 Metodologia cercetărilor ................................................................................................1.5 Structura și conținutul tezei ..............................................................................................

2. CONTEXTUL MEDICAL AL CERCETĂRII ................................................................2.1 Morfologia valvelor inimii ..............................................................................................

2.1.1 Valva aortică ...............................................................................................................2.1.2 Valva mitrală ................................................................................................

2.2 Ecocardiografia ...............................................................................................................2.3 Patologia bolilor valvulare cardiace.................................................................................

2.3.1 Stenoza și regurgitarea aortică.....................................................................................2.3.1 Stenoza și regurgitarea mitrală ....................................................................................

3. STADIUL ACTUAL ÎN PROCESAREA IMAGINILOR MEDICALE...........................3.1 Analiză a procesării imaginilor medicale ................................................................

3.1.1 Îmbunătățirea și reconstrucția imaginilor................................................................3.1.2 Computer vision în imagistica medicală ................................................................3.1.3 Inteligența artificială în imagistica medicală...............................................................3.1.4 Modele computaționale și simulare ................................................................

3.2 Nivelul actual în domeniul detecției mușchilor papilari ...................................................3.3 Nivelul actual în domeniul urmăririi de anatomii în timp-real................................3.4 Introducere în Marginal Space Learning ................................................................3.5 Concluzii ........................................................................................................................

4. DETECȚIA AUTOMATĂ A MUȘCHILOR PAPILARI DIN IMAGINI DEECOGRAFE TRANSESOFAGIANĂ ....................................................................................

4.1 Pipeline-ul de detecție AutoSubValve ..............................................................................4.1.1 Introducerea contextului temporal în procesul de detecție utilizândalgoritmul RANSAC ................................................................................................4.1.2 Introducerea constrângerilor analitice în procesul de detecție ................................4.1.3 Extinderea contextului temporal prin introducerea algoritmului deBelief Propagation ................................................................................................................

4.2 Integrarea AutoSubValve într-un sistem prototip ..............................................................4.2.1 Tehnici de măsurare a aparatului subvalvular al valvei mitrale ................................

4.3 Evaluarea rezultatelor obținute ........................................................................................4.3.1 Evaluarea pipeline-ului fără constrângeri analitico-temporale ................................4.3.2 Evaluarea rezultatelor AutoSubValve ................................................................4.3.3 Evaluarea AutoSubValve cu ajutorul valorilor măsurate...............................................4.3.4 Evaluarea AutoSubValve prin variabilitate inter-utilizator ................................

V113346

99101112181920

23232425262828292933

3537

3940

4145474748505152

5

112234

666789

10

10

1011

11

1213

1515

1619202122232324

4.4 Concluzii ........................................................................................................................

5. URMĂRIREA ÎN TIMP-REAL A SUBANATOMIILOR CARDIACE...........................5.1 Algoritmul de flux optic ................................................................................................

5.1.1 Performanțele algoritmului de flux optic ................................................................5.2 Prezentarea detectorilor casetei de înscriere ................................................................5.3 Prezentarea pipeline-ului MitralRT ............................................................................5.4 Evaluarea performanțelor MitralRT .................................................................................

5.4.1 Protocolul de evaluare ................................................................................................5.4.2 Metodologia evaluării ................................................................................................

5.5 Extinderea componentei de detecție a MitralRT ..............................................................5.5.1 Metodologia de dezvoltare a Composite Tracker ..........................................................5.5.2 Evaluarea cantitativ și calitativă ..................................................................................

5.6 Concluzii ......................................................................................................................

6. CONCLUZII FINALE ................................................................................................6.1 Prezentarea sintetică a cercetărilor efectuate ................................................................6.2 Contribuţiile originale ale tezei .....................................................................................

6.2.1 Detecția automată a poziției mușchilor papilari ...........................................................6.2.2 Diagnosticarea non-invazivă a patologiilor cardiovasculare ................................

6.3 Diseminarea rezultatelor ...............................................................................................6.4 Direcţii viitoare de cercetare .........................................................................................

ANEXA A. STUDIU VARIABILITATE INTER-UTILIZATOR ................................

ANEXA B. EVALUAREA URMĂRIRII ÎN TIMP-REAL .................................................BIBLIOGRAFIE ...................................................................................................................

LISTĂ DE FIGURI ...............................................................................................................LISTĂ DE TABELE .............................................................................................................

LISTĂ DE ABREVIERI ................................................................................................REZUMAT ............................................................................................................................

ABSTRACT...........................................................................................................................CONTENTS ..........................................................................................................................

CURRICULUM VITAE ................................................................................................

54

555657596264646471717376

79798181828484

87

91105

114118

119120

121122

125

26

27

283031313236373840

42424343444545

47

52

52

53

CONTENTS

Pg.teză

Pg.rez.

ACKNOWLEDGEMENTS1. INTRODUCTION ................................................................................................................

1.1 Subject Timeliness and Necessity.....................................................................................1.2 The Problem to be Addressed ...........................................................................................1.3 Research Objectives ................................................................................................1.4 Research Methodology................................................................................................1.5 Thesis Structure and Content............................................................................................

2. RESEARCH MEDICAL BACKGROUND................................................................2.1 Heart Valve Morphology ................................................................................................

2.1.1 The Aortic Valve ................................................................................................2.1.2 The Mitral Valve................................................................................................

2.2 Echocardiography ................................................................................................2.3 Valvular Heart Disease ................................................................................................

2.3.1 Aortic Stenosis and Regurgitation ................................................................2.3.2 Mitral Stenosis and Regurgitation ................................................................

3. CURRENT STATE OF THE ART IN MEDICAL IMAGE PROCESSING ...................3.1 Medical Image Processing Analysis ................................................................................

3.1.1 Image Enhancement and Reconstruction ................................................................3.1.2 Computer Vision in Medical Imaging ................................................................3.1.3 Artificial Intelligence in Computer Vision................................................................3.1.4 Computational Models and Simulations ................................................................

3.2 Papillary Muscle Detection State of the Art ................................................................3.3 Real-time Anatomy Tracking State of the Art ................................................................3.4 Introduction to Marginal Space Learning ................................................................3.5 Conclusions ....................................................................................................................

4. AUTOMATIC DETECTION OF PAPILLARY MUSCLE LOCATIONFROM TRANSESOPHAGEAL ECHOCARDIOGRAPHY .............................................4.1 The AutoSubValve Detection Pipeline .............................................................................

4.1.1 Introducing Temporal Context in the Detection Mechanism usingthe RANSAC Algorithm................................................................................................4.1.2 Introducing Analytical Constraints in the Detection Mechanism ................................4.1.1 Extending the Temporal Context through the Introduction of BeliefPropagation ..........................................................................................................................

4.2 Integrating AutoSubValve in a Prototype System .............................................................4.2.1 Mitral Subvalvular Apparatus Measurement System ...................................................

4.3 Result Evaluation ................................................................................................4.3.1 Unconstrained pipeline evaluation ................................................................4.3.2 AutoSubValve Evaluation ...........................................................................................4.3.3 Measurement based AutoSubValve Evaluation ............................................................

V113346

99101112181920

23232425262828292933

3537

3940

41454747485051

5112234

666789

10

10

1011

11

1213

1515

16192021222323

4.3.4 Inter-user Variability based AutoSubValve Evaluation ................................................4.4 Conclusions ....................................................................................................................

5. REAL-TIME CARDIAC SUBANATOMY TRACKING ..................................................5.1 Optical Flow Algorithm ................................................................................................

5.1.1 Optical Flow Performance Evaluation ................................................................5.2 Bounding Box Detector Description ................................................................................5.3 MitralRT Pipeline Description....................................................................................5.4 MitralRT Result Evaluation .............................................................................................

5.4.1 Evaluation Protocol ................................................................................................5.4.2 Evaluation Methodology .............................................................................................

5.5 Extending the Detection Component of MitralRT ............................................................5.5.1 Composite Tracker Development Methodology ...........................................................5.5.2 Qualitative and Quantitative Evaluation ................................................................

5.6 Conclusions ..................................................................................................................

6. FINAL CONCLUSIONS ................................................................................................6.1 Accomplished Research Presentation ............................................................................6.2 Original Contributions ................................................................................................

6.2.1 Papillary Muscle Position Detection ................................................................6.2.2 Real-time Cardiac Sub-anatomy Tracking ................................................................

6.3 Dissemination of Results ...............................................................................................6.4 Future Research Activities ............................................................................................

ANNEX A. INTER-USER VARIABILITY STUDY ...........................................................ANNEX B. REAL-TIME TRACKING EVALUATION .....................................................

BIBLIOGRAPHY .................................................................................................................LIST OF FIGURES ..............................................................................................................

LIST OF TABLES ................................................................................................................LIST OF ABBREVIATIONS ...............................................................................................

REZUMAT ............................................................................................................................ABSTRACT...........................................................................................................................

CONTENTS ..........................................................................................................................CURRICULUM VITAE ................................................................................................

5254

555657596264646471717376

79798181828484

8791

105114

118119

120121

122125

2426

27

283031313236373840

42424343444545

47

5252

53

Cuprins

1 Introducere 1

1.1 Actualitatea ³i oportunitatea temei . . . . . . . . . . . . . . . . . . . . . . 11.2 Problema propus spre rezolvare . . . . . . . . . . . . . . . . . . . . . . . . 21.3 Obiectivele cercet rii . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21.4 Metodologia cercet rilor . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31.5 Structura ³i conµinutul tezei . . . . . . . . . . . . . . . . . . . . . . . . . . 4

2 Contextul medical al cercet rii 6

2.1 Morfologia valvelor inimii . . . . . . . . . . . . . . . . . . . . . . . . . . . 62.1.1 Valva aortic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62.1.2 Valva mitral . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

2.2 Ecocardiogra�a . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82.3 Patologia bolilor valvulare cardiace . . . . . . . . . . . . . . . . . . . . . . 9

3 Stadiul actual în procesarea imaginilor medicale 10

3.0.1 Computer vision în imagistica medical . . . . . . . . . . . . . . . . 103.1 Nivelul actual în domeniul detecµiei mu³chilor papilari . . . . . . . . . . . . 103.2 Nivelul actual în domeniul urm ririi de anatomii în timp-real . . . . . . . . 113.3 Concluzii . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

4 Detecµia automat a mu³chilor papilari din imagini de ecogra�e

transesofagian 12

4.1 Pipeline-ul de detecµie AutoSubValve . . . . . . . . . . . . . . . . . . . . . 134.1.1 Introducerea contextului temporal în procesul de detecµie utilizând

algoritmul RANSAC . . . . . . . . . . . . . . . . . . . . . . . . . . 154.1.2 Introducerea constrângerilor analitice în procesul de detecµie . . . . 154.1.3 Extinderea contextului temporal prin introducerea algoritmului de

Belief Propagation . . . . . . . . . . . . . . . . . . . . . . . . . . . 164.2 Integrarea AutoSubValve într-un sistem prototip . . . . . . . . . . . . . . . 19

4.2.1 Tehnici de m surare a aparatului subvalvular al valvei mitrale . . . 204.3 Evaluarea rezultatelor obµinute . . . . . . . . . . . . . . . . . . . . . . . . 21

4.3.1 Evaluarea pipeline-ului f r constrângeri analitico-temporale . . . . 224.3.2 Evaluarea rezultatelor AutoSubValve . . . . . . . . . . . . . . . . . 234.3.3 Evaluarea AutoSubValve cu ajutorul valorilor m surate . . . . . . . 234.3.4 Evaluarea AutoSubValve prin variabilitate inter-utilizator . . . . . . 24

4.4 Concluzii . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

5 Urm rirea în timp-real a subanatomiilor cardiace 27

5.1 Prezentarea detectorilor casetei de înscriere . . . . . . . . . . . . . . . . . . 285.2 Prezentarea pipeline-ului MitralRT . . . . . . . . . . . . . . . . . . . . . . 305.3 Evaluarea performanµelor MitralRT . . . . . . . . . . . . . . . . . . . . . . 31

5.3.1 Protocolul de evaluare . . . . . . . . . . . . . . . . . . . . . . . . . 31

vii

viii Cuprins

5.3.2 Metodologia evalu rii . . . . . . . . . . . . . . . . . . . . . . . . . . 325.4 Extinderea componentei de detect

,ie a MitralRT . . . . . . . . . . . . . . . 36

5.4.1 Metodologia de dezvoltare a Composite Tracker . . . . . . . . . . . 375.4.2 Evaluarea cantitativ s

,i calitativ . . . . . . . . . . . . . . . . . . . 38

5.5 Concluzii . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

6 Concluzii �nale 42

6.1 Prezentarea sintetic a cercet rilor efectuate . . . . . . . . . . . . . . . . . 426.2 Contribuµiile originale ale tezei . . . . . . . . . . . . . . . . . . . . . . . . . 43

6.2.1 Detecµia automat a poziµiei mu³chilor papilari . . . . . . . . . . . 436.2.2 Urm rirea în timp-real a subanatomiilor cardiace . . . . . . . . . . 44

6.3 Diseminarea rezultatelor . . . . . . . . . . . . . . . . . . . . . . . . . . . . 456.4 Direcµii viitoare de cercetare . . . . . . . . . . . . . . . . . . . . . . . . . . 45

Bibliogra�e selectiv 47

Rezumat 52

Abstract 52

Curriculum Vitae 53

Capitolul 1.

Introducere

1.1 Actualitatea ³i oportunitatea temei

În ultimul deceniu tehnologiile de imagistic medical au avansat semni�cativ. Dato-rit necesit µii continue de imagini de calitate ale anatomiei pacientului pe tot parcursulactului medical, dezvoltarea aparaturii de imagistic a fost proli�c . Odat cu acesteprogrese înregistrate, cantitatea ³i calitatea informaµiei prezentate radiologilor s-a îmbu-n t µit semni�cativ. Acest nivel înalt de calitate permite o analiz mult mai am nunµit a structurilor anatomice, iar uneltele clasice de interpretare încep s devin insu�ciente.Conform [1], este estimat c în SUA se realizeaz 400 de milioane de proceduri de ima-gistic anual. Chiar dac mare parte dintre acestea sunt radiogra�i, modalit µile deinvestigare mai avansate ocup o mare parte a acestei estim ri. De exemplu, se estimeaz c anual sunt realizate 80 de milioane de ecogra�i în SUA [2].

Având în vedere aceste considerente, au fost realizate studii privind nivelul de efortnecesar unui radiolog pentru a interpreta multitudinea de imagini achiziµionate. Conform[3], în 15 ani (1992 - 2007) num rul de imagini analizate a crescut cu 34% ajungându-sela o medie de 14 900 de cazuri anual, echivalentul a 70 de cazuri analizate într-o singur zilucr toare. Având în vedere complexitatea procesului de analiz ³i necesitatea continu deprecizie în evaluare, este evident nivelul de efort depus în acest stadiu al actului medical.

Pentru a veni în sprijinul cadrelor medicale, în domeniul proces rii de imagini ³i com-puter vision se depun eforturi continue pentru dezvoltarea de noi algoritmi pentru automa-tizarea procesului de analiz a imaginilor medicale. Astfel, a fost creat un întreg domeniude cercetare dedicat detecµiei, segment rii ³i m sur rii anatomiilor umane observate dinimagistica medical . Având în vedere multitudinea de tehnici de imagistic existente lamomentul actual, pentru �ecare dintre acestea au fost dezvoltate mecanisme special con-cepute pentru a extrage cât mai mult informaµie de acurateµe înalt într-un timp câtmai scurt.

Pot � identi�cate dou mari direcµii de cercetare în acest context. Prima dintre acesteaeste diagnoza asistat computerizat, care se bazeaz pe analiza pe scar larg a anumitorafecµiuni sau pe rezultatele unor analize medicale, pentru a facilita procesul de diagnoz .Algoritmii dezvoltaµi în acest sens pot completa cuno³tinµele existente deja pentru o anu-mit tem , cum ar � cel prezentat în [4], pot ajuta la procesarea de date cu un raportsemnal-zgomot redus s

,i incomplete pentru a îmbun t µi deciziile medicale [5], sau pot

oferi suport decizional prin procesare de cazuri ³i generare de grafuri [6].A doua direcµie important de cercetare, în care se încadreaz ³i acest lucrare, se

concentreaz asupra identi�c rii, segment rii sau urm ririi de organe sau de leziuni. Al-goritmii dezvoltaµi în acest sens combin tehnici de procesare de imagini ³i inteligenµ arti�cial , pentru a oferi un mecanism de diagnoz particularizat �ec rui pacient. Gamade anatomii abordate este larg , începând de la segmentarea endocardului ventricululuistâng în [7], foliculii ovarieni în [8], fetusul uman în [9], sau substructuri ale creierului în[10]. În aceast tez se abordeaz detecµia ³i urm rirea anumitor subanatomii cardiace,prin mecanisme complet automate. Acest fapt încadreaz cercet rile întreprinse în unadintre cele mai avansate categorii de algoritmi, ³i anume, cele în care nu este necesar intervenµia iniµial a utilizatorului pentru ca mecanismul s produc rezultate. O bun parte din algoritmii de segmentare, ³i mai ales algoritmii de urm rire, necesit ca utili-

1

2 Capitolul 1. Introducere

zatorul s ofere o poziµie iniµial , grosier , a structurilor de identi�cat, sau s indice oanumit zon de interes. Exemple de astfel de algoritmi sunt prezentate în [11] sau [12]pentru identi�carea poziµiilor subanatomiilor cardiace. Alte exemple de abord ri completautomatizate pentru segmentarea structurilor cardiace sunt expuse în [13], respectiv [14].

Funcµionarea complet automat a sistemului propus vine direct în ajutorul utilizato-rului �nal, radiologul. Dup cum a fost menµionat anterior, datorit num rului foartemare de cazuri pe care ace³tia trebuie s -l analizeze zilnic, este de interes ca orice meto-dologie propus s aib un grad ridicat de automatizare ³i acurateµe. Soluµiile propuseprin prezenta cercetare adreseaz direct aceast necesitate prin producerea de rezultatede acurateµe înalt , utilizabile clinic, ³i f r a avea nevoie de interacµiune iniµial pentrua produce aceste rezultate. În acela³i timp faptul c algoritmii propu³i în lucrare suntintegraµi în sisteme prototip, ofer utilizatorului posibilitatea de ajustare a rezultatelorproduse ³i de a le folosi pentru a m sura dimensiuni relevante diagnosticului. Astfel, sepoate observa un �ux informaµional direct, în bucl deschis , având o serie de sistemeinterne de reglare. În cazul sistemului de identi�care a poziµiei mu³chilor papilari ai val-vei mitrale, algoritmul se adapteaz la particularit µile pacientului prin raportarea la altestructuri cardiace sau utilizând contextul temporal al �ec rui cadru analizat. Pe de alt parte, în cazul urm ririi în timp-real a subanatomiilor cardiace, designul în sine al algo-ritmului se bazeaz pe auto-reglare. Componenta de urm rire responsabil cu furnizarearezultatelor în timp-real este rapid , dar nu are acurateµea necesar aplicaµiei. Acest fapteste compensat de o component de detecµie ce funcµioneaz în paralel, producând mailent rezultate de acurateµe mai mare, ce au rolul de a regla componenta de urm rire.

1.2 Problema propus spre rezolvare

În acest tez , cercetarea se concentreaz asupra analizei imaginilor obµinute prinecocardiogra�e. Aceast modalitate de imagistic este o ramur a ecogra�ei, ce vizeaz analiza structurilor inimii umane, pe tot parcursul ciclului cardiac. Exemple de patologiiîn care este utilizat ecocardiogra�a sunt de�cienµele mecanice ale atriilor sau ventricule-lor (cauzate de infarct) sau bolile valvulare cardiace. Totodat , datorit posibilit µii deurm rire în timp-real a mi³c rii anatomiilor cardiace, ecocardiogra�a este folosit ³i întimpul procedurilor chirurgicale pentru a oferi ghidarea instrumentelor utilizate laparo-scopic. Segmentarea anatomiei cardiace din imagini de ecocardiogra�e este un domeniude cercetare foarte activ. În lucr ri precum [14], [15] sau [16] se prezint o serie de metodeutilizabile clinic pentru detecµia, segmentarea ³i m surarea valvelor ventriculului stâng alinimii. În prezenta lucrare se dore³te dezvoltarea mecanismelor utilizate în acest domeniupe dou direcµii distincte. Prima dintre acestea este detecµia de subanatomii cardiace maigreu observabile decât valvele inimii, subiect tratat în Capitolul 4. A doua direcµie estedezvoltarea unui sistem capabil s urm reasc subanatomiile cardiace direct în timpulachiziµiei în timp-real, subiect tratat în Capitolul 5.

1.3 Obiectivele cercet rii

Având în vedere problemele menµionate mai sus, se pot contura cele dou obiectiveprincipale ale tezei. Primul dintre acestea este reprezentat de dezvoltarea unui sistemcomplet automat de detecµie a poziµiei mu³chilor papilari din cadrul sistemului subvalvularal valvei mitrale. Di�cultatea identi�c rii acestora vine din cauza faptului c , pe parcursulciclului cardiac, ace³tia se contract complet în peretele ventricular, iar poziµia lor nu maieste vizibil în imaginile ecocardiogra�ce. Cel de-al doilea obiectiv vizat este realizareaunui sistem complet automat capabil s urm reasc anulusul valvei mitrale în timp-realîn timpul procesului de achiziµie al imaginilor. Un astfel de sistem poate � utilizat întimpul procedurilor chirurgicale pentru a ghida instrumentele utilizate în operaµii de tipul

1.4. Metodologia cercet rilor 3

MitraClip [17] ce ofer posibilitatea de reparare a malformaµiilor valvei mitrale completlaparoscopic.

Având în vedere cele dou obiective ale lucr rii, a fost posibil formularea urm toarelorobiective speci�ce:- studiul ³i cercetarea în vederea obµinerii unui pipeline de detecµie automat a mu³chilorpapilari din aparatul subvalvular al valvei mitrale;

- dezvoltarea ³i integrarea într-un sistem prototip a mecanismului de detecµie a mu³chilorpapilari;

- studiul rezultatelor obµinute de pipeline-ul de detecµie automat a mu³chilor papilariprin evaluarea faµ de datele adnotate de experµi dintr-un set de test special conceputce nu se reg se³te în setul de date de antrenament;

- realizarea unui studiu de variabilitate inter-utilizator pentru a demonstra fezabilitateaclinic a soluµiei propuse pentru detecµia mu³chilor papilari;

- studiul ³i cercetarea în vederea obµinerii unui sistem de urm rire în timp-real a anulu-sului valvei mitrale;

- dezvoltarea ³i integrarea într-un sistem prototip a mecanismului de urm rire în timp-real;

- crearea unui set de test pentru sistemul de urm rire în timp-real, prin utilizarea deimagini adnotate de experµi ³i introducerea de mi³care ampl a imaginii, simulândsituaµii întâlnite intraoperator;

- studiul tendinµei de deriv a algoritmului utilizând setul de test creat;- studiul r spunsului sistemului la mi³c ri ample ale imaginii analizate;- analiza comparativ a algoritmilor utilizaµi pe parcursul cercet rii;- studiul ³i cercetarea în vederea obµinerii unui nou sistem hibrid de detecµie ce reune³teperformanµele celorlalµi algoritmi, atât din punctul de vedere al acurateµii de detecµie,cât ³i din cel al vitezei de funcµionare;

- studiul comparativ al noului sistem hibrid de detecµie aplicat punctelor de nadir alecuspelor valvei aortice.

1.4 Metodologia cercet rilor

În vederea realiz rii obiectivelor, au fost dezvoltate soluµii inovative bazate pe me-canisme hibrid, reunind exactitatea algoritmilor bazaµi pe înv µare asistat ³i viteza deprocesare a algoritmilor de urm rire. Pentru detecµia poziµiei mu³chilor papilari a fostutilizat Marginal Space Learning [18] în dou etape: mai întâi pentru identi�carea caseteitridimensionale de înscriere a valvei mitrale, ca apoi, pe baza acesteia s se identi�ce ca-seta de înscriere a celor doi mu³chi papilari. În continuare, s-a augmentat acest mecanismpentru compensarea mi³c rii cardiace prin introducerea algoritmului RANSAC [19]. În�nal, pentru identi�carea poziµiei efective a �ec rui mu³chi, se introduce un nou set dedetectori de poziµie ale c ror rezultate sunt mai apoi contrânse analitic ³i utilizate ca datede intrare pentru stagiul �nal ce utilizeaz Belief Propagation [20]. Acest algoritm a fostmai apoi integrat într-un sistem prototip pentru a putea � evaluat. În urma procesuluide evaluare s-a putut dovedi faptul c mecanismul propus este utilizabil clinic, rezultateleobµinute de acesta �ind sub pragul de variabilitate inter-utilizator. Rezultatele cercet -rii au fost publicate în [21] iar la data public rii soluµia propus a fost singura completautomat ce poate � utilizat clinic.

În continuare, a fost dezvoltat un sistem de urm rire în timp-real a subanatomiilorvalvei mitrale. Soluµia propus const din dou componente ce funcµioneaz în paralel.Pe de o parte s-a dezvoltat un sistem de detecµie a anulusului valvei mitrale bazat pe

4 Capitolul 1. Introducere

algoritmi de înv µare asistat având la origine Marginal Space Learning. Acesta e prealent pentru a putea � utilizat în timp-real, îns are o acurateµe foarte bun . Pentru a seputea ajunge la vitezele de funcµionare necesare, s-a introdus al doilea mecanism bazatpe algoritmul de urm rire Optical Flow [22] îmbun t µit pentru a putea � reiniµializatperiodic. Aceast reiniµializare a fost necesar pentru combaterea fenomenului de deriv ,speci�c algoritmilor de urm rire, respectiv acumularea de erori la �ecare iteraµie a aces-tora. Prin funcµionarea în paralel a celor dou mecanisme, se poate face reiniµializareaalgoritmului de urm rire utilizând rezultatele obµinute de detectorul mai lent. Astfel, s-aputut obµine un sistem ce reune³te viteza algoritmilor de urm rire cu acurateµea algorit-milor cu înv µarea asistat . Mecanismul propus a fost evaluat atât din punctul de vedereal acurateµii ³i a posibilit µii de deriv , cât ³i a robusteµii la mi³c ri ample ale imaginiianalizate. În urma acestui proces s-a putut stabili c mecanismul ar putea � utilizat clinicpentru ghidarea instrumentelor în timpul procedurilor chirurgicale. Rezultatele obµinuteau fost publicate în [23].

Pentru îmbun t µirea rezultatelor sistemului de urm rire în timp-real s-a realizat unstudiu asupra comportamentului algoritmilor de tracking utilizaµi pe parcursul cercet rii.Au fost comparate rezultatele obµinute aplicând Belief Propagation ³i Optical Flow pentrudetecµia punctelor de nadir ale cuspelor valvei aortice. În acest context a fost dezvoltatun mecanism hibrid ce reune³te cei doi algoritmi ³i Marginal Space Learning într-un a³anumit Composite Tracker. În urma procesului de evaluare a noului mecanism s-a doveditc acesta ofer rezultate de o acurateµe superioar Belief Propagation-ului având, în acela³itimp, aproximativ acela³i timp de execuµie. Rezultatele acestui studiu au fost publicateîn lucrarea [24].

1.5 Structura ³i conµinutul tezei

Teza este structurat în ³ase capitole menite s prezinte în detaliu conceptele ³i me-todele prezentate. Pe parcursul primului capitol se realizeaz o introduce în tematicacercet rilor efectuate. În capitol se reg sesc atât problemele studiate pe parcursul cerce-t rii, obiectivele principale abordate, cât ³i o prezentare succint a metodologiilor tratate,a nout µii ³i valorii aplicative ale lucr rii. Al turi de contribuµiile principale ale tezei sereg sesc ³i lucr rile publicate pe parcursul cercet rii, iar în �nal este prezentat succintstructura tezei.

Cel de-al doilea capitol este dedicat prezent rii contextului medical al cercet rilor rea-lizate. Se începe printr-o introducere a noµiunilor medicale necesare în analiza morfologieivalvelor cardiace umane. În continuare, se prezint modalitatea de imagistic utilizat :ecocardiogra�a, motivaµia pentru aceast alegere, cât ³i cele dou variante ale acesteia:ecocardiogra�a transtoracic ³i cea transesofagian . În urm torul subcapitol se prezint ,pe scurt, principalele patologii ale valvelor inimii, precizând ³i rolul ecocardiogra�ei îndiagnoza ³i operarea acestora.

În cel de-al treilea capitol se prezint o analiz a tehnicilor utilizate în procesarea ima-ginilor medicale cu principalele tendinµe întâlnite în domeniu. În ultima parte a acestuicapitol se analizeaz , în detaliu, stadiul actual în domeniile obiectivelor abordate în tez :detecµia mu³chilor papilari ai ventriculului stâng ³i urm rirea în timp-real a subanatomi-ilor cardiace.

În cel de-al patrulea capitol se prezint , pe larg, metodologia utilizat pentru obµinereaunui algoritm de detecµie automat a mu³chilor papilari ai ventriculului stâng. În primaparte este detaliat pipeline-ul de detecµie, începând de la o soluµie de baz (Marginal SpaceLearning) care apoi este extins pentru a putea � aplicat la problema curent . Algoritmiiad ugaµi, RANSAC, constrângeri analitice ³i Belief Propagation sunt prezentaµi cu lux deam nunte pentru a justi�ca alegerile lor. Odat compus întreg pipeline-ul, se prezint in-

1.5. Structura ³i conµinutul tezei 5

tegrarea acestuia într-un sistem prototip ce permite utilizarea rezultatelor detecµiei pentrua se m sura mai multe dimensiuni relevante clinic. În cea de-a doua parte a acestui capitolse prezint modalit µile de evaluare dezvoltate ³i utilizate pentru demonstrarea �abilit µiisistemului propus. Dup prezentarea bazei de date de imagini medicale utilizate atât înantrenarea algoritmilor cât ³i a test rii acestora, se prezint evaluarea tuturor iteraµiilorpipeline-ului din punctul de vedere al distanµei euclidiene faµ de anatomiile adnotate deexperµi. În continuare, se utilizeaz mecanismele de m surare dezvoltate pentru a evaluaalgoritmii în context clinic. În �nal, se prezint rezultatele unui studiu de variabilitateinter-utilizator, menit s compare performanµele algoritmilor cu acurateµea cu care maimulµi utilizatori cu experienµ clinic pot recunoa³te subanatomiile vizate.

În cel de-al cincilea capitol sunt prezentate metodologia de cercetare, soluµia propus ³ievaluarea acesteia, în contextul urm ririi în timp-real a subanatomiilor cardiace. Pentruînceput este realizat o analiz a performanµelor algoritmului de �ux optic în contextul ur-m ririi unui punct de�nit de utilizator pe imaginea de ecocardiogra�e. În continuare, estedetaliat procesul de obµinere a unei casete de înscriere a anatomiilor urm rite. Reunindcele dou mecanisme prezentate, se trece la detalierea sistemului propus pentru urm rireaîn timp-real a subanatomiilor valvei mitrale: trigonul drept ³i cel stâng, ³i anulusul valvei.Odat detaliat tot mecanismul, se trece la evaluarea acestuia. În prim faz se prezint setul de test ³i procesul de realizare a acestuia, iar apoi se trece la evaluarea soluµieipropuse. Se folosesc dou abord ri în evaluarea rezultatelor. Prima abordare permiteanaliza tendinµei de a intra în deriv a algoritmului, prin intermediul histogramelor deeroare realizate pentru toate elementele algoritmului. A doua abordare analizeaz r spun-sul algoritmilor la mi³carea substanµial a imaginilor analizate, demonstrând robusteµeasoluµiei propuse.

În capitolul �nal, cel de-al ³aselea, este prezentat o scurt sintez a lucr rii al turide o centralizare a rezultatelor de evaluare obµinute pe parcursul cercet rilor realizate.Se scot în evidenµ contribuµiile personale incluse în tez , cât ³i lucr rile publicate peparcursul cercet rilor efectuate. În �nal, sunt prezentate posibilele direcµii de continuarea cercet rii realizate.

Menµiuni

Cercetarea s,i teza de doctorat s-au realizat cu suportul logistic s

,i �nanciar din cadrul

proiectului POSDRU �Burse doctorale s,i postdoctorale pentru cercetare de excelenµ �,

indicativ 159/1.5/S/134378.Doresc s -i mulµumesc domnului prof. dr. ing. Florin Moldoveanu pentru conducerea

³tiinµi�c a acestei teze ³i f r a c rui îndrumare aceasta nu ajungea în forma curent .Colaborarea strâns de pe tot parcursul cercet rii a permis expunerea tuturor rezultatelorobµinute cu rigurozitatea necesar domeniului.

Trebuie s aduc mulµumiri d-lui ing. Ingmar Voigt, din cadrul grupului de cercetareîn imagistic medical Siemens Healthcare, Erlangen, Germania, atât pentru îndrumareatehnic ³i ³tiinµi�c , cât ³i pentru colaborarea foarte strâns pe tot parcursul derul riicercet rii, acestea conducând la rezultatele ³tiinµi�ce publicate împreun .

Doresc s mulµumesc întregii echipe a grupului de cercetare în imagistic medical ,Siemens Corporate Technologies, Bra³ov, România, pentru experienµa dobândit de-alungul colabor rii, ³i pentru întreg sprijinul oferit pe parcursul realiz rii cercet rii.

Nu în ultimul rând a³ dori s mulµumesc familiei pentru susµinerea continu pe totparcursul studiilor doctorale.

Capitolul 2.

Contextul medical al cercet rii

În prezent, imagistica medical joac un rol important în cadrul actului medical, apli-caµiile acesteia �ind esenµiale în faza de diagnosticare, pre-, intra-, post-operatorie, precums,i în monitorizarea evoluµiei pacientului tratat. Mai mult decât atât, dezvoltarea continu de proceduri non-invazive, în special în domeniului chirurgiei cardiace, plaseaz tehnicilede imagistic în centrul necesit µilor clinicienilor.

Bolile vasculare cardiace sunt printre cele mai r spândite la nivel global, iar tratareanecorespunz toare a acestora poate duce, în majoritatea cazurilor, la insu�cienµ cardiac ,³i chiar la moartea pacientului. Din acest motiv, pe parcursul acestui studiu se face oprezentare general a anatomiei cardiace umane, în special a valvelor inimii, precum s

,i o

scurt prezentare a patologiilor valvelor. Datorit faptului c studiul s,i diagnoza acestor

formaµiuni se bazeaz , în mare parte, pe ecocardiogra�e, aceast tehnic este prezentat ,pe scurt, într-o secµiune dedicat .

2.1 Morfologia valvelor inimii

În prezent, este binecunoscut faptul c scheletul �bros al inimii este format din celepatru valve, dup cum se poate observa în Figura 2.1: valva aortic (Aortic Valve -AV), valva pulmonar (Pulmonary Valve- PV), valva tricuspid (Tricuspid Valve - TV)s,i valva mitral (Mitral Valve - MV). Primele dou reprezint interfaµa inimii, cu artereleprincipale ale sistemului cardiovascular, iar celelalte dou sunt valve atrio-ventriculare,care separ cavit µile inimii. Având o durat medie de viaµ de 3 × 109 cicluri cardiace,ele sunt responsabile de reglarea hemodinamicii, asigurând un �ux unidirecµional, atât îninteriorul inimii, cât s

,i c tre restul organismului.

Figura 2.1: Cele patru valve cardiace având în centru valva aortic [25]

2.1.1 Valva aortic

În ceea ce prive³te descrierea valvei aortice, nu s-a ajuns înc la un consens generalvalabil, o parte dintre structurile anatomice �ind de�nite diferit de speciali³ti [25]. Totu³i,r d cina aortic s

,i cele trei cuspe aortice sunt recunoscute ca �ind structurile anatomice

principale. R d cina aortic este o structur cilindric ce face leg tura dintre ventriculul

6

2.1. Morfologia valvelor inimii 7

stâng, aort s,i sistemul coronarian al inimii. La baza acesteia se a� punctele de baz

(nadir) ale cuspelor, continuând spre arter cu trei dilataµii ale peretelui, denumite si-nusurile lui Valsava, care se a� în dreptul �ec rei cuspe. Zona de sinus se termin îndreptul joncµiunii sinotubulare, care se a� între comisurile cuspelor s

,i ostiile coronariene.

Zona superioar ostiilor coronariene este denumit aorta ascendent s,i marcheaz trecerea

c tre arter .

(a) (b) (c)

Figura 2.2: (a) Secµiune parasternal a inimii, punând în evidenµ aparatul valvei aortice; (b)schiµ a unei bisecµii a valvei aortice ar tând forma cilindric s

,i punctele de ata³are ale cuspelor;

(c) schiµ idealizat a r d cinii aortice prezentând punctele cheie s,i ata³amentul semilunar al

cuspelor [25].

Cele trei cuspe aortice sunt avasculare s,i sunt ata³ate de r d cin prin structuri semi-

lunare în interiorul sinusurilor lui Valsalva. Structurile de ata³are sunt interconectate înzona joncµiunii sinotubulare, iar punctele de interconectare sunt denumite comisuri. Fie-care cusp are un centru �bros, care este mai pronunµat în zona central , ce marcheaz ,pe latura liber , vârful cuspei. Deasupra cuspelor s

,i a zonei sinusurilor se a� joncµiu-

nile, cu artera coronarian s,i cea stâng , denumite, în contextul valvei, ostii. Relativ la

acestea se face s,i denumirea individual a cuspelor valvei, cea dreapt , cea stâng s

,i cea

noncoronarian . Cuspele au, în general, dimensiuni similare, îns doar în cazul a 10% dinpopulaµie acestea sunt cu adev rat egale. Toate aceste structuri pot � observate, atât încontextul anatomiei cardiace, cât ³i prin schiµe idealizate, în Figura 2.2.

Funcµia principal a valvei aortice este aceea de a facilita un �ux sangvin unidirecµional,din ventriculul stâng, c tre aorta ascendent . Pe parcursul contracµiei sistolice, presiuneadin ventricului stâng cre³te peste cea din aort , forµând cuspele s se deschid , astfelîncât s devin paralele cu peretele sinusurilor. În diastol , cuspele aortice se închid înzona de joncµiune ventriculo-aortic (anulusul valvei), captarea acestora �ind susµinut de presiunea din aort .

2.1.2 Valva mitral

Valva mitral este situat între ventriculul stâng s,i atriul stâng s

,i este alc tuit din

patru elemente principale: cuspa anterioar s,i cea posterioar , anulusul s

,i aparatul sub-

valvular. Anulusul este o formaµiune �broas care conecteaz cele dou cuspe la peretelecardiac. Peretele cardiac nu este plan, ci are o zon de �s

,a� în care anulusul anterior

este ridicat în zona de mijloc înspre atriul stâng, contribuind la structura de cortin aorto-mitral .

Spre deosebire de celelalte valve ale inimii, valva mitral are doar dou cuspe. Cuspaanterioar este mai mare s

,i are o form semicircular . Structura acesteia de cortin aorto-

mitral este delimitat de cele dou trigoane �broase, iar cu ajutorul acesteia se separ parµial tractele de �ux înspre s

,i dinspre ventricul. Cuspa posterioar are o structur

8 Capitolul 2. Contextul medical al cercet rii

(a) (b) (c)

Figura 2.3: (a) Secµiune parasternal a inimii, ar tând aparatul valvei mitrale; (b) schiµ avederii cuspelor anterioare s

,i posterioare v zute din atriu; (c) schiµ ilustrând scoicile valvei

mitrale [25, 26].

rectangular s,i, prin mai multe falduri, prezint zone denumite scoici. Aceste zone sunt,

în general, numerotate (P1, P2 s,i P3) s

,i au corespondenµe pe cuspa anterioar (A1, A2

s,i A3) [27]. Cuspa anterioar are, în mod normal, dublul în lµimii celei posterioare, dars,i jum tate din lungimea anular a acesteia. Comisurile mitrale sunt punctele în carecele dou cuspe sunt interconectate s

,i nu se a� pe anulus. Toate aceste structuri pot �

observate, atât în contextul anatomiei cardiace, cât ³i prin schiµe idealizate, în Figura 2.3.Aparatul subvalvular al valvei mitrale const din cordajul tendinos ce porne³te de la

mu³chii papilari s,i se extinde sub form de evantai c tre laturile libere ale celor dou

cuspe.

2.2 Ecocardiogra�a

Ecocardiogra�a este o important modalitate de imagistic utilizat pentru a evaluatoate afecµiunile cardiovasculare legate de probleme hemodinamice, morfologice sau func-µionale. Aceast modalitate de imagistic este bazat pe ultrasunete s

,i folose³te o sond

compus dintr-o reµea de elemente piezoelectrice, ce genereaz pulsuri de ultrasunete cufrecvente între 1-15 MHz care traverseaz corpul uman, producând ecouri recepµionatede sond pentru a reconstrui o imagine. Acest principiu de funcµionare poate � observatîn Figura 2.4. Rezultatul este o procedur de risc extrem de sc zut, noninvaziv , care areun cost mai sc zut faµ de alte modalit µi de imagistic s

,i care este disponibil pe scar

larg .

Figura 2.4: Principiul de funcµionare al ecogra�ei [28].

Ecocardiogra�a transtoracic (Transthoracic Echocardiography - TTE) este o moda-litate prin care sonda de ultrasunete este poziµionat pe suprafaµa pielii pacientului s

,i

manevrat , în unghiuri speciale, pentru a se obµine imagini în patru poziµii standard:parasternal, apical, subcostal ³i suprasternal. Întrucât ofer o caracterizare calitativ s

,i

cantitativ asupra anatomiilor valvelor, TTE a reprezentat iniµial metoda standard de

2.3. Patologia bolilor valvulare cardiace 9

diagnoz a pacienµilor cu boli valvulare cardiace (BVC). În general, structurile evaluatede TTE sunt valva aortic , valva mitral , volumul ventriculului stâng s

,i structura, res-

pectiv funcµionarea p rµii drepte a inimii. Scanerele recente, cum este Acuson SC2000produs de Siemens, sunt capabile de a achiziµiona pân la 80 de volume per secund [29].De³i este utilizat pe scar larg , TTE nu poate obµine imagini destul de clare pentru ocuanti�care meticuloas sau o procesare avansat a imaginilor, lips de calitate cauzat ,în mare parte, de distanµa mare dintre sond s

,i anatomiile vizate.

Ecogra�a transesofagian (Transesophageal Echocardiography - TEE) folose³te o sond special ce este introdus prin esofagul pacientului în timpul analizei. Acest fapt permitevizualizarea de o rezoluµie s

,i o calitate mult mai mari faµ de TTE. Astfel, TEE este

mult mai fezabil atât pentru postprocesare s,i pentru studiul am nunµit al leziunilor ana-

tomiilor, cât s,i pentru evaluarea implanturilor prostetice sau a gradului de regurgitare al

valvelor. Datorit faptului c nu afecteaz pacientul, ca în cazul radiaµiilor din timpul�uoroscopiei, TEE poate oferi ghidare continu în timpul intervenµiilor minim-invaziverealizate, �ind astfel inclus într-o gam larg de proceduri chirurgicale pentru ghidare s

,i

evaluare a rezultatelor procedurilor. Recent, în procedurile de implant de valv aortic sau de reparare a valvei mitrale, a fost introdus folosirea direct a imaginilor 3D TEE[30, 31].

2.3 Patologia bolilor valvulare cardiace

Valvele inimii regleaz �uxul sangvin în timpul ciclului cardiac, funcµie ce poate �afectat , în principal, de dou tipuri de probleme: stenoza s

,i regurgitarea. Stenoza este

afecµiunea ce împiedic valvele s se deschid la capacitatea maxim , din cauza îngust -rii, pierderii elasticit µii, blocajelor sau a fuziunii dintre subanatomii. Pe de alt parte,închiderea necorespunz toare, ce cauzeaz �ux sangvin în direcµia opus celei normale,este denumit regurgitare. De³i, în anumite cazuri mai grave pot ap rea ambele afecµiuni,oricare dintre acestea este su�cient pentru a agrava funcµionarea normal a inimii, care,în timp, devine mai puµin puternic s

,i mai ine�cient . Bolile valvulare cardiace (BVC)

au o r spândire foarte mare, afectând 2.5% din populaµia global , iar dac acestea r mânnetratate pot determina, în �nal, insu�cienµ cardiac sau chiar moarte spontan [32].

BVC-urile pot � congenitale sau pot � contractate pe parcursul vieµii, precum en-docardita, reumatismul cardiac sau alte boli degenerative. Malformaµiile prezente de lana³tere pot afecta oricare dintre valve, îns cel mai des afectat este valva aortic , careeste bicuspid , având doar dou cuspe în locul celor trei normale. Aceast malforma-µie face valva mai susceptibil la infecµii sau boli degenerative. Înainte de r spândireautiliz rii antibioticelor, BVC-urile erau provocate, în mare parte, de febra reumatic , oinfecµie bacterian streptococic , des întâlnit în rândul copiilor cu vârste între 5 ³i 15 ani.Afectarea valvelor este produs de un r spuns autoimun la aceast bacterie, ce cauzeaz cuspele valvelor s fuzioneze sau s devin rigide sau îngro³ate. Chiar dac , în ultimultimp, incidenµa acestei boli se a� pe o pant descendent , ea reprezint , în continuare,o ameninµare în µ rile a�ate în curs în dezvoltare.

O condiµie in�amatorie ce degenereaz progresiv µesutul valvular este endocarditainfecµioas . Aceasta este provocat , în general, de infecµii netratate cu streptococi sausta�lococi în alte regiuni ale organismului, având ca efect malformaµia valvelor, apariµiaori�ciilor sau dereglarea funcµion rii valvelor. De³i incidenµa este rar în cazul indivizilorclinic s n to³i, pacienµii care au implanturi valvulare sunt expu³i la un risc înalt.

Datorit fenomenului de îmb trânire a populaµiei, sindromurile degenerative au deve-nit cauza principal a BVC. Datorit unei serii de modi�c ri metabolice în cazul persoa-nelor vârstnice, µesutul valvular se pierde, devine sl bit iar depozitele de calciu formatepot cauza o sc dere semni�cativ a performanµei hemodinamice a anatomiei afectate [33].

Capitolul 3.

Stadiul actual în procesarea imaginilor

medicale

3.0.1 Computer vision în imagistica medical

Sinergia puternic dintre imagistica medical s,i domeniul de computer vision, au avut

un impact major asupra domeniului în ultimii 30 de ani. Duncan s,i Ayache [34] au împ rµit

acest progres în 4 etape majore: era analizei imaginilor 2D (1980 - 1984), era RMN (1985- 1991), era analizei imaginilor 3D s

,i a tehnicilor computaµionale (1992-1999), prezicând

pentru viitor (2000 -) vizualizarea realistic s,i ghidarea procedurilor în timp real. Pân

în momentul de faµ , au avut loc dezvolt ri majore în aceste domenii, prezentate încontinuare.

Algoritmii de segmentare î³i au originile în computer vision s,i sunt aplicaµi în ana-

liza imaginilor medicale pentru a izola structurile de interes de restul imaginii. Exemplede astfel de structuri sunt diverse organe, vasele de sânge, oase sau tumori. Fiind în-rudite, tehnicile de urm rire abordeaz extragerea de informaµii disponibile în secvenµetemporale de imagini. Acestea sunt, în mod special, utilizate pentru aplicaµii cardiace.Împreun , aceste tehnici pot � folosite într-o gam larg de aplicaµii cum ar �: evaluareacalitativ s

,i cantitativ a anatomiilor, monitorizarea leziunilor, plani�carea de terapie sau

preprocesarea pentru registrare, respectiv extragerea de volume.O clas de abord ri importante, ce se bazeaz doar pe nivelurile de intensitate din

imagine, f r informaµii speci�ce asupra obiectului de interes, sunt �ltrarea (thresholding),cre³terea de regiuni sau gruparea. Datorit calit µii limitate a imaginilor medicale s

,i

a complexit µii anatomice, în acest domeniu sunt necesare abord ri de nivel mai înaltpentru a produce rezultate. Tehnicile iniµiale pentru analiza imaginilor cardiace folosescinformaµii cunoscute a priori despre peretele ventricular stâng pentru a îl segmenta dinimagini obµinute prin angiogra�e [41]. Odat cu introducerea modelelor deformabile, s-ar spândit tehnica de utilizare a unei forme generice. Astfel, problema este formulat subforma obµinerii unei deform ri elastice optime, constrâns de un set de forµe interioares,i externe [42, 43]. Pe de alt parte, Cootes et al. au propus modele de form active(Active Shape Models) [44], s

,i Active Appearance Models [45], pentru a limita efectiv

problema delimit rii obiectelor de interes, la modelarea variaµiilor speci�ce domeniuluidatelor dintr-un set de antrenare. O alt abordare este bazat pe formularea setului deniveluri în care deformarea este reprezentat de propagarea de unde constrânse de un setde forµe [46].

3.1 Nivelul actual în domeniul detecµiei mu³chilor papilari

Nivelul actual în domeniu se manifest prin dou abord ri distincte: automat ³i ma-nual. O abordare de succes [14] care a utilizat imagistic CT ³i TEE este bazat peMarginal Space Learning (MSL) ³i este capabil s detecteze valvele mitral ³i aortic ,dar f r rezultate de succes pentru mu³chii papilari. O alt abordare similar prezentat în [13] adaug constrângeri bio-mecanice pentru o identi�care mai robust a cuspelor val-velor. Totodat , tipul acesta de constrângeri este mai abordabil pentru mu³chii papilaridatorit relaµiilor acestora cu cuspele prin cordajul tendinos. Ambele metode prezint mecanisme complet automate, îns nu au modalit µi de urm rire pentru aparatul subval-

10

3.2. Nivelul actual în domeniul urm ririi de anatomii în timp-real 11

vular.Metodele manuale combin , în general, o intervenµie iniµial a utilizatorului pentru

identi�carea punctelor în imagini. În continuare, se utilizeaz algoritmi de urm rire pentrua se propaga aceast poziµie pe celelalte cadre ale imaginii. Una dintre abord rile de succeseste prezentat în [12], în care sunt utilizate planuri bidimensionale poziµionate în jurulcentrului anulusului mitral. Pe aceste plane utilizatorul poate face foarte u³or identi�careainiµial a punctelor.

3.2 Nivelul actual în domeniul urm ririi de anatomii în timp-real

În ultima vreme, mai multe tehnici au fost propuse pentru detecµia anatomiei cardiacedin imagini de ultrasunete. În lucrarea [14] autorii au dezvoltat o metod automat pentru segmentarea valvelor ventriculului stâng utilizând MSL [18]. O variant extins aacestei metode este tratat în [13], unde se utilizeaz constrângeri bio-mecanice pentru ara�na rezultatele obµinute. O abordare de succes ce const din combinarea algoritmilorde detecµie cu cei de urm rire, prin Optical Flow (Flux Optic - OF), în segmentareaconturului ventriculului stâng, este prezentat în [47]. Totodat , în acest articol sunttratate problemele introduse de deriva (drift) algoritmilor de urm rire. O alt abordare,utilizând Belief Propagation (BP), este prezentat în [21] ar tând o rat de succes bun în identi�carea structurilor care nu sunt vizibile pe tot parcursul ciclului cardiac.

3.3 Concluzii

În ultima perioad , activitatea ³tiinµi�c dedicat analizei imaginilor medicale a avan-sat într-un ritm foarte rapid. Datorit multitudinii de aplicaµii în cadrul actului medical,nu exist o limit în dezvoltarea de tehnici noi ce pot facilita procesul de decizie asupratratamentului sau monitoriz rii pacientului. O clas special de aplicaµii este cea foca-lizat pe afecµiunile cardiace care, datorit morfologiei complexe s

,i a dinamicii rapide,

prezint o complexitate ridicat . Totodat , r spândirea extrem de mare a afecµiunilor înaceast zon indic necesitatea de dezvolt ri de tehnici noi pentru abordarea diverselormetode terapeutice.

Una dintre cele mai importante zone de dezvoltare este segmentarea s,i urm rirea de

obiecte din imaginile de ultrasunete. Ecocardiogra�a este cea mai r spândit modalitatede imagistic în diagnoza bolilor valvulare cardiace s

,i singura ce poate urm ri în detaliu

dinamica acestor subanatomii. Totodat nivelul redus de claritate al acestor imaginiprezint un obstacol semni�cativ, comparând abord rile utilizate în alte modalit µi deachiziµie de imagini cum ar � tomogra�a computerizat .

Observând multitudinea de abord ri aplicate în analiza de imagini medicale, pentruacest aplicaµie, cea mai potrivit ar � o combinare a tehnicilor de computer vision cucele de inteligenµ arti�cial . R spândirea în utilizare a ecocardiogra�ei pune la dispoziµieo gam larg de date, atât cu anatomii normale cât s

,i cu cazuri patologice. Aceste date

pot � analizate pe scar larg iar algoritmii pot � antrenaµi pentru a produce rezultatepersonalizate pentru �ecare pacient. Totodat , aplicarea tehnicilor de computer visionavând a priori aceste informaµii simpli�c semni�cativ complexitatea segment rii sau aurm ririi.

Capitolul 4.

Detecµia automat a mu³chilor papilari

din imagini de ecogra�e

transesofagian

Una dintre cele mai întâlnite afecµiuni ale cordului uman este prolapsul valvei mitrale.Aceast malformaµie este prezent la aproximativ 2% din populaµie. Pentru a se puteaevalua o strategie de tratament, chirurgii evalueaz cu grij imaginile achiziµionate prinecocardiogra�e ³i încearc s determine cu acurateµe morfologia ³i dimensiunile valveimitrale. Una dintre cele mai importante opµiuni chirurgicale este efectuarea unei reparaµiila nivelul cordajelor tendinoase care ata³eaz vârfurile cuspelor valvelor la mu³chii papilari[26]. Din p cate, în ecocardiogra�e sau tomogra�a computerizat , nici aceste cordaje, nicimu³chii papilari nu sunt clar vizibili.

Mu³chii papilari ai ventricului stâng reprezint componenta muscular a aparatuluivalvei mitrale ³i sunt situaµi în a doua treime a peretelui ventricular. Ace³tia sunt legaµide cuspele valvei mitrale prin cordajul tendinos. În lucr rile [48] ³i [49] este prezentat îndetaliu anatomia valvei mitrale. O imagine schematic a mu³chilor papilari conectaµi lavalva mitral ³i peretele ventricular poate � observat în Figura 4.1. În ceea ce prive³tepatologia cardiac , exist dou boli legate de mu³chii papilari. Stenoza mitral careeste cauzat de fuziunea acestora la peretele ventricular ³i regurgitarea mitral care estedeterminat de ruperea mu³chilor papilari [50].

Figura 4.1: Imagine schematic a mu³chilor papilari în contextul valvei mitrale ³i al pereteluiventricular [48].

Întregul mecanism de detecµie se bazeaz pe analiza datelor provenite din înregistr ri4D (3D + timp) de ecocardiogra�e transesofagian . Ecocardiogra�a poate � realizat îndou moduri: transesofagian ³i transtoracic. Prima dintre acestea ofer imagini mai buneîns este invaziv , iar cea de a doua nu prezint niciun disconfort pentru pacient, îns ofer calitate mai redus . Astfel, s-a optat pentru utilizarea primei variante datorit faptuluic anatomia vizat este greu vizibil chiar ³i în cele mai bune condiµii. Pentru a se puteailustra modul în care anatomia este vizibil în imaginile obµinute prin ecocardiogra�e,

12

4.1. Pipeline-ul de detecµie AutoSubValve 13

acestea au fost adnotate în Figura 4.2. În cadranele superioare din �gur sunt prezentaµimu³chii papilari, respectiv anterior (PA) ³i posterior (PP), în raport cu valva mitral , cutrei grade diferite de claritate în achiziµie. În cadranele inferioare se poate observa relaµiadintre valva mitral , mu³chiul papilar anterior ³i tractul de ejecµie al ventriculului stâng(TEVS), pentru a se prezenta o alt perspectiv pe acelea³i imagini.

Figura 4.2: Exemple de vizualizare a mu³chilor papilari în ecocardiogra�a transesofagian .

Pentru a se putea compensa de�cienµele metodei imagistice, în cele ce urmeaz sepropune o metod de detecµie automat a mu³chilor papilari. Acest metod porne³tede la o implementare de MSL [18] ³i ra�neaz rezultatele obµinute prin diverse procedee.Ilustrarea stagiilor intermediare ale procesului de detecµie, cât ³i obiectivul �nal, se potobserva în Figura 4.3. Practic, pornind de la datele ecogra�ce se detecteaz o caset deînscriere a valvei mitrale, pe baza c reia se determin caseta de înscriere a aparatuluisubvalvular. În acest volum se detecteaz un num r de candidaµi pentru �ecare dintre ceidoi mu³chi papilari, iar în urma mai multor proceduri de ra�nare se obµin dou poziµii�nale care sunt integrate în aparatul complet al valvei mitrale.

4.1 Pipeline-ul de detecµie AutoSubValve

Metoda propus , denumit AutoSubValve, are la baz înv µarea asistat �ind necesarun set de date de antrenament. Aceste date sunt adnotate de c tre experµii clinicieni,identi�cându-se pentru �ecare caz în parte poziµiile 3D ale celor doi mu³chi papilari.Fiecare nod al pipeline-ului prezentat este antrenat conform algoritmului propriu pe bazaacestor date. În acela³i timp, nodurile au un set de parametrii speci�ci, sau date de intrarede la nodurile precedente. Structura ³i setul de parametrii utilizat pentru întreg pipeline-ul au fost determinate experimental prin reantren ri ³i evalu ri succesive ale mecanismuluipentru a se obµine setul cu cea mai bun e�cienµ .

Prima iteraµie a detectorilor porne³te de la o implementare clasic de MSL. În Figura4.4 se poate observa întregul pipeline dedicat detecµiei mu³chiului papilar anterior. Re-zultatul �nal ar trebui s �e un punct în spaµiu care s marcheze locul unde cordajelecuspei anterioare converg spre peretele ventricului.

În prima coloan a structurii detectorului se poate observa o structur complet MSLcare are ca rol detectarea unei casete tridimensionale în care se înscrie complet valvamitral . Aceast structur a fost preluat deja antrenat de la o iteraµie anterioar a

14 Capitolul 4. Detecµia automat a mu³chilor papilari

Figura 4.3: Obiectivul �nal al pipeline-ului de detecµie.

detectorilor deoarece nu face parte din efortul curent de dezvoltare. Pornind de la aceast caset , ³i pe baza tuturor cazurilor de antrenament, nodul de �MeanSubvalveBoxPredic-tor� are rolul de a g si o nou caset care, de aceast dat , cuprinde întregul volum încare se pot a�a cei doi mu³chi papilari.

Odat obµinut caseta aparatului subvalvular, se realizeaz o intersecµie a volumuluidescris de aceasta ³i conul de ultrasunete. Acest pas are ca rol restrângerea ariei dec utare pentru cele dou puncte, pe de o parte, ³i reducerea cerinµelor de memorie pentruoperaµiunile ce urmeaz . Totodat , în acest stadiu, pipeline-ul diverge în dou ramuripentru cei doi mu³chi, anterior ³i posterior.

Figura 4.4: Pipeline-ul de detecµie de baz .

Dup o ajustare a sistemului de coordonate aferent noii zone vizate, se apeleaz din noula datele de antrenament, prin nodul de �RangePredictor�. Acest nod are ca rol ra�narea ³imai granular a zonei de c utare, executând Principal Component Analisys (PCA) pe toµicandidaµii de antrenament. Astfel, se obµine o nou caset calculat pentru a conµine toµicandidaµii de antrenament, care se intersecteaz cu datele de intrare ³i formeaz domeniulde c utare pentru urm torul nod, de �PositionDetector�. Acesta reprezint primul stagiudin MSL ³i este antrenat speci�c pentru o anumit anatomie. Dup execuµie, acest nodva produce 60 de candidaµi. Apoi este realizat o medie a tuturor punctelor obµinute,rezultatul acesteia, dup o revenire la sistemul de coordonate iniµial, devenind rezultatul�nal al detecµiei.

Pe baza experimentelor realizate, detaliate în sect,iunea 4.3.1, s-a putut concluziona

faptul c prima iteraµie a structurii detectorilor nu este una viabil . Principala problem identi�cat este legat de performanµa redus a detecµiei casetei aparatului subvalvular.Pentru a putea îmbun t µi rezultatele obµinute de detector, din acest punct de vedere,


este necesar aducerea unui plus de inteligenµ ³i detectorului pentru caseta valvei mitrale,pe care se bazeaz detectorul vizat. Un pas important în acest sens a fost f cut prinintroducerea algoritmului RANSAC.

4.1.1 Introducerea contextului temporal în procesul de detecµie utilizând

algoritmul RANSAC

Una dintre cele mai întâlnite cauze ale problemelor de detecµie a casetelor ce înscriudiverse anatomii este dinamica anatomic . În cazul cordului uman, aceast dinamic esteuna periodic ³i foarte rapid , iar datorit variabilit µii unghiurilor de achiziµie, direcµiape care cordul se mi³c poate � diferit între achiziµii. Pân în momentul de faµ toatemecanismele de detecµie iau în considerare doar datele de pe un singur cadru temporal alachiziµiei. Astfel, pentru toate operaµiunile, mi³carea cardiac este complet transparent ,neputându-se lua în considerare. Pentru a se putea lua în calcul aceast dinamic , estenevoie de un algoritm capabil s ajusteze candidaµii de pe cadrul curent în funcµie decandidaµii de pe cadrele vecine. O clas de astfel de algoritmi este cea de urm rire iar unuldintre ace³tia este RANSAC (RANdom SAmple Consensus)[19]. Funcµionarea stagiiloraferente RANSAC observabile în Figura 4.5 se bazeaz pe rularea a priori a detecµieicasetei pentru valva mitral pe 6 cadre alese aleatoriu din întreaga achiziµie. Fiecaredintre aceste detecµii are la ie³ire 60 de candidaµi, iar toµi ace³tia sunt luaµi în considerarede c tre RANSAC. Algoritmul este bazat pe implementarea prezentat în [51].

Figura 4.5: Pipeline-ul de detecµie cu RANSAC.

Funcµionarea algoritmului este una iterativ , bazat pe alegerea unui num r aleatoriude candidaµi ³i c utarea unui model (în cazul de faµ o caset ) care minimizeaz diferenµadintre ei. Candidaµii a�aµi sub un anumit prag de distanµ faµ de modelul propus suntnum raµi. Acest proces se repet pân când num rul de candidaµi selectaµi este peste unanumit prag presetat, sau probabilitatea de a g si un model mai bun scade sub un alt nivelprede�nit. În general, num rul de iteraµii N poate � obµinut cu ajutorul ecuaµiei (4.1),unde p reprezint pragul de probabilitate pentru candidaµi, γ este num rul de candidaµiselectaµi raportat la num rul total de candidaµi, iar s este num rul total de e³antioane:

N =log(1− p)log(1− γs)

. (4.1)

4.1.2 Introducerea constrângerilor analitice în procesul de detecµie

Pentru a augmenta performanµele detectorilor se pot utiliza metode analitice de con-strângere a poziµiei posibile a punctelor în volumul de ultrasunete. Experimental se poateobserva dac un num r semni�cativ de candidaµi este poziµionat incorect într-o anumit


zon . Pe baza unei detecµii a priori a altor puncte cheie ale anatomiei, dintre candidaµiicurenµi se pot selecta doar cei care se încadreaz între anumite limite. Un astfel de noda fost ad ugat pipeline-ului din Figura 4.6.

Figura 4.6: Pipeline-ul de detecµie cu constrângeri analitice.

Nodul nou introdus are ca scop constrângerea candidaµilor pentru mu³chii papilariîntr-un interval �x de distanµ euclidian faµ de comisurile mitrale detectate anterior.Pe baza analizei calitative s-a putut observa c un num r semni�cativ de candidaµi se a� ori pe vârfurile cuspelor, ori în interiorul peretelui ventricular.

Astfel, s-au ales comisurile ca punct de ancorare a constrângerii analitice, deoareceacestea se a� aproximativ la mijlocul distanµei dintre peretele ventricular ³i vârfurilecuspelor. Din punct de vedere anatomic acestea se a� în punctul din care cele dou cuspe se individualizeaz .

În Figura 4.7 se pot observa efectele acestui nod. În prima imagine sunt reprezentaµitoµi candidaµii de la ie³irea nodului de �PositionDetector�. Pentru un rezultat bun, ace³tiaar trebui s �e grupaµi în jurul poziµiei dorite. Îns , dup cum se poate observa, ace³tiasunt r spândiµi de-a lungul peretelui ventricular. În continuare, este necesar o selecµie aacestora pentru a se obµine un rezultat corect. În cel de-al doilea cadru al �gurii se poateobserva rezultatul obµinut dup aplicarea constrângerilor analitice. De³i un num r decandidaµi gre³iµi au fost omi³i (zona dreapta sus din Figura 4.7, candidaµii din interiorulperetelui ventricular), la o comparaµie cu poziµia adnotat (cadrul din dreapta jos, Figura4.7), se poate observa c o simpl mediere a candidaµilor nu va � de ajuns.

În continuare, va � necesar ad ugarea unui nou nivel de decizie, de aceast dat luânddin nou în calcul mecanismele de detecµie. De³i constrângerile analitice ofer rezultateîmbun t µite sensibil, acestea nu sunt de ajuns pentru a se atinge un nivel de acurateµeutilizabil clinic.

4.1.3 Extinderea contextului temporal prin introducerea algoritmului de Belief

Propagation

Dup cea de-a doua iteraµie a pipeline-ului de detecµie, în care s-au introdus nodurilede RANSAC ³i de constrângere analitic , s-a putut concluziona c sistemul se apropie denecesit µile de performanµ ale unei aplicaµii clinice. Îns , în continuare, se pot observacazuri în care candidaµii �nali, �e ei ³i constrân³i analitic faµ de un alt punct cheieanatomic, sunt prea disparaµi pentru a se putea lua o decizie �nal în detecµie. În general,ultimul pas este o simpl mediere a tuturor candidaµilor obµinuµi pân în prezent. Dup


Figura 4.7: Funcµionarea constrângerilor analitico-temporale: candidaµi de intrare (stânga sus);candidaµi constrân³i analitic (dreapta sus); candidaµi constrân³i analitico-temporal (stânga jos);poziµia adnotat (dreapta jos).

cum s-a putut observa anterior, aceast soluµie nu este viabil în cazul mu³chilor papilari.Noua soluµie propus const în utilizarea unui nou nod ce ia în calcul atât informaµiile

de ultrasunete din cadrul prezent cât ³i cele din cadrele vecine în care s-a realizat o detecµie.Astfel, candidaµii �nali din stagiile anterioare pot � ajustaµi pe baza informaµiilor noi ³ipoate � luat o decizie mai apropiat de adev r.

Pentru a putea realiza obiectivele propuse pentru nodul �nal al pipeline-ului de detec-µie, a fost necesar implementarea unei metode ce organizeaz toµi candidaµii disponibilisub forma unui graf. Pe baza optimiz rilor f cute pe aceast structur este posibil s seia o decizie �nal asupra celei mai probabile localiz ri a mu³chiului. Datorit faptuluic acest nod ia în calcul toate st rile vecine (cel mai probabil anterioare în ceea ce pri-ve³te dispunerea temporal a cadrului în care se face detecµia actual ), iar probabilitatea�nal le ia în calcul pe acestea, denumirea nodului efectiv este de MarkovConstraint.Poziµionarea acestuia la �nalul pipeline-ului de detecµie se poate observa în Figura 4.8.

Dup cum s-a menµionat anterior noul nod creeaz un graf conµinând toµi candidaµiiconstrân³i analitic disponibili din toate cadrele temporale în care s-a realizat detecµia. Re-zultatul �nal al acestei operaµiuni este selecµia candidatului care este cel mai apropiat dinpunctul de vedere al distanµei euclidiene faµ de candidatul rezultat prin acela³i algoritmdin cadrul anterior.

Pentru a se de�ni mai explicit graful creat de mecanism, se de�ne³te V ca �ind mul-µimea de noduri ale grafului, iar E ca mulµimea de muchii. Totodat �e x(v) , variabilaaleatoare asociat cu nodul v ³i θ(xv) , potenµialul local reprezentat de probabilitateaatribuit candidatului de c tre nodul de PositionDetector, prin algoritmul de Probabilis-tic Boosting Tree (PBT) [52]. Potenµialul pereche al �ec rei muchii a grafului, θ(xu, xv),reprezint distanµa euclidian dintre candidaµii a�aµi la nodurile de la extremit µile mu-chiei. O reprezentare de principiu al acestui graf se poate observa în Figura 4.9. Acestedou tipuri de potenµial (sau cost) sunt esenµiale, deoarece sunt elementele de baz înfuncµionarea ulterioar a algoritmului. În continuare, se utilizeaz metodologia descris


Figura 4.8: Pipeline-ul de detecµie cu constrângerea Markov.

în [20] pentru de�nirea algoritmului de Max-Product Belief Propagation.Având la baz aceste de�niµii, se poate de�ni, la rândul ei, distribuµia probabilit µii

comune a tuturor nodurilor din graf printr-un câmp aleatori Markov dat de relaµia (4.2)[20]:

p(X) =∏vεV

ϕv(xv)∏{u,v}εE

ϕu, v(xu, xv). (4.2)

Pentru a se putea determina combinaµia ideal a candidaµilor din graful descris maisus, este folosit algoritmul de Max-Product Belief Propagation. Pentru a se putea obµineaceast optimizare, se de�ne³te, m(t)

(u→v)(xv) , ca �ind mesajul de max-product de la nodulu la nodul v la momentul t al funcµiei Xv [20]:

m(t)(u→v)(xv) = max

xuεXu

[ϕv(xv)ϕu,v(xu, xv)

( ∏WεΓ (u)

m(t−1)(w→u)(xu)

)]. (4.3)

Fie µv(xv) max-marginal-ul lui xv de�nit ca [20] :

µv(xv) = maxx′|x′v=xv

p′1, p′2, . . . , p

′n. (4.4)

Acest max-marginal poate � calculat utilizându-se mesajul de�nit mai sus [20]:

µv(xv) ∝ ϕv(xv)

( ∏WεΓ (u)

m(t)(w→v)(xv)

). (4.5)

În continuare, se poate calcula estimarea maxim a posteriori (MAP), utilizând caprobabilitate a priori probabilitatea asignat de PBT, astfel încât [20]:

x̂ = argmaxx′

p(x′1, x′2, . . . x

′n). (4.6)

Aplicând aceast metod tuturor candidaµilor disponibili de la nodurile de constrân-gere analitic , se obµine rezultatul dorit: nodul de MarkovConstraint va alege candidatuldin cadrul curent care minimizeaz distanµa dintre toµi candidaµii detectaµi pân în pre-zent.

Pentru a se putea ilustra e�cienµa algoritmului se reia analiza cazului prezentat anterior

4.2. Integrarea AutoSubValve într-un sistem prototip 19

Figura 4.9: Reprezentare de principiu a grafului utilizat de Belief Propagation.

pentru RANSAC ³i constrângerile analitice. În primul cadran se pot observa candidaµiirezultaµi din nodul de constrângere analitic . Dup cum a fost menµionat în cadrul analizeiiniµiale, o simpl mediere a acestora nu va putea furniza rezultate corecte. În cadranul dinstânga jos din Figura 4.7 se poate observa candidatul ales de nodul MarkovConstraint.Acesta este chiar unul dintre nodurile extreme ³i nici nu este cel cu probabilitatea cea mairidicat . Îns , în comparaµie cu poziµia adnotat de expert, acesta este cel mai apropiatcandidat, dovedindu-se astfel c metoda aleas este cea corect .

4.2 Integrarea AutoSubValve într-un sistem prototip

Figura 4.10: Modelul complet alvalvei mitrale.

Pân în prezent, majoritatea efortului de cercetare³i dezvoltare s-a axat în jurul dezvolt rii, antren rii ³ievalu rii unui pipeline de detecµie pentru cei doi mu³chipapilari, anterior ³i posterior, ai cordului uman. Avândîn vedere performanµa înalt a rezultatelor obµinute an-terior, se poate trece la urm torul pas, cel de integrarea detectorului într-o aplicaµie prototip. Aceast aplica-µie este deja existent ³i utilizat pentru demonstrareacapacit µilor de detecµie ale valvei mitrale.În continuare,se va prezenta procesul de integrare a mu³chilor papilari³i modul în care ace³tia interacµioneaz cu restul valvei.

În Figura 4.10 se poate observa modelul complet alvalvei mitrale. În partea superioar a �gurii sunt repre-zentate cele dou cuspe ale valvei cu anulusul accentuat.Pornind de la ori�ciul valvei spre partea de jos a �guriise pot observa reprezent rile cordajelor tendinoase, caresunt conectate la cele dou puncte reprezentând mu³chiipapilari detectaµi. Este de menµionat faptul c modelulvalvei mitrale conµine puncte cheie anatomice adiµionalesub forma comisurilor sau a trigoanelor mitrale.

Pentru vizualizarea aparatului subvalvular sunt necesare dou elemente. Primul, ³icel mai important, este mu³chiul papilar, reprezentat printr-un punct poziµionat la coor-donatele determinate de pipeline-ul de detecµie dezvoltat. Cel de-al doilea element estereprezentat de simularea cordajelor tendinoase care conecteaz mu³chii la marginea ori-�ciului valvei. Aceste elemente sunt esenµiale pentru a oferi utilizatorului o vedere deansamblu asupra modului cum interacµioneaz întregul complex anatomic.

În Figura 4.11 se poate observa, în detaliu, modul în care cordajele sunt create. Înce-


pând de la mu³chii papilari, câte 6 cordaje sunt construite c tre ori�ciul valvei, acesteaconectându-se în mai multe puncte între comisura aferent �ec rui mu³chi, pân la cen-trul cuspei. Pentru a se reprezenta cu mare �delitate structura anatomic , �ecare cordajare câte 5 puncte de conectare la cusp . Totodat , aceste structuri au tendinµa de a serami�ca, iar pentru a se p stra aceast caracteristic , pentru �ecare dintre ele se stabile³tecâte un punct iniµial de rami�caµie la jum tatea distanµei, iar la trei sferturi din distanµ se mai realizeaz o rami�caµie pentru a se obµine cele 5 puncte de contact.

Vizualizarea cordajelor tendinoase împreun cu întregul aparat subvalvular ofer unbene�ciu adiµional întregului proces de detecµie. Prin intermediul acestora se poate stabilio leg tur dintre diferite con�guraµii sau patologii ale cuspelor ³i mu³chii papilari.

Figura 4.11: Ata³amentul cordajelor tendinoase pentru mu³chiul papilar an-terior (stânga) ³i cel posterior (dreapta).

Un astfel de exemplu se poate observa în Figura 4.12, unde cuspa posterioar prezint un prolaps sever. Datorit simul rii cordajelor, se poate observa imediat care dintreacestea ar necesita o intervenµie chirurgical de reparaµie, sau cel puµin, la ce mu³chieste conectat zona afectat . O posibil extindere a mecanismului prezentat poate �implementarea de constrângeri biomecanice asupra �ec rei unit µi de cordaj. Printr-un astfel de sistem s-ar putea cuanti�ca stresul la care este supus µesutul cardiac înmomente diferite ale ciclului cardiac, atât din punctul de vedere al cuspelor valvei, cât³i asupra peretelui ventricular prin mu³chii papilari. Totodat , o clas de procedurichirurgicale denumite MitraClip, trateaz de�cienµele motorii ale valvei prin retragereaµesutului ori�ciului valvular [17]. În acest caz ar � extrem de utile aceste informaµiibiomecanice deoarece exist un risc real de fracturare a cordajului prin supra-întindere.

Figura 4.12: Prolaps al cuspei posterioare a valvei mitrale.

4.2.1 Tehnici de m surare a aparatului subvalvular al valvei mitrale

Pentru a se putea oferi o funcµionalitate clinic complet a noilor elemente anatomicedetectate, este necesar implementarea unei metode prin care acestea s poat � m surate

4.3. Evaluarea rezultatelor obµinute 21

în relaµie cu întregul complex anatomic. Consultând literatura de specialitate [53], s-adecis implementarea a dou mecanisme de m surare ce descriu relaµia mu³chilor cu valvamitral ³i una care caracterizeaz ambii mu³chi. Cea mai simpl modalitate de a m suraeste cea care red distanµa euclidian dintre cei doi mu³chi, ³i care poate � observat încadranul din dreapta Figurii 4.13. Aceast m surare poate � folosit împreun cu cele dediametru anular pentru a caracteriza dinamica ventricului pe parcursul ciclului cardiac.

Figura 4.13: M surarea aparatului subvalvular: în lµimea mu³chilor papilari (stânga); distanµade la mu³chi la trigoane (centru); distanµa inter-papilar (dreapta).

O alt m sur este reprezentat în cadranul din stânga în Figura 4.13 ³i se refer lacuanti�carea distanµei dintre mu³chii papilari ³i planul anular. Aceast m sur are rolulde a caracteriza mi³c rile verticale ale ansamblului valvular. Ultima m sur implemen-tat are importanµ chirurgical , datorit faptului c în urma unei anuloplastii, poziµiatrigoanelor se poate modi�ca. Pentru a putea caracteriza dac acest modi�care are unefect nefast asupra pacientului, este important ca pre ³i post operator s se monitorizezedistanµa dintre mu³chii papilari ³i trigoane.

Pentru a se putea �naliza implementarea detectorilor este necesar evaluarea acestoraprin prisma m rimilor m surate. Acest lucru trebuie realizat având ca referinµ atâtdate de tipul celor utilizate pentru antrenare, cât ³i comparând rezultatele obµinute dealgoritmi versus ceea ce ar putea obµine un utilizator experimentat.

4.3 Evaluarea rezultatelor obµinute

Înainte de a trece la evaluarea propriu-zis a rezultatelor se va de�ni setul de datedisponibil, atât pentru antrenarea pipeline-ului cât ³i pentru testarea realizat . Dat �indmecanismul de înv µare asistat utilizat este necesar folosirea unui set de antrenamentcât mai cuprinz tor dar ³i a unui set de test variat.

Figura 4.14: Distribuµia bazei de adnot ri (stânga); distribuµia setului de test (dreapta).

Baza de date disponibil conµine 150 de cazuri adnotate de experµi. Dintre acestea, 30au fost alese aleatoriu pentru setul de test, iar restul au fost utilizate pentru antrenare.


Testul de set conµine 15 anatomii normale, 5 cazuri de ischemie ³i 10 cazuri de prolaps.O reprezentare gra�c a organiz rii datelor poate � observat în Figura 4.14. Din se-tul de test, 11 volume alese aleatoriu au fost adnotate de înc doi experµi pentru a seputea observa variabilitatea inter-utilizator. Aceast valoare este necesar demonstr riifezabilit µii clinice a AutoSubValve.

Pentru o mai bun reprezentare a rezultatelor obµinute, al turi de modelul complet alvalvei, în Figura 4.15 se pot observa atât mu³chii adnotaµi, rezultatele �nale ale detecµiei,cât s

,i norul de candidaµi obt

,inut în stagiile iniµiale ale pipeline-ului.

Figura 4.15: Rezultatele procesului de detecµie: candidaµii detecµiei (verde) pentru mu³chiulanterior (rândul superior) ³i posterior (rândul inferior). Estim rile �nale (oranj ³i albastru pentruanterior, respectiv posterior) comparate cu adnotarea realizat de un expert (negru).

4.3.1 Evaluarea pipeline-ului f r constrângeri analitico-temporale

În momentul în care se realizeaz antrenarea detectorilor, din setul complet de datedisponibil, se selecteaz aleatoriu 20% pentru setul de evaluare. Aceste date nu fac partedin setul de antrenament ³i astfel performanµele obµinute pot � evaluate ca ³i date reale,nemaiîntâlnite de c tre algoritmi. În cazul de faµ setul de evaluare conµine 33 de capturiecogra�ce adnotate de c tre un expert clinic. Detecµia se efectueaz pe aceste volume,iar diferenµele dintre valorile obµinute ³i cele adnotate sunt calculate. Pentru �ecarecadru temporal din volum se compar atât caseta aparatului subvalvular (din punctul devedere al poziµiei, unghiului, dimensiunii ³i extremit µilor) cât ³i distanµa euclidian dintrerezultatele �nale pentru cele dou puncte reprezentând poziµiile mu³chilor. Având toatevalorile, se calculeaz 3 indicatori de performanµ : valoarea medie, deviaµia standard ³ivaloarea maxim din primele 90% dintre cazuri. Toate aceste valori pentru pipeline-ul dedetecµie de baz pot � observate în Tabelul 4.1.

Analizând rezultatele obµinute pentru varianta iniµial a detectorilor se pot observadiferenµe medii foarte mari la nivelul casetei aparatului subvalvular, ceea ce se traduce înerori foarte mari pentru rezultatele. Având în vedere c o valoare medie pentru diametrulvalvei mitrale este încadrat între aproximativ 35 ³i 45 mm, eroarea obµinut demon-streaz faptul c detectorii în forma lor curent nu sunt utilizabili. Mai multe m suri


Tabel 4.1: Rezultate pipeline f r constrângeri analitico-temporale.

Unghi caset (grade)

Extremit µicaset (mm)

Poziµiecaset (mm)

Dimensiunecaset (mm)

Punctanterior(mm)

Punctposterior(mm)

Media 10,4 23,29 22,18 3,39 32,33 22,3Deviaµiastandard

10,34 16 16,09 1,7 19,49 13,98

90% 19,37 46,54 44,2 5,24 65,27 37,53

trebuie luate în considerare pentru îmbun t µirea performanµelor, începând de la detecµiacasetei aparatului subvalvular.

4.3.2 Evaluarea rezultatelor AutoSubValve

Repetând procesul de evaluare descris anterior, dar utilizând întregul pipeline dezvol-tat, s-au putut obµine urm toarele rezultatele prezentate în Tabelul 4.2. De aceast dat ,îmbun t µirea rezultatelor a fost una spectaculoas , datorit faptului c o detecµie cueroare mai mic de 6 mm poate � considerat utilizabil într-un mediu clinic. Astfel, seasigur c , de³i intervenµia medicului este necesar dup �ecare detecµie realizat , activita-tea de editare va � una minor . Practic, aceste rezultate con�rm faptul c AutoSubValveeste mult mai e�cient decât metoda testat iniµial.

Tabel 4.2: Rezultate AutoSubValve.

Unghi caset (grade)

Extremit µicaset (mm)

Poziµiecaset (mm)

Dimensiunecaset (mm)

Punctanterior(mm)

Punctposterior(mm)

Media 13,85 11,12 8,91 3,7 5,58 5,75Deviaµiastandard

3,66 2,06 2,09 1,21 3,46 3,02

90% 17,87 15 12,46 5,29 12,05 9,2

Pentru a se putea evidenµia ³i mai clar diferenµele de performanµe dintre cele dou metode, în Figura 4.16 se pot observa diferenµele dintre erorile medii pentru cele dou mecanisme. În afara unei cre³teri nesemni�cative în eroarea de unghi a casetei de înscriere(care a crescut cu aproximativ 3 grade), restul erorilor medii sunt mult sc zute. Cea maievident diferenµ este, dup cum s-a ³i urm rit, la rezultatul �nal, respectiv poziµia celordou puncte.

4.3.3 Evaluarea AutoSubValve cu ajutorul valorilor m surate

Unul dintre cele mai importante rezultate ale integr rii detectorilor dezvoltaµi într-un prototip este posibilitatea efectu rii de m sur ri. În acest sens, s-au implementattrei mecanisme de m surare: distanµa inter-papilar , distanµa la trigoane ³i distanµa laplanul anular. Toate acestea au rolul de a pune rezultatele detecµiei într-un cadru clinic,re�ectând acurateµea acestora din punct de vedere medical.

O prim metod de evaluare a detectorilor utilizând m rimile m surate, reutilizeaz sistemul pus în funcµiune pentru distanµele euclidiene. Pentru �ecare cadru adnotat serealizeaz o detecµie iar m sur rile sunt calculate atât pe rezultatele detecµiei cât ³i pe da-tele de referinµ . Pentru �ecare pereche de valori se face diferenµa absolut , reprezentândvaloarea erorii pentru respectivul cadru.


Figura 4.16: Erorile medii ale celor dou versiuni ale pipeline-ului: iniµial (albastru) ³iAutoSubValve (ro³u).

Având toate valorile, se calculeaz cei 3 indicatori de performanµ : valoarea medie,deviaµia standard ³i valoarea maxim din primele 90% dintre cazuri. Rezultatele acesteievalu ri se pot observa în Tabelul 4.3.

Tabel 4.3: Evaluarea AutoSubValve utilizând valori m surate.

DistanµaMPA-trigS(mm)

DistanµaMPP-trigD(mm)

În lµimeaMPA(mm)

În lµimeaMPP(mm)

DistanµaInterpapi-

lar (mm)

Media 13,85 11,12 8,91 3,7 5,58Deviaµia Standard 3,66 2,06 2,09 1,21 3,4690% 17,87 15 12,46 5,29 12,05

Din rezultatele prezentate, se poate observa faptul c detectorii au performanµe maibune din punct de vedere clinic, decât pur analitic. Pentru a putea interpreta valoriledin Tabelul 4.3 trebuie luat în considerare faptul c din evalu rile anterioare s-a dedus oeroare medie de poziµionare a mu³chilor de aproximativ 6 mm. În ceea ce prive³te rezul-tatele obµinute pe baza m rimilor m surate era de a³teptat o eroare medie aproximativegal cu dublul erorii euclidiene. Îns , faptul c erorile medii nu dep ³esc aproximativ7.5 mm denot c , de³i exist erori individuale de poziµionare, punctele continu s -³ip streze coerenµa anatomic , ceea ce este mai important din punct de vedere medicaldecât poziµionarea absolut .

Pornind de la aceste rezultate pozitive se trece la urm torul pas în evaluarea �nal adetectorilor, cel de evaluare inter-utilizator. Acest test presupune introducerea factoruluiuman în metodologia de evaluare, prin compararea rezultatelor obµinute de detecµie cucele obµinute de utilizatori experimentaµi.

4.3.4 Evaluarea AutoSubValve prin variabilitate inter-utilizator

Primul pas din testul de variabilitate inter-utilizator este cel de alegere a unui set dedate de test. Au fost selectate 11 cazuri din setul de testare. Apartenenµa acestora lasetul de testare denot faptul c algoritmul nu a parcurs aceste date în timpul antren rii,iar comportamentul ar trebui s �e unul asem n tor cu cel din mediul clinic.

Pentru realizarea testului s-a apelat la 3 utilizatori experimentaµi din punct de vedere


Figura 4.17: Evaluare inter-utilizator bazat pe m rimi m surate: distanµa inter-papilar (1,2); în lµimea mu³chilor anterior (3, 4) ³i posterior (5, 6); distanµa faµ de trigonul stâng (7, 8);distanµa faµ de trigonul drept(9, 10).

medical care au adnotat datele de test pe câte dou cadre stabilite a priori: momentulde deschidere maxim a valvei (Peak Mitral - PM) ³i cel de închidere complet (PeakAortic - PA). Astfel, rezult 22 de adnot ri de la �ecare utilizator totalizând 66 de cadrede referinµa. Algoritmul de detecµie este rulat pe acelea³i cadre rezultând un nou set.

Informaµiile au fost centralizate, iar �gurile reprezentând rezultatul �nal al experimen-tului se pot observa în Figura 4.17. Astfel, pentru �ecare m surare exist dou gra�ce,reprezentând rezultatele în momentele PA ³i PM. În �ecare gra�c se pot observa 11 bareverticale albastre simbolizând rezultatele ³i 2 regiuni de încredere. Barele verticale repre-zint diferenµa dintre valoarea medie a rezultatelor obµinute în urma adnot rii realizate deutilizatori ³i rezultatul obµinut în urma detecµiei. Regiunile albastr ³i galben reprezint intervalele de încredere, de respectiv 80% ³i 95%.

Analizând toate gra�cele obµinute, se poate concluziona c AutoSubValve are perfor-manµe bune, chiar dac exist ³i cazuri extreme. Acestea sunt de a³teptat pentru oricealgoritm de origine statistic . Pentru oricare dintre m sur ri se garanteaz faptul c celpuµin 75% dintre rezultate se a� în intervalul de încredere. O alt concluzie important se poate deduce pe baza faptului c cei mai semni�cativi outlier-i au valori negative.Interpretarea acestui rezultat este c algoritmul are tendinµa de a subestima anatomia.Cel mai relevant exemplu în acest sens este în cazul în lµimii mu³chilor papilari, indicândfaptul c algoritmul îi plaseaz în unele cazuri mai aproape de valv decât ei sunt înrealitate.

Acest mecanism este e�cient în prezentarea funcµionalit µii în sensul clinic, îns pentruo evaluare pur , a fost necesar recalcularea variabilit µii din punctul de vedere al distan-µei euclidiene dintre rezultate. Astfel, s-au luat 11 cazuri din setul de test al detectorilor³i acestea au fost adnotaµi de trei utilizatori experimentaµi în câte dou momente cheie ale


Tabel 4.4: Rezultatele comparative dintre detecµia simpl , AutoSubValve ³i varia-bilitate inter-utilizator bazat pe distanµa euclidian .

Poziµia mu³chiuluianterior (mm)

Poziµia mu³chiuluiposterior (mm)

AutoSubValve 5.58± 3.46 5.75± 3.02Detecµie f r constrângeri 10.65± 4.09 11.32± 4.25Variabilitate inter-utilizator 6.94 7.06

ciclului cardiac. S-au obµinut 66 de date de test care au fost prelucrate astfel: pentru �e-care cadru temporal, din cele 22 adnotate, s-a calculat poziµia medie pentru �ecare mu³chidintre cele 3 adnotate. Dup obµinerea valorilor medii, pentru �ecare dintre adnotatori s-acalculat distanµa faµ de valoarea medie, iar dintre cele trei distanµe rezultate s-a ales ceamaxim . Media tuturor acestor valori maximale reprezint variabilitatea inter-utilizator,iar aceasta are valoarea de 6.94 mm pentru mu³chiul anterior ³i 7.06 mm pentru mu³chiulposterior. Astfel se poate observa c AutoSubValve, obµinând eroare medie de 5.58 mmpentru mu³chiul anterior ³i 5.75 mm pentru mu³chiul posterior, se situeaz sub pragul deeroare a trei experµi diferiµi, demonstrând înc o dat e�cienµa sa.

În Tabelul 4.4 se pot observa rezultatele obµinute de AutoSubValve, al turi de celeobµinute prin metoda de detecµie clasic f r constrângeri, în contextul variabilit µii inter-utilizator.

4.4 Concluzii

În acest capitol s-a prezentat un sistem inovativ pentru identi�carea poziµiei mu³chilorpapilari din imagini de ecogra�e transesofagian , denumit AutoSubValve. În contrast cucelelalte subanatomii ale complexului valvei mitrale acestea au particularitatea de a secontracta în interiorul peretelui ventricular pe parcursul ciclului cardiac. Acest fapt facevizualizarea lor foarte di�cil chiar ³i pentru un utilizator experimentat. În acela³i timp,identi�carea poziµiilor lor este foarte important din punctul de vedere al procedurilorchirurgicale realizate endoscopic. În aceste situaµii cateterele sunt introduse în ventriculîn apropierea valvei mitrale pentru ancorarea instrumentelor. În aceea³i regiune se a� mu³chii papilari ³i cordajul tendinos al valvei. Astfel, instrumentele poziµionate ine�cientpot afecta acest cordaj care este esenµial pentru funcµionarea corect a valvei. Cunos-când poziµia mu³chilor papilari, chirurgii pot evita aceste situaµii, iar soluµia propus estemenit a oferi toate informaµiile necesare unui cadru medical în aceast situaµie.

AutoSubValve folose³te o combinaµie inovativ de algoritmi de detecµie bazaµi pe în-v µare asistat (MSL) ³i algoritmi de urm rire (BP) pentru a putea compensa lipsa devizibilitate a mu³chilor papilari. Mecanismul este îmbun t µit prin utilizarea constrân-gerilor analitice, menite s ancoreze rezultatele obµinute în contextul complet al valveimitrale. Având toate aceste elemente s-a putut realiza integrarea într-un sistem prototippentru a se putea oferi un mecanism de m surare a dimensiunilor în contextul întreguluiaparat valvular. În evaluarea mecanismelor a fost utilizat atât eroarea faµ de poziµiileadnotate de experµi clinicieni, diferenµele obµinute în valorile m surate, cât ³i variabilitateainter-utilizator. Aceasta din urm compar eroarea mecanismului propus cu diferenµeledintre adnot rile realizate de mai mulµi experµi, având menirea de a oferi un context clar³i aplicabil clinic rezultatelor obµinute. Astfel, se poate observa foarte clar care este îm-bun t µirea adus faµ de mecanismele deja existente, iar încadrarea valorilor obµinuteîn variabilitatea inter-utilizator demonstreaz faptul c metoda propus este utilizabil clinic.

Capitolul 5.

Urm rirea în timp-real a

subanatomiilor cardiace

Pe parcursul acestui capitol se prezint procesul de dezvoltare a unui algoritm autonomcapabil s detecteze s

,i s urm reasc în timp-real o subanatomie a inimii. Pentru a obµine

acest rezultat se propune ideea folosirii în paralel a unui detector bazat pe înv µare asistat s,i a unui algoritm de urm rire. Astfel, detectorul care, inerent, este mai lent, va funcµionaperiodic, iar pe baza rezultatelor obµinute de acesta, algoritmul de urm rire propag rezultatele pe cadrele ce urmeaz . Funcµionarea periodic a detectorului asigur s

,i faptul

c întregul sistem nu va suferi din cauza derivei, fenomen caracteristic algoritmilor deurm rire, care, la �ecare iteraµie acumuleaz erori, dep rtându-se de regiunea de interes.Anatomia vizat este valva mitral , cu accentul pus pe anulusul acesteia.

Bene�ciul principal al dezvolt rii unui astfel de algoritm îl reprezint eliminarea ne-cesit µii de înregistrare a datelor ecogra�ce pentru a face o m surare automat . Sistemulva putea funcµiona direct în modul de achiziµie, oferind o vizualizare direct s

,i continu a

anatomiei. Acest lucru este, în mod special, important în timpul procedurilor chirurgicale,atunci când sunt folosite în paralel mai multe modalit µi de imagistic medical .

Primul pas în dezvoltarea mecanismului a fost încercarea obµinerii unui rezultat prac-tic pentru o metod general de urm rire a unui punct cheie anatomic, f r a implicanicio metod de antrenare a priori. Aceast abordare a fost aleas pentru a izola per-formanµele algoritmilor de urm rire f r in�uenµa celor de detecµie. Pân în momentulde faµ cele dou tehnici au fost îmbinate pentru a se îmbun t µi rezultatele efective aledetecµiei. Pentru a se lua o decizie în privinµa e�cienµei algoritmilor de urm rire în vede-rea construcµiei unui sistem de urm rire în timp-real, este necesar renunµarea la detecµiaefectiv , deoarece viteza de procesare a acestor algoritmi nu este su�cient pentru a seajunge la 15 de cadre pe secund .

În continuare, s-a trecut la adaptarea mecanismului de detecµie a casetei de înscrierea valvei mitrale pentru a-l putea utiliza în timp-real. Aceast alegere a rezultat ³i dinnecesitatea realiz rii unui num r de optimiz ri asupra acestui algoritm, cum ar � utilizareapl cii video a computerului pentru a asigura paralelism în funcµionare.

Odat ce cele dou componente au devenit stabile în funcµionare, urm torul pas afost crearea unui sistem complet de urm rire în timp-real a subanatomiilor valvei mitrale.Astfel pornind de la detectorii paralelizaµi pentru caseta de înscriere a valvei, ³i ad ugândcomponentele de urm rire prin �ux optic (Optical Flow - OF) a punctelor cheie, s-aconstruit un sistem capabil s urm reasc în timp-real anulusul valvei mitrale. S-a realizatastfel un sistem hibrid, denumit MitralRT ce îmbin înv µarea asistat cu algoritmii deurm rire pentru a se obµine o acurateµe acceptabil pe setul de test. Dup ce mecanismuls-a dovedit a � e�cient, s-a trecut la validarea metodei de detecµie în timp-real. Practic,a fost necesar descompunerea pipeline-ului de detecµie pentru ca acesta s �e utilizabilpe date înregistrate anterior, nu pe un �ux continuu de imagini. Tot acest sistem trebuies �e capabil s reproduc toate condiµiile de funcµionare intra-operatorii pentru a puteareprezenta cu acurateµe fezabilitatea sistemului propus.

Ultima parte prezentat în capitol const în investigarea diferenµelor de performanµ dintre algoritmii utilizaµi pân acum adic Marginal Space Learning, Optical Flow s

,i

Belief Propagation. Acest studiu comparativ a fost realizat în contextul detectorilor de

27

28 Capitolul 5. Urm rirea în timp-real a subanatomiilor cardiace

cadre cheie utilizat în sistemul de urm rire de obiecte în timp-real, pentru a se îmbun t µiacurateµea acestora, f r a compromite viteza de detectare. În urma acestui studiu s-adezvoltat o nou structur de detector denumit Composite Tracker (CT) ce s-a dovedit a� un candidat bun pentru extinderea detectorului de cadre cheie.

5.1 Prezentarea detectorilor casetei de înscriere

Mecanismul utilizat pentru identi�carea casetei de înscriere a valvei mitrale se bazeaz pe primul pas din MSL [18], în principal, pe identi�carea poziµiei, orient rii ³i dimensiuniiobiectului. Acest mecanism se concretizeaz într-un pipeline de detecµie de tipul celuiprezentat în Figura 5.1.

Figura 5.1: Pipeline-ul de detecµie pentru caseta de înscriere.

Acest tip de detector trebuie antrenat a priori pe date adnotate pentru a se putearealiza identi�carea corect pentru �ecare pas. Antrenarea s-a realizat pe un set de datecuprinzând 902 de imagini adnotate, achiziµionate cu sonde Philips ³i Siemens.

Fiecare nod din pipeline-ul propus produce un num r de candidaµi ordonaµi în funcµiede un coe�cient de încredere încadrat în intervalul [0,1], reprezentând probabilitatea carespectivul candidat s �e poziµionat corect. La ie³irea �ec rui nod se expune un num rcon�gurabil de candidaµi, pornind descresc tor de la cel cu probabilitatea cea mai mare.În Figura 5.2 sunt prezentaµi, în ordine, toµi candidaµii de la ie³irea �ec rui detector.Astfel, dup stagiul de poziµie, exist 50 de candidaµi de aceea³i dimensiune ³i orientareîn poziµii diferite pe imagine. Dup stagiul de orientare este produs acela³i num r decandidaµi, având acelea³i centre indicate de detectorul de poziµie ³i dimensiune �x darde orient ri diferite. În cadrul nivelului de dimensiune, se iau în considerare toµi candidaµiide la intrare, iar dimensiunea �ec ruia este modi�cat pentru a se produce setul �nal decandidaµi ai MSL.

O prim ra�nare a rezultatelor obµinute de MSL este f cut prin algoritmul RANSAC,utilizat ³i anterior pentru caseta de înscriere a mu³chilor papilari. Practic, se iau înconsiderare toµi candidaµii de la ie³irea a 6 cadre adiµionale, ³i aplicând algoritmul seidenti�c cel mai potrivit candidat în toate cele 6 cazuri. Astfel, se realizeaz compensareami³c rii cardiace. Pentru a se îmbun t µi ³i mai departe rezultatele, se aplic o nou ra�nare sub forma nodului de �RansacRe�nement�. Acest nod practic aplic un set deipoteze de dimensiune asupra candidatului de intrare ³i aplic din nou detectorul dedimensiune. Datorit acestui nivel �nal se garanteaz faptul c oricare cadre sunt alesede RANSAC (din orice moment al ciclului cardiac, �e valva închis , deschis sau într-opoziµie intermediar ), dimensiunea casetei de înscriere va � cât mai aproapiat de situaµiareal .

Acest mecanism de detecµie s-a dovedit de mare acurateµe, având o eroare medie de4,48 mm faµ de situaµia real . Eroarea a fost calculat utilizând suma erorilor pentru�ecare colµ al casetei, reprezentând astfel, cu ponderi egale, atât poziµia, orientarea, cât ³idimensiunea casetei. Eroarea medie reprezint atât funcµionarea detectorului ca detecµieindividual pe �ecare cadru, cât ³i în cazul când este utilizat pentru detectarea pe primulcadru ³i apoi urm rirea pe toate celelalte. Îns , datorit faptului c la intrare acesta pri-me³te întreg volumul 3D în vederea detecµiei, timpul de execuµie nu este destul de rapidpentru utilizarea în timp-real. Optimizarea acestuia porne³te de la o prim detecµie utili-zând întreg volumul de pe un cadru, pentru ca mai apoi respectiva caset s �e utilizat

5.1. Prezentarea detectorilor casetei de înscriere 29

ca regiune de interes pentru urm toarele cadre. O ipotez ajut toare este f cut în sensulîn care, de la un cadru la altul, poziµia valvei nu are un deplasament semni�cativ. Astfel,odat obµinut o caset , aria de c utare pentru urm toarele cadre este redus substan-µial, reducându-se astfel ³i timpul de execuµie. Totodat , a fost implementat ³i un sistemprin care, dac încrederea în regiunea de interes, respectiv probabilitatea dat de detec-tor rezultatului, scade sub un anumit prag, este ref cut c utarea pe întreaga imagine,ca mai apoi s se revin la funcµionarea în regiunea de interes. Regiunea de interes esteactualizat la înc rcarea cadrului, f cându-se o medie a deplasamentului tuturor casetelorutilizate de la ultima c utare pe întregul volum.

Pentru a facilita, în continuare, funcµionarea e�cient a detectorului în timp-real,execuµia acestuia a fost deplasat pe un alt �r de execuµie ce ruleaz în paralel cu restulprototipului, primind doar datele de volum pentru cadrul curent.

Figura 5.2: Funcµionarea detectorului pe etape: (1) poziµie; (2) orientare; (3) dimensiune; (4)constrângere prin RANSAC; (5) ra�nare pe baza dimensiunii ³i RANSAC; (6) rezultat �nal.


5.2 Prezentarea pipeline-ului MitralRT

Cea mai important problem în urm rirea punctelor cheie ale anatomiei este g sireaunui raport optim între acurateµe ³i viteza de detecµie. Pân în prezent au fost utilizaµialgoritmi de înv µare asistat ce sunt capabili de rezultate foarte bune, utilizabile clinic,îns la o vitez nepotrivit pentru funcµionarea în timp-real. Obiectivul în aceast direcµieeste reprezentat de obµinerea unui rezultat în 60 ms ceea ce s-ar traduce în 15 de cadre pesecund , vitez perceput de ochiul uman ca �ind în timp-real. Detectorii utilizaµi ante-rior, pentru un singur cadru necesit peste 2 secunde pentru a obµine un rezultat, întregulmodel al valvei, constând din 2 suprafeµe (cele dou cuspe), dou curbe (reprezentândcontururile anulusul ³i ori�ciul valvei) ³i 7 puncte cheie. Pentru a putea valida algoritmiipropu³i s-a încercat detecµia unui model redus, reprezentat de anulus ³i 2 puncte cheiede pe acesta (trigonul stâng ³i drept). Aceast zon a valvei este foarte important decuanti�cat în cazul intervenµiilor de implant ³i de rejecµie de µesut (MitraClip), ceea ceconfer aplicabilitate clinic imediat a metodei. Totu³i, ³i în aceste condiµii, algoritmiiiniµiali necesit aproximativ 1 secund pentru a produce un rezultat.

Pe de alt parte, algoritmii de OF investigaµi produc rezultate bune în timp-real, îns au nevoie de o iniµializare manual a poziµiei de pornire. Ei sunt doar capabili de aurm ri aceast poziµie, f r a o putea identi�ca de la început. Totodat , în investig rileanterioare s-a observat faptul c aceste module sunt susceptibile la fenomenul de deriv (drifting), ele pierzând poziµia corect dup un anumit num r de cadre.

Pentru a se putea obµine rezultatele dorite s-a apelat la o soluµie hibrid , ce combin cele dou metode, denumit MitralRT. Detectorii preantrenaµi sunt utilizaµi pentru ini-µializarea algoritmilor de urm rire. În continuare, odat cu achiziµia mai multor cadre,detectorii sunt reutilizaµi pentru a se elimina deriva OF-ului. În ceea ce prive³te detectoriiantrenaµi, dup cum s-a speci�cat anterior, ace³tia au fost redu³i doar la elementele vizate.Totodat , întreaga serie de optimiz ri aduse anterior a fost utilizat , cum ar � urm rireacontinu a unei anumite regiuni de interes ³i utilizarea pl cii video pentru calcul în paralel.Pentru algoritmii de urm rire, ace³tia au fost reintegraµi în sistem pentru a putea permitereiniµializarea la a³a-zise �cadre cheie�. Practic, algoritmii primesc la �ecare 5 cadre unnou punct de ancor ce este utilizat pentru urm rirea pe cadrele urm toare. În acest modse elimin problema derivei. Intervalul de 5 cadre între reiniµializ ri a fost determinatempiric, bazându-se pe timpul mediu de procesare a unui cadru de c tre componenta dedetecµie. O reprezentare de principiu a întregului lanµ de procesare MitralRT se poateobserva în Figura 5.3.

Pentru a se putea testa întregul sistem s-a ales separarea detectorilor antrenaµi într-un�r de execuµie paralel faµ de restul sistemului. Chiar dac practic acest lucru introduceun alt nivel de complexitate, bene�ciile asupra vitezei de execuµie sunt în mod evidentimediate. Algoritmii de urm rire r mân pe acela³i �r de execuµie cu înc rcarea datelorobµinute de la ecograf. Unul dintre motivele importante pentru aceast comasare estefaptul c , spre deosebire de detectorii antrenaµi care utilizeaz date în coordonate carte-ziene, algoritmii de urm rire utilizeaz date în coordonate polare (sau acustice). Acestaeste formatul în care datele sunt înc rcate, ne mai �ind nevoie de un pas de conversie dedate.

Conversia acustic-cartezian ³i invers este necesar funcµion rii detectorilor ³i unuldintre principalele motive pentru care s-a realizat optimizarea de c utare doar în regiuneade interes. Cu cât se convertesc mai puµine date din volumul achiziµionat, cu atât mairapid este sistemul în ansamblu.

Datorit faptului c sistemul MitralRT este proiectat pentru a � utilizat în achiziµiaîn timp-real, modul de testare a algoritmilor a reprezentat o problem în sine. Pân înmomentul de faµ au fost utilizate date înregistrate anterior de c tre speciali³ti. Datorit

5.3. Evaluarea performanµelor MitralRT 31

Figura 5.3: Sistemul de detecµie ³i urm rire a anulusului valvei mitrale, MitralRT.

naturii ecogra�ei transesofagiene, nu este posibil achiziµionarea de date reale doar pentruteste. Astfel, a fost necesar dezvoltarea unei metode prin care datele înregistrate s imiteo achiziµie continu . Un prim pas este introducerea acestor date într-o bucl , pentru caalgoritmii s aib timpul necesar stabiliz rii. Totodat , pentru a se elimina caracterulstatic al înregistr rilor, s-a creat un sistem prin care volumul este translatat ³i rotit liberde c tre utilizator în timpul red rii. Aceste mi³c ri se realizeaz doar asupra datelordin volum, f r a acµiona asupra conului de ultrasunete, astfel �ind posibil mi³careaanatomiei pân în cazurile în care aceasta este doar parµial vizibil . Astfel, s-a pututevalua robusteµea algoritmilor la o multitudine de situaµii, care nu au un caracter periodic,ajungându-se adesea la condiµii suboptime de funcµionare. Cu toate acestea, s-a pututobserva c sistemul MitralRT este robust, având o acurateµe înalt .

5.3 Evaluarea performanµelor MitralRT

5.3.1 Protocolul de evaluare

Pentru a se putea evalua performanµa sistemului MitralRT, a fost asamblat un set detest ce conµine date TEE înregistrate s

,i adnotate pe �ecare cadru de c tre un expert.

Anatomiile adnotate sunt trigonul stâng s,i drept, cât s

,i anulusul valvei mitrale. În total,

setul de test conµine 12 volume TEE având 153 de cadre adnotate.

Pentru a se putea reproduce condiµiile intra-operatorii de utilizare a sistemului, dateleau fost manipulate prin transform ri rigide pentru a se simula mi³carea sondei. Meca-nismul se bazeaz pe gradele de libertate întâlnite în timpul unei achiziµii TEE: rotaµiasondei pe direcµiile de rotaµie, oscilaµie s

,i înclinaµie cu 45 de grade, cât s

,i translaµii pe

direcµia trunchiului sondei. Astfel, secvenµa rezultat corespunde secvenµei originale mul-tiplicat de 26 de ori, datorit faptului c între �ecare perioad de translaµie/rotaµie seintercaleaz o perioad de stabilitate s

,i revenire la poziµia iniµial . Astfel, rezult o medie

de 300 de cadre per achiziµie, aproximând 30 de secunde reale.


5.3.2 Metodologia evalu rii

Pentru evaluarea cuanti�cabil a pipeline-ului MitralRT, acesta a fost analizat atâtca un tot unitar, cât s

,i ca elemente separate. Pentru o achiziµie tipic rezultatele pot �

observate în Figura 5.4. În aceast �gur se poate constata rezultatul detecµiei al turide adnotare, în dou faze ale ciclului cardiac, sfâr³itul sistolei s

,i sfâr³itul diastolei, atunci

când valva este închis , respectiv deschis . Ca s,i eroare medie a detecµiei pe cele dou

cadre, s-a observat o diferenµ de 1,25 mm faµ de adnotare.

Figura 5.4: Rezultatele detect,iei anulusului valvei mitrale (galben

� adnotare, ros,u - detect

,ie).

Pentru a identi�ca performanµa �ec rui nivel al MitralRT, acesta a fost descompus. Înprim faz , s-a analizat detectorul pentru cadre cheie, bazat pe înv µare asistat . Acestaîncepe s analizeze secvenµa, iar dup ce ajunge la un nivel de încredere destul de înalt,produce rezultate. Dup cum a fost prezentat anterior, acesta are acuratet

,e bun , îns nu

este destul de rapid pentru a putea � folosit în timp-real. Întreaga secvenµ de rezultateeste stocat pentru a putea � folosit în pasul �nal ca s

,i cadre cheie pentru algoritmul

de urm rire. Totodat , aceste rezultate sunt comparate cu adnotarea pentru a se puteastabili acurateµea efectiv .

Urm torul nivel al evalu rii se refer strict la algoritmul de urm rire bazat pe OF.Pentru a se realiza decuplarea de detector se utilizeaz ca s

,i cadre cheie elementele adno-

tate. Astfel, algoritmul de urm rire este iniµializat cu primul cadru al adnot rii s,i periodic

i se trimit noi cadre din adnotare pentru a evita deriva. Perioada este determinat pebaza duratei de timp a secvenµei analizate s

,i a timpului mediu necesar detecµiei anulusului

prin algoritmul bazat pe înv µare asistat . La �nalizarea acestui pas se înregistreaz dinnou toat secvenµa rezultat s

,i se realizeaz compararea cu datele adnotate.

Pasul �nal al procedurii de evaluare a constat în reproducerea funcµion rii în timp-real, prin combinarea celor doi algoritmi. Astfel, se face o detecµie iniµial cu care seiniµializeaz algoritmul de urm rire, detecµia repetându-se periodic pentru a obµine cadrelecheie. În Tabelul 5.1 se pot observa rezultatele obµinute la cele trei niveluri s

,i pentru toate

cele 4 subanatomii analizate.Valorile prezentate reprezint eroarea medie plus-minus deviaµia standard. Pentru cele

2 puncte cheie, eroarea �ind determinat de distanµa euclidian faµ de poziµia adnotat .Pentru curba anulusului, pentru �ecare punct în parte se calculeaz distanµa faµ decel mai apropiat segment al curbei adnotate, iar la �nal se face media tuturor valorilorobµinute. Aceste valori arat c în medie, rezultatele sistemului propus sunt acceptabile,�ind sub suma erorilor algoritmilor individuali. Practic, nivelul maxim de acurateµe lacare se poate ajunge cu noul sistem este cel al detectorilor, datorit faptului c ace³tia suntfolosiµi pentru iniµializarea algoritmilor de urm rire. În cel mai nefavorabil caz, eroareaalgoritmilor de urm rire deviaz complet rezultatul iar acurateµea scade la suma erorilorcelor doi algoritmi. Din Tabelul 5.1 se poate observa c metoda propus se încadreaz undeva în jum tatea inferioar a acestui interval.


Tabel 5.1: Rezultatele evalu rii sistemului de urm rire.

Curbaanulusului(mm)

Trigon stâng(mm)

Trigon drept(mm)

Detector 3.37± 0.69 3.82± 1.27 4.40± 2.20Algoritm de urm rire 6.57± 2.04 7.80± 4.99 9.10± 4.41MitralRT 4.04± 1.06 4.92± 1.91 5.80± 2.55

Totu³i, datorit faptului c avem de a face cu un sistem de urm rire, este important decuanti�cat s

,i deriva întâlnit . Pentru a observa acest lucru, s

,i pentru a oferi o privire de

ansamblu asupra rezultatelor obµinute pe setul de test, s-a recurs la reprezentarea eroriiobµinute pe �ecare cadru, pentru anulusul valvei, într-un set de histograme. Acesteaarat rezultatele împ rµite în funcµie de acurateµe, în 4 categorii: eroare sub 3 mm, între3 s

,i 6 mm, între 6 s

,i 8 mm, s

,i peste 8 mm. Astfel, se poate vizualiza num rul de

cazuri din �ecare categorie, împreun cu deviaµia standard. Aceast analiz s-a realizatpentru detector, algoritmul de urm rire cu s

,i f r cadre cheie, s

,i bineînµeles pentru soluµia

propus . Cele 4 histograme pot � observate în Figura 5.5. În general, valorile medii aleerorii reprezint doar o parte a caracteriz rii algoritmului, iar în cazul de faµ , datorit complexit µii sistemului este necesar o a doua unealt de evaluare.

În analiza histogramelor este de interes ca marea majoritate a cazurilor s se încadrezeîn prima parte a gra�cului. Dac tendinµa gra�cului este de a cre³te c tre zona repre-zentând erori mai mari, se poate trage concluzia c algoritmul are deriv , iar nu avem ogaranµie c acesta va produce rezultate corecte în mod coerent.

Dup cum se poate observa din histogramele prezentate în Figura 5.5, rezultatele celemai stabile sunt întâlnite în cazul detectorului, majoritatea rezultatelor încadrându-se încategoriile cu eroare sub 6 mm, cu cele mai multe sub 3 mm. Acest rezultat este �rescdatorit mecanismului în sine, s

,i dovede³te faptul c nivelul minim de eroare de la care

se porne³te este unul bun. La cap tul cel lalt al spectrului se poate observa mecanismulde urm rire secvenµial (f r cadre cheie, Tseq).

Dispersia rezultatelor în acest caz este mult mai mare s,i în principal defavorabil .

Exist un num r semni�cativ de rezultate cu eroare foarte mare, de peste 8mm. Totodat ,faptul c rezultatele se reg sesc în partea dreapt a gra�cului, reprezint gradul ridicatde deriv ce se observ în cazul acestui mecanism.

Rezultate u³or mai bune se pot observa pentru mecanismul de urm rire bazat pecadre cheie (Tseq + Tkey). Acesta prezint un num r mult mai mare de rezultate deacurateµe mai mare faµ de cel f r cadre cheie. Îns , din nou, este evident fenomenulde deriv . Chiar dac distribuµia este mai favorabil , înc exist un num r semni�cativde rezultate cu eroare mai mare de 6 mm. Aceste rezultate obµinute pentru algoritmiide urm rire utilizaµi independent arat , din nou, problemele inerente ale acestor metodeaplicate pe imagistica medical . Chiar dac dinamica imaginilor analizate este una cutendinµe ciclice, datorit imaginilor zgomotoase s

,i cu contrast redus, este foarte di�cil de

urm rit o structur pentru o perioad lung de timp. De la un anumit punct, oricât demult s-ar încerca corectarea traiectoriei, chiar s

,i la intervale �xe de timp, fenomenul de

deriv persist .În cazul MitralRT, rezultatele sunt in�uenµate semni�cativ de c tre prezenµa meca-

nismului de detecµie ce acµioneaz în paralel. Dup cum se poate observa din histogramaprezentat , marea majoritate a rezultatelor se a� , din nou, în jum tatea din dreapta agra�cului ceea ce con�rm eliminarea în mare parte a derivei sistemului. Acesta obµineîn mod regulat rezultate cu eroare mai mic de 6 mm.


Figura 5.5: Histogramele erorilor obt,inute pe setul de test.

În comparaµie cu detectorul independent, sistemul propus are totu³i acurateµe maisc zut , fapt ce era de a³teptat, îns luând în calcul s

,i deviaµia standard pentru categoriile

de sub 3 mm s,i între 3 s

,i 6 mm, se poate observa c per total, reducerea de acurateµe nu

este una semni�cativ .

Pe de alt parte, trebuie luat în considerare viteza de execuµie pentru cele dou metode. Dac detectorul independent poate procesa în medie 5,5 cadre pe secund ,sistemul propus proceseaz 12,5 cadre pe secund . Practic, noul sistem este de dou orimai rapid, f r a avea o penalizare semni�cativ de acurateµe.

Un alt aspect important de evaluat, în cazul acestor algoritmi de urm rire, este com-portamentul sistemului în timpul mi³c rilor substanµiale ale imaginilor analizate. Dup cum a fost menµionat în secµiunea 5.3.1, setul de date de test utilizat a fost creat astfelîncât s simuleze mi³carea sondei, atât prin rotaµii cât ³i translaµii. Mai exact, transfor-m rile prin care este trecut �ecare set de date de test sunt urm toarele:

1. se porne³te de la secvenµa originar , redat de dou ori în întregime pentru casistemul s aib destule date pentru a se stabiliza;

2. se introduce o translaµie lateral cu 2 cm;3. Imaginea r mâne stabil la noua poziµie pe durata unei întregi secvenµe;4. se translateaz înapoi la poziµia original ³i se staµioneaz pe durata a dou secvenµe

întregi;5. se introduce o translaµie vertical cu 2 cm;6. imaginea r mâne stabil la noua poziµie pe durata unei întregi secvenµe;7. se translateaz înapoi la poziµia original ³i se staµioneaz pe durata a dou secvenµe

întregi;


8. se introduce o rotaµie vertical cu 15 grade;9. imaginea r mâne stabil la noua poziµie pe durata unei întregi secvenµe;10. se realizeaz rotaµia înapoi la poziµia original ³i se staµioneaz pe durata a dou

secvenµe întregi;11. se introduce o rotaµie lateral cu 15 grade;12. imaginea r mâne stabil la noua poziµie pe durata unei întregi secvenµe;13. se realizeaz rotaµia înapoi la poziµia original ³i f r a avea o perioad de stabilizare

se rote³te lateral în direcµia opus cu 15 grade;14. imaginea r mâne stabil la noua poziµie pe durata unei întregi secvenµe;15. se realizeaz rotaµia înapoi la poziµia original ³i se staµioneaz pe durata a patru

secvenµe întregi.Pentru a se putea analiza rezultatele, erorile obµinute faµ de datele adnotate sunt

prezentate într-un gra�c, al turi de marcaje pentru indicarea tipului de mi³care realizatîn cadrul temporal curent. În Figura 5.6 sunt prezentate dou astfel de gra�ce. Pentru aîmbun t µi lizibilitatea acestora, tipul de mi³care (barele verticale) este prezentat doar catranslaµie sau rotaµie. Chiar dac direcµiile pentru aceste deplas ri difer , este îndeajunss �e marcate poziµiile: original (alb), translaµie (violet), stabil dup translaµie (violetdeschis), rotaµie (verde), stabil dup rotaµie (verde deschis). Astfel, se obµine o repre-zentare gra�c a transform rilor enumerate anterior. Datorit procesului de anonimizarela care sunt supuse datele, acestea vor � denumite Cazul 10 (5.6(a)) ³i Cazul 11 (5.6(b)).

Fiecare dintre cele dou rezultate are particularit µi ce merit discutate pe larg. În-cepând de la Cazul 11 (5.6(a)) se poate observa c în momentul în care se introducemi³care în imagine, rezultatele obµinute cu cele 4 mecanisme încep s difere substanµial.De exemplu, pentru cea de-a doua translaµie, pe vertical, Tseq ³i Tseq + Tkey au erori ridi-cate, neputând s continue identi�carea corect a anatomiei. Dup cum era de a³teptat,Tseq+Tkey are performanµe mai bune datorit utiliz rii de cadre cheie, îns tot cu o eroaresubstanµial . Pe de alt parte, soluµia propus menµine pe tot parcursul testului un nivelmediu de eroare aproape constant. Rezultatele, chiar dac au o eroare puµin mai maredecât în cazul detectorului, nu prezint deviaµii mari indiferent de mi³carea introdus . Încazul mi³c rilor de rotaµie se poate observa aceea³i tendinµ de deriv a mecanismelor deurm rire. Pe de alt parte, la cea de-a treia rotaµie (în apropierea cadrului 620), detec-torul începe, de asemenea, s prezinte erori semni�cative. Acesta este un punct în careMitralRT are rezultate mai bune decât detectorul, datorit mecanismului hibrid.

În ceea ce prive³te Cazul 10 (5.6(b)), unul dintre aspectele imediat evidente este oeroare semni�cativ a detectorului, chiar în prima mi³care de translaµie. Datorit rezul-tatele mai bune observate la Tseq + Tkey, ³i din nou datorit mecanismului hibrid, soluµiapropus este imun la aceste devieri semni�cative ale detectorului, chiar dac acesta faceparte din mecanism.

În continuare, MitralRT continu s aib rezultate asem n toare detectorului, chiardac Tseq ³i Tseq + Tkey prezint deriv mai ales în ultima parte a secvenµei. Se poateobserva, începând din zona cadrului 515, c mecanismele de urm rire continu pe o pant divergent de la poziµia real a anatomiei. Acesta este un exemplu foarte bun de deriv ;practic, chiar dac nu avem mi³care semni�cativ a imaginii, ci doar secvenµa original redat într-o bucl , eroarea observat la Tseq continu s creasc . Practic algoritmula ajuns într-un punct din care va diverge continuu faµ de poziµia corect , iar f r unmecanism de corecµie, cum ar � cadrele cheie, acesta nu va putea reveni la rezultatecorecte.

Astfel, în urma evalu rii noii metode propuse se poate trage concluzia c acest sistemeste unul robust s

,i e�cient. Acesta a dovedit c rezolv problemele tipice mecanismelor de


(a) Cazul 10

(b) Cazul 11

Figura 5.6: Erorile mecanismelor în funcµie de deplasarea imaginilor analizate, exempli�catepentru dou secvenµe de imagini diferite.

urm rire independente, dar este în acela³i timp apropiat ca s,i acurateµe de mecanismele de

detecµie antrenate în prealabil. Îns , chiar având aceast validare a conceptului, sistemulnu este înc destul de rapid sau exact pentru a putea � utilizat într-un cadru clinic real.Pentru a se putea ajunge la acest nivel, este necesar cre³terea acurateµei pentru a aveamajoritatea rezultatelor încadrate sub un prag de eroare de 3 mm. Totodat , chiar dac viteza de 12,5 cadre pe secund este una foarte bun , obiectivul �nal este de a trece de15 cadre pe secund , ajungându-se, în mod ideal, la 20 de cadre pe secund .

5.4 Extinderea componentei de detect,ie a MitralRT

Dup cum a fost menµionat anterior, un pas important al îmbun t µirii sistemuluieste cre³terea acurateµei. Datorit faptului c nivelul maxim este dictat de detectorul cefuncµioneaz în paralel cu algoritmul de urm rire, în continuare s-a f cut un studiu aldiverselor metode prin care acest obiectiv poate � atins. În [21] s-a demonstrat e�cienµautiliz rii mecanismelor de urm rire al turi de cele de detecµie pentru agregarea informa-µiilor din cadre vecine. Astfel, s-au studiat performanµele OF s

,i BP [20] în acest context.

5.4. Extinderea componentei de detect,ie a MitralRT 37

Totodat , este propus un nou sistem compozit ce utilizeaz o combinaµie de MSL, OFs,i BP pentru a se obµine rezultate de acurateµe mai mare cu o penalizare de vitez câtmai redus . În faza de experimentare, s-a analizat din nou atât acurateµea cât s

,i viteza

de execuµie, ajungându-se la concluzia c metoda propus este un candidat viabil pentrusistemul de urm rire în timp-real al subanatomiilor cardiace.

5.4.1 Metodologia de dezvoltare a Composite Tracker

Ca ³i în cazurile anterioare, baza pentru algoritmul propus este MSL. Acest metod permite detecµia rigid a structurilor anatomice prin identi�carea poziµiei, orient rii s

,i

dimensiunii acestora. Din acest mecanism, s-a acordat atenµie, în mod special, detec-torului de poziµie ce utilizeaz un clasi�cator de tip Probabilistic Boosting Tree (PBT)[52]. Acesta folose³te caracteristici ale imaginilor de tip Haar 3D pentru a identi�ca unnum r con�gurabil de candidaµi pentru poziµia unei structuri anatomice. Selecµia corect dintre ace³ti candidaµi este esenµial pentru acurateµea procesului de detecµie. În general,se obµin 60 de candidaµi, �ecare având ata³at un factor de probabilitate. Acest factoreste utilizat de clasi�cator pentru a determina rangul �ec rui candidat, în acest modobµinându-se cei mai buni 60 de candidaµi. Atunci când anatomia vizat este vizibil clarîn datele de TEE, cum ar � într-o regiune de contrast puternic, ace³ti candidaµi sunt, îngeneral, grupaµi în jurul unei poziµii centrale. Aceast situaµie face procesul de selecµiefacil, o simpl mediere a poziµiilor �ind de ajuns în majoritatea cazurilor pentru a seobµine un rezultat de acurateµe bun . Cele mai importante probleme de rezolvat aparîns atunci când clasi�catorul PBT nu ofer un astfel de cluster, iar cazurile de eroaremare nu sunt u³or de identi�cat. Dintr-un astfel de nor rare�at de candidaµi, este di�cilde a se alege poziµia cea mai bun .

Spre deosebire de alte modalit µi de imagistic medical utilizate în intervenµiile chi-rurgicale cardiace, ecocardiogra�a 4D, are avantajul semni�cativ de a înregistra mi³careastructurilor cardiace. Atunci când se realizeaz detecµie pur 3D, cum este în cazul MSL,toat informaµia utilizat aparµine unui singur cadru TEE. Acest lucru este unul dintredezavantajele create de faptul c aceast metod este reutilizabil s

,i pe alte modalit µi

de imagistic medical ce nu au informaµii temporale, cum ar � CT-ul. Una dintre extin-derile propuse pentru MSL se poate referi la introducerea de constrângeri spaµiale asupranorului de candidaµi. Îns aceast metod nu este viabil pentru cazul de faµ , în mareparte datorit dinamicii anatomiilor pe parcursul ciclului cardiac, dar s

,i datorit variaµiei

dimensiunilor structurilor între pacienµi diferiµi.O alt metod s-ar putea baza pe luarea în calcul a informaµiilor din cadre vecine.

Premisa de baz în acest caz este urm toarea: prin rularea PBT pe mai multe cadre s,i

analiza relaµiilor dintre norii de candidaµi obt,inut

,i, o decizie de acurateµe mai mare poate

� luat pentru cadrul curent. În acest context, doi algoritmi de urm rire au fost pu³i înfuncµiune, iar performanµele lor au fost evaluate.

Primul algoritm este cel de BP. Practic, aceast metod asigur c între dou cadre,candidaµii selectaµi vor avea cea mai mic distanµ euclidian unul în raport cu cel lalt.Astfel, dac pe un cadru avem un rezultat PBT grupat, acesta se va re�ecta s

,i pe cadrele

al turate, propagând rezultatul de acurateµe mare prin diferenµele de distanµ .Cel de-al doilea algoritm utilizat este o variaµie a OF. Dup cum s-a descris anterior,

funcµionalitatea principal a acestuia este estimarea dinamicii punctelor dintr-o imaginede la un cadru la altul. În cazul de faµ s-a utilizat o abordare multinivel. Pe primul cadrudisponibil, OF este iniµializat folosind setul de candidaµi obt

,inut

,i din MSL. Pe urm toarele

cadre, algoritmul va funcµiona independent, obµinând pentru �ecare dintre candidaµi opoziµie aferent �ec rui cadru. Dup cum s-a putut observa s

,i anterior, acest mecanism

sufer din cauza derivei. Pentru a se putea corecta aceast problem s-a introdus o


Figura 5.7: Pipeline-ul de funcµionare al Composite Tracker.

bucl de feedback în mecanism sub forma nivelului de fuziune a rezultatelor. Practic, pe�ecare cadru pe care OF urm re³te o poziµie, se face adiµional s

,i o detecµie MSL pentru

acela³i num r de candidaµi. Cele dou seturi sunt supuse apoi unei medieri ponderatecon�gurabil. Pe baza unui factor, aceasta poate înclina rezultatul �nal în favoarea unuiadintre cei doi algoritmi. Setul de candidaµi obµinut astfel este folosit pentru iniµializareaOF pentru cadrul urm tor. Folosindu-se aceast abordare multinivel cu bucl de feedbackponderat se asigur faptul c pe timpul urm ririi se evit deriva, dar în acela³i timp seasigur faptul c informaµiile adiµionale aduse de OF sunt luate în calcul pentru rezultatul�nal.

Mecanismul nou propus const din detectorul de poziµie, urmat de BP, cât s,i de

modulele de OF, s,i este denumit Composite Tracker (CT). Aceast con�guraµie, în afar

de a identi�ca dac exist un bene�ciu cumulativ al utiliz rii tuturor algoritmilor, are unposibil avantaj în ceea ce prive³te viteza de funcµionare. Fiecare dintre algoritmii analizaµieste dependent de setul de candidaµi de intrare, ce vor � procesaµi pe cadrele disponibile.Prin utilizarea mai întâi a nodului de BP, se elimin practic toµi candidaµii în afar decel ce satisface condiµia de distanµ minim faµ de celelalte cadre. Astfel, în acest cazOF va avea de procesat în loc de 60 de candidaµi, doar unul singur. Datorit acestuifapt, se mic³oreaz semni�cativ timpul de funcµionare al OF-ului, dar obµinându-se totu³ibene�ciile acestuia. Pipeline-ul utilizat pentru CT poate � observat în Figura 5.7.

5.4.2 Evaluarea cantitativ s,i calitativ

Pentru a se putea evalua performanµele celor 4 mecanisme dezvoltate, au fost vi-zate 3 subanatomii cardiace. Acestea sunt punctele de nadir ale cuspelor valvei aortice.În marea majoritate a cazurilor (excluzând patologia valvei aortice bicuspide) se potobserva 3 puncte de nadir, cel drept (R-right), cel stâng (L-left) s

,i cel non-coronarian

(N-noncoronary). În literatura de specialitate acestea sunt denumite s,i �hinges�. Pozi-

µionarea acestora prezentat într-o secµiune bidimensional a volumului de ultrasunete sepoate observa în Figura 5.8.

Pentru testarea algoritmilor s-a utilizat un set de test adnotat de experµi constânddin 26 de volume. Totodat , datorit faptului c detectorul de poziµie este bazat peun algoritm de înv µare supervizat , acesta a fost antrenat pe 680 de volume adnotate.Este important de menµionat faptul c setul de antrenare este disjunct de cel de testare.Pentru cuanti�carea performanµelor algoritmilor, primul test a fost realizat utilizându-sedoar detectorul de poziµie.

5.4. Extinderea componentei de detect,ie a MitralRT 39

Figura 5.8: Punctele de nadir ale cus-pelor valvei aortice.

Al doilea test a fost realizat ata³ând modululde BP dup detectorul de poziµie. Al treilea testînlocuie³te în con�guraµia anterioar BP cu OF, iarcel din urm folose³te CT ca o combinaµie a tuturormetodelor.

Evaluarea efectiv preia rezultatul obµinut pen-tru �ecare dintre subanatomiile vizate, s

,i m soar

distanµa euclidian a acestuia faµ de poziµia adno-tat , considerat ca �ind eroarea de detecµie. Avândtoate aceste valori pe întreg setul de test, se cal-culeaz eroarea medie, deviaµia standard s

,i eroarea

maxim pe 90% din rezultate, pentru �ecare algo-ritm în parte. Datorit faptului c detectorul depoziµie genereaz întotdeauna un set de candidaµi, media poziµiilor acestora este luat încalcul pentru evaluare. Rezultatele evalu rii, reprezentate de media pentru cele 3 suba-natomii vizate sunt prezentate în Tabelul 5.2.

Tabel 5.2: Acurateµea medie a algoritmilor de urm rire.

Optical Flow(mm)

BeliefPropagation

(mm)

CompositeTracker (mm)

MarginalSpace

LearningMedie 2.10 2.45 2.55 2.55Deviaµia standard 1.33 1.13 1.13 1.3390% 3.21 3.51 3.35 4.28

Datorit faptului c scopul principal al utiliz rii algoritmilor de urm rire, în acestcontext, este de a se elimina candidaµii cu erori semni�cative, media dintre valorile deeroare 90% obµinute pentru cele 3 subanatomii este prezentat în Figura 5.9(a).

Din rezultatele expuse este evident c mecanismele bazate pe algoritmii de urm rireobµin rezultate mai bune în ceea ce prive³te eliminarea cazurilor de eroare mare. Aceast îmbun t µire are ca efect reducerea zgomotului de detecµie pe un interval mai întins decadre, s

,i p strarea rezultatelor mai apropiate de dinamica anatomiilor vizate. Analizând

rezultatele individuale obµinute pentru �ecare mecanism bazat pe algoritmi de urm rire,se pot trage ni³te concluzii importante. Dup cum era de a³teptat, OF este mai e�cientla eliminarea cazurilor cu erori mai mari decât BP. Acest rezultat este legat de faptul c BP este complet dependent de rezultatele obµinute de detectorul de poziµie, pe când OFgenereaz proprii candidaµi ce sunt fuzionaµi cu cei obt

,inut

,i de la detectorul de poziµie

prin mecanismul descris mai sus.Composite Tracker este situat ca s

,i acurateµe între celelalte dou mecanisme bazate

pe algoritmi de urm rire, fapt ce se coreleaz cu restul rezultatelor. Dac BP a avutrezultate mai puµin bune, era de a³teptat ca ad ugarea OF va îmbun t µi aceste rezultate,dar totodat nu va putea ajunge la nivelul obµinut utilizând doar OF.

Al doilea factor extrem de important în alegerea celei mai potrivite metode pentrudetectarea anatomiilor este viteza cu care rezultatele sunt obµinute. Pentru a putea cu-anti�ca aceast vitez , cele 4 mecanisme au fost aplicate pe toate cadrele disponibile dinsetul de test, iar timpul de execuµie a fost m surat. În total, s-au realizat 1686 de execuµiiindividuale pentru �ecare algoritm s

,i s-au calculat atât durata medie de execuµie cât s

,i

deviaµia standard. Rezultatele obt,inute sunt prezentate în Figura 5.9(b).

Dup cum era de a³teptat, cel mai rapid mecanism este cel ce utilizeaz doar detectorulde poziµie. Acest lucru este datorat, în primul rând, faptului c acesta proceseaz doar câte


(a) Acurateµea algoritmilor (b) Viteza de execuµie

Figura 5.9: Evaluarea algoritmilor de urm rire.

un singur cadru la �ecare rulare, s,i bineînµeles celelalte metode includ aceast detecµie,

deci nu pot � mai rapide.Dintre mecanismele bazate pe algoritmi de urm rire, BP este cel mai rapid, deoarece

acesta ofer o ra�nare asupra rezultatelor produse de detectorul de poziµie, f r a reanalizaimaginile. Totodat , este important de observat diferenµa dintre deviaµiile standard alevitezelor. Pentru algoritmii de urm rire aceasta este vizibil mai mare, datorit faptuluic timpul de execuµie variaz în funcµie de num rul de cadre avute la dispoziµie.

Cea mai important observaµie ce se poate face analizând vitezele de execuµie, esteîmbun t µirea semni�cativ dintre OF s

,i CT. Dup cum s-a descris anterior, acest avantaj

al CT-ului a fost intuit din faza de dezvoltare a metodei. Datorit introducerii BP în CTnum rul de candidaµi analizaµi de nivelul de OF este redus de la 60, la 1, fapt care reduceviteza de execuµie, p strând în acela³i timp îmbun t µirea de acurateµe, dup cum s-a v zut în evaluarea erorii de detecµie. Importanµa nivelului de optimizare al vitezei deexecuµie este ar tat s

,i de deviaµia standard în cazul CT-ului. Dup cum se poate observa

din Figura 5.9(b), cea mai lent execuµie a CT-ului este apropiat de viteza medie în cazulOF-ului. Acest fapt demonstreaz din nou �abilitatea soluµiei propuse.

În urma acestui proces de evaluare se poate concluziona c algoritmii de urm rireîmbun t µesc într-adev r rezultatele obµinute în identi�carea poziµiei subanatomiilor car-diace, faµ de utilizarea unui simplu detector de poziµie bazat pe MSL. Dac BP-ul a maifost utilizat în [21] cu succes, dezvoltarea sistemului multinivel pentru fuziunea rezultate-lor obµinute din OF s

,i MSL se dovede³te ca �ind o alternativ bun , îns cu o penalizare

semni�cativ asupra vitezei de execuµie. Rezultatul cel mai important al studiului reali-zat este noua con�guraµie sub forma Composite Tracker-ului ce reu³e³te s combine celedou tehnici, obµinându-se rezultate de o acurateµe superioar BP, având în acela³i timpaproximativ acela³i timp de execuµie. Astfel, CT-ul devine un candidat viabil pentruîmbun t µirea performanµelor detectorului paralel din sistemul de urm rire în timp-realal anatomiilor.

5.5 Concluzii

Pe parcursul acestui capitol s-a urm rit dezvoltarea unui sistem complet autonom deurm rire a subanatomiilor cardiace din imagini de ecocardiogra�e transesofagian 4D.Acest proces a avut ca punct de pornire studiul teoretic al algoritmilor de urm rire avândla baz OF. Odat identi�cat o metod viabil , s-a identi�cat performanµa de urm rire aunui punct pus la dispoziµie de c tre utilizator. Astfel, s-a ajuns la dou metode distinctede funcµionare, cea pur secvenµial (Tseq), respectiv cea bazat pe cadre cheie (Tkey).

5.5. Concluzii 41

Pentru a oferi autonomie mecanismului s-a dezvoltat un sistem de funcµionare a detec-torilor bazat pe MSL pe un �r de execuµie paralel. Astfel, se elibereaz resurse necesarepentru mecanismul de urm rire. Totodat , s-a eliminat necesitatea de conversie a datelorde intrare din spaµiul acustic în cel cartezian, pentru �rul de execuµie, fapt ce îmbun t -µe³te adiµional viteza de execuµie.

Întregul sistem obµinut a fost evaluat pe un set de date adnotat complet s,i extins

arti�cial pentru a simula mi³carea sondei de ultrasunete pe toate direcµiile întâlnite înpractic . În acest mod cele 12 volume ale setului de test sunt extinse la, în medie, 300 decadre s

,i o durat real de aproximativ 30 de secunde. În total sunt 3978 de cadre adnotate

folosite pentru testarea acurateµei s,i vitezei de execuµie a algoritmului. În acest mod s-

a observat c MitralRT are o eroare medie de 4.04±1.06 mm pentru curba anulusuluivalvei mitrale, s

,i este capabil s proceseze 12.5 de cadre pe secund , �ind foarte apropiat

de procesarea în timp-real, rata de achiziµie medie în TEE �ind 16 cadre pe secund .Demonstrându-se astfel �abilitateaMitralRT, s-a continuat printr-o încercare de g sire

a unei metode de acurateµe mai mare pentru sistemul de detecµie paralelizat. Pentruaceasta s-a investigat introducerea unei componente de urm rire s

,i la acest nivel. S-a

luat în considerare un algoritm utilizat în trecut pentru identi�carea mu³chilor papilari(Belief Propagation) cât s

,i o variant restructurat a Optical Flow. Totodat , s-a propus

un sistem nou denumit Composite Tracker ce reune³te cele dou metode. În urma uneinoi evalu ri s-a dovedit c aceast nou metod este viabil , reducând eroarea de 90% cu1 mm faµ de MSL cu o penalizare medie de vitez de doar 4 ms.

Capitolul 6.

Concluzii �nale

6.1 Prezentarea sintetic a cercet rilor efectuate

Elementul principal de noutate adus prin prezenta cercetare este reunirea a dou tipuride tehnologie, pe de o parte de procesare de imagini, iar pe de alt parte inteligenµ arti�-cial pentru rezolvarea problemelor propuse: detectarea poziµiei de subanatomii cardiacedi�cil de recunoscut, ³i urm rirea subanatomiilor în timp-real. Ecogra�a este una dintrepuµinele tehnologii de imagistic medical ce permite vizualizarea în timp-real a dinamiciianatomiilor umane. Majoritatea celorlalte modalit µi (de exemplu, CT-ul sau RMN-ul) sebazeaz pe achiziµii statice la momente cheie. Astfel, lipsa de detaliu ³i contrast în cazulecogra�ei, poate � compensat prin utilizarea contextului temporal al imaginilor. Acestaspect reprezint fundamentul cercet rii realizate. În ambele probleme rezolvate, au fostutilizaµi algoritmi de urm rire, pentru a oferi context temporal rezultatelor obµinute dealgoritmii de detecµie bazaµi pe înv µare asistat .

Aceast combinare de tehnologii a fost utilizat în ambele sensuri. În prima problem rezolvat de-a lungul cercet rii, cea a detecµiei mu³chilor papilari din aparatul subvalvu-lar al valvei mitrale, algoritmii de înv µare asistat nu au destule informaµii pentru a faceo detecµie su�cient de exact . Algoritmii de urm rire pun la dispoziµie corelarea infor-maµiilor din alte imagini din secvenµa achiziµionat . Astfel, rezultatele se îmbun t µescsubstanµial ³i devine posibil estimarea poziµiei corecte chiar dac structurile vizate numai sunt complet vizibile în imaginea ecogra�c . Acest lucru se întâmpl în cazul mu³-chilor papilari datorit contracµiei acestora în peretele ventricular pe parcursul diastoleicardiace.

Pe de alt parte, pentru cea de-a doua problem studiat , îmbinarea tehnologiilor seface în sens invers. În contextul urm ririi în timp-real a anulusului valvei mitrale, algorit-mii de înv µare asistat nu au viteza necesar pentru a produce rezultate, iar algoritmiide urm rire nu au acurateµea necesar datorit fenomenului de deriv . Sistemul propusutilizeaz ambele tehnologii în paralel: algoritmul de urm rire este reiniµializat perio-dic utilizând rezultatele obµinute de cel antrenat, asigurând în acela³i timp acurateµea ³iviteza necesar funcµion rii în timpul achiziµiei în timp-real.

Unul dintre cele mai importante aspecte urm rite pe parcursul cercet rii a fost fezabi-litatea clinic a soluµiilor propuse. Datorit naturii domeniului de procesare a imagisticiimedicale, acurateµea este extrem de important . Mai mult, robusteµea la modi�carea pro-tocolului de achiziµie sau la diverse patologii ce pot � întâlnite, este foarte important . Dinacest motiv procedurile de evaluare ale soluµiilor propuse, atât în cazul detecµiei mu³chilorpapilari, cât ³i al urm ririi anulusului mitral, au fost concepute pentru a prezenta cât maicomplet posibil performanµele algoritmilor.

Pentru detecµia mu³chilor papilari, au fost utilizate trei modalit µi de evaluare sepa-rate, printre care cea mai important poate � considerat studiul de variabilitate inter-utilizator. Un expert clinic este considerat în momentul de faµ etalonul de acurateµe înidenti�carea ³i m surarea corect a anatomiilor din imagini. Corelând rezultatele obµi-nute de trei astfel de experµi ³i comparându-le cu cele obµinute de algoritmii propu³i, sedemonstreaz , f r echivoc, fezabilitatea algoritmilor.

Actual, metodele de detecµie a anatomiilor pot � automate sau manuale având nevoiede intervenµia utilizatorului. Cele automate, cum ar � cele propuse în [14] sau [13] nu au

42

6.2. Contribuµiile originale ale tezei 43

acurateµea necesar pentru a aborda mu³chii papilari. Pe de alt parte metodele manuale,cum ar � cea prezentat în [12], cer utilizatorului o identi�care iniµial . Mecanismulpropus în Capitolul 4, AutoSubValve, este superior ambelor categorii prezentate deoareceofer identi�carea complet automatizat a aparatului subvalvular, ad ugând ³i algoritmirobu³ti de urm rire. Aceast combinaµie obµine rezultate de acurateµe mare ³i robusteµela o variaµie larg de con�guraµii anatomice. Metoda propus în [14] este apropiat ca³i abordare cu pipeline-ul lipsit de constrângeri analitico-temporale ce a obµinut în cazulmu³chilor papilari erori de peste 20mm, chiar dac aplicat la valva mitral are o acurateµede 3.78±1.55 mm.

Totodat , având ca baz metoda AutoSubValve, se poate aborda o gam larg demodalit µi de extindere prin introducerea model rii forµelor �zice care acµioneaz asupraanatomiilor. O astfel de abordare este propus în [54], în care se utilizeaz modelul com-plet al valvei pentru simularea rezultatelor intervenµiei chirurgicale de tip MitraClip. Altemecanisme propuse în [55], sau [11] utilizeaz din nou întregul model pentru cuanti�careanivelului de stres mecanic aplicat cuspelor sau cordajului tendinos. Toate aceste metodese bazeaz pe identi�carea manual sau semiautomat a mu³chilor papilari, având foartemult de câ³tigat prin utilizarea unui mecanism automatizat complet.

În cazul urm ririi în timp-real a anulusului valvei mitrale, contextul de evaluare seschimb . Dac detecµia mu³chilor papilari poate � utilizat în diagnoz , prezentarea întimp-real a poziµiei unei anatomii este utilizat ca unealt de ghidaj intraoperator. Înaceste circumstanµe, precizia algoritmului nu mai este esenµial , accentul �ind pus perobusteµea la schimb rile produse pe parcursul achiziµiei. În cazul achiziµiei de imagini înscopul diagnozei, medicul va menµine o poziµie a sondei favorabil vizualiz rii anatomieianalizate, iar secvenµa de imagini este înregistrat pentru procesarea ulterioar . Intra-operator, aceast stabilitate a imaginii nu mai este valabil , iar mi³carea continu impunealte standarde de performanµ ale algoritmilor. Din acest motiv, cele dou modalit µi deevaluare ale algoritmului propus, se concentreaz asupra stabilit µii sistemului. În mareparte, fenomenul ce se dore³te a � evitat este cel de deriv al algoritmilor, o problem clasic a domeniului de urm rire automat . Astfel, s-a realizat atât o analiz global astabilit µii sistemului, cât ³i una detaliat , concentrat pe analiza rezultatelor în funcµiede tipul de mi³care întâlnit în imagini.

În ceea ce prive³te acurateµea algoritmului, acesta se apropie de valorile obµinute dealte metode aplicate segment rii ³i urm ririi imaginilor ecogra�ce. În [56] s-a obµinut oeroare medie de 3.44±1.18 mm, iar în [57] 3.4±2.3 mm. Acestea prezint o acurateµe cuaproximativ 0.5 mm mai bun decât MitralRT, îns , la fel ca ³i soluµia propus în [47], aunevoie de peste o secund pentru a produce aceste rezultate pentru un cadru de ecogra�e.Pe de alt parte MitralRT are o acurateµe comparabil , procesând 12.5 cadre pe secund .

6.2 Contribuµiile originale ale tezei

6.2.1 Detecµia automat a poziµiei mu³chilor papilari

Pentru atingerea primului obiectiv al tezei, dezvoltarea unui sistem complet automat dedetecµie a poziµiei mu³chilor papilari din cadrul sistemului subvalvular al valvei mitrale,se pot evidenµia urm toarele contribuµii originale:

1. Studiul ³i cercetarea în vederea obµinerii unui pipeline de detecµie automat a mu-³chilor papilari din aparatul subvalvular al valvei mitrale. Acest sistem, denumitAutoSubValve, folose³te cele dou categorii de algoritmi pentru a compensa vizua-lizarea di�cil a subanatomiilor, agregând informaµii de pe cadrele vecine pentru aîmbun t µi acurateµea de pe cadrul curent.

2. Dezvoltarea ³i integrarea într-un sistem prototip al mecanismului de detecµie a mu-

44 Capitolul 6. Concluzii �nale

³chilor papilari. Odat implementat sistemul de detecµie AutoSubValve, acesta esteintegrat într-o aplicaµie ce ofer detecµia valvei mitrale. Astfel, se pot realiza oserie de m sur tori ale dimensiunilor întregului aparatului subvalvular. Totodat este posibil simularea cordajului tendinos ce conecteaz mu³chii papilari de valvamitral .

3. Studiul rezultatelor obµinute de pipeline-ul propus în raport cu datele adnotate deexperµi dintr-un set de test special conceput ce nu se reg se³te în setul de date deantrenament. Acest proces este necesar pentru validarea rezultatelor obµinute deAutoSubValve. Evaluarea se realizeaz prin dou metode: prin m surarea distanµeieuclidiene faµ de poziµiile adnotate, ³i prin compararea rezultatelor procedurilor dem surare a anatomiei faµ de rezultatele obµinute pe datele adnotate.

4. Realizarea unui studiu de variabilitate inter-utilizator pentru a demonstra fezabi-litatea clinic a soluµiei propuse. Acest studiu compar rezultatele obµinute deAutoSubValve cu cele alor trei experµi clinicieni, din punctul de vedere al rezul-tatelor procedurilor de m surare a anatomiei. Scopul �nal este acela de a comparaacurateµea algoritmului cu o medie întâlnit clinic.

6.2.2 Urm rirea în timp-real a subanatomiilor cardiace

Pentru atingerea celui de-al doilea obiectiv al tezei, realizarea unui sistem complet automatcapabil s urm reasc anulusul valvei mitrale în timp-real în timpul procesului de achiziµiea imaginilor, s-au adus urm toarele contribuµii originale:

1. Studiul ³i cercetarea în vederea obµinerii unui sistem de urm rire în timp-real a anu-lusului valvei mitrale. Acest sistem, denumit MitralRT, folose³te cele dou categoriide algoritmi pentru a funcµiona la viteze înalte, p strând acurateµea necesar de aurm ri subanatomiile f r a avea deriv .

2. Dezvoltarea ³i integrarea într-un sistem prototip a mecanismului de urm rire întimp-real. Dup implementareaMitralRT, acesta este integrat într-o aplicaµie pentrua facilita testarea acurateµii atât din punct de vedere calitativ, cât ³i cantitativ.

3. Realizarea unui set de test pentru sistemul de urm rire în timp-real, prin utilizareade imagini adnotate de experµi ³i introducerea de mi³care ampl a imaginii, simulândsituaµii întâlnite intraoperator. Datorit naturii ecogra�ei transesofagiene, obµinereade date complet adnotate cu mi³c ri ample ale imaginilor a fost di�cil . Astfel, s-auextins datele achiziµionate apriori ³i s-au introdus arti�cial mi³c ri ale imaginilor petoate direcµiile întâlnite în timpul unei proceduri chirurgicale.

4. Studiul tendinµei de deriv a algoritmului utilizând setul de test creat. Aceast etap de evaluare are rolul de demonstrare a robusteµii globale a sistemului. Pentrupunerea în evidenµ a performanµelor MitralRT, �ecare dintre algoritmii utilizaµi afost evaluat independent.

5. Studiul r spunsului sistemului la mi³c ri ample ale imaginii analizate. Aceast etap de evaluare ofer o privire în detaliu asupra r spunsului sistemului la tipurilede mi³care din setul de test. Faptul c �ecare secvenµ din acest set de test areacela³i tip de mi³care la acela³i moment de timp, a facilitat o evaluare de ansambluasupra erorilor introduse de mi³c rilor ample ale imaginii ³i asupra modului în caresistemul se restabilizeaz în momentul în care imaginile devin statice.

6. Analiza comparativ a algoritmilor utilizaµi pe parcursul cercet rii. Aceast analiz are scopul de a reaplica toµi algoritmii utilizaµi într-un context nou, ³i de a analizaîn detaliu aspectele favorabile ale �ec ruia, atât din punctul de vedere al acurateµii,

6.3. Diseminarea rezultatelor 45

cât ³i din cel al vitezei de funcµionare.

7. Studiul ³i cercetarea în vederea obµinerii unui nou sistem hibrid de detecµie ce reu-ne³te performanµele celorlalµi algoritmi, atât din punctul de vedere al acurateµii dedetecµie, cât ³i din cel al vitezei de funcµionare. Pe baza analizei realizate, s-a pututdezvolta un nou sistem hibrid, denumit Composite Tracker ce reune³te o mare partea bene�ciilor algoritmilor individuali.

8. Studiul comparativ al noului sistem hibrid de detecµie aplicat punctelor de nadir alecuspelor valvei aortice. Sistemul propus a fost evaluat, iar rezultatele comparate cuceilalµi algoritmi atât din punctul de vedere al acurateµii, cât ³i din cel al vitezei defuncµionare. Astfel, s-a putut dovedi c acesta este o soluµie fezabil în urm rireasubanatomiilor cardiace.

6.3 Diseminarea rezultatelor

În urma activit µii de cercetare desf ³urate pe parcursul studiilor doctorale a fostelaborat ³i publicat un num r de 3 articole ³tiinµi�ce, dup cum urmeaz :

- M. Scutaru, I. Voigt, T. Mansi, A. Tatpati, R. Ionasec, H. Houle, and D. Comaniciu,"Robust detection of mitral papillary muscle from 4D transesophageal echocardiogra-phy", in Statistical Atlases and Computational Models of the Heart-Imaging and Mode-lling Challenges. Springer, 2014, pp. 249-256, ISSN:03029743, WOS:000380530600026.În lucrare s-a prezentat sistemul de detecµie a mu³chilor papilari, denumit în aceast tez AutoSubValve, împreun cu rezultatele tuturor procedurilor de evaluarea a rezul-tatelor obµinute în Capitolul 4. Lucrarea a fost selectat pentru prezentare oral încadrul STACOM (Statistical Atlases and Computational Models of the Heart-Imagingand Modelling Challenges), care a fost un eveniment conex conferinµei Medical ImageComputing and Computer-Assisted Intervention (MICCAI) din anul 2014.

- I. Voigt, M. Scutaru, T. Mansi, B. Georgescu, N. El-Zehiry, H. Houle, and D. Coma-niciu, "Robust live tracking of mitral valve annulus for minimally-invasive interventionguidance" , in Medical Image Computing and Computer-Assisted Intervention (MIC-CAI) 2015. Springer, 2015, pp. 439-446, ISSN:03029743, WOS:000366205700054.În aceast lucrare s-a prezentat sistemul de urm rire în timp-real a anulusului valveimitrale, denumit în aceast tez MitralRT, precum ³i de rezultatele obµinute în urmaevalu rii acestuia, detaliate în Capitolul 5. Lucrarea a fost selectat pentru prezentareoral în cadrul conferinµei MICCAI din anul 2015.

- M. Scutaru, "Robust anatomy detection using tracking algorithms in 4D echocar-diography", Bulletin of the Transilvania University of Brasov. Engineering Sciences.Series I, vol. 8, no. 1, p. 85, 2015, B+.Lucrarea a prezentat studiul asupra performanµelor algoritmilor de urm rire, precum³i propunerea noii soluµii de urm rire, sub forma Composite Tracker, detaliate în Ca-pitolul 5, secµiunea 5.4.

6.4 Direcµii viitoare de cercetare

Pe parcursul cercet rilor realizate, baza a constat din algoritmi de înv µare asistat ,mai exact tehnica Marginal Space Learning. Unul dintre elementele cheie ale acestei teh-nici este clasi�catorul Probabilistic Boosting Trees. Acesta este utilizat pentru a producecandidaµii iniµiali, pe baza c rora s-au aplicat restul algoritmilor. O direcµie important de cercetare viitoare const din înlocuirea acestui clasi�cator cu algoritmi de tip DeepLearning. Acest nou abordare are avantajul de a deduce în mod automat cele mai

46 Capitolul 6. Concluzii �nale

importante caracteristici ale imaginii care ar trebui s �e folosite în detecµie. Utilizareaacestui tip de algoritm ar putea reduce semni�cativ nivelul de optimiz ri necesare pen-tru a se produce acela³i nivel de acurateµe atins în aceast tez . În [58] s-a demonstratfezabilitatea acestei tehnologii în detecµia valvelor cardiace. Totodat , p strarea constrân-gerilor ³i a algoritmilor dezvoltaµi poate conduce la performanµe mult mai ridicate, atâtdin punctul de vedere al acurateµii, cât ³i a vitezei de funcµionare.

O alt direcµie important de extindere a cercet rii const în introducere de algo-ritmi mai performanµi pe partea de urm rire de obiecte. Recent s-a dovedit fezabilitateafolosirii tehnicilor de tip �ltru de particule bazat pe e³antionare Monte Carlo. În gene-ral, acestea sunt utilizate în procesarea imaginilor video pentru urm rirea obiectelor cugrade mari de deformare [59]. Totodat , s-a dovedit c acestea sunt robuste la modi�c riale propriet µilor generale ale imaginilor, cum ar � schimb ri semni�cative ale ilumin -rii sau culorilor [60]. Un alt avantaj semni�cativ este posibilitatea urm ririi simultane amai multor obiecte asem n toare din aceea³i scen [61]. Toate aceste caracteristici fac dinaceast categorie de algoritmi un candidat foarte bun pentru extinderea soluµiilor propuseîn aceast tez .

Având în vedere aceste aspecte ³i datorit faptului c domeniul abordat de tez esteunul în continu dezvoltare, oportunit µile de dezvoltare ulterioar ale tehnicilor pro-puse, cât ³i posibilit µilor de reutilizare ale algoritmilor ³i în alte contexte de imagistic medical , atest valoarea ad ugat de prezenta cercetare.

Bibliogra�e selectiv

[1] F. A. Mettler Jr, B. R. Thomadsen, M. Bhargavan, D. B. Gilley, J. E. Gray, J. A.Lipoti, J. McCrohan, T. T. Yoshizumi, and M. Mahesh, �Medical radiation exposurein the us in 2006: preliminary results,� Health Physics, vol. 95, no. 5, pp. 502�507,2008.

[2] A. B. Kurtz, �The AIUM celebrates 50 years of excellence,� Journal of Ultrasoundin Medicine, vol. 22, no. 6, pp. 545�548, 2003.

[3] M. Bhargavan, A. H. Kaye, H. P. Forman, and J. H. Sunshine, �Workload ofRadiologists in United States in 2006�2007 and Trends Since 1991�1992 1,� Radiology,vol. 252, no. 2, pp. 458�467, 2009.

[4] P. Bourlas, E. Giakoumakis, and G. Papakonstantinou, �A knowledge acquisitionand management system for ECG diagnosis,� Machine learning and applications:Machine learning in medical applications, pp. 27�29, 1999.

[5] C. P. Lim, R. F. Harrison, and R. L. Kennedy, �Application of autonomous neuralnetwork systems to medical pattern classi�cation tasks,� Arti�cial intelligence inmedicine, vol. 11, no. 3, pp. 215�239, 1997.

[6] A. Tsymbal, G. Rendes, M. Huber, and S. K. Zhou, �The neighborhood graphfor clinical case retrieval and decision support within health-e-child casereasoner,�FGWM 09, p. 49, 2009.

[7] B. Georgescu, X. S. Zhou, D. Comaniciu, and A. Gupta, �Database-guided segmen-tation of anatomical structures with complex appearance,� in Computer Vision andPattern Recognition, 2005. CVPR 2005. IEEE Computer Society Conference on,vol. 2. IEEE, 2005, pp. 429�436.

[8] T. Chen, W. Zhang, S. Good, K. S. Zhou, and D. Comaniciu, �Automatic ovarianfollicle quanti�cation from 3d ultrasound data using global/local context withdatabase guided segmentation,� in Computer Vision, 2009 IEEE 12th InternationalConference on. IEEE, 2009, pp. 795�802.

[9] G. Carneiro, B. Georgescu, S. Good, and D. Comaniciu, �Automatic fetal measure-ments in ultrasound using constrained probabilistic boosting tree,� in Medical ImageComputing and Computer-Assisted Intervention�MICCAI 2007. Springer, 2007, pp.571�579.

[10] M. Wels, Y. Zheng, G. Carneiro, M. Huber, J. Hornegger, and D. Comaniciu, �Fastand robust 3-D MRI brain structure segmentation,� in Medical Image Computingand Computer-Assisted Intervention�MICCAI 2009. Springer, 2009, pp. 575�583.

47

48 Bibliogra�e selectiv

[11] A. M. Pouch, C. Xu, P. A. Yushkevich, A. S. Jassar, M. Vergnat, J. H. Gorman,R. C. Gorman, C. M. Sehgal, and B. M. Jackson, �Semi-automated mitral valvemorphometry and computational stress analysis using 3D ultrasound,� Journal ofbiomechanics, vol. 45, no. 5, pp. 903�907, 2012.

[12] E. Votta, A. Arnoldi, A. Invernizzi, R. Ponzini, F. Veronesi, G. Tamborini,M. Pepi, F. Alamanni, A. Redaelli, and E. G. Caiani, �Mitral valve patient-speci�c �nite element modeling from 3-D real time echocardiography: a potentialnew tool for surgical planning,� in CI2BM09-MICCAI Workshop on CardiovascularInterventional Imaging and Biophysical Modelling, 2009, pp. 9�pages.

[13] I. Voigt, T. Mansi, R. I. Ionasec, E. A. Mengue, H. Houle, B. Georgescu, J. Hornegger,and D. Comaniciu, �Robust physically-constrained modeling of the mitral valveand subvalvular apparatus,� in Medical Image Computing and Computer-AssistedIntervention�MICCAI 2011. Springer Berlin Heidelberg, 2011, pp. 504�511.

[14] R. I. Ionasec, I. Voigt, B. Georgescu, Y. Wang, H. Houle, F. Vega-Higuera, N. Navab,and D. Comaniciu, �Patient-speci�c modeling and quanti�cation of the aortic andmitral valves from 4-D cardiac CT and TEE,� Medical Imaging, IEEE Transactionson, vol. 29, no. 9, pp. 1636�1651, 2010.

[15] R. I. Ionasec, Y. Wang, B. Georgescu, I. Voigt, N. Navab, and D. Comaniciu, �Robustmotion estimation using trajectory spectrum learning: Application to aortic andmitral valve modeling from 4D TEE.� in ICCV, 2009, pp. 1601�1608.

[16] I. Voigt, R. I. Ionasec, B. Georgescu, H. Houle, M. Huber, J. Hornegger, andD. Comaniciu, �Model-driven physiological assessment of the mitral valve from 4dtee,� in SPIE Medical Imaging. International Society for Optics and Photonics,2009, pp. 72 610R�72 610R.

[17] T. Feldman, S. Kar, M. Rinaldi, P. Fail, J. Hermiller, R. Smalling, P. L. Whitlow,W. Gray, R. Low, H. C. Herrmann et al., �Percutaneous mitral repair withthe MitraClip system: safety and midterm durability in the initial EVEREST(Endovascular Valve Edge-to-Edge REpair Study) cohort,� Journal of the AmericanCollege of Cardiology, vol. 54, no. 8, pp. 686�694, 2009.

[18] Y. Zheng, B. Georgescu, H. Ling, S. Zhou, M. Scheuering, and D. Comaniciu,�Constrained marginal space learning for e�cient 3D anatomical structure detectionin medical images,� in Computer Vision and Pattern Recognition, 2009. CVPR 2009.IEEE Conference on, Jun. 2009, pp. 194�201.

[19] D. A. Forsyth and J. Ponce, Computer Vision: A Modern Approach, 2nd ed.Pearson, Nov. 2011.

[20] R. Kothapa, J. Pacheco, E. Sudderth et al., �Max-product particle belief propaga-tion,� Master's project report, Brown University Dept. of Computer Science, 2011.

[21] M. Scutaru, I. Voigt, T. Mansi, A. Tatpati, R. Ionasec, H. Houle, and D. Co-maniciu, �Robust Detection of Mitral Papillary Muscle from 4D TransesophagealEchocardiography,� in Statistical Atlases and Computational Models of the Heart-Imaging and Modelling Challenges. Springer, 2014, pp. 249�256, ISSN:03029743,WOS:000380530600026.


[22] B. K. Horn and B. G. Schunck, �Determining optical �ow,� in 1981 Technicalsymposium east. International Society for Optics and Photonics, 1981, pp. 319�331.

[23] I. Voigt, M. Scutaru, T. Mansi, B. Georgescu, N. El-Zehiry, H. Houle, andD. Comaniciu, �Robust Live Tracking of Mitral Valve Annulus for Minimally-Invasive Intervention Guidance,� in Medical Image Computing and Computer-Assisted Intervention�MICCAI 2015. Springer, 2015, pp. 439�446, ISSN:03029743,WOS:000366205700054.

[24] M. Scutaru, �Robust Anatomy Detection Using Tracking Algorithms In 4D Echocar-diography,� Bulletin of the Transilvania University of Brasov. Engineering Sciences.Series I, vol. 8, no. 1, p. 85, 2015, B+.

[25] R. H. Anderson, �The surgical anatomy of the aortic root,� Multimedia Manual ofCardio-Thoracic Surgery, vol. 2007, no. 0219, pp. mmcts�2006, 2007.

[26] A. Carpentier, D. Adams, and F. Filsou�, Carpentier's Reconstructive Valve SurgeryE-Book. Elsevier Health Sciences, 2010.

[27] R. H. Anderson and M. Kanani, �Mitral valve repair: critical analysis of the anatomydiscussed,� Multimedia Manual of Cardio-Thoracic Surgery, vol. 2007, no. 0219, pp.mmcts�2006, 2007.

[28] N. B. Smith and A. Webb, Introduction to medical imaging: physics, engineering andclinical applications. Cambridge university press, 2010.

[29] G. Frey and R. Chiao, �4Z1c real-time volume imaging transducer,� SiemensHealthcare Sector, White Paper, 2008.

[30] T. Z. Naqvi, �Echocardiography in percutaneous valve therapy,� JACC: Cardiovas-cular Imaging, vol. 2, no. 10, pp. 1226�1237, 2009.

[31] C. Linte, A. D. Wiles, N. Hill, J. Moore, C. Wedlake, G. Guiraudon, D. Jones,D. Bainbridge, and T. M. Peters, �An augmented reality environment for image-guidance of o�-pump mitral valve implantation,� in Medical imaging. InternationalSociety for Optics and Photonics, 2007, pp. 65 090N�65 090N.

[32] R. O. Bonow and C. M. Otto, Valvular Heart Disease: A Companion to Braunwald'sHeart Disease, 2014.

[33] D. L. Mann, D. P. Zipes, P. Libby, and R. O. Bonow, Braunwald's heart disease: atextbook of cardiovascular medicine. Elsevier Health Sciences, 2014.

[34] J. S. Duncan and N. Ayache, �Medical image analysis: Progress over two decadesand the challenges ahead,� Pattern Analysis and Machine Intelligence, IEEETransactions on, vol. 22, no. 1, pp. 85�106, 2000.

[35] J. A. Maintz and M. A. Viergever, �A survey of medical image registration,� Medicalimage analysis, vol. 2, no. 1, pp. 1�36, 1998.

[36] B. Zitova and J. Flusser, �Image registration methods: a survey,� Image and visioncomputing, vol. 21, no. 11, pp. 977�1000, 2003.

50 Bibliogra�e selectiv

[37] C. A. Pelizzari, G. T. Chen, D. R. Spelbring, R. R. Weichselbaum, and C.-T. Chen,�Accurate three-dimensional registration of CT, PET, and/or MR images of thebrain.� Journal of computer assisted tomography, vol. 13, no. 1, pp. 20�26, 1989.

[38] F. L. Bookstein, �Principal warps: Thin-plate splines and the decomposition ofdeformations,� IEEE Transactions on Pattern Analysis & Machine Intelligence, no. 6,pp. 567�585, 1989.

[39] W. M. Wells, P. Viola, H. Atsumi, S. Nakajima, and R. Kikinis, �Multi-modal volumeregistration by maximization of mutual information,� Medical image analysis, vol. 1,no. 1, pp. 35�51, 1996.

[40] J.-P. Thirion, �Image matching as a di�usion process: an analogy with Maxwell'sdemons,� Medical image analysis, vol. 2, no. 3, pp. 243�260, 1998.

[41] J. S. Duncan, �Knowledge directed left ventricular boundary detection in equilibriumradionuclide angiocardiography,� Medical Imaging, IEEE Transactions on, vol. 6,no. 4, pp. 325�336, 1987.

[42] M. Kass, A. Witkin, and D. Terzopoulos, �Snakes: Active contour models,�International journal of computer vision, vol. 1, no. 4, pp. 321�331, 1988.

[43] T. McInerney and D. Terzopoulos, �Deformable models in medical image analysis: asurvey,� Medical image analysis, vol. 1, no. 2, pp. 91�108, 1996.

[44] T. F. Cootes, C. J. Taylor, D. H. Cooper, and J. Graham, �Active shape models-theirtraining and application,� Computer vision and image understanding, vol. 61, no. 1,pp. 38�59, 1995.

[45] T. F. Cootes, G. J. Edwards, and C. J. Taylor, �Active appearance models,� IEEETransactions on Pattern Analysis & Machine Intelligence, no. 6, pp. 681�685, 2001.

[46] E. Angelini, Y. Jin, and A. Laine, �State of the art of level set methods insegmentation and registration of medical imaging modalities,� in Handbook ofBiomedical Image Analysis. Springer, 2005, pp. 47�101.

[47] L. Yang, B. Georgescu, Y. Zheng, Y. Wang, P. Meer, and D. Comaniciu, �Predictionbased collaborative trackers (PCT): A robust and accurate approach toward 3Dmedical object tracking,� Medical Imaging, IEEE Transactions on, vol. 30, no. 11,pp. 1921�1932, 2011.

[48] S. Kanjanauthai, G. Sharma, and M. Konomos, �Mitral valve anatomy,� http://emedicine.medscape.com/article/1878301-overview#a3, Accesat la data : 2016-06-01.

[49] S. Ho, �Anatomy of the mitral valve,� Heart, vol. 88, no. suppl 4, pp. iv5�iv10, 2002.

[50] S. Y. Ho, �Anatomy of the mitral valve,� Heart, vol. 88, no. suppl 4, pp. 5�10, 2002.[Online]. Available: http://heart.bmj.com/content/88/suppl_4/iv5.short

[51] A. Hast, J. Nysjö, and A. Marchetti, �Optimal ransac-towards a repeatable algorithmfor �nding the optimal set,� 2013.

[52] Z. Tu, �Probabilistic boosting-tree: Learning discriminative models for classi�cation,recognition, and clustering,� in Computer Vision, 2005. ICCV 2005. Tenth IEEEInternational Conference on, vol. 2. IEEE, 2005, pp. 1589�1596.

http://emedicine.medscape.com/article/1878301-overview#a3

http://emedicine.medscape.com/article/1878301-overview#a3

http://heart.bmj.com/content/88/suppl_4/iv5.short


[53] H. Jensen, M. O. Jensen, M. H. Smerup, S. Vind-Kezunovic, S. Ringgaard, N. T.Andersen, R. Vestergaard, P. Wierup, J. M. Hasenkam, and S. L. Nielsen, �Impactof papillary muscle relocation as adjunct procedure to mitral ring annuloplasty infunctional ischemic mitral regurgitation,� Circulation, vol. 120, no. 11 suppl 1, pp.S92�S98, 2009.

[54] T. Mansi, I. Voigt, E. A. Mengue, R. Ionasec, B. Georgescu, T. Noack, J. Seeburger,and D. Comaniciu, �Towards patient-speci�c �nite-element simulation of mitralclipprocedure,� in Medical Image Computing and Computer-Assisted Intervention�MICCAI 2011. Springer Berlin Heidelberg, 2011, pp. 452�459.

[55] J. Kanik, T. Mansi, I. Voigt, P. Sharma, R. I. Ionasec, D. Comaniciu, and J. Duncan,�Estimation of patient-speci�c material properties of the mitral valve using 4DTransesophageal Echocardiography,� in Biomedical Imaging (ISBI), 2013 IEEE 10th

International Symposium on. IEEE, 2013, pp. 1178�1181.

[56] I. Wolf, M. Hastenteufel, R. De Simone, M. Vetter, G. Glombitza, S. Mottl-Link,C.-F. Vahl, and H.-P. Meinzer, �ROPES: A semiautomated segmentation method foraccelerated analysis of three-dimensional echocardiographic data,� IEEE transactionson medical imaging, vol. 21, no. 9, pp. 1091�1104, 2002.

[57] J. Hansegard, S. Urheim, K. Lunde, and S. I. Rabben, �Constrained activeappearance models for segmentation of triplane echocardiograms,� IEEE transactionson medical imaging, vol. 26, no. 10, pp. 1391�1400, 2007.

[58] F. C. Ghesu, B. Georgescu, Y. Zheng, J. Hornegger, and D. Comaniciu, �Marginalspace deep learning: E�cient architecture for detection in volumetric image data,�in Medical Image Computing and Computer-Assisted Intervention�MICCAI 2015.Springer, 2015, pp. 710�718.

[59] J. Kwon and K. M. Lee, �Tracking of a non-rigid object via patch-based dynamicappearance modeling and adaptive basin hopping monte carlo sampling,� in Compu-ter Vision and Pattern Recognition, 2009. CVPR 2009. IEEE Conference on. IEEE,2009, pp. 1208�1215.

[60] J. Kwon and K. M. Lee, �Visual tracking decomposition,� in Computer Vision andPattern Recognition (CVPR), 2010 IEEE Conference on. IEEE, 2010, pp. 1269�1276.

[61] M. D. Breitenstein, F. Reichlin, B. Leibe, E. Koller-Meier, and L. Van Gool, �Robusttracking-by-detection using a detector con�dence particle �lter,� in Computer Vision,2009 IEEE 12th International Conference on. IEEE, 2009, pp. 1515�1522.

RezumatOdat cu avansului accelerat al tehnologiilor de imagistic medical , se poate observa

³i o cre³tere important (34% în 10 ani) a nivelului de cazuri pe care radiologii suntnevoiµi s le interpreteze zilnic. Astfel, devine important dezvoltarea de noi tehnologii ³ialgoritmi ce pot analiza datele de imagistic medical pentru a oferi experµilor medical noiunelte de m surare sau ghidaj pe tot parcursul actului medical. Ecocardiogra�a este unadintre cele mai r spândite modalit µi de imagistic medical , oferind atât posibilit µi dediagnosticare, cât ³i de ghidaj intraoperator, datorit posibilit µii de observare a anatomieiîn timp-real.

Primul obiectiv al tezei a fost reprezentat de designul unui mecanism de detecµie astructurilor inimii di�cile de observat pe tot parcursul ciclului cardiac, cum ar, de exem-plu, mu³chii papilari ai valvei mitrale. Acest mecanism este, mai apoi, integrat într-unsistem prototip, iar, în continuare, este dezvoltat o serie de mecanisme de m surarepentru a oferi utilitate clinic soluµiei propuse. În etapa urm toare a cercet rii se faceevaluarea algoritmului prin dou modalitaµi: determinarea distanµei euclidiene faµ dedatele adnotate ³i un studiu de variabilitate inter-utilizator. Astfel, s-a dovedit c rezul-tatele obµinute de soluµia propus se încadreaz în limita de acurateµe a trei experµi, ceeace dovede³te fezabilitatea clinic a algoritmului.

Al doilea obiectiv este conceperea unui sistem de urm rire în timp-real a anulusuluivalvei mitrale. Acesta are scopul de ghidare intraoperator al instrumentelor chirurgicale.Dup integrarea într-un sistem prototip ³i crearea unui set de test, se face evaluareamecanismului analizându-se dou aspecte: tendinµa de deriv ³i r spunsul la mi³c ri ampleale imaginii. Astfel, s-a putut demonstra fezabilitatea clinic a mecanismului propus.Totodat , s-a propus un nou tip de detector compozit ce reune³te acurateµea detectorilorbazaµi pe înv µarea asistat , cu viteza algoritmilor de urm rire.

AbstractThe rapid advancement of medical imaging technologies has also generated an impor-

tant increase (34% in 10 years) in the number of cases that radiologists need to interpretdaily. Therefore, the development of new technologies and algorithms for medical imaginganalysis has become very important in order to provide the clinical experts new measu-rement and guidance tools throughout the medical practice. Echocardiography is one ofthe most widely used medical imaging modalities, being utilized in both diagnosis andintra-operative guidance, because of its ability to observe the anatomy in real-time.

The �rst objective of this thesis is the design of a detection mechanism capable ofidentifying heart subanatomies that are not visible throughout the entire cardiac cycle,such as the mitral valve papillary muscles. This mechanism is then included in a proto-type system and a series of measurement mechanisms are developed in order to facilitateclinical use. Afterwards the algorithm is evaluated using two methodologies: the eucli-dian distance from the annotated data, and an inter-user variability study. It was proventhat the proposed solution obtains results that are withing the accuracy of three clinicalexperts, which demonstrates the clinical feasibility of the algorithm

The second objective is the development of a real-time tracking system for the mitralvalve annulus. This mechanism is to be used in intra-operative guidance of the surgicalinstruments. After the integration in a prototype system, and the creation of a testingset, the evaluation of the mechanism is done from two perspectives: the drift tendencies,and the response to ample motion of the images. Therefore, the clinical feasibility ofthe proposed solution was proven. Also a new composite detector method was proposed,which is close to the accuracy of the assisted learning based detectors, while maintainingthe speed close to that of tracking detectors.

52

Curriculum Vitae

Educaµie

2012-2016:

studii de doctorat Universitatea Transilvania din Bra³ov

Facultatea de Inginerie Electric ³i �tiinµa Calculatoarelor

Conduc tor ³tiinµi�c:

Prof. dr. ing. Florin MOLDOVEANU

2009-2011:

Studii de masterat Universitatea Transilvania din Bra³ov,

Facultatea de Inginerie Electric ³i �tiinµa Calculatoarelor,

Programul de studii: Sisteme electronice ³i de comunicaµii integrate

2005-2009:

Studii de licenµ Universitatea Transilvania din Bra³ov,

Facultatea de Inginerie Electric ³i �tiinµa Calculatoarelor,

Programul de studii: Tehnologii ³i sisteme de comunicaµii

Experienµ profesional

Iulie 2012 - prezent

Cercet tor ³i inginer software

Domeniu: Imaging and Computer Vision

Siemens Corporate Technology, Bra³ov, România

Mai 2011 - Iulie 2012

Designer inginer reµele IP

Siemens CMT, Bra³ov, România,

Ianuarie 2010 - Mai 2011

Inginer Software C++

iQuest Technologies, Bra³ov, România

Limbi

str ine

Englez

� avansat

Domenii

de interes

Inteligenµ arti�cial

Procesare de imagini medicale

Evaluarea non-invaziv a patologiilor cardiovasculare

Procesare paralel

Competenµe pe

calculator

Programare:

C/C++, Python, Microsoft Visual Studio, OpenGL, Qt

53

Curriculum Vitae

Education

2012-2016:

Ph.D. studies Transilvania University of Brasov

Faculty of Electrical Engineering and Computer Science

Ph.D. supervisor:

prof. dr. ing. Florin MOLDOVEANU

2009-2011:

Masters studies Transilvania University of Brasov

Faculty of Electrical Engineering and Computer Science

Specialization: Integrated Electronic Communication Systems

2005-2009:

Bachelors studies Transilvania University of Brasov

aculty of Electrical Engineering and Computer Science,

Specialization: Telecommunications Systems and Technologies

Professional Experience

July 2012 - present

Researcher and Software Engineer

Domain: Imaging and Computer Vision

Siemens Corporate Technology, Bra³ov, România

May 2011 - July 2012

IP Network Design Engineer

Siemens CMT, Bra³ov, Romania,

January 2010 - May 2011

Software Engineer C++

iQuest Technologies, Bra³ov, Romania

Foreign

Languages

English

� advanced

Research

Interests

Arti�cial intelligence

Medical image processing

Non-invasive assessment of cardiovascular diseases

Parallel processing

Computer

Skills

Programming:

C/C++, Python, Microsoft Visual Studio, OpenGL, Qt

54

Universitatea Transilvania din Bra úov - unitbv.roold.unitbv.ro/Portals/31/Sustineri de...

Documents

Transcript of Universitatea Transilvania din Bra úov - unitbv.roold.unitbv.ro/Portals/31/Sustineri de...