RAPORT ŞTIINŢIFIC ŞI TEHNIC OBIECTIVELE PROIECTULUI INDISIO FINAL.pdf · Pe parcursul celor...

20
1 RAPORT ŞTIINŢIFIC ŞI TEHNIC Raport final 2014-2017 Titlu proiect: INFRASTRUCTURA DE SUPORT PENTRU DIAGNOSTIC IMAGISTIC INTELIGENT Contractul de finanțare nr: 209/2014 Director: Prof. Univ. Dr. Cristin Constantin Vere OBIECTIVELE PROIECTULUI: Obiectivul principal al proiectului INDISIO este de a oferi o Infrastructură Inteligentă de Suport în Diagnosticul Imagistic (INtelligent Imagistic DIagnosis Support Infrastructure) pentru asistenţă şi suport decizional în interpretarea filmelor de videocapsulă endoscopică (VCE – videocapsule endoscopy), într-o manieră rapidă şi fiabilă. Grad de atingere: Obiectiv îndeplinit în totalitate (100%) – Etapele 1-4 Pe parcursul celor patru etape, am realizat în totalitate acest obiectiv major al proiectului, dezvoltând și testând un sistem avansat de diagnosticare asistată de calculator (CAD) capabil să ajute medicii în procesul de interpretare mai rapidă şi mai fiabilă a înregistrărilor furnizate de videocapsula endoscopică (VCE). Etapa I s-a întins pe 7 luni (iulie‐decembrie 2014) şi a inclus două activități: Stabilirea protocoalelor de lucru si depunere patent și Includere pacienti, investigatii si monitorizare. Rezultatele etapei: Protocol de lucru și Cerere patent OSIM A 1.1 Stabilirea protocoalelor de lucru si depunere patent Videocapsula endoscopică (VCE), împreună cu enteroscopia cu balon sau în spirală sunt considerate două din cele mai valoroase mijloace de investigaţie aflate la dispoziţia gastroenterologului. Se estimează că milioane de capsule au fost înghiţite la nivel mondial în ultimul deceniu. VCE este în prezent metoda de explorare optimă a intestinului subţire, datorită facilităţii sale de utilizare şi a costului relativ redus. Echipa de cercetare condusă de directorul de proiect i-a testat eficienţa într-o serie de studii, cu concluzii pozitive şi rezultate publicate. Sistemul VCE constă dintr-un dispozitiv cilindric cu dimensiuni de aproximativ 26x11 mm şi cu o greutate de aproximativ 3 grame. Senzorul de imagine de la bord captează 4 până la 14 de imagini pe secundă. Dispozitivul conţine, de asemenea, o matrice cu LED-uri, circuite optice, un chip de control ASIC, un sistem antenă RFID, şi o baterie ce funcţionează aproximativ 8 ore (durata medie a unui tranzit GI complet). Filmul rezultat conţine peste 50 000 de imagini, care sunt transmise la un dispozitiv de înregistrare exterior echipat cu o serie de electrozi, care este uşor de purtat, pacientului fiindu-i permis să efectueze o serie de activităţi simple. Înregistrările sunt preluate pentru analiza ulterioară cu ajutorul unor staţii de lucru performante, cu posibilitatea de a fi vizualizate pe un mic ecran LCD ataşat la aparat.

Transcript of RAPORT ŞTIINŢIFIC ŞI TEHNIC OBIECTIVELE PROIECTULUI INDISIO FINAL.pdf · Pe parcursul celor...

Page 1: RAPORT ŞTIINŢIFIC ŞI TEHNIC OBIECTIVELE PROIECTULUI INDISIO FINAL.pdf · Pe parcursul celor patru etape, am realizat în totalitate acest obiectiv major al proiectului, dezvoltând

1

RAPORT ŞTIINŢIFIC ŞI TEHNIC

Raport final 2014-2017

Titlu proiect: INFRASTRUCTURA DE SUPORT PENTRU DIAGNOSTIC IMAGISTIC INTELIGENT

Contractul de finanțare nr: 209/2014

Director: Prof. Univ. Dr. Cristin Constantin Vere OBIECTIVELE PROIECTULUI:

Obiectivul principal al proiectului INDISIO este de a oferi o Infrastructură Inteligentă de Suport în Diagnosticul Imagistic (INtelligent Imagistic DIagnosis Support Infrastructure) pentru asistenţă şi suport decizional în interpretarea filmelor de videocapsulă endoscopică (VCE – videocapsule endoscopy), într-o manieră rapidă şi fiabilă. Grad de atingere: Obiectiv îndeplinit în totalitate (100%) – Etapele 1-4

Pe parcursul celor patru etape, am realizat în totalitate acest obiectiv major al proiectului, dezvoltând și testând un sistem avansat de diagnosticare asistată de calculator (CAD) capabil să ajute medicii în procesul de interpretare mai rapidă şi mai fiabilă a înregistrărilor furnizate de videocapsula endoscopică (VCE).

Etapa I s-a întins pe 7 luni (iulie‐decembrie 2014) şi a inclus două activități: Stabilirea protocoalelor

de lucru si depunere patent și Includere pacienti, investigatii si monitorizare. Rezultatele etapei: Protocol de lucru și Cerere patent OSIM

A 1.1 Stabilirea protocoalelor de lucru si depunere patent Videocapsula endoscopică (VCE), împreună cu enteroscopia cu balon sau în spirală sunt considerate

două din cele mai valoroase mijloace de investigaţie aflate la dispoziţia gastroenterologului. Se estimează că milioane de capsule au fost înghiţite la nivel mondial în ultimul deceniu.

VCE este în prezent metoda de explorare optimă a intestinului subţire, datorită facilităţii sale de utilizare şi a costului relativ redus. Echipa de cercetare condusă de directorul de

proiect i-a testat eficienţa într-o serie de studii, cu concluzii pozitive şi rezultate publicate. Sistemul VCE constă dintr-un dispozitiv cilindric cu dimensiuni de aproximativ 26x11 mm şi cu o

greutate de aproximativ 3 grame. Senzorul de imagine de la bord captează 4 până la 14 de imagini pe secundă. Dispozitivul conţine, de asemenea, o matrice cu LED-uri, circuite optice, un chip de control ASIC, un sistem antenă RFID, şi o baterie ce funcţionează aproximativ 8 ore (durata medie a unui tranzit GI complet). Filmul rezultat conţine peste 50 000 de imagini, care sunt transmise la un dispozitiv de înregistrare exterior echipat cu o serie de electrozi, care este uşor de purtat, pacientului fiindu-i permis să efectueze o serie de activităţi simple. Înregistrările sunt preluate pentru analiza ulterioară cu ajutorul unor staţii de lucru performante, cu posibilitatea de a fi vizualizate pe un mic ecran LCD ataşat la aparat.

Page 2: RAPORT ŞTIINŢIFIC ŞI TEHNIC OBIECTIVELE PROIECTULUI INDISIO FINAL.pdf · Pe parcursul celor patru etape, am realizat în totalitate acest obiectiv major al proiectului, dezvoltând

2

Volumul de imagini rezultate în urma investigaţiilor cu VCE este semnificativ - zeci de mii de imagini care urmează a fi analizate de către medic. O parte dintre acestea nu prezintă interes din punct de vedere medical şi, implicit, nici pentru o analiză ulterioară. Aceste imagini nu evidenţiază un conţinut clar, sau prezintă un conţinut aproape identic cu imaginile anterioare. În aceste condiţii, un medic

poate trece rapid la următoarele imagini – prin urmare INDISIO trebuie să efectueze o acţiune similară: să analizeze cadrele şi să decidă dacă acestea sunt relevante pentru analiza aprofundată ulterioară sau nu. Astfel, numai cadrele non-redundante şi relevante sunt verificate pentru identificarea leziunilor; în acest fel, timpul petrecut pentru procesare este redus în mod semnificativ.

A fost propus un nou plan de acțiune, actualizat la nivelul finanțării diminuate (stânga).

Înaintarea unei propuneri de brevetare la OSIM pentru INDISIO s-a făcut imediat înaintea începerii diseminării rezultatelor. Directorul de proiect, precum şi membrii echipei de cercetare, au o vastă experienţă cu reglementările OSIM pentru brevetare, prin urmare, documentarea pentru o propunere pentru un brevet de invenţie a fost inițiată odată cu raportul curent.

Pentru a asigura o protecţie adecvată, participanţii intenţionează să respecte toate normele, să garanteze că toate drepturile de proprietate intelectuală asociate cu rezultate potenţial exploatabile sunt protejate corespunzător. A 1.2 Includere pacienti, investigatii si monitorizare

Pacienţii cu următoarele patologii suspectate au fost supuşi investigărilor ulterioare: • hemoragii gastro-intestinale obscure, oculte sau evidente, • anemie feriprivă de cauză necunoscută, • suspectarea bolii Crohn a intestinului subţire, • evaluarea precoce a recidivelor bolii Crohn după tratamentul chirurgical, • colita nedeterminată, • complicaţii refractare sau recurente ale tratamentului medicamentos anti-inflamator nesteroidian în

boala celiacă, • polipi în sindroame de polipoză, • suspectarea unor tumori ale intestinului subţire.

Toate indicaţiile de mai sus au necesitat efectuarea endoscopiei superioare şi inferioare, ca parte din procesul de investigare clinică. CO în colaborare cu personalul P1 au efectuat aceste explorări în cursul celei de-a doua etape, si au ales pacienţii cu rezultate negative pentru explorarea ulterioară cu VCE. Toţi

Page 3: RAPORT ŞTIINŢIFIC ŞI TEHNIC OBIECTIVELE PROIECTULUI INDISIO FINAL.pdf · Pe parcursul celor patru etape, am realizat în totalitate acest obiectiv major al proiectului, dezvoltând

3

pacienţii au primit un formular de consimţământ, fiind solicitată aprobarea comitetelor de etică independente.

Etapa II s-a întins pe 12 luni (ianuarie‐decembrie 2015) şi a inclus patru activități: Includere

pacienți, investigații şi monitorizare, Dezvoltarea modelului ANN, Extragerea caracteristicilor și Înglobarea tehnicilor de procesare a imaginilor și Diseminare. Rezultatele etapei: Baza de date securizata cu caracteristicile cazurilor, Modul procesare culoare, Modul procesare textura, Abstract stiintific acceptat la o conferinta nationala, Articol tip review acceptat spre publicare intr-o revista indexata BDI

A 2.1 Includere pacienti, investigatii si monitorizare Am continuat procedurile de includere în studiu, conform protocolului deja stabilit. Încă de la începutul anului au fost selectați prospectiv pacienții care îndeplineau criteriile de includere deja stabilite în cadrul etapei anterioare. Toate indicațiile au necesitat endoscopii superioare şi inferioare, ca parte a procesului de investigare clinică. CO si personalul P1 au efectuat aceste explorări, selectând pacienții care îndeplineau criteriile pentru investigarea cu VCE. Toți pacienții au semnat formularul de consimțământ informat (Anexa 1). Studiul a primit aprobarea Comisiei de Etică – Nr. 100/12/12/2014.

Nr.crt. Vârstă Mediu Diagnostic trimitere Diagnostic VCE

1. 45 Urban Hiperplazie nodulara limfoida a intestinului subțire

Hiperplazie nodulara limfoida a intestinului subțire

2. 43 Urban Sindrom de intestin iritabil Telangiectazie 3. 52 Urban Anemie hipocromă microcitară Aspect normal 4. 70 Rural Anemie feriprivă Ulcerații AINS/ Boala Crohn

in obs 5. 74 Urban Anemie feriprivă Telangiectazie 6. 35 Urban Sindrom de intestin iritabil Angiectazie 7. 53 Urban Anemie feriprivă Polip cecal 8. 72 Rural Sindrom anemic Telangiectazie 9. 67 Urban Polipi colonici In lucru

Baza de date securizată cu caracteristicile cazurilor

Page 4: RAPORT ŞTIINŢIFIC ŞI TEHNIC OBIECTIVELE PROIECTULUI INDISIO FINAL.pdf · Pe parcursul celor patru etape, am realizat în totalitate acest obiectiv major al proiectului, dezvoltând

4

Baza de date INDISIO conține informațiile asociate celor mai relevante cazuri medicale selecționate.

Baza de date permite stocarea informațiilor de tip text și/sau secvențe media preluate de la pacienții grupului țintă în urma investigațiilor medicale. Pentru a documenta necesarul de informații de tip business la nivelul aplicației INDISIO, a fost dezvoltat modelul de date logic (diagrama logică E-R – entity relationship). Diagrama de date logică este o componentă care se dezvoltă independent de componenta hardware sau software asociată bazei de date. La realizarea diagramei logice s-au folosit elementele de descriere grafică și textuală ale entităților și ale legăturilor existente între acestea.

În baza chestionarului de completare a specificațiilor bazei de date, ținând cont de nevoile legate de tipurile de fișiere utilizate, disponibilitatea bazei de date, securitatea bazei de date, necesarul de resurse aferente bazei de date, backup și recovery și capacitatea de stocare sistemul RDBMS – (relational

database management system) a fost ales Microsoft SQL Server 2014. Ținând cont de resursele financiare limitate, s-a decis ca pentru etapa de dezvoltare să se folosească resursele interne ale partenerului APTUS. Astfel, s-a pus la dispoziție un server ca echipament hardware și s-a instalat o licență de Microsoft SQL Server, fiind complet funcțional împreună cu nucleul aplicației INDISIO.

Pentru a putea accesa datele din baza de date, au fost create pagini de interfațare cu baza de date. A fost realizat un set de pagini în secțiunea administrare, ce sunt descrise la dezvoltarea nucleului aplicației INDISIO.

A 2.2 Dezvoltarea modelului ANN Rețelele neuronale artificiale (ANN – Artificial Neural Networks) sunt structuri de procesare paralele

alcătuite din elemente sau noduri ce simulează procesele biologice de învățare. Aceste aplicații software sunt create pentru a reproduce neuronii și sinapsele neuronale având, pe de o parte, capacitatea de a prelua și procesa o serie de date de intrare, pe baza cărora identifică soluții pentru diverse probleme complexe, iar pe de altă parte au capacitatea de a învăța pe parcurs, adaptându-se astfel unor necesități ulterioare. Aplicația software de detecție a leziunilor se bazează pe aceiași parametri urmăriți de medicul examinator, extrași din cadrele preluate cu ajutorul VCE ce cuantifică caracteristicile imagistice ale unei leziuni, pentru a confirma sau infirma prezența acesteia în interiorul segmentului digestiv investigat. În ceea ce privește identificarea și clasificarea leziunilor, rețeaua neuronală simulează experiența profesională a medicului examinator prin primirea ca date de intrare a unui set de valori ale diverselor caracteristici ce au fost extrase în prealabil, urmând ca ea să furnizeze ca ieșire o clasificare a unei leziuni.

În cadrul aplicației INDISIO, a fost implementată o rețea neuronală cu un strat de neuroni de intrare, un strat ascuns și un strat de neuroni de ieșire. Numărul neuronilor din stratul de intrare este egal cu numărul parametrilor extrași de modulele de analiza imagistică. Stratul de ieșire este reprezentat de un singur neuron, care furnizează rezultatul clasificării. Stratul ascuns cuprinde 10 neuroni. Rețeaua neuronală a fost definită cu o funcție de antrenare de tip Levenberg-Marquardt, o funcție de învățare de tip learngdm (Gradient descent with momentum weight and bias learning function). Calculul performanței s-a bazat pe MSE. Ca vectori de intrare s-au folosit datele furnizate de modulele de analiză a culorii, texturii şi formei. Parametrii cu valori numerice au fost utilizați ca atare. Parametrii precum tipul de textură identificată, localizarea regiunii sau dependența de luminozitate au fost cuantificați ca enumerări.

Această metodă de clasificare reprezintă un punct de plecare în dezvoltarea aplicației INDISIO. Rețelele neuronale sunt astfel construite încât permit adaptarea si învățarea continuă. Pe măsură ce vor fi și alte date disponibile, din diverse surse, performanțele rețelei vor fi actualizate pentru a oferi medicului

Page 5: RAPORT ŞTIINŢIFIC ŞI TEHNIC OBIECTIVELE PROIECTULUI INDISIO FINAL.pdf · Pe parcursul celor patru etape, am realizat în totalitate acest obiectiv major al proiectului, dezvoltând

5

examinator indicii clare relativ la prezența anumitor leziuni în cadrele achiziționate de videocapsula endoscopică.

A 2.3 Extragerea caracteristicilor și Înglobarea tehnicilor de procesare a imaginilor Pentru stabilirea modulelor de procesare de imagini implementate în aplicația INDISIO, împreună cu

coordonatorul proiectului au fost analizate o serie de leziuni ce pot fi identificate. S-au analizat, din punct de vedere imagistic, parametrii imagistici care se pot lua în considerare la diagnosticare.

Modulul de procesare a culorii

Scopul modulului de analiză a culorii este de a simula procedeele de analiză ale examinatorului uman, urmărind parametrii și proprietățile imaginilor analizate, dar printr-

o abordare tehnică, în scopul de a evidenția caracteristicile coloristice specifice atât mucoasei intestinale și colonice normale, cât și specifice anumitor tipuri de leziuni. Totalitatea culorilor

regrupează modele sau spații standard de culori, compuse din puncte unice corespunzătoare fiecărei nuanțe. Pentru fiecare cadru, analiza coloristică a relevat un subspațiu specific din spațiul complet al culorilor. În cazul cadrelor ce conțin leziuni cu aspect coloristic specific, modulul izolează acea zonă din conținutul informațional al imaginii, prin divizarea spațiului de culori în seturi de regiuni disjuncte. Analiza preliminară a filmelor disponibile a relevat faptul că pot exista diferențe coloristice între cadrele pacienților diferiți, pentru același segment al tractului digestiv. Astfel, modulul prevede şi o sub-funcție care determină paleta globală de culori a întregului tract digestiv, pentru o eventuală comparație ulterioară a mucoasei normale din regiunile unui cadru care conține şi o potențială leziune.

Pentru fiecare cadru în parte, modulul de analiză a culorilor stabilește gama completă de culori a cadrului şi determină existența regiunilor care se încadrează în subspațiile de culori definite anterior, prin comparația cu valorile de prag. In plus, determină saturația şi tonalitatea cromatică medie pentru întregul cadru, dar şi pentru fiecare regiune în parte. În cazul în care există regiuni de culoare specifice sângerărilor active şi telangiectaziilor (cu nuanțe de roșu aprins sau roşu-maroniu), modulul calculează aceiași parametri şi pentru totalitatea regiunilor din cadru, mai puțin regiunea considerată ca leziune. Ulterior, în funcție de textură şi formă, s-a stabilit dacă sunt sau nu prezente leziuni în cadrul respectiv. Implementarea modulului a fost realizată în C#, folosind şi funcțiile predefinite din framework-ul C# AForge.NET, precum şi în Matlab.

Modulul de procesare a texturii

Acest modul de procesare analizează un alt parametru esențial în detecția automată a leziunilor prezente la nivelul tractului digestiv: textura. Precum modulul anterior de procesare a culorii, el determină

Page 6: RAPORT ŞTIINŢIFIC ŞI TEHNIC OBIECTIVELE PROIECTULUI INDISIO FINAL.pdf · Pe parcursul celor patru etape, am realizat în totalitate acest obiectiv major al proiectului, dezvoltând

6

relația dintre caracteristicile texturale ale leziunilor şi cele ale mucoasei normale înconjurătoare. Această dependență este influențată de localizarea videocapsulei în interiorul tubului digestiv, deoarece segmentele anatomice ale acestuia (esofag, stomac, intestin subțire, colon) sunt caracterizate de texturi diferite. Analiza inițială efectuată pe filmele obținute până în prezent a indicat faptul că inclusiv în cadrul aceluiași segment pot exista multiple texturi, adesea foarte asemănătoare, corespunzând pliurilor intestinale, eventualelor leziuni sau diverselor artefacte. Analiza texturii se realizează independent de analiza coloristică a cadrelor, urmând ca rezultatele acestor module să fie corelate la nivelul aplicației INDISIO, integrându-le în algoritmul general de detecție a leziunilor pe baza întregului ansamblu de caracteristici imagistice. Modulul integrează câteva aplicații de extragere a texturilor dezvoltate în Matlab. Texturile au fost inițial determinate cu ajutorul operatorului Local Binary Pattern, utilizând histograme pentru comparațiile ulterioare.

De asemenea, a fost implementată o bancă de filtre Gabor, configurată pe baza combinațiilor dintre orientările şi frecvențele filtrelor. Aceste combinații nu au fost stabilite conform unor reguli predefinite, ci au fost determinate în urma unei analize efectuate pe un eșantion compus din 250 de imagini, utilizat pentru stabilirea acoperirii corespunzătoare a întregului domeniu al frecvențelor spațiale, în condițiile în care se asigură cât mai puține suprapuneri ale filtrelor Gabor din bancă. S-a utilizat cu preponderență componenta reală a filtrelor Gabor, dintre cele două componente Gauss simetrice definite în domeniul frecvenței specifice acestora. Alegerea acestui tip de filtre s-a bazat pe capacitatea acestora de a simula relativ bine comportamentul vizual uman.

A 2.4 Diseminare Abstracte științific acceptat la conferințe naționale / internaționale 1. A.F. Constantinescu, M. Ionescu, M.E. Ciurea, C.T. Streba, V.F. Iovanescu, C.C. Vere. Local Binary Pattern in Wireless Capsule Endoscopy Analysis - Euroregional Conference for Phd Students and Young Researchers in Biomedicine, 27-28 March 2015, Timisoara. 2. M Ionescu, AF Constantinescu, AG Ionescu, CT Streba, AS Apostol, OC Rogoveanu, ME Ciurea, CC Vere. Diagnosis of intestinal polyps with software applications in wireless capsule endoscopy, "XA 2015" European Conference on Computer Sciences&Applications 5th Edition, Timişoara, Oct. 2015 Poster acceptat la o conferință națională 1. M Ionescu, CC Vere, CT Streba, AG Ionescu, , OC Rogoveanu, ME Ciurea. The role of software applications in detecting polyps following wireless capsule endoscopy. Simpozion APHS2015 - ACTUALITĂŢI ŞI PERSPECTIVE ÎN HARD ŞI SOFT, Ediţia a VIII-a, Timişoara, România, 29 Mai 2015. http://fcia.tibiscus.ro/documente/cercetare/aphs2015/ionescu1.pdf Articole tip review acceptat spre publicare într-o revista indexată BDI

Page 7: RAPORT ŞTIINŢIFIC ŞI TEHNIC OBIECTIVELE PROIECTULUI INDISIO FINAL.pdf · Pe parcursul celor patru etape, am realizat în totalitate acest obiectiv major al proiectului, dezvoltând

7

1. A.F. Constantinescu, M. Ionescu, I. Rogoveanu, C.C. Vere, V.F. Iovanescu, C.T. Streba, M.E. Ciurea. Wireless Capsule Endoscopy in Correlation with Software Application in Gastrointestinal Diseases. Current Health Sciences Journal, Vol. 41, No. 2, 2015 April-June. http://www.chsjournal.org/files/49ce4ecc55c9ff2b8e2728b7c65a5d8a.pdf 2. M Ionescu, AF Constantinescu, AG Ionescu, CT Streba, AS Apostol, OC Rogoveanu, ME Ciurea, CC Vere. Methods of diagnosis of intestinal polyps with software applications in wireless capsule endoscopy. Annals. Computer Science Series. 13th Tome 1st Fasc. – 2015

Etapa III s-a întins pe 12 luni (ianuarie‐decembrie 2016) şi a inclus sase activități: Includere

pacienti, investigatii si monitorizare, Dezvoltarea modelului ANN, Clasificare leziuni, Sistemul INDISIO, Diseminare și Depunere patent. Rezultatele etapei: Baza de date securizata cu filmele VCE, Modul procesare forma, Clasificator ANN, Analizor software WCE, Articol stiintific original publicat intr-o revista indexata in baze de date internationale

A 3.1 Includere pacienti, investigatii si monitorizare Si in această etapă au mai fost incluși in studiu 17 pacienti. Toti aceștia, ca si ceilalti 9 pacienti care

au primit VCE, au corespuns criteriilor de includere anterior stabilite. Cea mai frecventă patologie întâlnită la pacientii care au primit VCE a fost reprezentată de telangiectazii, acestea fiind urmate de polipi si diverticuli, un singur pacient a avut hemoragie ileală, iar 8 pacienti nu au avut nici o patologie a intestinului subtire.

Nu au fost înregistrate dificultăți tehnice, iar calitatea înregistrărilor a fost apreciată ca fiind bună de către personalul medical implicat în stabilirea diagnosticului. Pacienții vor fi monitorizați în continuare la intervale de 3 luni, pe parcursul primului an.

Nr. Ani Diagnostic de trimitere Rezultat VCE 1. 67 Neoplasm sigmoidian operat Reflux biliar in cantitate moderata la niv. Stomacului

2. 45 Hiperplazie nodulara limfoida

a intestinului subtire Angiodisplazie la niv. duodenului proximal Multiple formatiuni nodulare submucoase la niv. jejunal si ileal

3. 43 Sindrom de scadere ponderala Telangiectazie la niv. duodenului proximal 4. 80 Sindrom anemic Angiodisplazie duodenala

Polip jejunal pediculat 5. 80 Anemie feripriva Petesii jejunale 6. 52 Anemie hipocroma microcitara Fara leziuni la niv. intestinului subtire 7. 74 Sindrom anemic Zona de eritem la nivel jejunal fara urme de sangerare

Mucoasa modificata cu pierderea arhitecturii normale, cu multiple zone hiperemice si urme de sangerare la nivelul ileonului terminal

8. 71 Anemie feripriva Ulceratie superficiala la nivelul duodenului proximal, la nivel jejunal si la niv. Ileonului distal

9. 35 Sindrom de scadere ponderala Angiectazie la niv. Duodenului distal 10. 74 Sindrom anemic Fara leziuni la niv. Intestinului subtire 11. 72 Sindrom anemic Urme de sangerare la niv. stomacului 12. 53 Anemie feripriva Formatiune protruziva cu mucoasa de acoperire usor

hiperemica dupa valva ileo-cecala

Page 8: RAPORT ŞTIINŢIFIC ŞI TEHNIC OBIECTIVELE PROIECTULUI INDISIO FINAL.pdf · Pe parcursul celor patru etape, am realizat în totalitate acest obiectiv major al proiectului, dezvoltând

8

13. 19 Hemoragie digestiva inferioara Anemie feripriva

Fara leziuni la niv. Intestinului subtire

14. 24 Sindrom anemic Telangiectazie 15. 58 Anemie feripriva severa Angiodisplazii colonice 16. 63 Sindrom de scadere ponderala Fara leziuni la nivelul intestinului subtire 17. 69 Anemie feripriva Angiodisplazii jejunale 18. 78 Sindrom anemic Fara leziuni la nivelul intestinului subtire 19. 58 Anemie microcitara hipocroma Fara leziuni la nivelul intestinului subtire 20. 86 Anemie feripriva Angiodisplazie la niv. Jejunului proximal

Diverticul ileal 21. 58 Anemie feripriva severa Diverticuloza colonica 22. 62 Anemie feripriva Fara leziuni la nivelul intestinului subtire 23. 66 Sindrom anemic sever Angiodisplazii gastrice, intestinale si colonice 24. 43 Anemie feripriva Fara leziuni la nivelul intestinului subtire 25. 44 Anemie feripriva Petesii la niv. Duodenal si ileal

Polip semipediculat ileal Posibil polip sesil colon Zona de hiperemie colon Formatiune tumorala colon/rest alimentar

26. 77 Sindrom anemic sever Hemoragie digestiva cu sediu ileal

Baza de date securizata cu filmele WCE

În baza diagramei relaționale și folosind facilitățile oferite de SQL Server Management Studio a fost creată structura fizică a bazei de date APTUS_MEDICAL_INDISIO cu toate elementele de referință asociate. Aceasta se regăsește pe serverul de dezvoltare; este complet funcțională și

Page 9: RAPORT ŞTIINŢIFIC ŞI TEHNIC OBIECTIVELE PROIECTULUI INDISIO FINAL.pdf · Pe parcursul celor patru etape, am realizat în totalitate acest obiectiv major al proiectului, dezvoltând

9

integrată cu nucleul de bază al aplicației INDISIO, având următoarele secțiuni: 1. Secțiunea OPERAȚIONAL – este accesibilă ambelor roluri DOCTOR și ADMINISTRATOR. Secțiunea permite administrarea datelor din baza de date asociată pacienților. Se pot adăuga pacienți noi sau se pot vizualiza și actualiza datele asociate unui pacient existent: date personale, informațiile aferente diagnosticelor, programarea vizitelor sau gestionarea sesiunilor de informații media aferente consultului medical. In fisa unui operator pot fi stabilite si rolurile care sunt atasate acestuia. In functie de rolurile obtinute, activitatea utilizatorului va fi reglementată in consecință. 2. Secțiunea ADMINISTRARE – este accesibilă doar rolului ADMINISTRATOR.

A 3.2 Dezvoltarea modelului ANN

Clasificator ANN Metoda de clasificare bazată pe reţele neuronale este consacrată în teoria recunoaşterii formelor, întrucât se inspiră din modul de învăţare specific uman. O reţea neuronală artificială este caracterizată prin existenţa a cel puţin două niveluri (un nivel de intrare şi un nivel de ieşire), caz în care această reţea simplificată poartă denumirea de perceptron. Totuşi, pentru a mări expresivitatea reţelei, trebuie luat în considerare şi un al treilea nivel, numit „ascuns”, caz în care arhitectura devine cea a unui perceptron multininvel (se pot implementa unul sau mai multe niveluri ascunse).

Există două operaţii de bază care se pot realiza în legatură cu o reţea neuronală, cărora le corespund algoritmi specifici: • Operaţia de clasificare, Feedforward: reţeaua fiind antrenată, deci cunoscându-se valorile ponderilor w, dându-se valori cunoscute x la intrare, se calculează valorile corespunzătoare ieşirilor z • Operaţia de Backpropagation, care este operaţia de antrenare a reţelei neuronale, constând în determinarea valorilor ponderilor w, pe baza unui set de valori de intrare ale căror ieşiri aşteptate, identificate cu t, se cunosc deja.

A existat, de asemenea, un set de antrenament (invatare), utilizat in etapele de analiza a imaginilor si invatare, respectiv un set de test, diferit de setul de invatare, dar avand aceeasi structura, utilizat in faza de validare. Instantele utilizate in setul de invatare, si apoi in cel de testare, au corespuns unor cazuri de diagnostic confirmat sau infirmat printr-o procedura medicala sigura. S-a urmărit, de asemenea, eliminarea redundantei datelor de intrare, prin

considerarea unor date cat mai variate, intre care nu exista corelatii. Astfel, s-au considerat imagini ce au reprezentat o anumita clasa, dar care au aparținut unei game variate de pacienți, cu un număr cat mai mare de pacienti. In ceea ce priveste numarul de instante care trebuie considerate pentru fiecare clasa, acesta trebuie sa fie suficient de mare pentru a surprinde toate tipurile posibile de variatii pentru clasa respectiva, conducand astfel la un rezultat de incredere, de acuratete maxima, atat in ceea ce priveste selectia trasaturilor relevante, cat si in ceea ce priveste diagnoza automata. Asa cum rezulta din realizarile anterioare facute in domeniu, acest numar trebuie sa fie de ordinul sutelor, chiar al miilor. Cercetările indica faptul ca, pentru a obține un rezultat de incredere, numarul elemenetelor din setul de antrenament trebuie sa fie mai mare sau egal cu n*10, unde n este numărul trasaturilor utilizate in clasificare.

Page 10: RAPORT ŞTIINŢIFIC ŞI TEHNIC OBIECTIVELE PROIECTULUI INDISIO FINAL.pdf · Pe parcursul celor patru etape, am realizat în totalitate acest obiectiv major al proiectului, dezvoltând

10

A 3.3 Clasificare leziuni În vederea construirii modelului imagistic de procesare a formei, este necesara, mai intai, o faza de

generare a modelului, constand din urmatorii pasi: analiza imaginii si invatare, aceasta fiind urmata de o faza de validare a modelului. Intr-o etapa premergătoare, au fost construite clasele de imagini ce au fost supuse analizei si invatarii, pentru o afectiune data, acestea constituind setul de antrenament. Clasele au inclus un număr egal de imagini.

In timpul etapei de analiza a imaginii, s-a realizat determinarea trasaturilor imagistice texturale, prin aplicarea metodelor specifice analizei texturii.

In timpul etapei de invătare a modelului, a fost determinata relevanta trăsăturilor in ceea ce priveste separatia intre clase, utilizand metode specifice, precum modelarea densitatii de probabilitate prin mixturi de distributii gaussiene, metode specifice selecţiei trăsăturilor de tip filtru sau wrapper, metoda retelelor Bayesiene, arbori de decizie, metoda masinilor cu vectori suport, dar si meta-clasificatori, precum Ada-Boost. Metoda regresiei, precum si alte metode specifice, au fost utilizate pentru a determina corelaţiile dintre trasaturi, in scopul stabilirii unui set final de trăsături relevante independente.

Modul procesare forma

Modulul de procesare a formei a completat analiza imagistică realizată de modulele anterior definite, analizând un parametru extrem de important în segmentarea imaginii. Anumite leziuni întâlnite la nivelul tractului digestiv al pacienților nu prezintă un contur regulat, astfel că detecția lor se va baza pe alte metode. În schimb, polipii intestinali şi colonici au ca trăsătură de bază forma parţial rotunjită corespunzătoare țesutului protruzionat din mucoasa intestinală. Polipii pedunculaţi care sunt proiectaţi pe secţiunea lumenului sunt de asemenea mai ușor de identificat pe baza detecției conturului lor. Forma elementelor prezente în imaginile achiziționate de videocapsula endoscopică este determinată pe baza contururilor detectate, reprezentând o componentă cu o pondere importantă în procesul final de analiză. Segmentarea bazată pe contur a fost, de asemenea, utilizată pentru determinarea reprezentării imaginilor ca ansamblu de regiuni distincte, fără a ţine cont de alte caracteristici imagistice. In majoritatea cazurilor, imaginile furnizate de videocapsulă au putut fi împărţite în arii relativ disjuncte corespunzătoare lumenului, pliurilor intestinale, artefactelor, polipilor sau altor leziuni (dacă prezintă margini bine definite). Acest proces de divizare sporeşte şansele de identificare corectă a leziunilor, deoarece permite analiza caracteristicilor imagistice doar pentru anumite regiuni din imagine, alături de comparaţii intre regiuni, sau comparaţii cu regiuni similare din alte cadre.

Modulul de analiză a formei este compus din mai multe etape de procesare. Pentru fiecare cadru analizat, după determinarea contururilor pe baza filtrelor Gabor, se realizează binarizarea imaginii pe baza unei valori de prag. Experimentele efectuate pe eșantionul de analiză au dus la stabilirea valorii de prag

Page 11: RAPORT ŞTIINŢIFIC ŞI TEHNIC OBIECTIVELE PROIECTULUI INDISIO FINAL.pdf · Pe parcursul celor patru etape, am realizat în totalitate acest obiectiv major al proiectului, dezvoltând

11

215. Etapa de binarizare constă în analiza intensității fiecărui pixel. Dacă această valoare este situată sub valoarea de prag, atunci acel pixel reprezintă un pixel de fundal. In caz contrar, pixelul respectiv este considerat ca un pixel aparținând unui contur identificat în imagine. Ulterior, modulul dispune de două direcții de analiză. Prima direcție analizează regiunile distincte din cadrul imaginii, obținute în urma procesului de segmentare pe baza contururilor determinate. Fiecare regiune poate fi apoi supusă unor noi prelucrări / verificări. Cea de-a doua direcție urmărește identificarea prezentei unor polipi în interiorul imaginii analizate, prin analiza curburii segmentelor determinate. Pe baza contururilor stabilite în urma aplicării valorii de prag, se determină lungimea acestora – mai exact, se determină numărul pixelilor din interiorul conturului. La final, se determina aria celui mai mic dreptunghi care îl cuprinde integral. Evident, este necesară stabilirea unei limite minime a ariei – pe baza eșantionului de imagini, s-a determinat experimental valoarea 430 de pixeli (neluându-se în calcul și ariile mai mici de 20 de pixeli). De asemenea, pentru a reduce pe cât posibil numărul de contururi false (care nu aparțin unui polip), s-a determinat experimental că un contur compus dintr-un număr de pixeli similar cu numărul de pixeli ai lungimii dreptunghiului minim în care se poate încadra nu poate aparține unui polip. Astfel, aceste contururi nu au fost luate în calcul în fazele următoare de procesare.

a) un cadru original furnizat de videocapsula endoscopică; b-c) răspunsul de amplitudine și răspunsul

de fază al filtrului Gabor; d-e) Partea reală a filtrului Gabor, cu scala 2, frecvența 0.5, orientarea

1.5708.

Următoarea etapă a regrupat tehnica top-hat de reducere a punctelor care nu aparțin unui contur,

precum si procesul de skeletonizare a imaginii rezultate în urma reducerii. La final, s-a obținut o imagine alb-negru care a cuprins contururile cu potențial de a aparține unui polip, dar rafinate la un ansamblu de pixeli care reproduc forma originală. Acest proces nu a modificat proprietățile formei inițiale, dar a favorizat analiza şi determinarea tipului formei originale.

Analiza a continuat cu determinarea curburii contururilor ramase în imaginea prelucrată. Datorita faptului ca etapa de detecție a contururilor nu prezintă acuratețe maximă, deci pixeli ai conturului real al polipului pot fi considerați pixeli ai mucoasei, şi vice-versa, a fost necesară o aproximare a curburii generate de conturul respectiv. Această aproximare a fost realizată prin generarea curbei Bezier plecând de la primul şi ultimul punct al conturului, la care se adaugă progresiv puncte intermediare. Aceasta etapă nu reflectă un proces de interpolare clasic, deoarece curba nu va trece prin toate punctele conturului determinat prin răspunsul de fază, tocmai pentru ca ia în calcul şi potențialele erori de detecție, în schimb se va menține în mod constant în interiorul poligonului determinat de punctele de control – adică punctele conturului inițial. Figura alăturata exemplifică subetapele de procesare. Curbele Bezier trec în mod obligatoriu prin primul şi ultimul punct al conturului. Dacă un contur are mai multe puncte de extremitate, atunci are mai multe ramificații. Astfel, se generează câte o curbă Bezier pentru fiecare ramificație, în mod independent, dar ponderea cu care curba va participa la decizia finală va fi mai mică. Pe măsură ce se adaugă alte puncte ale conturului, curba se regenerează, devenind tangentă la segmentele ce conectează

Page 12: RAPORT ŞTIINŢIFIC ŞI TEHNIC OBIECTIVELE PROIECTULUI INDISIO FINAL.pdf · Pe parcursul celor patru etape, am realizat în totalitate acest obiectiv major al proiectului, dezvoltând

12

punctele de control succesive. Procesul de adăugare a punctelor noi s-a repetat până când s-a îndeplinit una din condițiile următoare:

- se termină punctele incluse în conturul respectiv - curba generată aproximează bine conturul real (având în vedere că răspunsul de fază al filtrului

Gabor poate genera şi erori, se ia în calcul doar o aproximare). Modul în care curba Bezier aproximează conturul real se realizează relativ strict la dimensiunile acelui

contur. Nu s-a putut defini o valoare fixă, care sa fie general valabilă pentru toate contururile. Această relativitate poate fi exprimată doar procentual. Astfel, distanța euclidiană de la curba Bezier la punctele din vecinătate nu trebuie să fie mai mare decât o valoare de prag determinată experimental ca fiind 10% din lungimea dreptunghiului minim.

a) imaginea originală VCE, obţinută în urma eliminării artefactelor şi după etapa de uniformizare; b)

detecţia contururilor aplicând filtrul Gabor ales din banca de filtre; c) rafinarea contururilor detectate

anterior prin binarizare cu valoare de prag; d) rafinarea contururilor; e) rafinarea contururilor prin

skeletonizare; f) curba Bezier generată pe baza conturului

Odată curba Bezier generată, nu mai rămâne decât o verificare: încadrarea într-o elipsă care la rândul

ei este inclusa, cel puțin parțial, în imaginea originală, ceea ce ar asigura un prim indiciu al prezenței unui polip în acel cadru. Acest lucru s-a realizat prin intermediul metodei ellipse fitting. Implementarea etapelor de binarizare, skeletonizar, generarea curbelor Bezier şi etapa ellipse fitting a fost realizata în C#, platforma .NET.

A 3.4 Sistemul INDISIO În urma documentării și a cerințelor privind utilizarea aplicației INDISIO, a rezultat o arhitectură de tip web-based access. Componenta server a fost instalată pe sistem de operare Windows 2012R2 și a integrat 2 categorii de tehnologii: • Modulul Front-end – care presupune zona de dezvoltare a componentelor de interfață (client-side). Pentru aceasta s-a folosește HTML5, JavaScript, Boottrap, jquery și UI integrat Kendo ce conține și elementele de style specifice CSS, • Modulul Server-side – care a utilizat .Net framework 4.5, C#, Microsoft SQL Server 2014

Cele 2 module rulează pe platforma IIS – Internet Information Server sub Windows 2012 R2.

Page 13: RAPORT ŞTIINŢIFIC ŞI TEHNIC OBIECTIVELE PROIECTULUI INDISIO FINAL.pdf · Pe parcursul celor patru etape, am realizat în totalitate acest obiectiv major al proiectului, dezvoltând

13

Analizor software VCE

Sistemul software consta din trei module, corespunzatoare invatarii modelului imagistic, utilizarii acestuia si diagnozei automate, prin intermediul unui clasificator specializat. Modulul destinat construirii modelului imagistic apeleaza trei sub-module – cel destinat extragerii trasaturilor imagistice, cel destinat selectiei trasaturilor relevante, respectiv cel destinat invatarii valorilor specifice modelului imagistic si antrenarii clasificatorului. Modelul imagistic textural, constând în setul de trăsături relevante pentru caracterizarea unei anumite afecţiuni, precum şi în valorile specifice asociate trăsăturilor relevante, este salvat în baza de date. Validarea modelului imagistic s-a făcut prin utilizarea modulului de clasificare automata. Modulele destinate

clasificarii automate si segmentarii formatiunilor de interes utilizeaza trasaturile relevante ale modelului imagistic textural, stocate in baza de date. Modulul destinat segmentarii utilizeaza sub-modulul destinat calculului trasaturilor imagistice intr-o faza preliminara, respectiv cel destinat clasificarii automate intr-o faza avansata.

Principalele functionalitati implementate ca extensii fata de setul initial de functionalitati ale aplicatiei INDISIO, efectuate pe parcursul anului 2016, au fost urmatoarele:

• Adaugare ordonare in lista de pacienti si liste predefinite; • Atasare nota aditionala pentru entitati relationate la lista pacientilor; • Atasare antet header medical pentru analize medicale; • Nomenclator nou unitati de masura; • Posibilitatea de defalcare a analizelor medicale in sesiuni; • Continuat dezvoltarea de facilitati dinamice ale pacientilor; • Atasat campuri aditional pentru diagnosticare; • Adaugat date predefinite in sectiunea diagnostice; • Adauga pagina de profil si schimbare parola; • Adaugat facilitati de publicare pe serverele de test

A 3.5 Diseminare Monografie publicată într-o editură internațională: 1. Advances in small bowel diagnosis by wireless capsule endoscopy – computer aided diagnosis. Ed. Academica Greifswald, 2016, 70 pagini. ISBN 978-940237-39-2. Editori: Cristin Constantin Vere, Ion Rogoveanu, Costin Teodor Streba, Ionică Daniel Vîlcea, Marius Eugen Ciurea. Articol acceptate spre publicare într-o revista indexată ISI 1. Adriana Florentina Constantinescu, Mihaela Ionescu, Vlad-Florin Iovănescu, Marius Eugen Ciurea, Alin Gabriel Ionescu, Costin Teodor Streba, Gabriel Bunescu, Ion Rogoveanu, Cristin Constantin Vere. A computer-aided diagnostic system for intestinal polyps identified by wireless capsule endoscopy. Rom J Morphol Embryol. 2016;57(3):979-984.

Page 14: RAPORT ŞTIINŢIFIC ŞI TEHNIC OBIECTIVELE PROIECTULUI INDISIO FINAL.pdf · Pe parcursul celor patru etape, am realizat în totalitate acest obiectiv major al proiectului, dezvoltând

14

A 3.6 Depunere patent Invenţia se referă la un sistem avansat de diagnosticare asistată de calculator (CAD) capabil să ajute

medicii în procesul de interpretare mai rapidă şi mai fiabilă a înregistrărilor furnizate de videocapsula endoscopică (VCE), combinând aceste informaţii cu datele obţinute în urma examinării tomografice computerizate (CT).

Etapa IV s-a întins pe 6 luni (Ianuarie‐Iunie 2017) şi a inclus sase activități: Includere pacienti,

investigatii si monitorizare, Finalizarea si testarea modelului ANN, Finalizare clasificator leziuni, Finalizare sistem INDISIO, Diseminare și Urmărire patent. Rezultatele etapei: Baza de date securizata cu filmele WCE, Software INDISIO, Manual de utilizare INDISIO, Articol științific original publicat intr-o revista indexata in baze de date internationale

A 3.1 Includere pacienti, investigatii si monitorizare Am continuat recrutarea pacienților care au îndeplinit criteriile de includere enunțate în etapele

anterioare. Datorită întârzierii finanțării, au fost achiziționate 15 videocapsule endoscopice în cursul lunii Iulie, pacienții fiind în curs de investigare. Am folosit pentru includerea caracteristicilor acestora baza de date securizată, cu capacitate de stocare multimedia a filmelor VCE.

Baza de date securizata cu filmele WCE

Baza de date este funcțională și cuprinde datele clinice, paraclinice și imagistice ale pacienților incluși în studiu. Nu conține informații de identificare directă și este protejată prin sisteme de autentificare cu dublă cheie și criptare pe 64 de biți.

Au fost adăugate o serie de facilități, cum ar fi posibilitatea adăugării diagnosticelor dintr-o listă standardizată, conform codificării internaționale ICD-10 (codificare standardizată a denumirilor de boală,

Page 15: RAPORT ŞTIINŢIFIC ŞI TEHNIC OBIECTIVELE PROIECTULUI INDISIO FINAL.pdf · Pe parcursul celor patru etape, am realizat în totalitate acest obiectiv major al proiectului, dezvoltând

15

adoptată la nivelul României și internațional – majoritar în spațiul UE).

De asemenea, se poate controla înregistrarea video încărcată – selectată în mod automat de către aplicație din înregistrarea WCE – și se pot revizui manual cadrele de interes, procesate de către software-ul INDISIO cu ajutorul analizatorului de imagine.

A 3.2 Finalizarea si testarea modelului ANN

Modelul ANN a fost creat in contextul domeniului științei calculatoarelor si al tehnologiei informatiei, pornind de la modelul creierului uman, care are multe caracteristici de procesare incredibile, cum ar fi paralelismul masiv, reprezentarea distribuită și calculul, abilitatea capacității de învățare, abilitatea generalizării, adaptivitatea, care par a fi

simple, dar în realitate sunt extrem de complicate. Ca atare, acesta a fost de fapt dintotdeauna un vis pentru specialistii din domeniul științei calculatoarelor, anume acela de a crea componente computerizate care sa poata rezolva probleme perceptuale complexe la fel de rapid.

Ordonare descrescatoare dupa media scorurilor:

Trasatura texturala Media scorurilor

GLCM3_Contrast 0.73

Wavelet_Entropia1 0.58

Medie_pete 0.58

Variabilit_in_orient_muchiilor 0.47

GLCM3_energie 0.36

Medie_unde 0.35

Frecv_undisoare 0.34

Hurst 0.33

GLCM_Corelatie 0.25

Wavelet_Entropia2 0.25

Wavelet_entropia5_ll 0.25

Variabilit_grad_directional 0.25

GLCM3_entropie 0.25

Media 0.12

Magn_grad_directional 0.10

Page 16: RAPORT ŞTIINŢIFIC ŞI TEHNIC OBIECTIVELE PROIECTULUI INDISIO FINAL.pdf · Pe parcursul celor patru etape, am realizat în totalitate acest obiectiv major al proiectului, dezvoltând

16

Wavelet_Entropia5_hl 0.10

Wavelet_Entropia6_hl 0.10

Wavelet_Entropia6_hh 0.10

Wavelet_Entropia5_lh 0.10

Medie_undisoare 0.09

Performantele clasificarii bazate pe trasaturile texturale relevante este foarte buna, situandu-se peste 89%.

Clasificator Rata de

Recunoastere

Rata TP

(Senzitivitatea)

Rata TN

(Specificitatea)

AUC Timp

MLP 89% 87% 91.3% 95.8% 0.17s

SVM 89.13% 91.3% 87% 89.1% 0.02s

RF 82.60% 82.6% 82.6% 94.5% 0.01s

AdaBoost+J48 84.78% 91.3% 78.3% 95% 0.01s

J48 82.60% 82.60 82.60 81.9% 0.008s

Analizând setul trasaturilor texturale relevante, a rezultat o complexitate tisulara mai mare in zona polipilor intestinali decat in celelalte regiuni. Astfel:

• Statisticile bazate pe microstructuri de tip Laws’ - medie_undisoare, medie_pete, medie nivel, frecventa undisoare => densitatea microstructurilor de tip pata si undisoara, determinate ulterior aplicarii nucleelor de convoluție Laws’ a fost mai mare la nivelul polipilor;

• Variabilitatea gradientului directional, variabilitatea in orientarea muchiilor, varianta gradientului, magnitudinea gradientului, magnitudinea gradientului directional – complexitatea structurala a tesutului a fost mai accentuata in zona polipilor

• Entropia si varianta GLCM – au fost mai mari in zona polipilor intestinali

• Omogenitatea GLCM3, omogenitatea GLCM – au fost mai mici in zona polipilor intestinali

Page 17: RAPORT ŞTIINŢIFIC ŞI TEHNIC OBIECTIVELE PROIECTULUI INDISIO FINAL.pdf · Pe parcursul celor patru etape, am realizat în totalitate acest obiectiv major al proiectului, dezvoltând

17

• Entropia determinata după aplicarea transformatei Wavelet, la rezoluții multiple – a fost mai mare in zona polipilor intestinali

A 3.3 Finalizare clasificator leziuni Trasaturi texturale clasice: Matricea de Coocurenta a Nivelurilor de Gri (GLCM); indicele de

autocorelatie; indicele fractal Hurst; statistici bazate pe muchii: orientarea medie a muchiilor, frecventa muchiilor, contrastul mediu al muchiilor; statistici determinate dupa aplicarea nucleelor de convolutie Laws; entropia Shannon determinate dupa aplicarea transformatei Wavelet

Trasaturi texturale specifice, originale (deci avand valoare de noutate absoluta): variabilitatea in orientarea muchiilor, variabitatea gradientului directional, GLCM de ordinul 3 si parametrii Haralick asociati: omogenitatea, energia, entropia, corelatia, contrastul, varianta; matricea de coocurenta a orientarilor muchiilor (Edge Orientation Cooccurrence Matrix – EOCM) si parametrii Haralick asociati. I. Telangiecatzii/fara leziuni, petesii- parametri relevanti:

Correlation based Feature Selection + Best First; Meritul intregului subset: 0.735 {GLCM_Corelatie, Wavelet_Entropia1, Wavelet_Entropia2, Wavelet_Entropia5_ll, Variabilit_grad_directional, Medie_pete, Medie_unde, Frecv_undisoare, GLCM3_energie, GLCM3_entropie, GLCM3_contrast} Consistency based Feature Subset Evaluation + Best First; Meritul intregului subset: 1 {Variabilit_in_orient_muchiilor, Hurst, Wavelet_Entropia1, Medie_pete, GLCM3_contrast} - Gain Ratio Attribute Eval + Ranker; Interpretari: - Corelatia GLCM exprima diferentele de granularitate dintre zonele afectate de telangiectazii, respective cele neafectate de telangiectazii - Entropia calculata dupa determinarea transformatei Wavelet – regiunile corespunzatoare telangiectaziilor au o entropie mai mare, la diferite rezolutii - Variabilitatea gradientului directional, variabilitatea in orientarea muchiilor, magnitudinea gradientului directional – variatia directiilor (orientarilor) muchiilor este mai mare in zonele afectate de telangiecatzii - Stastisticile determinate dupa aplicarea nucleelor de convolutie Laws’: pete, unde, undisoare => frecventa acestor structuri este mai mare in zonele cu telangiecatzii - Media nivelurilor de intensitate – trasatura relevanta datorita prezentei unei nuante mai intense de rosu in zonele cu telangiecatzii - Energia, entropia, contrastul derivate din matricea GLCM de ordinul 3 => regiunile corespunzatoare telangiecatziilor au o entropie mai mare, un contrast mai mare si o complexitate structurala mai accentuata - Coeficientul fractal Hurst exprima, de asemenea, o cmplexitate structurala mai acentuata in zonele cu telangiectazii

Page 18: RAPORT ŞTIINŢIFIC ŞI TEHNIC OBIECTIVELE PROIECTULUI INDISIO FINAL.pdf · Pe parcursul celor patru etape, am realizat în totalitate acest obiectiv major al proiectului, dezvoltând

18

Rezulta, astfel, ca exista diferente de granularitate intre zonele afectate de telangiectazii si celelalte zone, regiunile continand telangiecatzii avand o complexitate structurala mai mare, prin prezenta mai frecventa a muchiilor cu orientări neregulate.

Trasatura texturala Scor

GLCM3_contrast 0.441

Variabilit_in_orient_muchiilor 0.398

Media 0.346

GLCM3_energie 0.333

Medie_unde 0.301

Magn_grad_directional 0.301

Frecv_undisoare 0.298

Wavelet_Entropia5_hl 0.288

Wavelet_Entropia6_hl 0.288

Wavelet_Entropia6_hh 0.288

Wavelet_Entropia5_lh 0.288

Medie_undisoare 0.28

A 3.4 Finalizare sistem INDISIO

Software INDISIO

Utilitatea aplicatiei consta in urmatoarele: � Posibilitatea realizarii unei diagnoze semi-automate, asistate ce calculator, de către medicul specialist, prin vizualizarea modelului imagistic � Posibilitatea realizarii unei diagnoze automate, de către medicul specialist, prin determinarea clasei de apartenenta a unor regiuni de tesut de natura necunoscuta sau incerta � Posibilitatea de a experimentare a metodelor de analiza a texturii, a metodelor destinate selectiei trasaturilor si a metodelor de clasificare, in contextul caracterizarii si recunoasterii formatiunilor specifice (polipi si angiectazii), atat din punctul de vedere al specialistului in imagistica computerizata, cat si din cel al medicului specialist; posibilitatea de a studia relevanta parametrilor texturali si valorile asociate acestora, specifice diferitelor clase, de a stabili corelatii ale acestor parametri cu trasaturile vizuale ale formatiunilor urmarite. Pasii necesari utilizarii sistemului in scopul diagnozei automate si semiautomate rezulta din figura de mai jos. Utilizatorul (medicul specialist) are posibilitatea de a deschide un fisier imagine, de a marca o regiune de interes, de a determina valorile trasaturilor imagistice si de a le compara cu valorile caracteristice diferitelor clase de tesut, continute in modelul imagistic, pentru a realiza o incadrare preliminara a tesutului analizat (necunoscut) intr-o anumita clasa. De asemenea, utilizatorul are posibilitatea de a apela functia de recunoastere automata a tipului de tesut, prin intermediul clasificatorului antrenat anterior.

Componenta de procesare comunica cu baza de date a modelului imagistic, ce contine date despre pacienti, diagnosticul pacientilor, imaginile endoscopice corespunzatoare acestor pacienti, descrierea naturii formatiunilor prezente in aceste imagini, a regiunilor de interes marcate in aceste imagini. Tot in aceasta baza de date sunt stocate detalii referitoare la tipul trasaturilor imagistice calculate, fiind stocat si

Page 19: RAPORT ŞTIINŢIFIC ŞI TEHNIC OBIECTIVELE PROIECTULUI INDISIO FINAL.pdf · Pe parcursul celor patru etape, am realizat în totalitate acest obiectiv major al proiectului, dezvoltând

19

modelul imagistic specific: trasaturile relevante si parametrii caracteristici asociati acestor trasaturi relevante – media, deviatia standard, intervale de incredere corespunzatoare mediei si deviatiei standard, distributiile de probabilitate ale parametrilor.

Exista o interfata de comunicare cu baza de date, prin intermediul careia utilizatorul poate introduce efectiv datele legate de pacienti, rezultatele examenului endoscopic, imaginile endoscopice ale pacientilor, poate marca regiuni de interes in aceste imagini – de natura cunoscuta, ce urmeaza sa fie considerate drept reper, respectiv de natura incerta, ce urmeaza sa fie analizate si clasificate prin prisma modelului imagistic dedicat.

Modulul corespunzator generarii, validarii si vizualizarii modelului imagistic, respectiv cel corespunzator recunoasterii automate, conduce la realizarea obiectivelor propuse, referitoare la construirea unui model imagistic robust si exploatarea acestuia in scopul diagnozei automate si semi-automate. Asa cum rezulta din figura, modulul pentru generarea, validarea si vizualizarea modelului imagistic contine urmatoarele sub-module: • Determinarea trasaturilor imagistice, prin aplicarea metodelor de analiza a imaginii • Selectia trasaturilor imagistice relevante in ceea ce priveste caracterizarea si recunoasterea polipilor si telangiectaziilor, prin aplicarea unor metode specifice si memorarea acestora in baza de date • Determinarea valorilor caracteristice asociate trasaturilor relevante- a mediei, a deviatiei standard, a intervalelor de incredere pentru media si deviatia standard, a distributiilor de probabilitate, utilizand teoria bayesiana a deciziei. Salvarea in baza de date a parametrilor determinati • Antrenarea unui clasificator performant (in cazul nostru Perceptronul Multinivel), cu valorile corespunzatoare trasaturilor relevante • Evaluarea si validarea acestui clasificator, echivalenta cu evaluarea si validarea modelului imagistic generat • Sub-modulul de vizualizare a modelului imagistic, permitand extragerea din baza de date a caracteristicilor specifice modelului imagistic generat.

Modulul de recunoastere automata utilizeaza clasificatorul antrenat si presupune stabilirea clasei de apartenenta a unei regiuni de tesut, initial de natura necunoscuta sau incerta, prin intermediul acestui clasificator.

Algoritm de segmentare propus:

1. Pentru fiecare cadru din secventa de imagini (film videocapsula endoscopica) 1.1. Se imparte imaginea in blocuri (regiuni de interes) de dimensiune 30x30 pixeli 1.2. Se determina parametrii texturali relevanti in fiecare caz (polipi sau telangiectazii) 1.3. Se aplica clasificatorul cel mai adecvat, antrenat anterior (offline). Cel

mai adecvat clasificator este acela ce prezinta atat o acuratete satisfacatoare, cat si un timp de raspuns acceptabil. 1.4. Daca clasificatorul semnaleaza prezenta unei telangiectazii sau a unui polip => marcarea regiunii de interes respective Ca si concluzie finala privind performanta solutiei in ceea ce priveste diagnoza imagistica, cele doua procente reprezentand performanta pe telangiectazii (89%), respective pe polipi (93%), releva un rezultat

Page 20: RAPORT ŞTIINŢIFIC ŞI TEHNIC OBIECTIVELE PROIECTULUI INDISIO FINAL.pdf · Pe parcursul celor patru etape, am realizat în totalitate acest obiectiv major al proiectului, dezvoltând

20

foarte bun, care a putut fi obtinut pe seama completarii setului de trasaturi clasice cu trasaturi inovative, care prezintă originalitate absoluta pe plan international. Manual de utilizare INDISIO

A fost realizat manualul aplicatiei INDISIO, conținând caracteristicile de bază ale produsului informatic, o enumerare și explicare a comenzilor aplicației, exemple practice de folosire, cât și o secțiune interactivă pentru asistență la distanță.

A 3.5 Diseminare Articol stiintific original publicat intr-o revista indexata in baze de date internationale M Ionescu, CT Streba*, CC Vere, AG Ionescu, I Rogoveanu. Telangiectasia Detection in Wireless Capsule Endoscopy Using the Color Slicing Technique. Current Health Sciences Journal. 2017; 43(1): 25-30.

A 3.6 Urmărire patent Am re-depus patentul într-o formă îmbunătățită, conform criteriilor OSIM și a rezultatelor evaluării preliminarii.

Director proiect

Prof. Univ. Dr. Cristin Constantin Vere