Aplicații ale procesării și analizei imaginilor color

Am ales să studiez ca temă de cercetare “Aplicații ale procesării și analizei imaginilor color” urmând să sintetizez câteva din subiectele discutate pe această temă la EUSIPCO (The European Signal and Image Processing Conference) în ultimii 3 ani (2008 - 2010).

Îmi încep lucrarea prin a prezenta câteva noțiuni teoretice introductive legate de procesarea și analiza imaginilor.

Procesarea imaginilor este un domeniu al inteligenței artificiale, ocupându-se cu modul de reprezentare, reconstituire, clasificare, recunoaștere și analiză a imaginilor cu ajutorul calculatorului. Sursa de proveniență a imaginilor poate fi un dispozitiv de achiziție (camera video, scanner, captor radar) dar poate fi la fel de bine și o ecuație matematică, un ansamblu de date statistice, etc. După parerea mea, există două motive principale pentru care se apelează la procesarea imaginilor:

1. îmbunătățirea calității unei imagini pentru o mai bună vizualizare de către oameni, aceasta însemnând: reducerea zgomotului și a altor defecte ce pot fi prezente în imagine (datorate, de exemplu, dispozitivului de achiziție), evidențierea unor zone de interes prin modificarea luminozității, a contrastului, accentuarea muchiilor, etc.

2. extragerea de informații dintr-o imagine, informații ce pot reprezenta intrarea pentru un sistem automat de recunoaștere și clasificare. Aceste informații pot fi: diferite distanțe și relații dintre obiectele prezente în imagine, parametri geometrici (arie, perimetru), etc.

Exemple clasice de aplicații pentru procesarea imaginilor (și recunoașterea formelor) includ: recunoașterea caracterelor, recunoașterea amprentelor, prelucrarea imaginilor medicale, a imaginilor satelit. Aplicațiile acestui domeniu sunt practic nelimitate: de la simple corecții ale defectelor imaginilor până la aplicații complexe în medicină, industrie, securitate, armată.

Atât în procesarea imaginilor alb-negru cât și a imaginilor color, detecția muchiilor este una dintre operațiile de bază. Muchia în imaginile alb-negru este definită într-un mod acromatic, de fapt, este o discontinuitate în funcția luminozității. Pe de altă parte, muchia în imaginile color este o extensie a muchiei în imaginile alb-negru cu scopul de a găsi discontinuitățile de-a lungul regiunilor adiacente a unei imagini color într-un spațiu 3D color dependent de unele funcții de măsură a distanțelor în spațiul color. Principala problemă a detecției muchiilor color este necorelarea tehnicilor monocrome aplicate celor trei plane de culoare. De exemplu, pentru netezirea unei anumite componente de culoare din imagine, filtrarea vectorială va da rezultate incorecte. Motivul este filtrarea nelineară a operației de netezire. Folosind filtrarea vectorială, pixelul median rezultat prin operațiile vectoriale nu va fi același cu fiecare pixel median de pe cele trei plane de culoare (roșu, verde sau albastru) și prin urmare, rezultatul poate să conțină

zgomot și/sau o valoare incorectă a pixelului. În schimb, folosind filtrul median, se va alege pixelul corect deoarece este aleasă valoarea corectă a medianei pixelului folosind informații despre distanță, considerând culoarea un vector 3D. Există și operații alternative atunci când, pentru filtrarea neliniară, sunt folosite operații vectoriale. O nouă metodă folosește Algebra Geometrică, ce definește culoarea ca fiind o singură entitate vectorială folosită pentru procesarea imaginilor color.

Metoda standard a aplicațiilor de procesare folosită pentru a identifica trăsăturile critice ale imaginii se bazează pe proprietățile curbe și de rotație ale vectorilor. Prin urmare, în procesarea de imagini, tehnicile de convoluție și corelație sunt foarte des întâlnite în domeniul scalar. Aceste tehnici au fost extinse în domeniul vectorial pentru vizualizare, analiza semnalului și aplicații cum ar fi identificarea imaginii ADN-ului.

În ultimii ani, dispozitivele mobile și nu numai au fost dotate cu obiective tot mai bune și display-uri cu o rezoluție tot mai mare. Un alt pas important în procesarea unei imagini color într-un lanț digital de genul obiectiv-display este scalarea imaginii. Un senzor de 5 megapixeli este tipic unei camere digitale dar este folosit și la telefoanele mobile performante, acest parametru crescând constant. Mărimea display-urilor dispozitivelor mobile nu a crescut în același ritm, dar imaginile captate trebuie micșorate pentru a încăpea pe display. Aici este aplicat cu succes acest tip de procesare, dimensionarea imaginii. Acest lucru înseamnă micșorarea imaginii folosind metode de decimare. În alte cazuri, o imagine este mai mică decât display-ul sau conține un anumit detaliu. În acest caz imaginea poate fi mărită. Această operație folosește metode de interpolare. Metodele de decimare și de interpolare de bază nu sunt complexe și sunt implementate cu succes, dar produc distorsiuni și pixelații severe. Algoritmii de micșorare și mărire trebuie să fie adecvați, altfel sunt introduse în imagine distorsiuni, neteziri excesive, pixelații sau muchii crestate.

Dispozitivele mobile impun limite stricte în ceea ce privește dimensiunea memoriei, puterea de procesare disponibile pentru procesarea imaginilor, dar îmbunătățesc algoritmii necesari operațiunilor. Imaginile de dimensiuni mari folosesc multă memorie și putere de procesare. Cantitatea este în directă legătură cu numărul pixelilor ce compun imaginea.

În literatură sunt prezentate mai multe metode de micșorare și mărire. În operația de micșorare, mulți pixeli inițiali corespund unui singur pixel final, iar în operația de mărire invers. În metodele de micșorare de bază doar unul din pixelii inițiali este ales pentru a fi pixelul final. Această metodă se numește metoda celui mai apropiat vecin. Această metodă produce distorsiuni severe.

Câteodată doar o parte din imagine ne interesează și variind nivelul de mărire ne ajută să vizualizăm această parte. Operațiunea de mărire poate fi implementată folosind anumiți algoritmi. O metodă de bază pentru această operațiune se numește copierea pixelului (pixel copy), ceea ce înseamnă că se va copia un pixel de intrare peste mai mulți pixeli de ieșire.

Această metodă produce pixelații puternice. Rezultate mai bune se obțin folosind metode care folosesc unele filtrări spațiale. Fiecare metodă în parte are o anumită complexitate.

Din cauză că se variază dimensiunea imaginii sursă și imaginii target, este nevoie de metode care suportă toate rapoartele posibile. O altă metodă cunoscută este interpolarea bilineară. În această metodă, pixelul de ieșire reprezintă media ponderată a pixelilor de intrare vecini. Practic, ponderea poate fi calculată pentru orice tip de raport. De aceea, interpolarea bilineară este un bun compromis între complexitate și calitate. Deasemenea, o medie ponderată a pixelilor vecini poate fi folosită și în cazul decimării. O altă metodă care folosește media ponderată a pixelilor vecini este LUT (Look-up Table), aceasta fiind rapidă și potrivită pentru implementarea pe dispozitivele mobile.

Mai departe discut despre procesul generării unei imagini cu super-rezoluție (SR), dintr-o imagine de mică-rezoluție (low-resolution LR). O aplicație importantă a acestei procesări stă în industria cinematografică și televiziune, fiind nevoie de proiecții cu rezoluție mare (HD, 2K, 4K). O altă aplicație a super-rezoluției poate fi găsită pe site-urile de video streaming, care de cele mai multe ori stochează fișiere video de mică rezoluție (352 x 288 pixeli) din mai multe motive. Problema apare atunci când utilizatorii încearcă să urmărească fișierul video pe tot ecranul (full screen) la o rezoluție, să zicem, de 1024 x 768, sau mai mare. Acest proces cere ca imaginile să fie interpolate la o rezoluție mai mare. O altă aplicație vine odată cu apariția display-urilor HDTV. Pentru a se putea folosi cât mai bine capacitățile unui astfel de display, semnalul de intrare care vine de la o sursă de rezoluție scăzută (LR) trebuie să fie mai întâi transformat într-unul cu o rezoluție mai mare prin interpolare.

Producătorii din industria cinematografică caută o soluție care să înglobeze tot procesul – de la filmare până la post-producție și mai departe, la proiecție. Recent apărut, cinema-ul digital încă are de suferit din cauza limitărilor care pot să împiedice productivitatea și creativitatea cineaștilor și companiilor din acest domeniu. O astfel de limitare este faptul că, camerele folosite pentru rezoluții mari sunt foarte scumpe și fișierele produse și stocate au dimensiuni mari. Din acest motiv, studiourile încearcă să capteze imaginile la o rezoluție mai mică (2K). Mai târziu, secvențele pot fi interpolate în secvențe de 4K prin folosirea unei tehnici de super-rezoluție și proiecția se face pe dispozitive de mare rezoluție.

Există trei categorii de abordări pentru această problemă: metode bazate pe interpolare, metode bazate pe reconstrucție și metode bazate pe învățare. Cea mai des folosită în practică este metoda interpolării, cum ar fi interpolarea bilineară sau bicubică, acestea au nevoie de puține resurse. Dar fiind metode foarte simplificate, acestea produc imagini cu unele probleme cum ar fi: distorsionări, imagini blurate și muchii în zig-zag. Între timp, au fost propuși unii algoritmi pentru a îmbunătăți acest tip de abordare. Unul dintre cei mai buni algoritmi de interpolare este bazat pe transformarea facțională, acesta furnizează o reprezentare geometrică multidimensională eficientă pentru imagini naturale.

În continuare vreau să discut despre despre o metodă simplă, numită “codare risipită” cu o bibliotecă redundanță, având un randament bun în reprezentarea imaginilor, prin care unele procese cum ar fi eliminarea zgomotului și eliminarea estompărilor sunt cu succes rezolvate. Mai mult de atât, de curând, în domeniul neuroștiințelor, ipotezele funcționale, care în domeniul reprezentărilor semnalelor nervoase sunt implementate prin codarea risipită, câștigă tot mai mult teren.

O metodă simplă pentru descoperirea falsurilor și imitațiilor artistice a fost demonstrată de către cercetători. Abordarea se face prin “codare risipită”, fiind creată o bibliotecă virtuală pentru operele unui artist și le separă transformându-le în elemente vizuale dintre cele mai simple. Cele verificabile pot fi practic reconstruite folosindu-se proporții variate ale acelor elemente simple, lucru care imitatorii nu îl pot face. Analiza matematică a operelor de artă este o disciplină relativ nouă care a luat amploare în ultimii ani. Totul a început în 1999 când s-a descoperit că faimoasele “picturi stropite” a lui Jackson Pollock pot fi modelate în fracțiuni matematice care se repetă la o scară foarte mică, computerele fiind singurele care pot detecta paternele. Această metodă constă în divizarea versiunilor digitale ale tablourilor confirmate în 144 de pătrațele, câte 12 atât vertical cât și orizontal. După aceea computerul le combină până când obține o proporție care recreează însușirile de bază ale tabloului. Micile elemente sunt filtrate în continuare iar cea mai mică greșeală este detectată dacă ea există.

O altă operațiune de procesare a unei imagini color este filigranarea. În funcție de obiectivele procesării, această abordare se poate clasifica în diagrame de filigranare ușoară sau filigranare puternică. Diagramele de filigranare puternică sunt folosite în scopuri de protecție de drepturi de autor pentru imagini, pe când, diagramele de filigranare ușoară sunt folosite pentru autentificarea imaginilor.

În domeniul procesării imaginilor color este abordată și problema compresiei. Cele mai multe tehnici de compresie a imaginilor color se bazează pe decorelarea culorilor primare. Această metodă constă în aplicarea unei transformări a componentelor color (CCT) în componentele RGB pentru a reduce corelarea dintre culori, iar apoi codând separat fiecare componentă color. JPEG și JPEG2000 sunt exemple de algoritmi care se bazează pe această abordare. Recent a fost prezentată o nouă abordare a compresiei imaginilor color bazată pe utilizarea corelației dintre componentele color, devansând metoda obișnuită bazată pe decorelare.

Cea mai nouă metodă de compresie a imaginilor color folosește ambele abordări generalizate. Se deduce și se optimizează comportamentul R-D. Optimizarea oferă o nouă perspectivă în ceea ce privește folosirea metodei optime CCT pentru fiecare plan de culoare. De altfel, aceasta este și baza unui nou algoritm de compresie care folosește CCT.

Chiar și modelul perfect are imperfecțiuni. Chiar și cea mai bună fotografie se poate îmbunătăți. În general procesările foto includ și post-procesări, în scopul ameliorării sau ajustării imaginilor captate din diferite surse sau dispozitive, îmbunătățirea imaginii în scopul punerii în evidență a caracteristicilor și conținutului acesteia. Post-procesarea se regăsește chiar și în fotografia unor mari fotojurnaliști, chiar intensivă uneori, doar că nu își propune să altereze realitatea prin elemente exagerate coloristic sau adăugarea de elemente externe, ci să sublinieze o anumită atmosferă, accentuând, de multe ori, dramatismul momentului.

Bibliografie:

1. Advancement in color image processing using geometric algebra – EUSIPCO 2008

2. A fast method for scaling color images – EUSIPCO 2009

3. Grouplet-based color image super-resolution – EUSIPCO 2009

4. Color shrinkage for sparse coding of color images – EUSIPCO 2010

5. Pattern-based Fragile Watermarking for Color Images – EUSIPCO 2010

6. Optimal Color Image Compression using Localized Color Components Transforms – EUSIPCO 2008