DESCRIEREA TEXTURILORimag.pub.ro/ro/cursuri/archive/ai_curs8.pdf · 1 LABORATORUL DE ANALIZA ŞI...

1

LABORATORUL DE ANALIZA ŞI PRELUCRAREA IMAGINILOR

C. VERTAN

DESCRIEREA TEXTURILOR

Textura

Nu exista definitii definitive ale texturii; textura este descrisa printermeni lingvistici precum : regularitate, omogenitate, granularitate, …


C. VERTAN

Textura : aspect similar in orice parte a sa, la o scala fixata.

2

albumul Brodatz(120 texturi)

3


C. VERTAN

Descrierea texturilor

Descrierea texturii este in principal bazata pe interpretarea valorilorpixelilor ca realizari ale unor procese aleatoare corelate. Descrierilevor fi deci de tipul unor distributii ale unor caracteristici (valoare,energie, variatie) in domeniul spatial al imaginii sau in domeniul defrecventa (caracterizare spectrala).

Descriere statistica:

descriere prin momente (descriptori de ordinul 1)descriere prin distributii spatiale (distributii de ordin cel putin 2).

descrierea in domeniul de frecventadescrierea prin modele (AR, fractali, ...)


C. VERTAN

Distributii de ordinul 1

4


C. VERTAN

Descrierea prin momente (distributii de ordin 1)

textura = colectie de pixeli, realizari particulare ale unuiproces aleator

Histograma regiunii este atunci functia de densitate de probabilitatea v.a., din care se pot calcula familii de momente statistice de diferiteordine.

Ipoteze implicite:

textura este generata de un proces aleator stationar

procesul aleator este si ergodic !!!


C. VERTAN

Distributii de ordinul 2

5


C. VERTAN

Matricea decoocurenta

Fie o textura definita pe suportul spatial al regiunii R.

Matricea de coocurenta a regiunii grupeaza probabilitatile de aparitiein regiunea R a diferitelor perechi de valori posibile ale pixelilor cesatisfac o regula impusa de plasament spatial.

Regula de plasament spatial este existanta unei separari spatialet = (Δi, Δj ) intre pixelii ce formeaza perechea.

Mt(a,b) = Prob{R(x) = a si R(x+t) = b}

M este o matrice patrata, de dimensiune egala cu numarul de valoriposibile diferite ale valorilor pixelilor.


C. VERTAN


Exemplu :

Culorile sunt coduri vizuale pentru numere :1 2 3 4 5

Valorile pixelilor sunt deci cuprinse in [1, 5], matricea de coocurentava avea dimensiunea 5.

Vector de translatie : (1, 1) (perechi de puncte situate pe diagonala,la distanta de 1).

6


C. VERTAN


4

t

4 perechi de pixeli devalorile specificate inrelatia spatiala specificata

se normalizeaza la numarultotal de perechi (32)


C. VERTAN


5

t



4

7


C. VERTAN


1

t

1 pereche de pixeli devalorile specificate inrelatia spatiala specificata


4 5


C. VERTAN


2

t



4 51

8


C. VERTAN

Matricea decoocurentat

4 51

2

0 1 0 0 0

0

0

0

0

0

1 1

20 0

3

05

5 0 1

321

matrice rara

continutul se schimbala modificarea lui t

se poate folosi ca atare(functie scalara de doua variabile)


C. VERTAN

Matricea decoocurentaParametri statistici [Haralick]

),(1 2 baMN

Oa bnz∑∑= t

),()(1

112 baM

baNO

a bnzloc ∑∑ −+

= t

omogenitatea si omogenitatea locala

uniformitatea

∑=a

aaMU ),(2t

directivitatea

∑=a

)a,a(MD t

9


C. VERTAN

Matricea decoocurentaParametri statistici [Haralick]

),()1(

12 baM

LNC

k kbanz∑ ∑

=−−= tcontrastul

( )),(),(log),(log11 baMbaMbaM

NNH tt

a bnznz

δ∑∑−= t

entropia

etc ....


C. VERTAN

Matricea de coocurenta Haralick

M = Mt1 + Mt2 + Mt3 + Mt4

t1 = (0,1)t2 = (0, -1)t3 = (1, 0)t4 = (-1, 0)

adica o matrice cumulata de coocurentapentru vecinatatea de baza V4

10


C. VERTAN

Matricea decoocurentageneralizata

Fie o textura definita pe suportul spatial al regiunii R.

Matricea de coocurenta generalizata a regiunii grupeazaprobabilitatile de aparitie in regiunea R a diferitelor perechi de pixelilor avand diferite valori ale unei trasaturi caracteristice, cesatisfac o regula impusa de plasament spatial.

Trasaturi caracteristice : valoare (nivel de gri)medie in vecinatateneuniformitate (laplacian)

Realtie spatiala : translatie (ca la coocurenta)distanta de separare (corelograma)


C. VERTAN

Corelograma

Corelograma este o matrice care grupeaza probabilitatile de a aveao pereche de pixeli de valori specificate separati de o distanta fixata.

d

d

pixel curent

pixeli ce satisfac constrangereaspatiala de a fi plasati la o distanta d de pixelul curent.

Pentru fiecare distanta d, corelogramaeste o matrice patrata de dimensiuneegala cu numarul de valori diferiteposibile pentru pixeli.

11


C. VERTAN

Simplificare : se calculeaza doar perechile de pixeli avandaceeasi valoare (auto-corelograma), pentru diferite distante.

Autocorelograma va avea un numar de coloane dat de numarulde distante diferite la care se face calculul si un numar de liniiegal cu numarul de valori posibile diferite ale pixelilor.

Distantele corespund in general metricilor discrete city-block(L1) si chess-board (L∞).

Auto-corelograma


C. VERTAN

Auto-corelogramaExemplu :


Valorile pixelilor sunt deci cuprinse in [1, 5], auto-corelogramava avea 5 linii.

Consideram distanta city-block (L1 - suma modulelor diferentelorde coordonate) si distantele 1 si 2 (2 coloane in auto-corelograma).

d=1 d=2

12


C. VERTAN

1 2

Auto-corelograma

d=1 : 2 perechi de puncted=2 : 0 perechi de puncte

2 0


C. VERTAN

1 2

Auto-corelograma


2 0

12 6

13


C. VERTAN

1 2

Auto-corelograma


2 0

12 6

0 0


C. VERTAN

1 2

Auto-corelograma


2 0

12 6

0 0

29 26

14


C. VERTAN

1 2

Auto-corelograma


2 0

12 6

0 0

29 26

9 4


C. VERTAN

Matricea deizosegmente

Izosegment (runlength) = grup de pixeli formand o componentaconexa, formand un segment de dreapta orientat pe o directie impusa

Matricea de izosegmente grupeaza (pentru o zona data si o directieimpusa) probabilitatea de aparitie a unui izosegment de diferitelungimi posibile si diferite valori.

Matricea are un numar de linii egal cu numarul de valori diferite alevalorilor posibile ale pixelilor din regiune si un numar de coloaneegal cu dimensiunea maxima a regiunii pe directia specificata.

)l,a(Mθ probabilitatea de a avea un izosegment de lungime lsi valoare a pe directia θ

15


C. VERTAN


Exemplu :


Valorile pixelilor sunt deci cuprinse in [1, 5], matricea de izosegmenteva avea 5 linii.

Sa consideram orientarea orizontala; dimensiunea maxim posibila aunui izosegment este dimensiunea orizontala a regiunii, deci 9.

In practica se considera imaginile binare obtinute prin extragereafiecarei valori posibile, pe care se numara izosementele corespunzatoare


C. VERTAN


1 2 3 4 5 6 7 8 9

1 izosegment delungime 2

1

16


C. VERTAN


1 2 3 4 5 6 7 8 95 izosegmente delungime 1

4 izosegmente delungime 2



10 0 0 0 0 0 0 0

5 4 1 1 0 0 000


C. VERTAN


1 2 3 4 5 6 7 8 93 izosegmente delungime 1 10 0 0 0 0 0 0 0

5 4 1 1 0 0 000

3 0 0 0 0 0 0 0 0

17


C. VERTAN




10 0 0 0 0 0 0 0

5 4 1 1 0 0 000

3 0 0 0 0 0 0 0 0

0 2 2 0 0 0 0 0 0


C. VERTAN





10 0 0 0 0 0 0 0

5 4 1 1 0 0 000

3 0 0 0 0 0 0 0 0

0 2 2 0 0 0 0 0 0

3 2 1 0 0 0 0 0 0

18


C. VERTAN

Matricea deizosegmenteParametri statistici [Gallaway]

∑∑−

= =

=1

0 1),(

L n

biz bMN

aa

θ

θ

∑∑−

= =

=1

0 12

),(11L n

biz bbM

NRF

a

aθθ ∑∑

−

= =

=1

0 1

2 ),(12L n

biz

bMbN

RFa

aθ

θ

∑∑−

= =⎟⎟⎠

⎞⎜⎜⎝

⎛=

1

0

2

1),(13

L n

biz

bMN

RFa

aθ

θ ∑∑=

−

=⎟⎠

⎞⎜⎝

⎛=θ

θ

n

b

L

iz

bMN

RF1

21

0),(14

aa

reg

iz

NNRF =5

numarul / proportia de izosegmente

proportia de izosegmente scurte / lungi

heterogenitatea valorilor / lungimilor


C. VERTAN

Extinderea parametrilor Galloway

19


C. VERTAN

Interpretarea statistica a matricii de izosegmente

20


C. VERTAN


C. VERTAN

Extindere : matricea de izosegmente fuzzy

21

De ce modelare fuzzy a valorii ?

Imprecizie perceptuala(JND - Just Noticeable Difference)

Erori de cuantizare si zgomot


C. VERTAN

Modelarea fuzzy a valorii

model fuzzy = functie Lukasiewicz

CC ∈→μ cc ],1;0[:

1

00

dmaxd(c,c’)

µc descrescatoare fata de distanta intre valori d(c,c’)

µc(c’)

µc(c’): grad de similaritate intre valorilec si c’


C. VERTAN

22

Definitia fuzzy a izosegmentului (1)

apartenenta (similaritatea) pixelilor din izosegment fatade valoare dorita este mare

SI

apartenenta (similaritatea) multimii de pixeli fata declasa “izosegment ideal” este mare

Masuram :neuniformitatea izosegmentului similaritatea multimii de pixeli cu un izosegment ideal


C. VERTAN

neuniformuitatea izosegmentului :intervalul de similaritate al valorilor, Δμc (in [0,1])

similaritatea setului de pixeli fata de izosegmentul ideal :similaritatea medie E[μc] (in [0,1])

(E[μc] e mare) SI (Δμc e mic)

µ = τ(E[μc], 1 - Δμc)

T-conorma (de ex. min)

1

1

00

1

1

00

micmare


C. VERTAN


23

Orice izosegment e caracterizat de un µ; il acceptam ?

Acceptam izosegmentul daca µ > Tµ (in [0,1])

Tµ → 1 : izosegment ideal (clasic, net)

Tµ∈ (0,1) : izosegment « suficient de uniform »

Tµ → 0 : izosegment de lungime maxima, confuzie maxima intre valori


C. VERTAN


Exemplu simplu (1)

Calculam izosegmentele rosii, orizontale

1 1 .8 .8 .2 1 .5 .2 similaritate a valorilor (culorilor)

Δμc=0.0; E[μc]=1.00 → µ=1.0Δμc=0.2; E[μc]=0.93 → µ=0.8

Δμc=0.2; E[μc]=0.90 → µ=0.8

Δμc=0.8; E[μc]=0.76 → µ=0.2

....


C. VERTAN

24

original

Tµ=0.99

Tµ= 0.75

Tµ= 0.5

Tµ= 0.1

parametru descala

reprezentare multirezolutie dictata de confuzia dintrevalori !


C. VERTAN

Exemplu simplu (2)

DESCRIEREA

TEXTURILOR

(cont)

25


C. VERTAN

Distributii in domeniul spectral(Fourier)

luminanta

Fourier

spectru de energie Distributiespectrala de energie

pre-procesare

textura colormasti

Descrierea spectrala a texturilor

concentrari liniareale energiei spectrale


C. VERTAN

26


C. VERTAN

Ce proprietati ale transformatei Fourier se folosesc ?

Cum se aleg mastile de decupare a spectrului ?

27

Descriptori MPEG - 7

Multimedia Content Descriptor Interface

MPEG - Motion Picture Experts Group

descriptors (D)description schemes (DS)description definition language (DDL) se fol. XML

28

Visual Descriptors

• Color Descriptors• Texture Descriptors• Shape Descriptors• Motion Descriptors for Video


C. VERTAN

MPEG-7: descriptori de texturi omogene

• sinusoida ponderatacu gaussiana

• modeleaza canale individuale

• fiecare canal raspundela un anume fel detextura

Filtre Gabor

∑ ∑+= +=

⋅=1

0

360

0

2, )],(),([

ω θ

θωθωo

o

PGp rsPi

P(P(ωω,,θθ) is the Fourier transform ) is the Fourier transform of an image represented in the of an image represented in the polar frequency domainpolar frequency domain

( ) ( ) ( )⎥⎥⎦

⎤

⎢⎢⎣

⎡ −−⋅⎥⎥⎦

⎤

⎢⎢⎣

⎡ −−=

2

2

2

2

, 2exp

2exp

rs

rsrsPG

θρ σθθ

σωω

θ,ω

]1[log10 ii pe +=

29


C. VERTAN


C. VERTAN

Functia de transfer in frecventae unui banc de filtre Gabor cu5 scale si 8 orientari

30


C. VERTAN

MPEG-7: descriptori de texturi neomogene

• Distributia spatiala a 5 tipuri de muchii– vertical, orizontal, 45°, 135°, non-directional

• imaginea impartita in 16 (4x4) blocuri• pt fiecare bloc se genereaza o histograma cu 5

bini• invarianta la scala


C. VERTAN

MPEG-7: descriptori de texturi neomogene

masti de gradient orientat

descompuneremultirezolutiea imaginii

31


C. VERTAN

Descriere texturilor prin modele

modele statistice (modele AR – autoregresive)

modele fractale


C. VERTAN

Fractali

Sierpinski

Koch Sierpinski

32


1Nr D = D - dimensiunea fractalar - factor de scalareN - numar submultimi scalate

(similare multimii)

Fractal = multime auto-similara (orice parte seamana cu intregul)

Dpdv matematic, un fractal este o multime de puncte a careidimensiune fractala este mai mare decat dimensiunea topologica.

Fractali

Koch

D = 1D = ln(4)/ ln(3) = 1.2619


Analizafractala

Presupunand ca obiectul studiat este un fractal, sa se calculezedimensiunea sa fractala (D).

1. Metoda numararii cutiilor (box counting)

Stabileste elementul de masura de baza (EM)(segment de dreapta, paralelipiped, ...)

Contorizeaza numarul de EM in obiectul studiat Repeta masuratoarea la diferite scale (dimensiuni EM)D se obtine din graficul log-log al numarului de EM

fata de scara (panta aproximarii liniare)

Este utila daca descrierea obiectului este binara.

33


“Numarareacutiilor”

1Nr D =N - numar decutii ce se suprapuncu obiectul

r - factorul de scala

N=8, r=1/4

N=18, r=1/8N=56, r=1/16


C. VERTAN


scara numarul EM1/4 8

1/8 18

1/16 56

1Nr D =0loglog =+ rDN

rND

loglog−=

D = 1.4

34


C. VERTAN


Numararea cutiilor pentru imagini cu nivele de gri:

aplicare directa prin considerarea subgraficului functieide luminanta;

aplicare pe mai multe imagini binare rezultate din binarizareaimaginii initiale, la mai multe nivele.

Teoretic putem lucra cu cutii cu orice numar de dimensiuni ...dar este mai comod sa folosim dreptunghiuri plane.


C. VERTAN

AnalizafractalaMetoda spectrala de determinare a lui D

1. aplica transformarea Fourier2. calculeaza distributia spectrala de energie la scara logaritmicain sectoare circulare ale spectrului3. aproximeaza liniar distributia energiei la scara logaritmica4. D este legat liniar de panta dreptei de aproximare

Utila mai ales in cazul descrierii obiectelor prin functii(imagini cu nivele de gri).

2/4 pD +=

35


Estimarefractala

FFT

energie

masca

D


C. VERTAN

Modele statistice de descriere a texturilor

Se bazeaza pe observatia ca intr-o textura exista o corelatiesemnificativa intre valorile pixelilor vecini, si deci ar fiposibila gasirea unei legi de generare a valorilor succesivedin textura.

Corelatia inseamna deci predictibiltatea valorilor din textura.

Modele AR – auto-regresive.

36


C. VERTAN

Model AR

valoarea curenta aiesirii modelului

combinatie liniara de valorianterioare ale iesirii modelului

valoare dela intrareamodelului

+ =

iesireintrarev(n) u(n)

)()(...)2()1()( 21 nvMnuanuanuanu M =−++−+−+

AR

parametrii modelului : aj

intrarea v(n) : zgomot alb

ordinul modelului : M


C. VERTAN

)()(...)2()1()( 21 nvMnuanuanuanu M =−++−+−+

)()(...)2()1()( 21 nvMnuwnuwnuwnu M +−++−+−=

∑=

+−=M

kk nvknuwnu

1

)()()( kk aw −=

valoarecurenta

“istorie” eroare(perturbatie)

Problema: cum calculam coeficientii modelului AR atunci canddispunem de esantioane u din acesta ?

37


C. VERTAN

∑=

=−M

kk nvknua

0

)()(

Trebuie plecat de la datele experimentale, din care vom deducemarimi statistice (functia de autocorelatie).

)()()()(0

lnunvlnuknuaM

kk −=−−∑

=

∑=

−=−−M

kk lnunvlnuknua

0

)()()()(

10 =a

∑=

−=−M

kk lnunvklra

0

)()()(termen nul; u(n-l)depinde doar deesantioane anterioareale zgomotului alb∑

=

=−M

kk klra

0

0)(

∑=

=−M

kk klra

0

0)(

∑=

−=M

kk klrwlr

1

)()( pentru l > 0

(ecuatia de definitie a autocorelatiei procesului aleator).

Daca ecuatia se scrie pentru l = 1, 2, ..., M si tinem cont ca functiade autocorelatie este simetrica, obtinem sistemul:

⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜

⎝

⎛

=

⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜

⎝

⎛

⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜

⎝

⎛

−

−

)(...

)2()1(

...)0(...)1()(

............)1(...)0()1(

)(...)1()0(

2

1

Mr

rr

w

ww

rMrMr

MrrrMrrr

M

ec. Yule-Walker

rRw =

38


C. VERTAN

In cazul 2D mai trebuie definita notiunea de “anterior” ...deci ordinea de parcurgere a pixelilor din regiunea ce sedoreste aproximata prin model autoregresiv.

Se pot alege mai multe modalitati de parcurgere a pixelilordin plan ... baleiaj normal, pe diagonale, parcurgere dupacurba Z sau Peano.

DESCRIEREA TEXTURILORimag.pub.ro/ro/cursuri/archive/ai_curs8.pdf · 1 LABORATORUL DE ANALIZA ŞI...

Documents

Transcript of DESCRIEREA TEXTURILORimag.pub.ro/ro/cursuri/archive/ai_curs8.pdf · 1 LABORATORUL DE ANALIZA ŞI...