10. Rezolvări probleme - ETTI · 10. Rezolvări probleme În cadrul acestui capitol ne propunem...

10. Rezolvări probleme

În cadrul acestui capitol ne propunem să prezentăm, în plus faţă de problemele rezolvate în cadrul fiecărui capitol, rezolvarea a câtorva probleme din cele propuse spre rezolvare cititorilor, deci a unei selecţii, din cadrul capitolelor anterioare.

Problemele rezolvate sunt acelea care prin conţinutul lor facilitează înţelegerea unor concepte fundamentale, prezintă anumite metode specifice de rezolvare, au un anumit grad de dificultate, au o semnificaţie specifică (unele dintre ele fiind considerate probleme fundamentale), au o utilitate practică directă etc.

Capitolul 5 Problemă 5.4: Demonstraţi relaţiile (5.15)(a) şi (b).

.1)(lim)

},...,1{)(,0)(lim)

aFb

NipentruaFa

xa

xai (10.1)

Rezolvare: Aşa după cum ştim de la variabilele aleatoare, probabilitatea ca variabila aleatoare x să ia valoarea este: 0}{ xP .

În cazul nostru x este vector aleator iar componentele sale, xi, sunt variabile aleatoare pentru care vom avea: .0}{ ixP

Această ultimă relaţie împreună cu relaţia de incluziune dintre următoarele evenimente:

}{},...,,...,{},...,,...,{lim 1111

iNNiNNiia

xaxxaxaxaxaxi

(10.2)

conduce la următoarea relaţie între probabilităţi:

.0}{},...,,...,{)(lim 11

iNNixa

xPaxxaxPaFi

(10.3)

Algoritmi şi metode inteligente cu aplicaţii în electronică şi biomedicină, vol I

390

.1)(},...,,...,{

},...,,...,{lim)(lim

1

11

SPxxxP

axaxaxPaF

Ni

NNiia

xa

(10.4)

Problemă 5.5: Demonstraţi relaţiile (5.32):

).,()(

),()(

bFbF

aFaF

xyy

xyx (10.5)

Rezolvare: În continuare demonstrăm că funcţiile de distribuţie marginale, Fx(a) şi Fy(b), se obţin cu ajutorul relaţiilor anterioare.

Evenimentele {x ≤ ∞} şi {y ≤ ∞} sunt evenimente sigure:

{x ≤ ∞} = {y ≤ ∞} = S (10.6)

Rescriind evenimentele {x ≤ a} şi {y ≤ b} ca o intersecţie cu evenimentul sigur convenabil ales:

{x ≤ a} = { x ≤ a, y ≤ ∞} şi {y ≤ b} = { x ≤ ∞, y ≤ b} (10.7)

şi aplicând probabilitatea, P(·), ambilor membri ai celor două egalităţi obţinem:

),(},{)(}{

),(},{)(}{

bFbyxPbFbyP

aFyaxPaFaxP

xyy

xyx (10.8)

Problema 5.6: Demonstraţi relaţiile (5.42) şi (5.43).

Deci, în cadrul acestei probleme dorim să demonstrăm că pentru doi vectori aleatori discreţi/continui se obţine din funcţia masă/densitate de probabilitate comună probabilităţile/densităţile marginale pe baza relaţiilor:

i

ixyy

j

jxyx

bapbpb

bapapa

),()()

),()() şi, respectiv,

.),()()

),()()

dabafbfd

dbbafafc

xyy

xyx

Rezolvare: Deoarece indicii i şi j baleiază toate valorile posibile, ai şi bj, aferente vectorilor aleatori discreţi x, respectiv, y, evenimentele {x= ai} şi {y= bj} formează două partiţii ale lui S. Astfel, pe măsură ce j parcurge toate valorile posibile, bj, evenimentele {x= a, y= bj} sunt mutual exclusive iar reuniunea lor conduce la evenimentul {x= a, S}.

Rezolvări probleme

391

Luând probabilitatea acestor evenimente obţinem:

)(),(),() apSapbapa xxyj

jxy (10.9)

În mod similar se arată că:

)(),(),() bpbSpbapb yxyi

ixy (10.10)

Pentru cazul continuu avem:

a byxxy dvduvufbaF ),(, (10.11)

Diferenţiind relaţia de mai sus în raport cu variabila a, respectiv, b, obţinem:

bxy

xydvvaf

a

baF),(

),( şi .),(

),(

axy

xydubuf

b

baF

Punând b = ∞ (respectiv, x = ∞) obţinem în final:

dbbafdvvafaf

a

aF

a

aFc xyxyx

xxy),(),()(

)(),() (10.12)

.),(),()(

)(),() dabafdubufbf

b

bF

b

bFd xyxyy

yxy (10.13)

Problemă 5.8: Se ştie că pentru evenimentele A şi B avem P(A)=0.35,

P(B)=0.60 şi P(AB)=0.20. Să se calculeze: a) Probabilitatea ca să se realizeze evenimentul B atunci când s-a

realizat evenimentul A. b) Probabilitatea ca să se realizeze evenimentul A atunci când s-a

realizat evenimentul B. c) Probabilitatea ca să se realizeze evenimentul B atunci când nu s-a

realizat evenimentul A

Rezolvare: Din formula probabilităţii avem: a) P(B|A) = P(AB)/P(A)=0.20/0.35=4/70.57. b) P(A|B) = P(AB)/P(B)=0.20/0.60=1/30.33. c) P(B|Ā) = P(AB)/P(Ā)= P(AB)/[1-P(A)]=0.20/0.65=4/130.31.

Problema 5.9: Demonstraţi validitatea relaţiei (5.56) în conformitate cu


392

ipoteza anterioară.

Deci, dacă considerăm partiţia U = [A1, A2, ..., An] a evenimentului

sigur S şi fie B un eveniment arbitrar din S, atunci:

)()|(...)()|()( 11 nn APABPAPABPBP (10.14)

Rezolvare: În mod evident, folosind şi distributivitatea operaţiei de înmulţire din teoria mulţimilor vom putea scrie:

nn BABABAAAABBSB ...)...( 2121 (10.15)

Întrucât evenimentele Ai şi Aj sunt mutual exclusive atunci şi evenimentele BAi şi BAj vor fi, de asemenea, mutual exclusive. Folosind a treia axiomă a probabilităţii vom avea:

)(...)()()( 21 nBAPBAPBAPBP (10.16)

Din formula probabilităţii condiţionate (5.52) avem că:

)()|()( iii APABPBAP (10.17)

de unde rezultă mai departe teorema probabilităţii totale:

)()|(...)()|()( 11 nn APABPAPABPBP (10.18)

Problema 5.12: Să se demonstreze că în relaţia (5.63), actualizarea lui P(A) conform regulei lui Bayes are loc numai atunci când P(B|A) P(B| Ā), unde Ā reprezintă evenimentul complementar lui A (evenimentul A este diferit de evenimentul sigur).

Rezolvare: Pornind de la formula regulei lui Bayes scrisă pentru cele două evenimente complementare, A şi Ā, (relaţia (5.65)) şi egalând probabilitatea condiţionată cu probabilitatea marginală, a priori, avem că:

)()()|()()|(

)()|()|( AP

APABPAPABP

APABBAP

P (10.19)

De aici rezultă mai departe:

)](1)[|()()|()|(1)](1)[|()()|(

)|(PAPABPAPABPABP

APABPAPABP

AB

(10.20) În final obţinem:

0)](1)][|()|([ APABPABP (10.21)

Rezolvări probleme

393

de unde rezultă fie P(A)=1 (ipoteza exclude această variantă), fie P(B|A) = P(B|Ā).

În consecinţă, pentru P(B|A) P(B| Ā) avem:

P(A|B) P(A) (10.22)

Problemă 5.15: Dacă pentru două evenimente, A şi B, diferite de evenimentul imposibil, este adevărată egalitatea P(B|A) = P(B|Ā), atunci, să se demostreze că evenimentele A şi B sunt independente.

Rezolvare: Dacă P(B|A) = P(B|Ā) rezultă atunci, conform exerciţiului Problema 5.12, că P(A|B) = P(A) de unde deducem, ţinând cont de relaţia (5.105), că evenimentele A şi B sunt independente.

Problema 5.22: Să se estimeze punctual, prin metoda bayes-iană,

parametrul scalar media, = mx, al unei populaţii a cărei caracteristică studiată este descrisă de vectorul aleator unidimensional, x, despre care se ştie că este distribuit conform unei legi de distribuţie normale,

x ~ N(, σx2) (10.23)

şi pentru care se cunoaşte doar varianţa, σx2. De asemenea, mai

dispunem:

de o serie de informaţii a priori despre parametrul care ne fac să credem că valorile posibile pentru acesta respectă, de asemenea, o distribuţie normală, de medie şi varianţă, cunoscute, respectiv,

~ N( 0, σ02) (10.24)

şi de un eşantion, de dimensiune n, de date empirice.

Să se comenteze rezultatul obţinut.

Rezolvare: Conform relaţiei (5.134), desfăşurarea temporală a fazelor procesului de estimare bayesiană presupune următoarele:

a) specificarea, mai întâi, a unei distribuţii de probabilitate a priori pentru parametrul ce ne interesează; în cazul nostru ~ N( 0, σ0

2), unde 0

reprezintă cea mai bună estimare pe care o putem realiza în lipsa oricăror altor informaţii disponibile care să confirme sau să infirme această convingere iar σ0

2 reprezintă incertitudinea noastră legată de această estimare;


394

b) obţinerea apoi de noi informaţii privind caracteristica studiată a populaţiei – informaţii furnizate de o nouă evidenţă statistică (eşantion de date empirice, , Xk=[ak

1,..., akn], obţinut, de regulă, în urma

realizării unui experiment fizic);

n

i

ikk afXf i

1θ|aθ|X )|()|( (10.25)

Această etapa este urmată, în final, de

c) combinarea, conform teoremei lui Bayes, a celor două informaţii de mai sus şi obţinerea corespunzătoare a distribuţiei posterioare a parametrului în cauză; această distribuţie oferă, mai departe, baza pentru inferenţele statistice privind parametrul al populaţiei.

)|(X|θ kXXf

dfXf

fXf

Xf

fXf

k

k

k

k

)()|(

)()|(

)(

)()|(

|

||

θθX

θθX

X

θθX

n

i

ikk faffXf i

1θθ|aθθ|X )()]|([)()|(

(10.26)

În relaţia de mai sus reprezintă un factor de normalizare ce depinde de eşantionul Xi şi este independent de . Această ecuaţie arată cum observarea unui set de date empirice modifică părerea noastră despre adevărata valoare a lui , exprimată iniţial prin densitatea a priorică, f().

Cunoscând formele funcţionale ale densităţilor de mai sus pentru:

variabila aleatoare ~ N( 0, σ02) şi, respectiv,

variabilele aleatoare ai| ~N(, σx2), consecinţă directă a

relaţiei x~N(, σx2),

unde prin N(,) înţelegem familia de distribuţie normală dată de relaţia (5.115), obţinem în continuare:

)|(X|θ kXXf

20

20

2

2

2

)(

01

2

)(

2

1

2

1

ee

n

i

a

x

x

ik

2

0

0

1

2

2

1

'

n

i x

ika

e

Rezolvări probleme

395

20

20

2

2

22

22)(

2

1

'

x

i i

ik

ik naa

e

20

202

220

02

220

2)(

112

1

2

1

'

i

ik

xi

ik

xx

aan

e

20

02

220

2

12

1

2

1

'' i

ik

xx

an

e (10.27)

În relaţiile mai sus prezentate constantele ’ şi ’’ includ constanta şi, respectiv, toţi acei factori rezultanţi care nu depind de . Ceea ce am obţinut pentru densitatea posterioară a lui este o funcţie exponenţială a unei funcţii cuadratice de ; mai exact, vorbim tot de o funcţie gaussiană. Dacă scriem forma generică a funcţiei de densitate gausiană pentru vectorul aleator |Xk ~ N( 1, σ1

2) astfel:

21

21

21

1221

2

1

1 21

2

1

1

2

1

1

X|θ2

1

2

1)|(

eeXf k (10.28)

şi egalăm coeficienţii din relaţia (10.27) cu cei corespondenţi din relaţia (10.28) obţinem:

20

221

11

x

n şi 20

022

1

1

xn

x

(10.29)

unde

n

i

ika

nx

1

1 , reprezintă media aritmetică a valorilor particulare ce

compun eşantionul Xk a v.a. x.

Figura 10.1. Învăţarea Bayes-iană a parametrului media pentru cazul

distribuţiilor normale unidimensionale

0

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

0.45

-5 -1 3 7 11 15 19 23 27 31 35 39 43 47 51

Densitatea anterioară

Funcţia de verosimilitate

Densităţi posterioarecalculate pentru

diverşi n:

2

35 8

5


396

Relaţiile de mai sus pot fi rescrise şi în următoarele forme

echivalente:

20

2

20

221

nx

x

(10.30)

şi, respectiv:

02

02

2

20

2

20

020

21

2

21

1

nx

n

nx

n

x

x

xx

(10.31)

Comentarii: După cum se poate remarca din relaţiile (10.31) precum şi din

Figura 10.1, în acest caz particular, valoarea estimată pentru paramerul este o combinaţie liniară între valoarea a priorică, propusă iniţial, 0, şi valoarea reprezentând estimatul clasic al aceluiaşi parametru, respectiv, media aritmetică a eşantionului, x ; coeficienţii care ponderează aceste două valori sunt non-negativi şi sumează la valoarea 1, fapt care determină ca estimatul bayesian 1 să ia valori undeva între valoarea a priorică şi estimatul clasic, după cum urmează: dacă σ0 ≠ 0 atunci, pentru n avem σ1 0 iar densitatea

posterioară, f|X( |Xk), devine o funcţie cu vârf tot mai ascuţit (se apropie tot mai mult de o funcţie Dirac); acest comportament – ilustrat grafic mai jos pentru diverse valori ale dimensiunii n a eşantionului –, este cunoscut ca învăţarea Bayesiană; în plus, tot ca o consecinţă directă avem că n σ1

2/ σx2 1 ceea ce înseamnă

că estimatul bayesian tinde tot mai mult, pe măsură ce n creşte, către estimatul clasic, x , efectul informaţiilor a priori devenind unul neglijabil;

dacă σ0 = 0 atunci ne aflăm în cazul degenerat în care certitudinea noastră privind egalitatea = 0 este atât de puternică încât nici un număr de observaţii, oricât de mare ar fi acesta, nu ar putea schimba opinia noastră;

un alt caz extrem este şi acela în care σ0 >> σx; intuitiv acesta s-ar traduce prin aceea că suntem atât de nesiguri privind posibila valoare 0

pentru parametrul nostru necunoscut încât la calculul estimatului bayesian se ţine cont practic numai de observaţiile eşantionului

Rezolvări probleme

397

Problema 5.26: Ştiind că media unei variabile aleatoare reale este mx = E{x} în timp ce varianţa aceleiaşi variabile este dată de x 2 = E{(x –mx)2} determinaţi E{x2} în funcţie numai de mx şi x 2.

Rezolvare: Din definiţia varianţei avem:

2222

2222

}{}{2}{

}2{)(

xxx

xxxx

mxEmxEmxE

mxmxEmxE

(10.32)

de unde rezultă mai departe relaţia dorită, respectiv: 222}{ xx mxE (10.33)

Problemă 5.30: Demonstraţi că atunci când vectorii aleatori x şi y sunt independenţi atunci sunt şi necorelaţi.

Rezolvare: Pentru a demonstra această problemă plecăm de la ipoteza că

vectorii aleatori x şi y sunt independenţi; atunci, prin definiţie, este adevărată relaţia:

fxy (a, b) def

fx (a) ∙ fy (b) (10.34)

şi trebuie să demonstrăm că pentru aceiaşi vectori este adevărată şi relaţia de mai jos ce defineşte vectorii necorelaţi:

Rxy = E{ x y*T } = E{ x } E{ y*T } = mxmy*T (10.35)

Plecând de la definiţia matricei de corelaţie pentru vectorii aleatori x şi y:

dbdabafabxyER xy

TTxy ),(** (10.36)

şi folosind relaţia (10.34) obţinem:

dbbfbdaafadbdabfafabR y

Txyx

Txy )()()()( ** (10.37)

Din relaţia anterioară rezultă în continuare:

Tyx

TTxy mmyExEyxER ***, (10.38)

Problemă 5.33: Dacă aveţi o variabilă aleatoare x monodimensională,

caracterizată de o funcţie de distribuţie normală standard N(0, 1), determinaţi modalitatea de a o converti într-o altă variabilă aleatoare y, caracterizată de următoarea distribuţie generică, N(my,


398

σy2).

Rezolvare: y = my + σyx (10.39)

Problemă 5.37: O dată cu creşterea numărului de eşantioane a ferestrei pe

care se face analiza se observă că un număr din ce în ce mai mare de componente spectrale devin semnificative din punct de vedere statistic (au un grad de grad de încredere mai mare sau egal cu 95%). Justificaţi acest fenomen.

Rezolvare: O dată cu creşterea numărului de eşantioane a ferestrelor pe baza cărora se face analiza în vederea determinării estimatorului de masă al coerenţei numărul de segmente luate în calcul devine din ce în ce mai mic iar rezultatele vor fi din ce în ce mai puţin reprezentative statistic. Deci din punct de vedere statistic o fereastră cu număr minim de eşantioane va determina o reprezentativitate statistică crescută a setului de date, dar rezoluţia (ca un dezavantaj direct) spectrală va fi slabă.

Variind numărul de eşantioane ale ferestrei utilizate în analiză se va observa că anumite componente spectrale depăşesc sau nu gradul de încredere, devenind statistic reprezentative, în timp ce altele nu mai sunt capabile să aibă o relevanţă statistică. Se recomandă alegerea componentelor spectrale relevante statistic dintre acelea care depăşesc gradul de încredere indiferent de numărul de eşantioane ale ferestrei analizate.

Capitol 6 Problemă 6.6: Încercaţi să demonstraţi validitatea relaţiilor:

d

jjxC

1

şi

d

jjx trCtr

1

.

Rezolvare:

(a).

I

TT

TTTx

EEEE

EEEEEEC

**

*** )(

(10.40)

Rezolvări probleme

399

În final rezultă:

d

jjxC

1

(10.41)

Pentru demonstrarea acestui rezultat final am utilizat relaţia BABA , vezi anexa “Relaţii matematice fundamentale”; aici, prin

|| s-a simbolizat determinantul.

(b).

trEEtrEEtr

EEtrEEtrCtr

I

TT

TTx

**

**

)(

)(

(10.42)

În final rezultă:

d

jjx trCtr

1

(10.43)

Pentru demonstrarea acestui rezultat final am utilizat relaţia tr (A B) = tr (B A), vezi anexa “Relaţii matematice fundamentale”.

Capitol 7 Problemă 7.4: Determinaţi toate relaţiile precum şi interdeterminismul

reciproc care în final să vă conducă la obţinerea unei relaţii generale (fără nici o particularizare) similară cu (7.44) pornind de la relaţia (7.37). Implementaţi această relaţie într-un program scris în limbajul LabWindows CVI şi verificaţi corectitudinea ei prin plot-area suprafeţei de decizie.

Rezolvare: În cadrul clasificatorului Bayes-ian ecuaţia funcţiei discriminant asociată fiecărei clase este următoarea:

ik

iiiiT

ii cPCD

maCmaag )(lnln2

1)2ln(

2)()(

2

1)( 0100 (10.44)

Având în vedere că în problema analizată avem numai două clase definim:

y

xao ,

1

11

y

x

m

mm ,

2

22

y

x

m

mm ,

dc

ba

cc

ccC

11

1111 ,

dc

ba

cc

ccC

22

2212


400

Deoarece în relaţia (1) termenul (D/2) ln(2) este comun tuturor funcţiilor discriminant acesta poate fi eliminat din toate relaţiile de forma (1). În continuare dezvoltăm relaţia (1):

iyi

xi

idic

ibiayixii k

my

mx

cc

ccmymx

y

xg

,

2

1 (10.45)

iyi

xiyiidxiibyiicxiiai k

my

mxmycmxcmycmxc

y

xg

,

2

1

(10.46)

iyiyiidxiib

xiyiicxiiai

kmymycmxc

mxmycmxcy

xg

}

{2

1

(10.47)

În final după efectuarea tuturor înmultirilor din paranteze şi gruparea termenilor putem scrie relaţia sub următoarea formă canoncă:

i

e

yixiibicyiidxiia

d

ibic

b

xiibicyiid

a

yiibicxiiaidiai

kmmccmcmc

xyccymccmc

xmccmcycxcy

xg

i

ii

i

22

22

2

22

1

(10.48)

cu notaţiile făcute în relaţia (10.48):

yiibicxiiai mccmca 2 (10.49)

xiibicyiidi mccmcb 2 (10.50)

ibici ccd (10.51)

yixiibicyiidxiiai mmccmcmce 22 (10.52)

obţinem următoarea formă ai relaţiei (10.48):

Rezolvări probleme

401

iiiiiidiai kexydybxaycxcy

xg

22

2

1 (10.53)

Dar ştim, că pentru determinarea ecuaţiei suprafeţei de decizie între clasa i şi clasa j trebuie să egalăm funcţiile discriminant a celor două clase:

gi (x) = gj (x) (10.54)

Având în vedere ca avem doar două clase, putem scrie:

22222

22

22

111112

12

1

2

12

1

kexydybxaycxc

kexydybxaycxc

da

da

(10.55)

Care se poate scrie în următoarea formă canonică care este de altfel şi răspunsul la problema noastră:

022 212121

12122

212

21

kkeeyxdd

ybbxaayccxcc ddaa (10.56)

Capitol 8 Problema 2: Considerăm următorul set de antrenare generat de o funcţie

densitate de probabilitate necunoscută f(x):

48.0,41.0,32.0,19.0,12.0,01.0X .

(a) Găsiţi analitic estimatul lui f(x) prin algoritmul celor mai apropiaţi 3 vecini.

(b) Reprezentaţi în mod grafic estimantul funcţiei densitate de probabilitate (folositi-vă pentru aceasta de mediul LabWindows CVI sau de editorul Scientific Work place).

Rezolvare:

(a) Parcurgând aceeaşi paşi şi acelaşi raţionament ca în cadrul problemei care a fost rezolvată la sfârşitul Subcapitolului 8.7 se va obţine următurul estimant al vecinătăţii pe baza algoritmului celor mai apropiaţi 3 vecini (3-NN):


402

aa

aa

aa

aa

aa

aa

aa

aa

Vn

4.032.02

4.0335.048.02

335.03.019.02

3.0265.041.02

265.022.012.02

22.0165.032.02

165.01.001.02

1.019.02

(10.57)

Ştiind că:

nV6

3)x(ˆ f (10.58)

Utilizând relaţiile (10.57) şi (10.58) am răspuns acestei probleme.

(b) Reprezentarea grafică a estimatului funcţiei densitate de probabilitate (relaţia (10.58) în care l-am particularizat pe Vn conform cu relaţia (10.57)) este dată în Figura 10.2.

Figura 10.2. Reprezentarea grafică a estimntului funcţiei densitate de probabilitate

Problema 2: Pentru o distribuţie a două clase (clase date de elementele marcate cu ● şi ■) conform Figura 10.3:

(a). să se determine mediile celor două clase; (b). să se determine apartenenţa elementului caracterizat de vectorul

de trăsături [1, 2]T la una din cele două clase utilizându-se un clasificator de minimă distanţă ce utilizează distanţa Euclidiană;

0.5

1

1.5

2

2.5

3

-0.4 -0.2 0 0.2 0.4 0.6 0.8x

Rezolvări probleme

403

(c). să se determine apartenenţa elementului caracterizat de vectorul de trăsături [1, 2]T la una din cele două clase utilizându-se un clasificator de tipul NN în situaţia utilizării unei distanţe Euclidiene;

(d). să se determine apartenenţa elementului caracterizat de vectorul de trăsături [1, 2]T la una din cele două clase utilizându-se un clasificator de tipul 3-NN în situaţia utilizării unei distanţe Euclidiene;

(e). să se determine matricele de covarianţă a celor două clase; (f). să se deseneze elipsele de concentrare pentru cele două clase în

ipoteza că ambele distribuţii sunt caracterizate de funcţii de densitate de probabilitate Gauss-iene.

(g). să se determine apartenenţa elementului caracterizat de vectorul de trăsături [1, 2]T la una din cele două clase utilizându-se un clasificator de tipul Bayes-ian. Se ştie că probabilitatea apriorică a clasei ■ este 4/7;

Figura 10.3. Distribuţia spaţială a elementelor ce formează cele două clase (● şi, respectiv, ■)

Rezolvare:

(a). Anterior determinării mediilor celor două clase se numerotează elementele conform Figura 10.3. Cu aceste notaţii pentru prima clasă avem următoarele elemente:

x2

x1

-1

3

2

1

3 2 1 -1

4

a1 a2

a3

a4 a5

a6

b1

b2

b3

b4


404

0

1,

1

1,

1

0,

0

1,

1

1,

1

0 654321 aaaaaa

în timp ce pentru cea de a doua clasă:

4

0,

3

1,

5

2,

4

1 4321 bbbb

Mediile claselor se determină într-un mod similar celui prezentat în cadrul Problemei 5.31. Astfel, media primei clase este:

0

0

0

1

1

1

1

0

0

1

1

1

1

0

6

1

6

1ˆ

6

11

i

iam

(10.59)

Media celei de a doua clase se calculează în mod identic şi este dată de relaţia:

4

1

4

0

3

1

5

2

4

1

6

1

4

1ˆ

4

12

i

iam (10.60)

Rezultate obţinute cu ajutorul relaţiilor (10.59) şi (10.60) se pot verifica şi intuitiv, analizând cu atenţie dispunerea spaţială a elementelor prezentate în Figura 10.3. Astfel pentru prima clasă se observă că elementele a3 şi a6 sunt dispuse simetric faţă de originea sistemului de coordonate (sunt dispuse pe aceeaşi axă orizontală, cu o unitate la stânga, elementul a6, şi cu o unitate la dreapta originii – elementul a3), în mod similar despre perechea a1 şi a4, respectiv, a2 şi a5 putem face aceeaşi observaţie. Deci contribuţia unui element este contra-balansată de contribuţia celuilat element din pereche, iar valoarea medie se plasează între aceste două elemente.

Pentru cea de a doua clasă situaţia este similară. Tot din Figura 10.3 se observă că faţă de elementul b1 contribuţia elementelor b3 şi b4 (primul poziţionat cu o unitate mai jos faţă de b1 iar celălalt element cu o unitate mai la stânga) la valoarea medie este compensată de contribuţia elementului b2 (poziţionat cu o unitate mai sus şi mai la dreapta elementului b1).

(b). Pentru a determina apartenenţa elementului caracterizat de vectorul de trăsături o0 = [1, 2]T la una din cele două clase vom

Rezolvări probleme

405

calcula distanţele de la acest element la mediile (elementele prototip):

0

0ˆ1m şi

4

1ˆ 2m

estimate a celor două clase. Aceste distanţe sunt egale cu:

5 || - || 2222,1

02

21,1

011

01 21momomod (10.61)

şi

4 || - || 2222,2

02

21,2

012

02 20momomod (10.62)

Din relaţiile (10.61) şi (10.62) se observă că:

d1 > d2 (10.63)

deci elementul necunoscut va aparţine celei de a doua clase.

(c). Ideea fundamentală a clasificatorului NN constă în determinarea celui mai apropiat vecin şi atribuirea elementelui necunoscut clasei de apartenenţă a vecinului anterior determinat. Dar, din Figura 10.3 se observă că elementul necunoscut o0 = [1, 2]T are elementele a2 şi b1 drept cei mai apropiaţi vecini (găsindu-se simultan la aceeaşi distanţă faţă de o0), în plus, aceste elemente aparţin la două clase distincte. În această situaţie, clasificatorul NN este incapabil să asocieze elementul o0 la una din clase – acest element găsindu-se chiar pe suprafaţa de decizie ce separă cele două clase.

(d). Esenţa clasificatorului 3-NN presupune specificarea iniţială a numărului de vecini (3) şi extinderea unui volum spaţial până când acesta cuprinde acest număr specificat apriori de vecini. Ulterior, în pasul doi, se contorizează aparteneţa fiecărui vecin la una sau alta din clasele existente. Iar în final, elementul necunoscut este asociat acelei clase care are numărul maxim de elemente printre vecinii determinaţi.

În cadrul problemei se specifică că se utilizează o distanţă Euclidiană, deci vecinătatea este definită de o sferă d-dimensională. Deoarece spaţiul trăsăturilor este unul bidimensional hipersfera se va reduce la un cerc.

În Figura 10.4 se prezintă o primă vecinătate V1 centrată în elementul o0 care nu conţine nici un element în afara celui


406

necunoscut. Crescând gradual această vecinătate ea devine V2 şi include astfel 2 elemente. Continuând acest proces, vecinătatea va deveni, la un anumit moment, identică cu V3. Această vecinătate conţine 3 elemente din setul de date supus analizei. Procesul creşterii acestei vecinătăţi poate fi oprit, în acest moment, deoarece numărul de elemente vecine cele mai apropiate faţă de elementul necunoscut a fost atins.

Figura 10.4. Poziţionarea diferitelor vecinătăţi în vederea determinării celor mai apropiaţi 3 vecini pentru clasificatorul 3-

NN

Dintre aceste 3 elemente determinate aparţinând vecinătăţii V3 două, a1

şi a2, aparţin primei clase şi doar un element, b3, aparţine celei de a doua clase. În consecinţă elementul necunoscut, o0, va fi atribuit de către clasificatorul 3-NN primei clase (clasă simbolizată cu „■” în Figura 10.4).

(e). Determinarea matricilor de covarianţă poate fi abordată prin utilizarea uneia din metodele prezentate în cadrul Problemei 5.31.

În mod teoretic matricea de covarianţă se determină cu ajutorul relaţiei:

Txxx mxmxEC * (10.64)

Estimarea matricei de covarianţă pentru prima clasă este dată de relaţia:

x2

x1

-1

3

2

1

3 2 1 -1

4

a1

a2

a3

a4 a5

a6

b1

b2

b3

b4

V1

V2

V3

o0

Rezolvări probleme

407

101

011

1

101

0

1

010

111

1

110

1

0

6

1ˆˆ

6

1ˆ6

1111

i

Tii mamaC

(10.65)

În calculul estimării matricii de covarianţă prezentată anterior s-a ţinut cont de valoarea vectorului mediu dat de relaţia (10.59). În final obţinându-se:

32

31

31

32

1 10

00

11

11

00

01

00

01

11

11

10

00

6

1C

(10.66)

Pentru cea de a doua clasă relaţia de calcul a valorii estimate a matricii de covarianţă este similară cu cea din relaţia (10.65), particularizată pentru elementele acestei clase. În final se obţine valoarea:

21

41

41

21

2C (10.67)

(f). Elipsele de concentrare pentru cele două clase se determină similar, urmând aceeaşi paşi, cu cei prezentaţi în Problema 6.9. De altfel, se observă că matricea de covarinaţă pentru cea de a doua clasă este identică cu cea din Problema 6.9. În continuare se prezintă doar rezultatele finale – valorile proprii şi vectorii proprii – ce caracterizează aceste matrici.

Astfel, pentru prima clasă în urma calculelor vor rezulta

următoarele valori proprii: 3

11 şi 12 . Vectorii proprii

asociaţi cu aceste valori proprii sunt: pentru 3

11 rezultă

următorii vectori proprii echivalenţi (din care trebuie să alegem

doar unul din ei)

21

21

1e sau

2

12

1

1e , în timp ce pentru


408

valoarea proprie 12 vor rezulta în mod similar vectorii proprii

21

21

2e sau

2

12

1

2e funcţie de semnul ales.

Pentru cea de a doua clasă valorile poprii ale matricii C2 sunt

4

11 şi

4

32 . Pentru valoarea proprie

4

11 avem unul din

următorii vectori proprii:

21

21

1e sau

2

12

1

1e . În timp ce,

pentru valoarea proprie 4

32 avem unul din următorii vectori

proprii:

21

21

2e sau

2

12

1

2e .

(g). În conformitate cu relaţia (7.16), caracteristică clasificatorului Bayes-ian elementul necunoscut o0 va fi atribuit de către acest clasificatorul clasei ci dacă:

jxjMj

ixi cofcPcofcP 0

...1

0 max

(10.68)

Definind:

ixii cafcPag (10.69)

drept funcţia discriminant a clasei i (cu i = 1, 2), vom particulariza relaţia (10.69) pentru a = o0 şi vom determina valoarea funcţiei discriminant asociată cu fiecare clasă.

În final, elementul necunoscut o0 va fi atribuit acelei clase a cărei funcţie discriminant va fi maximă în elementul o0.

Dezvoltând relaţia (10.69) şi particularizând-o pentru a = o0 rezultă:

2

1

0

2

0

11

2

1

0

2

0

1

21

ˆ

ˆ

ˆ

ˆ

2

1

02

010

2

1 i

i

i

T

i

i

m

m

o

oC

m

m

o

o

iii e

CcP

o

oog

(10.70)

După cum se observă şi din relaţia (10.70), în primul pas avem însă nevoie de inversele matricelor de covarianţă ce caracterizează ambele clase:

Rezolvări probleme

409

21

123ˆ

ˆ1ˆ

32

31

31

32

*1

1

11 C

CC (10.71)

38

34

34

38

21

41

41

21

*2

2

12 3

16ˆˆ1ˆ C

CC (10.72)

Introducând valorile numerice în funcţiile discriminant caracteristice claselor obţinem:

2

1

21

1221

2

1

132

3

7

4

2

1eg

(10.73)

2

0

38

34

34

38

202

1

232

4

7

3

2

1eg

(10.74)

Din relaţiile (10.73) şi (10.74) se observă că termenii din faţa exponenţilor sunt egali, deci ceea ce rămâne să facă diferenţa între aceşti termeni vor fi tocmai valorile exponenţilor. În final obţinându-se:

049.0314

12

314

12

2

1 31

eg (10.75)

0048.0314

12

314

12

2

13

16

2

eg (10.76)

Comparând valorile funcţiilor discriminant particularizate în elementul [1, 2]T observăm că g1 >[- g2, deci clasificatorul Bayes-ian va atribui elementul neucnoscut, o0, primei clase.

În Tabelul 10.1 sunt sintetizate rezultatele obţinute anterior în

urma clasificării elementului o0 = [1, 2]T de către patru clasificatori diferiţi. Din Tabelul 10.1 se observă că funcţie de tipul sistemului de clasificare un element poate fi asignat uneia sau alteia din clase sau, în anumite situaţii, clasificatorul este în imposibilitatea luării unei decizi.


410

Tabelul 10.1. Rezultatele obţinute în urma clasificării elementului [1, 2]T de către patru clasificatori diferiţi

Clasa asignată elementului o0

Clasificator

Clasa 1 Clasa 2

Minimă distanţă

NN Imposibilitate deciziei

3-NN

Bayes-ian

Capitol 9

Problemă 9.3: Demonstraţi Teorema Valorii Iniţiale pentru semnale cauzale:

zHhz

lim0 (10.77)

Rezolvare:

Transformata Z a unui semnal sau sistem oarecare este:

n

nznhzH (10.78)

Dar deoarece semnalul este cauzal avem:

0n

nznhzH (10.79)

Din relaţia precedentă rezultând că:

...3210 321 zhzhzhhzH (10.80)

Aplicân limita pentru z tinzând la plus infinit obţinem:

0lim hzHz

(10.81)

10. Rezolvări probleme - ETTI · 10. Rezolvări probleme În cadrul acestui capitol ne propunem...

Documents

Transcript of 10. Rezolvări probleme - ETTI · 10. Rezolvări probleme În cadrul acestui capitol ne propunem...