5/23/2016

1

4. IDENTIFICAREA SISTEMELOR UTILIZÂND

TEORIA ESTIMAŢIEI

4.1. Introducere în teoria estimaţiei

Identificarea sistemelor poate fi formulată ca o problemă de

teoria estimaţiei - o problemă de extremizare a unui criteriu,

dar prezintă următoarele avantaje [

• Problemele preciziei parametrilor modelului, a convergenţei

lor la valorile reale (parametrii sistemului) sunt soluţionate cu

instrumente puternice ale statisticii matematice.

• Structura modelului se determină prin aplicarea teoriei

verificării ipotezelor statistice.Se consideră sistemul (S) şi un model (M) reprezentate în fig.

4.1. în care H*(q-1,θ*), este funcţia de transfer discretă a părţii

deterministe a sistemului, dependentă de parametrii θ*, H(q-1,θ),

este funcţia de transfer discretă a modelului părţii deterministe

dependentă de parametrii , iar v(k) este perturbaţia

H*(q-1,θ*)

Model

H(q-1,θ)

u(k) x(k)

v(k)

y(k)

ym(k)

Sistem (S)

Model (M)

+

+

Fig. 4.1

Asupra sistemului şi modelului se fac ipotezele:

I1). Sistemul este dinamic liniar, de ordin finit, asimptotic

stabil, stocastic şi liniar în parametri.

I2). Perturbaţia v(k) este un proces stocastic staţionar de

medie nulă şi matrice de covarianţă nesingulară, E[v]=0 Rvv 0.

I3). Vectorul parametrilor θ* este unic, sistemul este invariant

în timp.

I4). Există un vector astfel încât H(q-1,θ) = H*(q-1,θ*).

I5). Intrarea u(k) este un semnal persistent de ordin suficient

de mare.

5/23/2016

2

I6). Intrarea u(k) şi perturbaţia v(k) sunt independente

(necorelate).

10. Din ipoteza I1 rezultă că sistemul poate fi descris de

ecuaţia

)()(),()( 1 kvkuqHky (4.1)

20. Din ipoteza I2 rezultă că

)()()( 1*1 keqHkv

unde e(k) este o secvenţă de zgomot alb de medie nulă şi

matrice de covarianţă λ*2I, iar H*1(q

-1) este funcţia de transfer

discretă a unui filtru liniar stabil.

În acest caz sistemul poate fi descris de ecuaţia

)()()(),(qH(k) y)( 1*1

1- keqHkuS

(4.2)

(4.3)

30. Conform ipotezei I3 vectorul θ* poate fi extins cu parametrii

modelului de zgomot H*1(q

-1) şi dispersia λ*2 a

secvenţei de zgomot alb.

40. Ipoteza I4 conduce la concluzia că este raţional să se aleagă

un model (M) de aceeaşi formă ca sistemul admis, adică

)()()(

)()(),()(

11

1

kqHkv

kvkuqHkym

(4.4)

unde (k) este o secvenţã de zgomot alb de medie nulă şi

matrice de covarianţă 2I.

Problema de estimare se poate formula astfel: dat fiind un

model şi precizată structura lui (na, nb) să se determine

parametrii lui cuprinşi în vectorul pe baza a N date intrare -

ieşire, în conformitate cu un criteriu .

Există mai multe categorii de criterii care permit estimarea

parametrilor modelului. Se menţionează următoarele :

• criterii funcţie de informaţiile apriorice despre procesul

tehnologic, care conduc la estimatori Bayes (de risc minim);

• criterii funcţie de eroarea de modelare;

5/23/2016

3

• criterii funcţie de eroarea de predicţie a ieşirii din sistem.

Se consideră procesul tehnologic (sistemul) cu vectorul parametrilor şi cu modelul cu vectorul

Tm ],.....,[ **

2*1

*

parametrilor θ = [θ1, θ2, ….. θm]T.

Eroarea de modelare ),()(),( tytyte mm

oferă o oarecare măsură a corespondenţei dintre vectorii

parametrilor θ* şi . Vectorul θ* nu este accesibil şi nu poate fi

cercetat decât statistic, dacă se dispune de cunoştinţe

apriorice despre densităţile de probabilitate.Se presupun cunoscute datele de intrare - ieşire sub formă

discretă : Y=[y(1)………y(N)]T, U=[u(1)………u(N)]T

Scopul teoriei estimaţiei este de a determina pe baza

cunoaşterii eşantioanelor Y şi U. Se caută o funcţie ( Y , U)

care să fie o aproximaţie “cât mai bună” a vectorului θ*.

Funcţia (Y,U) se numeşte estimator, iar valoarea funcţiei

pentru Y şi U determinate se numeşte estimaţie. Deoarece Y

este un eşantion dintr-un proces aleator rezultă că şi (Y,U) este o

variabilă aleatoare. În consecinţă, calitatea estimatorului va

depinde de caracteristicile sale statistice, care sunt posibil de

obţinut prin intermediul funcţiei densitate de probabilitate

p(/Y,U). Această funcţie este condiţionată de datele de intrare -

ieşire şi oferă tipul cel mai bun de cunoaştere ce se poate deduce

prin prelucrarea datelor statistice, dar şi cel mai greu de utilizat

practic, mai ales dacă dimensiunea vectorului este mare.

In locul densităţii de probabilitate, se utilizează

caracteristicile statistice mai semnificative [28]:

• media satatistică E[];

• deviaţia - E();

• covarianţa cov = E[( - E())( - E())T].

Dacă funcţia densitate de probabilitate ar fi normală, atunci

prin restrângere la medie şi covarianţă nu se pierde nici

o informaţie.

.

5/23/2016

4

Pentru aprecierea estimatorilor se definesc diferiţi indicatori

de calitate

Definiţia 4.1. Dacă media E[θ(Y,U)]= θ* oricare ar fi

eşantioanele Y, U atunci estimatorul se numeşte estimator

nedeviat.Dacă

)),((lim UYE

N

se spune că este estimator asimptotic

nedeviatDefiniţia 4.2. Un estimator nedeviat (Y, U) este eficient dacă,

oricare ar fi un alt estimator ~

nedeviat, )~

cov()cov(

Inegalitatea trebuie interpretată în sensul că matricea

0)cov~

(cov este pozitiv definită.

Definiţia 4.3. Un estimator (Y,U) este consistent dacă

0lim *

PN

(4.5)

oricare ar fi > 0 şi arbitrar de mic, adică converge

în probabilitate la valoarea adevărată a parametrilor

Se consideră densitatea de probabilitate a vectorului Y (ieşirea

din proces), p(Y/θ*,U), care depinde de θ* şi U.

Funcţia L(θ*) definită cu relaţia

),/(ln)( UYpL (4.6)

se numeşte funcţie de verosimilitate logaritmică.

Definiţia 4.4. Se numeşte matrice de informaţie şi se

notează cu J matricea

TLL

EJ*

*

*

* )()(

(4.7)

în care E[.] reprezintă media în raport cu distribuţia vectorului Y

Matricea de informaţie satisface egalitatea

2*

*2

*

*

*

* )()()(

LE

LLEJ

T

(4.8)

Demonstraţie: Densitatea de probabilitate p(Y/θ*,U)

verifică egalitatea

5/23/2016

5

Pentru aprecierea estimatorilor se definesc diferiţi indicatori de calitate

Definiţia 4.1. Dacă media E[θ(Y,U)]= θ* oricare ar fi

eşantioanele Y, U atunci estimatorul se numeşte estimator

nedeviat.

Dacă

)),((lim UYE

Nse spune că este estimator

asimptotic nedeviat.

~

)~

cov()cov(

0)cov~

(cov

Definiţia 4.2. Un estimator nedeviat (Y, U) este eficient

dacă, oricare ar fi un alt estimator nedeviat,

este pozitiv definită.

Inegalitatea trebuie interpretată în sensul că matricea

Definiţia 4.3. Un estimator (Y,U) este consistent dacă

0lim *

PN

oricare ar fi > 0 şi arbitrar de mic, adică

converge în probabilitate la valoarea adevărată aparametrilor.

Se consideră densitatea de probabilitate a vectorului Y

(ieşirea din proces), p(Y/θ*,U), care depinde de θ* şi U.

Funcţia L(θ*) definită cu relaţia

),/(ln)( UYpL (4.6)

se numeşte funcţie de verosimilitate logaritmică.

Definiţia 4.4. Se numeşte matrice de informaţie şi se

notează cu J matricea

TLL

EJ*

*

*

* )()(

(4.7)

în care E[.] reprezintă media în raport cu distribuţia vectorului Y

Matricea de informaţie satisface egalitatea

2*

*2

*

*

*

* )()()(

LE

LLEJ

T

Demonstraţie: Densitatea de probabilitate p(Y/θ*,U) verifică

egalitatea

5/23/2016

6

NR

dYUYp 1),/( (4.9)

Derivând în raport cu

din (4.9) se obţine

0),/(

dYUYp

NR

(4.10)

Atunci media derivatei funcţiei )( *L devine

0),/(),/(

),/(

1

),/()()(

*

*

*

*

*

*

*

*

*

dYUYpUYp

UYp

dYUYpLL

E

N

N

R

R

(4.11)

Derivând încă o dată în raport cu

în relaţia (4.11) se obţine

NR

T

dYUYpL

UYpL

0),/()(

)/()(

*

*

*

**

2*

*2

NR

T

dYUYpLL

UYpL

0),/()()(

),/()( *

*

*

*

**

2*

*2

sau

Din ultima relaţie se obţine egalitatea din (4.8)

T

LLE

LE

*

*

*

*

2*

*2 )()()(

Se consideră matricea simetrică Q partiţionată astfel:

2221

12 11

Q Q

QQQ cu Q11 şi Q22 matrici pătratice.

Se arată că 1). Q > 0 dacă şi numai dacă

0

0 sau

0

0

121

112122

11

211

221211

22

QQQQ

Q

QQQQ

Q

2). Q 0 şi Q 22 > 0 implică 0 211

221211 QQQQ (4.12)

Teorema 6.1 - Cramér – Rao. Fie un estimator nedeviat

pentru θ*. Atunci matricea de covarianţă a lui satisface

inegalitatea

5/23/2016

7

1]))([(cov JE T (4.13)

unde J este matricea de informaţie.

Inegalitatea trebuie interpretată în sensul că ][cov 1J

este o matrice nenegativ definită.

Demonstraţie. Se consideră matricea pozitiv definită:

0),)(( *

*

TT L

LE

(4.14)

unde

)(*

LL ; Matricea din relaţia (4.14) se scrie în forma:

0][ ])([

])([ ]))([(

***

*

TT

TT

LLELE

LEE

(4.15)

JLLE T ][ ** ])([ *TLE

Dar, prin definiţie. Se evaluează media

în raport cu repartiţia vectorului Y. Prin ipoteză se ştie

că estimatorul este nedeviat,

)(E , adică

NR

dYUYp ),/( (4.16)

Derivând (4.16) în raport cu θ* rezultă

IdYUYp T

RN

),/((

NR

T IdYUYpL ),/(* sau (4.18)

Ţinândseama că 0][ * LE , adică

NR

dYUYpL 0),/(* (4.19)

Înmulţind în (4.19) cu T rezultă

NR

T dYUYpL 0),/(** (4.20)

NR

T IdYUYpL ),/()( **

Scăzând relaţiile (4.18) şi (4.20) rezultă

(4.21)

ILE T ])([ ** sau

(4.22)

5/23/2016

8

Ţinând seama de (4.22) matricea (4.15) devine:

0J I

I ]))([(

TE

(4.23)

•Conform relaţiei (4.12) din (4.23) se obţine

0 ]))([(cov1

JE T

(4.24)

Deci relaţia (4.13) este demonstrată .

Din inegalitatea Cramér-Rao rezultă că dacă matricea de

informaţie J este singulară parametrii nu pot fi estimaţi din

eşantioanele observate. Deci eşantionul Y (pentru U dat) nu

conţine nici o informaţie despre proces; variaţiile mărimii de

ieşire sunt produse numai de perturbaţii.

Dacă matricea J are elementele de pe diagonala

principală foarte mari în raport cu celelalte, atunci estimaţiile

sunt puţin dispersate în raport cu . Ieşirea procesului

Dacă există un estimator astfel încât inegalitatea Cramér -

Rao să devină egalitate

1 ]))([( JE T (4.25)

atunci estimatorul este un estimator eficient a lui θ*. Dacă

egalitatea este satisfăcută numai pentru eşantioane mari (

N ) atunci estimatorul este asimptotic eficient.

4.2. Estimatori de risc minim

Pentru vectorul parametrilor θ* al unui sistem , fig. 4.2, se

poate determina un estimator pe baza eşantioanelor intrare-

ieşire disponibile şi a informaţiilor apriorice

Obţinerea practică a estimatorilor este funcţie de cantitatea de

informaţii apriorice disponibile. Informaţiile apriorice

despre proces (sistem) sunt bogate dacă sunt

disponibile următoarele funcţii:

.

5/23/2016

9

u(k)

+

x(k)

v(k)

y(k)+

Informaţii

apriorice

Fig. 4.2

Sistem

θ

Model θ

1. densitatea de probabilitate a zgomotului p(v) ; pe baza

acestei funcţii, în ipoteza liniarităţii procesului tehnologic, se

poate determina densitatea de probabilitate a ieşirii ),/( UYp

2. densitatea de probabilitate a vectorului parametrilor p(θ*);

aceasta poate fi obţinută doar în urma aplicării unui estimator

mai simplu.

3. funcţia de cost C(θ, θ*) care exprimă pierderea produsă

considerând vectorul parametrilor estimaţi în locul vectorului

parametrilor reali θ*.

Estimatorii deduşi pe baza tuturor informaţiilor de mai sus

se numesc estimatori de risc minim (ERM). Se utilizează

o funcţie criteriu

mR

dUYpCV ),/(),()((4.26)

Estimatorul de risc minim (ERM) minimizeazã riscul mediu

aposteori (după efectuarea experimentului).

dUYpC

VUYCE

mR

),/(),(minarg

)(minarg],/),([minargˆ

(4.27)

unde m este dimensiunea vectorului . Ştiind p(Y/θ*,U) şi p(θ*)

se poate determina p(θ*/Y,U) cu formula lui Bayes

)(

)(),/(),/(

Yp

pUYpUYp

unde

mR

dpUYpYp )(),/()(

(4.28)

5/23/2016

10

este formula probabilităţii totale

Având disponibile toate informaţiile necesare p(Y/θ*,U) ,

p(θ*), C(θ,θ*) se pot determina estimatorii de risc minim. Pentru

că utilizează teorema Bayes, estimatorii de risc minim se mai

numesc şi estimatori Bayes.

Dacă funcţia de cost C(θ,θ*) are forme particulare,

estimatorii de risc minim capătă semnificaţii fizice concrete. Se

consideră cazurile :

Cazul 1. Se alege funcţia de cost2

),( C Atunci

mR

dUYpUYCEV ),/(],/),([)(2

(4.29)

Estimaţia de risc minim rezultă din

0),/()(2],/),([

mR

dUYpV

UYCE

sau

m mR R

dUYpdUYp ),/( ),/(

deoarece

mR

dUYp 1),/(

rezultă soluţia dUYpmR

),/(ˆ (4.30)

care reprezintă media distribuţiei condiţionate p(θ*/Y,U) .

Cazul 2. Se consideră funcţia de cost

**),( C (4.31)

Estimatorul de risc minim este

mR

VdUYp )(minarg),/(minargˆ ***

(4.32)

Din condiţia

mR

dUYpsignV

0),/()( ***

se obţine soluţia Tm ˆ,........,ˆ,ˆˆ21 care reprezintă valoarea

pentru care diferenţa θ – θ* îşi schimbă semnul.Relaţia (4.32) se poate scrie acum

5/23/2016

11

m

m

dUYpdUYp

ˆ

**ˆ ˆ ˆ

ˆ ˆ

** ),/(......),/(....1 2

1 2(4.33)

reprezintă mediana distribuţiei condiţionate.

Cazul 3. Se consideră funcţia de cost

)(),( ** C (4.34)

Această funcţie de cost semnifică faptul că orice pierdere este

posibilă prin considerarea estimatorului în locul valorii

adevărate. În acest caz

***** ),/(),/()()( UYpdUYpVRm

(4.35)

Deci estimatorul de risc minim

),/(maxarg)],/([minargˆ UYpUYp

(4.36)

reprezintă moda distribuţiei.

Dacă informaţiile apriorice nu permit formularea unei funcţii de

cost C(θ,θ*) adecvate, atunci se alege estimatorul care minimizează densitatea de repartiţie, p(θ*/Y,U), pentru

că potrivit teoremei Bayes

mR

dpUYp

pUYpUYp

***

***

)(),/(

)(),/(),/(

(4.37)

şi p(Y/θ*,U) poate fi calculată din cunoştinţele apriorice.

4.3. Estimatori de verosimilitate maximă (EVM)

Dacă din informaţiile apriorice se cunoaşte numai densitatea

de probabilitate p(Y/θ*,U), un raţionament simplu ne conduce

la un estimator de verosimilitate maximă (EVM). Pentru că

repartiţia vectorului θ* nu este cunoscută, se consideră că

toate valorile pe care le poate lua θ* sunt echiprobabile, deci

θ* este uniform distribuit, p(θ*) = const. într-un interval

θ* [a, b].

5/23/2016

12

Pentru că funcţia de pierdere C(θ,θ*) nu poate fi definită, se

consideră că orice pierdere este posibilă. Se alege

C( - θ*) = - ( - θ*). Conform cazului 3, rezultă că :

*

)(

,/maxarg,/maxargˆ

* Yp

pUYpUYp

(4.38)

Pentru că p(θ*) = constant şi p(Y) nu depinde de rezultă

UYpUYp ,/maxarg,/maxargˆ*

VM

deci

verosimilitate care se poate deduce cunoscând distribuţia zgomotului.

În multe aplicaţii este mai convenabil să se obţină

estimatorul de verosimilitate maximă din maximizarea

este argumentul care maximizează funcţia de

funcţiei de verosimilitate logaritmică

),/(lnmaxarg)(maxargˆ UYpLVM

(4.39)

Ecuaţiile care dau soluţia problemei de extremizare L() = 0, se

numesc ecuaţii de verosimilitate. Estimatorul de verosimilitate

maximă (EVM) este caracterizat de următoarele proprietăţi:

• normalitate asimptotică;

• nedeviere asimptotică;

• eficienţă asimptotică;

• consistenţă.

4.3.1. Estimatorul Markov

Acest estimator este un caz particular al estimatorului de

verosimilitate maximă. Se cunoaşte aprioric că perturbaţia v(k)

este normal distribuită de medie nulă şi matrice de covarianţă

R = Rvv nesingulară, cunoscută. Se va deduce un estimator

considerând îndeplinite ipotezele generale I1I6.

Se consideră un model de regresie al procesului care conţine

valori ale secvenţei de ponderare.

m

i

kvikuihky0

)()()()( (4.40)