Influenţa dispersiei asupra preciziei estimatorului

26
Influenţa dispersiei asupra preciziei estimatorului 2 2 1 1 0 3; exp 3 2 2 i i px A A L A Considerăm că =1. Valorile „credibile” pentru A sunt cuprinse între 3-3*1=0 și 3+3*1=6 adică sunt din intervalul (0, 6). Dacă valoarea adevărată a lui A nu este din acest interval, probabilitatea de a se măsura x[0]=3 ar fi mică. Dacă, spre exemplu, A=6.1, x[0] ar trebui, cu o probabilitate de 99.73% să intre în intervalul 0 6,1 3 1, 6,1 31 3,1, 9,1 x Ne referim la cazul componentei continue afectată de zgomot alb în două situații, cu două abateri standard de 1 și 1/3 și fie că facem estimarea componentei continue A, pe baza unui singur eșantion, x[0]=3 Dacă punem x[0]=3 în expresia densității de repartiție dependente de A obținem o funcție ce depinde numai de parametrul necunoscut A, numită funcție de plauzibilitate (verosimilitate)

description

Influenţa dispersiei asupra preciziei estimatorului. Ne referim la cazul componentei continue afectată de zgomot alb în două situații, cu două abateri standard de 1 și 1/3 și fie că facem estimarea componentei continue A, pe baza unui singur eșantion, x[0]=3. - PowerPoint PPT Presentation

Transcript of Influenţa dispersiei asupra preciziei estimatorului

Page 1: Influenţa dispersiei asupra preciziei estimatorului

Influenţa dispersiei asupra preciziei estimatorului

22

1 10 3; exp 322 ii

p x A A L A

Considerăm că =1. Valorile „credibile” pentru A sunt cuprinse între 3-3*1=0 și 3+3*1=6 adică sunt din intervalul (0, 6). Dacă valoarea adevărată a lui A nu

este din acest interval, probabilitatea de a se măsura x[0]=3 ar fi mică. Dacă, spre exemplu, A=6.1, x[0] ar trebui, cu o probabilitate de 99.73% să intre în

intervalul 0 6,1 3 1, 6,1 3 1 3,1, 9,1x

Ne referim la cazul componentei continue afectată de zgomot alb în două situații, cu două abateri standard de 1 și 1/3 și fie că facem estimarea

componentei continue A, pe baza unui singur eșantion, x[0]=3

Dacă punem x[0]=3 în expresia densității de repartiție dependente de A obținem

o funcție ce depinde numai de parametrul necunoscut A, numită funcție de plauzibilitate (verosimilitate)

Page 2: Influenţa dispersiei asupra preciziei estimatorului

0;L A p A x x

''

3'201

yK

y x x

3'2

0

''1 /R y yx x

Dacă =1/3, intervalul în care poate fi valoarea parametrului A este definit de 3-3*1/3=2 și 3+3*1/3=4 adică (2, 4). Se observă că lungimea intervalului în care pot exista valorile credibile pentru A a scăzut de la lungimea de 6 la

lungimea de 2! Odată cu scăderea dispersiei datelor crește deci precizia de determinare a valorii parametrului necunoscut.

Funcția

se numește funcție de plauzibilitate. Pe măsură ce funcția de plauzibilitate este mai “ascuțită” precizia de realizare a estimării este mai mare. “Ascuțimea” unei

funcții se măsoară prin curbura ei (raza de curbură) din maxim

Curbura K și raza de curbură R ale funcției y(x), într-un punct se determină cu

''

0

1 K yx xR

Ideea de rază de curbură vine de la raza unui cerc care aproximează bine y(x) intr-un interval redus, centrat pe punctul de interes, așa cum se arată

în figură

Page 3: Influenţa dispersiei asupra preciziei estimatorului

Raza de curbură a funcției y(x) în punctul x=0 este R=1/2 iar curbura ei este K=2

În punctul de maxim curbura se calculează cu

0

''K yx x

Page 4: Influenţa dispersiei asupra preciziei estimatorului

lnl A L A

221ln 2 3

2ii

l A A

2

2 21

3 i

d l AAdA

2

20

,dC ld

x x

22

2 2

ln ,ln ; ;

pC E p p d

x

x x x

Pentru a determina curburile din exemplul considerat vom lucra cu plauzibilitatea logaritmică

care are expresia

În punctul de maxim, A=3, avem

Într-un caz general putem obtine în punctul de maxim o curbură de forma

dependentă de vectorul de date x. Pentru aceasta este bine să mediem statistic curbura C(x) peste toate valorile posibile ale datelor, ponderate cu

densitatea de probabilitate

Page 5: Influenţa dispersiei asupra preciziei estimatorului

În figură se arată plauzibilitățile și plauzibilitățile logaritmice, pentru cele două abateri standard, 1 și 1/3. Se vede că pozițiile maximelor sunt

păstrate

Page 6: Influenţa dispersiei asupra preciziei estimatorului

Teorema Cramer-Rao

Se poate găsi un estimator nedeplasat ce are dispersia minimă, adică un estimator MVU eficient dacă și numai dacă avem

;p x

atunci dispersia oricărui estimator nedeplasat pentru parametrul scalar notat cu , satisface inegalitatea:

Dacă densitatea de probabilitate satisface ”condiţia de regularitate”:

ln ; ln ,; 0,

p pE p d

x xx x

2

2

1ˆln ;

Dispp

E

x

ln ;( )

pI f

x

x

Page 7: Influenţa dispersiei asupra preciziei estimatorului

Estimatorul în cauză este chiar:

I( se numeşte ”informaţia Fisher”.

ˆ f x

2

2

1ln ;

CRLBp

E

x

Se arată că pentru cazul estimatorului eficient:

1ˆ Disp CRLBI

Dispersia minimă a unui astfel de estimator este numită limita inferioară Cramer-Rao (CRLB)

Page 8: Influenţa dispersiei asupra preciziei estimatorului

Vom analiza aplicarea conceptului CRLB pentru modelul de semnal cu componentă continuă necunoscută, A, afectată de un zgomot alb, gaussian

2

; 0,1,..., 1

0,

x n A w n n N

w n

N

E x n A 2Disp x n

Esimatorii pot avea dispersii dependente de valoarea parametrului adevărat Un estimator nedeplasat a cărui dispersie este egală, peste tot cu CRLB este eficient. Pot exista estimatori nedeplasați care deși au cea mai mică dispersie, aceasta este totuși mai mare decât CRLB. Ei sunt estimatori

suboptimali

Page 9: Influenţa dispersiei asupra preciziei estimatorului

11 2

20 0

1 1; ; exp22

NN

Nn n

p A p x n A x n A

x

0 , 1 ,..., 1x x x N

sunt măsurate (cunoscute) şi cu valorile lor înlocuite în relația de mai sus obţinem plauzibilitatea logaritmică:

1 2

20

1ln ; ln 22

N

np A N x n A

x

1 1

2 20 0

2

ln ; 1 1 1

N N

n n

p Ax n A N x n NA

A NN x A

x

Densitatea de repartiție a datelor, dependentă de parametrul determinist, necunoscut, A este

Cele N valori accesibile experimentului

Derivata plauzibilității logaritmice se poate pune sub forma

Page 10: Influenţa dispersiei asupra preciziei estimatorului

Așa cum am arătat mai înainte, media eșantion are o repartiție normală

Aceasta nu depinde de date și deci medierea statistică nu are, în acest caz, nici un efect

2,x AN

N

Vom verifica îndeplinirea condiției de regularitate, cerută de teorema Cramer-Rao

2 2ln ;

0p A N NE E A E AA

xx x

și constatăm că suntem în condiția de aplicabilitate a teoremei. Vom calcula acum curbura nemediată

2

2 2ln ;p A NA

x

2

2 2ln ;p A NEA

x

Page 11: Influenţa dispersiei asupra preciziei estimatorului

Conform teoremei Cramer-Rao, pentru orice estimator nedeplasat al componentei continue, avem îndeplinită inegalitatea

2

ADispN

Vom aplica acum a doua parte a teoremeiCramer-Rao. Avem

1

20

ln ; 1 N

n

p A N x n AA N

x

ln ;( ) ;

pI f A

x

x

1

0

1AN

nf x n x

N

x

pe care o comparăm cu forma din enunțul teoremei

Prin compararea celor două forme rezultă că media eșantion este un estimator MVU eficient

Page 12: Influenţa dispersiei asupra preciziei estimatorului

a cărui dispersie este minimă și egală cu

Vom face câteva precizări privind “informaţia Fisher”. Avem

21Disp x

I N

22

2ln ; ln ;p A p A

I E EAA

x x 0I

1

0; ;

N

np p x n

x

1

0ln ; ln ;

N

np p x n

x

22 1

2 20

ln ;ln ; N

n

p x np

x

ceeace am stabilit mai înainte

Dacă datele x[n] sunt identic distribuite și statistic independente (IID) atunci repartiția mutuală se poate pune sub forma

Cu datele x[n] măsurate (cunoscute) se obține plauzibilitatea logaritmică și apoi a doua derivată

Page 13: Influenţa dispersiei asupra preciziei estimatorului

Dacă eşantioanele sunt corelate, relaţia nu mai este valabilă. Spre exemplu, pentru cazul eşantioanelor complet dependente, adică:

22 1

2 20

2

2

ln ;ln ;

ln ;

N

n

p x npI E E

p x nN E

x

2

2ln ;p x n

i E

I Ni

0 1 ... 1x x x N

; ;p p x n x

Se poate determina informația Fisher sub forma

Putem defini informația Fisher corespunzătoare unui singur esantion x[n]

Cu aceasta informația Fisher corespunzătoare celor N componente statistic independente devine

rezultă

Page 14: Influenţa dispersiei asupra preciziei estimatorului

Concluzia este aceea că prelucrând mai multe eşantioane identice nu putem obţine un estimator mai bun decât prelucrând un singur eşantion.

Exemplu privind o sinusoidă cu faza iniţială necunoscută, afectată de un zgomot alb, gaussian

I i

02

cos ; 0,1,..., 1

0,

x n A n w n n N

w n N

0

0

0

cos

cos

cos

E x n E A n w n

A n E w n

A n

ceeace înseamnă că

Datele constă dintr-o sinusoidă cu faza inițială, necunoscută, afectată de un zgomot alb, gaussian

Zgomotul e gaussian iar datele sunt și ele, deoarece relația dintre ele este liniară. E suficient deci să determinăm media și dispersia datelor

Page 15: Influenţa dispersiei asupra preciziei estimatorului

2

20 0

2 2

cos cos

Disp x n E x n E x n

E A n w n A n

E w n

1 2

020

1 1; exp cos22

N

Nn

p x n A n

x

21

020

1ln ; ln 2 cos2

N

np N x n A n

x

Se poate determina densitatea mutuală de repartiție a componentelor vectorului de semnal, densitate dependentă de faza necunoscută

si apoi plauzibilitatea logaritmică

Page 16: Influenţa dispersiei asupra preciziei estimatorului

1

0 0201

0 020

ln ; 1 cos sin

sin sin 2 22

N

nN

n

px n A n A n

A Ax n n n

x

2 1

0 02 20

ln ;cos cos 2 2

N

n

p A x n n A n

x

2 1

0 02 20

2 12

0 020

2

0 020

ln ;cos cos 2 2

cos cos 2 2

1 1 cos 2 2 cos 2 22 2

N

n

N

nN

n

p AE E x n n A n

A n n

A n n

x

1

2 1

020

1 1 cos 2 2 (2.45)2

N

n

NA nN

care se derivează de două ori în raport cu faza

iar derivata a doua se mediază statistic

Page 17: Influenţa dispersiei asupra preciziei estimatorului

Se spune că egalitatea din relaţia (2.48) este valabilă “asimptotic”, adică pentru N suficient de mare.

sin 12cos cos ... cos 1 cos

2sin2

NrNr N r rr

1

00 0

0 0

sin1 cos 2 2 cos 1 2sin

N

n

Nn N

N N

sin 0,045 200,053

20 sin 0,045

2 2

2 2ln ;

2

p NAE N

x

2

22ˆ , Disp NNA

Se ține seama de identitatea

și obținem

Factorul are o valoare redusă dacă frecvența nu e foarte aproape de 0 sau Pentru N=20 și o frecvență de 0.045valoarea sa este de numai 0.053

și tinde spre zero atunci când N crește indefinit. Putem afirma că

sau că

Page 18: Influenţa dispersiei asupra preciziei estimatorului

1

0 020

ln ;cos cos 2 2

N

n

p A x n n A n

x

ln ;;

pI f

xx

Estimarea prin transformarea parametrului scalar

g

2

2

2

ˆln ;

dgd

Dispp

E

x

Ne punem problema dacă putem stabili forma unui estimator MVU eficient. Teorema Cramer-Rao cere să avem o formă în care f(x) să depindă numai de

date, nu și de parametrul necunoscut,

Am găsit că, în cazul de față avem

și deci nu putem identifica o funcție dependentă numai de date. Concluzia e că putem avea un estimator nedeplasat, eventual cu disperia minimă, dar nu și

eficient. Dispersia sa este strict mai mare decât CRLB

Uneori nu suntem interesați de parametrul necunoscut ci de unul derivat din el, =g Teorema Cramer-Rao afirmă că dispersia estimatorului pentru

satisface inegalitatea

Page 19: Influenţa dispersiei asupra preciziei estimatorului

A x 2P x

2, N 2 2 2E

2, x A NN

2 2

2 2E x A P PN N

g a b

ˆ ˆˆ ˆE E g E a b aE b a b

Pentru exemplificare ne vom referi la estimarea puterii unei comonente continue, A. Puterea este pătratul lui A. Pare normal ca, deoarece media

eșantion estimeză bine componenta continuă să estimăm puterea cu pătratul ei22

Pentru o varibilă aleatoare cu repartiție normală se stie că

Dar media eșantion este repartizată normal

și aplicând relația anterioară obținem

deci estimatorul “ad hoc” nu este nedeplasat, și nu este deci eficient. Eficiența se conservă doar dacă transformarea parametrului este afină

Se verifică conservarea nedeplasării prin transformarea afină

Page 20: Influenţa dispersiei asupra preciziei estimatorului

221 1ˆ

dgDisp g a

d I I

1ˆ CRLBDispI

2 ˆˆ CRLBDisp g a Disp

2ˆ ˆˆ CRLBDisp g Disp a b a Disp

22 2

2 2ˆ 4 CRLBPdADisp P Disp x Disp x AdA N

4 4 2 2 46 3E

Aplicând teorema Cramer-Rao pentru transformarea afină definită avem

Cum estimatorul pentru este eficient avem

Calculul direct al dispersiei pentru ne dă

ceeace înseamnă că și estimatorul transformat este eficient, atingând CRLB

Revenim la exemplul considerat privind estimarea puterii componentei continue. Vedem că

Urmărim să calculăm dispersia estimatorului “ad hoc” pentru putere“. Stim că

Page 21: Influenţa dispersiei asupra preciziei estimatorului

2

24 2 2E E Disp

2 22 4 2 4 2 2Disp E E E

22 4 2 2 4 2 2 4 2 26 3 2 4Disp

22 2 2 2 4 2 2

2 22

4 2 42 4 PA ADisp x A CRLB

N N N NN

>

22E E Disp

și că

Punem în relația de mai sus

și obținem

din care deducem

și apoi

Pentru cazul estimatorului analizat, înlocuind în relația de mai sus mărimile corespunzătoare obținem

Page 22: Influenţa dispersiei asupra preciziei estimatorului

dg xg x g A x A

x Adx

Al doilea termen descrește rapid odată cu creșterea lui N. Se poate considera că, asimptotic, acest estimator este de tip MVU, eficient. Dacă ne referim la

figură, observăm că odată cu creșterea valorii N se restrânge intervalul în care se află valorile mediei eșantion, astfel că funcția g(x) se confundă tot mai bine cu tangenta la curbă. Tangenta definește o relație afină, ce conservă eficiența

Page 23: Influenţa dispersiei asupra preciziei estimatorului

Marginea inferioară Cramer-Rao pentru semnale deterministe, afectate de zgomot alb, gaussian

2

; ; 0,1,..., 1

0,

x n s n w n n N

w n

N

; ; ;E x n E s n w n E s n E w n s n

2 2 2Disp x n E x n E x n E w n

1 2

20

1 1; exp ;22

N

Nn

p x n s n

x

Considerăm modelul de semnal determinist, dependent de un parametru necunoscut, afectat de un zgomot alb, gaussian

Datele x[n] sunt gaussiene, deoarece se obțin din zgomotul gaussian w[n] printr-o transformare afină. Este deci suficient să determinăm media și

dispersia acestor date. Avem

Cu datele x[n] cunoscute și ținând seama de faptul că eșantioanele sunt IID putem determina funcția de plauzibilitate

Page 24: Influenţa dispersiei asupra preciziei estimatorului

22

01

20

222 1

2 2 20

1ln ; ln 2 ;2

;ln ; 1 ;

; ;ln ; 1 ;

N

nN

n

N

n

p N x n s n

s npx n s n

s n s npx n s n

x

x

x

2

2

221

2 20

21

20

ln ;

; ;1 ;

;1

N

n

N

n

pE

s n s nE x n s n

s n

x

Se determină apoi plauzibilitatea logaritmică și cea de-a doua derivată

Pentru a stabili informația Fisher este necesară medierea statistică, deoarece derivata a doua depinde de datele x[n]. Avem

Page 25: Influenţa dispersiei asupra preciziei estimatorului

2

1

0

ˆ;N

n

Disp CRLBs n

;; ; 0

s ns n

0 0; coss n A n

00

0

;sin

ds nAn n

d

2 2

0 12 2

00

ˆ

sinN

n

ADisp CRLBn n

În final avem limita inferioară Cramer-Rao pentru orice estimator al parametrului necunoscut,

Derivata semnalului util în raport cu parametrul necunoscut este o măsură a sensibilității semnalului la modificarea parametrului

Pentru exemplificare considerăm un semnal util a cărui frecvență este necunoscută

Determinăm sensibilitatea în raport cu frecvența

Obținem, în final, CRLB pentru orice estimator al frecvenței digitale

Page 26: Influenţa dispersiei asupra preciziei estimatorului

0192 2

00

1

sinn

CRLB fn n

Pentru faza inițială nulă și pentru N=20 eșantioane obținem

valoare plotată pentru frecvențe nu foarte apropiate de 0 sau Reținem că parametrii față de care semnalul util are o sensibilitate mai mare, se determină

cu dispersie mai mică, adică cu precizie mai mare