Canale de Informatie Cu Alfabet (de Puterea) Continuu(Mului) (P)

8/13/2019 Canale de Informatie Cu Alfabet (de Puterea) Continuu(Mului) (P)

http://slidepdf.com/reader/full/canale-de-informatie-cu-alfabet-de-puterea-continuumului-p 1/31

Canale de informatie cu alfabet (de puterea) continuu(mului) (P).doc

Canale cu alfabet (de intrare si alfabet de ieşire) (de puterea) continuu(mului)

canale reale (cu perturbaţii !) de transmitere a semnalelor

CANAL de comunicaţiex(t) y(t)

n(t)

• x(t) semnalul la intrarea în canal

• (t)ς perturbaţii diverse pe traseul canalului – zgomot („noise”)

EVAS 1




• (t))F(x(t),y(t) ζ= semnalul la ieşirea din canal, în prezenţa perturbaţiilor

• 0(t)0 y(t)(t)y ≡= ζ semnalul la ieşirea din canal, în absenţa perturbaţiilor

• x(t):A(x(t))F(x(t),0)(t)y0 ≡≡=

din punctul de vedere al teoriei informaţiei nu interesează operaţia

de amplificare A (liniar ă sau nu !), astfel că printr-o schimbarecorespunzătoare de variabilă (rescalare în cazul amplificatoarelor

electronice liniare) rezultă că A=I este operatorul identitate.

EVAS 2




zgomotul echivalent în reprezentare aditivă la intrare sedefineşte prin:

(t)y-y(t)n(t) 0= astfel că n(t)x(t)y(t) += .

zgomot aleator cu medie temporală nulă:

0)(1lim:nT

=⎥⎦⎤⎢

⎣⎡ ∫ ⋅=

∞→ T

dt t nT

zgomot necorelat cu semnalul: 0nx:nx =⋅=⋅

22222 nxnx2nxy +=⋅⋅++= nxy PPP +=

EVAS 3




EVAS 4

semnale fizice reale

s(t)

M

• sunt mărginite: ]M,M[R :)t(s −→

t

-M

tk tk+1tk-1

0




• au spectru limitat: ∫∞+

∞−

⋅ω⋅− ⋅⋅=ω⋅ dte)t(s) j(S t j

0) j(S ≡ω⋅ în afara domeniului F2|| ⋅π⋅=Ω≤ω

Ω⋅=≤ω⋅ hh maxE

(Planck !) dar practic F este determinat de circuitul electronic

EVAS 5




• conform teoremei eşantionării (Shannon)• se pot dezvolta în serie convergent ă:

)tt()]tt(sin[)t(s)t(s

k

k k

k k −⋅Ω −⋅Ω⋅= ∑

+∞=

−∞=

• unde intervalele de eşantionare nu depăşesc intervalul maxim deeşantionare („sampling”):

Ωπ=⋅=≤−+F2

1Ttt sk 1k .

EVAS 6




variabila aleatoare de la intrare: ξ

alfabetul (de puterea) continuu(mului) la intrare: ],a[X =

eveniment elementar la intrare: x:]Xx|x:[x ≡∈=ξ=ω densitatea de probabilitate pe alfabetul de la intrare

x

x

0h h

)hxx( plim

dx

dp)x(w

x

+≤ξ≤==

→ξ ∫ =⋅

ξ

b

a

1dx)x(w

valoare arbitrar ă de densitate de probabilitate la intrare

0wξ - pentru adimensionalizare pe alfabetul de la intrare

densitatea uniformă de probabilitate pe alfabetul de la intrare

a b

1w0 −

=ξ

EVAS 7




alfabetul finit de divizare la intrare, de dimensiune m }s)x,x[,......,s)x,x[,s)x,x{[X mm1m221110DIV

==== −

i'iss 'ii ≠∅=I Xsm

1ii =

=

U

entropia câmpului de la intrare

mloglimw

wlogdx

w

)x(wlog)x(wH 2

m0

02

b

a 02X

∞→ξ

ξ

ξ

ξξ +

⎪⎭

⎪⎬⎫

⎪⎩

⎪⎨⎧

⎟⎟ ⎠

⎞⎜⎜⎝

⎛ +∫ ⋅

⎥⎥⎦

⎤

⎢⎢⎣

⎡⋅−=

Alegere posibilă:a b

1w:w 00 −

== ξξ

EVAS 8




variabila aleatoare de la ieşire: η alfabetul (de puterea) continuu(mului) la ieşire: ],[Y βα=

eveniment elementar la ieşire: y:]Yy|y:[y ≡∈=η=ω

densitatea de probabilitate pe alfabetul de la ieşire

y

y

0h h

)hyy( plim

dy

dp)x(w

y

+≤η≤==

→

η ∫ =⋅β

α

η 1dy)y(w

valoare arbitrar ă de densitate de probabilitate la ieşire

0wη - pentru adimensionalizare pe alfabetul de la ie şire

densitatea uniformă de probabilitate pe alfabetul de la ieşire

α−β=η

1w0

EVAS 9




alfabetul finit de divizare la ieşire, de dimensiune n }r ]y,y[,......,r )y,y[,r )y,y{[Y nn1n221110DIV ==== −

j' jr r ' j j ≠∅=I Yr n

1 j j =

=

U

entropia câmpului de la ieşire

nloglimw

wlogdy

w

)y(wlog)y(wH 2

n0

02

02Y

∞→η

ηβ

α η

ηη +

⎪⎭

⎪⎬⎫⎪⎩

⎪⎨⎧ ⎟⎟ ⎠

⎞⎜⎜⎝

⎛ +∫ ⋅⎥⎥⎦

⎤⎢⎢⎣

⎡⋅−=

Alegere posibilă:α−β

== ηη1

w:w 00

EVAS 10




variabila aleatoare în spaţiul produs „intrare × ie şire” (compusă intensiv din cele două variabile aleatoare de la intrare ξ şi de la

ie şire η): η∧ξ

alfabetul (de puterea) continuu(mului) în spaţiul produs

„intrare × ie şire” ],[],a[YX:YX βα×=×=∧ ( produs cartezian al

alfabetelor de la intrare şi de la ie şire)

eveniment elementar în spaţiul produs „intrare × ie şire” (compus

intensiv din evenimente de la intrare x

ω şi de la ie şire y

ω ):

yx:yxyx ∧≡ω∧ω=ω ∧

EVAS 11




densitatea de probabilitate pe alfabetul din spaţiul produs„intrare × ie şire”

( )

( ) ( )

( ) ( )[ ]

yx

yx

0,0h,h

2

hh

hyyhxx plim

ydxd

pdy,xw

yx ⋅

+<η≤∧+<ξ≤=

/⋅/

/=

→

η∧ξ

( )∫ =⋅⋅∫β

α

η∧ξ

b

a

1dydxy,xw

EVAS 12




entropia câmpului compus intensiv din cele două câmpuri de laintrare şi de la ieşire:

( ) ( )

( ) ( ))nm(loglim

ww

0wwlog

dydxww

ywlogy,xwH

2,n,m0

002

b

a2YX

00

⋅+⎥⎥⎦

⎤

⎢⎢⎣

⎡⋅−

∫ ∫ ⋅⋅⎥⎥⎦⎤

⎢⎢⎣⎡

⋅⋅−=

∞∞→ηη

ξξ

β

α ηξη∧ξη∧ξ∧

Alegere posibilă:

a b1ww 00 −

== ξξ

α−β== ηη

1ww 00

EVAS 13




• Condiţionarea ieşirii de intrare

( )( ) ( )

( )

( ) ( )

( ) ( )[ ]( )

( )( )xw

x,yw

hxx p

h

hh

hxxhyy plim

h

hxx|hyy plimx,yw

x

x

xy

xy

0,0h,h

y

xy

0,0h,h|

xy

xy

ξ

ξ∧η

→

→ξη

=

+<ξ≤⋅

⋅+<ξ≤∧+≤η≤=

=+<ξ≤+≤η≤

=

( ) ( ) ( )xwx,ywy,xw | ξξηη∧ξ ⋅= integrare după condi ţ ionat (Bayes II)β

( ) ( )xwdyy,xw ξ

αη∧ξ =⋅∫

EVAS 14




• Condiţionarea intrării de ieşire

( )( ) ( )

( )

( ) ( )

( ) ( )[ ]( )

( )( )yw

y,xw

hyy p

h

hh

hyyhxx plim

h

hyy|hxx plimy,xw

y

y

yx

yx

0,0h,h

x

yx

0,0h,h|

yx

yx

η

η∧ξ

→

→ηξ

=

+≤η≤⋅

⋅+<η≤∧+<ξ≤=

=+≤η≤+<ξ≤

=

( ) ( ) ( )ywy,xwy,xw | ηηξη∧ξ ⋅=

integrare după condi ţ ionat (Bayes II)

( ) ( )ywdxy,xw b

aηη∧ξ =⋅∫

EVAS 15




• Eroarea medie

( ) ( )

nloglim

w

wlogdxdy

w

x,ywlogx,ywH

2m

0

0

2

b

a 0

|

2X|Y

∞→

η

ηβ

α η

ξη

ξ∧η

+⎥⎥⎦

⎤

⎢⎢⎣

⎡

⎟

⎟

⎠

⎞

⎜

⎜

⎝

⎛ +⋅

∫ ∫ ⋅⋅−=

Alegere posibilă:α−β

== ηη1

ww 00

EVAS 16




( ) ( ) nloglimdxdyw

x,ywlogx,ywH 2m

b

a 0

|2X|Y

∞→

β

α ηξηξ∧η +⋅∫ ∫ ⋅⋅−=

( ) ( ) ( ) nloglimdxdyw

x,ywlogxwx,ywH 2m

b

a 0

|2|X|Y

∞→β

α ηξηξξη +⋅∫ ∫ ⋅⋅⋅−=

( ) ( ) ( ) nloglimdxxwdyw

x,ywlogx,ywH 2m

b

a 0

|2|X|Y

∞→ξβ

α η

ξηξη +⋅⋅∫⎥⎥⎦⎤

⎢⎢⎣⎡ ∫ ⋅⋅−=

Pentru canalul uniform dispersiv, în expresia erorii medii

EVAS 17




( ) ( ) ( ) nloglimdxxwdyw

x,ywlogx,ywH 2m

b

a 0

|2|X|Y

CUD

∞→ξβ

α ηξηξη +⋅⋅∫

⎥⎥⎦⎤

⎢⎢⎣⎡ ∫ ⋅⋅−=

integrala

( ) ( )

( ) ( )

∫ ⋅⋅=∫ ⋅⋅β

α η

ξηξη

β

α η

ξηξη dy

w

*x,ywlog*x,ywdy

w

x,ywlogx,yw

0

|2|

0

|2|

nu depinde de x şi se calculeaz ă pentu o valoare oarecare *x fixat ă

( )

( )

( ) nloglimdxxwdyw

*x,yw

log*x,ywH 2m

b

a0

|

2|X|Y

CUD

∞→ξ

β

α η

ξη

ξη +∫ ⋅⋅⎥⎥⎦

⎤

⎢⎢⎣

⎡

∫ ⋅⋅−=

EVAS 18




( ) 1dxxw b

a=∫ ⋅ξ

astfel că eroarea medie nu depinde de distribuţia deprobabilităţi de la intrare

( )

( )

nloglimdyw

*x,yw

log*x,ywH 2m0

|

2|X|Y

CUD

∞→

β

α η

ξη

ξη +∫ ⋅⋅−=

EVAS 19




• Transinformaţia (Comunicarea)

X|YYYXYX HHHHH)Y;X(I −=−+= ∧

( ) ( )

( )⎪⎭

⎪⎬⎫

⎪⎩

⎪⎨⎧

+⋅⋅∫⎥⎥⎦

⎤

⎢⎢⎣

⎡∫ ⋅⋅−−

+∫ ⋅⎥⎥⎦

⎤

⎢⎢⎣

⎡⋅−=

∞→ξ

β

α η

ξηξη

∞→

β

α η

ηη

nloglimdxxwdyw

x,ywlogx,yw

nloglimdyw

)y(wlog)y(w)Y;X(I

2m

b

a 0

|2|

2n0

2

EVAS 20




Termenul nloglim 2n ∞→ se reduce (în mă sura în care la calcululentropiei câmpului de ie şire se practică un acela şi alfabet de

divizare în n subintervale chiar şi atunci când vorbim de entropia

câmpului de ie şire condi ţ ionat ă de câmpul de intrare) şi paradoxulentropiei infinite nu mai apare în expresia transinformaţiei.

( ) ( ) ( ) dxxwdyw

x,ywlogx,yw

dyw

)y(wlog)y(w)Y;X(I

b

a 0

|2|

02

⋅⋅∫⎥⎥⎦⎤

⎢⎢⎣⎡ ∫ ⋅⋅+

∫ ⋅⎥⎥⎦⎤

⎢⎢⎣⎡⋅−=

ξβ

α η

ξηξη

β

α η

ηη

EVAS 21




Conditionarea de ξη | (adică atunci când intrarea este

cunoscut ă !) face ca numai zgomotul să determine ieşirea . Astfel

n:= avem ( ) )x,n(wx,yw || ξηξη = .

Zgomotul acoper ă plaja (alfabetul continuu şi mărginit al

zgomotului !) ],[ nn βα cu nnnn Pk 2k 2 ⋅⋅=σ⋅⋅=α−β

Pentru zgomot uniform:

nnn|0|

Pk 2

11)x,n(w)x,n(w

⋅⋅

=

α−β

== ξηξη

EVAS 22




• Pentru canalul uniform dispersiv (când eroarea medie nudepinde de distribuţia de probabilităţi de la intrare):

( ) ( )

∫ ⋅⋅+

⎪⎭⎪⎬⎫

⎪⎩⎪⎨⎧ ∫ ⋅

⎥⎥⎦⎤

⎢⎢⎣⎡⋅−=

β

α ηξηξη

β

α ηηη

dyw

*x,ywlog*x,yw

dyw

)y(wlog)y(w)Y;X(I

0

|2|

02

CUD

EVAS 23




• Debitul de comunicare

( ) ( ) ( ))Y;X(IF2

2T

Y;XIY;XI

L

Y,XILI

s _ _ t ⋅⋅==

τ

=

τ⋅

⋅=

sec

sim/ bit

( ) ( ) dtetx jX t j∫ ⋅=ω∞

∞−ω− ( )( )∑ −⋅Ω −Ω⋅=

∈Zk k

k k ttttsin)t(x)t(x

F2

1

2

Ttt s

1k k

⋅=≤− −

F- este frecvenţa maximă din spectrul semnalului

(banda semnalului)

EVAS 24




• Capacitatea temporală a canalului cu alfabet continuu•

( ) ]HH[maxF2Y;XImaxF2ImaxC X|YY)x(w)x(w

t)x(w

t −⋅⋅=⋅⋅==ξξξ

• Pentru canalul uniform dispersiv (când eroarea medie nu

depinde de distribuţia de probabilităţi de la intrare):

• ( ) ]HH[maxF2Y;XImaxF2ImaxC CUD

X|YY)x(w)x(w

t)x(w

t −⋅⋅=⋅⋅==ξξξ

EVAS 25




( ) ( )∫ ⋅⋅+

⎪⎭⎪⎬⎫

⎪⎩⎪⎨⎧ ∫ +⋅

⎥⎥⎦⎤

⎢⎢⎣⎡⋅−⋅⋅=

β

α ηξηξη

β

α ηηη

ξ

n

n

dnw

*x,nwlog*x,nw

dyw

)y(wlog)y(wmaxF2C

0

|2|

02

)x(wtCUD

In cazul canalului simetric maximul entropiei la ieşire seobţine pentru o distribuţie de probabilităţi uniformă la intrare

a b

1

w)x(w 0 −== ξξ

şi corespunzător o distribuţie de probabilităţi uniformă la ieşire

EVAS 26




α−β== ηη 1w)y(w 0

Capacitatea canalului simetric cu zgomot uniform

( )( )

⎪

⎪

⎭

⎪⎪

⎬

⎫

⎪

⎪

⎩

⎪⎪

⎨

⎧

∫ ⋅⋅

⎪⎭

⎪⎬⎫

⎪⎩

⎪⎨⎧

+

∫ ⋅⋅⎪⎭

⎪⎬⎫

⎪⎩

⎪⎨⎧

⎥⎥⎦

⎤

⎢⎢⎣

⎡−

⋅⋅=β

αξη

η

ξη

β

α ηη

η

n

n

dn*x,nw

w

*x,nwlog

dy)y(ww

)y(wlog

F2C

|00

|02

00

0

2

tSIM

EVAS 27




( )⎥⎥⎦⎤

⎢⎢⎣⎡⋅⋅=

ηξη

)y(w*x,nwlogF2C

0

|02t

SIM

n

y

nn2t

Pk 2

Pk 2F2logF2CSIM

⋅⋅⋅⋅⋅⋅=⎥

⎦

⎤⎢⎣

⎡α−βα−β⋅⋅=

aditivitatea zgomotului în valoare simplă dar şi în medie

pătratică: nx += , ________ _

2 _

2 _

2 nx2nxy ⋅⋅++= ,nxy

PPP +=

EVAS 28




⎟⎟ ⎠ ⎞⎜⎜

⎝ ⎛ +⋅=+⋅=⋅=⋅⋅=

n

x2

n

nx2

y2

yt

PP1logF

PPPlogF

PPlogF

PPF2CSIM

zgn

Densitatea spectrală de putere pentru zgomot:

n

nn

0f Sdf

dP

f

)f f ,f (P

lim ==Δ

Δ+

→Δ [ ]HzW - ( )∫=

sus

jos

f

f nn df f SP

Bf f jossus =− (banda circuitului !)

In cazul zgomotului „alb” densitatea spectrală de putere de

zgomot este constantă în bnda de frecvenţe deci 0nn SS = şi

EVAS 29




BSf f SP 0n js0nalb _ n ⋅=−⋅=

⎟⎟

⎞

⎜⎜⎝

⎛

⋅+⋅= BS

P

1logF|C 0n

x

2alb _ zgt

sim

B F ≤ pentru transmisie corectă

doresc F mare dar din motive de zgomot doresc B mică

compromis ! F B =

⎟⎟ ⎞

⎜⎜⎝ ⎛

⋅+⋅⋅==

FS

P1logFC)F(|

0n

x2talb _ zgt

simC 2lnS

P

0n

xt ⋅

=∞C

EVAS 30

C l d i f i lf b (d ) i ( l i) (P) d




Un exemplu numeric: (C=Ct , inf=

)

0 100 200 300 400 500 6000

50

100

50.642

Cinf

Mbit

sC F( )

Mbit

s

30

F

MHz

Sn0 1.5 10 8−×nW

Hz= Px 1nW=

Cinf 96.18Mbit

s= C 30 MHz⋅( ) 50.642

Mbit

s=

EVAS 31

Canale de Informatie Cu Alfabet (de Puterea) Continuu(Mului) (P)

Documents

Transcript of Canale de Informatie Cu Alfabet (de Puterea) Continuu(Mului) (P)