Transmiterea datelor - Dobrescu .pdf

8/10/2019 Transmiterea datelor - Dobrescu .pdf

1/499


2/499


3/499


4/499


5/499


6/499


7/499


8/499


9/499


10/499


11/499


12/499

1

1. INTRODUCEREmi displac n egal msur attcomplicarea inutil a lucrurilorsimple, ct i simplificarea fr rost acelor complexe.

1.1. Consideraii generale

Transmiterea dateloreste unanim considerat veriga esenial n ceea ce senumete ndeobte tehnologia informaiei. A spune c mai corect este vorbatiina informaiei. De ce informaie i transmisie de date? Pentru c n fondobiectul acestui curs l constituie prezentarea tehnicilor i procedurilor detransmisie la distan a informaiei, n scopul conducerii automate a unui procesindustrial. Dihotomiaaparent din sintagma informaie i transmisie de date sugereaz de fapt fundamentul teoretic: teoria informaiei, din care deriv principala aplicaie: transmiterea (la distan) a datelor. n cea mai larg accepiune, cuvntulinformaie nseamn tire sau veste ieste strns legat de conceptul decomunicaie . Aa cum termeni de informaie idate pot fi vzui n strns legtur, fr a fi ns echivaleni, tot aa se potevidenia asemnri i deosebirintre termeniitransmisie de date i respectiv

comunicaie . Asupra acestor aspecte se va reveni cu detalii i nuanri n capitolulurmtor. Pentru moment vom considera ca transmisia de date presupune un singursens de transfer al infor maiei, de la o surs la un destinatar, n timp cecomunicaia presupune transferul informaiei ntre dou echipamente (terminale) nambele sensuri. De aceea, pentru c de regul canalul de transfer este utilizat bidirecional, l vom numi n continuarecanal de comunicaie i vom folosi pentruansamblul ce asigur schimbul de informaii denumirea de sistem de comunicaie .De milenii, oamenii au conceput numeroase metode pentru a-i comunicanecesitile sau gndurile. n era comunei primitive, cnd fiinele umane triau nmici grupuri distribuite pe arii geografice limitate, comunicaia avea loc prinlimbaj, gesturi sau simboluri grafice. Pe msur ce aceste grupuri deveneau maimari i aria geografic cretea, s-au dezvoltat comunicaii la mare distan: semnale

luminoase (focuri), semnale de fum, porumbei cltori, si totodat o diversificare asimbolurilor (comunicaia pe mare cu steaguri e nc utilizat n anumite condiii). Marshall Mc Luhan afirma c societile au fost modelate mai mult cu caracterulspecific al mijloacelor prin care comunic oamenii, dect de coninutulcomunicrii. De fapt, ceea ce conta era modul de propagare a energiei asociatesemnalului intermediar precum i modalitile de stocare a informaiei. Pn nzilele noastre, cel mai important mijloc de stocare a informaiei l-a constituit


13/499

2

cuvntul scris, iar utilizarea tiparului a nsemnat o revoluie n sensul posibilitilorde rspndire pe arii largi a informaiei. Dac volumul de date putea fi orict demare, timpul de transmisie devenea foarte lung.Odat cu nceputul erei industriale, s-au dezvoltat tehnici de transmisie rapid asemnalelor electrice pe distane mari, n timp relativ scurt. n ordinea apariiei:telegraful, telefonul, televiziunea au produs schimbri uriae n tehnicacomunicaiilor la distan. Dezvoltri semnificative ale comunicaiei prin semnaleelectrice au avut loc n timpul i dup cel de-al doilea rzboi mondial, nu numaitehnic (radarul, sonarul), dar i conceptual, prin dezvoltarea teoriei generale atransmiterii discrete a informaiei (Shannon, aproximativ 1950).Progresele tehnologice: tranzistori, circuite integrate, microprocesoare, laser,satelii de comunicaie au fcut ca n prezent sistemele evoluate de comunicaii s permit transportul n orice punct de pe glob a oricrui tip de informaie: voce, text,desene, imagini etc.Totodat, epoca industrial actual a nsemnat creterea gradului de automatizare a proceselor industriale i posibiliti de conducere prin calculator ale acestora.Aceast evoluie a condus la necesitatea comunicaiei ntre diferite echipamenteinteligente i sisteme de calcul, precum i ntre echipamente (maini) i operatoruluman. Natura informaiilor transmise a evoluat deci spre simbolurile utilizate n tehnicadiscret, care a nlocuit n mare msur tehnica analogic de transmitere ainformaiilor.

1.2.

Modelul unui sistem de comunicaii n fig. 1.1 se prezint schema bloc funcional a unui sistem de comunicaie nsensul cel mai larg, avnd ca obiectiv transmistereainformaiei n timp i spaiu dela un punct numit surs (de informaie) sau expeditor la un alt punct denumitutilizator sau destinatar. n mod particular, pentru un proces industrial sursa deinformaii poate fi un traductor, iar destinatarul un calculator de proces.Singura restricie n modelul general din fig. 1.1 o constituie natura electric asemnalelor de intrare i ieire, ceea ce implic necesitatea ca o surs neelectric deinformaie s posede un mecanism de conversie a informaiei ntr -un semnalelectric variabil n timp, ce va fi denumitsemn al mesaj . La rndul su, canalul decomunicaie trebuie s permit transmiterea semnalului electric, dar natura sa poatefi divers: pereche de fire metalice, fibr optic, canal radio, .a. La transmiter ea prin canalul de comunicaie poate apare o degradare a semnaluluidatorat perturbaiilor sau distorsiunilor provocate de tehnica de transmisie.Principalele cerine pentru un sistem de comunicaie sunt: evitarea distorsiunilor iminimizarea efectelor perturbaiilor. n acest scop, emitorul va prelucra mesajul iniial, pentru a avea o transmisieeficient. Principalele operaii efectuate sunt: amplificare, filtrare, modulare


14/499

3

ultima operaie fiind esenial n adaptarea semnalului mesaj la caracteristicilecanalului. Ea ofer totodat posibiliti de reducere a efectelor perturbaiilor i detransmitere simultan a mai multor mesaje. Exist dou tipuri fundamentale demodulaie: cu purttoare continu (de regul sinusoidal) i cu purttoare tren deim pulsuri. n ambele cazuri, modificarea purttoarei de ctre semnalul mesaj se poate face continuu sau discret, ultima procedur fiind preferat, n sensul c permite modularea direct a semnalelor discrete ale sursei. Totui, folosind tehnicide discretizare n timp (eantionare) i nivel (cuantizare), se pot transmite isemnale analogice prin tehnici discrete de modulare.

La rndul su, receptorul va fi astfel conceput nct s permit extragerea ct maifidel a semnalului mesaj din forma degradat a semnalului de ieire din canal.Acest lucru se obine n mod esenial prin operaia de demodulare, la care seadaug de asemenea operaii de filtrare i amplificare. n funcie de metoda de modulaie folosit i de natura semnalului de ieire alsurseide informaie, sistemele de comunicaie se pot mpri n4 categorii:

sisteme analogice de comunicaie, care transmit informaie analogicfolosind metode analogice de modulaie;

sisteme numerice de comunicaie, care transmit informaie numericfolosind metodenumerice de modulaie;

Sursa de informatie(expeditor) EMITATOR

Canal de

comunicatie

RECEPTORUtilizator

(destinatar)

Semnal de intrare

(electric)

SISTEM DE

COMUNICATIE

Perturbatii

Semnal de iesire

(electric)

Fig 1.1


15/499

4

sisteme hibride de comunicaie care transmit informaie analogicfolosind metode numerice de modulaie sisteme hibride de comunicaie care care transmit informaie numeric

folosind metode analogicede modulaie. Pe parcursul crii referirile se vor face n mod esenial la sistemele numerice detransmitere a informaiei, sub form de secvene de simboluri (date numerice), cuunele completri referitoare la alte categorii de sisteme de comunicaie. n fig. 1.2 se prezint modelul cu blocuri funcionale al unui sistem numeric decomunicaie, n care mesajele surs i utilizator sunt secvene de simboluri binare. n mod suplimentar, fa de schema din fig. 1.1 apar blocurile de codare/decodare,specifice tratrii discrete a informaiei. Blocul de codare are n componen dou subansamble: blocul de codare surs(care transpune mesajul n alfabetul sursei) i blocul de codare canal (caretranspune mesajul n alfabetul canalului). Prin tehnicile de codare, o secven desimboluri capt o anumit semnificaie, anumite reguli semantice perminddepistarea la decodare a eventualelor erori aprute n timpul transmisiei i, n unelecazuri, corectarea acestora. Tehnicile de codare/decodare permit de asemeneacreterea vitezei de transmisie n canal.Se prezint n continuare cteva consideraii privind specificitatea diferitelor blocuri din schema descris n fig.1.2.

Fig.1.2

Sursa discret

de informa ie

Flux de

date binareSemnal electric

analogic/numeric

Perturbatii

Codor

surs /canal

Modulator

Destinatar Decodor

surs /canal

Demodulator

Canal (electric)

de comunicatie

a b

c

c

a b

Secventa de

simboluri


16/499

5

1.2.1. Sursa de informaie

Sursele de informaie se pot clasifica n dou categorii, dup natura semnalului deieire: surse analogice (continue), de exemplu semnalul oferit de un microfon lacare se vorbete i surse numerice (discrete), de exemplu ieirea spre imprimant aunui calculator.ntruct semnalul oferit de sursele analogice se poate discretiza, n continuare sefac referiri la sursele discrete de informaie. O surs discret de informaie e caracterizat de:

a) Alfabetul sursei (mulime finit de simboluri, prin simbol nelegndelementul ireductibil care conine informaie);

b) Viteza de emisie a simbolurilor;c) Probabilitatea de apariie a unui simbol.

Se constat folosirea unei terminologii legate de lingvistic: alfabet, simbol(denumit uneori chiar liter), cuvinte (succesiuni de simboluri), asociate cu termenistatistici (probabiliti). Cu aceti parametri se poate constitui un model proba bilistic al sursei de informaiei se poate defini entropia sursei, termen fundamental n teoria informaiei, cum seva vedea n capitolul urmtor. Menionm c se vor lua n consideraie doar surse de informaie statistice, la care probabilitile de apariie a diferitelor simboluri nu depind de timp i totodatergodice, la care toate irurile de simboluri sunt tipice. Se consider tipic un ir lacare pentru un numr foarte mare de simboluri (n), numrulni de simboluri xi

este n pn ii

,unde p i este probabilitatea de apariie a simbolului xi.

1.2.2. Blocurile de codare/decodare

Intrarea n blocurile de codare este o secven de simboluri ce apar cu vitezav s(simbol/s). Codorul surs convertete secvena de simboluri ntr -o secvena devalori binare 0 sau 1, n vreme ce codorul canal grupeaz n cuvinte acestesimboluri binare. Cuvintele pot fi de lungime fix sau variabil, alegerea eficient alungimii fiind dependent pe de o parte de probabilitatea de apariie a simbolurilor, pe de alta de nivelul perturbaiilor n canal, pentru c aa cum am menionat deja, prin codare se urmrete i posibilitatea de detecie/corecie aerorilor de tip

perturbaie intersimbol (10 sau 0 1). Aceasta este n fond sarcina bloculuidecodor, la care se adaug i probleme legate de memorarea unui anumit numr decuvinte (sau mesaje) i de sincronizare.Problema esenial a codrii const n gsirea unui compromis ntre o transmisieeficient (cu viteza ct mai ridicat) i una ct mai sigur (cu o rat a erorii ct mairedus). Ultima cerin implic folosirea unor simboluri de control (suplimentare)care duc n schimb la mrirea timpului de tr ansmisie.


17/499

6

E.T.T.D

MODULATOR

DEMODULATORCANAL E.T.T.D

DEMODULATOR

MODULATOR

1.2.3. Blocurile de modulare/demodulare

Modulatorul are ca scop minimizarea efectelor perturbatoare ale canalului, nspecial prin utilizarea unor semnale de putere i band sporit. El este conceputntotdeauna n funcie de tipul de canal pe care areloc transmisia.Procesul de modulare este reversibil. Demodulatorul va extrage mesajul dinsemnalul obinut la ieirea canalului, prin tehnici adecvate ce depind evident detipul de modulaie utilizat.

1.2.4. Canalul de comunicaie

Canalele de comunicaie sunt circuite fizice de tip electric sau electromagnetic,care au deci o band de trecere B limitat i un anumit efect atenuator asuprasemnalului. La aceasta se mai adaug zgomotele aleatoare care degradeazsemnalul mesaj iniial. De aceea, canalul va fi caracterizat esenial prin raportulsemnal/zgomotS/Z ce poate fi meninut la ieirea canalului. Se va vedea (capitolul3) ca n funcie de B i S/Z se va defini capacitatea canalului C ca o limit teoreticde a asigura oanumit vitez de transmisie [bit/s].

1.2.5. Alte blocuri funcionale

Un numr de elemente funcionale, nefigurate n fig. 1.2, apar n sistemele decomunicaie uzuale. Ele sunt blocuri de filtrare, circuite de ceas i de sincronizare,

blocuri de egalizare/adaptare pentru compensarea schimbrilor ncaracteristicilecanalului.Existena unor astfel de blocuri conduce la structuri diferite ale sistemului decomunicaii. Totodat trebuie precizat faptul c schema din fig.1.2 este pur teoretic, fraplicabilitate industrial, pentru c privete unilateral transmisia de date. n practicse impuse o soluie prin care datele circul n dou sensuri, ntre dou echipamenteterminale de transmisie de date (ETTD).Fig. 1.3 prezint schematic un astfel de sistem.

n schema din f ig. 1.3 am presupus c ETTD nglobeaz esenial blocurile decodare/decodare i de sincronizare, iar blocurile modulator i demodulator au fostasociate ntr-un bloc funcional denumit modem.

Fig 1.3


18/499

7

Un astfel de sistem de comunicaie poart denumirea de sistem de comunicaie punct la punct sau post la post, aspectul de distan putnd fi marcat prin noiunilede post local i post distant. Sistemele de comunicaie punct la punct constituiedoar o etap n evoluia sistemelor de comunicaie, care s-au dezvoltat subformde sisteme de comunicaie multipunct i de reele de transmisie de date, n carenumeroase terminale pot efectua schimburi complexe de informaii prin sistemestandardizate de interfa fizic i logic.

1.3. Scopul i structura crii

Cursul Transmisia Datelor i propune s familiarizeze studenii cu problemele

eseniale ale transmisiei de date numerice n sistemul de comunicaie punct la punct. Fundamentul teoretic al lucrrii l constituie teoria informaiei, bazat peconceptul de entropie, aa cum a conceput-o Shannon, i care face obiectulcapitolului 2.Capitolul 3 abordeaz zona central a sistemelor de comunicaie ianume canalul de comunicaie. Adiacent, n acest capitol se menioneaz succintaspecte eseniale privind prelucrarea semnalelorn vederea transmisiei pe canale.n capitolul 4 sunt tratate proceduri i soluii tehnice privind prelucrareasemnalelor, fiind vorba n special de modulaia semnalelor i de recepia optimal aacestora.n capitolul 5 se trateaz proceduri i structuride codare/decodare precumi tehnici speciale de prelucrare a mesajelor, cum sunt cele de compresie de date. Capitolul 6 prezint tehnici de organizare a transmisiei informaiei n sisteme punctla punct i proceduri de cretere a eficienei transmisiei pr in multiplexare. Capitolul

7 ofer deschideri spre sistemele de comunicaie multipunct i reele locale saulargi de transmisie a datelor, fr ns a descrie proceduri specifice de exploatare aacestora. Esenial rmne descrierea modelului de referinISO pentruinterconectarea n sisteme deschise, la care primele dou niveluri sunt specificelegturii punct la punct. Un ultim capitol este dedicat unor exemplificri cereliefeaz valabilitatea soluiilor prezentate n capitolele anterioare. Totodat estedescris o metodologie de proiectare a unui echipament ETTD i sunt oferite soluiide implementare cu module standard.Se presupune c cititorul are deja cunotine legate de teoria sistemelor i asemnalelor deterministe i aleatoare, transformata Z, serii i transformri Fourier,densitate spectral de putere, probabiliti, variabile aleatoare discrete i continue,funcii de corelaie, estimatoare de stare, filtre Kalman. De asemenea, lucrarea presupune cunoscute noiuni fundamentele de electronic (dispozitive i circuite),tehnica impulsurilor, sisteme de microprocesor.Cursul ofer deschideri pentru toate cursurile aplicative de conducere a proceselori n special pentru cele legate de reele locale, comunicaie industrial, sistemeinformatizatede msur, conducere ierarhizat a proceselor.


19/499

1

2 ELEMENTE DE TEORIA INFORMAIEI

Dac a avea de ales ntre un adevr iun paradox, a alege paradoxul

Mircea Eliade

Materialul constituit n acest capitol se bazeaz pe munca de pionerat a luiShannon. n 1948 el a publicat n Bell System Technical Journal o serie de articole prin care punea bazele matematice ale teoriei comunicaiei i stabilea limiteteoretice pentru performanele sistemelor de comunicaie [1].

2.1 Elaborarea tiinific a conceptului de informaie

n anii 1920 1930 R.A. Fisher a ncercat s stabileasc criterii matematice pentruevaluarea estimaiilor statistice n sensul c plecnd de la date de observaie, s seestimeze parametrii unei distribuii de frecvene (respectiv de probabiliti) i aobservat c se poate izola un termen care nu depinde de datele de observaie, cinumai de probabilitaile efective. Fisher numete expresia matematic respectivinformaia coninut n observaie, lucrrile sale fiind primele care introductiinific acest termen. Teoria statistic a comunicaiei ncepe ns cu lucrarea clasic a lui R.V. Hartley(1927) n care acesta caut s stabileasc o msur cantitativ prin care s poat ficomparate capacitile diferitelor sisteme de a transmite informaie.n acestcontext, termenul informaie nu se refer la sensul (semantica) semnalelortransmise (Hartley se refer la sisteme electrice de comunicaie), ci la o msur ntermeni de cantiti fizice pure. Hartley adopt ca msur practic a informaiei logaritmul numrului de secvene de simboluri posibile. El impune ca o primcerin a msurii aditivitatea, n sensul c informaia coninut n dou uniti dememorare identice este dublul celei coninut de fiecare n parte, iar n n unitatide n ori mai mare dect cea coninut ntr -o unitate. Atunci, considernd c ounitate de memorie are m stri posibile. n astfel de uniti vor avea N =nm stri

(secvene de simboluri) posibile, cu alte cuvinte o relaie exponenial ntrenumrul de stri posibile i numrul de uniti de memorie utilizat, ceea cesugereaz o msur logaritmic a informaiei. Hartley definete capacitatea deinformaie a unui sistem prin:

mn N C loglog (2.1)Se observ c prin metoda Hartley comparaiile cantitative sunt uor de fcut, darmsura propriuzis a informaiei este dificil, fiind legat de procesul de selecie al


20/499

2

aceea de a lua n consideraie probabilitatea de apariie a unui anumit tip desemnale. Este aspectul care l-a incitat pe C. E. Shannon (1948) n stabilirea unitiide msur a informaiei care s nu depind de natura acesteia, aa cum temperaturaunui corp nu depinde de natura fizic a acestuia. Shannon pornete de la premiza corice informaie asupra unor evenimente este utilizat n scopul reducerii gradului de incertitudine asupra realizrii acelui eveniment. Din punctul de vedere aldestinatarului, comunicaia este o variabil aleatoare, coninutul informaional alunei stri fiind cu att mai mare cu ct ne ateptm mai puin la realizarea aceluieveniment.Fie un experiment A care pune n eviden n evenimente elementarea 1 , a 2 , , a n despre realizarea cruia nu avem certitudine, dar se cunosc probabilitile deapariie

1 p ,

2 p , , n p cu i p 0, i = 1, , n i

11

n

ii p

Un astfel de experiment pune n eviden un anumit cmp de probabilitate ( A, a i , p i), caracterizat de repartiia:

n

n

p p p

aaa A

21

21

Pur calitativ, se poate aprecia c experimentul A definit prin repartiia:

5.05.021 aa A

este caracterizat printr-un grad de incertitudine mai mare dect experimentul B

definit prin relaia:

9.01.021 bb B

Pentru a putea ajunge i la o apreciere cantitativ, se impune referirea la noiuneade probabilitate condiionat. Fie dou evenimente A i B. Probabilitatea condiionat P(A/B) este definit prinrelaia:

)()(

)()(

)/( B P

B A p B P

B A P B A P

(2.2)

i se interpreteaz ca fiind schimbarea probabilitii P(A) de apariie aevenimentului A cnd s-a realizat evenimentul B.

n cazul particular cnd B A , A B A i deci: )(

)()(

)/( A P B P A P

B A P

Aceast abordare poate fi uor intuit apelnd la definiia numeric a probabilitiirealizrii unui eveniment A, asociat unei mulimi reprezentat pr in diagrame Venn.Considernd n fig. 2.1 un cmp de msur SE (msura G corespunde


21/499

3

evenimentului sgur E), atunci probabilitatea realizrii evenimentului A(caracterizat de msura AS ; este: E A S S A P /)(

n aceste condiii E

B

S S

B P )( ;)(

)()(

B P B A P

S

S A P

B

B AS

Fig. 2.1

Deci informaia B realizat crete probabilitatea lui A sau cu alte cuvintemicoreaz incertitudinea asupra realizrii lui A. Utiliznd o funcie descresctoarede tiptip logaritmic pentru a permite aprecierea numeric, rezult:

)(1

log)(

1log

)(1

log)/(

1log

A P B P A P B A P

sau cu alt notaie: )()()()/( A I B I A I B A I

unde prin I(A) s-a notat incertitudinea asupra realizrii evenimentului A. Deci,tirea c s-a realizat evenimentul B diminueaz incertitudinea I(A) cu cantitatea:

)(log)(

1log)( B P B P

B I (2.3)sau cu alte cuvinte putem spune c aduce cantitatea de informaie I(B). (n particular, dac A = B, I(A/A) = 0, adic incertitudinea asupra lui A se anuleaz larealizarea lui A).Se poate deci stabili o echivalen ntre incertitudinea asupra unui eveniment irealizarea acestui eveniment.Relaia (2.3) nu precizeaz baza logaritmului.Informaia ce se obine prinrealizarea evenimentului xi de probabilitate i p va fi:

)(log)( ibi x pk x I (2.4)unde k depinde de baza b a logaritmului. A alege o unitate de incertitudine (decide informaie) revine la a fixa b ; incertitudinea unitate este aceea a unui evenimentde probabilitate 1/b.Se pot defini astfel:

nat ul (na tural unit), cu b = e bit ul (bi nary unit), cu b = 2 decit ul (deci mal unit), cu b = 10

A SE B

SBSA


22/499

4

Dintre acestea, cea mai rspndit este bit ul, definit ca informaie ce se obine prin realizarea unui eveniment din dou evenimente echiprobabile bit i 1

21

log 2

De remarcat c se impune o deosebire de nuan fa de ceea ce uzual n tehnicanumeric se denumete prin bit (ca prescurtare de la binary degit), i anume cifra binar 0 sau 1.Dac o surs binar simetric de informaie emite 1 bit de informaie pentru fiecaredigit 0 sau 1, o sursa asimetrica are mite fraciuni de bit de informaie (de ex. 0,5 bit/digit). Pentru a evita confuziile, ISO (Organizaia Internaionala deStandardizare) a propus pentru unitatea binara de informaie termenul de

Shannon, dar denumirea nu s-a impus, ca de altfel nici cea de Hartley pentrudecit.Un calcul elementar indic:

bitidecit

bitie

nit

32,32lg

1101

log1

44,12ln

112log1

Tabelul 2.1. prezinta legtura ntre diverse cantitai de informaie.

Tabelul 2.1.Bit Nit decit

1 bit 1 0,693 0,3011 nit 1,443 1 0,4341 decit 3,322 2,303 1

n tot ce va urma n aceasta lucrare baza logaritmului va si 2 i deci unitatea deinformaie utilizata va fi bitul. Este interesant de semnalat ns, chiar de acum,importana utilizarii tehnicii binare n codificare. Pentru aceasta, fie un experimentaleator la care cele N rezultate posibilem1 , m 2 , mn au aceeai probabilitate1/N .Fiecare are ca incertitudine: )( im I =log N biti,iar n particular, pentru N = 2k

)( im I = k biti,ceea ce permite sa se calculeze biii informaionali prin numarul desimboluri de codificare binare.Exemplul 2.1 : O sursa emite la intervale egale de timp un mesaj din 5 posibile(m1,, m5) cu probabilitaile1 p = , 2 p = 1/4, 3 p = 1/8, 4 p = 1/16; 5 p = 1/16.Se cere sa se determine informaia coninut n fiecare mesaj.Soluie : )( im I = -log2 2 p i deci: )( 1m I = 1 bit; )( 2m I = 2 biti; )( 3m I = 3 biti;

)( 4m I = )( 5m I = 4 biti


23/499

5

2.2 Entropia informaionala

2.2.1 Definiie

Revenind la experimentul cu N rezultate probabile, este de presupus c fiecarerezultat n parte introduce o nedeterminare egal cu a 1/N a parte dinnedeterminarea totala, deci cu:

1/N log N= - 1/N log 1/NInformaia total I tot ce se poate obine prin nlturarea succesiv a N nedeterminrise poate exprima prin formula :

N i

itot N N I

1/1log)/1(

Prin generalizare, obsevnd c 1/N este de fapt probabilitatea de apariie a unuieveniment, se obine ca msur a nedeterminrii unui experiment cun evenimentea 1 , a 2 , , a n caracterizat de probabilitaile n

iiin p p p p p

12,1 1,0,,..., expresia:

n

iiin p p p p p H

12,1 log),...,( (2.5)

denumita de Shannon entropieinformaional.Termenul entropia fusese introdus de Clausius n 1876 i exprimat ntermodinamica statistic de ctre Boltzmann, ca logaritmul probabilitilor strilorunui sistem. Nu se va ti probabil niciodat dac numai analogia de form l-aincitat pe Shannon s introduc noiunea de entropie i notaia H n teoriainformaiei sau a intuit de la nceput interconexiunile subtile i complexe dintrecele dou concepte: entropia termodinamic i entropia informaionala. De altfel,legatura aceasta a fost subliniat ulterior de diveri autori, dintre care l menionm pe Brillouin pentru enunul generalizat al celui de-al doilea principiu altermodinamicii, incluznd informaia [2]. n cele ce urmeaza, prin entropie se vanelege doar entropia informaional.

2.2.2 Propriet ile entropiei

1. Cu convenia p log p = 0 pentru p = 0 , entropia definita de expresia (2.5)este pozitiv, simetric i continu.

2. Oricare ar fi numerele p1 , p2 , p n: H( 1 p , 2 p , , n p ) H(1/n, 1/n, , 1/n)


24/499

6

Pentru demonstraie, se poate utilize inegalitatea lui Jensen pentru funciiconvexe: pentru orice funcie f(x) convex pentru ],[ ba x i ( 1 x , 2 x ,

n x ,) valori ale segmentuluix i 1 , 2 , , n numere pozitive cu n

i 11 1

n

i

n

ii x f x f

1 111 )()( (2.6)

Considernd x x x f log)( (care respect condiia de convexitate), xi = p i i i = 1/n , i = 1, 2, n i aplicnd (2.5) obinem:

(q.e.d) log)...,(

/1log/1)...,(/1

/1log/1)...,(/1

p/1log p/1log p/1

21

21

121

i1 1

ii

n p p p H

nn p p p H n

n pn p p p H n

nn pn

n

n

n

iin

n

ni

n

i

n

ii

Proprietatea 2 arat c entropia este maxim dac evenimentele sunt echiprobabile.n cazul particular a numai dou evenimente, de probabilitate p i respectiv1-p ,

H(p) = - plog p (1-p) log (1 p) este o funcie convex ce se anuleaza la p= 0 i emaxim la p = 1/2 (fig. 2.2).

Fig. 2.2

3. Fie cmpul de evenimente

nn

nn

p p p p

x x x x X

,..........,,

,..........,2,1

121

1

Considerm c evenimentuln x se mparte n evenimente disjuncten x = y 1 y2

... yn, cu probabilitile1q , , nq i cu proprietatea:

1

H(p)

p1/20 1


25/499

7

n j

n j qq1

Am format n acest fel un nou cmp de evenimente:

nn

nn

qq p p

y y x xY X

,..........,........

,..........,........),(

111

111

Entropia acestui cmp este:

)/,...,/(),....,(

/log/),...((

log//1(log),...(

log/loglog

loglog),(

121

11

11

11

1

1 1

nnnnn

n

jn jn jnn

n

j jn jnnn

n

j jn jnnn

n

iii

n

i

n

j j jii

pq pq H p p p p H

pq pq p p p H

q pq p p p p H

q pq p p p p p

qq p pY X H

rezult: ),...(),...,,...( 1111 nnn p p H qq p p H

Deci prin mprirea unui eveniment n mai multe sub-evenimente (lucru echivalentcu creterea complexitii experimentului) entropia nu poate s scad (n generalcrete).

2.2.3 Teorema lui Mac Millan

Aceast teorem [3] d o semnificaie precis pentru interpretarea statistic aentropiei. De fapt, a estima c incertitudinea medie este cu att mai apropiat de entropie (medie n sensul probabilitilor) cnd numrul de evenimente n este mare,nseamn s iei n consideraie o convergen. Acest punct de vedere este bazat pelegea numerelor mari.Fie o serie de variabile aleatoare1 X , , 2 X , n X , independente, cui X lundvalori n ansamblul finit s = ( 1m , 2m , nm ) i de aceeai lege, n sensul c dac

1 x este o realizare particular a lui

1 X (

i x s ), ( X =

im ) =

i p .

Incertitudinea asupra lui1 x va fi deci:

)(

1log

iii x X p

x I sau invers: )(2)( i x I ii x X p


26/499

8

Dac introducem dou serii de variabile aleatoare: I(xn ) i )()( 1 nn x I x I s vom avea:)]()([

112),,( n x I x I nni x X x X p

Dup legea obinuit a numerelor mari, variabila aleatoare sn /n converge n probabilitate spre H . Mai exact, pentru orice 0, exista un ntreg ),(0 n astfel nct pentru oricen > n 0

1)/( H n s P n sau

1)]()([ H n s H n P n (2.7)Orice serie care realizeaz condiia dintre parantezele drepte se consider util.Fie C1 ansamblul seriilor utile i C2 cel al seriilor neutile, cu n fixat. Ne propunems estimm numrul1 de stri utile printre cele ognnn N 12 serii den rezultate

i g .

Avem: 1)( in C s P i )( 2C s P n i deci, conform (2.7): )(

11)( 2)(2 H nn

H ni C s P

pentru c 121 )(

1 H n , avem:)(

1)( 22)1( H n H n , deci 1 este practic egal cu2nH . Mai exact:

H nn

i H 1log)log( (2.8)

Se poate acum enuna teorema lui Mac Millan: Se dau un experiment de entropie H i dou numere i . Se poate determinan suficient de mare pentru ca ansamblul seriilor den rezultate s poat fi mprit ndou categorii: - un ansamblu (neglijabil) al seriilor de probabilitate total inferioar lui ;- un ansamblu (util) al seriilor ce satisfac [2.8] adic de ordinul nH 2 .

Consecina teoremei de mai sus rezid n faptul c dacni este cel mai mic ntreg

inferior sau egal luin(H+) ,in

i 2 , atunciin

2 reprezint numrul de serii binarede lungimeni. Ca atare se poate efectua un codaj binar al celori serii utile cucuvinte de lungimeni.O semnificaie concret a teoremei lui Mac Millan const n considerarea uneisurse literale simple, ce emite n mod independent N litere ale unui alfabet, cu

H < log N . Printre cele N n log2 texte scrise cun litere, ne va fi util doar


27/499

9

ansamblul care conine2nH

litere, restul formnd o mas de probabilitate totalneglijabil. Putem astfel s definim i capacitatea util a unei memorii. Astfel, pentru H = 1 h vom avea pentru o memorie binar

nh 21 , deci o reducere la jumtate pentru texte de lungime1/h (exemplu: H = 0.9, n = 100,

3101 102 ).

2.2.4 Definiia axiomatic a entropiei

Numeroi autori, ncepnd cu Shannon, Hincin [4], Fadeev [5], Renyi [6], Lee,

plecnd de la unele proprieti considerate axiome, au artat c entropia nureprezint dect un caz particular al unui calcul statistic. Prezentm spreexemplificare ipotezele de Fadeev :

Fie H 1(1) , H 2(p1 ,p2 ),...., H n(p1 ,p2 , , p n ) un ir de funcii ataate cmpurilor de probabilitate finite formate din unul, dou,, n evenimente elementare. Dac: 1. H n(p1 ,p2 , , pn ) este o funcie simetric de variabilele p1 ,p2 , , pn.2. H 2(p ,1-p) este funcie continu n raport cu p pe intervalul0 p 1 3. H n+1 (p1 ,p2 , , pn-1 ,q1 ,q2 ) = H n(p1 ,p2 , , pn )+ ),( 212

nnn p

q

p

q H p ,

cu q1 + q 2 = p n4. H 2(1/2 ,1/2)=1

atuncin

i iinn p p p p p H 12,1 log),...,(

2.2.5 Entropia legilor compuse

n continuare, se va discuta entropia pentru situaiile n care se compun mai multeevenimente. Mai nti, vom considera dou experimente A i B, caracterizate prinrepar tiiile:

n

n

p p

aa A ,...

,...

1

1

i nn

qq

bb B ,...

,...

1

1

pk > 0 , k = 1, 2, , n,n

k k p

1

1 q1 > 0, l = 1, 2, , m, 11

1 m

l

q

n cazul n care evenimentele din cele dou experimente nu ne condiioneazreciproc, experimentul cumulat(A,B) caracterizat de apariia simultan a unuievenimenta k din A ib1 din B, se caracterizeaz prin probabilitatea:


28/499

10

11 q pn k k , cu proprietatea:

n

k

m

l

m

l

n

k k k q pq p

1 1 11

11 1

Entropia experimentului cumulat va fi:

m

l

n

k

m

jk k

n

k k

n

k

m

l

n

k

m

l k k k

n

k

m

l k k

n

k

m

l k k

B H A H qq p p pq

qq p pq p

q pq pnn B A H

1 1 111

11

1 1 1 1111

1 111

1 111

)()(loglog

loglog

loglog),(

deci, n cazul general entropia unui experiment compus din mai multeexperimente independente este egal cu suma entropiilor. Situaia se modific n cazul n care probabilitatea de apariie a evenimentelorb1 , , bm este condiionat de apariia evenimentelor a1 , , a n.Se consider c apariia unui evenimenta k n A implic pentru B o schem derepartiie de forma:

kmk

nk qq

bbba

......

...

1

21 , cu 11

1 m

l k q

Experimentul compus care reflect realizarea evenimentuluib1 condiionat deapariia evenimentuluia k este n acest caz caracterizat de probabilitatea:

1111 )/()(),( k k k k k k q pab pa pba pn Se vede c i n aceast situaie avem un cmp complet de evenimente, deoarece:

n

k

n

k

m

l k k k

m

l k q pq p

1 1 111

11

Entropia experimentului B condiionat de apariia evenimentuluia k este datrelaia:

11

11 log),,()( k m

l k kmk k qqqq H B H

iar entropia experimentuluiB condiionat de realizarea experimentului A va fi:

11

111

log)()/()( k m

l k

n

k k k

n

k k A qq p B H p A B H B H

Calculnd acum entropia experimentului compus (A,B):

11

111

11

1 loglog),( k k n

k k

m

l k

n

k k

m

l k q pq pnn B A H

)/()(loglog 11

111

11

A B H A H qq pq p p k m

l k

n

k k

m

l k k

n

k k (2.9)

similar, se poate ajunge la relaia: )/()(),( B A H B H B A H (2.10)


29/499

11

Este interesant de demonstrat c n cazul evenimentelor condiionate, entropiaexperimentului compus este mai mic dect n cazul evenimentelor independente. )()()/()(),( B H A H B A H B H B A H (2.11)

Ceea ce revinela a demonstra c: )()/( B H A B H

Pentru demonstraie, se poate folosi inegalitatea lui Jensen, cu)( x f = x log x ,k k p i 1k q x

11

11

111

loglog k n

k k k

n

k k k k

n

k k q pq pqq p

m

l k

m

l k

n

k k qnqq p

111

11

1loglog (q.e.d)

Evident este valabil i relaia:

)()()/()( B H A H B A H B H (2.12)

n cazul general, fiind date n experimente oarecare A1 , , An este valabil relaia: )()()(),,,( 2121 nn A H A H A H A A A H

egalitatea fiind valabil doar dac toate experimentele sunt independente.Pe de alt parte, relaiile (2.9), (2.10) permit prin sumare obinerea inegalitii:

)()(),(2 B H A H B A H n concluzie vom rezuma relaiile ntre entropiile a dou experimente cumulate, prin:

),(2)()(),()()/(0 B A H B H A H B A H B H A B H ),(2)()(),()()/(0 B A H B H A H B A H A H B A H

O form sintetic este cea care face apel la reprezentarea grafic prin msuri alemulimilor S(A), repectiv S(B) (fig. 2.3.a) care evideniaz relaiile:

H(B)

E

H(B/A)

H(A/B)

H(A,B)

H(A)

a

H(A)

H(B)

b

H(B)

H(A)

B = f(A)

c

H(A) = H(B)

d

Fig 2.3


30/499

12

)()();()( BS B H AS B H )(),( B AS B A H

)(),( B AS B A I )()()/( B AS BS A B H )()()/( B AS AS B A H

n acest context, expresia non negativ: )/()()/()(),( A B H B H B A H A H B A I (2.13)

indic cantitatea de informaie mutual coninut n A relativ la B, sau n B relativla A.Relaia [2.13] arat incertitudinea asupra lui A nu poate dect s se reduc princunoaterea realizrilor lui B, i reciproc.Deci I (A, B) = I (B, A ) i nu este necesars precizm care din realizarile A sau B informeaza pe cealalt. Conform relaiilor [2. 9] i [2.10], relaia [2. 13] se poate scrie:

),()()(),( B A H B H A H B A I (2.14)sau

) bP(B )aP(A

),aP(A log),(),(

lk

k

l l

l k k

b Bb Ba A P B A I (2.15)

Evident:H(B)][H(A),inf ),(0 B A I

Cazuri limit: - Dac A i B sunt independente, ),( B A I = 0 (fig. 2. 3. b).- Dac exist o legtur strict ntre A i B (fig. 2.3. c)

)())(,( A H A f A I - Dac exist o bijecie ( B A ), atunci (fig. 2.3. d):

)()(),( B H A H B A I

2.3 Caracterizarea entropic a sistemelor de transmitere dedate

2.3.1 Definiii

Transmiterea de date (de informaie) poate fi considerata un exemplu particular deexperiment compus. n acest sens vom considera:

sursa sistemului de transmitere a informaiilor ca fiind experimental Xreprezentat prin cmpul de probabilitate ( X , x , )( x p )

)(.).........()(

.............

21

21

n

n

x p x p x p

x x x X


31/499

13

unde ).........2,1( ni X i reprezinta simbolurile alfabetului sursei, iar 0)( i x p , probabilitatea ca sa fie emis simboluli x , cu n i 1)( i x p ;

sursa este caracterizata de entropia I = 1n

ii x p X H

1i ) p(xlog )()(

recepia sistemului de transmitere a informaiei ca fiind experimental Yreprezentat prin cmpul de probabilitate {Y , j , )( y p };

)(.).........()(

.............

21

21

n

n

y p y p y p

y y yY

unde ).........2,1( n jY j

reprezinta simbolurile alfabetului recepiei, iar

0)( j y p , probabilitatea ca sa fie recepionat simbolul j y , cu n

j j y p

11)( ;

recepia este caracterizata de entropia: n

j j y pY H

1 j ) p(ylog )()(

Experimentul compuscare caracterizeaza transmiterea informaiei ( Y X , ) constan realizarea evenimentului ( ji y x , ), adica recepia simbolului j y atunci cnd afost emis simbolul xi caracterizat de probabilitatea:{( Y X , ), (x,y), ),( y x p } n care:

1),(11

ji

n

i

n

j y x p (2.16)

Acest experiment compus este caracterizat de entropia:),(),(

11 ji

n

j

n

i y x pY X H

Din relaia (2.16), innd seama de definirea suesei i recepiei se deduc imediatrelaiile:

)(),(

)(),(

1

1

j ji

n

i

i ji

n

j

y p y x p

x p y x p

(2.17)

n cazul n care transmisia se efectueaza fara perturbaii, cunoaterea cmpului deevenimente de la recepie permite identificarea mesajului emis, n realitate nsa,transmisia pe canal este afectata de perturbaii, ceea ce conduce la existena uneiincertitudini asupra mesajului care a fost emis. Valoarea medie a acesteiincertitudini reprezinta entropia cmpului cmpului x coordonata de cmpul y ise noteaza )/( Y X H . Pentru determinarea ei trebuie luata n consideraie


32/499

14

probabilitatea condiionata )/( ji y x p ca la intrarea n canal sa fie emis simboluli x cnd la ieire se recepioneaza semnalul j y .

relaie care n cele ce urmeaza va fi notata pentru simplificare atunci nu pot apare

confuz fara indici:)(/),()/( y p y x p y x p

n acest scop vom nota:

)()(si)()(11

y p y p x p x pY y

j

n

j X xi

n

i

n mod similar, se poate defini probabilitatea de a recepiona simbolul y j atuncicnd se emite simbolul xi.: )/(

)(),(

)(

),()/( x y p

x p y x p

x p

y x p x y p

i

jii j

Cunoaterea probabilitailor condiionata)/( x y p pentru orice Y y X x , ,nseamna cunoaterea canalului de transmitere a informaiilor, iar tripletul[ y x y p X ),/(, ] reprezinta configuraia de baza a sistemului de transmitere ainformaiei: sursa, canalul, recepia. Probabilitatea condiionata )/( y x p i )/( x y p permit determinarea entropiilor

)/( Y X H i )/( X Y H .

)/( Y X H reprezinta o masura a echivocului care exista asupra cmpului de intrareX cnd se cunoate cmpul de ieire y . De altfel unii autori o numesc echivocaie. )/( X Y H este o masura a incertitudiniice exista asupra cmpului de ieire cnd

se cunoate cmpul de intrare, deci reprezinta eroarea medie de transmisie(entropia de disipare, irelevanta).Expresia matematica a acestor entropii se deduce uor din formulele (1.5) (1.12)(1.13). Pentru simplificare se prezinta modalitatea de exprimare a entropiei

)/( Y X H : Se pornete de la cantitatea medie de informaie ce trebuia emisa de sursa

pentru a recepiona un singur element y : )/(log)/()/( y X p y X p y x H X x

Se calculeaza apoicantitatea medie de informaie necesara pentrurecepionarea tuturor mesajelor Y:

p(x/y)y)log p(x,),(log)/( -

H(X/y))(}/{)(

YyXx Y y X x

Y yY

y x p y x p

y pY X H X H

Similar, se ajunge la:

)(

),()/(

j

ji ji y p

y x p y x p


33/499

15

)/(log)/()( x y p X Y H y H Y y X x X n conformitate cu relaiile (2,9) i (2.10) putem scrie:

)/()()/()(),( Y X H Y H X Y H X H Y X H (2.18)n cazul n care canalul nu are perturbaii, )/( ji y x p = 1(exista certitudine asuprasimbolului emis), deci: 0)/()/( X Y H Y Z H i )()()/( Y H X H Y X H n cazul n care perturbaiile sunt foarte puternice, cmpurile de ieire i de intraren canal devin independente, deci

)()()/()()/(),()/( Y H X H Y X siH Y H X Y H X H Y X H .Din punctual de vedere al transmisiei cea mai interesanta relaie dintre entropii estensa o relaie de tipul:

)/()((),( Y X H X H Y X I (2.19)),( Y X I caracterizeaza cantitatea de informaie medie ce trece prin canal i

reprezinta valoarea medie a informaiei ce se obine asupra cmpului de la intrarea X cnd se cunoate cmpul de la ieireY , uzual e denumita transinformaie: Valoarea maxima a transinformaiei se numete capacitatea canalului:

)]/(/max[ Y X H X H C (2.20)Maximalizarea se face n raport cu setul de probabilitai cu care se presupune casunt utilizate simbolurile1 x , n x .n relaia (2.20) capacitatea se exprima n bii, dar unii autori o definesc caraportata la timp:

),(max Y X I C C t (2.21)unde este durata medie a unuisimbol, situaie n care Ct se masoara n bii/sec. Diferena dintre capacitatea canalului i transinformaie se definete ca redundanacanalului, exprimata absolut:

),( Y X I C RC (2.22)sau relativ:

cc C Y X I

1),(1 (2.23)

termenulC

Y X I c

),( reprezentnd eficiena canalului i indicnd ct de mult se

apropie transinformaia de valoarea ei maxima. n mod similar, se poate defini o redundana a sursei, n mod absolute ca diferenantre valoarea maxima a entropiei sursei i valoarea ei reala.

)()max( X H X R RS (2.24)sau relativ:

)max()(

1 X H

X H S (2.25)


34/499

16

Presupunnd ca simbolurile unei surse sunt emise cu o viteza fixa; sv [simbol/s],atunci se poate defini viteza (rata) de transmitere a sursei:

[bit/s] )( X H vV S (2.26)Exemplul 2.2 : Se considera sursa discreta care emite la fiecare milisecunde unsimdin cinci simboluposibile, cu pro babilitaile 1/2, 1/4, 1/8 , 1/16 i 1/16. Se cereentropia sursei i viteza de transmitere. Soluie :

[bit/s]1875875,11000V

l][bit/simbo875,1

161

log161

281

log81

41

log41

21

log21

log)(

S

5

111

S S

iS

H V

p p X H H

2.3.2 Modele statistice pentru sursele de informaie

O sursa oarecare emite un mesaj dupa o lege care poate sa depinda de succesiuneamesajelor emise mai nainte. Aceasta nseamna ca seria de variabile aleatoare .

1 x , 0 x , 1 x , , n x , este legata printr -o lege de tipul: )()( n pn x p iin ;vectorul )(n p de componente i p e determinat de vectorul iniial p(1)i de legilecondiionale successive. Pentru a evita consideraii prea generale se menine ipoteza ca sursa e staionara(vezi capitolul 1) i regulata (nu exista posibilitatea de a nu fi emise toate mesajele posibile).Practic, aproape toate sursele de informaie emit simboluri care sunt statisticdependente. De exemplu, un text transmis telegraphic, compus din litere, nu ecomplet aleator. Astfel, litera B va apare mult mai des dect X, iar dupa apariia luiX cel mai probabil urmeaza E sau I, n orice caz o vocala. Aceasta dependenastatistica reduce capacitatea de informaie, n raport cu o sursa la care toateevenimentele sunt independente. Pentru astfel de surse, modelul cel mai raspnditeste modelul Markov staionar direct.n caz general, acest model se descrie astfel:Sursa se afla n una din cele n stari posibile, 1, 2, , n la nceputul fiecarui intervalelementar de emitere a unui simbol. Sursa i schimba o singura data starea pedurata unui interval, de exemplu, din starea iniiala i n starea finala j, cu probabilitatea pij, care nu depinde de nici o alta stare precedenta stariii .

Probabilitaile de tranziien

1 jij )1 p;,...,2,1,( n ji ramn constante pe toata durata

procesului.


35/499

17

Cnd sursa trece din stareai n starea j se emite un simbol, care depinde de starea Ii de tranziia ij .Fie 1 s , 2 s , , H s simbolurile alfabetului i1 x , 2 x , , k x , secvena devariabile aleatoare n care k x reprezinta simbolul numaruluik din irul desimboluri emise de sursa. Probabilitatea ca acest simbol sa fieq s va f i condiionatade cele 1k simboluri emise anterior:

121 ,...,,x k qk x x s x P Influena reziduala a simbolurilor1 x , 1k x , este reprezentata prin stareasistemului la nceputul intervaluluik , fie ea k s :

k 121 s,...,,x qk k qk s x P x x s x P (2.27)La nceputul primului interval de emisie, sistemul e una din cele 1, 2, , n stari posibile cu probabilitaile)1(1 p , )1(2 p , , )1(n p , cu

n

1 ji 1)1( p

Daca probabilitatea ca sistemul sa fie n starea j la nceputul intervaluluik este)(k p j , o tranziie a sistemului se prezinta prin:

n

1iiji p)( p1)(k k p j (2.28)

Daca se considera )(k p un vector coloana avnd n poziia 1 valoarea)(k pi i o matrice n x n avnd n poziia (i , j ) valoarea ij p , ecuaia [2.28] se poate scrien forma matriciala:

)()1( k P k P T (2.29)Matricea se numete matricea probabilitailor de tranziie a procesului Markov,iar urmtoarele proprieti sunt valabile:

Procesul Markov este staionar dac: )()( k P k P T pentru 1k . Sursele Markov discrete se pot reprezenta prin grafuri n care starile se

reprezinta prin nodurile din graf, iar tranziia ntre stari arc care semarcheaza probabilitatea ij p .

n fig. 2.4 se prezinta graful unei surse Markov de ordinul I i matricea probabilitailor de tranziie.


36/499

18

Figura 2.4

Un alt mod de reprezentare a surselor Markov l constituie diagrama arbore, ungraf planar n care nodurile sunt strile, iar ramurile corespund tranziiilor. In fig.2.5. se prezint graful unei surse Markov de ordinul 1 (doar ultima stare areinfluena rezidual) ce poate emite trei simboluri A, B, C. Astfel, dac sistemul e nstarea 1, atunci ultimul simbol emis de surs a fost A, iar sursava emite fie A, cu probabilitatea 1/2, ntorcndu-se n starea 1, fie B, cu probabilitatea 1/4 i trece nstarea 3, fie C, cu probabilitatea 1/4 i trece n starea 2. Se poate constata c osecven AB se poate obine pe diferite ci: 113 sau 213 sau 313. Caatare, probabilitatea de apariie a secvenei AB este:

)3,1,3(

)3,1,2()3,1,1()(

321

321321

S S S P

S S S P S S S P AB P .

Fiecare din cei trei termeni se poate scrie sub forma unor produse, astfel:

)13()11()1(

)1,13()11()1()3,1,1(

23121

213121321

S S P S S P S P

S S S P S S P S P S S S P

In cazul prezentat:121

41

41

31

41

41

31

41

21

31

)( AB P

0,5

0,2 0,3

0,7

0,2

0,2 0,5

0,5

m1

m2

m3

m4

0,8 0,2 0 0

0 0 0,5 0,5

0 0 0,7 0,3

0,5 0,5 0 0


37/499

19

Fig.2.5

Presupunnd procesul ergodic, deci i staionar, se poate calcula entropia unei surseMarkov ca o medie ponderat a entropiei simbolurilor emise de fiecare stare,entropia strii fiind definit ca informaia medie coninut de simbolurile emise naceast stare:

n

jijiji p p H

1log (2.30)

1/4 A

1/4 C

1/2 B

1/4 A

1/2 C

1/4 B

1/2 A

1/4 C

1/4 B

1

1/2 A1/4 C

1/4 B1

1

2

3

AAACAB

1/4 A1/2 C

1/4 B2

1

2

3

CACCCB

1/4 A1/4 C

1/2 B3

1

2

3

BABCBB

Probabilitatea

Simbol emis

1/3

2

1/2 A1/4 C

1/4 B1

12

3

AAACAB

1/4 A1/2 C

1/4 B2

1

2

3

CACCCB

1/4 A1/4 C

1/2 B3

1

2

3

BABCBB

1/3

3

1/2 A1/4 C

1/4 B1

1

2

3

AAACAB

1/4 A1/2 C

1/4 B2

1

2

3

CACCCB

1/4 A1/4 C

1/2 B3

1

2

3

BABCBB

1/3

Stareainiial

Starea dup primul interval

2

1 3

Starea dup al doilea interval

B

1/2

C 1/2

C C1/4 1/4A C

1/4 1/4

B 1/4

A 1/4

P1(1) = P1(2) = P1(3) = 1/3


38/499

20

Media ponderat a entropiilor I H este entropia sursei:

n

i

n

jijiji

n

iiS p p H p H

1 11log (2.31)

Notnd cu sv numrul de tranziii pe secund, se definete viteza de transmisiemedie a sursei: s s H vV [bit/s]Fie acum )( im P probabilitatea de apariie a unei secveneim de N simboluri emisede o surs Markov. Se noteaz cu:

)(log)(1

iii N m P m P N

G (2.32)

o funcie ce caracterizeaz informaia medie coninut de un mesaj de N simboluri,

descresctoare n raport de lungimea N a mesajului. Se demonstreaz [1] c:S N

N H G lim [bit/simbol]

Exemplul 2.3 : Se consider o surs de informaie avnd ca model un procesMarkov aleator, ergodic i discret, cu graful asociat prezentat n fig.2.6. Se cere sse calculeze entropia sursei i informaia medie pe simbol coninut n mesaje de 1,2 i respectiv 3 simboluri, adic 321 ,, GGG .

C

1 / 4 B

A 3 / 43 / 4

C

1 / 4

1 2

Fig.2.6

Soluia : In fig.2.7 se prezint diagrama arbore desfurat pn la a evideniasecvenele de trei simboluri, iar n tabelul 2.2. se listeaz probabilitile de apariieale tuturor mesajelor de diferite lungimi, calculate dup modelul sugerat n legturcu exemplul din fig.2.5.b.


39/499

21

Fig.2.7

Tabelul 2.2.Mesaje de lungime

1Mesaje de lungime

2Mesaje de lungime

3A (3/8)B (3/8)C (1/4)

AA (9/32)AC (3/32)CC (2/32)CB (3/32)CA (3/32)BC (3/32)BB (9/32)

AAA (27/128)AAC (9/128)AAC (3/128)ACB (9/128)CCA (3/128)CCC (2/128)CBC (3/128)CBB (9/128)CAA (9/128)CAC (3/128)CCB (3/128)BCA (9/128)BCC (3/128)BBC (9/128)BBB(27/128)

A 3/4

C 1/4

AA AAA

AAC

1

21

A 3/4

C 1/4AC

ACC

ACB

1

21

C 1/4

B 3/4CC

CCA

CCC

1

21

A 3/4

C 1/4CB

CBC

CBB

1

21

C 1/4

B 3/4CA

CAA

CAC

1

21

A 3/4

C 1/4CC

CCC

CCB

1

21

C 1/4

B 3/4BC

BCA

BCC

1

21

A 3/4

C 1/4BB

BBC

BBB

1

21

C 1/4

B 3/4

1

2

1

2

A 3/4

C 1/4

C 1/4

B 3/4

A 3/4

C 1/4

C 1/4

B 3/4

1

2

1/2

1/2

C 1/4

B 3/4


40/499

22

Pe baza relaiilor [2.30] i [2.31], se calculeaz:

)(........).........1(

..................................

)(........).........1(

........).........1(

22

11

m p p

m p p

m p p

nn

8113,021

21

21 H H H [bit/simbol]

Calculnd informaia medie coninut n cele 7 pasaje de dou simboluri, se obine: 83,1)()( BB I AA I bii,

415,3)()()()( CA I CB I AC I BC I bii, 4)( CC I bii

Pondernd aceast informaie cu probabilitatea corespunztoare se obine 2,5598 bii, deci: 2799,1

25598,2

2 G [bii/simbol]

Cititorul va verifica 1G =1,5612 [bit/simbol] i3G =1,097 [bit/simbol]. Se constatc H GGG 321 , i deci se poate deduce c N G - H cnd N -8.

2.4 Caracterizarea entropic a canalelor de comunicaie

Un canal de comunicaie poate fi continuu sau discret. Am artat c n prezentalucrare se fac referiri doar la surse discrete de informaie. Se impune ns o precizare: n transmiterea informaiei prin semnal continuu t x nu se nelege ofuncie continu de timp n sens matematic uzual, ci doar faptul c x poate fievaluat la orice moment de timp. Semnalul n acest sens, poate fi periodic sau nu,aleator sau nu.Un canal prin care se transmit astfel de semnale se numete continuu. Din punctulde vedere al sursei t x este realizarea unei funcii aleatoare t X . Semnalulrecepionat t y este realizarea unei funcii aleatoare t Y n general diferit de

t X , din dou motive: Canalul are o band de trecere limitat. Un semnal cu spectrul prea larg (cu

variaie foarte rapid) este deformat, de unde apare o pierdere de

informaii.

Canalul este perturbat, deci alt posibilitate de pierdere de informaie. Un canal discret este caracterizat prin:

alfabetul de intrare: n x x x x ,.....,, 21 alfabetul de ieire: m y y y y ,.....,, 21


41/499

23

legea de tranziie definit prin probabilitile condiionate i j x y p / ,de apariie a simbolului j y cnd la intrare a fost i x .

Canalul este staionar, dac pentru fiecare perechei x , j y , i j x y p / nu depinde detimp. Canalul este fr memorie dac i j x y p / nu depinde de natura semnalelortransmise anterior.Cu notaia i ji x y p j p / , legea de tranziie este reprezentat de matricea:

1 p,0:

......1

......................

......1

......1

i22

11

j j pcu

m p p

m p p

m p p

ji

nn

Matricea este o matrice stocastic. Ea caracterizeaz perturbaia de pe canal,motiv pentru care este denumit i matrice de zgomot.Cunoscnd cmpul de probabilitate al sursei, deci 1,,...2,1,

1 i

n

ii x pni x p , cu

relaia ii j ji x p x y p y x p // , se poate calcula matricea Y X P , , denumit imatricea probabilitilor cmpurilor reunite, cu proprietile:

suma elementelor pe linie:

1,,11

n

iii

m

j ji x pcu x p y x p

suma elementelor pe coloan:

1,,

11

m

j j j

n

i ji y pcu y p y x p

Dac matricea de zgomot este format numai din rnduri obinute din permutareaaceluiai set de probabiliti m p p p ,......,, 21 , canalul se numete uniform fa deintrare.Dac matricea de zgomot este format din coloane obinute numai prin permutareaaceluiai set de probabiliti nqqq ,......,, 21 , canalul se numete uniform fa deieire. Un canal uniform fa de intrare i ieire se numete dublu uniform, situaie n care

nm .

n cazul n care alfabetul de intrare i ieire sunt identice i pentru orice pereche ji , constant

11

)( m

q p j p mi , q fiind probabilitatea recepionrii fr eroare,

canalul se numete simetric. Capacitatea unui canal discret simetric se obine prin maximizarea transinformaiei.

m

jii j p j pmmm H X Y H Y H C

1log/1,....,/1,/1/max


42/499

24

m j

ii j p j pmC 1

loglog (2.33)

Un caz particular l constituie canalul simetric la care trecerile la acelai indice sefac cu aceeai probabilitate, iar celelalte treceri se fac cu alte probabiliti, nsegale pentru toate trecerile:

nmm

pq

pqq

q pq

qq p

;1

,

1......

............................

......1

......1

Capacitatea unui astfel de canal, conform (2.33) va fi:

1loglog1log1log

1log111log1log

n p p p p pnn

pn

pn p pnC (2.34)

n echipamentele de transmitere de date, la care n majoritatea cazurilor se transmitsimboluri binare, canalul cel mai des ntlnit este canalul binar simetric,caracterizat prin schema din fig.2.8.

2,1

,1

1 m p

m p

q pq

q p

Exist deci aceeai probabilitate ca un simbol binar de intrare s apar la ieire 1sau 0. Capacitatea acestui canal este conform (2.34):

p p p pC CBS log1log11 Viteza de transmitere a informaiei pe un canal discret este inferioar vitezei mediede transmitere a informaiei de ctre surs: S S V X H V * , deoarece apar erori pe

parcursul canalului. Astfel, dac probabilitatea de transmisie corect este95,0C p , n medie la fiecare 1000 de simboluri binare, 50 sunt incorecte. Aparentam putea spune c viteza de transmisie a informaiei pe canal, sau debitul c D este950 bit/s. Aceast abordare nu este satisfctoare, pentru c procednd n acestmod, ar rezulta c la probabilitate de recepie corect de 1/2 (egal cu

0

1

0

11- p

1- p

q

q

Fig.2.8


43/499

25

probabilitatea de a avea o eroare), debitul este 500 bit/s. Se tie ns c n acest cazinformaia transmis este zero. Inconsistena definiiei prin diferen poate fi nlturat, dac inem seama decantitatea de informaie pierdut (echivocaia). Se va defini deci debitul mediu altransmisiei pe canal t D :

sbit vY X I vY X H X H D S S t /*,/ Exemplul 2.4 :S se calculeze capacitatea i debitul mediu pentru un canal binar simetric careemite simboluri echiprobabile cu viteza de 1000 simbol/s, dac probabilitatea derecepie eronat este: 1,0 p i 4,0 p .Soluie :

Entropia sursei: simbol bit X H /121log

21

21log

21

Debitul sursei: sbit X H vV S S /1000 Echivocaia: p p p pY X H 1log1log/

Informaia medie: 4,0029,0

1,0531,0/,

p pentru

p pentruY X H X H Y X I

Debitul mediu pe canal:4,0/29

1,0/531

p pentru sbit

p pentru sbit Dt

Capacitatea canalului:4,0029,0

1,0531,0

p pentrubit

p pentrubit C

Capacitatea coincide cu transinformaia, pentru c 2/110 Y p X p .Calculul se poate face astfel:

21

21

21

1

11|000|00

p p

X p X Y p X p X Y pY p

Un alt model de canal utilizat n telemecanic este canalul binar cu zona deanulare, care are 2 simboluri n alfabetul de intrare 1,0 21 x x i 3 simbolurin cel de ieire *,1,0 321 y y y - stare indiferent distinct). Schema din fig.2.9:


44/499

26

pq pq

pqq p

1

1

permite examinarea cazului particular n care 0q , adic 1 y nu poate provenidect din 1 x , iar 2 y doar din 2 x i pentru care se calculeaz:

pC CZA 1 (2.35)Erorile care apar n procesul transmiterii informaiei ntr -un canal binar pot fisingulare sau grupate n pachete. Pachetul de erori este o succesiune de simboluricaracterizat prin numrul de simboluri ntre prima i ultima eroare din succesiune,n timp ce intervalul fr eroare este caracterizat de numrul de simboluri dintreultima eroare a unui pachet de erori i prima eroare din pachetul de erori ceurmeaz. Pentru o caracterizare statistic complet a unui canal, trebuie luai n consideraieurmtorii parametri [4]:

probabilitatea de eroare a unui simbol repartiia intervalelor fr erori probabilitatea apariiei pachetelor de erori de o anumit lungime repartiia erorilor multiple ntr -o secven de o anumit lungime.

Mai mult, cercetrile statistice asupra perturbaiilor ce apar n canale au artat cipoteza erorilor independente este insuficient n evaluarea eficacitii transmiteriii a fost necesar elaborarea unor modele mult mai complicate care pe baza unor parametri ai canalului s descrie repartiia erorilor. Un astfel de model matematic trebuie s fie suficient de general pentru a putea fiadaptat pentru diferite tipuri de canale prin modificarea parametrilor i suficient desimplu ca s nu necesite descrierea prin prea muli parametri. Dintre acestea, unele modelenu iau n consideraie dect erori singulare (binomial,Salinger, Eliott), altele iau n considerare fenomenele fizice care duc la apariiaerorilor, caracterizndu-le fie prin lanuri Markov (modelul Hilbert), fie prin

x1

p

p

1- p-q

1- p-q

q

q

y3

y2 x2

y1

Fig.2.9


45/499

27

pachete de erori (Benett - Froehlick, Kuhn), fie prin lan de pachete de erori(Mertz).Pentru exemplificare se prezint un model Gilbert cu trei stri (vezi tabelul2.3) pentru un canal binar simetric fr memorie, la care probabilitatea de eroarevariaz n timp; mecanismul de generare a erorii este un proces Markov cu grafuldin fig.2.10.

Tabelul 2.3.Stare 1 2 3

Probabilitate deeroare

0,5 210 610

Atunci cnd canalul se afl, de exemplu, n starea 2, probabilitatea de eroare estede 210 i canalul rmne n aceeai stare cu probabilitatea 0,998 intervalul de biturmtor. Totui exist i probabilitatea de a trece n starea 1. Dac se rmne naceast stare, n care probabilitatea de eroare este de 0,5, pot apare pachete de er ori.Starea 3 are probabilitatea de eroare cea mai sczut; doar zgomotul poate produceerori n aceast stare, n schimb apariia pachetelor de erori e improbabil.

1 2

3

0,9999998 0,998

0,99

10-75*10-7

10-3

10-7

10-3

5*10-3

Fig.2.10


46/499

28

2.5 Canale continuen fig.2.11. se reia poriunea analogic a sistemului de comunicaie prezentat nfig.1.2. (punctele c-c). n aceast poriune, cea a canalului electric de comunicaie,semnalele de intrare sunt funcii continue n timp, care ar trebui s fie reproduseidentic la ieirea canalului.

Acest fapt nu se ntmpl, datorit perturbaiilor, pe care n acest context le vomconsidera zgomote gaussiene n band limitat (alte perturbaii importante, ca deexemplu zgomotul de impuls sau perturbaiile intersimbol, se consider incluse nmodelul poriunii discrete a canalului i vor fitratate n capitolul 4). Intrarea ncanal t xC se consider o mrime aleatoare, de exemplu o sum de sinusoide ponderate n amplitudine, de diferite frecvene. Canalul se consider de tip filtrutrece jos, cu banda de trecere B [Hz]. Se va trata n continuare cum se poateaprecia capacitatea de transfer a informaiei pe o astfel de poriune de canal, dupun paragraf intermediar ce ncearc s fac analogia ntre entropia unui sistemdiscret i entropia unei legi continue.

2.5.1 Entropia unei legi continue

Fie o variabil aleatoare X absolut continu, adic avnd o lege de densitate x p : dx x pdx x X x p (2.36)

Mrimea: dx x p x p X H log (2.37)

va fi definit, prin analogie cu relaia (2.5), entropie de lege continu de distribuiea probabilitii. Astfel, pentru o lege de distribuie uniform:

a x si x pentru

a xa x p

0,0

0,1

se obine imediat:

Canal+

+Ieire modulator

xC (t)

z(t) Zgomot gaussian

Spre demodulator

y(t)=x C (t)+z(t)

Fig.2.11


47/499

29

a X H log (2.38)De asemenea, pentru o lege de distribuie normal (gaussian), presupus centrat:

22

2

2

1

x

e x p (2.39)

se calculeaz:

dxe xe X H x

log2

2log2

12

22 2

2

i rezult: e X H 2log (2.40)

n ambele exemple de mai sus, integrala (2.37) are sens, dar ea poate fi negativ( 1a n (2.38)e

2

1 n (2.39)). Entropia continu nu mai respect una din

proprietile eseniale discutate n cazul discret. Explicaia e simpl: spre deosebirede cazul discret, unde toate probabilitile sunt subunitare, densitatea de proba bilitate poate fi mai mare ca 1, i deci )(log)( x p x p poate fi negativ. Maimult, entropia continu poate fi infinit. Pe de alt parte, entropia continu, incazul unei variabile continue, centrate, de ordinul 2 (deci care posed o variantfinit 2 ) este mrginit. Se demonstreaz [7], c e X H 2log , cu altecuvinte entropia este maxim dac variabila aleatoare e normal. Acest lucru esteimportant, pentru c ne permite s operm n cazul unor zgomote oar ecare, dar de putere medie cunoscut2 , cu un zgomot gaussian de aceeai putere. Cu aceste considerente, pentru a pstra analogia cu cazul discret, vom prezentaentropii compuse n cazul a dou variabile aleatoare X i Y absolut continue,avnd urmtoarele densiti de probabilitate:

dx y x p y pdy y x p x p Y X ,;, (2.41)

x p y x p

x y p y p y x p

y x p X

X Y Y

Y X ,

/;,

/ // (2.42)

n cazul n care cele dou variabile sunt dependente (necorelate), y p x p x y p Y X X Y // i deci:

y p x y p

x p y x p

Y X Y

X Y X

/

/

/

/ (2.43)

Pe baza acestor probabiliti se definesc: Entropia conjunct: ),( Y X H

2 ,log,, R dxdy y x p y x pY X H (2.44) Entropiile proiectate )( X H i )(Y H :


48/499


49/499

31

Z t x E constant2 (2.50)n cazul admiterii ipotezei de ergodicitate, puterile sunt aceleai cu mediile ptratice temporale:

t z Z

t xS 2

2

Dac zgomotul e independent de semnal, deci deoarece la ieire t yt xt y ,vom avea:

Z H X Z H X X H X Y H /// (2.51)Se poate calcula acum X Y H Y H C /max Din (2.40) i (2.50) avem:

eZ Z S eeZ Y H C

eZ Z H X Y H

2log2log2logmax

2log/

Deci:

Z Z S

C

log21 (2.52)

Combinnd relaiile (2.48) i (2.52) se obine o formul celebr, formulaHartley - Tuller -Shannon , ce definete capacitatea temporal, sau debitul detransmitere a informaiei unui canal:

sbit Z S

B DC t /1log

(2.53)

Formula H - T -S are explicaii practice imediate, chiar dacC este o limit care presupune sursa X gaussian. Ea este foarte util n primul rnd pentru c aratcorelaia ntre banda de trecere i raportul semnal/zgomot, n sensul c unul dinfactori crete obligatoriu n dauna celuilalt. O interpretare concret poate avea formula i n cazul n care informaia ce setransmite e discretizat. Atunci, se poate considera c zgomotul devine suprtordac se depete nivelul unei cuante elementare. Numrul de niveluri discernabileeste n acest caz finit i poate fi estimat prin:

Z Z S

q

Un semnal avnd BT 2 eantioane, pe o durat de transmisieT , poate defini oserie de: BT qT N 2

Calculnd capacitatea T

T N C

log , se va obine pentruC o formul identic cu(2.53):

T

T N C T

log (2.54)


50/499

32

Un alt aspect al formulei H - T -S este acela c arat c pe un canal avndS V C (capacitatea canalului inferioar vitezei sursei) nu este posibil transmisia freroare. n mod invers, impunnd o anumit vitez de transmisie i cunoscnd banda, se poate calcula raportul semnal/zgomot minim.Exemplul 2.5 : Se cere raportul Z S / minim pentru a transmite date cu viteza de10000 bit/s pe un canal cu banda Hz B 30001 , respectiv kHz B 102 .Soluie :

1/;9/12/

21

/

Z S Z S

Z S BC

Se constat c o restrngere a benzii de la 10 la 3 kHz necesit creterea de 9 ori a puterii semnalului.Un alt aspect interesant al teoremei H - T -S este acela al compresiei de band.Problema ridicat este aceea de a putea transmite un semnal analogic avndfrecvena maxim din spectrum f pe un canal cu m f B . Acest lucru este posibil;de exemplu, eantionnd semnalul cu o frecven de eantionarem f 3 i,cuantiznd pe M nivele fiecare eantion, alegnd o putere adecvat a canalului se poate obine o capacitate M f C m 2log3 . De exemplu, pentru un canal cu

2/m f B , i pentru 64 M , ar fi necesar un raport Z S / de circa 109 dB(valoare nepractic, dar teoretic compresia cu factorul 2 a benzii apare ca posibil). O alt concluzie este aceea c un canal fr zgomot are o capacitate infinit. Acestrezultat teoretic este amendat de practic, unde zgomotul nu este niciodat absent.

Mai mult, capacitatea canalului nu poate crete orict, numai prin mrirea benzii B a canalului, dac puterea ( Z S / ) rmne aceeai. Capacitatea temporal a canalului are o limit ce se calculeaz. n acest scop fie

B Z * , unde 2/ este densitatea spectral de putere a zgomotului. Avem: S

B

BS S

BS

S BS

BS

BC

1log1log1log

Cnd eS C B log,

, deci:

S

C B

44,1lim

Vom numi sistem de comunicaie ideal, acel sistem care transmite cu debitul:

S B D 1log

Exemplul 2.6 :Un terminal CRT este utilizat pentru a introduce caractere alfanumerice ntr-uncalculator, folosind o conectare pe linie telefonic cu banda KHz B 3 i raport( Z S / ) la ieire egal cu 10. tiind c pot fi transmise 128 caractere i c datele se


51/499

33

transmit n secvene independente echiprobabile, se cer: capacitatea canalului iviteza maxim (teoretic) de transmisie a datelor fr riscul de a avea erori. Soluie :Capacitatea temporal:

sbit Z S

BC /1037811log30001log

Informaia medie pe caracter: caracter biti H /7128log

Viteza maximS v : C H vV S ,deci scaracterevS /1482

2.5.3 O abordare geometric n transmisia semnalelor

Se consider n spaiul Hilbert ( R ) un ansamblu sferic ( r x ,0 ) semnificndtotalitatea punctelor a cror distan euclidian la centrul0 x este inferioar raze r asferei ce delimiteaz ansamblul sferic. Un semnal real, de energie finit i cu spectru limitat B B, formeaz o clas particular notat2 BL n spaiul Hilbert prevzut cu produsul scalar:

dt t yt x y x, (2.55)care n particular se reduce la ptratul normei, deci la energia unui semnal:

22, t xt x x x (2.56)Limitarea de spectru permite s se dezvolte semnalele n serii de funcii ortogonale:

nnn t xt x cu

Bn

xt x x nn 2 i

n Bt n Bt

t n 22sin

)(

Rezult:

nn y x B y x

21

, (2.57)

i 22

21

)( n x Bt x .

Un punct semnal x este situat la o distan xr de origine astfel c: 22 2 t x B xr (2.58)

Conform teoremei de eantionare a lui Shannon, un semnal poate fi reprezentat pedurataT printr-un numr de eantioane:

T B2 (2.59)Calculnd puterea medie a semnalului pe intervalulT , (de la 2/T la 2/T ), se

obine: 22

22

21

)(1 T

T

BT

BT n x BT

dt t xT

S de unde:


52/499

34

S n x

2

2

2 (2.60)

Concluzia acestui raionament este c toate semnalele de putere medieS i auimaginile pe sfera S vS ,0 . Vom aplica aceast concluzie n legtur cutransmisia semnalelor.Se consider deci un semnal de putere medieS , asociat cu un punct x de pe sferade emisie S r ,0 , cu S r S . n canal, peste acest semnal se suprapune unzgomot gaussian, independent, de puterea Z , care poate deplasa punctul x pesfera de zgomot Z r x, , cu Z r Z .

Condiia de independen ntre semnal i zgomot echivaleaz cu o condiie deortogonalitate: 0 z x . Toate semnalele recepionate se vor afla deci pe sfera derecepie Z S r ,0 cu: )( Z S r Z S .n fig.2.12 se prezint un model geometric al aseriunilor de mai sus.

Dou puncte mesaj x i y de pe sfera de emisie pot fi considerate discernabiledac sferele de zgomot sunt disjuncte. Orice punct recepionat x de pe sfera de recepie poate proveni din interseciasferei de zgomot x cu sfera de emisie cu 1v dimensiuni.Coarda 2 din fig.2.12 fixeaz distana minim dintre dou puncte discernabile.Se constat c:

Z S

z

S r r

r

x

x y

r S

r Z

r S+Z

Fig.2.12


53/499

35

Este necesar ca sferele de volume V s fie disjuncte:

Z S Z S

r r r

Z S

Z S (2.61)

i

M r V r V

r V V

Z S

Z

Z

1

Numrul de mesaje discernabile poate fi cel mult egal cu numrul M de sfer e dezgomot V ce pot fi amplasate n sfera de emisie. Ca atare:

21

Z S

Z

Z S M

innd seama de (2.54), debitul de transmisie va fi:

Z S

BT

Z S

C T 1log1log

2

adic se regsete formula Hartley Tuller Shannon.

2.6 Probleme

2.6.1 O surs emite o secven de independent de simboluri dintr -un alfabet de5 simboluri A, B, C, D, E cu probabilitile 1/4, 1/8, 3/16, 5/16. Se cereentropia sursei.

2.6.2 Codul Morse folosete o secven de puncte i linii pentru a transmiteliterele alfabetului (englez). O linie este reprezentat printr -un impuls decurent de durat 3 uniti de timp, n timp ce pentru un punct durata este deo unitate. Probabilitatea de apariie a unei linii este 1/3 din probabilitateade apariie a unui punct. Se cere:

s se calculeze informaia corespunztoare unui punct, respectiv unei linii; s se calculeze informaia medie a codului; s se determine viteza de transmitere a informaiei, dac o unitate de timp

este 1 ms, iar pauza ntre simboluri este tot 1 ms.

2.6.3 Frecvena de apariie ntr -un text scris n limba englez a diferitelor litereeste urmtoarea: A=0,081; B=0,016; C=0,032; D=0,037; E=0,124; F=0,023; G=0,016;

H=0,051; I=0,072; J=0,001; K=0,005; L=0,040; M=0,022 N=0,072;O=0,79; P=0,023; Q=0,002; R=0,060; S=0,066; T=0,096; U=0,031;V=0,009; W=0,020 X=0,002; Y=0,019; Z=0,001.

Ce liter transmite cea mai mare cantitate de informaie? Dar cea maimic?


54/499

36

Care ar fi entropia unui text, dac literele ar fi alese independent (nu ecazul real!).

2.6.4 O imagine TV alb-negru const din 525 linii.Fiecare linie are 525 pixeli,fiecare pixel avnd 256 niveluri de gri. Se transmit 30 de imagini pesecund. Se ceredebitul informaional mediucu care aparatul TVtransmite imaginea ctre spectator.

2.6.5 Ieirea unei surse de informaie const din 128 simboluri, 16 cu probabilitate 1/32 i restul de 112 cu probabilitatea 1/224. Sursa emite1000 de simboluri pe secund. Presupunnd c simbolurile se emitindependent, se cere informaia medie a sursei.

2.6.6 n fig.2.13 se prezint diagrama unei surse Markov staionare.

Se cere: entropia fiecrei stri )3,2,1( i N i ; entropia sursei S H ;

21 , GG i 3G , verificnd ca H GGG 321 , .3,2,1,3/1 ii starea P

2.6.7 Un canal binar asimetric are diagrama din fig.2.14

Fig.2.13 B 1/2 A 1/2

C 1/2

A 1/4

B 1/4

C 1/4 B 1/4 A 1/4

C 1/4

1

2

3


55/499

37

Se cere: s se calculeze X Y H Y X H Y H X H /,/,, dac 4/10 x P ,

.9,0,75,0,4/31 q p x P transinformaia i capacitatea canalului pentru75,0 p i 9,0q .

2.6.8 Se cere:capacitatea unui canal discret avnd modelul din fig.2.15.

2.6.9 Un canal are matricea de zgomot:

4/13/2?

?3/12/1/ X Y P

S se completeze matricea. S se calculeze entropia cmpurilor reunite Y X H , tiind c alfabetul deintrare conine simboluri echiprobabile.

p

1-q

1- p

q

Fig.2.14

0,8

0,1 0,2

0,20,8

0,10,8 33

2

1 1

2

Fig.2.15


56/499

38

2.6.10 Matricea probabilitilor cmpurilor reunite a unui canal discret este:

15,03,0

02,0

25,01,0

/ Y X P

Se cer: entropiile X Y H Y X H Y H X H /,/,, ; entropia cmpurilor reunite Y X H , ; transinformaia Y X I , .

2.6.11 Un canal discret cu memorie e reprezentat prin modelul din fig.2.16. n

starea 1, canalul corespunde unui CBS cu probabilitatea de eroare001,0 p , iar n starea 2 canalul e un CBS cu 5,0 p . Considernd cviteza de transmitere la intrarea n canal este 1000 bit/s i c striletranziteaz cu aceeai vitez de 1000 tranziii/s

Se cere: capacitatea canalului pentru strile 1 i 2; viteza medie de transfer a informaiei n canal.Calculai capacitatea unui

canal gaussian cu banda 1 MHz i raportul dB Z S 30/ . n ct timp seva transmite pe acest canal 1 milion de caractere ASCII (de 8 bii) ?

2.6.12 Un canal gaussian are banda 4 kHz i o densitate de putere bilateral azgomotului 14102/ [Watt/Hz]. Puterea semnalului la receptor semenine la un nivel mai mic sau cel mult egal cu 1 mW. Se cere capacitateacanalului.

1 2

0,010,99

0,1

0,9

p(stare 1)=10/11 p(stare 2)=1/11

Fig.2.16


57/499

39

2.6.13 Un semnal analogic n banda 4 kHz e eantionat cu N E f f 5,2 ( Nyquist frecventa f N ), fiecare eantion fiind cuantizat pe 256 niveluri.Eantioanele se presupun independente.

Se cere s se determine:viteza sursei de transmisie a informaiei si precizaidac ieirea sursei se poate transmite fr eroare pe un canal gaussian cu banda de 50 kHz i raportul dB Z S 23/ .

Care ar fi banda necesar pentru o transmisie fr erori, dac raportuldB Z S 10/ ?

2.6.14 Forma de und prezentat n fig.2.17 se folosete pentru a transmiteinformaia numeric pe un canal cu banda T B 2/1 . Presupunnd c cele N niveluri apar cu aceeai frecven i n secvene independente, se cere:

s se determine )]([ 2 t x E S ; raportul Z S / dac 2 Z ; debitulde informaie pe canal, dac este suficient de mare pentru ca

probabilitatea de eroare 0e P .

3

2

-

-3

-2

T 2T 3T 4T 5T 6T 7T 8T t

Fig.2.17


58/499

3. Caracteristicile canalelor de comunicaie

Totul se-ncepea din aceast-mplinireSperana era mai deas dect lumina

Nichita Stnescu

3.1. Consideraii generale

n cele ce urmeaz se nelege prin canal de comunicaie poriunea din sistemul decomunicaie (fig.1.2) care urmeaz dup modulator i care precede demodulatorul.

Aceasta implic, n plus fa de mediul fizic n care se propag semnalul, o serie deechipamente hardware (adaptoare, egalizatoare, amplificatoare, repetoare, .a.) care pot produce perturbaii suplimentare fa de cele datorate mediului de transmitere. Un canal ideal din punct de vedere al transmiterii unui semnal electric,considerat de exemplu o tensiune t u1 , ar trebui s aib o funcie de transferliniar, astfel nct la ieirea semnalului .12 t uk t u Deci:

w jew A

wuwu

w H 1

2 (3.1)

n care 1w A i 0 w pentru orice funcie din banda semnalului. Acestecaracteristici ideale nu se ntlnesc n practic. Apar neliniariti, atenuri idistorsiuni de faz care pot uneori afecta definitiv forma semnalului. O alt problem serioas o constituie fenomenele de interferen datorate transmisieisimultane a mai multor semnale utile pe acelai suport. Aspectele legate de aceste tipuri de perturbaii, care deriv din echipament sau din procedura de transmisie (de ex. tipul de modulaie) vor fi aprofundate n capitolulurmtor. Problema cea mai serioas n transmiterea datelor pe canale rmne totui cea azgomotelor datorate mediului fizic. n funcie de acest mediu se pot deosebi maimulte categorii de canale de comunicaie, dintre care cele eseniale sunt: a) Circuite (linii) fizice independente

Este categoria cea mai larg de canale n care se ntlnesc numeroase tipuri constructive, pe care le menionm succint, comparndu-le doar princapacitatea de a realiza un anume numr de legturi bidirecionale de tiplegtur telefonic, urmnd a fi abordate n detaliu n subcapitolele urmtoare: - pereche de fire libere (srme) de cupru sau aliaje; o astfel de pereche

permite crearea a pn la 24 canale telefonice; - pereche torsadat de fire, n care firele sunt izolate i mpletite cu scopul de

a reduce interferena;


59/499

- cablu telefonic, coninnd mai multe perechi de fire torsadate,de regul cu pas diferit, ntregul grup fiind mbrcat ntr -un nveli protector, cteodatcu un ecran suplimentar (masa de protecie). De regul, pe o singur pereche torsadat se pot crea maxim 12 canale (firele din perecheatorsadat au diametrul mai mic, deci rezistena mai mare dect a firelordeschise; atenuarea mai mare implic utilizarea de amplificatoare maifrecvent dect n cazul firelor deschise). Frecvena uzual la care se ajungela transmiterea pe cablu telefonic este 268 kHz, dar recent s-au realizatrepetoare ce permit frecvene de pn la 1 MHz, pe intervale ntrerepetoare de maxim 2 Km;

- cablu coaxial const dintr -un miez cilindric de cupru i un nveliconductor cilindric ntre care se afl un material dielectric sau aer, nultimul caz cele 2 conductoare fiind distanate prin separatori de plastic plasai la distane de ordinul cm. Mai multe cabluri coaxiale pot fi grupatentr-un trunchi mai mare. Cablul coaxial permite crearea de 360010800ci telefonice simultane, avnd o atenuare sczut chiar la frecvene mari(1..10 MHz). Chiar viteza de transmitere a semnalului este de circa 10 orimai mare dect pe o pereche torsadat, la frecvene peste 4..5 kHz fiindfoarte apropiat de viteza luminii;

- ghiduri de und, care sunt tuburi metalice traversate de unde radio defoarte nalt frecven (pn la 100 MHz). Se apreciaz c pe un ghid deund se pot asigura simultan 200000 legturi telefonice.

b) Canale radio (propagarea prin atmosfer) Mai puin utilizate n transmiterea de date cu caracter industrial, canalele radioau o mare importan n tehnica telecomunicaiilor. Se deosebesc i aici, nfuncie de tipul de anten utilizat, de frecvena i de modul de propagare, maimulte categorii de canale radio:- cu propagare n linie dreapt (antena de emisie i cea de recepie sunt

reciproc vizibile); comunicaiile de acest tip se fac cu frecvene relativ joase (3..30 MHz) i sunt specifice telegrafiei fr fir sau radiofoniei pemare, dar se pot ntlni i n aplicaii industriale (ex: telecomanda unui podrulant);

- microunde radio, care se utilizeaz practic n transmisiile TV, ocupndgama de pn la 10 GHz, i care utilizeaz n transmisie difracia la nivelulsuprafeelor. Comunicaiile sunt afectate de perturbaii atmosferice, variaii

de tem peratur i umiditate; - canale cu disipare troposferic, utiliznd antene de mari dimensiuni (18 36 m n diametru), pentru comunicaii de pn la 1000 Km, bazate pereflecii n troposfer;

- canale radio cu reflecie ionosferic, datorate prezenei unor moleculeionizate n ionosfer (pn la 50 Km altitudine). n aceast categorie setransmit semnale de band larg (30GHz), dar la frecvene sub 50 MHz;


60/499

- transmisii prin satelit, acesta fiind considerat un releu staionar (la nlime35 Km) pentru microunde, facilitnd transmisii multiple n band larg. c) Fibra optic

Transmisia pe fibra optic se impune din ce n ce mai mult, mai ales n aplicaiiindustriale, pentru sigurana deosebit i frecvena ridicat. Se pot obineghiduri de und cu frecvena luminii ( Hz 1514 10...10 ), deci de peste 10.000 deori mai mare dect n cazul microundelor.

Tabelul 3.1 prezint sintetic cteva din cele mai importante caracteristici alemediilor fizice menionate. Calitatea transmisiei a fost evaluat prin probabilitateade eroare rezidual.Tabelul 3.1.

Mediulfizic Spectrul defrecven Calitateatransmisiei Distan frrepetor Sigurana CostLinie bifilar

1 MHz Modest 10-5

Mic/ 2 km redus redus

Cablucoaxial

1GHz Bun 10-7... 10-9

Mic/2.5 km bun moderat

Microunde(radio)

100 GHz Bun 10-9

Medie/75 km redus moderat

Satelit 100 GHz Bun 10-9

Foarte mare/36000 km

redus ridicat

Fibroptic

75 THz Excelent 10-11... 10-13

Mare/ 6400km

Foarte bun

ridicat

Dat fiind aria de rspndire n domeniul industrial, se va insista n continuareasupra canalelor care folosesc mediu metalic i respectiv fibr optic.

3.2. Linia metalic ca mediu d

Transmiterea datelor - Dobrescu .pdf

Documents

Transcript of Transmiterea datelor - Dobrescu .pdf