Cap. 3P
-
Upload
adrian-constantin -
Category
Documents
-
view
219 -
download
0
Transcript of Cap. 3P
-
8/12/2019 Cap. 3P
1/18
-
8/12/2019 Cap. 3P
2/18
Cele mai atractive caracteristici ale RN sunt:
posibilitatea prelucrrii total paralele, asigurnd construirea unor arhitecturi deosebit deperformante, rspunsurile fiind oferite n timp real;
nvare din exemple (supervizat sau nesupervizat) a fenomenului pentru care seantreneaz;
procesul care este prezentat n perioada de antrenare nu trebuie descris prin reguli clare.Aceast caracteristic face uoar modelarea unor procese complexe, a cror legi defuncionare sunt fie prea complicate, fie sunt neclare din punct de vedere analitic;
comportare bun n situaia unui set de date de intrare incomplet, performan datoratcapacitii de a asocia datele de intrare disponibile cu setul (sau seturile) complet(complete) de date de antrenare cu care rezoneaz cel mai bine;
comportarea bun n regim de date de intrare parial greite, datorit aceluiai mecanismde lucru prezentat anterior;
funcionarea relativ corect i n situaia n care anumii neuroni se defecteaz,datorit memorrii distribuite a informaiei n reea. Astfel, orice neuron particip laformarea potenialilor neuroni de ieire pentru toate seturile de vectori de intrare(antrenare).
3.1 Reele neuronale artificiale
3
3.2 Analogia ntre structura sistemului nervos i
reelele neuronale artificiale
Celula nervoas are cu unele excepii urmtoarea structur (fig. 3.1):
mai multe dendrite ramificateprin care recepioneaz informaii diferite de la alineuroni;
corpul celuleicare realizeaz o prelucrare a stimulilor informaiilor primite i elaboreazrspunsul;
un axon o fibr unic care transmite rspunsul elaborat ctre alte celule; sinapse ramificaii ale axonului care realizeaz legturi cu ali neuroni (axonul unei
celule umane realizeaz n medie 103legturi sinaptice cu ali neuroni).
Fig. 3.1. Structura celulei nervoase.
4
-
8/12/2019 Cap. 3P
3/18
3.3 Modele formale ale neuronului artificial
Neuronul formal
Este un element de procesare a informaiei care modeleaz, de o manier simplificat,
neuronul real. Cea mai simpl versiune de neuron formal este un automat linear cu doustri (fig. 3.2): activ (+1) i inactiv ( 1). Unele modele de RNA, folosesc convenia activ(+1) i inactiv (0).
Neuronul formal are o structur asemntoare neuronului uman, fiind o unitateelementar de procesare care realizeaz o operaie simpl pe o mrime de intrare pentru a
produce o mrime de ieire. Acesta este alctuit dintr-un corp, unset de intrri i o ieire.
Fig. 3.2. Structura neuronului formal.
5
3.3 Modele formale ale neuronului artificial
6
-
8/12/2019 Cap. 3P
4/18
3.3 Modele formale ale neuronului artificial
Funciile de activare
7
3.3 Modele formale ale neuronului artificial
8
-
8/12/2019 Cap. 3P
5/18
-
8/12/2019 Cap. 3P
6/18
3.3 Modele formale ale neuronului artificial
(3.5)
11
3.3 Modele formale ale neuronului artificial
Neuronul clasificator sau perceptronul
Pornind de la modelul MCP, psihologul Rosenblatt (1957) a introdus noiunea deperceptronsau neuron clasificator(fig. 3.5).
Fig. 3.5. Modelul perceptronului.
Ecuaiile de funcionare ale perceptronului sunt urmtoarele:
0100
1
net,
net,)net(y
xwnetn
i
ii
(3.6)
12
-
8/12/2019 Cap. 3P
7/18
3.3 Modele formale ale neuronului artificial
ClasaA
x1
x2
ClasaB
Dreapta dedecizie
Fig. 3.6. Comportarea perceptronului n cazul unei clasificri binare.
Modelul astfel definit al perceptronului poate fi utilizat n clasificarea uneimulimi de vectori de intrare n dou clase, fieA, corespunztoare ieirilor , fieBcorespunztoare ieirilor . Elementele clasei A sunt separate de elementele clasei
B atunci cnd, care determin frontiera celor dou semispaii n spaiul cu ndimensiuni (fig. 4.6).
13
Etapa de nvare are ca scop calculul ponderilor i al valorii pragului deactivare pe baza unei mulimi de Mexemple, pentru fiecare exemplu specificndu-sevalorile de intrare mpreun cu ieireaycorespunztoare claseiA sau clasei
B. Informal, corecia ponderilor se face astfel: dac pentru un exemplu perceptronul
se activeaz cnd ar trebui s fie inactiv, se reduc ponderile wi cu o cantitateproporional cu xi, iar dac perceptronul nu se activeaz dei ar trebui s o fac, secrete wi cu o cantitate proporional cuxi
nxx ,...,1
3.3 Modele formale ale neuronului artificial
Semnificativ este faptul c structura neural a perceptronului este primanzestrat cu un algoritm de nvare supervizat. Acest algoritm modific valorile
ponderilor ori de cte ori la intrarea reelei este prezentat o configuraie (pattern)incorect clasificat. Dup un numr finit de iteraii, ponderile capt valori stabile,care corespund nvrii frontierelor de separaie ntre configuraii aparinnd
claselor diferite.
n funcionarea perceptronului se disting dou etape: de nvare pe bazaexemplelor i apoi, de clasificare a exemplelor necunoscute.
14
-
8/12/2019 Cap. 3P
8/18
3.3 Modele formale ale neuronului artificial
15
3.3 Modele formale ale neuronului artificial
16
-
8/12/2019 Cap. 3P
9/18
3.4 Structuri ale reelelor neuronale artificiale
Structura general
y1
ym
x2
x1
xn
Intr ri Ie iriStratul ascuns
n general, neuronul formal calculeaz numai suma ponderat a intrrilor, asupra creia seaplic o funcie de activare ce are n general o form neliniar. Pentru ndeplinirea unor funcii
care s fac posibil abordarea unor probleme complexe, de interes practic, este necesar caneuronii s fie asociai ntr-un sistem numit reea neuronal.
Fig. 3.9. Arhitectura tipic a unei RNA.
17
Reelele neuronale sunt organizate pe straturi; reeaua din figura 3.9 conine trei straturide neuroni, dintre care primul estestratul de intrare, iar ultimul estestratul de ieire, stratulintermediar purtnd denumirea destrat ascuns. Singurele straturi care realizeaz procesareapropriu-zis a informaiei sunt stratul ascuns i cel de ieire. Neuronii din primul strat aunumai rolul de a prelua mrimile de intrare n reea; de aceea aceti neuroni fie nu au funcii
de activare, fie folosesc funcii de activare identitate ( ).j jy net
Legturile dintre straturile RNA se realizeaz prin conexiuni sinaptice ponderate. PentruRNA din figura 3.9, fiecare neuron dintr-un strat este legat cu toi neuronii din stratulurmtor i nu exist legturi ntre straturile neconsecutive (de exemplu intrare-ieire). Oastfel de structur este cunoscut sub denumirea de RNA complet conectat.
3.4 Structuri ale reelelor neuronale artificiale
Structura RNA este descris complet de matricea ponderilor conexiunilordintre dou straturiconsecutive [W], ale crei elemente indic influena pe care ieirea neuronului idin stratul
inferior o are asupra activrii neuronuluij din stratul superior.
ijw
18
-
8/12/2019 Cap. 3P
10/18
3.4 Structuri ale reelelor neuronale artificiale
RNA i dovedesc capacitatea de tratare global, asociind neuronii prin intermediul unorponderi ( ). Ansamblul ponderilor Wconstituie parametrii ce caracterizeaz, ntr-o manierabsolut, procesul modelat de reea. Astfel, antrenarea reelei necesit ostrategie de ajustare a
ponderilor respective un algoritm de antrenare. n cadrul antrenrii se prezint reeleineuronale un numr de exemple (intrri/ieiri), ale cror atribute sunt cunoscute ireprezentative pentru modelul de proces avut n vedere. Ansamblul respectiv de exemple senumete, ca i n cazul arborilor de decizie, mulime de antrenare.
iw
Proprieti ale RNA:
fiecare neuron acioneaz independent de ceilali neuroni din acelai strat; ieirea unuineuron depinde numai de semnalele ce se aplic pe conexiunile sinaptice de intrare;
activarea fiecrui neuron depinde numai de informaii cu caracter local; informaia ce esteprelucrat de neuron provine numai de pe conexiunile adiacente, nefiind necesarcunoaterea strilor altor neuroni cu care neuronul considerat nu are legturi directe;
numrul mare de conexiuni existente asigur un grad ridicat de rezervare i uureazreprezentarea distribuit a informaiei.
Primele dou proprieti permit funcionarea eficient a RNA n paralel, iar ultimaproprietate le confer o sensibilitate redus fa de posibilele perturbaii i caliti degeneralizare greu de obinut cu sistemele clasice de calcul.
19
3.4 Structuri ale reelelor neuronale artificiale
Perceptronul multistrat MLP
y1
y2
ym
T1
T2
Tm
x1
x2
xn
w11
w12w1m
w21w22
w2m
wnm
wn1 wn2
Perceptronul, unitatea funcional a unei reele neuronale, este capabil s realizeze oclasificare binar (n dou clase).
Pentru a obine o clasificare ntr-un numr mai mare de clase ( ) se va utiliza ostructur cu mai muli perceptroni conectai n paralel. n acest caz, intrrile sunt conectate la
fiecare neuron, obinndu-se astfel o structur conexionist cu nintrri i m ieiri, numrul deieiri fiind egal cu numrul de clase. Un exemplu este clasificat ca aparinnd clasei , dacieirea este activ, restul ieirilor fiind inactive
2m
kC
Fig. 3.10. Structur cu m neuroni
20
-
8/12/2019 Cap. 3P
11/18
3.4 Structuri ale reelelor neuronale artificiale
Datorit acestui tip de organizare stratificat, ca n figura 4.10, asemenea reele neurronalepoart denumirea de perceptron multistrat (Multi Layer Perceptron MLP). Celuleleelementare ale MLP se numesc neuroni i se deosebesc de perceptronul definit de Rosenblattprin utilizarea unor funcii de activare de tip sigmoid, n locul funciei treapt.
Perceptronul multistrat (MLP) reprezint un model de RNA cu activare direct, care conineunul sau mai multe straturi de neuroni ntre stratul de intrare i stratul de ieire. Aceste straturisuplimentare reprezint nivelurile ascunse ale perceptronilor multistrat.
n figura 3.12 se prezint un perceptron multistrat cu m ieiri i un strat ascuns.
y1
ym
x2
x1
xn
FxStrat
ascuns
F0
Stratde intrare
Stratde ie ire
Fz
y2
h1
h2
h3
hb...
Fig. 3.12. Perceptron multistrat cu un singur strat ascuns.21
3.4 Structuri ale reelelor neuronale artificiale
(3.8)
22
-
8/12/2019 Cap. 3P
12/18
3.4 Structuri ale reelelor neuronale artificiale
Reele neuronale backpropagation
Perceptronii multistrat cu mai multe ieiri i funcii de transfer sigmoidale se mai numesci reele backpropagation, denumire care provine de la algoritmul de nvare utilizat de aceste
structuri i anume algoritmul de propagare napoi a erorii introdus de Rumelhart i membriigrupului Parallel Distributed Processing n 1986. Valorile intrrilor acestor reele suntvalori reale cuprinse n intervalul [0, 1] i funcia de transfer trebuie s fie continu i
derivabil pe domeniul de definiie. De obicei se utilizeaz urmtoarea funcie sigmoid:
1
1 ix
ye
(3.9)
Se observ c dac suma intrrilor este 0, valoarea ieirii este i, pe msur ce sumaintrrilor crete, ieirea se apropie de valoarea +1. Pe msur ce suma intrrilor scade,valoarea ieirii se apropie de 0. Datorit caracterului funciei de transfer, valorile ieirilor nuvor putea fi niciodat 0 sau 1. ntr-un proces de clasificare, fiecare ieire corespunde uneiregiuni de decizie sau unei clase; pentru un exemplu necunoscut se selecteaz clasacorespunztoare ieirii cu cea mai mare valoare, de obicei aceea care tinde la valoarea +1.
0,5y
23
Funcionarea unei reele perceptron multistrat cuprinde dou etape: etapa de nvare ncare, pe baza mulimii de exemple cunoscute, se sintetizeaz ponderile i valorilepragurilor de activare i etapa de recunoatere (testare), n care reeaua este utilizatpentru a clasifica mulimi de valori necunoscute.
Algoritmul de nvare al reelelor backpropagation cuprinde dou etape principale:
parcurgere direct a reelei, de la intrri spre ieiri, n care se activeaz reeaua i sedetermin valorile ieirilor;
parcurgere napoi a reelei, de la ieiri spre intrri, n care ieirile calculate se comparcu ieirile din exemple i se determin o estimare a erorii, aceast estimare a erorii fiindpropagat napoi i utilizat la actualizarea ponderilor.
3.4 Structuri ale reelelor neuronale artificiale
24
-
8/12/2019 Cap. 3P
13/18
Algoritmul reelei backpropagation
3.4 Structuri ale reelelor neuronale artificiale
25
3.4 Structuri ale reelelor neuronale artificiale
26
-
8/12/2019 Cap. 3P
14/18
3.4 Structuri ale reelelor neuronale artificiale
27
3.4 Structuri ale reelelor neuronale artificiale
28
-
8/12/2019 Cap. 3P
15/18
3.4 Structuri ale reelelor neuronale artificiale
Observaii:
n situaia n care este satisfcut criteriul de terminare, algoritmul a reuit (reeaua anvat), n caz contrar, reeaua nu a nvat. Pentru a putea gsi o soluie, fie se modific
viteza de antrenare, fie se aleg alte valori iniiale pentru ponderi, sau ambele propuneri.
Algoritmul de nvare backpropagation poate fi vzut, la fel ca n cazulperceptronului, ca un proces de cutare, al crui spaiu de cutare este reprezentat de toatecombinaiile posibile de ponderi i valori de deplasare. Un algoritm backpropagation poateajunge s calculeze un set de ponderi care nu rezolv problema (nu clasific corect exemplele).Cu alte cuvinte, nu exist un analog al teoremei de convergen a perceptronului pentruperceptronii multi-strat.
S-a constatat c aceste reele neuronale se comport bine de cele mai multe ori, maiales pentru un numr mare de ponderi, deci de legturi. Reelele de tip backpropagation, deimult utilizate la ora actual, prezint dezavantajul c timpul de instruire este relativ ridicat n
principal datorit unui factor de nvare desemnat interactiv. Chiar i pentru cazuri simple,numrul de etape necesar pentru calcularea unor ponderi corecte este extrem de mare. n plus,
numrul de exemple necesar crete relativ exponenial cu dimensiunea reelei.
29
3.4 Structuri ale reelelor neuronale artificiale
30
-
8/12/2019 Cap. 3P
16/18
3.4 Structuri ale reelelor neuronale artificiale
31
3.4 Structuri ale reelelor neuronale artificiale
Aceste erori sunt propagate de la stratul de ieire la stratul ascuns i apoi la nivelulstratului de intrare: semnalul de eroare al unui neuron din stratul ascuns poate fi determinatn funcie de semnalul de eroare al neuronilor din stratul de ieire, semnal propagat napoispre intrare. De aici a provenit i denumirea algoritmului cu cei doi pai, adic propagareanainte a semnalului i propagarea napoi a erorii n procesul de antrenare.
n cazul implementrii practice a acestui algoritm, actualizrile se realizeaz pentru un
singur exemplu la un moment dat.
Alegerea parametrilor MLP
n general, este acceptat ideea c MLP poate aproxima cu o precizie foarte bun oricefuncie continu neliniar, ns cu preul creterii dimensiunilor reelei. Teorema luiKolmogorov d i numrul unui asemenea MLP: M, , N. Numerele M i N reprezintnumrul de elemente din primul strat (care nu efectueaz procesri), respectiv din ultimul
strat.
2 1M
32
-
8/12/2019 Cap. 3P
17/18
3.4 Structuri ale reelelor neuronale artificiale
Unele recomandri pentru construcia reelei MLP:
Numrul neuronilor din stratul de intrare depinde de specificul problemei, n particular,
de numrul de intrri considerate n aplicaia respectiv;
Dimensiunile stratului de ieire depind, de asemenea, de specificul problemei, precum ide ali factori, cum ar fi: tipul mrimilor de ieire (analogice sau binare), existena sauabsena unei ieiri speciale pentru semn etc. Cu alte cuvinte, numrul neuronilor din stratulde ieire depinde de forma i de structura n care se doresc a fi prezentate estimrile pentrumrimile de ieire;
Numrul neuronilor din stratul ascuns. n principiu, se recomand s se foloseasc unnumr ct mai mic de neuroni ascuni, deoarece fiecare neuron ascuns multiplic numrulconexiunilor. Totodat, numrul neuronilor din stratul ascuns poate fi apreciat de
dimensiunile exemplelor de intrare.
O posibilitate de dezvoltare a reelei, cunoscut sub denumirea de Cascade Correlation,pornete de la un singur neuron ascuns i, pe durata antrenrii, creeaz neuronisuplimentari, n msura n care acetia contribuie la mbuntirea performanelor;
33
3.4 Structuri ale reelelor neuronale artificiale
34
-
8/12/2019 Cap. 3P
18/18
3.4 Structuri ale reelelor neuronale artificiale
35