Retele

neuronale

artificiale

Belean Cosmin

Tehnologia Informatiei, an 1

8

1.3 SCURT ISTORIC

Primele cercetri realizate de McCulloch si Pitts n anul 1943, au pus bazele

calculului neuronal, prin definirea modelului neuronului. McCulloch si Pitts au

dezvoltat un model logic bazat pe predicate. Principalele rezultate au fost demonstrate

n cazul reelelor neuronale nerecurente, n care sinapsele sau conexiunile dintre

neuroni nu formeaz cicluri.

Teoria calculului neuronal, caracteristic anilor 40, a fost reformulat de Kleene

n 1956, care a dezvoltat modelul reelelor recurente. Rezultatele matematice se refer

la activarea neuronilor de intrare si definesc starea reelei neuronale, dup procesarea

tuturor semnalelor.

Rosenblatt a propus n 1958 un tip de reea bazat pe perceptroni, obinut prin

interconectarea unei mulimi de neuroni, definind astfel primul model de reea

neuronal artificial. Conform teoriei lui Rosenblat, perceptronul conine cinci

elemente de baz: un vector cu intrri, ponderile (conexiunile dintre neuroni), funcia

de nsumare, dispozitivul de detecie a pragului si o ieire. Iesirea este 1 (sau -1) si

reprezint valoarea funciei de activare, aplicat combinaiei semnalelor de intrare,

lundu-se n considerare cazul depirii valorii prag. Inteligena artificial, ca i in

cazul inteligenei biologice se dobndete printr-un proces continuu si de durata de

nvare, de aceea problema nvrii ocup un loc important in cercetarea mainilor

autoinstruibile (machine learning).

Prin nvarea automat se nelege studiul sistemelor capabile s-i

mbunteasc performanele, utiliznd o mulime de date de instruire. Widrow si

Hoff au propus un model de reea numit ADALINE, care a fost generalizat la reele

MADALINE (Many ADALINES). ADALINE (Adaptive Linear Neuron networks)

seamn cu modelul perceptronului, ns folosete, ca funcie de activare, o funcie

liniar (n mod implicit, funcia identitate) i un procedeu adaptiv de modificare a

ponderilor (puterii conexiunilor dintre neuroni), ce permite generarea unui semnal de

iesire corect, pentru fiecare intrare a reelei.

beleantampil

9

Widrow si Hoff au definit regula de nvare LMS (Least Mean Squares) care este mai

puternic dect regula de nvare a perceptronului i este bazat pe minimizarea erorii

medii ptratice.

ncepnd cu anul 1980, teoria calculului neuronal a fost reconsiderat i privit

cu mai mult interes.

Dezvoltrile majore au vizat tipul procesului de nvare, rezultnd multe

modele de reele neuronale, precum Grossberg (1980), Hopfield (1982), Kohonen (n

1984), McClelland (1986), etc.

beleantampil

10

CAP. 2 FUNDAMENTELE TEORETICE ALE

REELELOR NEURONALE

2.1 CONSIDERAII TEORETICE

Sistemele cu inteligen artificiala obinuite au capaciti de nvare foarte

reduse sau nu au deloc. n cazul acestor sisteme cunoaterea trebuie sa fie programat

in interiorul lor.

Dac sistemele conin o eroare ,ele nu o vor putea corecta, indiferent de cate ori

se execut procedura respectiv.

Practic aceste sisteme nu-i pot mbuntii performanele prin experien si nici

nu pot nva cunotine specifice domeniului, prin experimentare. Aproape toate

sistemele cu inteligen artificial sunt sisteme deductive. Aceste sisteme pot trage

concluzii din cunoaterea ncorporat sau furnizat, dar ele nu pot s genereze singure

noi cunotine. Pe msura ce un sistem cu inteligen artificial are de rezolvat sarcini

mai complexe, crete i cunoaterea ce trebuie reprezentat n el (fapte, reguli, teorii).

n general un sistem funcioneaz bine, n concordan cu scopul fixat prin cunoaterea

furnizat, dar orice micare in afara competentei sale face ca performanele lui s

scad rapid. Acest fenomen este numit i fragilitatea cunoaterii. Una din direciile de

cercetare n privina mainilor instruibile este modelarea neuronal .

Modelarea neuronal dezvolt sisteme instruibile pentru scopuri generale, care

pornesc cu o cantitate mic de cunotiine iniiale. Astfel de sisteme se numesc reele

neuronale sau sisteme cu autoorganizare sau sisteme conexioniste. Un sistem de acest

tip const dintr-o reea de elemente interconectate de tip neuron, care realizeaz

anumite funcii logice simple. Un astfel de sistem nva prin modificarea intensitii

de conexiune dintre elemente, adic schimbnd ponderile asociate acestor conexiuni.

Cunoaterea iniial ce este furnizat sistemului este reprezentat de caracteristicile

obiectelor considerate si de o configuraie iniial a reelei.

beleantampil

11

Retele neuronale artificiale sunt sisteme de procesare a informatiei,

compuse din unitati simple de procesare, interconectate intre ele si care

actioneaza in paralel.

Aceste elemente sunt inspirate din sistemele nervoase biologice. La fel ca n natur,

funcia reelei e determinat de legturile dintre elemente. Ponderile legturilor dintre

uniti sunt cele care memoreaz informaia nvat de reea . Reeaua se instruiete

prin ajustarea acestor ponderi , conform unui algoritm.

Caracteristicile reelelor neuronale artificiale:

- reprezentarea distribuit a informaiei : informaia din reea este stocat n mod

distribuit ( n structura de ponderi ), ceea ce face ca efectul unei anumite intrri asupra

ieirii s depind de toate ponderile din reea .

- capacitatea de generalizare n cazul unor situaii neconinute n datele de instruire .

Aceast caracteristic depinde de numrul de ponderi, adic de dimensiunea reelei .

Se constat c creterea dimensiunii reelei duce la o buna memorare a datelor de

instruire , dar scad performanele asupra datelor de testare , ceea ce inseamn ca

reeaua neuronal a pierdut capacitatea de generalizare .

Stabilirea numrului optim de neuroni din stratul ascuns , care este o etap

cheie in proiectarea unei reele neuronale , se poate face alegnd valoarea de la care

ncepe s descreasc performana reelei neuronale pe setul de testare.

- tolerana la zgomot : reelele neuronale pot fi instruite , chiar dac datele sunt afectate

de zgomot , diminundu-se evident performana ei .

- rezistena la distrugerea partial : datorit reprezentrii distribuite a informaiei ,

reeaua neuronal poate opera i n cazul distrugerii unei mici prti a ei .

- rapiditate n calcul : reelele neuronale consum mult timp pentru instruire , dar odat

antrenate vor calcula rapid ieirea reelei pentru o anumit intrare .

Putem antrena o reea neuronal s realizeze o anumit funcie, prin ajustarea

valorilor conexiunilor (ponderilor) dintre elemente

De regul reelele sunt ajustate (antrenate), astfel nct un anumit semnal la

intrare s implice o anume ieire (int). Reeaua este ajustat pe baza comparrii

rspunsului cu inta, pna ce ieirea reelei se potrivete intei. Pentru a antrena o

reea n aceasta instruire supervizata, se utilizeaz mai multe perechi intrare/tinta.

beleantampil

12

2.2 Modelul biologic

Neuronul este unitatea morfofuncional a sistemului nervos, este o celul stelat,

piramidal, rotund sau ovalar avnd, una, dou sau mai multe prelungiri: neuroni

unipolari, pseudpunipolari, bipolari sau mutipolari.

Componentele neuronului sunt: corpul celular si prelungirile acestuia:

1. Soma sau corpul celular formeaz partea central a celulei care realizeaz

majoritatea funciilor logice ale neuronului. Formeaz substana cenuie din nevrax si

ganglionii somatici si vegetativi extranevraxiali.

2. Prelungirile neuronale sunt dendritele si axonul.

- dendritele sunt prelungiri citoplasmatice extreme de ramificate. Ele conduc

fluxul nervos centripet(aferent).

- axonul este o prelungire unic, lung de aproximativ 1 metru. Axonul

transmite de obicei impulsuri de la soma (corpul celular) altor celule nervoase sau

organe efectoare (muchii sau glandele), dei impulsul poate fi uneori transmis i n

direcie opus .

Neuronul biologic

beleantampil

13

Proprietile funcionale ale neuronului:

1. Excitabilitatea este proprietatea neuronului de a rspunde unui stimul. Sub

aciunea unor stimuli se produc n neuron anumite modificri fizico-chimice care stau

la baza generrii semnalului nervos.

Pentru a produce un impuls nervos, stimulul trebuie s aib o anumit intensitate

numit prag. Stimulii cu intensitate inferioar pragului nu produc un impuls nervos, iar

stimulii cu intensitate superioar pragului nu declaneaz un impus mai puternic dect

stimulii prag. Pentru a produce un impuls nervos, stimulul trebuie s acioneze cu o

anumit bruschee.

2. Conductibilitatea este proprietatea de autopropragare a impulsurilor nervoase

prin axoni pn la terminaiile acestora, unde sunt transmise fie unui alt neuron, printr-

o sinaps interneuronal, fie unui organ efector, producnd un raspuns caracteristic.

Neuronii comunic ntre ei prin sinapse. Transmiterea sinaptic a influxului nervos, de

la butonul terminal al neuronului presinaptic la dendrita neuronului postsinaptic se

realizeaz prin intermediul unor mediatori chimici.

Membrana neuronului este permeabil la diferii ioni i ea acioneaz n sensul

meninerii unei diferene de potenial intre fluidul intracelular i fluidul din exteriorul

celulei nervoase. Acest lucru se realizeaz n principal prin transportul ionilor de sodiu

n exteriorul celulei i al ionilor de potasiu n interiorul celulei.

Impulsurile nervoase excitatoare reduc diferena de potenial la nivelul

membranei celulare. Depolarizarea rezultat mrete permeabilitatea membranei

pentru ionii de sodiu. Drept consecin va apare un flux de ioni pozitivi de sodiu spre

interiorul celulei. Acest flux de ioni pozitivi va accentua depolarizarea. Rezultatul este

apariia unui potenial de aciune, care se va transmite prin intermediul axonului.

Neurotransmitorii difuzeaz prin jonciune i ating membrana postsinaptic a

unui receptor neuronal. Astfel neurotransmitorii activeaz toi neuronii cu care vin in

contact. Aciunea chimic la nivelul receptorului const n schimbarea permeabilitaii

membranei postsinaptice pentru anumite specii de ioni. Un aflux de ioni pozitivi n

neuron provoac o depolarizare. Efectul este excitator. Dac apare un aflux de ioni

negativi rezultatul este o supra-polarizare. Efectul hiperpolarizrii este inhibitor.

beleantampil

14

Ambele efecte (excitator i inhibitor), sunt efecte locale, care se propag pe o

distan mic n corpul celulei i sunt integrate (nsumate) la nivelul axonului(la baza

acestuia). Dac suma(excitarea) depeste un anumit prag, atunci se genereaz un

potenial de aciune (neuronal este activat).

Excitarea sau inhibarea neuronilor conectai cu un neuron dat este n funcie de

natura i cantitatea neurotransmitorilor eliberai in fanta sinaptic.

2.3 Neuronul artificial

Neuronul artificial denumit si procesor elementar ncearc s imite structura i

funcionarea neuronului biologic. Exist numeroase modele prezentate in literatura,

dar cel mai rspndit are la baza modelul elaborat de McCulloch-Pitts in anul 1943.

Astfel se poate considera c neuronul artificial este format dintr-un numr de intrari,

fiecare din aceasta fiind caracterizata de propria pondere sinaptic.

De exemplu, semnalul prezent la intrarea j este conectat la neuronul k

prin multiplicare cu ponderea .

x1

xj

xN

Wk1

Wkj

WkN

uk yk

k

Neuronul artificial

beleantampil

15

O component a modelului neuronului artificial prezentat mai sus o reprezint

sumatorul destinat nsumrii intrrilor ponderate.

Rezultatul obinut n urma nsumrii este denumit intrare net.:

=

Pentru limitarea amplitudinii semnalului de ieire al neuronului, acesta este

prevzut cu o funcie de activare ( )

( ) ( )

n care k reprezint valoarea pragului de activare (treshold) al neuronului. Uneori

intrarea net este majorat prin termenul bk denumit factor al deplasrii (bias);

deplasarea scrii reprezint deci negativul pragului de activare.

Valoarea:

= - k

poart denumirea de potenial de activare.

n ceea ce privete tipul funciei de activare, aceast este de regul o funcie neliniar.

2.3.1 Funcii de activare:

Exist i alte funcii de activare, cele mai utilizate fiind

funcia liniar

f:R R, f(x) = x

1

0

-1-4 -2 0 2 4

FUNCIA LINIAR

beleantampil

16

funcia prag

f:RR{0,1},f(x)={

1

0

-1-4 -2 0 2 4

FUNCIA PRAG

funcia sigmoid

f(x) =

1

0

-1-4 -2 0 2 4

FUNCIA SIGMOID

funcia prag simetric sau funcia signum

f(x)={

1

0

-1-4 -2 0 2 4

FUNCIA SIGNUM

beleantampil

17

funcia tangent hiperbolic

f(x)=

1

0

-1-4 -2 0 2 4

TANGENT HIPERBOLIC

funcia liniar cu saturaie

f(x) = {

1

0

-1-4 -2 0 2 4

SATURAIE

funcia liniar cu saturaie simetric

f(x) = {

1

0

-1-4 -2 0 2 4

SATURAIE SIMETRIC

beleantampil

18

2.4. Arhitecturi ale reelelor neuronale

Se pot distinge 2 mari categorii n modul de structurare si funcionare ale

reelelor neuronale:

1. Retea neuronal tip feedforward (cu propagarea nainte a semnalului).

2. Retea neuronal tip recurente (feedback, cu propagare napoi a semnalului).

2.4.1. Reea neuronal tip feedforward

Sunt caracterizate de prezena unui strat de neuroni de intrare, un numr de straturi

ascunse (sau fara straturi ascunse ) si un strat de neuroni de iesire. n cadrul acestor

reele nu exist conexiuni ntre neuroni din acelai strat sau din stratul precedent ci

doar n stratul care urmeaz de unde i denumirea.

Neuronii din primul strat sunt singurii care primesc semnale din exterior.

Primul strat se numete strat de intrare i este singurul strat ce conine neuroni

degenerai, ce au funcia de transfer 1.

Caracteristici ale reelelor feedforward:

1. Neuronii artificiali din celelalte straturi (intermediare i de ieire) sunt neuroni

sigmoidali.

2. Neuronii dintr-un strat intermediar este denumit strat ascuns.

3. Neuroni dintr-un strat sunt direct conectati cu neuronii din stratul urmtor.

4. Nu exist conexiuni intre neuronii din acelai strat.

5. O reea neuronal feed-forward poate avea 0, 1 sau mai multe straturi ascunse.

O reea neuronal este total conectat dac fiecare nod din fiecare strat este conectat la

fiecare neuron din stratul precedent.

Daca nu exist anumite conexiuni sinaptice avem de-a face cu o reea neuronal parial

conectat.

Reelele neuronale total conectate au un caracter general, adic pot fi folosite n

rezolvarea unei game largi de probleme, dar asta nu nsemn c are i cele mai bune

rezultate.

beleantampil

19

Reelele neuronale parial conectate introduc anumite restrngeri, care

reprezint tocmai cunotiine apriorice despre problema de rezolvat i care reduc

gradul de generalizare ale unei reele neuronale. Prin restrngerea cmpului de recepie

ale neuronilor se efectueaz o extragere a trsturilor locale iar n straturile ce urmeaz

acestea sunt combinatepentru a forma trsturi de ordin superior.

Astfel, reelele neuronale parial conectate pot avea rezultate mai bune dect

reele neuronale total conectate n rezolvarea anumitor probleme specifice, cu condiia

exploatrii cunotiinelor apriorice despre problema dat.

In neuronii din stratul de intrare nu se efectueaz nici un fel de procesare.

Neuronii din acest strat au o singur intrare fiecare, iar ca funcie de activare au funcia

liniar. Cu alte cuvinte intrarea fiecrui neuron din stratul de intrare este trimis la

ieirea sa fr nici un fel de modificare i distribuit intrrilor neuronilor din primul

strat ascuns.

Existena stratului ascuns confer reelei neuronale caliti superioare. n cazul

unei reele neuronale cu dou straturi, un strat ascuns i unul de ieire, exist restricii

severe: ele sunt capabile s proiecteze forme de intrare similare n forme de ieire

similare, ceea ce poate duce la o instabilitate n ceea ce privete nvarea de ctre

reeaua neuronal a anumitor funcii. Astfel de situaii n care structurile de similaritate

ale formelor de intrare i a celor de ieire sunt foarte diferite. n aceast situaie, o reea

neuronal care nu construiete o reprezentare intern, deci nu are straturi ascunse, va fi

incapabil s realizeze funcia respectiv. Stratul ascuns realizeaz o extindere a

formelor de intrare, n sensul c exist ntotdeauna o recodificare, adic o reprezentare

intern convenabil a formelor n unitile ascunse. Prin aceast recodificare

similaritatea formelor in raport cu unitile ascunse permite realizarea oricrei funcii

de la cmpul de intarre la cmpul de ieire. Astfel Hornik i White n 1989 au artat c

o reea neuronal feed-forward (n cazul creia neuronii au ca funcie de activare

funcia sigmoid) poate s aproximeze cu orice precizie msurabil in sens Borel.

beleantampil

20

Exemple de arhitecturi

strat de intrare strat de ie ireintrri

Reea neuronal feedfoorward total conectat

strat de ascunsintrri strat de iesire

Reea neuronal feedfoorward total conectatcu un strat ascuns

strat de intrare

strat de intrare strat de iesireintrare

Reea neuronal feedfoorward partial conectat

beleantampil

21

2.4.2 Reelele de tip perceptron

O clas deosebit de important n cadrul reelelor neuronale o reprezint reelele

neuronale de tip perceptron simplu. Printre primii autorii care au fundamentat

principiile teoretice legate de perceptronul simplu/multistrat se regsesc Rosenblatt,

Widrow i respectiv Rumelhart, Williams.

Interesul deosebit fa de aceste reele neuronale a fost generat, printre altele, de

capacitatea acestora de a generaliza adic de a opera cu date diferite de cele prezentate

n etapa de antrenament i de a nva plecnd de la o distribuie aleatoare a ponderilor

sinaptice ale reelei. n consecin acest tip de reele poate fi folosit cu succes in

diversele aplicaii ce conin clasificatori.

Perceptronul simplu are o aplicabilitate practic limitat datorit valorii binare a

ieirii sau datorit imposibilitaii clasificrii tiparelor(vectorilor de intrare) neliniari. El

se constituie ns ca un punct de plecare n studiul perceptronului multistrat.

Se poate afirma c perceptronul simplu reprezint o particularizare a modelului

McCulloch-Pitts al neuronului artificial pentru care funcia de activare este de tip

treapt unitate bipolar.

+1

-1

-e d

y

(v)

v

w1

wN

x1

x2

xN

-1

IEIRE

INTRARE

beleantampil

22

Scopul perceptronului simplu este de a clasifica n una din cele dou clase

disponibile (y=+1 sau y=-1) un set de stinuli exteriori.

Funcionarea sa poate fi descris prin urmtoarele ecuaii:

v =

y =(v) = sgn(v) = { ( ) ( )

Regiunile de decizie vor fi separate de ctre un hiperplan definit de relaia:

2.4.3 Reele neuronale recurente

Reele neuronale recurente se individualizeaz prin existena unui semnal de

reacie, din partea neuronilor de ordin superior, pentru cei de ordin inferior sau

chiar pentru propriile lor intrri.

Reea neuronal recurent

beleantampil

23

2.5 Tipuri i algoritmi de instruire

Calcului neuronal implic dou aspecte: nvarea i reprezentarea cunoaterii.

Abordarea neuronal a acestor aspecte este diferit de abordarea standard ntlnit n

modelele bazate pe reprezentarea simbolic a cunotiinelor. Exist un consens

aproape unanim n a accepta faptul c tehnicile de nvare reprezint calea prin care

mainile pot deveni capabile s realizeze sarcinile dificile ale inteligenei artificiale.

Reele neuronale achiziioneaz cunotiinele prin instruire (invare).

Vectorii(formele) de intruire se prezint reelei n mod secvenial i ponderile

reelei sunt ajustate pentru a capta cunoaterea pe care aceti vectori o reprezint.

nvarea presupune adaptare parametrilor liberi ai reelelor neuronale (ponderi,

praguri, rat de nvare, uneori chiar i funcia de activare sau structura reelei) ca

urmare a stimulilor mediului n care se gsete reeaua.

Aceast procedur se numete legea de nvare sau algoritmul de instruire. n

general fiecare vector din mulimea de instruire este prezentat reelei de mai multe ori.

Algoritmul de instruire trebuie s determine convergena ponderilor spre valori

ale ponderilor care s determine c fiecare vector de intrare s produc ieirea

dorit(admind c este cunoscut aceast ieire dorit).

TIPURI DE INSTRUIRE

NESUPERVIZATCU AUTOORGANIZARE( )

SUPERVIZAT PRIN NTRIRE

CORECIAERORILOR

BOLTZMAN(STOCHASTIC)

WIDROW-HOFF(LMS SAU REGULA DELTA)

PROPAGAREA NAPOI A ERORII

HEBBIAN COMPETITIV

ALGORITMI

beleantampil

24

2.5.1 nvarea de tip supervizat

Este caracterizat de prezena unui supervizor care cunoate cu exactitate modul

de asociere al intrrilor in reeaua neuronal cu ieirile acesteia.

SUPERVIZOR

SISTEMSUPUS

NVRII

RSPUNSDORIT

RSPUNSACTUAL

+

-

SEMNAL DE EROARE

VECTOR DE INTRARE

Parametrii reelei neuronale sunt modificai sun influena combinat a vectorilor

de antrenament i a semnalului de eroare (diferena dintre rspunsul dorit i cel actual).

Scopul final al algoritmului de antrenament este ca reelei neuronale s

emulueze, optim n sens statistic supervizorul.

2.5.2 nvarea de tip nesupervizat (cu autoorganizare)

Este caracterizat de absena unui semnal sau supervizor care s aprecieze

corectitudinea asociaiilor de intrare-ieire. Reeaua neuronal va descoperi singur

legitile coninute n datele de intrare printr-o repezentare intern adecvat a

trsturilor vectorului de intrare.

n ciuda numeroaselor sale aplicaii, intruirea supervizat a fost criticat ca fiind

neplauzibil din punct de vedere biologic. Aceste critici pornesc de la observaia de

bun sim c este greu de conceput existena in creier a unui mecanism de instruire care

ar compara ieirile dorite cu cele reale, propagnd napoi n toat reeaua de neuronii

beleantampil

25

coreciile efectuate. Dac acesta ar fi mecanismul de instruire se pune problema de

unde vin formele de ieire dorite. nvarea nesupervizat este un model de nvare

mult mai plauzibil pentru sistemele biologice.

n general, un model de nvare nesupervizat este unul n care ajustarea

ponderilor nu se bazeaz pe compararea cu rspunsuri ideale predeterminate.

Mulimea de instruire const doar din vectori de intare. Fr o cunoatere

specific a ceea ce ar putea fi un rspuns corect, cel mult ne putem atepta din partea

acestor modele s construiasc grupuri de forme de intrri similare. Aceast

proprietate ar putea fi numit auto-organizare.

n general algoritmii de clasificare nesupervizat modific ponderile pentru a

produce vectori de ieire care sunt consisteni. Prin aceasta nelegem faptul c

aplicarea a doi vectori de intarare care sunt suficient de asemntori va genera aceeai

form de ieire sau dou forme foarte apropiate.

Procesul de instruire grupeaz vectorii similari in clase. Prezentnd reelei un

vector dintr-o clas acesta va genera un vector de ieire specific. Rspunsul pe care l

va produce o clas de vectori de intrare nu poate fi ns determinat nainte de

ncheierea procesului de instruire. Prin urmare ieirile unei astfel de reele trebuie, in

general, s fie interpretate, adic s primeasc o form comprehensibil dup procesul

de instruire. De obicei sunt uor de identificat relaiile-intrare ieire pe care reeaua le

stabilete.

SISTEMSUPUS

NVRII

VECTOR DE INTRARE

beleantampil

26

2.5.3 nvarea prin ntrire

Dac n urma aciunii reelei neuronale se obine o stare caracterizat ca fiind

pozitiv, atunci tendina reelei neuronale de a produce acelai rezultat va crete sau va

fi ntrit. Altfel, celelalte aciuni care au ca rezultat efecte negative vor descrete

tendina reelei neuronale de aproduce acel rezultat.

Cu alte cuvinte urmrete maximizarea unei mrimi scalare indice de performan sau

semnal de ntrire n urma unei aciuni efectuate de ctre sistemul supus nvrii.

Dac modificrile aduse conduc spre o stare mai bun dect cea precedent,

tendina sistemului de a produce acea aciune particular este ntrit.

Paradigma nvrii ntrite se clasific n:

1. nvarea ntrit neasociativ - reeaua neuronal selecteaz o anumit

aciune optim, in loc de a face asocierea diferitelor aciuni cu diferii stimuli.

2. nvarea ntrit asociativ - mediul nconjurtor.

Pune la dispoziie informaii adiionale, altele dect semnalul de ntrire, prin care o

relaie de forma stimul-aciune trebuie nvat.

2.5.4 nvarea hebbian

Muli dintre algortmi de instruire pot fi considerai ca avndu-i originea n

modelul de nvare propus de ctre Donald Hebb(1949). Acest mecanism este un

model al schimbrilor conexiuilor sinaptice dintre celulele nervoase. Considerm o

pereche de celule ale creierului ntre care exist o legtur sinaptic.

Conform modelului lui Hebb intensitatea conexiuni sinaptice dintre doi neuroni

(ponderea conexiunii) crete de cte ori aceti neuroni sunt activai simultan de un

stimul al mediului. Acest mecansim este cunoscut ca regula de nvare Hebb.

beleantampil

27

Daca este activarea neuronului i i exist o legtur sinaptic ntre

neuronii i i j, atunci in concordan cu legea lui Hebb, intensitatea conexiunii lor

sinaptice este afectat de cantitatea:

,

unde c este un coeficient de proporionalitate adecvat ce reprezint constanta de

instruire.

Aceast lege apare ca natural n muli algoritmi de nvare. n plus exist argumente

neuro-biologice care sprijin ipoteza c stimulii mediului cauzeaz modificri

sinaptice.

Acest mecanism este un model de nvare nesupervizat n care drumurile

neuronale des utilizate sunt intensificate (ntrite).

Acest model poate explica fenomenele de obinuin i de nvare prin

repetare. O reea neuronal artificial ce folosete nvarea hebbian va determina o

cretere a ponderilor reelei cu o cantitate proportional cu produsul nivelelor de

excitare ale neuronilor. Fie (n) ponderea conexiunii de la neuronal i la neuronul

j nainte de ajustare i (n+1) ponderea acestei conexiuni dup ajustare.

Legea de nvare Hebb se va scrie n acest caz sub forma:

(n+1)= (n)+ ,

unde: - ieirea neuronului i(intrarea neuronului j)

este ieirea neuronului j.

O variant a acestei legi de nvare este legea hebbian a semnalului. n

concordan cu aceast lege modificarea ponderilor este dat de:

(n+1)= (n)+ ( ) * ( ),

unde S este o funcie sigmoidal.

beleantampil

28

Considernd diferite forme ale funciei de activare S se pot obine diferite

variante ale legii de nvare de mai sus.

MEDIUL NCONJURTOR

ELEMENT DENVARE

ELEMENT DENVARE

ELEMENT DENVARE

CRITIC

ACIUNI

NTRIRE EURISTIC

SISTEM DE NVARE

NTRIRE PRIMAR

2.5.5 Reprezentarea cunoaterii

O problem important n studiul mainilor instruibile este stabilirea unei

metode de nregistrare a ceea ce a fost nvat. n metodele conexioniste nu exist nu

exist un sistem de reprezentare separat de cel de nvare. n aceste sisteme

reprezentarea cunoaterii const dintr-o reea, ponderile conexiunilor i interpretrile

semnatice ataate neuronilor i strilor. De exemplu, intr-un context medical am putea

identifica un neuron cu o anumit boal. Activarea (starea) 1 a neuronului poate

indica prezena bolii, activare -1 absena bolii si 0 lipsa unei cunoaterii privind

prezena sau absena bolii.

Alt aspect important al modelelor conexioniste este c atunci cnd neuronii

calculeaz activrile lor se consider activrile a foarte muli ali neuroni. Putem

beleantampil

29

considera modelele conexioniste ca modele cu deschidere larg. Ele se situeaz pe o

poziie contrstant fa de modelele ultra-simplificate.

Modelele conexioniste fac fa zgomotelor i redundanei deoarece au un numr foarte

mare de elemente la primul nivel computaional i, uneori, un numr mare de elemente

de calcul intermediare(neuroni ascuni).

2.5.6 Algoritmi de nvare bazai pe corecia erorii

Fie x(n) vectorul de intrare aplicat unei reele neuronale. Dac se noteaz ieirea

neuronului k prin (n), semnalul de eroare poate fi definit ca fiind diferena dintre

ieirea dorit pentru neuronul k i ceea ce furnizeaz n etapa actual de ctre acelai

neuron:

(n) = (n)- (n)

Scopul final al algoritmilor bazai pe corecia erorii este de a minimiza aa-

numita funcie de cost. Unul dintre criteriile frecvent utilizate n alegerea funciei cost

este cel al erorii ptratice medii, care urmrete minimizarea valorii medii ptratice

pentru suma erorilor ptratice aferente stratului de ieire a reelei neuronale:

J = E[

(n)

n care E[.] semnific media in sens statistic.

Una din metodele de minimizare a funciei cost J n raport cu parametrii

reelei neuronale este metoda gradientului descendent.

De cele mai multe ori proprietile statistice ale procesului nu sunt cunoscute.

n acest caz se ofer o soluie aproximativ pentru problema de optimizare, prin

utlilizarea drept funcie de cost a valorii instantanee a sumei erorilor ptratice:

(n) =

(n)

O metod n acest sens o ofer Widrow i Hoff i anume regula Delta:

beleantampil

30

(n) = -

= ( )(

) = ( ) ( )

n care reprezint rata de nvare a reelei neuronale.

Se poate desprinde idea conform creia minimizarea erorii unui neuron liniar

este mai uoar dect minimizarea unui neuron neliniar(sigmoidal). Doar pentru cazul

elementului linear eroarea are un minim global; n rest suprafaa erorii poate avea

minime locale.

Suprafaa erorii

Graficul aplicaiei J n funcie de ponderile reelei neuronale poart denumirea de

suprafaa erorii.

2.5.7 Algoritmi de nvare de tip Boltzman

Sunt inspirai din teoria informaiei i din termodinamic, neuronii constituind o

structur recurent caracterizat de aa-numita funcie energie:

E= -

unde reprezint starea neuronuluii, adic +1(neuron activ) sau -1 (neuron

inactiv).

beleantampil

31

Maina Boltzmann opereaz prin alegerea aleatoare a uni neuron i schimbarea

strii acestuia. Astfel schimbarea ponderilor se va face innd cont corelaiile dintre

starea neuronului i i cea a neuronului j.

2.5.8 Algoritmi de nvare de tip competitiv

Este caracterizat de competiia ntre neuronii din stratul de ieire a reelei

neuronale, ctigtorul acesteia urmnd sa fie activat. Spre deosebire de reelele

neuronale care se bazeaz pe algoritmi de nvare de tip hebbian i la care exist

posibilitatea ca mai muli neuroni s fie activi simultan, la reelele neuronale bazate pe

algoritmi de nvare de tip competitiv doar un singur neuron este activ la un moment

dat.

Practic, fiecare neuron al unei astfel de reele neuronale va deveni specializat, n

urma procesului de nvare, n recunoaterea unei anumite trsturi prezentat n

datele de intrare. Acest lucru este posibil avnd in vedere modalitatea de adaptare a

ponderilor:

= { ( )

Prin acesta ponderea a neuronului j, ctigtor al competiiei, se apropie i mai

mult de tiparul x prezentat la intrare.

beleantampil