Retele cu Baza Radiala

8/7/2019 Retele cu Baza Radiala

1/26

UNIVERSITATEA VALAHIA TARGOVISTEFACULTATEA DE INGINERIE ELECTRICASPECIALIZAREA AUTOMATICA SI INFORMATICA APLICATAANUL IV

RETELE CU BAZA RADIALA

Disciplina:

Inteligenta artificiala

Student

Specializarea

Automatica si informatica aplicata

Anul IV

1


2/26


CUPRINS:

I. Retele neuronale introducere

II.Retele cu baza radiala

II.1.Introducere

II.2.Principiul de funcionare al unei reele neuronale bazate pe funcii radiale

II.3.Arhitectura unui RNA-RBF

II.4. Strategii de invatare pentru RNA bazate pe functii radiale

II.5.2.EXEMPLU 2

II.5.1 .EXEMPLU 1.:

III.Comparaie ntre reelele RBF i perceptronul multistrat

VI.Concluzii

V. Bibliografie

2


3/26


I. RETELE NEURONALE introducere

Retelele neuronale artificial (RNA) ,denumite uneori procesoare paralel distribuite,neurocomputere sau modele conexioniste , reprezinta o incercare de a simula , cel purinpartial ,structura si functiile creierului specific organismelor vii.

Ca o definitie generala , se poate spune ca RNA reprezinta un system de procesare alsemnalelor , compus dintr-un numar mare de procesoare elementare interconectate , denumiteneuroni artificiali sau noduri , si care coopereaza pentru rezolvarea unor sarcini

specifice.Modalitatea de adaptare la conditiile specifice mediului consta in modificareaponderilor asociate conexiunilor dintre neuroni si eventual a structurii RNA.

Retelele neuronale sunt recunoscute ca modelele dominante(paradigme) ale inteligenteiartificial.Cu ajutorul lor isi gasesc rezolvarea o varietate larga de probleme din mediile stiintificesi ingineresti.

Astfel de mode conexioniste ofera anumite avantaje, caracteristice neuronale reale(biologice) si care nu sunt intalnite in cazul sistemelor de calcul traditionale, secventiale [1]:

O proprietate deosebit de importanta a RNA este aceea de a invata si de a se adapta;

Posibilitatea de a opera cu date imprecise;

Capacitatea de generalizare , in sensul in care RNA va opera corect si cu date deintrare care nu au fost prezentate in timpul procesului de antrenare;

3


4/26


Datorita gradului ridicat de parallelism , functionarea defectuoasa sau chiar pierdereaunui numar de neuroni nu afecteaza semnificativ performanta sistemului global.RNA

reprezinta deci sisteme tolerante la erori;

Capacitate de a aproxima orice functie continua neliniara cu gradul de acuratetedorit.Astfel RNA pot fi folosite cu success in modelarea sistemelor neliniare;

Datorita numarului mare de intrari si iesiri , RNA modeleaza cu usurinta sistememultivariabile.

Implementarile hardware ale RNA, de exemplu prin intermediul circuitelor integratepe scara larga (VLSI) , fac posibila utiliazarea RNA pentru cazul aplicatiilor in timpreal.

Principalele forme de retele neuronale:

RNA de tip perceptron

RNA bazate pe functii radiale

RNA recurente

RNA cu auto-organizare.

II. Retele neuronale artificiale bazata pe functii radiale

II.1.Introducere

In cadrul acestui capitol se prezinta o abordare diferita a modului de realizare a unuiRNA. Acest proces este vazut ca o problema de aproximare a unei curbe intr-un spatiumultidimensional.Conform acestui punct de vedere , invatarea este echivalenta cu gasirea uneisuprafete intr-un spatiu multidimensional care sa se potriveasca cu cea descrisa de datele deintrare. Generalizarea retelelor neuronale bazate pe functii radiale (Radial Basis Function-

RBF) reprezinta in acest caz capacitatea de interpolare a RNA vizavi de datele de test.

Comparativ cu RNA-MLP (), RNA-RBF pot sa solicite mai multi neuroni dar antrenareaacestora necesita mai putin timp decat in cazul perceptronului.Explicatia acestui fapt esteurmatoarea: iesirile neuronilor sigmoidali ai stratului ascuns sunt semnificative prentru regiunilargi ale spatiului de intrare in timp ce neuronii bazati pe functii radiale raspund doar la regiuni

4


5/26


relative mici din spatial de intrare. In consecinta RNA-RBF ,se comporta mai bine cand suntdisponibili mai multi vectori de antrenament.

Modelul unui neuron RBF este prezentat in figura 1.In acest caz intrarea neta esteconstituita din norma diferentei vectoriala ||t-x|| . Un exemplu tipic pentru functia de activare este

(x)= reprezentata in figura 2.Se observa ca functia radiala are un maxim dacaintrarea este nula.Daca distant intre t si x descreste ,valoarea iesirii creste.Adica neuronal radialse comporta ca un detector care produce 1 la iesire de fiecare data cand tiparul de inrare eidentic cu vectorul pondere t.

.

.

b

figura1: Modelul unui neuron RBF

Figura 2: functia de activare : (x)=

5

||distant||

T t

X

x

y- 3 - 2 - 1 1 2 3

0. 2

0. 4

0. 6

0. 8

1


6/26


II.2.Principiul de funcionare al unei reele neuronale bazate pe funcii radiale

Principiul de funcionare al unei reele neuronale bazate pe funcii radiale, se bazeaz peteorema lui Cover asupra separabilitii abloanelor (vectorilor). Conform acestei teoreme, oproblem complex de clasificare, poate fi mai bine rezolvat n sensul liniar separabilitii, ntr-un spaiu cu un numr mare de dimensiuni, dect n unul cu un numr mic de dimensiuni. Astfel,

considernd N vectori (abloane) p dimensionali x0 X, pentru fiecare dintre ei se definete unvector (x)=[ 1(x), 2(x), ..., m(x)]T, cu m>p. Funcia care scufund vectorii de intrare pdimensionali n noul spaiu m dimensional, se numete funcie ascuns. Problema interpolrii, nsensul strict al su, poate fi enunat astfel:

Enunul : Fiind dat mulimea de puncte {xk0 Rpk=1,2,...,N} i o mulime de numerereale {dk0 R k=1,2,...,N}, s se determine funcia F:RNR, care s satisfac condiia deinterpolare

NkdxF kk ,,2,1,)( == (3.1)

Tehnica funciilor radiale const n alegerea funciei F de forma

( )=

=N

k

kk xxwxF1

)( (3.2)

unde { (2 x-xk2 )k=1, 2, , N} este o mulime de N funcii arbitrare, n general neliniare,numite funcii radiale, iar2 2 reprezint o norm, n general fiind utilizat norma Euclidian.Vectorii cunoscui (abloanele) xk0 Rp, k=1,2,...,N se numesc centrii funciei radiale, iar wk suntponderi, iniial necunoscute. Prin gsirea ponderilor wk, funcia F este complet determinat

Pentru aceasta, prin nlocuirea (3.2) n (3.1), se obine

( )=

==N

k

kkk Nkdxxw

1

,,2,1, (3.3)

Dezvoltnd relaia (3.3), rezult urmtorul sistem de ecuaii liniare, din care se pot determinaponderile wk:

6


7/26


=

NNNNNN

N

N

d

d

d

w

w

w

2

1

2

1

21

22221

11211

(3.4)

unde

( ) Nkmxx kmmk ,,2,1,, == (3.5)

Fie D=[d1, d2, ..., dN]T i W=[w1, w2, ..., wN]T vectorul rspunsului dorit i respectiv

vectorul pondere i fie matricea de dimensiune NxN, de elemente mk , numit matrice deinterpolare. Sistemul de ecuaii (3.4) poate fi rescris sub form matriceal ca:

DW = (3.6)

Teorema (Light, 1992): Dac x1, x2,..., xN sunt puncte distincte n Rp, atunci matricea

de interpolare , de dimensiune NxN, avnd elementele mk= ( xm-xk) este pozitiv definit.

n condiiile teoremei lui Light, vectorul pondere necunoscut, se obine simplu, prininversarea matricii de interpolare:

DW 1= (3.7)

Pot fi puse n eviden mai multe tipuri de funcii radiale care satisfac teorema lui Light.Cteva exemple de astfel de funcii radiale sunt:

1. Funciile Gaussiene, de forma

0,0,)(2

2

2 >= rpentruer

r

(3.8)

2. Multicuadrice inverse, de forma

0,0,1

)(22

>+

= rcpentrucr

r (3.9)

7


8/26


3. Funcii Spline, de tipul0),log()( 2 >= rpentrurrr ( 3.10)

Se pune problema, ce se ntmpl dac, ntr-un perceptron sau ntr-un perceptronmultistrat, funciile de activare liniare sau neliniare sunt nlocuite cu funcii radiale. Fie pentruaceasta o reea cu un singur neuron, n care funcia de activare este o funcie radial de tipGaussian (fig. 3.1).

Fie ponderea conexiunii de intrare, iar x semnalul aplicat pe intrarea neuronului.Ieirea neuronului va fi dat de funcia (x), exprimat de

2

2

2

)(

)(

=

x

ex (3.11)

Valoarea maxim a ieirii se obine pentru x= i descrete rapid, cu ct intrarea x se deprteazde . Domeniul de valori ale ieirii neuronului, n care aceasta are o valoare semnificativpentru o plaj restrns de valori ale intrrii, dependent de , este numit cmp receptiv alneuronului.

Dac intrarea nu este scalar, ci este vectorul X=[x1 x2 xN]T, iar vectorul ponderilorintrrilor este =[ 1 2 N]T, ieirea neuronului bazat pe funcii radiale va fi dat de

2

2

2)(

=X

eX(3.12)

8

x (x)

Fi ura 3.1 Neuronul RBF


9/26


Pe baza acestui tip de neuroni, se poate construi o reea neuronal conectat nainte,avnd n stratul ascuns neuroni bazai pe funcii radiale, iar n stratul de ieire neuroni liniari, sau

avnd o alt funcie de activare neliniar. O astfel de reea este prezentat n fig. 3.2, avnd un

singur neuron de ieire.

Intrrile xj, j=1, 2, , N sunt aplicate tuturor neuronilor stratului ascuns, prin intermediul

ponderilor corespunztoare j. Ieirea fiecrui neuron al stratului ascuns va fi dat de

( )==

XeX k

X

k

2

2

2)( (3.13)

Neuronul de ieire va avea potenialul intern dat de

( )=

=N

k

kk Xwv1

(3.14)

Dac funcia lui de activare este liniar, atunci la ieirea reelei se obine semnalul

( )=

=N

k

kk XwXF1

)( (3.15)

adic, ieirea reelei este dat funcia de interpolare F , descris de relaia (3.2). Pentru cacondiia de interpolare impus s fie satisfcut de reeaua neuronal, ponderile w k vor trebuiadaptate, respectnd un algoritm de antrenare.

II.3.Arhitectura unui RNA-RBF:

O RNA bazata pe functii radiale prezinta trei straturi:

Stratul de intrare sau stratul sensorial;

Stratul ascuns contine functii care constiruie o baza pentru vectorii de intrareaceste functii poarta numele de functii radiale;

Stratul de iesire.

9

y=kwk

F(y)

x1

x2

xN

1

N

1

k

N

w1

w2

wN


10/26


Transformarea spatiului de intrare in spatial neuronilor ascunsi este neliniara, pe candtransformarea spatiului neuronilor ascunsi in spatiul neuronilor de iesire este liniara.Justificarea

acestui aspect se bazeaza pe teorema lui Cover asupra separabilitatii tiparelor , care arata ca oproblema complexa de clasificare a tiparelor , transformata neliniar intr-un spatiu de dimensiuneinalta este cu mult mai probabil de a fi liniar separabila decat intr-un spatiu cu dimensiuni maiputine.

1

x

w1

w2

wN

F(X)

x

x

w0

1

figura 3:arhitectura unui RNA-RBF

II.4.Strategii de invatare pentru RNA bazate pe functii radiale

Exista mai multe metode de antrenare ale RNA, deosebirea intre ele consta in metoda dealegerea a centrilor functiilor radiale.

Metoda bazata pe cresterea retelei

Initial stratul ascuns nu are nici un neuron. Dupa fiecare epoca , vectorul de intrare pentrucare se obtine cea mai mare eroare la nivelul la nivelul stratului de iesire este folosita pentrucreearea unui nou neuron prin egalizarea ponderilor acestuia cu vectorul de intrare. Se calculeazaapoi ponderile stratului liniar. Daca se ajunge la eroarea (performanta) dorita sau daca se ajungela un numar maxim de neuroni pentru stratul ascuns , procesul de antrenament va fi incheiat.

10


11/26


Metoda centrilor ficsi ,alesi aleator

Reprezinta una din cele mai simple abordari si presupun functii radiale fixe care definesfunctiile de activare ale stratului ascuns. Locatiile centrilor functiilor sunt alese aleator dintrevectorii de intrare.

Este cea mai simpl modalitate de alegere a centrilor, presupunnd c funciile deactivare ale neuronilor din stratul ascuns sunt funcii radiale fixe. Uzual, se utilizeaz ca funciiradiale, funcii Gaussiene avnd deviaia standard fix, dependent de mprtierea centrilor, deforma

( ) NkeXG kX

M

k ,.2,1,22

==

(3.17)

unde M


12/26


{ }MvvvV ,,, 21 =astfel nct

( ) ( )NMjdiagGVU jT

,min,,,, 21 ==

unde021 > j

Coloanele matricii U formeaz vectorii singulari stngi, iar coloanele matricii V vectoriisingulari drepi. Valorile k, k=1,,j sunt valorile singulare ale matricii G.

Conform teoremei 3.2, matricea pseudoinvers de dimensiune MxN a matricii G poate ficalculat ca

TUVG ++ = (3.23)unde matricea diagonal + de dimensiune NxN, este definit de

=+ 0,,0,

1,,

1,

1

21

j

diag

(3.24)

Pentru functiile radiale se prefer un Gaussian izotrop:

ti|^2|)=exp(-M/d^2||x-ti||^2), i=1,2,M in care M reprezinta numarul centrilor iard distant maxima dintre acestia.

In acest caz deviatia standard pentru toate functiile va fi aceasi: =

Pentru reprezentarea ponderilor stratului liniar de iesire se foloseste metodapseudoinversei:

w= d

cu G fiind pseudoinversa matricii G: G={ }, cu =exp(- ), i=1,2,..,M,j=1,2,..,N.

Conform teoremei decompozitiei valorilor singular , pseudoinversa matricii G este

definite astfel:TUVG ++ =

in care este ea insasi o matrice NxN constituita dinvalorile singular ale lui G:

=+ 0,,0,

1,,

1,

1

21

j

diag

12


13/26


Metoda selectiei autoorganizarii centrilor

In cadrul acestei abordari este permisa deplasarea locatiei centrilor functiilor radiale intr-o maniera autoorganizata, in timp ce ponserile stratului liniar de iesire sunt calculate intr-omaniera de iesire.

Componenta autoorganizata permite alocarea resurselor RNA astfel incat centriifunctiilor radiale vor fi plasati doar in regiuni semnificative ale spatiului de intrare.Pentruselactia autoorganizata a centrilor se poate folosi metoda celor mai apropiati k vecini iar pentruinvatarea supervizata se poate folosi un algoritm bazat pe corectia erorilor (de exemplu LMS).

Antrenarea reelelor bazate pe funcii radiale, n scopul obinerii funciei de interpolare,presupune 2 etape:

1. Stabilirea valorilor elemetelor vectorului centrilor k i a dispersiei k pentru fiecareneuron k din stratul ascuns;

2. Determinarea ponderilor printr-o metod de antrenare, iterativ sau neiterativ.

Pentru arhitecturi cu i neuroni de ieire, i=1, 2, , presupunnd matricea W a ponderilorca fiind singular, actualizarea ponderilor se poate face iterativ, pe baza unei reguli deminimizare a erorii. Cel mai des utilizat, este metoda de descretere pas cu pas a gradientuluifunciei de eroare, care, similar perceptronului multistrat va da o regul de actualizare aponderilor la fiecare iteraie, de forma

Njjw

jEjwjw

mk

kmk ,,2,1,)(

)()()1( =

=+ (3.16)

unde wmk reprezint ponderea conexiunii ieirii neuronului k din stratul ascuns cu intrareaneuronului m din stratul de ieire, iar j reprezint iteraia la care se face corecia.

Proiectarea i antrenarea reelelor bazate pe funcii radiale depinde n mod esenial demodul de specificare al centrilor funciilor radiale.

13


14/26


II.5.1 .EXEMPLU 1.:

Aproximarea funciilor cu ajutorul reelelor neuronale RBF

Reelele neuronale cu funcii de transfer radiale, (Radial Basis Functions) sunt considerateaproximatori universali i sunt constituite dintr-un numr de N uniti de intrare, K uniti pestratul ascuns i M uniti de ieire. Aceste reele difer de cele feedforward multinivel prinfunciile de integrare i de transfer specifice nivelului ascuns.O unitate kaflat pe nivelul ascuns produce un semnal ukcorespunztor unui semnal de intrareX,dat de relaia:() kkkCXgy= (1)unde Ck=(ck1, , ckN) este vectorul ponderilor conexiunilor ctre unitatea ascuns k, numit icentrul sau prototipul acesteia. Astfel funcia de integrare asociat unitii ascunse are la bazcalculul unei distane dintre vectorul de intrare i centrul corespunztor.Distana euclidian este cel mai frecvent utilizat i este dat de relaia:()==NikjjkcxCX122 (2)Funciile de transfer sunt caracterizate prin simetrie radial i au proprietatea de localitate, adicproduc valori semnificative doar pentru valori mici ale argumentului, pentru valori mari tinzndns ctre zero. Funciile de transfer uzuale sunt cele gaussiane sau cele de tip Cauchy.Reeaua va produce un vector de ieire MRY care va avea componentele:(===NiikkikiwCXcwy102 (3) )unde KkNiikwW,0,,1)(=== este matricea ponderilor conexiunilor dintre nivelul ascuns i cel deieire.Dac domeniul datelor de intrare este acoperit de cmpurile receptive ale unitilor de pe stratulascuns, atunci se va obine o bun comportare a reelei.

14


15/26


15


16/26


Reelele RBF sunt aproximatori universali, calitatea aproximrii depinznd de numrul de unitiascunse.

Crearea unei reele RBF n mediul MatLab

Exemplul dat va folosi funcia NEWRB pentru a crea o reea neuronal care va aproxima ofuncie definit printr-un set de perechi de date (puncte).>> P = -1:.1:1;>> T = (-.9602 -.5770 -.0729 -.3771 .6405 .6600 .4609.1336 -.2013 -.4344 -.5000 -.3930 -.1647 .0988.3072 .3960 .3449 .1816 -.0312 -.2189 -.3201);>> plot(P,T,'+');Se va cuta o funcie care s treac prin cele 21 de puncte date. O reea RBF este o reea cu douniveluri: un nivel ascuns cu neuroni radial basis neurons i un nivel de ieire cu neuroni liniari.Funcia radial folosit de nivelul ascuns este:>> p =-3:.1:3;>> a = radbas(p);>> plot(p,a).

16


17/26


Ponderile i pragurile fiecrui neuron din stratul ascuns definesc parametrii funciei radiale.Fiecare neuron linear de ieire formeaz o sum ponderat a acestor funcii radiale. Valorilecorecte ale ponderilor i pragurilor pentru fiecare neuron i un numr suficient de neuroniascuni vor asigura obinerea unei reele care s aproximeze orice funcie cu acurateea dorit.n continuare este dat un exemplu cu trei funcii radiale care sunt sumate pentru a produce o noufuncie:>> plot(p,radbas(p)+radbas(p-1.5)+.05 radbas(p+2),'m-');Pentru crearea unei reele cu funcie de transfer radial care s aproximeze funcia dat prinperechile P i T, se va folosi funcia MatLab NEWRB care va aduga neuroni stratului ascunspn n momentul n care se va atinge eroarea medie ptratic specificat.>> eg = 0.02; % sum-squared error goal;>> sc =1; % spread constant;>> net=newrb(P,T,eg,sc).

Simularea reelei obinute

Pentru a observa performana reelei se reploteaz setul de antrenare:>> plot(P,T,'+');i se simuleaz rspunsul reelei pentru intrri din acelai interval de valori:>> X = -1:.1:1;>> Y = sim(netX);plotndu-se apoi rezultatele pe acelai grafic:>> hold on; plot (X,Y); hold off.

17


18/26


4. Concluzii

Reelele neuronale cu funcii de transfer radiale realizeaz o aproximare local, spre

deosebire de cele feedforward multistrat care realizeaz o aproximare global. Reelele RBFpartiioneaz domeniul datelor de intrare astfel nct pentru fiecare zon exist cte o unitateascuns care produce o valoare semnificativ atunci cnd primete semnale din zonarespectiv. n cazul n care semnalul de la intrare se afl la frontiera dintre dou zone, atunciunitile asociate celor dou zone vor produce valori semnificative, astfel c rspunsul reeleiva fi o medie ponderat a valorilor asociate acestor uniti ascunse. Astfel reeaua va face otrecere neted de la o zon la alta.

RNA-RBF au fost folosite cu success in deosebi la problemele de aproximare/interpolaresi predictive a functiilor. In continuare este demonstrata capacitatea unei astfel de retele de a

aproxima functia :

Am folosit mediul MATLAB pentru rezolvarea problemei:

%exemplu de implementare a unui RNA-RBF

%pentru cazul interpolarii functiei

clear all

eg=0.02; % eroarea MSE dorita

sc=1; % marimea campului receptiv al functiilor radialeP=0:pi/4:2*pi;%definirea tiparului de intrare

T=sin(P)+ cos(P); %definirea tiparului de iesire,

%(punctele de interpolare)

net=newrb(P,T,eg,sc);%crearea RNA-RBF

test=0:pi/32:2*pi ;% definirea suportului pentru punctele de test

y=sin(test)+cos(test); %calcului valorilor functiei originale

z=sim(net,test);%calculul valorilor obtinute prin interpolare

%reprezentarea grafica a rezultatelor

plot(test,z)

hold on

plot(test,y,'r--')

18


19/26


plot(P,T,'+')

hold off

Rezultatul obtinut: NEWRB, neurons = 0, SSE = 3.95938

RNA-RBF folosita la aproximarea functiilor

In concluzie se poate afirma ca RNA-RBF reprezinta o solutie alternativa in special inproblemele ce presupun interpolarea ,aproximarea sau predictia functiilor.De mentionat siposibilitatea folosirii lor in problem de clasificare.

II.5.2.EXEMPLU 2.:

Verificati capacitatea de predictive a unui RNA-RBF pentru urmatoarea serie haotica:

19


20/26


21/26


figure

plot(x,'red','linewidth',1)

hold on

plot(N*p+1+k:N+k,Y1,'linewidth',2)

legend('training values','predicted values',0)

hold off

21


22/26


III.Comparaie ntre reelele RBF i perceptronul multistrat

ntre perceptronul multistrat i reelele bazate pe funcii radiale, exist o serie de asemnri,dar n acelai timp i deosebiri fundamentale.

1. Asemnri

- Att perceptronul multistrat, ct i reelele RBF conin un strat de intrare, care are doar rolulde repartiie a datelor, straturi ascunse i un strat de ieire. Conexiunile ntre straturi nambele cazuri sunt doar nainte, neexistnd conexiuni de reacie;

- Amblele tipuri de reele au n majoritatea cazurilor neuroni liniari n stratul de ieire, iarunitile de calcul, n general neliniare, se gsesc n stratul ascuns (straturile acunse);

- Att perceptronul multistrat, ct i reelele RBF pot fi antrenate printr-un algoritm supervizat,pentru a realiza mapri intrare-ieire ce aproximeaz funcii mono sau multivariabile;

1. Deosebiri- Perceptronul multistrat poate conine 2 straturi ascunse, avnd neuroni neliniari, structural

identici. Reelele RBF conin ntotdeauna un singur ascuns cu neuroni avnd funcii deactivare radiale;

- n timp ce la perceptronul multistrat ieirea neuronilor de calcul este o funcie neliniar desuma ponderat a intrrilor lui, la reelele RBF unitile de calcul determin distana (normaEuclidian) dintre vectorul de intrare i centrul unitii respective. Deci, modul defuncionare al unui neuron bazat pe funcii radiale este fundamental diferit de cel alperceptronului;

22


23/26


- Perceptronul multistrat este un aproximator universal. n cazul n care el este antrenat cu unset de date consistent, el va putea aproxima valoarea funciei pentru orice valoare a

argumentului acesteia. Reeaua bazat pe funcii radiale este un interpolator universal. Earealizeaz o aproximare local a funciei respective. Valoarea ieirii aproximeaz valoareafunciei n punctele de interpolare (centrii), dar scade exponenial o dat cu creterea distaneifa de acetia. Modul de aproximare (alura ieirii) este dependent de valoarea dispersiei. Cuct valoarea este mai mic, cu att descreterea ieirii reelei la ndeprtarea de centru estemai rapid. O dat cu creterea valorii , aparent se tinde spre atingerea proprietii deaproximator global, dar, reeaua devine insensibil la modificri n alura funciei. Caexemplu, n fig. 3.7 sunt prezentate modul reprezenatare a funciei F(x)=sin(x) mn primulcadran. Fig. 3.7a prezint ieirea unui perceptron multistrat, iar fig. 3.7b, c i d ieirile uneireele RBF, pentru =0.01, 0.08 i respectiv 0.15. Cu semnul + sunt marcate valorilefunciei utilizate pentru antrenarea reelelor. Perceptronul multistrat conine un strat ascuns

cu 3 neuroni cu funcii de activare sigmoid i un neuron liniar n stratul de ieire. ReeauaRBF conine 3 neuroni radiali n stratul ascuns;Algoritmii de antrenare a reelelor RBF, datorit caracterului de aproximator local alacestora, sunt mai rapid convergeni i mai puin.

Crearea unei reele RBF n mediul MatLab

Exemplul dat va folosi funcia NEWRB pentru a crea o reea neuronal care va aproxima o

funcie definit printr-un set de perechi de date (puncte).>> P = -1:.1:1;>> T = (-.9602 -.5770 -.0729 -.3771 .6405 .6600 .4609.1336 -.2013 -.4344 -.5000 -.3930 -.1647 .0988.3072 .3960 .3449 .1816 -.0312 -.2189 -.3201);>> plot(P,T,'+');

23


24/26


Se va cuta o funcie care s treac prin cele 21 de puncte date. O reea RBF este o reea cudou niveluri: un nivel ascuns cu neuroni radial basis neurons i un nivel de ieire cu neuroniliniari.

Funcia radial folosit de nivelul ascuns este:>> p =-3:.1:3;>> a = radbas(p);

>> plot(p,a).

24


25/26


Ponderile si pragurile fiecarui neuron din stratul ascuns definesc paremetrii functieiradiale.Fiecare neuron liniar de iesire formeaza o suma ponderata a acestor functii radiale.Valorile corecte ale ponderilor i pragurilor pentru fiecare neuron i un numr suficient deneuroni ascuni vor asigura obinerea unei reele care sa aproximeze orice functie cu acurateteadorita.

n continuare este dat un exemplu cu trei funcii radiale care sunt sumate pentru aproduce o nou funcie:>> plot(p,radbas(p)+radbas(p-1.5)+.05 radbas(p+2),'m-');

Pentru crearea unei reele cu funcie de transfer radial care s aproximeze funcia datprin perechile P i T, se va folosi funcia MatLab NEWRB care va aduga neuroni stratuluiascuns pn n momentul n care se va atinge eroarea medie ptratic specificat.>> eg = 0.02; % sum-squared error goal;>> sc =1; % spread constant;>> net=newrb(P,T,eg,sc).

Simularea reelei obinute

Pentru a observa performana reelei se reploteaz setul de antrenare:>> plot(P,T,'+');i se simuleaz rspunsul reelei pentru intrri din acelai interval de valori:>> X = -1:.1:1;>> Y = sim(netX);plotndu-se apoi rezultatele pe acelai grafic:>> hold on; plot (X,Y); hold off.

25


26/26


VI.Concluzii

Reelele neuronale cu funcii de transfer radiale realizeaz o aproximare local, spredeosebire de cele feedforward multistrat care realizeaz o aproximare global.

Reelele RBF partiioneaz domeniul datelor de intrare astfel nct pentru fiecare zonexist cte o unitate ascuns care produce o valoare semnificativ atunci cnd primetesemnale din zona respectiv. n cazul n care semnalul de la intrare se afl la frontiera dintredou zone, atunci unitile asociate celor dou zone vor produce valori semnificative, astfelc rspunsul reelei va fi o medie ponderat a valorilor asociate acestor uniti ascunse. Astfelreeaua va face o trecere neted de la o zon la alta.

V. Bibliografie

1. G. Toderean ,M. Costeiu,M.Giurgiu- Retele Neuronale,Ed.Microinformatica,ClujNapoca,1994

2. V.Tiponut,C.D.Caleanu-Retele Neuronale,arhitecturi si algoritmi,EdPolitehnica,Timisoara,2000

3. D.Dumitrescu,H.Costin-Retele Neuronale.Teorie si aplicatii,Editura Teora,1996

4. http://www.math.uvt.ro/zaharie/.

http://www.mathworks.com/.

http://www.kcl.ac.uk/neuronet/.

Retele cu Baza Radiala

Documents

Transcript of Retele cu Baza Radiala