Reele neurale Kohonen

Reele neurale - Generaliti O reea neural este compus dintr-un numr de noduri sau unituri conectate ntre ele prin legturi. Fiecare legtur are o pondere numeric asociat cu ea. Ponderea este mijlocul primar de memorare pe termen lung n reelele neuronale i n realitate nvarea const n gsirea (calcularea) acestor ponderi astfel nct reeaua s rspund ct mai bine la datele de antrenament. Unele noduri au legturi directe cu mediul nconjurtor i pot fi considerate ca i uniti de intrare sau ieire. Alte noduri, care nu au nici o legtur direct cu exteriorul sunt considerate noduri ascunse. Ponderile reelei sunt modificate pe parcursul nvrii astfel nct reeaua s reproduc prin comportamentul intrare/ieire ct mai fidel datele de antrenament.

Arhitectura reelelor neurale Exist o varietate de tipuri de structuri de reele, fiecare dintre acestea rezult din diferite posibiliti de calcul i n funcie de problema care trebuie rezolvat. O reea neural poate fi privit ca un graf orientat ponderat n care neuronii sunt nodurile iar arcele orientate (cu ponderile asociate) sunt legturile ntre neuroni Din punct de vedere al construciei reelele neurale se mpart n dou categorii principale: reelele feed-forward i reelele recurent. n reelele feed-forward (cu propagare nainte), legturile dintre neuroni sunt unidirecionale i nu exist bucle (legturi de la un neuron de pe un strat superior la un neuron de pe un strat inferior). n reelele feed-forward legturile pot pleca de la topologii arbitrare, neexistnd nici o legtur spre stratul anterior sau legturi care sar peste un anumit strat. n aceste tipuri de reele toi neuronii de pe un anumit strat sunt actualizai la o anumit perioad de timp. Aceste reele sunt reele statice ele neavnd un comportament dinamic propriu-zis ieire reelei depinznd doar de valoarea curent a intrrii nu i de valorile anterioare ale intrrii.Reelele recurente sunt reele n care pot exista legturi napoi, un neuron de pe un strat superior are legturi cu neuroni de pe nivelurile inferioare. De asemenea n reelele recurente pot exista legturi care sar peste anumite straturi. n acest caz reeaua reprezint un graf orientat complet i are un comportament dinamic propriu-zis.

Reguli de nvare Fiecare tip de reea i modific ponderile n funcie de anumite reguli de nvare care depind att de tipul datelor de intrare ct i de modul de construcie al reelei. Capacitatea de nvare reprezint o trstur fundamental a inteligenei. n cadrul reelelor neurale nvarea const n modificarea reelei pentru a-i adapta comportamentul la necesitile rezolvrii unei probleme specifice. n general sunt modificaii coeficienii sinaptici (ponderile legturilor), uneori modificndu-se numrul de uniti i sau configuraia reelei. Principalul avantaj al reelelor neuronale n comparaie cu sistemele expert clasice este acela c, n loc de a folosi un set de reguli date de un expert uman, are loc o nvare prin exemple. Din punct de vedere al organizrii datelor de intrare exist dou categorii de nvare: nvarea nesupervizat n care se prezint reelei doar datele de intrare fr a se specifica i ieirea dorit pentru acestea. n acest caz reeaua este lsat s evolueze liber urmnd ca la sfrit s vedem rezultatul nvrii. este nvarea supervizat n care mulimea de exemple de antrenament sunt organizate sub forma de perechi intrare ieire, specificnd reelei la fiecare pas care trebuie s fie ieirea corect, urmnd ca reeaua s generalizeze datele de intrare.

Exist patru tipuri de reguli de nvare: - regula de nvare competitiv n cazul acestei reguli ntre unitile de ieire are loc o competiie pentru activare. n final o singur unitate va fi activ la un moment dat. Acest fenomen este cunoscut i sub numele winner takes all. - regula de nvare prin corecia erorii n nvarea supervizat reeaua dispune de ieirea dorit pentru fiecare vector de intrare. n timpul nvrii ieirea reelei nu este egal cu valoarea dorit. Principiul coreciei erorii folosete semnalul de eroare pentru modificarea ponderilor n scopul minimizrii erorii. - regula de nvare Boltzman mainile Boltzman sunt reele recurente simetrice i acestea nva asocieri ntre vectorii de intrare i vectorii de ieire. - regula de nvare Hebb este cea mai veche regul de nvare, n acest domeniu, care respect postulatul lui Hebb aprut n 1949 avnd la baz observaia neurobiologic: Dac ambii neuroni legai ntr-o sinaps sunt activi simultan coeficientul sinaptic al acestei legturi crete. Aceast regul este plauzibil biologic i prezint avantajul c nvarea are loc local, modificarea ponderii unei sinapse depinznd doar de neuronii alturai.

nvare online/ offline Din punct de vedere al timpului cnd se face actualizarea ponderilor reelei exist dou timpuri de nvare: nvarea on-line i nvarea off-line. 1. off-line - se determin, pentru fiecare pereche intrare/ieire, modificarea ce trebuie adus coeficienilor sinaptici. Aceste modificri se sumeaz i se aplic reelei numai dup ce au fost prezentate toate datele de antrenament (perechile intrare/ieire). 2. on-line - modificarea coeficienilor, calculai pentru o pereche intrare/ieire se aplicat reelei imediat dup prezentarea acestei perechi. Prezint, n raport cu precedentul, avantajul c este n general este mai rapid i poate prsi unele minime locale ale funciei de eroare total.

Reelele competitive n multe reele neurale exist un strat de neuroni care evolueaz pe baza competiiei ntre neuroni. Cale mai cunoscute reele sunt Counterpropagation i Hrile Topografice ale lui Kohonen. n procesul winner takes all neuronul care este iniial cel mai activat va domina treptat i va deveni cu activare maxim n timp ce ceilali neuroni din competiie se vor dezactiva. n multe reele neurale procesul winner takes all este necesar pentru a selecta, n timpul nvrii sau a procesrii, neuronul cu activarea maxim.

SOM (Self-Organizing Maps hri cu auto-organizare) Aceast reea cunoscut i sub numele de Reeaua Kohonen dup numele profesorului care a dezvoltat-o (Theo Kohonen) prezint o reea de nvare nesupervizat n care unitile de intrare/ieire sunt dispuse sub form de gril (n general rectangular) n plan, iar coeficienii conexiunilor ntre uniti din stratul de ieire depind de distanele ntre uniti. Astfel dac unitile sunt apropiate acestea se influeneaz reciproc iar dac acestea sunt deprtate influena este inhibatoare. Se definete astfel pentru fiecare neuron o vecintate a sa. Forma acestei vecinti poate varia n funcie de datele de intrare i poate fi rectangular sau circular. n timpul nvrii competitive se actualizeaz nu numai vectorul asociat unitii nvingtoare ci i (uneori cu un coeficient mai redus) unitile din vecintatea acesteia. Acest mod de modificare ncurajeaz unitile vecine s rspund n mod similar la vectori de intrare similari. Deoarece T. Kohonen a lucrat la dezvoltarea teoriei competiiei, iar elementele de procesare competitiv sunt adesea referite ca uniti Kohonen.Reeaua este utilizat n aproximarea distribuiei vectorilor de intrare, n reducerea dimensionalitii datelor meninnd (pe ct posibil) vecintatea i n clustering. Arhitectura reelei SOM const ntr-o matrice bidimensional de uniti de ieire, fiecare conectat cu toate cele n uniti de intrare. Fie vectorul n-dimensional asociat unitii din poziia (i,j) a matricii bidimensionale. Fiecare neuron de ieire calculeaz distana dintre vectorul de intrare x i vectorul pondere wij memorat. Ponderea neuronului nvingtor (i a celor din vecintatea acestuia) pentru pasul urmtor se calculeaz dup urmtoarea formul (formula lui Kohonen), acesta modificndu-se dup fiecare vector de intrare fiind astfel din categoria reelelor cu nvare online: (1)

Unde

Idea acestui algoritm este c se caut unitatea nvingtoare pentru fiecare vector de intrare (la fel ca la algoritmul anterior cel bazat pe asociere pe baza similaritiilor), dar modificarea coeficienilor sinaptici se realizeaz nu numai pentru unitatea nvingtoare ci (n general cu un coeficient mai redus) i pentru unitile aflate n vecintatea acestei uniti, vecintate definit de o vecintate v. Acest mod de modificare a coeficienilor ncurajeaz unitile vecine s rspund n mod similar la vectori de intrare similari; reeaua este astfel o hart a mulimii vectorilor de intrare.

Algoritmul de nvare Kohonen Idea de nvare const n a plasa reeaua undeva n plan i a o antrena la nceput cu o vecintate i un coeficient de nvare mare care pe parcursul nvrii s scad treptat, astfel: 1. se dispun unitile de ieire sub form de gril n plan (aceast dispunere reprezint de fapt i iniializarea ponderilor unitilor cu valori aleatoare mici). Se recomand memorarea acestor uniti ntr-o matrice pentru a se putea calcula ulterior vecintatea unui neuron. In cazul reelei SOM ponderea unui neuron este considerat poziia acelui neuron n spaiul de reprezentare al datelor de intrare. 2. se stabilete o anumit formul pentru calculul vecintii i al coeficientului de nvare (formul care s depind de pasul la care s-a ajuns n nvare). 3. se ia un vector de intrare, i se calculeaz distana dintre el i toi neuroni din reea. 4. Neuronul care este cel mai apropiat este considerat neuronul nvingtor (ca n formula 2) i la acest neuron se modific ponderea dup formula lui Kohonen (formula 1) (2)5. La toi neuroni care sunt vecini (la pasul respectiv) cu neuronul nvingtor se recalculeaz ponderea dup aceeai formul (formula 1). 6. dac coeficientul de nvare () a ajuns la 0 se consider c reeaua a nvat deoarece nu vor mai avea loc modificri n reea (conform formulei lui Kohonen) 7. dac coeficientul de nvare nu a ajuns la 0 se sare la pasul 3 n cadrul SOM vecintatea joac un rol esenial. n cazul dispunerii neuronilor pe o gril ptrat vecintatea unui neuron este definit ca fiind toi neuronii vecini din cadrul matricei care sunt in domeniul pentru neuronul nvingtor de pe poziia (i,j) din matricea de start iar v este vecintatea la acel moment dat. Exist mai multe formule pentru calculul vecintii i al coeficientului de nvare la pasul t, acestea depinznd foarte mult de aplicaie. Un exemplu de astfel de formul pentru aplicaia curent ar fi:

unde t reprezint pasul curent N numrul total de pai n care am vrea s nvee reeaua

Obs: - Se consider un pas numai n momentul n care s-a terminat de prezentat reelei tot setul de date de antrenament. - Coeficientul 6.1 pentru vecintate este ales deoarece vrem s pornim cu o vecintate mare la nceput (se recomand vecintatea s fie aproximativ 60-70% din numrul de neuroni de pe o dimensiune a reelei). Coeficientul 6.1 a fost ales pentru o reea de 10x10 neuroni. - Coeficientul de 0,01 la rata de nvare () este ales deoarece vrem ca rata de nvare s fie suficient de mic nct s tind repede la 0.

Bibliografie1. http://webspace.ulbsibiu.ro/daniel.morariu/html/StudentDoc/ML/IA-laborator3.pdf2. http://www.victorneagoe.com/university/prai/lab3b.pdf3. http://en.wikipedia.org/wiki/Self-organizing_map4. http://jknnl.sourceforge.net/5. http://www.heatonresearch.com/articles/6/page3.html