C_05

SISTEME INTELIGENTE DE SUPORT DECIZIONAL As.dr.ing. Laura-Nicoleta IVANCIU

Curs 6 Reele Neuronale Artificiale

2

Cuprins Principii Bazele biologice Arhitectura RNA Instruire Tipuri de probleme rezolvabile cu RNA


As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014

3

Principiile RNA

Ce nseamn Calcul Natural i Calcul Neural? Ce nseamn RNA? Care sunt componentele care determin o reea neuronal?



4

S ne aducem aminte... ncadrarea IC IC = modelarea numeric a inteligenei biologice - suprapunere semnificativ cu soft computing - exploateaz tolerana la imprecizie, nesiguran i adevr parial, pentru a obine flexibilitate, robustee i costuri sczute

- difer fundamental de calculul convenional (hard), caracterizat de lipsa impreciziei i a adevrurilor pariale

Curs 6 Reele Neuronale Artificiale Principiile RNA


5

Principiile RNA


Calcul neural (neuronal)

RN = suport hard pentru calcul neural

- rezolvarea problemelor de asociere - se bazeaz pe extragerea unui model pe baz de exemple - nvare pe baz de suficient de multe exemple


6

S ne aducem aminte... Reele Neuronale Artificiale - sisteme de prelucrare a informaiei, ce modeleaz structura paralel masiv a creierului inspiraie biologic - numr mare de elemente de prelucrare (neuroni) relativ simple

- conexiuni ponderate ntre neuroni

- cunotinele sunt stocate n ponderile conexiunilor



7

Alte definiii

RNA = calculator distribuit, masiv paralel, care achiziioneaz noi cunotine pe baza experienei anterioare i le face disponibile pentru utilizarea ulterioar (S.Haykin, 1994) Asemnarea cu creierul uman cunotinele sunt achiziionate de reeaua neural printr-un proces de nvare

cunotinele sunt depozitate n conexiunile inter-neuronale (ponderi sinaptice)



8

RNA este complet determinat prin: tipul unitilor funcionale (elemente de procesare numite neuroni)

arhitectur (amplasare uniti funcionale)

algoritm de funcionare (transformare semnal intrare n semnal ieire) algoritm de nvare (cum achiziioneaz reeaua noi cunotine pe baz de exemple)



9

Denumiri alternative pentru RNA neurocalcul

conexionism

procesare paralel distribuit sisteme adaptive

reele cu auto-organizare



10

Bazele biologice ale RNA

Cum arat un neuron natural? Cum arat un neuron artificial? Ce sunt funciile de activare?



11

Neuronul natural unitate morfo-funcional a sistemului nervos ~100 mld. neuroni n creier i mduva spinrii 1000-10.000 sinapse/neuron NU se regenereaz

Curs 6 Reele Neuronale Artificiale Bazele biologice ale RNA


12

Tipuri de neuroni naturali senzoriali (bipolari) (0.9%) receptori -> SNC moto-neuron (multipolari) (9%)

SNC -> muchi, glande = 4...100m inter-neuroni (pseudopolari)

-> mduva spinrii -> piele, muchi



13

Neuronul artificial Modelul de baz McCulloch-Pitts (1943) Modelul derivat

w ponderi sinaptice f funcie de integrare/agregare/activare

bias (polarizare)



14

Funcii de activare



15

Arhitectura RNA

Care sunt unitile funcionale ale RNA? Ce tipuri de RNA exist? Ce caracteristici mprumut RNA de la creier?



16

Uniti funcionale ale RNA

Curs 6 Reele Neuronale Artificiale Arhitectura RNA


17

Arhitectura RNA reele feed-forward (unidirecionale)

unistrat



18

Arhitectura RNA reele feed-forward (unidirecionale)

multistrat - mai lente dect cele unistrat - pot implementa funcii mai complexe



19

Arhitectura RNA reele feed-back (bidirecionale/recurente) cele mai complexe dinamice pentru fiecare stare de intrare, se caut starea de echilibru reele laticeale se folosesc la Self Organizing Maps (SOM)



20

Caracteristici ale RNA mprumutate de la creier capacitatea de a nva nvare din exemple ajustarea ponderilor pe baza unor modele antrenare cu seturi mari de date

capacitatea de a generaliza pot da rspunsuri corecte pentru intrri uor diferite de cele cu care au fost antrenate

capacitatea de a sintetiza

pot da rspunsuri corecte pentru intrri afectate de zgomot/imprecise/ pariale



21

Tipuri remarcabile de RNA Reele cu nvare supervizat feed-back: maina Boltzmann, Learning Vector Quantization (LVQ) feed-forward: perceptron, Adaline, Madaline

Reele cu nvare nesupervizat feed-back: reele Grossberg, reele Hopfield (discrete/continue), memorii asociative (bidirecionale/temporale), reele Kohonen cu auto-organizare feed-forward: memorii asociative liniare/distribuite, memorii asociative fuzzy



22

Instruirea RNA

Ce nseamn instruirea RNA? Care sunt tehnicile de instruire ale RNA? Ce nseamn i care sunt regulile i algoritmii de instruire? Prin ce se caracterizeaz fiecare regul/algoritm de instruire?



23

Instruirea RNA = procesul adaptrii ponderilor, printr-o stimulare din partea unui expert sau a mediului, sau nesupervizat, prin analiza statistic a vectorilor de intrare Algoritm de instruire = modul n care se modific ponderile

Curs 6 Reele Neuronale Artificiale Instruirea RNA


24

Tehnici de instruire Dup momentul de timp n care se face instruirea offline

instruire + utilizare

Ex: recunoatere comenzi vocale, recunoatere scris de mn online

instruire n timpul funcionrii (on the fly)

Ex: compensare ecou, filtre adaptive



25

Tehnici de instruire Dup modul n care se face instruirea supervizat

Set de instruire = perechi (intrare, ieire dorit) Epoc de instruire = prezentarea ntregului set de instruire

cu ntrire

online semnal de ntrire extern (poate fi binar)

nesupervizat online/offline cea mai rapid clasificarea statistic a intrrilor (distan euclidian)



26

Reguli i algoritmi de instruire Regul de instruire = formul matematic care specific cum se modific parametrii RNA, pentru a atinge obiectivul dorit regula de corecie a erorii regula hebbian regula de instruire competitiv regula de tip Boltzmann

Algoritm de instruire = proces iterativ bazat pe o regul de instruire Etape: 1. iniializare ponderi 2. calcul ieire neuroni 3. calcul cantitate w cu care se modific fiecare pondere 4. modificare ponderi 5. salt la etapa 2 recalcularea ieirilor neuronilor



27

Instruire prin minimizarea erorii



28

Instruire bazat pe gradient Regula de instruire pas de instruire, subunitar Regula Widrow-Hoff (regula Delta) Algoritmul de gradient 1. iniializare ponderi wkj i bias cu valori mici, subunitare 2. calcul ieire neuroni 3. calcul eroare ek 3. calcul cantitate wkj cu care se modific fiecare pondere 4. modificare ponderi wkj(n+1) = wkj(n) + wkj(n) 5. salt la etapa 2 recalcularea ieirilor neuronilor n:= n + 1


)(

)()()(

nw

nEnEnw

k

k

kkk exnw **)(


29

Instruire hebbian Postulatul lui Donald Hebb (1949) n cazul n care un axon al unui neuron A transmite impulsuri unui neuron B i n mod repetat i persistent A duce la activarea lui B, atunci apare un proces metabolic, la nivelul uneia sau ambelor celule, astfel nct aceast tendin de activare a lui B de ctre A este ntrit. Dac doi neuroni sunt activai sincron, ponderea conexiunii dintre ei crete. Ex: experimentul lui Pavlov - instruire nesupervizat - reea cu memorie



30

Instruire hebbian Regula de instruire Algoritmul de instruire hebbian 1. iniializare ponderi wkj i bias cu valori mici, subunitare 2. calcul ieire neuroni 3. modificare ponderi wkj(n+1) = wkj(n) + wkj(n) 4. salt la etapa 2 recalcularea ieirilor neuronilor n:= n + 1


ijij yxw **


31

Instruire hebbian Avantaje: simplitatea arhitecturii reelei simplitatea algoritmului de instruire rezultate satisfctoare dac intrarea i ieirea sunt ortogonale Dezvantaje: necesitate ortogonalitate ntre intrare i ieire cretere nelimitat a ponderilor factor de uitare, subunitar, tipic ntre 0.01 i 0.1


ijjijij wyxyw ****


32

Instruire competitiv - unul sau mai muli neuroni concureaz pentru a fi activai - winner takes all criteriul activrii maxime - instruire nesupervizat Ex: Self Organizing Maps (Theuvo Kohonen, anii 80)



33

Instruire competitiv Regula de instruire ,neuron j ctigtor Dat fiind un vector de intrare xi, ctig neuronul al crui vector de ponderi w este cel mai apropiat (ca distan euclidian) fa de xi. Algoritmul de instruire competitiv 1. iniializare ponderi wkj i bias cu valori mici, subunitare 2. cutare neuron ctigtor (distan euclidian minim) 3. calcul i modificare ponderi wkj(n+1) = wkj(n) + wkj(n) 4. salt la etapa 2 recalcularea ieirilor neuronilor n:= n + 1 Instruirea se oprete cnd nu mai apar modificri semnificative ale ponderilor.


0

)( ijjij

wxw


34

Instruirea Boltzmann - simulated annealing (clire simulat) - inspirat din termodinamic - analogie cu procesul restructurrii cristaline a metalelor

-nivel ct mai sczut de energie -> minim al erorii

Se ridic temperatura T a unui metal la o valoare mare. Din aceast cauz, atomii devin foarte mobili i au micari aleatorii, cu att mai ample cu ct este mai ridicat temperatura T. Se face o rcire lent, progresiv, reducnd valoarea lui T. Atomii se reorganizeaz i ajung la stri de energie inferioare energiei lor iniiale. n final, metalul devine mai dur i energia sa este minim pentru temperatura dat.



35

Tipuri de probleme rezolvabile cu RNA

Ce tipuri de probleme se pot rezolva cu RNA? Care sunt avantajele RNA? Care sunt dezavantajele RNA?



36

Tipuri de probleme rezolvabile cu RNA clasificare gruparea vectorilor de intrare n clase domeniu de ieire discret Ex: recunoaterea formelor, operaii de telecom (decodare, demodulare, regenerare semnale), decizie

aproximare de funcii interpolare perechi intrare-ieire domeniu de ieire continuu

Ex: modelarea direct/invers a unui sistem necunoscut, predicie

optimizare gsirea punctului de minim/maxim al unei funcii set de ponderi pentru care diferena dintre ieirea dorit i ieirea reelei este minim, n sens statistic Ex: problema comis-voiajorului

Curs 6 Reele Neuronale Artificiale Tipuri de probleme


37

Avantaje ale RNA instrumente robuste de calcul capabile de generalizare pot modela funcii liniare/neliniare realizeaz mapare intrri/ieiri fr a beneficia de un model cunoscut apriori (free estimation, blind processing) adaptabile online/offline toleran la erori/date imprecise pot rezolva sarcini complexe



38

Dezavantaje ale RNA problema scalabilitii

numrul mare de conexiuni reduce viteza de procesare; se prefer implementare hardware

abordare de tip black-box

nu pot explica rezultatul furnizat instrumente sub-optimale pentru reelele recurente nu s-a demonstrat stabilitatea



39

Sumar

Principii Bazele biologice ale RNA Arhitectura RNA Instruire Tipuri de probleme rezolvabile cu RNA


n episodul urmtor: SISD bazate pe RNA.


C_05

Documents

Transcript of C_05