Post on 26-Sep-2015
description
SISTEME INTELIGENTE DE SUPORT DECIZIONAL As.dr.ing. Laura-Nicoleta IVANCIU
Curs 6 Reele Neuronale Artificiale
2
Cuprins Principii Bazele biologice Arhitectura RNA Instruire Tipuri de probleme rezolvabile cu RNA
Curs 6 Reele Neuronale Artificiale
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
3
Principiile RNA
Ce nseamn Calcul Natural i Calcul Neural? Ce nseamn RNA? Care sunt componentele care determin o reea neuronal?
Curs 6 Reele Neuronale Artificiale
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
4
S ne aducem aminte... ncadrarea IC IC = modelarea numeric a inteligenei biologice - suprapunere semnificativ cu soft computing - exploateaz tolerana la imprecizie, nesiguran i adevr parial, pentru a obine flexibilitate, robustee i costuri sczute
- difer fundamental de calculul convenional (hard), caracterizat de lipsa impreciziei i a adevrurilor pariale
Curs 6 Reele Neuronale Artificiale Principiile RNA
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
5
Principiile RNA
Curs 6 Reele Neuronale Artificiale
Calcul neural (neuronal)
RN = suport hard pentru calcul neural
- rezolvarea problemelor de asociere - se bazeaz pe extragerea unui model pe baz de exemple - nvare pe baz de suficient de multe exemple
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
6
S ne aducem aminte... Reele Neuronale Artificiale - sisteme de prelucrare a informaiei, ce modeleaz structura paralel masiv a creierului inspiraie biologic - numr mare de elemente de prelucrare (neuroni) relativ simple
- conexiuni ponderate ntre neuroni
- cunotinele sunt stocate n ponderile conexiunilor
Curs 6 Reele Neuronale Artificiale Principiile RNA
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
7
Alte definiii
RNA = calculator distribuit, masiv paralel, care achiziioneaz noi cunotine pe baza experienei anterioare i le face disponibile pentru utilizarea ulterioar (S.Haykin, 1994) Asemnarea cu creierul uman cunotinele sunt achiziionate de reeaua neural printr-un proces de nvare
cunotinele sunt depozitate n conexiunile inter-neuronale (ponderi sinaptice)
Curs 6 Reele Neuronale Artificiale Principiile RNA
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
8
RNA este complet determinat prin: tipul unitilor funcionale (elemente de procesare numite neuroni)
arhitectur (amplasare uniti funcionale)
algoritm de funcionare (transformare semnal intrare n semnal ieire) algoritm de nvare (cum achiziioneaz reeaua noi cunotine pe baz de exemple)
Curs 6 Reele Neuronale Artificiale Principiile RNA
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
9
Denumiri alternative pentru RNA neurocalcul
conexionism
procesare paralel distribuit sisteme adaptive
reele cu auto-organizare
Curs 6 Reele Neuronale Artificiale Principiile RNA
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
10
Bazele biologice ale RNA
Cum arat un neuron natural? Cum arat un neuron artificial? Ce sunt funciile de activare?
Curs 6 Reele Neuronale Artificiale
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
11
Neuronul natural unitate morfo-funcional a sistemului nervos ~100 mld. neuroni n creier i mduva spinrii 1000-10.000 sinapse/neuron NU se regenereaz
Curs 6 Reele Neuronale Artificiale Bazele biologice ale RNA
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
12
Tipuri de neuroni naturali senzoriali (bipolari) (0.9%) receptori -> SNC moto-neuron (multipolari) (9%)
SNC -> muchi, glande = 4...100m inter-neuroni (pseudopolari)
-> mduva spinrii -> piele, muchi
Curs 6 Reele Neuronale Artificiale Bazele biologice ale RNA
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
13
Neuronul artificial Modelul de baz McCulloch-Pitts (1943) Modelul derivat
w ponderi sinaptice f funcie de integrare/agregare/activare
bias (polarizare)
Curs 6 Reele Neuronale Artificiale Bazele biologice ale RNA
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
14
Funcii de activare
Curs 6 Reele Neuronale Artificiale Bazele biologice ale RNA
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
15
Arhitectura RNA
Care sunt unitile funcionale ale RNA? Ce tipuri de RNA exist? Ce caracteristici mprumut RNA de la creier?
Curs 6 Reele Neuronale Artificiale
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
16
Uniti funcionale ale RNA
Curs 6 Reele Neuronale Artificiale Arhitectura RNA
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
17
Arhitectura RNA reele feed-forward (unidirecionale)
unistrat
Curs 6 Reele Neuronale Artificiale Arhitectura RNA
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
18
Arhitectura RNA reele feed-forward (unidirecionale)
multistrat - mai lente dect cele unistrat - pot implementa funcii mai complexe
Curs 6 Reele Neuronale Artificiale Arhitectura RNA
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
19
Arhitectura RNA reele feed-back (bidirecionale/recurente) cele mai complexe dinamice pentru fiecare stare de intrare, se caut starea de echilibru reele laticeale se folosesc la Self Organizing Maps (SOM)
Curs 6 Reele Neuronale Artificiale Arhitectura RNA
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
20
Caracteristici ale RNA mprumutate de la creier capacitatea de a nva nvare din exemple ajustarea ponderilor pe baza unor modele antrenare cu seturi mari de date
capacitatea de a generaliza pot da rspunsuri corecte pentru intrri uor diferite de cele cu care au fost antrenate
capacitatea de a sintetiza
pot da rspunsuri corecte pentru intrri afectate de zgomot/imprecise/ pariale
Curs 6 Reele Neuronale Artificiale Arhitectura RNA
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
21
Tipuri remarcabile de RNA Reele cu nvare supervizat feed-back: maina Boltzmann, Learning Vector Quantization (LVQ) feed-forward: perceptron, Adaline, Madaline
Reele cu nvare nesupervizat feed-back: reele Grossberg, reele Hopfield (discrete/continue), memorii asociative (bidirecionale/temporale), reele Kohonen cu auto-organizare feed-forward: memorii asociative liniare/distribuite, memorii asociative fuzzy
Curs 6 Reele Neuronale Artificiale Arhitectura RNA
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
22
Instruirea RNA
Ce nseamn instruirea RNA? Care sunt tehnicile de instruire ale RNA? Ce nseamn i care sunt regulile i algoritmii de instruire? Prin ce se caracterizeaz fiecare regul/algoritm de instruire?
Curs 6 Reele Neuronale Artificiale
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
23
Instruirea RNA = procesul adaptrii ponderilor, printr-o stimulare din partea unui expert sau a mediului, sau nesupervizat, prin analiza statistic a vectorilor de intrare Algoritm de instruire = modul n care se modific ponderile
Curs 6 Reele Neuronale Artificiale Instruirea RNA
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
24
Tehnici de instruire Dup momentul de timp n care se face instruirea offline
instruire + utilizare
Ex: recunoatere comenzi vocale, recunoatere scris de mn online
instruire n timpul funcionrii (on the fly)
Ex: compensare ecou, filtre adaptive
Curs 6 Reele Neuronale Artificiale Instruirea RNA
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
25
Tehnici de instruire Dup modul n care se face instruirea supervizat
Set de instruire = perechi (intrare, ieire dorit) Epoc de instruire = prezentarea ntregului set de instruire
cu ntrire
online semnal de ntrire extern (poate fi binar)
nesupervizat online/offline cea mai rapid clasificarea statistic a intrrilor (distan euclidian)
Curs 6 Reele Neuronale Artificiale Instruirea RNA
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
26
Reguli i algoritmi de instruire Regul de instruire = formul matematic care specific cum se modific parametrii RNA, pentru a atinge obiectivul dorit regula de corecie a erorii regula hebbian regula de instruire competitiv regula de tip Boltzmann
Algoritm de instruire = proces iterativ bazat pe o regul de instruire Etape: 1. iniializare ponderi 2. calcul ieire neuroni 3. calcul cantitate w cu care se modific fiecare pondere 4. modificare ponderi 5. salt la etapa 2 recalcularea ieirilor neuronilor
Curs 6 Reele Neuronale Artificiale Instruirea RNA
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
27
Instruire prin minimizarea erorii
Curs 6 Reele Neuronale Artificiale Instruirea RNA
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
28
Instruire bazat pe gradient Regula de instruire pas de instruire, subunitar Regula Widrow-Hoff (regula Delta) Algoritmul de gradient 1. iniializare ponderi wkj i bias cu valori mici, subunitare 2. calcul ieire neuroni 3. calcul eroare ek 3. calcul cantitate wkj cu care se modific fiecare pondere 4. modificare ponderi wkj(n+1) = wkj(n) + wkj(n) 5. salt la etapa 2 recalcularea ieirilor neuronilor n:= n + 1
Curs 6 Reele Neuronale Artificiale Instruirea RNA
)(
)()()(
nw
nEnEnw
k
k
kkk exnw **)(
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
29
Instruire hebbian Postulatul lui Donald Hebb (1949) n cazul n care un axon al unui neuron A transmite impulsuri unui neuron B i n mod repetat i persistent A duce la activarea lui B, atunci apare un proces metabolic, la nivelul uneia sau ambelor celule, astfel nct aceast tendin de activare a lui B de ctre A este ntrit. Dac doi neuroni sunt activai sincron, ponderea conexiunii dintre ei crete. Ex: experimentul lui Pavlov - instruire nesupervizat - reea cu memorie
Curs 6 Reele Neuronale Artificiale Instruirea RNA
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
30
Instruire hebbian Regula de instruire Algoritmul de instruire hebbian 1. iniializare ponderi wkj i bias cu valori mici, subunitare 2. calcul ieire neuroni 3. modificare ponderi wkj(n+1) = wkj(n) + wkj(n) 4. salt la etapa 2 recalcularea ieirilor neuronilor n:= n + 1
Curs 6 Reele Neuronale Artificiale Instruirea RNA
ijij yxw **
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
31
Instruire hebbian Avantaje: simplitatea arhitecturii reelei simplitatea algoritmului de instruire rezultate satisfctoare dac intrarea i ieirea sunt ortogonale Dezvantaje: necesitate ortogonalitate ntre intrare i ieire cretere nelimitat a ponderilor factor de uitare, subunitar, tipic ntre 0.01 i 0.1
Curs 6 Reele Neuronale Artificiale Instruirea RNA
ijjijij wyxyw ****
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
32
Instruire competitiv - unul sau mai muli neuroni concureaz pentru a fi activai - winner takes all criteriul activrii maxime - instruire nesupervizat Ex: Self Organizing Maps (Theuvo Kohonen, anii 80)
Curs 6 Reele Neuronale Artificiale Instruirea RNA
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
33
Instruire competitiv Regula de instruire ,neuron j ctigtor Dat fiind un vector de intrare xi, ctig neuronul al crui vector de ponderi w este cel mai apropiat (ca distan euclidian) fa de xi. Algoritmul de instruire competitiv 1. iniializare ponderi wkj i bias cu valori mici, subunitare 2. cutare neuron ctigtor (distan euclidian minim) 3. calcul i modificare ponderi wkj(n+1) = wkj(n) + wkj(n) 4. salt la etapa 2 recalcularea ieirilor neuronilor n:= n + 1 Instruirea se oprete cnd nu mai apar modificri semnificative ale ponderilor.
Curs 6 Reele Neuronale Artificiale Instruirea RNA
0
)( ijjij
wxw
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
34
Instruirea Boltzmann - simulated annealing (clire simulat) - inspirat din termodinamic - analogie cu procesul restructurrii cristaline a metalelor
-nivel ct mai sczut de energie -> minim al erorii
Se ridic temperatura T a unui metal la o valoare mare. Din aceast cauz, atomii devin foarte mobili i au micari aleatorii, cu att mai ample cu ct este mai ridicat temperatura T. Se face o rcire lent, progresiv, reducnd valoarea lui T. Atomii se reorganizeaz i ajung la stri de energie inferioare energiei lor iniiale. n final, metalul devine mai dur i energia sa este minim pentru temperatura dat.
Curs 6 Reele Neuronale Artificiale Instruirea RNA
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
35
Tipuri de probleme rezolvabile cu RNA
Ce tipuri de probleme se pot rezolva cu RNA? Care sunt avantajele RNA? Care sunt dezavantajele RNA?
Curs 6 Reele Neuronale Artificiale
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
36
Tipuri de probleme rezolvabile cu RNA clasificare gruparea vectorilor de intrare n clase domeniu de ieire discret Ex: recunoaterea formelor, operaii de telecom (decodare, demodulare, regenerare semnale), decizie
aproximare de funcii interpolare perechi intrare-ieire domeniu de ieire continuu
Ex: modelarea direct/invers a unui sistem necunoscut, predicie
optimizare gsirea punctului de minim/maxim al unei funcii set de ponderi pentru care diferena dintre ieirea dorit i ieirea reelei este minim, n sens statistic Ex: problema comis-voiajorului
Curs 6 Reele Neuronale Artificiale Tipuri de probleme
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
37
Avantaje ale RNA instrumente robuste de calcul capabile de generalizare pot modela funcii liniare/neliniare realizeaz mapare intrri/ieiri fr a beneficia de un model cunoscut apriori (free estimation, blind processing) adaptabile online/offline toleran la erori/date imprecise pot rezolva sarcini complexe
Curs 6 Reele Neuronale Artificiale Tipuri de probleme
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
38
Dezavantaje ale RNA problema scalabilitii
numrul mare de conexiuni reduce viteza de procesare; se prefer implementare hardware
abordare de tip black-box
nu pot explica rezultatul furnizat instrumente sub-optimale pentru reelele recurente nu s-a demonstrat stabilitatea
Curs 6 Reele Neuronale Artificiale Tipuri de probleme
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014
39
Sumar
Principii Bazele biologice ale RNA Arhitectura RNA Instruire Tipuri de probleme rezolvabile cu RNA
Curs 6 Reele Neuronale Artificiale
n episodul urmtor: SISD bazate pe RNA.
As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014