C_06

SISTEME INTELIGENTE DE SUPORT DECIZIONAL As.dr.ing. Laura-Nicoleta IVANCIU

Curs 7 Sisteme inteligente de suport decizional bazate pe RNA

2

Cuprins Rezolvarea problemelor folosind RNA Clasificatori cu RNA Studii de caz

Curs 7 SISD bazate pe RNA

As.dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional, 2014

3

S ne aducem aminte... RNA este complet determinat prin: tipul unitilor funcionale (elemente de procesare numite neuroni)

arhitectur (amplasare uniti funcionale)

algoritm de funcionare (transformare semnal intrare n semnal ieire) algoritm de nvare (cum achiziioneaz reeaua noi cunotine pe baz de exemple)



4

S ne aducem aminte... Neuronul artificial Modelul de baz McCulloch-Pitts (1943) Modelul derivat

w ponderi sinaptice f funcie de integrare/agregare/activare

bias (polarizare)



5

S ne aducem aminte... Arhitectura RNA reele feed-forward (unidirecionale)

unistrat



6

S ne aducem aminte... Arhitectura RNA reele feed-forward (unidirecionale)

multistrat - mai lente dect cele unistrat - pot implementa funcii mai complexe



7

S ne aducem aminte Arhitectura RNA reele feed-back (bidirecionale/recurente) cele mai complexe dinamice pentru fiecare stare de intrare, se caut starea de echilibru reele laticeale se folosesc la Self Organizing Maps (SOM)



8

S ne aducem aminte... Instruirea RNA = procesul adaptrii ponderilor, printr-o stimulare din partea unui expert sau a mediului, sau nesupervizat, prin analiza statistic a vectorilor de intrare Algoritm de instruire = modul n care se modific ponderile



9

S ne aducem aminte... Tipuri de probleme rezolvabile cu RNA clasificare (vezi Curs 7) gruparea vectorilor de intrare n clase domeniu de ieire discret Ex: recunoaterea formelor, operaii de telecom (decodare, demodulare, regenerare semnale), decizie aproximare de funcii (vezi Proiect 6)

interpolare perechi intrare-ieire domeniu de ieire continuu

Ex: modelarea direct/invers a unui sistem necunoscut, predicie optimizare gsirea punctului de minim/maxim al unei funcii set de ponderi pentru care diferena dintre ieirea dorit i ieirea reelei este minim, n sens statistic Ex: problema comis-voiajorului



10

Rezolvarea problemelor folosind RNA

Care sunt etapele rezolvrii problemelor folosind RNA? Ce considerente trebuie luate n calcul?



11

Etapele rezolvrii problemelor folosind RNA stabilirea arhitecturii iniiale

alegerea unui algoritm de instruire

antrenarea reelei

testare (validare)

utilizarea propriu-zis

Curs 7 SISD bazate pe RNA Rezolvarea problemelor folosind RNA


12

Considerente de proiectare Alegerea setului de date de intrare antrenare 50% - minim 5*nr.ponderi previne supra-potrivirea validare 20%-40% testare 10% - 30%



13

Considerente de proiectare Numr de straturi ascunse Straturile ascunse cresc capacitatea de generalizare a reelei. Reele cu 4 straturi (1 IN, 2 HIDDEN, 1 OUT) performane suficiente Nr. straturi ascunse mare - timp de calcul crescut - risc de supra-potrivire crescut eroare date de antrenare eroare date de validare



14

Considerente de proiectare Numr de neuroni Reea cu 3 straturi: mout > 1 - rezultate inferioare fa de mout = 1 Observaie: pentru aplicaii de clasificare, mout = nr. clase


outinhidden mnp *=


15

Considerente de proiectare Iniializare ponderi Valori random, ntr-un interval simetric fa de 0 Ex: [-0.5; 0.5] Rule of thumb: #ponderi numrul de conexiuni (ponderi) care intr ntr-un nod Valori mai mici pentru nodurile n care intr mai multe conexiuni


ponderiponderi #1;

#1


16

Considerente de proiectare Pregtirea setului de date (data preparation) Tipuri de date: Simbolice: A, da/nu, mic/mare/mediu Numerice discrete: -2, 5, 34 Numerice continue: -3.421, 98.02 eliminare excepii vizibile (outliers) eliminare date redundante transformare i codare

Mai multe detalii: http://www.slideshare.net/mentelibre/neural-network-design-training



17

Clasificatori cu RNA

Care sunt etapele proiectrii unui clasificator cu RNA? Ce nseamn clasificare liniar? Ce este perceptronul? Care sunt limitrile clasificrii cu perceptron?



18

Etapele proiectrii unui clasificator stabilirea claselor de obiecte din mulimea datelor de instruire

stabilirea prototipurilor claselor

stabilirea unei reguli pentru alocarea unui obiect necunoscut la una din clasele stabilite anterior

Curs 7 SISD bazate pe RNA Clasificatori cu RNA


19

Clasificare liniar Perceptronul - clasificator binar (2 clase) - clase liniar separabile - hiperplan de separaie

funcie de activare binar Aplicaie cu perceptron la Proiect 7


>

==0,10,0

)(uu

ufy


20

Clasificare liniar Perceptronul clase convexe clase concave 2 straturi de neuroni 3 straturi de neuroni



21

Clasificare liniar Separabilitate XOR nu se poate implementa cu perceptron!


X1 X2 AND OR XOR

0 0 0 0 0

0 1 0 1 1

1 0 0 1 1

1 1 1 1 0


22

Alte structuri ADALINE (Widrow, 1960) Adaptive Linear Neuron/Element - RNA cu un singur strat - adaptare supervizat Adaptarea ponderilor se face pe baza sumei ponderate a intrrilor. La perceptron, adaptarea se face pe baza ieirii funciei de activare. MADALINE mai multe elemente de tip ADALINE



23

Studii de caz

Clasificarea crabilor Problem tipic de examen Pentagonul i Reelele Neuronale



24

Clasificarea crabilor cu RNA formularea problemei pregtirea datelor proiectarea clasificatorului cu RNA testare

Curs 7 SISD bazate pe RNA Studii de caz


25

Clasificarea crabilor cu RNA Formularea problemei S se proiecteze un clasificator cu RNA, care s identifice sexul unui crab, folosind caracteristicile sale fizice:

species frontal lip rear width length width depth

Intrare: cele 6 caracteristici Ieire dorit(target): sexul crabului (M/F)



26

Clasificarea crabilor cu RNA Pregtirea datelor - Transformarea valorilor non-numerice (sex M/F) n valori numerice

F: [1 0] M: [0 1]

sau F = 1 M = 2

sau F: [0 0] M: [0 1]



27

Clasificarea crabilor cu RNA Proiectarea clasificatorului Iniializare ponderi cu valori aleatoare Reea feed-forward cu 20 de neuroni pe stratul ascuns Antrenare 10 epoci



28

Clasificarea crabilor cu RNA Testare - grafic



29

Clasificarea crabilor cu RNA Testare - matricea de clasificare f_f % Female crabs classified as Female f_m % Female crabs classified as Male m_m % Male crabs classified as Male m_f % Male crabs classified as Female cm = [f_f f_m; m_f m_m] % classification matrix

Total testing samples: 40 cm = 18 0 1 21 Percentage Correct classification : 97.500000% Percentage Incorrect classification : 2.500000%



30

Problem tipic de examen (!) Se d reeaua neuronal cu ponderile din figur. 1. Ce tip de arhitectur are reeaua? Identificai ponderile i polarizrile. 2. Funcia de activare este funcia sigmoidal. Calculai activarea neuronilor de

pe stratul ascuns i de pe stratul de ieire, folosind ca intrare T1 = {0.6, 0.1}.



31

Rezolvare 1. Ce tip de arhitectur are reeaua? Identificai ponderile i polarizrile.

Reea cu propagare nainte, cu 1 strat ascuns, 3 neuroni pe stratul ascuns (3, 4, 5), 2 neuroni pe stratul de ieire (6, 7). Care sunt ponderile, respectiv polarizrile? w13 = 0.1 b3=0.1 w23=-0.2 etc



32

Rezolvare 2. Funcia de activare este funcia sigmoidal. Calculai activarea neuronilor de pe stratul ascuns i de pe stratul de ieire, folosind ca intrare T1 = {0.6, 0.1}. o1=0.6, o2=0.1 Activarea neuronilor de pe stratul ascuns: net3= o1 *w13+ o2*w23+b3=0.6*0.1+0.1*(-0.2)+0.1=0.14 o3=1/(1+e^(-net3)) =0.53 net4= o1 *w14+ o2*w24+b4=0.6*0+0.1*0.2+0.2=0.22 o4=1/(1+e^(-net4)) =0.55 net5= o1 *w15+ o2*w25+b5=0.6*0.3+0.1*(-0.4)+0.5=0.64 o5=1/(1+e^(-net5)) =0.65



33

Rezolvare 2. Funcia de activare este funcia sigmoidal. Calculai activarea neuronilor de pe stratul ascuns i de pe stratul de ieire, folosind ca intrare T1 = {0.6, 0.1}. o1=0.6, o2=0.1 Activarea neuronilor de pe stratul de ieire: net6= o3 *w36+ o4*w46+ o5*w56 +b6=0.53*(-0.4)+0.55*0.1+0.65*0.6-0.1=0.13 o6=1/(1+e^(-net6)) =0.53 net7= o3 *w37+ o4*w47+ o5*w57 +b7=0.53*0.2+0.55*(-0.1)+0.65*(0.2)+0.6=0.52 o7=1/(1+e^(-net7)) =0.63



34

Pentagonul i Reelele Neuronale Problema: Anii 80, Pentagon, boom tehnologic, protecie armat Planul: Detecie tancuri din imagini Soluia: Prelucrare de imagini folosind RNA



35

Pentagonul i Reelele Neuronale Implementare: 100 poze copaci + tancuri 100 poze copaci fr tancuri Antrenare reea cu 50 poze copaci + tancuri, 50 poze copaci fr tancuri Validare: Detecie corect pentru restul de 50+50 poze Testare: Poze noi, rezultate complet aleatoare i incorecte Care s fie problema?



36

Pentagonul i Reelele Neuronale



37

Pentagonul i Reelele Neuronale cer senin cer noros The military was now the proud owner of a multi-million dollar mainframe computer that could tell you if it was sunny or not.



38

Sumar

Rezolvarea problemelor folosind RNA Clasificatori cu RNA Studii de caz

n episodul urmtor: Sisteme cu logic fuzzy.



Slide Number 1Slide Number 2Slide Number 3Slide Number 4Slide Number 5Slide Number 6Slide Number 7Slide Number 8Slide Number 9Slide Number 10Slide Number 11Slide Number 12Slide Number 13Slide Number 14Slide Number 15Slide Number 16Slide Number 17Slide Number 18Slide Number 19Slide Number 20Slide Number 21Slide Number 22Slide Number 23Slide Number 24Slide Number 25Slide Number 26Slide Number 27Slide Number 28Slide Number 29Slide Number 30Slide Number 31Slide Number 32Slide Number 33Slide Number 34Slide Number 35Slide Number 36Slide Number 37Slide Number 38

C_06

Documents

Transcript of C_06