SISTEME INTELIGENTE DE SUPORT DECIZIONAL · 2. Cuprins RNA pentru aproximare de funcții...

SISTEME INTELIGENTEDE SUPORT DECIZIONAL

Ș.l.dr.ing. Laura-Nicoleta IVANCIU

Curs 7 – Sisteme inteligente de suportdecizional bazate pe RNA

2

Cuprins

RNA pentru aproximare de funcții Clasificatori cu RNA Studii de caz

Curs 7 – SISD bazate pe RNA

. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizionalȘ l.

3

Să ne aducem aminte...

RNA este complet determinată prin: tipul unităților funcționale (elemente de procesare numite neuroni)

arhitectură (amplasare unități funcționale)

algoritm de funcționare (transformare semnal intrare în semnal ieșire)

algoritm de învățare (cum achiziționează rețeaua noicunoștințe pe bază de exemple)



4

Să ne aducem aminte...Neuronul artificialModelul de bază McCulloch-Pitts (1943) Modelul derivat

w – ponderi sinapticef – funcție de integrare/agregare/activare

Θ – bias (polarizare)



5

Să ne aducem aminte...Arhitectura RNA rețele feed-forward (unidirecționale)

unistrat



6

Să ne aducem aminte...Arhitectura RNA rețele feed-forward (unidirecționale)

multistrat

- mai lente decât cele unistrat- pot implementa funcții mai complexe



7

Să ne aducem aminte...



Instruirea RNA = procesul adaptării ponderilor, printr-o stimulare din partea unui expert sau a mediului, sau nesupervizat, prin analiza statistică a vectorilor de intrare

Algoritm de instruire = modul în care se modifică ponderile

wkj(n+1) = wkj(n) + Δwkj(n)

unde: k – neuron de la care “pleacă” ponderea,j – neuron spre care “vine” ponderea,n – momentul de timp

Δwkj(n) - algoritm de instruire

8

RNA pentru aproximare de funcțiiObiectiv?Care sunt etapele aproximării de funcții folosind RNA?



9

Aproximare de funcții (function fitting)

Obiectiv: dezvoltarea unui sistem (model) care să ofere o aproximare suficient de bună a unei funcții cunoscute

Etape:

pregătire date selectare arhitectură rețea antrenarea rețelei testare (validare) utilizarea propriu-zisă

Curs 7 – SISD bazate pe RNA RNA pentru aproximare de funcții


10

Aproximare de funcții

- Antrenare supervizată- Perechi de date intrare-ieșire

Exemple: la proiect- aprox. preț case- aprox. % grăsime din organism- aprox. preț acțiuni, valută, petrol

Curs 7 – SISD bazate pe RNA RNA pentru aproximare de funcții


11

Considerente de proiectare

Alegerea setului de date de intrare

antrenare – 50% - minim 5*nr.ponderi – previne supra-potrivirea

validare – 20%-40%

testare – 10% - 30%

Curs 7 – SISD bazate pe RNA Rezolvarea problemelor folosind RNA


12


Număr de neuroni

Rețea cu 3 straturi:

mout > 1 - rezultate inferioare față de mout = 1

Observație: pentru aplicații de clasificare, mout = nr. clase


outinhidden mnp *=


13


Inițializare ponderi

Valori random, într-un interval simetric față de 0Ex: [-0.5; 0.5]

Rule of thumb:

#ponderi – numărul de conexiuni (ponderi) care intră într-un nod

Valori mai mici pentru nodurile în care intră mai multe conexiuni


−

ponderiponderi #1;

#1


14


Pregătirea setului de date (data preparation)

Tipuri de date:

Simbolice: A, da/nu, mic/mare/mediuNumerice discrete: -2, 5, 34Numerice continue: -3.421, 98.02

eliminare excepții vizibile (outliers) eliminare date redundante transformare și codare



11

Clasificatori cu RNA Care sunt etapele proiectării unui clasificator cu RNA? Ce înseamnă clasificare liniară? Ce este perceptronul? Cum se face recunoașterea de forme?


Ș l.. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional

12

Clasificare liniarăPerceptronul

- clasificator binar (2 clase)

- clase liniar separabile

- hiperplan de separație

funcție de activare binară

Curs 7 – SISD bazate pe RNA Clasificatori cu RNA

>≤

==0,10,0

)(uu

ufy


13

Clasificare liniarăPerceptronul

clase convexe clase concave

2 straturi de neuroni 3 straturi de neuroni



14

Clasificare liniarăSeparabilitate

XOR nu se poate implementa cu perceptron!


X1 X2 AND OR XOR

0 0 0 0 0

0 1 0 1 1

1 0 0 1 1

1 1 1 1 0


15

Alte structuri

ADALINE (Widrow, 1960)Adaptive Linear Neuron/Element

- RNA cu un singur strat- adaptare supervizată

Adaptarea ponderilor se face pe baza sumei ponderate a intrărilor.

La perceptron, adaptarea se face pe baza ieșirii funcției de activare.

MADALINE – mai multe elemente de tip ADALINE



16

Recunoaștere forme (pattern recognition)

Etape:1. extragere trăsături2. stabilire prototip clasă3. alocare obiect - clasă



17

Recunoaștere forme human vs. computer



18

Structura unui sistem de recunoaștere a formelor

• Cum se face citirea?• Ce înseamnă segmentare?• Cum se extrag trăsăturile?• Clasificare – valori tranșante sau probabilități?• Ce înseamnă postprocesare?• Ce reprezintă săgețile inverse?



19

Proiectarea unui sistem de recunoaștere a formelor



Schema bloc

Oj = 1 – obiectul este încadrat în clasa jOj = 0 – obiectul nu este încadrat în clasa j

Ce funcție de activare au neuronii de pe stratul de ieșire?

20



21

Studii de caz Clasificarea crabilor Pentagonul și Rețelele Neuronale



22

Clasificarea crabilor cu RNA

formularea problemei

pregătirea datelor

proiectarea clasificatorului cu RNA

testare

Curs 7 – SISD bazate pe RNA Studii de caz


23

Clasificarea crabilor cu RNAFormularea problemei

Să se proiecteze un clasificator cu RNA, care să identifice sexul unui crab, folosind caracteristicile sale fizice:

speciesfrontal liprear widthlengthwidth depth

Intrare: cele 6 caracteristiciIeșire dorită(target): sexul crabului (M/F)



24

Clasificarea crabilor cu RNAPregătirea datelor

- Transformarea valorilor non-numerice (sex M/F) în valori numerice

F: [1 0]M: [0 1]

sau F = 1M = 2

sauF: [0 0]M: [0 1]



25

Clasificarea crabilor cu RNAProiectarea clasificatorului

Inițializare ponderi cu valori aleatoare

Rețea feed-forward cu 20 de neuroni pe stratul ascuns

Antrenare – 10 epoci



26

Clasificarea crabilor cu RNATestare - grafic



27

Clasificarea crabilor cu RNATestare - matricea de clasificare

f_f % Female crabs classified as Female f_m % Female crabs classified as Male m_m % Male crabs classified as Male m_f % Male crabs classified as Female cm = [f_f f_m;

m_f m_m] % classification matrix

Total testing samples: 40

cm =

18 01 21

Percentage Correct classification : 97.500000%Percentage Incorrect classification : 2.500000%



30

Pentagonul și Rețelele Neuronale

Problema: Anii ’80, Pentagon, boom tehnologic, protecție armatăPlanul:Detecție tancuri din imaginiSoluția:Prelucrare de imagini folosind RNA



31


Implementare: 100 poze copaci + tancuri100 poze copaci fără tancuriAntrenare rețea cu 50 poze copaci + tancuri, 50 poze copaci fărătancuri

Validare:Detecție corectă pentru restul de 50+50 poze

Testare:Poze noi, rezultate complet aleatoare și incorecte

Care să fie problema?



32




33


cer senin cer noros

“The military was now the proud owner of a multi-million dollar mainframe computer that could tell you if it was sunny or not.”



34

Sumar

RNA pentru aproximare de funcții Clasificatori cu RNA Studii de caz

În episodul următor: Sisteme cu logică fuzzy.



SISTEME INTELIGENTE DE SUPORT DECIZIONAL · 2. Cuprins RNA pentru aproximare de funcții...

Documents

Transcript of SISTEME INTELIGENTE DE SUPORT DECIZIONAL · 2. Cuprins RNA pentru aproximare de funcții...