SISTEME INTELIGENTEDE SUPORT DECIZIONAL

Ș.l.dr.ing. Laura-Nicoleta IVANCIU

Curs 7 – Sisteme inteligente de suportdecizional bazate pe RNA

2

Cuprins

RNA pentru aproximare de funcții Clasificatori cu RNA Studii de caz

Curs 7 – SISD bazate pe RNA

. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizionalȘ l.

3

Să ne aducem aminte...

RNA este complet determinată prin: tipul unităților funcționale (elemente de procesare numite neuroni)

arhitectură (amplasare unități funcționale)

algoritm de funcționare (transformare semnal intrare în semnal ieșire)

algoritm de învățare (cum achiziționează rețeaua noicunoștințe pe bază de exemple)

Curs 7 – SISD bazate pe RNA

. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizionalȘ l.

4

Să ne aducem aminte...Neuronul artificialModelul de bază McCulloch-Pitts (1943) Modelul derivat

w – ponderi sinapticef – funcție de integrare/agregare/activare

Θ – bias (polarizare)

Curs 7 – SISD bazate pe RNA

. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizionalȘ l.

5

Să ne aducem aminte...Arhitectura RNA rețele feed-forward (unidirecționale)

unistrat

Curs 7 – SISD bazate pe RNA

. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizionalȘ l.

6

Să ne aducem aminte...Arhitectura RNA rețele feed-forward (unidirecționale)

multistrat

- mai lente decât cele unistrat- pot implementa funcții mai complexe

Curs 7 – SISD bazate pe RNA

. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizionalȘ l.

7

Să ne aducem aminte...

Curs 7 – SISD bazate pe RNA

. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizionalȘ l.

Instruirea RNA = procesul adaptării ponderilor, printr-o stimulare din partea unui expert sau a mediului, sau nesupervizat, prin analiza statistică a vectorilor de intrare

Algoritm de instruire = modul în care se modifică ponderile

wkj(n+1) = wkj(n) + Δwkj(n)

unde: k – neuron de la care “pleacă” ponderea,j – neuron spre care “vine” ponderea,n – momentul de timp

Δwkj(n) - algoritm de instruire

8

RNA pentru aproximare de funcțiiObiectiv?Care sunt etapele aproximării de funcții folosind RNA?

Curs 7 – SISD bazate pe RNA

. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizionalȘ l.

9

Aproximare de funcții (function fitting)

Obiectiv: dezvoltarea unui sistem (model) care să ofere o aproximare suficient de bună a unei funcții cunoscute

Etape:

pregătire date selectare arhitectură rețea antrenarea rețelei testare (validare) utilizarea propriu-zisă

Curs 7 – SISD bazate pe RNA RNA pentru aproximare de funcții

. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizionalȘ l.

10

Aproximare de funcții

- Antrenare supervizată- Perechi de date intrare-ieșire

Exemple: la proiect- aprox. preț case- aprox. % grăsime din organism- aprox. preț acțiuni, valută, petrol

Curs 7 – SISD bazate pe RNA RNA pentru aproximare de funcții

. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizionalȘ l.

11

Considerente de proiectare

Alegerea setului de date de intrare

antrenare – 50% - minim 5*nr.ponderi – previne supra-potrivirea

validare – 20%-40%

testare – 10% - 30%

Curs 7 – SISD bazate pe RNA Rezolvarea problemelor folosind RNA

. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizionalȘ l.

12

Considerente de proiectare

Număr de neuroni

Rețea cu 3 straturi:

mout > 1 - rezultate inferioare față de mout = 1

Observație: pentru aplicații de clasificare, mout = nr. clase

Curs 7 – SISD bazate pe RNA Rezolvarea problemelor folosind RNA

outinhidden mnp *=

. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizionalȘ l.

13

Considerente de proiectare

Inițializare ponderi

Valori random, într-un interval simetric față de 0Ex: [-0.5; 0.5]

Rule of thumb:

#ponderi – numărul de conexiuni (ponderi) care intră într-un nod

Valori mai mici pentru nodurile în care intră mai multe conexiuni

Curs 7 – SISD bazate pe RNA Rezolvarea problemelor folosind RNA

−

ponderiponderi #1;

#1

. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizionalȘ l.

14

Considerente de proiectare

Pregătirea setului de date (data preparation)

Tipuri de date:

Simbolice: A, da/nu, mic/mare/mediuNumerice discrete: -2, 5, 34Numerice continue: -3.421, 98.02

eliminare excepții vizibile (outliers) eliminare date redundante transformare și codare

Curs 7 – SISD bazate pe RNA Rezolvarea problemelor folosind RNA

. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizionalȘ l.

11

Clasificatori cu RNA Care sunt etapele proiectării unui clasificator cu RNA? Ce înseamnă clasificare liniară? Ce este perceptronul? Cum se face recunoașterea de forme?

Curs 7 – SISD bazate pe RNA

Ș l.. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional

12

Clasificare liniarăPerceptronul

- clasificator binar (2 clase)

- clase liniar separabile

- hiperplan de separație

funcție de activare binară

Curs 7 – SISD bazate pe RNA Clasificatori cu RNA

>≤

==0,10,0

)(uu

ufy

Ș l.. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional

13

Clasificare liniarăPerceptronul

clase convexe clase concave

2 straturi de neuroni 3 straturi de neuroni

Curs 7 – SISD bazate pe RNA Clasificatori cu RNA

Ș l.. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional

14

Clasificare liniarăSeparabilitate

XOR nu se poate implementa cu perceptron!

Curs 7 – SISD bazate pe RNA Clasificatori cu RNA

X1 X2 AND OR XOR

0 0 0 0 0

0 1 0 1 1

1 0 0 1 1

1 1 1 1 0

Ș l.. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional

15

Alte structuri

ADALINE (Widrow, 1960)Adaptive Linear Neuron/Element

- RNA cu un singur strat- adaptare supervizată

Adaptarea ponderilor se face pe baza sumei ponderate a intrărilor.

La perceptron, adaptarea se face pe baza ieșirii funcției de activare.

MADALINE – mai multe elemente de tip ADALINE

Curs 7 – SISD bazate pe RNA Clasificatori cu RNA

Ș l.. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional

16

Recunoaștere forme (pattern recognition)

Etape:1. extragere trăsături2. stabilire prototip clasă3. alocare obiect - clasă

Curs 7 – SISD bazate pe RNA Clasificatori cu RNA

Ș l.. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional

17

Recunoaștere forme human vs. computer

Curs 7 – SISD bazate pe RNA Clasificatori cu RNA

Ș l.. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional

18

Structura unui sistem de recunoaștere a formelor

• Cum se face citirea?• Ce înseamnă segmentare?• Cum se extrag trăsăturile?• Clasificare – valori tranșante sau probabilități?• Ce înseamnă postprocesare?• Ce reprezintă săgețile inverse?

Curs 7 – SISD bazate pe RNA Clasificatori cu RNA

Ș l.. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional

19

Proiectarea unui sistem de recunoaștere a formelor

Curs 7 – SISD bazate pe RNA Clasificatori cu RNA

Ș l.. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional

Schema bloc

Oj = 1 – obiectul este încadrat în clasa jOj = 0 – obiectul nu este încadrat în clasa j

Ce funcție de activare au neuronii de pe stratul de ieșire?

20

Curs 7 – SISD bazate pe RNA Clasificatori cu RNA

Ș l.. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional

21

Studii de caz Clasificarea crabilor Pentagonul și Rețelele Neuronale

Curs 7 – SISD bazate pe RNA

Ș l.. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional

22

Clasificarea crabilor cu RNA

formularea problemei

pregătirea datelor

proiectarea clasificatorului cu RNA

testare

Curs 7 – SISD bazate pe RNA Studii de caz

Ș l.. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional

23

Clasificarea crabilor cu RNAFormularea problemei

Să se proiecteze un clasificator cu RNA, care să identifice sexul unui crab, folosind caracteristicile sale fizice:

speciesfrontal liprear widthlengthwidth depth

Intrare: cele 6 caracteristiciIeșire dorită(target): sexul crabului (M/F)

Curs 7 – SISD bazate pe RNA Studii de caz

Ș l.. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional

24

Clasificarea crabilor cu RNAPregătirea datelor

- Transformarea valorilor non-numerice (sex M/F) în valori numerice

F: [1 0]M: [0 1]

sau F = 1M = 2

sauF: [0 0]M: [0 1]

Curs 7 – SISD bazate pe RNA Studii de caz

Ș l.. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional

25

Clasificarea crabilor cu RNAProiectarea clasificatorului

Inițializare ponderi cu valori aleatoare

Rețea feed-forward cu 20 de neuroni pe stratul ascuns

Antrenare – 10 epoci

Curs 7 – SISD bazate pe RNA Studii de caz

Ș l.. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional

26

Clasificarea crabilor cu RNATestare - grafic

Curs 7 – SISD bazate pe RNA Studii de caz

Ș l.. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional

27

Clasificarea crabilor cu RNATestare - matricea de clasificare

f_f % Female crabs classified as Female f_m % Female crabs classified as Male m_m % Male crabs classified as Male m_f % Male crabs classified as Female cm = [f_f f_m;

m_f m_m] % classification matrix

Total testing samples: 40

cm =

18 01 21

Percentage Correct classification : 97.500000%Percentage Incorrect classification : 2.500000%

Curs 7 – SISD bazate pe RNA Studii de caz

Ș l.. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional

30

Pentagonul și Rețelele Neuronale

Problema: Anii ’80, Pentagon, boom tehnologic, protecție armatăPlanul:Detecție tancuri din imaginiSoluția:Prelucrare de imagini folosind RNA

Curs 7 – SISD bazate pe RNA Studii de caz

Ș l.. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional

31

Pentagonul și Rețelele Neuronale

Implementare: 100 poze copaci + tancuri100 poze copaci fără tancuriAntrenare rețea cu 50 poze copaci + tancuri, 50 poze copaci fărătancuri

Validare:Detecție corectă pentru restul de 50+50 poze

Testare:Poze noi, rezultate complet aleatoare și incorecte

Care să fie problema?

Curs 7 – SISD bazate pe RNA Studii de caz

Ș l.. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional

32

Pentagonul și Rețelele Neuronale

Curs 7 – SISD bazate pe RNA Studii de caz

Ș l.. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional

33

Pentagonul și Rețelele Neuronale

cer senin cer noros

“The military was now the proud owner of a multi-million dollar mainframe computer that could tell you if it was sunny or not.”

Curs 7 – SISD bazate pe RNA Studii de caz

Ș l.. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional

34

Sumar

RNA pentru aproximare de funcții Clasificatori cu RNA Studii de caz

În episodul următor: Sisteme cu logică fuzzy.

Curs 7 – SISD bazate pe RNA

Ș l.. dr.ing. Laura-Nicoleta IVANCIU, Sisteme inteligente de suport decizional