Sisteme de Vedere Artificial ă - rovis. Sisteme de Vedere Artificial ă Recunoaşterea Formelor...

download Sisteme de Vedere Artificial ă - rovis. Sisteme de Vedere Artificial ă Recunoaşterea Formelor Sorin M. Grigorescu Universitatea Transilvania din Bra şov Laboratorul de Vedere Artificial

of 79

  • date post

    23-Feb-2018
  • Category

    Documents

  • view

    220
  • download

    7

Embed Size (px)

Transcript of Sisteme de Vedere Artificial ă - rovis. Sisteme de Vedere Artificial ă Recunoaşterea Formelor...

  • 1

    Sisteme de Vedere Artificial

    Recunoaterea Formelor

    Sorin M. Grigorescu

    Universitatea Transilvania din BraovLaboratorul de Vedere Artificial Robust i Control

  • 2

    Cuprins

    Regresia liniar

    Regresia logistic (clasificarea binar)

    Reele neurale

  • 3

    Recunoaterea formelor n vederea artificial

  • 4

    Recunoaterea formelor n vederea artificial

    Linie de decizieFundal

    Fee

  • 5

    Recunoaterea formelor n vederea artificial

  • 6

    Recunoaterea formelor n vederea artificial

  • 7

    Recunoaterea formelor n vederea artificial

  • 8

    Exemplu de nvare supervizat

    Obiectiv: Predicia preului caselor din zona Braov, dndu-se

    suprafaa terenului

    Suprafa teren [mp] Pre [1000]

    2104

    1600

    2400

    1416

    3000

    400

    330

    369

    232

    540

  • 9

    Exemplu de nvare supervizatObiectiv: Predicia preului caselor din zona Braov, dndu-se

    suprafaa terenului

  • 10

    Notaii () vectorul caracteristicilor (features): suprafaa terenului () valoarea de ieire: preul casei ((), ()) exemplu de antrenare ( , ; = 1, ,} baza de date de antrenare (training set),

    compuns din exemple index ctre elementele din training set spaiul caracteristicilor de intrare spaiul caracteristicilor de ieire n exemplul curent: = =

  • 11

    nvarea supervizat

    Training set

    Algoritm nvare

    h predicie (suprafa

    teren)(predicia

    preului

    casei)

    Obiectivul algoritmului de nvare este

    de a nva funcia : , n aa fel nct ipoteza () s reprezinte un predictor optim pentru valoarea

    corespondent a lui Cazul continuu ( ): regresieCazul discret ( {0, 1, , }): clasificare

    parametrii modelului

  • 12

    Regresie liniar () funcie liniar = +

  • 13

    Regresie liniar () funcie ptratic

    = + +

  • 14

    Cazul Cazul numrului de caracteristici multidimensional ( ) numrul de caracteristici (features)

    Suprafa

    teren [mp]

    Numr

    dormitoare

    Pre [1000]

    2104

    1600

    2400

    1416

    3000

    3

    2

    3

    2

    4

    400

    330

    369

    232

    540

    = + + = = [ ]

    #

  • 15

    Regresie liniarCazul numrului de caracteristici multidimensional ( ) numrul de caracteristici (features)

    =$

    %= #

    = 1Obiectivul algoritmului de antrenarea: determinarea valorilor

    parametrilor

  • 16

    Funcia de cost &() funcie de cost (eroarea ptratic) exprim ct de bine sunt

    aproximate exemplele de antrenare de ctre

    & = 121

    $

    )

    %

    Obiectivul algoritmului de antrenare este minimizarea funciei &():

    minimize &

  • 17

    Funcia de cost

    &

  • 18

    Minimizarea gradientului (metoda batch)

    Obiectiv: minimize &

    Iniial valorile pentru sunt aleatorii (ex. = 0 = [0 0 0]#)Modific pn cnd & ajunge la o valoare minim

    Intuiie: eroarea minim se gsete n punctul unde derivata

    funciei & devine zero //0 & = 0Pot exista mai multe puncte n care derivata devine zero

    (minime locale)

  • 19

    Minimizarea gradientului

    Obiectiv: minimize &

    Minim local

    Minim global

  • 20

    Minimizarea gradientului

    Obiectiv: minimize & Noile valori ale parametrilor :

    33 &

    4 5Operator

    de atribuire

    4 = 5Operator

    de egalitate

  • 21

    Un singur exemplu de antrenare

    33 & =

    33

    12

    =

    = 212 33 =

    = 33 ++ ++ =

    =

    & = 121

    $

    )

    %

    Singurul termencare depinde de

    =$

    %= #

  • 22

    Minimizarea gradientuluiUpdate parametrii:

    rata de nvare (learning rate): controleaz ct de puternic se modific parametrii ntre

    dou iteraii

    de obicei se alege manual

    prea mic: convergen nceat prea mic: overhooting

  • 23

    Minimizarea gradientuluiPentru mai multe exemple de antrenare

    Repet pn la convergen:

    $ 8 8 8)

    8%

    33 &

  • 24

    Minimizarea gradientuluiPe msur ce ne apropiem de minim, algoritmul va efectua pai

    din ce n ce mai mici (gradientul (derivata) devine din ce n ce mai

    mic)

  • 25

    Aproximare liniar () funcie liniar

    = +

  • 26

    Minimizarea stochastic a gradientuluiCnd numrul de exemple de antrenare devine foarte mare (ex. 1

    mil de exemple), antrenarea prin metoda batch devine greoaie

    (parametrii sunt adaptai doar dup calculul gradientului pe ntregul set de exemple)

    Minimizarea stochastic a gradientului modific parametrii cu fiecare exemplu de antrenare:

    Repeat{ForA = 1to{ (8) (8) (8)

    }}

  • 27

    Regresie liniar: interpretare probabilisticFie () = #() + C()

    C() termen de eroare (modeleaz defectele: zgomot aleatoriu) C()~E(0, F) zgomot Gaussian normal distribuit

    G(C()) = 12HF IJ C 2F

    F

  • 28

    Regresie liniar: interpretare probabilistic

    G ; )~E(# , F) probabilitatea de apariie a valorii dndu-se i parametrii

    G ; ) = 12HF IJ #()

    2F

    Deseori erorile sunt generate de ctre o distribuie Gaussian

    Se presupune c C() sunt variabile Independente i Identic Distribuite (IID): provin de la aceeai distribuie Gaussian cu

    aceeai varian

  • 29

    K() vizualizm G L ; ) ca o funcie dependent de , pstrnd fix i

    Probabilitatea parametrilor i a datelor (, )

    Likelihood parametrii : K()K = G L ; )

    K = G L ; ) =MG ; ))

    %=

    =M 12HF IJ #()

    2F)

    %

  • 30

    Maximum Likelihood Estimation

    Obiectiv: determinarea lui maximiznd ct mai mult posibil probabilitatea de existen a datelor

    Determin n aa fel nct K = G L ; ) s fie maxim

    N = log K() == logM 12HF exp( )

    )

    %=$log 12HF exp( )

    )

    %=

    = log 12HF +$ #()

    2F)

    %

  • 31

    Maximum Likelihood Estimation

    Computaional, este mai uoar maximizarea lui N , n locul lui K (adunari n locul nmulirilor)

    Maximizarea lui N este acelai lucru cu minimizarea funciei ptratice & :

    & = #() )%2

    n acest model variana F nu este luat n considerare

  • 32

    Clasificarea binar {0,1}Obiectiv: determinarea hiperplanului optim de separare ntre cele

    dou clase

    Caracteristica 1

    Cara

    cte

    rist

    ica 2

    (0, 0) 10050

    100

    50

    +

    +

    ++

    ++

    +

    +

    ++

    +

    Clasa 1 (y = 0)

    + Clasa 2 (y = 1)

    x0

    x1

    Hiperplan de separare

  • 33

    Clasificarea binar {0,1} Ipoteza S [0,1] va indica o probabilitateFuncia sigmoid sau logistic

    T U = 11 + IVW

    T U

  • 34

    Clasificarea binar {0,1}

    G ; ) = S X 1 S (VX)

    Probabilitatea ca = 1: G = 1 ; ) = S Probabilitatea ca = 0: G = 0 ; ) = 1 S

    K = G L ; ) =MG ; ))

    %=

    =M () X(0) 1 () (VX 0 ))

    %

  • 35

    Maximum Likelihood Estimation

    N = log K()

    N =$ log ( ) + 1 () log(1 ( )))

    %Maximizarea gradientului:

    + YSN()338 N =$(

    ( )) 8 )

    %

  • 36

    Distribuia Bernoulli Distribuia Bernoulli modeleaz variabilele aleatorii ce pot avea

    doar doua valori

    G = 1; =

    S = E ; ] = G = 1;=

    = 11 + IVS\]

  • 37

    Clasificarea multiclas posibile clase de obiecte pentru variabila de ieire

    1, 2, ,

    *

    (0, 0) 10050

    100

    50

    *

    *

    *

    **

    **

    **

    +

    +

    ++

    ++

    +

    +

    ++

    +

    * Clasa 1 (y = 1)

    Clasa 2 (y = 2)

    + Clasa 3 (y = 3)

    x0

    x1

  • 38

    Clasificarea multiclasParametrii: ^,_, ,`V^

    Ultimul parametru din list: a = 1 ( + ++aV)G = =

    b 1 =100

    b 2 =010

    b 1 =001

    b =000

    b aV

  • 39

    Clasificarea multiclasFuncie indicator:

    1 Adevrat = 11 Fals = 0

    1 2 = 3 = 01 1 + 1 = 2 = 1

    b elementul al vectorul b()b = 1{ = }

    G = X% X% a X%a =

    = # X i# X j aV# X kliaV # X mklimni

  • 40

    Clasificarea multiclas

    =IS0\]

    1 + ISm\]aV8%

    S = E b() ; ]

    = E1{ = 1}

    1{ = 1}

    |; =

    aV

    1{ = 1} probabilitatea ca = 1, dat de

  • 41

    Regresie Softmax

    S =

    ISi\]1 + ISm\]aV8%

    ISkli\ ]1 + ISm\]aV8%

    Generalizare a clasificrii binare (doua clase)

  • 42

    Determinarea parametriilor modelului via K()

    Maximum Likelihood Estimation

    K =MG ; ))

    %

    =M X% X% a X%a)

    %

    =ISi\]

    1 + ISm\]aV8%, , , aV p

  • 43

    Maximum log-Likelihood Estimation

    N =$G | ; )

    %

    =$NqTM ISr\] 0

    1 + ISm\] 0a8%

    {X%s}a

    s%

    )

    %

  • 44

    Reele Neurale

  • 45

    Ipoteze S neliniareNecesitatea nvrii unor ipoteze neliniare S complexeCrearea unui algoritm de regresie logistic complex:

    S

    T + + + t + u + vt +

    T() funcie sigmoidT() foarte dificil de construit pentru un numr mare de features

    (pericol de overfitting)

  • 46

    Ipoteze S neliniare n recunoaterea formelor din imagini vom avea un numr