UNIVERSITATEA DIN CRAIOVA

FACULTATEA DE AUTOMATIC, CALCULATOARE I ELECTRONIC

PROBLEME CALITATIVE N DINAMICA

REELELOR NEURONALE

REZUMATUL TEZEI DE DOCTORAT

Autor: Ing. Daniela Danciu Conductor tiinific

Prof. dr. ing. Vladimir Rsvan

C R A I O V A 2003

C U P R I N S C U P R I N S .......................................................................................................1 Introducere............................................................................................................3 Structura tezei .......................................................................................................4 Capitolul 1 Tipuri i modele dinamice de reele neuronale..............................6

1.1. Caracteristici de baz ale reelelor neuronale ...........................................6 1.1.1. Neuronul artificial ..............................................................................6 1.1.2. Funcii de activare ..............................................................................7 1.1.3 Topologii .............................................................................................8 1.1.4. Tipuri de reele neuronale ..................................................................9 1.1.5. Metode de nvare .............................................................................9

1.2. Modele de neuroni artificiali...................................................................10 1.2.1. Modele de neuroni artificiali fr reacie.........................................10 1.2.2. Modele de neuroni artificiali cu reacie ...........................................10

1.3. Reele neuronale tip Hopfield .................................................................12 1.4. Memorii asociative bidirecionale...........................................................13 1.5. Reele neuronale competitive..................................................................14 1.6. Reele neuronale celulare ........................................................................15

Capitolul 2 - Elemente de teoria stabilitii n sens Liapunov i sisteme cu mai multe stri de echilibru .......................................................................................16

2.1. Stabilitatea n sens Liapunov pentru sisteme autonome.........................16 2.2. Metoda funciei Liapunov .......................................................................16 2.3. Proprietile sistemelor cu mai multe echilibre ......................................18

Capitolul 3 - Funcii Liapunov pentru reele neuronale ....................................21 3.1. Funcia Hopfield......................................................................................21 3.2. Metoda funciei Liapunov pentru reele neuronale privite ca sisteme cu mai multe stri de echilibru............................................................................21 3.3. Funcia Liapunov n studiul memoriilor asociative bidirecionale ........24 3.4. Funcia Liapunov pentru reele neuronale competitive Cohen - Grossberg........................................................................................................25 3.5. Funcia Liapunov pentru reele neuronale celulare ................................26

Capitolul 4 - Prezena ntrzierii n reele neuronale i fenomene induse de aceasta.................................................................................................................29

4.1. Funcii Liapunov i metode intrare/ieire (tip Popov) pentru reele

2

neuronale cu ntrziere................................................................................... 29 4.1.1. Comportament aproape liniar pentru reele neuronale de tip Hopfield afectate de ntrzieri ................................................................... 29 4.1.2. Criterii de stabilitate pentru reele neuronale celulare cu ntrzieri 33 4.1.3. Rezultate de stabilitate pentru reele neuronale competitive cu ntrzieri 36

4.2. Metode de comparaie pentru studiul reelelor neuronale cu ntrzieri. 37 4.2.1. Comportament de tip gradient pentru reele neuronale tip Hopfield cu ntrzieri ................................................................................................ 37

Capitolul 5 Concluzii generale ....................................................................... 42 Bibliografie (extras)........................................................................................... 47

3

Introducere O direcie important n domeniul reelelor neuronale artificiale

(RNA) o constituie abordarea acestora ca sisteme dinamice i studiul stabilitii lor, sau mai general, studiul comportamentului lor calitativ. Importana acestei abordri este subliniat n diferite cri de referin n domeniul reelelor neuronale artificiale [Kos92, Hay94, DeW95] unde se arat c o RNA funcioneaz bine dac evoluia ei tinde ctre echilibrele semnificative pentru aplicaia pentru care a fost proiectat; aceast cerin implic proprietatea de stabilitate a mulimii de echilibru a reelei neuronale. Att din modelarea sistemelor i reelelor neuronale naturale (biologice) ct i din aplicaiile reelelor neuronale artificiale rezult structuri care nu implic stabilitatea i convergena de-a lungul proprietilor acestora. Rezult deci c studiul stabilitii, a comportamentului dinamic al reelelor neuronale, este atractiv, necesar i deosebit de important. Deoarece structurile de reele neuronale artificiale sunt variate, studiile de stabilitate sunt de asemenea variate.

Proprietile de comportament dinamic sunt verificate pe modelul matematic. Reelele neuronale artificiale sunt sisteme dinamice neliniare, iar caracterul sectorial al funciilor de activare, n general funcii sigmoidale, face posibil i adecvat utilizarea metodelor teoriei stabilitii absolute: funcia Liapunov i inegalitatea Popov n domeniul frecvenei.

Reelele neuronale sunt sisteme cu mai multe stri de echilibru. Aceast proprietate (existena a mai multor echilibre) garanteaz performanele de calcul ale reelelor neuronale n rezolvarea problemelor. Vom da dou exemple sugestive pentru susinerea ideii: 1) cazul reelelor neuronale utilizate pentru clasificare [Nol94, Nol95], unde echilibrele sistemului reprezint vectorii prototip care caracterizeaz diferitele clase de forme i 2) cazul utilizrii reelelor neuronale ca optimizator, unde punctele de echilibru vor reprezenta optimul cutat.

Teza de doctorat, cu titlul PROBLEME CALITATIVE N

DINAMICA REELELOR NEURONALE, se nscrie n aceast arie de preocupri i i propune studiul teoretic, validat prin exemple i simulri numerice, al comportamentului dinamic al sistemelor neuronale neliniare. Am considerat important i deosebit de util, din punct de vedere practic, studiul

4

fenomenelor induse de prezena ntrzierilor n dinamica reelelor neuronale, de aceea un capitol al tezei este rezervat acestei problematici. Modelele analizate cuprind clasa sistemelor neuronale neliniare continue cu funcii de activare de tip sectorial i clasa sistemelor neuronale discrete.

Structura tezei

Coninutul tezei de doctorat a fost structurat n patru capitole,

capitolul cinci cuprinznd concluziile generale i evidenierea contribuiilor originale ale lucrrii.

Capitolul 1 - Tipuri i modele dinamice de reele neuronale descrie gradual i succint caracteristicile de baz ale reelelor neuronale artificiale: neuronul artificial, funcia de activare, topologii i tipuri de reele neuronale artificiale, legi de nvare. Apoi se continu cu prezentarea modelelor de neuroni artificiali i a unor reele neuronale artificiale complexe, validate de practic.

Capitolul 2 - Elemente de teoria stabilitii n sens Liapunov i sisteme cu mai multe stri de echilibru are ca scop prezentarea elementelor teoretice de baz ale metodei Liapunov, un instrument puternic n domeniul teoriei stabilitii absolute. Raionamentele expuse anterior sunt un argument suficient pentru a justifica introducerea n acest al doilea capitol i a noiunilor i rezultatelor teoretice privind dinamica sistemelor cu mai multe echilibre.

Capitolul 3 - Funcii Lipunov pentru reele neuronale are ca scop obinerea unor condiii suficiente pentru un comportament calitativ bun al sistemelor neuronale artificiale, n sensul celor prezentate n Introducere, instrumentul de baz n studiile efectuate fiind metoda funciei Liapunov. De remarcat c n acest capitol reelele neuronale sunt abordate din perspective diferite: n cadrul de lucru al Teoriei calitative a sistemelor dinamice neliniare, al Teoriei calitative a sistemelor cu mai multe echilibre, al Teoriei calitative a sistemelor mari.

Capitolul 4 - Prezena ntrzierilor n reele neuronale artificiale i fenomene induse de aceasta este pe deplin justificat de necesitatea obinerii unor condiii pentru un comportament calitativ dezirabil n cazul dinamicilor afectate de ntrzieri ale reelelor neuronale. Aceast abordare este relativ recent n domeniu [Bel93, Gop94, Cao96, Dri98, Dan01a, Dan01b, Dan01c,

5

Dan02a, Dan02b] i a fost impus de observarea prezenei ntrzierilor n transmiterea semnalului att la sistemele biologice (ntre intrarea i ieirea unei celule nervoase ct i ntre dou celule) ct i n cazul implementrii hardware a reelelor neuronale artificiale datorit, de exemplu a ntrzierii inerente de reacie sau a timpului finit de comutare a amplificatoarelor operaionale.

Capitolul 5 cuprinde consideraii generale asupra rezultatelor, a coninutului de originalitate i a metodelor de analiz folosite.

6

Capitolul 1 Tipuri i modele dinamice de reele neuronale

Reelele neuronale artificiale sunt dispozitive de calcul din clasa mainilor inteligente. Acestea au aprut din ideea modelrii sistemului nervos central n sperana obinerii unor performane de calcul care s permit rezolvarea mai simpl a unor sarcini cognitive i senzoriale, n comparaie cu clasicele calculatoare cu procesoare cu prelucrare secvenial.

1.1. Caracteristici de baz ale reelelor neuronale

1.1.1. Neuronul artificial Neuronul reprezint unitatea structural i funcional a sistemului nervos. Asemntor creierului biologic, structura reelelor neuronale artificiale (RNA) cuprinde un numr mare de elemente simple de procesare neliniare (neuroni artificiali) care opereaz n paralel. n elaborarea semnalului de ieire, aceste elemente de procesare folosesc doar informaia disponibil local n reea. Ca i neuronul biologic, neuronul artificial (Fig.1.1) poate primi la un moment dat unul sau mai multe semnale de intrare xi i poate furniza un singur semnal de ieire y. Sursa semnalelor de intrare poate fi mediul extern pentru neuronii cmpului de intrare, sau ieirile altor neuroni (n cazul cel mai general) pentru neuronii cmpurilor ascunse sau de ieire. Fiecare semnal de intrare este ponderat cu o valoare wi care arat importana respectivei intrri n elaborarea semnalului de ieire al neuronului. Aceste ponderi pot avea valori pozitive, numindu-se ponderi excitatoare, sau pot avea valori negative, aciunea lor fiind

Fig. 1.1. Reprezentarea schematic a neuronului artificial

M M net f

wm-1

wm

x1

xm-1

xm

x0 = +1

y

w1

biasw0

7

inhibitoare pentru neuron. Tot ca intrare este adugat un termen de polarizare (n englez, bias) care exprim starea iniial a neuronului. Pentru o tratare unitar a ponderilor i a polarizrii, cea din urm se consider a fi ponderea unei intrri cu valoarea +1 i se modific similar celorlalte ponderi.

=

+== ==

m

iii

m

iii xwfxwbiasfnetfy

01)( (1.1)

1.1.2. Funcii de activare Funciile de activare ale neuronului artificial au rolul de a restrnge

domeniul de variaie al ieirii acestuia la un domeniu prespecificat. n literatura de specialitate, pentru funcia de activare a neuronului cele mai utilizate sunt urmtoarele: funcia prag, funcia ramp, funcia sigmoidal i funcia Gauss. - Funcia prag restrnge domeniul de ieire al neuronului la dou valori: {0, +1} pentru o funcie prag binar, sau {-1, +1} n cazul funciei prag bipolare. Matematic, n cazul general, funcia prag are expresia:

= xxf (1.5) unde x reprezint media, iar dispersia predefinit. 1.1.3 Topologii

Topologia reelelor neuronale vizeaz aspecte privind numrul i distribuia neuronilor n straturi i a straturilor n ntreaga reea, tipul conexiunilor i modul (direcia) n care informaia parcurge neuronii reelei.

Neuronii unei reelele neuronale artificiale sunt organizai n straturi. O reea neuronal poate avea unul sau mai multe straturi (nivele, cmpuri). n cadrul unui nivel, neuronii sunt similari privind dou aspecte: n primul rnd, semnalele de intrare ale nivelului au aceeai surs i n al doilea rnd, toi neuronii nivelului au aceeai dinamic de actualizare.

Reelele neuronale pot avea dou tipuri de conexiuni: conexiuni intra-nivel i conexiuni inter-nivel. Conexiunile intra-nivel reprezint legturi ntre neuronii aceluiai cmp, iar conexiunile inter-nivel se refer la conexiuni ntre neuronii unor cmpuri diferite. Este posibil ca ntr-o reea neuronal s coexiste cele dou tipuri de conexiuni.

Clasificarea reelelor neuronale dup sensul n care informaia parcurge reeaua cuprinde reele neuronale feedforward i reele feedback.

9

1.1.4. Tipuri de reele neuronale

1.1.4.1. Reele neuronale Instar, Outstar, ADALINE 1.1.4.2. Reele neuronale cu un singur nivel 1.1.4.3. Reele neuronale cu dou nivele 1.1.4.5. Reele neuronale multinivel

1.1.5. Metode de nvare

nvarea presupune codificarea informaiei. Un sistem nva o form dac acesta codific forma n structura sa. Deci, structura sistemului se modific n timpul nvrii. n cazul reelelor neuronale, nvarea nseamn modificarea valorilor ponderilor conexiunilor dintre neuronii reelei n scopul codificrii informaiei.

Exist dou mari categorii de proceduri pentru instruirea reelelor neuronale: proceduri pentru nvare supravegheat i proceduri pentru nvare nesupravegheat.

nvarea supravegheat (supervizat) este o metod care prevede existena unui profesor extern i/sau o informaie global. Instane exterioare reelei decid durata epocii de antrenament, numrul de cicluri de antrenament, frecvena cu care se prezint anumite asociaii pentru a fi nvate i informaii privind performanele reelei (eroarea ntre rspunsul dorit i rspunsul obinut). Metodele de nvare supravegheat se mpart n dou categori: nvare structural i nvare temporal.

nvarea nesupravegheat sau autoorganizarea se bazeaz doar pe informaia disponibil local i nu presupune existena unui profesor. Reeaua neuronal primete doar date de intrare pe care le organizeaz. Algoritmii de nvare nesupravegheat sunt mai puin compleci i mai puin exaci dect cei corespunztori nvrii supravegheate. nvarea nesupravegheat este mult mai rapid, putndu-se nva ntr-un singur pas din date afectate de zgomot. De aceea, nvarea nesupravegheat este folosit n multe medii de mare vitez, n timp real, cnd nu exist suficient timp, informaie sau precizie de calcul pentru utilizarea algoritmilor de nvare supravegheat.

10

1.2. Modele de neuroni artificiali

1.2.1. Modele de neuroni artificiali fr reacie

Perceptronul McCulloch-Pitts [McC43] Modelul DahanayakeUpton [Dah95] (perceptronul simplu detept) Modelul Fukushima

1.2.2. Modele de neuroni artificiali cu reacie

Neuronul artificial cu reacie la nivelul activrii valorile de intrare xi pot fi valori net obinute la momente anterioare.

... 2, 1, 0,,)()( == kkTtnettxi (1.6)

unde T reprezint perioada de eantionare.

Fig. 1.2. Modelul perceptronului simplu cu reacie la nivelul activrii

Modelul perceptronului cu reacie local la nivelul sinapsei a fost propus de Tsoi i Back [Tso94]. Perceptronul simplu utilizat este o versiune modificat a modelului McCulloch-Pitts cu prag :

= =

m

iii txzGfty

0

1 )()()( (1.7)

unde xi(t) cu 1 i m sunt valori de intrare, x0 corespunde intrrii de prag (nu s-a reprezentat n figur), iar notaia combinat, n domeniul timp i frecven,

utilizat )()( itxtxzdef

i = este cea propus de lucrarea [Tso94] n scopul de a compacta notaia i a reliefa caracteristicile structurii.

Fiecare pondere de valoare constant a fost nlocuit cu o funcie de

transfer liniar Gi(z-1), mi ,1= , cu poli i zerouri, cu forma general (1.8)

x(t) Sistem liniar

dinamic net(t) y(t)f

11

0,cu,)(

0

01 =

=

=

zpp

z

nnn

i

ii

n

i

ii

baza

zbzG (1.8)

unde nz i np sunt numrul de zerouri, respectiv numrul de poli, iar coeficienii ai cu 1 i np i bi cu 1 i nz sunt constani, cu 0pna i

0zn

b .

Fig. 1.3. Modelul perceptronului simplu cu reacie local la nivelul sinapsei

Valorile de intrare xi(t) cu 1 i m pot fi preluate de la ieirea perceptronului simplu sau, n cazul unei structuri multi-perceptron simplu pot fi ieirile unui strat anterior compus din perceptroni simpli. n primul caz, structura are reacie local la ieire, n cel de-al doilea caz are reacie local la nivel de sinaps.

Modelul perceptronului simplu cu reacie local la nivelul ieirii presupune aplicarea la intrarea sistemului liniar att a semnalelor x(t) (care pot fi intrri externe sau ieirile neuronilor dintr-un nivel anterior) ct i a semnalelor de ieire ale neuronului de la momente anterioare.

Fig. 1.4. Modelul perceptronului simplu cu reacie local la ieire Un exemplu de neuron cu reacie local la nivelul ieirii este modelul Frasconi-Gori-Soda (Fig. 1.5.) pentru care expresia ieirii este

x1

x2

xm

net(t) Gm

M Mf

G1

G2 y(t)

Sistem liniar

dinamic

net(t) y(t)

x(t)

f

12

+=

==

M

jj

m

iii jtyktxwfty

11)()()( (1.9)

unde wi i kj sunt ponderi constante. n figur ntrzierea unitar s-a notat cu .

Fig. 1.5. Modelul perceptronului Frasconi-Gori-Soda

Modelul general de perceptron simplu mbin modelul de perceptron cu reacie local la nivelul sinapsei cu modelul de perceptron cu reacie local la ieire. Acest model st la baza reelelor cu reacie local care la nivel global sunt reele feedforward.

Fig. 1.6. Modelul perceptronului simplu GLRGF (General Locally Recurrent Globally Feedforward)

1.3. Reele neuronale tip Hopfield Reeaua Hopfield, [Hop82] este o reea neuronal cu un singur cmp

de neuroni total interconectai, n care informaia parcurge conexiunea dintre doi neuroni oarecare i i j n ambele direcii, iar ponderile wij (de la neuronul j la neuronul i) i wji (de la neuronul i la neuronul j) sunt egale adic, matricea

x1

x2

xm

net(t) Gm

M M f

G1

G2 y(t)

H(z)

w1 x1

x2

xm

y(t)net(t) w2

wm

M M f

kM k1kj

13

conexiunilor W este simetric. Funcia de activare a neuronului este o funcie neliniar, nedescresctoare i mrginit - n cazul continuu, sau funcia prag binar - n cazul discret. Funcionarea reelei presupune aplicarea simultan a formei de intrare tuturor neuronilor. Ieirile acestora vor activa asincron i aleator neuronii reelei pn cnd se va ajunge la o stare global de echilibru, stare care va reprezenta ieirea reelei. Modelul Hopfield n forma ntlnit des n literatur

( ) miIxfwxadtdx m

ijjijiii ,1,

1=+= (1.10)

unde indicele i reprezint numrul neuronului n cadrul nivelului, iar Ii stimulul extern corespunztor.

1.4. Memorii asociative bidirecionale Memoriile asociative bidirecionale (BAM) au fost propuse de Kosko

[Kos88] ca o extindere a modelului Hopfield. Spre deosebire de reeaua Hopfield, o BAM este format din dou cmpuri de neuroni total interconectate, neexistnd conexiuni ntre neuronii aceluiai cmp. Dinamica BAM n timp discret este descris de urmtoarele ecuaii:

niIyRwxp

ji

jkjij

ik ,1,)(

11 =+=

=+

pjJxSwyn

ij

ikiij

jk ,1,)(1 =+= +

(1.6)

Funciile de activare (Si i Rj) sunt funcii prag binare sau bipolare. Funciile de activare prag cu valori binare au urmtoarele expresii:

=

= j

jk

jj

kj

kj

jj

k

jkj

iik

iik

iki

iik

iki

Vy

VyyR

Vy

yR

Ux

UxxS

Ux

xS

,0

),(

,1

)(,

,0

),(

,1

)( 11 (1.7)

Pragurile (Ui i Vj) i intrrile externe (Ii i Jj) se consider arbitrare, iar matricea W a conexiunilor sinaptice constant.

O BAM este bidirecional stabil dac toate intrrile (reprezentnd condiii iniiale pentru reea) genereaz traiectorii care converg spre echilibre. Stabilitatea bidirecional este un echilibru dinamic: acelai semnal

14

informaional va parcurge, nainte i napoi echilibrul bidirecional. Modul n care informaia parcurge reeaua pn la atingerea strii de echilibru poate fi sugerat de urmtoarea schem:

x W y x WT y x W y x WT y

. . .

xj W yj xj WT yj echilibru bidirecional

. . .

Un punct de echilibru bidirecional stabil se poate interpreta ca o stare rezonant.

1.5. Reele neuronale competitive Modelul reelelor neuronale competitive propus de matematicienii

Cohen i Grossberg [Coh83] are ca punct de inspiraie sistemul biologic vizual. Din punct de vedere topologic, sistemul neuronal competitiv este o reea autoasociativ bazat pe conexiuni laterale inhibitoare wij < 0, i j i o singur conexiune excitatoare wii > 0. Dinamica competitiv a modelului CohenGrossberg este descris de ecuaiile

nixxxxdcxbxax nn

jjjijiiiii ,1,][,)()()( 1

1==

=

=L& (1.8)

Ecuaiile (1.8) descriu un sistem autoasociativ cu dinamic de activare aditiv dac funciile )( ii xa sunt constante, iar funciile )( ii xb sunt lineare.

Dac n (1.8) funciile de amplificare )( ii xa sunt lineare i funciile )( ii xb sunt nelineare dinamica de activare este de tip multiplicativ.

15

1.6. Reele neuronale celulare Reelele neuronale celulare (RNC) a fost introduse de Chua i colegii

si [Chu88, Chu93a, Chu93b]. n principiu, o RNC este o reea analogic n care conexiunile unui neuron artificial sunt limitate doar la neuronii din vecintatea imediat a acestuia, conexiunile fiind bidirecionale. Celulele care nu sunt conectate direct se pot influena indirect datorit efectului de propagare a dinamicilor celulelor. O reea neuronal celular este o reea de circuite identice (celule) distribuite regulat n cmpuri n-dimensionale. Topologia RNC este foarte variat. Celulele sunt sisteme dinamice cu mai multe intrri i o ieire. Interconectarea celulelor ine cont de vecintatea acestora definit de o metric dat. Funcia de activare implementat este aceeai pentru toate celulele funcia ramp bipolar definit cu relaia (1.2) echivalent cu expresia (1.9) ntlnit n lucrrile lui Chua. ( )11)( 21 += iii xxxf (1.9)

La nivelul unei celule intrrile externe se presupun constante pe un interval de operare. Semnalul total de intrare pentru o celul este rezultatul nsumrii intrrilor de control ur i a semnalelor de reacie yr, din vecintatea Vr a celulei, ponderate cu valorile ar, respectiv br i polarizarea constant I (bias). Ecuaia diferenial care descrie dinamica unei celule C(i, j) este:

( ))( ijij

rrrrrij

ij

xfy

Iubyaxdt

dx

=+++= (1.10)

Concluzia acestui prim capitol este c reelele neuronale sunt formate

din mai multe elemente simple de calcul (neuroni artificiali) interconectate, aceast caracteristic permind procesarea n paralel i codificarea distribuit a informaiei. Datorit funciilor de activare prezente la nivelul fiecrui neuron artificial, reelele neuronale artificiale analogice sunt sisteme neliniare. Existena mai multor caracteristici neliniare, datorate neuronilor artificiali individuali, conduce la apariia mai multor echilibre.

16

Capitolul 2 - Elemente de teoria stabilitii n sens Liapunov i sisteme cu mai multe stri de echilibru

Reelele neuronale sunt sisteme cu mai multe echilibre. n acest caz nu

mai intereseaz numai stabilitatea echilibrelor locale, ci i comportamentul global al sistemului. Indiferent de aplicaiile crora le sunt destinate, comportamentul global la reelelor neuronale artificiale, comportament care garanteaz rezolvarea optim a problemelor pentru care acestea au fost proiectate (aceasta referindu-se la absena autooscilaiilor sau a unui comportament haotic), poate fi studiat n cadrul mai larg al teoriei calitative a sistemelor cu mai multe stri de echilibru. Deoarece n cadrul acestei teorii instrumentul de baz n verificarea proprietilor globale ale sistemelor este funcia Liapunov, capitolul 2 prezint:

2.1. Stabilitatea n sens Liapunov pentru sisteme autonome

Stabilitatea n sens Liapunov [Li892] este o teorie a stabilitii traiectoriilor sistemelor dinamice (n particular a punctelor de echilibru), avnd metode specifice de rezolvare. La modul general, teoria dezvoltat n jurul conceptului de stabilitate studiaz influena factorilor perturbatori asupra micrii sistemelor materiale, prin micare nelegndu-se orice evoluie n timp a strii. Un alt concept care i aparine lui A.M. Liapunov este acela de micare (evoluie) de baz, rezultnd imediat i definiia micrii perturbate ca raportare la micarea de baz.

2.2. Metoda funciei Liapunov Metoda funciei Liapunov, cunoscut i sub denumirea de metoda a

doua sau metoda direct Liapunov, a fost i este n continuare instrumentul cel mai general pentru studiul stabilitii soluiilor sistemelor neliniare. Dup cum se va vedea n acest capitol, exist i alte rezultate de comportament calitativ care se bazeaz pe proprietile funciilor Liapunov.

Se consider sistemul autonom al micrii perturbate

)(xfx =& , x Rn, f(0) = 0 (2.1)

17

Teorema 2.1 (A. M. Liapunov) Fie sistemul (2.1) i fie V o funcie continu, derivabil i pozitiv definit ntr-o vecintate 0x a originii, cu proprietatea c V*(t)=V(x(t)) este monoton descresctoare pentru orice soluie x(t) a lui (2.1) cu 0)0(

18

a) = )(lim txtt , b) t = i { }( ) 0),(lim = Mtxdt , unde M este cea mai larg mulime invariant (n raport cu soluia x() a sistemului (2.1)) coninut n G. Corolar 2.1 Dac mulimea D este mrginit, deschis i pozitiv invariant i dac V este o funcie Liapunov pentru (2.1) pe D i dac M D, atunci M este un atractor i D este coninut n bazinul de atracie al lui M. Corolar 2.2 Dac { }xM = , ( ) 0 =xV , ( ) 0>xV pentru x ntr-o vecintate a lui x , atunci x este asimptotic stabil. Dac, n plus, V e radial nemrginit (adic, ( ) ( )xxV , cu cresctor, continuu, 0)0( = i = )(lim rr ), atunci x este global asimptotic stabil.

2.3. Proprietile sistemelor cu mai multe echilibre Fie sistemul de ecuaii difereniale ordinare

),( txfx =& , dim x = dim f = n. (2.2)

unde f : R+ x Rn Rn este continu i local lipschitzian continu n t. Condiiile asupra lui f garanteaz pe de o parte c, soluiile sunt continue n raport cu condiiile iniiale i, pe de alt parte, existena unei soluii unice a (2.2) pentru fiecare condiie iniial n regiunea considerat.

Deoarece conceptul de stabilitate asimptotic global nu este aplicabil pentru sisteme cu mai multe echilibre, pentru investigarea comportamentului global al (2.2) n raport cu ntregul set de echilibre vom da urmtoarele definiii [Leo92]: Definiia 2.12 a) Orice soluie constant a sistemului (2.2) se numete vector staionar (sau echilibru). Mulimea E a tuturor vectorilor staionari ai sistemului (2.2) se numete mulime staionar (de echilibre). b) O soluie a (2.2) se numete convergent dac tinde asimptotic ctre un echilibru:

19

E= ctxt )(lim c) O soluie se numete cvasi-convergent dac tinde asimptotic ctre mulimea de echilibre:

0)),((lim = Etxdt unde d(x, M) definete distana dintre punctul x Rn i mulimea M. Definiia 2.13 Sistemul (2.2) se numete monostabil dac orice soluie mrginit este convergent; sistemul este cvasi-monostabil dac orice soluie mrginit este cvasi-convergent. Definiia 2.14 Sistemul (2.2) se numete de tip gradient dac orice soluie este convergent; el este de tip cvasi-gradient dac orice soluie este cvasi-convergent. Penru mulimea staionar se definesc urmtoarele proprieti [Gel78]:

Definiia 2.15 a) Mulimea staionar E este uniform stabil dac pentru orice > 0 exist un () astfel nct pentru orice t0, dac d(x(t0), E ) < , atunci d(x(t), E ) < pentru orice t t0. b) Mulimea staionar E este uniform global stabil dac ea este uniform Liapunov stabil i sistemul este de tip cvasi-gradient (are asimptotici globale). c) Mulimea staionar E este punctual global stabil dac ea este uniform Liapunov stabil i sistemul este de tip gradient.

De menionat c, pentru noiunile prezentate anterior, n literatur mai exist i ali termeni. Astfel, noiunea de convergen definete o proprietate a soluiei i a fost introdus de Hirsch [Hir88]. Noiunea de monostabilitate a fost introdus de Kalman n 1957, [Kal57] i poate fi ntlnit uneori sub denumirea de mutabilitate strict [Pop79], iar cvasi-monostabilitatea este denumit de acelai autor mutabilitate, iar de alii dihotomie [Gel78].

Pentru sistemele monostabile (cvasi-monostabile) se poate evidenia un fel de dihotomie, n sensul c soluiile acestora sunt ori nemrginite, ori tind ctre un echilibru (sau ctre mulimea de echilibru); n oricare caz sunt ns

20

excluse autooscilaiile periodice sau aproape periodice. Comportamentul de tip cvasi-gradient se mai numete uneori asimptoticism global. Trebuie remarcat de asemenea c, spre deosebire de convergen i cvasi-convergen - care sunt proprieti ale soluiilor, monostabilitatea i comportamentul de tip gradient sunt proprieti ale sistemului.

Proprietile definite anterior pot fi investigate cu ajutorul teoriei Liapunov. De aceea, continum cu prezentarea urmtoarelor rezultate de tip Liapunov [Gel78, Leo92] pentru sisteme autonome cu mai multe echilibre: Lema 2.1 Fie sistemul autonom

)(xfx =& , x Rn (2.3)

Presupunem c exist o funcie continu V : D Rn R astfel nct: i) pentru orice soluie x a (2.3) V(x(t)) este necresctoare; ii) dac x este o soluie a (2.3), mrginit pe [0, +), de-a lungul creia V(x(t)) =ct., atunci x este un echilibru (soluie staionar). n aceste ipoteze, sistemul (2.3) este cvasi-monostabil (dihotomic). Lema 2.2 Se presupune c exist o funcie Liapunov cu proprietile i) i ii), definit global, i c V(x) cnd x (V este radial nemrginit). Atunci sistemul (2.3) este de tip cvasi-gradient. Lema 2.3 Presupunem ipotezele Lemei 2.2 verificate i mulimea de echilibru E discret. Atunci sistemul (2.3) este de tip gradient. Lema 2.4 (Moser) Fie sistemul

= xxfx ),(& Rn (2.4)

unde f(x) = grad G(x), cu G : Rn R avnd urmtoarele proprieti: i) = )(lim xGx ii) numrul punctelor critice este finit. Atunci soluia ecuaiei (2.4) tinde asimptotic ctre unul din punctele de echilibru.

21

Capitolul 3 - Funcii Liapunov pentru reele neuronale

3.1. Funcia Hopfield J. Hopfield [Hop82] a popularizat interpretarea conform creia, n

domeniul reelelor neuronale, funcia Liapunov poate fi o msur a energiei sistemului fizic. El a artat c funcia E : Rn R avnd expresia

AxxxE T21)( =

poate fi considerat o funcie Liapunov util n studiul stabilitii reelelor neuronale; aceast funcie are semnificaia unei energii.

3.2. Metoda funciei Liapunov pentru reele neuronale privite ca sisteme cu mai multe stri de echilibru

Dinamica n spaiul strilor a sistemelor fizice reprezentate de reele neuronale artificiale este dominat de un numr mare, dar finit, de echilibre. Acestea reprezint soluii, dependente de condiiile iniiale, ale problemelor de rezolvat. n acest caz nu mai intereseaz numai stabilitatea echilibrelor locale, ci i comportamentul global al sistemului, comportament care garanteaz rezolvarea optim a problemelor pentru care acestea au fost proiectate (aceasta referindu-se la absena autooscilaiilor sau a unui comportament haotic). De aceea, o direcie important de cercetare este abordarea reelelor neuronale artificiale n cadrul de lucru mai general al Teoriei calitative a sistemelor cu mai multe stri de echilibru.

n acest context, plecnd de la noiunile i teoremele prezentate n Capitolul 2, se va folosi n continuare urmtoarea terminologie: - dihotomie: toate soluiile mrginite tind ctre mulimea de echilibru; - asimptoticism global: toate soluiile tind ctre mulimea de echilibru; - comportament de tip gradient: mulimea punctelor de echilibru este stabil n sens Liapunov i fiecare soluie tinde asimptotic ctre un punct de echilibru.

n aceast seciune ne-am propus s determinm condiii suficiente pentru un comportament de tip gradient pentru reele neuronale cu urmtorul model matematic [Nol94, Nol95]:

22

= m kkk hxcbAxx1

* )(&

(3.2.1)

unde funciile k() sunt difereniabile, mrginite i de pant restrictiv; n cazul reelelor neuronale condiia de mrginire este ndeplinit de funciile neliniare sigmoidale.

Instrumentul utilizat pentru studiul proprietilor calitative ale sistemelor cu mai multe echilibre este funcia Liapunov. Coeficienii funciei Liapunov au fost obinui prin rezolvarea unor ecuaii de tip Lurie. Existena soluiilor pentru astfel de ecuaii a fost asigurat de inegalitatea de tip Popov n domeniul frecvenei, n care s-au utilizat multiplicatori PI de forma 1+(i)-1 n locul multiplicatorului uzual tip PD, cu expresia 1+(i).

( ) ( )[ ] ( ){ } 0)()(Re *111 ++++ iTiTiTQiI (3.2.2) Introducerea multiplicatorului PI n cazul multivariabil (cu mai multe

elemente neliniare) necesit unele restricii de structur ale prii liniare. n [Ha91] demonstrarea stabilitii se baza pe ipoteza tehnic a decuplrii statice:

01* = jk bAc , k j. Aceast ipotez nu poate fi impus ns n cazul reelelor neuronale. Pe de alt parte, n analiza sistemelor cu mai multe echilibre nu mai este necesar pozitivitatea funciei Liapunov. n acest sens, lucrrile [Nol94, Nol95] se bazeaz pe un rezultat al lui La Salle [LaS67, LaS68] - funcia Liapunov generalizat (necresctoare de-a lungul soluiilor, dar nu neaprat de semn definit). Funcia Liapunov astfel obinut

= y

y

dvQyfvfyyBACQyyPzzyz *11**21* ))()(()()()(),(V

este diferit de cele utilizate n mod curent n literatur.

n acest cadru de lucru, dihotomia rezult aproape imediat. Din mrginirea neliniaritilor obinem mrginirea tuturor soluiilor sistemului i aceasta ne permite s spunem c sistemul (3.2.1) are asimptotici globale. Dac se va presupune c echilibrele sunt izolate, ceea ce este o ipotez normal n descrierea reelelor neuronale, atunci asimptoticismul global va implica comportamentul de tip gradient, deoarece o traiectorie oarecare nu poate tinde ctre mulimea de staionar altfel dect tinznd ctre un punct de echilibru.

S-au obinut urmtoarele rezultate:

23

Teorema 3.2.1: Fie sistemul (3.2.1) n urmtoarele ipotezele: i) det A 0; ii) perechea (A,B) este controlabil i perechea (C*, A) este observabil; iii) det C*A-1B = det T(0) 0, unde B - matrice cu coloanele bi, C - matrice cu coloanele ci. Dac exist mulimea de parametri ,0k mkqkkk ,1,0,0, => astfel nct s se verifice condiia Popov (3.2.2) i matricea Q(C*A-1B)-1 s fie simetric, atunci sistemul (3.2.1) este dihotomic pentru toate funciile neliniare cu restricie de pant care verific mkkkk ,1, =

24

- funciile neliniare uzuale n cazul reelelor neuronale - funciile sigmoidale, ndeplinesc condiiile cu +=

(3.3.2)

se bazeaz pe o nou funcie Liapunov, diferit de cele citate n literatur:

= =

= =

=p

j

n

i

ik

ijk

jij

n

i

p

j

jk

jik

iijk xSyRwyRxSwE

1 11

1 11 )()()()(

( ) ( ) ++ p jkjjkjjjn ikiikiii yRyRVJxSxSUI1

11

1 )()()~()()()~(

Aceast funcie Liapunov de tip energie ine cont de cazul cel mai

general, al actualizrii general asincrone a strii neuronilor, chiar i n ambele

25

cmpuri neuronale simultan. Rezultatul acestei seciuni se bazeaz pe proprietile funciei Liapunov Ek exprimat de-a lungul soluiilor sistemului: i) mrginit; ii) necresctoare de-a lungul soluiilor; iii) constant n punctele de echilibru i pe ciclurile de perioad 2; iv) strict descresctoare pn la o valoare mrginit inferior n zero independent de alegerea lui k i de soluie, mai puin n cazul n care soluia este un echilibru sau un ciclu de perioad 2. Teorema 3.3.1: Fie o memorie asociativ bidirecional (BAM) descris de (3.3.1) cu funciile de activare de tip prag descrise de (3.3.2). Dup un numr finit de pai, orice soluie a sistemului (3.3.1) ajunge ntr-un punct de echilibru sau pe un ciclu de perioad 2.

De remarcat c aceast funcie Liapunov poate prescrie cicluri limit discrete stabile care nu afecteaz funcionalitatea reelei.

Rezultatele obinute au fost ilustrate printr-un exemplu numeric cu dou discuii de caz, exemplu n care au fost considerate toate tipurile de tranziii pentru starea neuronilor: sincrone, simplu asincrone, asincrone ntr-un singur cmp neuronal, general asincrone n dou cmpuri neuronale. n ambele cazuri a fost obinut aceeai stare de echilibru bidirecional stabil ca i n cazul tranziiilor sincrone. S-a observat c tranziiile sincrone i general asincrone n ambele cmpuri simultan grbesc convergena sistemului, n comparaie cu tranziiile simplu asincrone sau general asincrone ntr-un cmp neuronal, care ncetinesc convergena.

3.4. Funcia Liapunov pentru reele neuronale competitive Cohen - Grossberg

Modelul reelelor neuronale competitive (3.4.1) a fost introdus de matematicienii M. Cohen i S. Grossberg, [Coh83]. Pentru sistemul neuronal competitiv, n forma general:

nixdcxbxaxn

jjjijiiiii ,1,)()()(

1=

=

=&

(3.4.1)

26

unde nnij

c este o matrice simetric, se prezint n acest subcapitol rezultate

de comportament calitativ din literatura de specialitate: articolul cercettorilor Cohen i Grossberg de introducere al acestor reele neuronale i un studiu recent (2002) de stabilitate exponenial.

Articolul [Coh83a], Absolute Stability of Global Pattern Formation and Parallel Memory Storage by Competitive Neural Networks, studiaz modul n care formele de intrare sunt transformate i memorate n reelele neuronale competitive. Se determin condiii de dinamic general a acestor reele pentru convergena traiectoriilor ctre punctele de echilibru, introducndu-se un nou concept, acela de creare global a formei (global pattern formation). Se analizeaz apoi pe modelul reelelor neuronale competitive simetrice de tip multiplicativ stabilitatea absolut a fenomenului de creare global a formei pentru cazurile funciilor de activare polinomiale i al funciilor de activare sigmoidale.

n partea a doua se prezint un rezultat de stabilitate exponenial obinut de cercettorii L. Wang i X. Zou n recenta lucrare [Wan02]. Condiiile suficiente obinute pentru stabilitatea exponenial a soluiei nu impun condiia de simetrie a matricei conexiunilor, deci rezultatul obinut este valabil i pentru cazul reelelor neuronale asimetrice cu dinamica descris de modelul competitiv.

3.5. Funcia Liapunov pentru reele neuronale celulare Comportamentul calitativ al reelelor neuronale celulare se poate

studia apelnd la rezultatele de stabilitate obinute pentru sistemele interconectate. Ideea de baz [Wil72, il72, Mic74, Vid81] se rezum la descompunerea sistemelor de ordin mare n subsisteme de ordin redus i analiza acestora ca sisteme izolate, apoi determinarea unor condiii care s conserve stabilitatea, condiii impuse structurii de interconexiuni. Toate abordrile acestei probleme se bazeaz pe proprietile funciei Liapunov.

Se consider o reea neuronal celular cu conexiuni de reacie i cu modelul de control nul: ( )

++=

Njijijiii Itxfwtxatx )()()(&

(3.5.1)

27

unde j reprezint indexul celulelor dintr-o vecintate N a celulei i, iar ai este un parametru pozitiv. Funcia de activare neliniar, de tip ramp bipolar, are expresia (ntlnit n lucrrile lui Chua) ( )11)( 21 += iii xxxf (3.5.2) fiind mrginit, cu domeniul de valori [-1, 1], monoton cresctoare i global lipschitzian cu L = 1, adic satisface o condiie de tipul,

Lff

21

21 )()(0 (3.5.3)

din care rezult, deoarece f(0) = 0,

Lf )(0

(3.5.4)

Pentru sistemul scris n abateri ( )

+=Nj

jijiii tzgwtzatz )()()(&

(3.5.5)

se scriu ecuaiile pentru o celul izolat

( ) ( ) mittzptzgwtzatz inotiiiiii ,1,),()()()( ==+=& (3.5.6) i pentru sistemul de interconexiuni

( ) ( ) ijmjitzgwttzq jijnotjij == ,,1,,)(),( ( ) ( ) ( ) mitzgwttzqttzq m

ijj

jij

m

ijj

jiji ,1,)(),(),(11

=== ==

(3.5.7)

Condiiile suficiente pentru stabilitatea exponenial n mare a echilibrului n origine au fost determinate din verificarea ipotezelor Teoremei lui Michel [Mic74, Teorema 3], pe baza unei funcii Liapunov de forma

=

= ni

ii zVzV1

),(),( , 0>i , mi ,1= , unde Vi sunt funcii Liapunov de tip form ptratic plus integrala neliniaritii pentru subsistemele izolate. S-au obinut:

- condiia de amplificare mic i

iii L

aw < ;

- condiia de pozitivitate a matricei ( )mmij

sS = cu elementele:

28

( )( )

+=

=jiwcwc

jiwacs

jijjijii

iiiii

ij44

4

21

unde ( )iiii Lc +=4 , cu Li = 1 n cazul funciilor de activare uzuale pentru reelele neuronale celulare.

29

Capitolul 4 - Prezena ntrzierii n reele neuronale i fenomene induse de aceasta

Necesitatea modelrii fenomenului de propagare a semnalului la

nivelul sinapselor reelelor neuronale biologice, pe de o parte i viteza finit de comutare i de transmitere a semnalelor n reelele neuronale artificiale pe de alt parte, impun introducerea n modelele matematice ale RNA a parametrilor de ntrziere. Marcus i Westervelt [Mar89] au introdus pentru prima oar o singur ntrziere n ecuaiile difereniale ale modelului Hopfield i au observat att numeric ct i experimental existena autooscilaiilor chiar i n cazul matricei de conexiuni simetrice. Rezultatele au stimulat studiul comportamentului dinamic al reelelor neuronale artificiale n prezena ntrzierilor, considerndu-se diferite modele matematice de RNA i variate tipuri de ntrzieri.

4.1. Funcii Liapunov i metode intrare/ieire (tip Popov) pentru reele neuronale cu ntrziere

4.1.1. Comportament aproape liniar pentru reele neuronale de tip Hopfield afectate de ntrzieri Se consider modelul reelei Hopfield n prezena ntrzierilor [Mar89,

Gop94, Dri98], dar cu stimuli variabili n timp:

( ) mitctxfbtxadtdx m

iijjjijiii ,1,)()()(

1=+=

(4.1.1.1)

Funciile neliniare fi, sunt funcii sigmoidale (1.4), deci sunt mrginite - cu domeniul de valori [-1, +1], monoton cresctoare i global lipschitziene, adic verific inegaliti de tipul (4.1.1.2).

Lff

21

21 )()(0

(4.1.1.2)

Comportamentul aproape liniar presupune existena unei soluii unice de regim permanent de acelai tip cu stimulul i stabilitatea exponenial a acestei soluii.

Studiul comportamentului RNA cu stimuli variabili n timp este

30

necesar i justificat de realitatea mediului variabil pentru reelele neuronale biologice modelate. Comportamentul aproape liniar al sistemului considerat a fost verificat pentru termeni foratori periodici i aproape periodici, de aceea demonstraia s-a bazat pe un rezultat al lui Halanay [Ha67] despre mulimi invariante pentru cureni n spaiul Banach, n esen un caz special al teoremei mai generale a lui Kurzweil [Krz67] despre mulimi invariante. S-a ales ca spaiu al strilor spaiul Hilbert M2 = R2 x L2(-, 0; Rm), unde

ijji

,max= . Norma acestui spaiu este:

21

02)(

+=

dzyx

(4.1.1.3)

unde x = (y, z()) este un element al M2: y Rm, z L2 (-, 0; Rm).

Analiza a utilizat metoda frecvenial Popov, proprietile de convergen cerute de lema Halanay rezultnd pe baza unei inegalitii n domeniul frecvenei. S-a obinut urmtorul rezultat:

Teorema 4.1.1: Considerm sistemul (4.1.1.1) n urmtoarele ipoteze: i) ai > 0, i = 1, , m; ii) Funciile neliniare fi() sunt global lipschitziene, verificnd

mifLff iiii ,1,0)0(,)()(0

21

21 ==

(4.1.1.4)

iii) Exist constantele i 0, i = 1,, m astfel nct s se ndeplineasc urmtoarea condiie frecvenial: [ ] 0,0)()( *211 >>++ KKL ii (4.1.1.5) (asteriscul definete transpusa conjugat a matricii). iv) = tmiMtci ,,1,)( R. Atunci exist o soluie mrginit pe ntreaga ax, periodic, respectiv aproape periodic, dac ci(t) este periodic, respectiv aproape periodic. Mai mult, aceast soluie este exponenial stabil.

Condiiile suficiente obinute pentru un comportament aproape liniar al sistemului studiat sunt independente de ntrzieri i nu impun condiia restrictiv de simetrie a matricei conexiunilor i nici condiia de amplificare

31

mic.

Pentru testarea rezultatelor obinute s-a considerat o reea neuronal tip Hopfield cu doi neuroni, verificnd ipotezele teoremei

( ) ( )( ) ( ) )cos(2)(3)()(5)(

)sin()sin()(3)(2)(2)(

2222211122

1222111111

ttxftxftxtxtttxftxftxtx

+=++=

&&

(4.1.1.6)

cu stimuli periodici c2(t) i aproape periodici c1(t) - Fig. 4.1.1, Fig. 4.1.2. Simularea a fost realizat pe dou seturi de valori pentru ntrzieri:

=6,07,04,05,0

1T i

=2,14,18,01

2T , al doilea set cu valori duble fa de

primele, coninnd i valori supraunitare. Funciile de activare neliniare utilizate sunt funciile tangent hiperbolic din biblioteca MATLAB -

Simulink, tttt

t eeee

ettf

+

=+== 112)tanh()( 2 , cu domeniul de valori [-1, 1]

i constantele Lipschitz Li = 1, i =1, 2.

Fig. 4.1.1 Semnalul exogen aproapeperiodic, c1(t)

Fig. 4.1.2 Semnalul exogen periodic, c2(t)

Fig. 4.1.3 x1 (t) n prezena stimulilor; T1

Fig. 4.1.4 x2 (t) n prezena stimulilor; T1

32

Fig. 4.1.5 x1 (t) n prezena stimulilor; T2

Fig. 4.1. 6 x2 (t) n prezena stimulilor; T2

Fig. 4.1.7 x1 (t), x2 (t) n condiii iniiale nenule; T1

Fig. 4.1.8 x1 (t), x2 (t) n condiii iniiale nenule; T2

Fig. 4.1.9 Planul fazelor, T1

Fig. 4.1.10 Planul fazelor, T2

33

Din Fig. 4.1.3 - Fig. 4.1.6 se observ c x1(t) i x2(t) sunt aproape periodice (de acelai tip cu semnalele exogene) i mrginite. Evoluia n timp a sistemului neforat pentru condiii iniiale nenule [x10 x20] = [3 5] este prezentat n Fig. 4.1.7 - Fig. 4.1.8; se observ convergena exponenial a soluiei ctre echilibrul n zero. n Fig. 4.1.9 i Fig. 4.1.10 sunt prezentate evoluiile n planul fazelor pentru sistemul autonom, n cele dou cazuri privind ntrzierile.

4.1.2. Criterii de stabilitate pentru reele neuronale celulare cu ntrzieri Se consider o reea neuronal celular cu ntrzieri la nivelul

conexiunilor de reacie i cu modelul de control nul:

( ) niItxfwtxaxNj

ijjijiii ,1,)()( =++=

&

(4.1.2.1)

unde j reprezint indexul celulelor dintr-o vecintate N a celulei i, iar ai este un parametru pozitiv. Fr a se pierde din generalitate comportamentul calitativ se va studia pe modelul matematic al sistemului n abareri

( ) nitzgwtzatzNj

jjijiii ,1,)()()( =+=

&

(4.1.2.2)

Neliniaritatea sistemului n abateri, g(z), va verifica aceeai condiie Lipschitz (3.5.3) cu aceeai constant L.

Comportamentul calitativ al reelei este studiat, ca i n seciunea 3.5., n cadrul teoriei calitative a sistemelor mari, prin descompunerea sistemului reprezentat de RNC n celule izolate i studiul stabilitii acestora, apoi considerarea interconexiunilor, care sunt neliniare, i impunerea aa-numitor condiii de interconectare pasiv suficiente pentru conservarea stabilitii exponeniale.

Prima etap, de studiu a unei celule izolate, a fost abordat prin prisma a dou metode:

1. criteriul frecvenial Popov, 2. metoda funciei Liapunov. Se consider dinamica unui subsistem izolat cu ntrziere pe calea de

reacie

34

( )ii

iiiiiii

zytzgwtzaz

=+= )()( &

(4.1.2.3)

i funcia de transfer

ij

i

iii eja

wjH

+=)( (4.1.2.4)

1. Criteriul frecvenial Popov Teorema 4.1.2.1: Fie sistemul (4.1.2.3) cu funcia de transfer (4.1.2.4) n urmtoarele ipoteze:

a) 0>ia ; b) funcia neliniar g() este global lipschitzian, verificnd

0)0(,1)()(021

21 = ggg

(4.1.2.5)

Atunci condiia frecvenial Popov ( )[ ] 0)(1Re1 >++ jHj i (4.1.2.6)

cu > 0 este ndeplinit i celula izolat are un punct de echilibru care este asimptotic stabil, dac sistemul verific una dintre condiiile: i) wii (0, ai) i (0, 1/wii); ii) wii (-ai, 0) i (-1/wii, +). Rezultatul este independent de ntrzieri i impune restricia de amplificare mic. 2. Metoda funciei Liapunov

Continuarea analizei proprietilor calitative ale reelei neuronale celulare ca ansamblu de subsisteme interconectate necesit abordarea stabilitii unei celule izolate cu metoda Liapunov direct.

Fie sistemul (4.1.2.3), se definete funcionala Liapunov Vi pe spaiul R x L2 (-i, 0; R) astfel:

++=z

iii dgdzzVi 0

022

21 )()(),(

(4.1.2.7)

unde i > 0 i i > 0 sunt parametri care se vor alege corespunztor. Din

35

condiia de negativitate a derivatei funcionalei de-a lungul soluiilor sistemului se obine aceeai condiie de amplificare mic iii aw < obinut i cu criteriul frecvenial Popov i restricia

( ) ( )

++= ni

iii nizVzV1

,1,0,),(),(

(4.1.2.9)

unde ),( zVi are expresia (4.1.2.7). Se obine urmtorul rezultat: Teorema 4.1.2.2 Fie sistemul (4.1.2.2) n urmtoarele ipoteze:

i) ai > 0; ii) funcia neliniar g() este global lipschitzian, verificnd

0)0(,1)()(021

21 = ggg

iii) pentru fiecare subsistem izolat exist o funcional Liapunov Vi : R x L2 (-i, 0; R) i constantele i > 0 i i > 0 astfel nct s fie ndeplinite condiiile iii aw < i (4.1.2.8);

iv) exist constantele nii ,1,0 => astfel nct matricea simetric ( )nnij

bB = cu elementele

= +

+= nj jjj

jjjiiiii a

wb1

22

)1()1(

41

ji

n

j kkk

kkkjkiij ba

wwb =++=

=1

2

)1()1(

41

s fie pozitiv definit. Atunci originea este un echilibru exponenial stabil n mare pentru sistemul (4.1.2.2) considerat.

36

4.1.3. Rezultate de stabilitate pentru reele neuronale competitive cu ntrzieri Se prezint rezultatele de stabilitate obinute de L. Wang i X. Zou

[Wan02] pentru reelele neuronale competitive afectate de ntrzieri, fiind o extindere a rezultatelor paragrafului 3.4.2 la cazul sistemelor cu ntrzieri.

Se consider modelul reelelor neuronale Cohen-Grossberg n prezena ntrzierilor:

niJtxdcxbxatxn

jjijjjijiiiii ,1,))(()()()(

1=

+=

=& (4.1.3.1)

avnd condiiile iniiale

[ ]( ) [ ] nisssx ii ,1,0,,,0,)()( == RC (4.1.3.2) unde { }njiij = ,1,max . Pentru stabilirea cadrului de lucru se fac urmtoarele ipoteze:

(H1) Pentru fiecare ni ,1= , ai sunt mrginite, pozitive, local lipschitziene i iii ua < )(0 .

(H2) Pentru fiecare ni ,1= , bi i 1ib sunt local Lipschitz continue. Funciile de activare sunt sigmoidale, deci ndeplinesc condiiile:

(S1) Pentru fiecare ni ,1= , di : R R sunt Lipschitz continue cu constanta Li. (S2) Pentru fiecare ni ,1= , R xMxd ii ,)( pentru constantele Mi > 0. Se obine urmtorul rezultat de stabilitate: Teorema 4.1.3.3 Se presupun ndeplinite ipotezele (H1) (H2), (S1) (S2) i inegalitatea niuuuu ii ,1,,)(

2 = R . Dac

==> n

jjijiii niLc

1,1, (4.1.3.14)

atunci ecuaia (4.1.3.1) are un punct de echilibru unic x*, i exist o constant 5 > 0 astfel nct orice soluie x(t) a ecuaiei (4.1.3.1) cu condiiile iniiale (4.1.3.2) verific

37

nixsextx iisni

tii ,1,)(supmax)(

*

]0,[1

* 5 =

(4.1.3.15)

4.2. Metode de comparaie pentru studiul reelelor neuronale cu ntrzieri

O alt abordare n studiul stabilitii reelelor neuronale se bazeaz pe principiile de comparaie care conduc la inegaliti difereniale i integrale. Urmtoarea seciune abordeaz studiul comportamentului calitativ al reelelor neuronale utiliznd metodele de comparaie.

4.2.1. Comportament de tip gradient pentru reele neuronale tip Hopfield cu ntrzieri

Pentru un sistem cu mai multe echilibre, comportamentul de tip gradient presupune convergena fiecrei soluii ctre un echilibru, aceasta neexcluznd ns posibilitatea existenei unor echilibre instabile. Pentru a rezolva tipul de problem pentru care a fost proiectat, o reea neuronal trebuie s conin un numr mare, dar finit, de echilibre izolate, asimptotic stabile i fiecare soluie a dinamicii sistemului trebuie s convearg ctre o stare de echilibru.

n capitolul 3.2 s-au obinut condiii suficiente pentru un comportament de tip gradient al reelelor neuronale cu modelul matematic

= m iii hxcbAxx1

* )(& neafectate de ntrzieri, apoi s-au analizat rezultatele obinute pentru cazul reelelor neuronale tip Hopfield.

Scopul acestei seciuni este determinarea unei estimri a ntrzierii admise pentru conservarea comportamentului de tip gradient la reelele neuronale tip Hopfield.

Fie ecuaiile standard pentru reele neuronale tip Hopfield

miIxfwxadtdx

i

m

jjijiii ,1,)(

1=+= . (4.2.1.1)

i modelul [Gop94, Dri98] afectat de ntrzieri la nivelul interconexiunilor:

38

( ) miItxfwtxadtdx

i

m

jjjijiii ,1,)()(

1=+= (4.2.1.2)

Se consider c sistemul descris de (4.2.1.1) i fiecare echilibru asimptotic al su au un comportament de tip gradient, i ne propunem s determinm o estimare a ntrzierii admise pentru conservarea acestei comportri. S-a obinut urmtorul rezultat:

Teorema 4.2.1 Fie o reea neuronal recurent descris de (4.2.1.2) n urmtoarele ipoteze:

a) valorile ponderilor wij sunt astfel nct acestea s descrie o matrice dublu dominant;

b) funciile neliniare j sunt global lipschitziene cu constantele Lj; c) ntrzierile mii ,1, = verific condiia

( )

+

+

m m jkjjijm j

m

k

iii

waLwL

a

1 111max1

minmax (4.2.1.3)

Atunci reeaua neuronal (4.2.1.2) are un comportament de tip gradient, la fel ca reeaua neuronal (4.2.1.1).

Metoda de analiz utilizat n acest caz a fost metoda bazat pe principii de comparaie. Prima condiie, de dubl dominan a matricei conexiunilor sinaptice, este rezultatul generalizrii inegalitii de rearanjare nr. 368 din lucrarea clasic a lui Hardy, Littlewood i Polya [Har34]. A doua condiie, impus ntrzierilor care trebuie s fie suficient de mici pentru a conserva stabilitatea asimptotic, este o consecin direct a lemei tehnice a lui Halanay [Ha63] util n demonstraia rezultatului principal.

Rezultatul a fost testat pe dou reele neuronale Hopfield cu trei neuroni: prima avnd matricea conexiunilor W1 simetric i dublu dominant, cea de-a doua prezentnd o matrice W2 nesimetric i dublu dominant, unde

=320241

012

1W ,

=

312241013

2W . Funciile de activare neliniare

39

utilizate sunt funciile tangent hiperbolic din biblioteca MATLAB -

Simulink, cu expresia tttt

t eeee

ettf

+

=+== 112)tanh()( 2 , avnd domeniul

de valori [-1, 1] i constantele Lipschitz Li = 1, i = 1, 2, 3. Prezentm rezultatele simulrii pentru cel de-al doilea caz. Se consider sistemul

( ) ( )( ) ( ) ( )

( ) ( ) ( ))(3)()(2)(9)(2)(4)()(5

)()(3)(6

33322211132

33322211122

22211111

++==

=

txftxftxftxxtxftxftxftxx

txftxftxx

&&&

ntrzierea maxim admis pentru conservarea stabilitii asimptotice este 0038,0= sec. S-au ales 003,01 = sec., 001,02 = sec., 002,03 = sec.

Starea iniial aleas este [ ]3610 =x .

Fig. 4.2.1. Componentele strii pentru sistemul fr ntrzieri

Fig. 4.2.2. Componentele strii pentru comportament de tip gradient

n prezena ntrzierii admise 1 = 0,003 sec., 2 = 0,001 sec., 3 = 0,002 sec.

40

Fig. 4.2.3 Componentele strii pentru ntrzieri 1 = 0,03 sec, 2 = 0,01 sec, 3 = 0,02 sec.

Fig. 4.2.4.Componentele strii pentru ntrzieri 1 = 0,3 sec., 2 = 0,1 sec., 3 = 0,2 sec.

Fig. 4.2.5. Componentele strii pentru ntrzieri 1 = 3 sec., 2 = 1 sec., 3 = 2 sec.

41

Se observ c evoluia n timp a strii sistemului prezentnd ntrzieri admise pentru conservarea comportamentului de tip gradient (Fig. 4.2.2) este identic cu cea a sistemului fr ntrzieri (Fig. 4.2.1). Figurile 4.2.2, 4.2.3, 4.2.4 i 4.2.5 prezint evoluia strii n prezena unor ntrzieri din ce n ce mai mari. Se remarc din rezultatele simulrii c proprietatea de dublu dominan a matricei conexiunilor permite convergena componentelor strii chiar i pentru ntrzieri de 1000 de ori mai mari dect cele care ndeplinesc condiia (4.2.1.3). Subliniem c rezultatele bune de convergen obinute nu se bazeaz pe simetria matricei conexiunilor.

42

Capitolul 5 Concluzii generale n teza de doctorat, cu titlul PROBLEME CALITATIVE N

DINAMICA REELELOR NEURONALE, s-a efectuat un studiu teoretic, validat prin exemple i simulri numerice, al comportamentului dinamic al sistemelor neuronale neliniare. Nota de originalitate a prezentei lucrri este dat de studiul reelelor neuronale cu conceptele i instrumentele teoriei calitative a sistemelor cu mai multe echilibre i ale teoriei calitative a sistemelor interconectate i de rezultatele obinute pentru reele neuronale afectate de ntrzieri.

Contribuii originale

Paragraful 3.2 - Metoda funciei Liapunov pentru reele neuronale privite ca sisteme cu mai multe stri de echilibru

studiul comportamentului calitativ al reelelor neuronale n cadrul de lucru al teoriei calitative a sistemelor cu mai multe stri de echilibru a condus la obinerea unui comportament calitativ nou, dezirabil pentru reelele neuronale: comportamentul de tip gradient;

determinarea funciei Liapunov s-a bazat pe rezolvarea unor ecuaii de tip Lurie, existena soluiilor acestor ecuaii fiind asigurat de inegalitatea Popov n domeniul frecvenei; inegalitatea n domeniul frecvenei utilizat conine multiplicatori de tip PI cu forma 1+(i)-1 n locul multiplicatorului uzual tip PD, cu expresia 1+(i);

restriciile obinute au condus la impunerea unei condiii de simetrie a matricei Q(C*A-1B)-1, diferit de ipoteza decuplrii statice 01* = jk bAc , k j utilizat n [Ha91];

funcia Lipunov astfel determinat este complet diferit de uzuala funcie energie a reelelor neuronale;

relaxarea restriciilor impuse sistemului, posibil prin alegerea corespunztoare a informaiei privind neliniaritile (la noi monotone i de pant restrictiv), a permis stabilirea unui comportament calitativ nou al reelelor neuronale analogice studiate (s-au formulat condiii suficiente att pentru un comportament dihotomic, ct i pentru un

43

comportament de tip gradient); rezultatele s-au particularizat pentru cazul funciilor de activare cu

neliniariti mrginite i pentru cazul reelelor neuronale tip Hopfield cu modelul matematic n forma adecvat implementrii hardware.

Paragraful 3.3 - Funcia Liapunov n studiul stabilitii memoriilor asociative bidirecionale

abordeaz stabilitatea memoriilor asociative bidirecionale n cazul cel mai general, n care actualizarea strii neuronilor poate apare n orice submulime de neuroni i eventual, simultan n ambele cmpuri neuronale;

funcia Liapunov utilizat, diferit de cele existente n literatur pentru studiul BAM, este de tip energia semnalului i este aleas astfel nct rezultatele de stabilitate s includ cazul asincron general al modificrilor strilor neuronilor n reea;

rezultatul principal se bazeaz pe proprietile modelului i particularitile funciei de activare care permit determinarea unor valori de prag ale funciei de activare (de tip prag binar) care s nu poat fi niciodat atinse; aceasta permite mai departe o caracterizare mai nuanat a proprietilor funciei Liapunov i a rezultatelor de stabilitate a reelei care deriv de aici;

alegndu-se acelai exemplu numeric ca n [Kos92, pg. 65] (matricea conexiunilor W, vectorul care codific forma de intrare i starea iniial a neuronilor), dar pentru funcii de activare a cror valoare de prag nu poate fi atins, se identific dou situaii distincte n funcie de momentul apariiei tranziiei n starea neuronului i se discut fiecare caz n parte; astfel s-a obinut c pentru condiiile date, indiferent de modul n care neuronii aleg s-i actualizaze starea la un moment dat, reeaua converge ctre acelai echilibru;

n alegerea politicii de actualizare a strilor neuronale din exemplele numerice prezentate ne-am ghidat dup urmtoarea idee plauzibil fizic: neuronii a cror valoare de actualizare este doar cu o cantitate mic superioar valorii pragului (ex. ii Vy =>= 5,01 ) vor decide mai greu modificarea strii lor din pasiv n activ (n sensul c orice sistem tinde

44

ctre o stare de repaus); valorile suficient de deprtate de valoarea de prag, indiferent de semnul lor, vor conduce la actualizri imediate; s-a inut cont de ntrzierile de transmitere ale semnalului ntre cele dou cmpuri de neuroni.

Paragraful 3.5 - Funcia Liapunov n stabilitatea reelelor celulare

abordeaz studiul stabilitii unei reele neuronale celulare n cadrul de lucru al teoriei calitative a sistemelor interconectate [Wil72, il72, Mic74, Vid81].

rezultatul obinut este o consecin a Teoremei 3 din [Mic74] adaptat particularitilor sistemului studiat;

s-au obinut condiii suficiente pentru stabilitatea exponenial a soluiei sistemului studiat: condiia de amplificare mic

i

iii L

aw < , i condiia de pozitivitate impus matricei S.

Paragraful 4.1.1 - Comportament aproape liniar pentru reele neuronale de tip Hopfield afectate de ntrzieri

studiaz reelele neuronale tip Hopfield cu stimuli variabili, de tip periodic i/sau aproape periodic, n prezena ntrzierilor;

s-au obinut condiii suficiente pentru un comportament aproape liniar al sistemului studiat, n sensul existenei unei soluii unice de regim permanent de acelai tip cu stimulul i stabilitatea exponenial a acestei soluii;

analiza s-a bazat pe un rezultat al lui Halanay [Ha67] despre mulimi invariante pentru cureni n spaiul Banach, un caz special al teoremei mai generale a lui Kurzweil [Krz67] despre mulimi invariante;

proprietile de convergen cerute de Lema Halanay au fost obinute pe baza unei inegalitii tip Popov n domeniul frecvenei;

rezultatele sunt independente de ntrzieri i au fost testate pe o reea neuronal tip Hopfield cu doi neuroni.

45

Paragraful 4.1.2 - Criterii de stabilitate pentru reele neuronale celulare cu ntrzieri

extinde rezultatele paragrafului 3.5 pentru cazul reelelor neuronale celulare cu ntrzieri;

nscriindu-se n cadrul de lucru al teoriei calitative a sistemelor interconectate, studiul cuprinde dou etape: 1) determinarea unor condiii suficiente de stabilitate pentru o celul izolat; s-au utilizat dou abordri: criteriul Popov n domeniul frecvenei i metoda Liapunov direct, determinndu-se o funcional Liapunov (diferit de formele clasice gsite n literatur) ataat modelului celulei izolate; ambele metode au condus la aceleai restricii, independente de ntrzieri, asupra parametrilor celulei; 2) determinarea unor restricii asupra sistemului de interconexiuni care s conserve stabilitatea celulelor izolate obinut n prima etap; utilizndu-se o funcional Liapunov derivat din cea determinat pentru celula izolat s-au determinat condiii suficiente de stabilitate exponenial n mare pentru reele celulare afectate de ntrzieri.

Paragraful 4.2.1 - Comportament de tip gradient pentru reele neuronale tip Hopfield cu ntrzieri

continu studiul nceput n paragraful 3.2. - unde s-au determinat condiii suficiente pentru un comportament de tip gradient al reelelor neuronale, cu particularizare pentru cazul neliniaritilor mrginite i cazul reelelor neuronale tip Hopfield;

scopul analizei este de a se determina o estimare a ntrzierii admise pentru conservarea comportamentului de tip gradient obinut pentru reelele neuronale tip Hopfield n absena ntrzierilor;

se utilizeaz o nou abordare: metoda bazat pe principii de comparaie, restriciile viznd att parametrii reelei, ct i ntrzierile;

prima condiie, de dubl dominan a matricei conexiunilor sinaptice, este rezultatul adaptrii i generalizrii inegalitii de rearanjare No. 368 din lucrarea clasic a lui Hardy, Littlewood i Polya [Har34];

a doua condiie, impus ntrzierilor care trebuie s fie suficient de mici pentru a conserva stabilitatea asimptotic, este o consecin direct a

46

lemei tehnice a lui Halanay [Ha63] util n demonstraia rezultatului principal;

metoda de comparaie n forma adecvat o gsim aplicat ntr-o lucrare a lui V.M. Popov, ns pentru un model fr ntrzieri, de form asemntoare cu cel discutat n paragraful 4.2.1; diferena ntre acesta i cel studiat de noi este c ultimul este un sistem cu convoluie care include cazul ntrzierilor - n aceste circumstane condiia de ntrzieri mici poate fi eliminat.

Autoarea dorete s-i exprime recunotina fa de conductorul tiinific Prof. dr. ing. Vladimir Rsvan, pentru atenta ndrumare n perioada de elaborare a tezei de doctorat. Cercetrile i rezultatele prezentate n aceast tez au fost posibile i datorit competenei i atmosferei de lucru pe care domnia sa a imprimat-o colectivului pe care-l conduce. Mulumesc tuturor colegilor din cadrul Departamentului de Automatic i Mecatronic i din cadrul Facultii de Automatic, Electronic i Calculatoare din Craiova pentru sugestiile i sprijinul moral acordat pe parcursul elaborrii tezei.

47

Bibliografie (extras)

[Bl93] Blair, J. Stability in a model of delayed neural network, Journal of Dynamics and Differential Equations, vol. 5, pp. 607-623, 1993.

[Cao96] Cao, Y.J., Q.H. Wu A note on stability of analog neural networks with time delays, IEEE Transactions on Neural Networks, vol. 7, pp. 1533-1535, 1996.

[Chu88] Chua, L., L. Yang Cellular neural networks: theory and applications, IEEE Trans. Circuits and Systems, vol. CAS-35, pp. 1257-1290, 1988.

[Chu93a] Chua, L., T. Roska The CNN paradigm, IEEE Trans. Circuits and Systems I Fundamental Theory and Applications, vol. 40, pp. 147-156, 1993.

[Chu93b] Chua, L., T. Roska, P. Venetianer The CNN is universal as the Turing machine, IEEE Trans. Circuits and Systems I Fundamental Theory and Applications, vol. 40, pp. 289-291, 1993.

[Coh83a] Cohen, M. A., S. Grossberg Absolute stability of pattern formation and parallel storage by competitive neural networks, IEEE Trans. Systems, Man, Cybernet., vol. SMC-13, pp. 815-825.

[Coh83b] Cohen, M. A., S. Grossberg Some global properties of binocular resonances: Disparity metching, filling-in, and figure ground systhesis, n Figural Synthesis, Ed. T. Caelli and P. Dodwell, Hillsdale, NJ: Erlbaum Press, 1983.

[Dah95] Dahanayake, B.W., A.R.M. Upton Learning with easy: Smart neural nets, Proc. of Internat. Conf. on Neural Networks ICNN95, Australia, 1995.

[Dan98] Danciu, D. Stability of a Bidirectional Associative Memory System, International Symposium on System Theory, Robotics, Computers & Process Informatics SINTES 9, pp. 54-59, Craiova, 1998.

[Dan00] Danciu, D., Vl. Rasvan On Popov-type stability criteria for

48

neural networks, Electronic Journal on Qualitative Theory of Differential Equations EJQTDE, Proc. 6th Coll. QTDE 2000, No. 23.

[Dan01a] Danciu, D., Vl. Rasvan Steady State Almost Linear Behavior of Delayed Hopfield Type Neural Networks, 13th International Conference on Control Systems and Computer Science CSCS13, pp. 210-213, Bucureti, 2001.

[Dan01b] Danciu, D., Vl. Rasvan Stability Criteria for Cellular Neural Networks, The 11th International Symposium on Modeling, Simulation and Systems Identification SIMSIS 11, pp. 211-213, Galati, 2001.

[Dan01c] Danciu, D., Vl. Rasvan Gradient-Like Behaviour for Hopfield-Type Neural Networks with Delay, The Thrid International Workshop on Intelligent Control Systems ICS2001, Bucureti, 2001.

[Dan02a] Danciu, D., Time Delays and Oscillations in Neural Networks, Buletinul tiinific al Universitii Politehnica din Timioara, Seria Automatic i Calculatoare, vol. 47 (61), pp. 131-134, Timioara, 2002.

[Dan02b] Danciu, D., Qualitative Behaviour of the Time-Delay Hopfield-type Neural Network with Periodically Varying Stimuli, Analele Universitii din Craiova, nr.26, 2002 (sub tipar).

[DeW95] DeWilde, Ph. Neural Network Models, Lecture Notes in Control and Information Sciences, no. 210, Springer-Verlag, 1995.

[Dri98] - Driessche van den, P., X. Zou Global attractivity in delayed Hopfield neural network models, SIAM Journal Appl. Math., vol. 58, pp. 1878-1890, 1998.

[Gel68] Gelig, A. Kh. Stability of controlled systems with bounded nonlinearities, Autom. Remote Control, pp. 1724-1731, 1968.

[Gel78] Gelig, A. Kh., G.A. Leonov, V.A. Yakubovich Stability of nonlinear systems with non-unique equilibrium state, [n rus]. Nauka Publ. House, Moscova, 1978.

[Gop94] Gopalsamy, K., X.Z. He Stability in asymmetric Hopfield nets

49

with transmission delays, Physica D., vol. 76, 344-358, 1994.

[Ha63] Halanay, A. - Ecuaii difereniale. Stabilitate. Oscilaii. ntrzieri., Editura Academiei, Bucharest, 1963.

[Ha67] Halanay, A. Invariant manifolds for systems with time lag Differential and dynamical systems, (Hale & La Salle Eds.), Acad. Press, New York, pp. 199-213, 1967.

[Ha91] Halanay, A., Vl. Rasvan Absolute stability of feedback systems with several differentiable non-linearities Int. Journ. Systems Sci., vol. 22, no. 10, pp. 1991-1927, 1991.

[Ha93] Halanay, A., Vl. Rasvan - Applications of Liapunov Methods to Stability, Kluwer Academic, 1993.

[Ha00] Halanay, A., Vl. Rasvan Oscilations in Systems with Periodic Coefficients and Sector-restricted Nonlinearities. Operator Theory. Advances and Applications., vol. 117, Birkhauser Verlag, Basel, pp. 141-154, 2000.

[Hal69] Hale, J.K. - Ordinary Differential Equation, New York: Wiley-Interscience, 1969.

[Hal77] Hale, J.K. - Functional Differential Equations, Springer Verlag, 1977.

[Har34] Hardy G.H., J.E. Littlewood, G. Polya - Inequalities, Cambridge Univ. Press, 1934.

[Hay94] Haykin, S. Neural Networks, a Comprehensive Foundation, Macmillan, N.Y., 1994.

[Hir88] Hirsch, M.W. Stability and convergence in strongly monotone dynamical systems, J. reine angew. Math., 383, pp. 1-53, 1988.

[Hop82] Hopfield J. J. Neural networks and physical systems with emergent collective computational abilities, Proc. Nat. Acad. Sci. U.S.A., vol. 79, pp. 2554-2558, 1982.

[Kal57] Kalman, R.E. Physical and mathematical mechanisms of instability in nonlinear automatic control systems, Trans. Amer. Soc.

50

Mech. Eng., 79(3), 1957.

[Kos88] Kosko, B. Bidirectional associative memories, IEEE Trans. Systems, Man, Cybernet., vol. SMC-18, pp.42-60, 1988.

[Kos92] Kosko, B. Neural Networks and Fuzzy Systems, Prentice-Hall International, (UK) Limited, London, 1992.

[Krz67] Kurzweil, J. Invariant manifolds for flows, Differential and dynamical systems, [Hale & La Salle Eds.], Acad. Press, New York, pp. 431-468, 1967.

[Li892] Liapunov, A.M. Problema general a stabilitii micrii, Harkov, 1892.

[LaS67] LaSalle, J.P. An invariance principle in the theory of stability in Differential Equations and Dynamical Systems, pp. 277-286. Ed. J.K. Hale si J.P. LaSalle, Academic Press, New York, 1967.

[LaS68] - LaSalle, J.P. Stability Theory for Ordinary Differential Equations, Journal of Differ. Equations, vol. 4, no. 1, pp. 57-65, 1968.

[Leo92] Leonov, G.A., V. Reitmann, V.B. Smirnova Non-local methods for pendulum-like feedback systems, Teubner Verlag, Leipzig, 1992.

[Mar89] Marcus, C.M., R.M. Westervelt Stability of analog neural networks with delay, Phys. Rev. A., vol. 39, pp. 347-359, 1989.

[McC43] McCulloch, W. S., W. Pitts A Logical Calculus of the Ideas Immanent in Nervous Activity, Bulletin of Mathematical Biophysics, vol. 5, pp. 115-133, 1943.

[Mic74] Michel A. Stability analysis of interconnected systems, SIAM J. Control, vol. 12, no. 3, pp. 554-579, 1974.

[Mos67] Moser, J. On nonoscillating networks, Quart. Appl. Math. vol. 25, pp. 1-9, 1967.

[Nol94] Noldus, E., R.,Vingerhoeds, M. Loccufier Stability of analogue neural classification networks, Int. Journ. Systems Sci., vol. 25, no. 1, pp. 19-31, 1994.

51

[Nol95] Noldus, E., M. Loccufier An application of Liapunovs method for the analysis of neural networks, Journ. of Comp. and Appl. Math., vol. 50, pp. 425-432, 1995.

[Pop79] Popov, V.M. Monotonicity and Mutability, Journal of Differential Equations, vol. 31, no. 3, pp. 337-358, 1979.

[Pop81] - Popov, V.M. Monotone-Gradient Systems, Journ. of Differ. Equations, vol. 41, no. 2, pp. 245-261, 1981.

[Rs75] Rsvan, Vl. Stabilitatea absoluta a sistemelor automate cu ntrziere, Ed. Academiei, Bucuresti, 1975.

[Rs87] Rsvan, Vl. Teoria stabilitii, Ed. tiinific i Enciclopedic, Bucureti, 1987.

[Rs98] Rsvan, Vl. Dynamical Systems with Several Equilibria and Natural Liapunov Functions, Archivum mathematicum, tomus 34, no. 1 [Equadiff 9], pp. 207-215, 1998.

[Rs02] Rsvan, Vl. Popov Theories and Qualitative Behaviour of Dynamic and Control Systems, European Journ. on Control, vol.8, nr.3, pp. 190-199, 2002.

[il72] iljak, D.D. Stability of large-scale systems, Proc. Fifth World Congres of IFAC (Session 9, Nonlinear Systems), Paris, 1972.

[Tso94] Tsoi, A.C., Back A.D. Locally Recurrent Globally Feedforward Networks: A Critical Review of Architectures, IEEE Trans. on Neural Networks, vol. 5, no. 2, pp. 229-239, 1994.

[Vid81] Vidyasagar, M. Input-Output analyssis of Large Scale Interconnected Systems, LNCIS, vol. 29, Springer Verlag, 1981.

[Wan02] Wang, L., X. Zou Exponential stability of Cohen-Grossberg neural networks, Neural Networks, vol. 15, pp. 415-422, 2002.

[Wil72] Willems, J.C. Dissipative dynamical systems I, II, Arch.Rat. Mech. Anal. vol. 45, pp. 321-393, 1972.