Universitatea Tehnica “GheorgheAsachi” din Iasi

Facultatea de Automatica siCalculatoare

Universitatea GhentFacultatea de Inginerie si

Arhitectura

Doctorat ın cotutela

Controlul predictiv distribuit al sistemelordinamice cuplate

Rezumatul tezei de doctorat

Anca Maxim

Conducator de doctorat (TUIasi): prof. dr. ing. Corneliu LazarConducator de doctorat (UGent): prof. dr. ing. Clara Mihaela Ionescu

IASI, 2019

Cuprins

1 Introducere 1-11.1 Cercetare de fond . . . . . . . . . . . . . . . . . . . . . . . . . . 1-11.2 Motivatii si obiective . . . . . . . . . . . . . . . . . . . . . . . . 1-21.3 Lista publicatiilor . . . . . . . . . . . . . . . . . . . . . . . . . . 1-3

2 Algoritmi non-cooperativi de control predictiv distribuit (DPCA) pen-tru sisteme cu doi-agenti 2-1

3 Algoritmi non-cooperativi de control predictiv distribuit (DPCA) pen-tru sisteme multi-agenti 3-13.1 Extensia algoritmului DPCA2 (DPCA2ext) . . . . . . . . . . . . . 3-13.2 Algoritmul non-cooperativ DPCA4 . . . . . . . . . . . . . . . . 3-3

4 Algoritmi hibrizi non-cooperativi / cooperativi de control predictivdistribuit (DPCA) pentru sisteme multi-agenti 4-1

5 Studiu de caz comparativ 5-1

6 Concluzii si perspective 6-1

1Introducere

1.1 Cercetare de fond

In ultimii anii, piata competitiva a Uniuniunii Europene a condus la crestereacererilor privind performanta, productia si eficienta ın procesele industriale. Acesteprocese sunt alcatuite din ce ın ce mai multe sub-sisteme (sau module) indepen-dente (din punctul de vedere al obiectivelor) dar interactive (prin dinamica sauresurse comune), devenind tot mai complexe din perspectiva globala de control.

Exista multe posibilitati pentru controlul acestor procese modulare: i) contro-lul centralizat, definit ca un regulator global pentru toate sub-sistemele, ii) con-trolul descentralizat, unde regulatoarele locale sunt proiectate fara sa se tina contde interactiunile dintre sub-sisteme sau iii) controlul distribuit, ın care fiecare mo-dul implementeaza local o strategie de control tinand cont de informatia relevantaprimita de la sub-sistemele din vecinatate.

In domeniul conducerii sistemelor complexe, controlul distribuit este o stra-tegie de control importanta folosita pentru a depasi cerintele de comunicatie side calcul corespunzatoare controlului centralizat, ımbunatatind ın acelasi timp li-mitarile controlului descentralizat. Aceasta politica de control porneste de la ideeaca modelul care descrie sistemul global poate fi partitionat corespunzator ın dife-rite sub-sisteme cuplate.

Cercetarea prezentata ın aceasta teza se concentreaza pe tehnica de controlpredictiv distribuit (eng. DMPC), dezvoltata ın domeniul matur al controlului pre-dictiv bazat pe model (eng. MPC) [2].

1-2 INTRODUCERE

Astfel, idea centrala a controlului predictiv distribuit este ca fiecare sub-sistemsa fie controlat de un regulator (sau agent) local, folosind informatia disponibilalocal si cunostintele primite de la agenti vecini (care controleaza sub-sistemele lacare modulul este cuplat).

In urma unei incursiuni ın acest domeniu de cercetare contemporan, s-a ob-servat ca algoritmii DMPC pot fi clasificati din punctul de vedere al problemei deoptimizare ın [4]: i) DMPC non-cooperativi, daca solutia optimala este obtinutarezolvand o functie de cost locala si ii) DMPC cooperativi, daca fiecare sub-sistemminimizeaza o functie de cost globala.

Tinand seama de aceste caracteristici, a aparut o noua strategie de control,numita control coalitional. Ideea de baza este de a crea o arhitectura de controlflexibila, prin combinarea agentilor locali non-cooperativi apartinand aceleasi ve-cinatati ın grupuri cooperative, numite coalitii [5–9]. Este important de remarcatfaptul ca la nivelul unui coalitii este rezolvata o problema de optimizare coopera-tiva, iar ceilalti agentii din afara coalitiei rezolva o problema de optimizare non-cooperativa.

1.2 Motivatii si obiective

In general, controlul sistemelor complexe este supus unor dificultati datorate:- interactiunii implicite dintre sub-sisteme- ıncarcarii retelei de comunicatie- incertitudinilor din sistem- problemei scalabilitatii structurii de control

Intrucat strategia DMPC ofera un cadru potrivit controlului sistemelor com-plexe, pentru aceasta teza urmatorul set de obiective specifice a fost definit:1) sa se dezvolte strategii DMPC eficiente din punct de vedere al comunicatiilordintre agenti, potrivite sistemelor cu doi agenti.2) sa se generalizeze algoritmii dezvoltati ın cadrul primului obiectiv ıntr-o formu-lare multi-agent.3) sa se proiecteze o strategie de control hibrida non-cooperativa / cooperativa.4) sa se investigheze capabilitatile din perspectiva industriala a algoritmilor DMPCpropusi pentru sistemele cu agenti multipli.

In aceasta teza sunt formulate cateva ipoteze de lucru:1) prezenta unei retele de comunicatie sigure din perspectiva atacurilor cibernetice.2) toate intentiile agentilor implicati sunt bine intentionate, ceea ce ınseamna cainformatia transmisa este corecta.3) sub-sistemele sunt cuplate prin intrarii sau stari;

Astfel, aceasta teza ısi propune solutionarea obiectivelor mentionate mai sus.

CAPITOLUL 1 1-3

1.3 Lista publicatiilor

Aceasta teza are la baza articole publicate sau trimise spre publicare. O lista com-pleta a publicatiilor care alcatuiesc suportul acestei teze este prezentata ın cele ceurmeaza.

Capitolul 2 contine rezultatele prezentate ın:

• A. Maxim, C. M Ionescu, C. Copot, R. De Keyser, C. Lazar, Multivaria-ble model-based control strategies for level control in a quadruple tank pro-cess, In Proceedings of the 17th International Conference on System Theory,Control and Computing, Sinaia, Romania, Oct. 11-13, pages 343-348, 2013(indexed ISI Proceedings).

• A. Maxim, C. F. Caruntu, and C. Lazar. Implementation issues for distri-buted model predictive control of two agents systems. Buletinul InstitutuluiPolitehnic din Iasi, Tome LX(LXIV), Fasc. 3-4, pages 69 - 85, 2014 (inde-xed Zentralblatt).

• A. Maxim, C. Lazar, and C. F. Caruntu. A computationally efficient non-cooperative distributed model predictive control algorithm for two agentssystems. In Proceedings of the 20th International Conference on ControlSystems and Computer Science, Bucharest, Romania, May 27-29, pages673 - 678, 2015 (indexed ISI Proceedings).

• A. Maxim, C. M. Ionescu, C. F. Caruntu, C. Lazar, and R. De Keyser. Refe-rence Tracking using a Non-Cooperative Distributed Model Predictive Con-trol Algorithm. In Proceedings of the 11th IFAC Symposium on Dynamicsand Control of Process Systems, including Biosystems,Trondheim Norway,June 6-8, pages 1079 - 1084, 2016 (indexed ISI Proceedings).

• A. Maxim, C. F. Caruntu, and C. Lazar. Distributed model predictive con-trol algorithm for vehicle platooning. In Proceedings of the 20th Internatio-nal Conference on System Theory, Control and Computing, Sinaia, Roma-nia, Oct. 13-15, pages 657 - 662, 2016 (indexed ISI Proceedings).

• A. Maxim, C. F. Caruntu, and C. Lazar. Cruise and headway control for ve-hicle platooning using a distributed model predictive control algorithm. InProceedings of the 21st International Conference on System Theory, Con-trol and Computing, Sinaia, Romania, Oct. 19-21, pages 146 - 151, 2017(indexed ISI Proceedings).

• C. F. Caruntu, C. Braescu, A. Maxim, R. C. Rafaila and A. Tiganasu, Dis-tributed model predictive control for vehicle platooning: A brief survey, In

1-4 INTRODUCERE

Proceedings of the 20th International Conference on System Theory, Con-trol and Computing, Sinaia, Romania, Oct. 13-15, pages 644-650, 2016.(indexed ISI Proceedings).

• C. F. Caruntu, A. Maxim, R. C. Rafaila, Multiple-Lane Vehicle Platooningbased on a Multi-Agent Distributed Model Predictive Control Strategy, InProceedings of the 22nd International Conference on System Theory, Con-trol and Computing, Sinaia, Romania, Oct. 10-12, pages 759-764, 2018.(indexed ISI Proceedings).

Rezultatele prezentate ın Capitolul 3 sunt publicate ın:

• A. Maxim, D. Copot, R. De Keyser and C. M. Ionescu. An industrially rele-vant formulation of a distributed model predictive control algorithm basedon minimal process information. In Journal of Process Control, vol. 68,pages 240 - 253, 2018 (indexed ISI).

• A. Maxim, C. M. Ionescu and R. De Keyser. Modeling and identification ofa coupled sextuple water tank system. In Proceedings of the IEEE Internatio-nal Conference on Automation, Quality and Testing, Robotics, Cluj-Napoca,Romania, May 19-21, pages 393-398, 2016 (indexed ISI Proceedings).

• D. Copot, A. Maxim, R. De Keyser and Clara Ionescu, Multivariable con-trol of sextuple tank system with non-minimum phase dynamics, In Procee-dings of the International Conference on Automation, Quality and Testing,Robotics, Cluj-Napoca, Romania, May 19-21, pages 399-404, 2016 (inde-xed ISI Proceedings).

Capitolul 4 se bazeaza pe:

• A. Maxim, J. M. Maestre, C. F. Caruntu, and C. Lazar. Robust coalitionaldistributed model predictive control algorithm with stability via terminalconstraint. In Proceedings of the 2018 IEEE Conference on Control Tech-nology and Applications, Copenhagen, Denmark, August 21-24, pages 964- 969, 2018 (indexed ISI Proceedings).

• A. Maxim, J. M. Maestre, C. F. Caruntu, and C. Lazar. Min-max coalitionalmodel predictive control algorithm. Accepted at 22nd International Confe-rence on Control Systems and Computer Science, Bucharest, Romania.

Rezultatele din Capitolul 5 sunt prezentate ın:

• A. Maxim, R. Ferracuti, C. M. Ionescu. A theoretical framework to deter-mine RHP zero dynamics in sequential interacting sub-systems, Algorithms,vol. 12, page 120, 2019 (indexed ISI).

2Algoritmi non-cooperativi de control

predictiv distribuit (DPCA) pentrusisteme cu doi-agenti

In acest capitol sunt propuse trei strategii non-cooperative de control predictiv dis-tribuit. Intr-o formulare generala, fie un proces care poate fi descompus ın maimulte sub-sisteme care sunt cuplate dinamic, formand vecinatati. Un agent (sauregulator) care controleaza unul dintre aceste sub-sisteme are disponibile doarinformatii locale cu privire la dinamica si are acces doar la masuratorile locale.Intrucat sub-sistemul este interconectat cu celelalte sub-sisteme din vecinatatea sa,agentul are nevoie de informatii aditionale pentru a calcula solutia locala. Acesteinformatii sunt transmise ıntre agentii vecini prin intermediul unei retele de comu-nicare.

Fie un sistem liniar invariant ın timp, alcatuit din doua sub-sisteme, cuplatedinamic prin intrari descris prin:

xp(k + 1) = Apxp(k) +Bpu(k)y(k) = Cpxp(k)

(2.1)

unde k este variabila de timp discret, u ∈ Rnu , y ∈ Rny si xp ∈ Rnxp suntvariabilele de intrare, stare si respectiv iesire. Fiecare sub-sistem i ∈ 1, 2 estedefinit prin urmatoarea dinamica :

xpi(k + 1) = Apixpi(k) +Bpiiui(k) +Bpijuni(k)yi(k) = Cpixpi(k)

(2.2)

2-2 ALGORITMI NON-COOPERATIVI DPCA PENTRU SISTEME CU DOI-AGENTI

unde ui ∈ Rnui , yi ∈ Rnyi si xpi ∈ Rnxpi corespund variabilelor de stare, intraresi iesire pentru fiecare sub-sistem i, j ∈ 1, 2, i 6= j. Indicele ni noteaza vecinulfiecarui sub-sistem i (i.e. un1 = u2 si un2 = u1).

Se considera urmatoarele restrictii pentru variabilele de stare si intrare:

xpi ∈ Xpi, ui ∈ Ui (2.3)

unde multimile Xpi si Ui, i ∈ 1, 2,sunt definite prin inegalitati liniare.Pentru fiecare agent Ci, o problema de optimizare generica este definita ın

functie de predictorul de stare:

Xi(k) = [xi(k + 1|k) . . . xi(k +Np|k)]T

si secventa viitoare a intrarilor

Ui(k) = [ui(k|k) . . . ui(k +Nc − 1|k)]T

astfel:

Ji(xi(k), Ui(k), Uni(k)) = XTi (k)QiXi(k) + UT

i (k)RiUi(k) (2.4)

unde Qi = diag(Qi, . . . , Qi) si Ri = diag(Ri, . . . , Ri) sunt matricele de pon-derare a starilor si respectiv intrarilor (Qi ≥ 0, Ri > 0), Np este orizontulde predictie, Nc este orzontul de comanda (ui(k + l|k) = ui(k + Nc − 1),l ∈ Nc, . . . , Np, Nc ≤ Np).

Notati ca (2.4) depinde implicit de traiectoria de comanda Uni(k) primita de laagentul vecin si considerata variabila cunoscuta, prin formularea predictorului destare Xi(k).

Conform literaturii de specialitate, una dintre cele mai comune cerinte de con-trol este urmarirea de catre iesire a unei referinte constante (i.e. asigurarea uneierori stationare nule ın problema de control). Astfel, pornind de la modelul (2.2)si functia de optimizare (2.4), sunt propuse trei strategii DPCA cu diferite metodede solutionare a problemei de urmarire, fiecare cu avantajele si dezavantajele sale:

• DPCA1 ın care o problema de urmarire cu referinta non-zero a fost transla-tata ıntr-o formulare cu referinta zero, folosind un model centralizat al siste-mului pentru a calcula valorile de regim stationar pentru intrari si stari;

• DPCA2 ın care sa folosit un ‘model de viteza’, augumentand vectorul starilorcu incrementele variabilelor de stare si de iesire;

• DPCA3 ın care a fost utilizat un model intrere-stare-iesire extins, intro-ducand ın mod explicit o stare definita ca integrala a erorii de urmarire.

CAPITOLUL 2 2-3

Astfel ın DPCA1, problema de urmarire a referintei a fost abordata ın ma-niera clasica centralizata, calculand valorile de regim stationar corespunzatoare[1]. Dupa aceea, a fost realizata o schimbare de variabila pentru variabilele pro-cesului, scriindu-le ca deviatii de la volorile de regim stationar. Aceasta abordare,desi efectiva functioneaza sub ipoteza ca modelul de predictie este identic cu pro-cesul, ceea ce nu este cazul in testele experimentale, unde apar frecvent erori demodelare. Prin urmare, ın DPCA2, a fost introdus un integrator ın bucla de con-trol, prin redefinirea modelului fiecarui sub-system ıntr-o formulare cu ‘model deviteza ’ (i.e. folosind variabile incrementale de stare si intrare). Deoarece DPCA1

si DPCA2 sunt potrivite pentru sun-sisteme cuplate prin intrari, DPCA3 este pro-iectat pentru sub-sisteme cuplate dinamic prin stari, cu o arhitectura de comunicareın lant. In cel de-al treilea algoritm, problema urmaririi referintei a fost rezolvataprin extinderea modelelor locale, cu o stare aditionala definita integrala din eroareade urmarire.

Toti algoritmi propusi ın acest capitol au fost validati cu succces atat prin simu-lare cat si prin experimente de timp real. Astfel, algoritmul DPCA1 a fost validatprin simulare folosind modelul unui sistem multivariabil cu patru rezervoare dinliteratura, ın timp ce algoritmului non-cooperativ DPCA2 a fost validat experi-mental pe sistemul cu patru rezervoare de la Universitatea Ghent. AlgoritmuluiDPCA3 a fost validat prin simulare considerand modelul unui pluton cu doua sirespectiv cinci vehicule.

3Algoritmi non-cooperativi de control

predictiv distribuit (DPCA) pentrusisteme multi-agenti

In acest capitol, algoritmul DPCA2 descris ın Capitolul 2, si proiectat pentru sis-teme cu doi-agenti este extins la o formulare pentru agenti multipli. In plus, estepropusa o strategie DPCA bazata pe model intrare-iesire.

Ambii algoritmi sunt dezvoltati ın aceleasi ipoteze, si anume algoritmii non-cooperativi sunt potriviti pentru sub-sisteme cuplate dinamic prin intrari, cu restrictiipentru intrari si / sau iesiri. Metodele sunt proiectate avand ın consideratie volu-mul de informatie schimbata ıntre agenti si efortul computational. Problemele decontrol sunt definite ca urmarirea unei referinte constante cu eroare stationara nula.

3.1 Extensia algoritmului DPCA2 (DPCA2ext)

In aceasta sectiune este prezentata o extesie pentru N sub-sisteme a algoritmuluinon-cooperativ bazat pe ‘model de viteza’ formulat pentru sisteme cu doi agenti sipublicat ın [12].

Fie o clasa de sisteme liniare invariante ın timp, alcatuite din N sub-sisteme,cuplate dinamic prin intrari inputs avand restrictii pe stare si intrare. Fiecare sub-sistem i ∈ N , undeN noteaza multimea 1, . . . , N ⊆ N are starea xpi ∈ Rnxpi ,intrarea ui ∈ Rnui si iesirea yi ∈ Rnyi si este descris prin urmatorul model

3-2 ALGORITMI NON-COOPERATIVI DPCA PENTRU SISTEME MULTI-AGENTI

dinamic:

xpi(k + 1) = Apixpi(k) +Bpiiui(k) +∑j∈Ni

Bpijuj(k) (3.1)

yi(k) = Cpixpi(k), ∀i ∈ N (3.2)

unde k este indexul de timp discret, nui, nyi

si nxpisunt dimensiunile multimilor,

si Api, Bpii, Bpij si Cpi sunt matrici cu dimensiune adecvate.Sub-sistemele dintr-o vecinatate sunt definite pe baza marimilor de intrare de

cuplare. Multimea Ni = j ∈ N : Bpij 6= 0 noteaza toti vecinii sub-sistemuluii, excluzand sub-sistemul i (i.e., agentul Ci care este regulatorul local pentru sub-sistemul i, preimeste informatiea de la agentul Cj , daca indexul j ∈ Ni si trimiteinformatia catre agentul Cj daca indexul i ∈ Nj [13]).

Se considera urmatoarele restrictii pentru stari si intrari:

xpi ∈ Xi, ui ∈ Ui, i ∈ N (3.3)

Actiunea integrala este introdusa folosind un ‘model de viteza’, prin aplicareaoperatorului de diferentiere ın of (3.1) obtinand urmatoarea formacomprimata:

xi(k + 1) = Aixi(k) +Bii∆ui(k) +∑

j∈NiBij∆uj(k)

yi(k) = Cixi(k), i ∈ N(3.4)

Eficienta computationala este asigurata prin siftarea cu un element a traiectori-ilor optimale primite de la vecini la perioada de esantionare anterioara si doublareaultimului element, obtinand:

∆Uj(k)j∈Ni =

∆u∗j (k|k − 1)

∆u∗j (k + 1|k − 1)...

∆u∗j (k +Nc − 2|k − 1)∆u∗j (k +Nc − 2|k − 1)

. (3.5)

Functia de cost locala este definitpentru fiecare agent Ci astfel:

Ji(xi(k),∆Ui(k), ∆Uj(k)j∈Ni) =

(Rsi − Yi)T (Rsi − Yi) + ∆Ui(k)TRi∆Ui(k) (3.6)

Secventa de intrare optimala

∆U∗i (k) = [∆u∗i (k|k) . . . ∆u∗i (k +Nc − 1|k)]T

este calculata prin minimizarea (3.6), definita pe baza predictorului de iesire:

Yi = [yi(k + 1|k) . . . yi(k +Np|k)]T

CAPITOLUL 3 3-3

unde i ∈ N , Np este orzontul de predictie; Nc ≤ Np este orizontul de control;.Rsi ∈ RNp este traiectoria de referinta predictata. Matricea de ponderare Ri =

αINc, α ≥ 0 penalizeaza valorile ∆Ui.

Solutia optimala se obtine minimizand (3.6) cu respect la (3.3).

3.2 Algoritmul non-cooperativ DPCA4

In aceasta sectiune este prezentat un algoritm non-cooperativ bazat pe model intrare-iesire pentru sub-sisteme cuplate prin intrari, care a fost publicat ın [14]. Problemaurmaririi referintei este solutionata introducand ın bucla de control un integratorca model pentru semnalul de perturbatie.

Algoritmul propus DPCA4 are radacinile ıntr-un algoritm DPCA non-liniarpentru sisteme cu doi-agenti, introdus ın [15], bazat pe metodologia Extended Pre-diction Self-Adaptive Control (EPSAC).

Fie aceasi clasa de sisteme prezentata anterior, ın care modelul fiecarui sub-sistem i,∀i ∈ N este:

yi(k) = Gii(q−1)ui(k) +

∑j∈Ni

Gij(q−1)uj(k) + wi(k) (3.7)

unde q−1 operatorul de siftare ın timp; Gii(q−1), Gij(q

−1), ∀i ∈ N , ∀j ∈ Ni

sunt functii de transfer monice;Multimea Ni = j ∈ N : Gij(q

−1) 6= 0 noteaza vecinatatea sub-sistemuluii.

Termenul de perturbatie este notat cu wi, ∀i ∈ N , si definit ca zgomot albfiltrat [16]. Modelul perturbatiei este ales ca un integrator, pentru a asigura eroarestationara nula.

Se consideraurm atoarele restrictii pe intrare de tip inegalitate:

ui ∈ Ui, ∀i ∈ N (3.8)

Pentru a asigura eficienta computationala se foloseste aceasi modalitate de calcula traiectoriilor vecinilor, definita ın (3.5) si formulata corespunzator.

Fiecare agent Ci, ∀i ∈ N are urmatoarea functie de cost:

Ji(Yi(k), Ui(k), Uj(k)j∈Ni) = (Rsi(k)− Yi(k))T (Rsi(k)− Yi(k))

+ ∆Ui(k)TRi∆Ui(k)(3.9)

unde variabilele au aceasi definitie ca ın (3.6).

Diferentele conceptuale dintre cei doi algoritmi propusi pentru sisteme multi-agenti pot fi rezumate folosind urmatoarele criterii:

3-4 ALGORITMI NON-COOPERATIVI DPCA PENTRU SISTEME MULTI-AGENTI

• modelul procesului- DPCA2ext are un model intrare-stare-iesire cuplat prin intrari fara un modeladitional pentru perturbatii;- DPCA4 are un model intrare-iesire cuplat prin intrari cu un model supli-mentar pentru perturbatii;

• predictorul iesirii- ın DPCA2ext predictorul este calculat recursiv pornind de la modelul pro-cesului;- ın DPCA4 predictorul este alcatuit din doua componente : i) o predictie debaza si ii) o componenta de optimizare.

• actiunea integrala- ın DPCA2ext integratorul este introdus folosind un a ‘model de viteza’- ın DPCA4 integratorul este explicit introdus ca modelul perturbatiei.

Totusi, dincolo de aceste diferente, algoritmii propusi sunt implementati siproiectati similar, deoarece ambii sunt non-cooperativi, non-iterativi si agentii pri-mesc aceasi informatie de la vecini.

Ambii algoritmii formulati pentru sisteme multi-agent au fost validati cu suc-ces prin experimente de timp real, pe sistemul cu sase rezervoare disponibil laUniversitatea Ghent.

4Algoritmi hibrizi non-cooperativi /

cooperativi de control predictivdistribuit (DPCA) pentru sisteme

multi-agenti

In acest capitol sunt propusi trei algoritmi hibrizi non-cooperativi / cooperativi cumodalitati diferite de activare a coalitiilor.

Fie aceasi paradigma de lucru folosita ın capitolele anterioare, si anume un sis-tem care poate fi descompus ımai multe sub-sisteme cuplate dinamic prin intrari.La fiecare moment de esantionare, algoritmul DPCA hibrid porneste de la o ar-hitectura de control non-cooperativa ın carefiecare sub-sistem este controlat localde catre un agent, iar informatia de cuplare este privita ca incertitudine ın modelulnominal (i.e. ın care nu sunt considerate efectele interactiunilor). Solutia optimalalocala este calculata folosind informatii primite de la vecini.

In functie de circumstantele de lucru, incertitudinea primita la fiecare momentde esantionare poate produce infezabilitatea solutiei locale. Cand apare aceastasituatie, agentii decid sa formeze o coalitie (sau un grup cooperativ), ın care o partedintre sub-sistemele locale apartinand unei vecinatati fuzioneaza ıntr-o singura en-titate, pentru a reduce nivelul de incertitudine din sistem. La nivel de coalitie serezolva o problema de optimizare cooperativa, ın timp ce restul agentilor ramasi ınafara coalitiei rezolva o problema de optimizare non-cooperativa, ramanand impli-cit cuplati. La finalul fiecarei perioade de esantionare, dupa ce solutiile optimale

4-2 ALGORITMI HIBRIZI DPCA PENTRU SISTEME MULTI-AGENTI

au fost calculate si transmise ıntre vecini, coalitiile formate sunt dizolvate si pro-cedura se repeta.

Este important de remarcat faptul ca, ın cazuri extreme, toate sub-sistemele potfi incluse ıntr-o coalitie, rezultand o arhitectura de control complet cooperativa (saucentralizata) sau pot opera ıntr-o formulare non-cooperativa, daca toate problemelelocale de optimizare au solutie fezabila.

Fie un sistem care poate fi partitionat ın N sub-sisteme cuplate dinamic prinintrari. Fieare sub-sistem i, ∀i ∈ N , undeN este o multime 1, . . . , N ⊆ N estedescris prin urmatoarea dinamica:

xi(k + 1) = Aiixi(k) +Biiui(k) + wi(k)

wi(k) =∑j∈Ni

Bijuj(k) (4.1)

yi(k) = Cixi(k)

cu xi ∈ Rnxi , ui ∈ Rnui , wi ∈ Rnwi si yi ∈ Rnyi definind variabilele de stare,intrare, incertitudine pe intrare, si respectiv iesire. Aii, Bii, Bij and Ci suntpatrici cu dimensiuni adecvate. Multimea vecinilor unui sub-sistem este notata cuNi.

Se considera urmatoarele restrictii pentru variabilele de iesire, intrare si incer-titudine pentru intrare:

yi ∈ Yi, ui ∈ Ui, wi ∈ Wi, ∀i ∈ N (4.2)

unde Yi, Ui siWi sunt multimi cu inegalitati liniare, siWi = ⊕j∈Ni

BijUj , unde ⊕

noteaza suma Minkowski.Fiecare agent rezolva urmatoarea problema min-max de optimizare cu restrictii:

:Ji(x

0i ) = min

u0i ,...,u

Np−1

i

umini ,umax

i

maxw0

i ,...,wNp−1

i

‖Rwiumini ‖1+‖Rwi

umaxi ‖1

+

Np−1∑l=0

‖rli − yli‖1+‖Ruiuli‖1+‖rNp

i − yNp

i ‖1

s. t. (4.1)

yli ∈ Yi, l = 1, . . . , Np − 1

yNp

i ∈ Ωi

umini ≤ umin

i ≤ uli ≤ umaxi ≤ umax

i , l = 0, . . . , Np − 1

umini , umax

i ≥ 0

wmini ≤ wl

i ≤ wmaxi

(4.3)

unde yli = yi(k + l|k) noteaza predictorul de iesire pentru sun-sistemul i cal-culat la momentul k + l; traiectoria predictata este obtinuta pornind de la sta-

CAPITOLUL 4 4-3

rea initiala x0i = xi(k) masurata la momentul k, si aplicand modelului (4.1)

secventa de intrareu0i , . . . , u

Np−1i

si secventa de incertitudini pentru intrari

Wi = ⊕j∈Ni

BijUj ; Np este orizontul de predictie; rli este traiectoria de referinta

impusa pentru iesiere; ‖uli‖1 noteaza norma-1 ın Rnui ; Rui∈ Rnui

×nui este ma-tricea de ponderere a intrarilor si Rwi

∈ Rnwi×nwi este matricea de ponderare a

limitelor auto-impuse pentru intrari; umini , umax

i , wmini , wmax

i sunt limitele minime simaxime pentru restrictiile pentru intrari si incertitudini; umin

i si umaxi sunt limitele

minime si maxime auto-impuse pentru intrari, care vor fi comunicate interativ ıntrevecini.

Diferenta dintre algoritmii hibrizi propusi consta ın: i) procedura de activarea coalitiei (i.e. cand strategia de control non-cooperativa este schimbata ıntr-oarhitectura partial sau complet cooperativa) si ii) procedura de selectie a coalitiei(i.e. carora dintre agenti le este permis fuzionarea ıntr-o coalitie).

Astfel, ın algoritmul DPCA hibrid notat DPCAi, coalitia este activata atuncicand nivelul de incertitudine primit de la vecini depaseste un prag arbitrar impus.In aceasta situatie, toate posibilele coalitii sunt verificate si doar una singura esteactivata ın mod aleator. In algoritmul hibrid DPCAii este pastrata aceasi proce-dura aleatoare de selectie a coalitiei, ınsa mecanismul de activare a coalitei esteımbunatatit prin introducerea unui tabel predefinit cu posibile seturi terminale in-variante, ce pot fi folosite ca restrictii terminale ın problemele de optimizare lo-cale. Cel de-al treilea algoritm hibrid DPCAiii are aceasi procedura de activarea coalitiei ca si algoritmul DPCAii, si propune o metoda secventiala de selectarea coalitiei. Astfel, ın locul alegerii aleatoare a unei coalitii viabile din toate po-sibitatile, se verifica pentru prima data doar coalitiile ıntre doi agenti, iar ın cazde infezabilitate a solutiei coalitiei, un alt agent este ıncorporat. In aceasta ma-niera, dimensiunea grupului cooperativ este crescuta gradual, evitand ıncarcareacomputationala excesiva.

Toti algoritmi propusi ın acest capitol au fost validati cu succces prin simularefolosind modelul unui sistem compus din patru sub-sisteme de tip dublu integratorcuplate pe intrare si care pot genera coalitii de doi, trei sau patru agenti.

5Studiu de caz comparativ

In acest capitol este prezentat un studiu de caz care analizeaza trei dintre cei maisemnificativi algoritmi DPCA propusi ın aceasta teza comparand rezultatele siperformantele acestora obtinute ın simulare pe acelasi proces. Astfel, au fostselectati spre analiza DPCA2ext, DPCA4 si o combinatie ıntre algoritmii hibriziDPCAi si DPCAiii, care va fi numit ın continuare algoritmul hibrid DPCAi,iii.Mai mult decat atat, strategiile de control distribuit au fost evaluate cu respect laalgoritmii predictivi centralizat si descentralizat bazate pe ‘model de viteza’, no-tate C-PCA2ext si respectiv dc-PCA2ext.

Algoritmul hibrid DPCAi,iii propus are urmatoarele caracteristici:

1. a fost obtinut combinand elemente din DPCAi si DPCAiii.

2. procedura de activare a coalitiei este cea din DPCAi (i.e. bazata pe o valoarede prag).

3. procedura de selectie a coalitiei este cea secventiala propusa ın DPCAiii.

4. problema de urmarire a referintei este rezolvata prin introducerea unei starisuplimentare ca integrala a erorii de predictie (introdusa ın DPCA3).

Toti algoritmii au fost testati pe un proces cu opt rezervoare, obtinut prinınserierea a doua sisteme cu patru rezervoare, ıntr-o arhitectura circulara. In Figura5.1 este prezentata diagrama schematica a sistemului cu opt rezervoare. Obiectivulde control este de a reglarea nivelelor de apa din rezervoarele inferioare (L2, L4,

5-2 STUDIU DE CAZ COMPARATIV

Figura 5.1: Diagrama schematica a sistemului cu opt rezervoare.

L6, L8) prin manipularea debitelor de apa (i.e. tensiunile de alimentare a celorpatru pompe Vp1, Vp2, Vp3, Vp4).

Modelul neliniar al sistemului a fost obtinut folosind legea lui Bernoulli siecuatiile de echilibru a maselor. Acesta a fost liniarizat prin dezvoltare ın serieTaylor ın jurul unui punct de echilibru impus, obtinandu-se:

x = Acx+ Bcuy = Ccx

(5.1)

unde x = [x1 . . . x8]T , u = [u1 . . . u4]T si y = [y1 . . . y4]T sunt variabilele destare, intrare si iesire.

Conform analizei din [17], sistemul cu opt rezervoare avand modelul de timpcontinuu (5.1) are o dinamica de faza minima, deoarece contine un numar par desub-sisteme (i.e. patru module).

Pentru toate metodele propuse ın aceast studiu de caz au fost impuse urmatoarelelimite pentru restrictii:

• restrictii pentru intrare 0 ≤ ui(V) ≤ 22; ∀i ∈ 1, . . . , 4;

• restrictii pentru iesire 0 ≤ yi(cm) ≤ 15; ∀i ∈ 1, . . . , 4;

Algoritmii DPCA2ext, DPCA4ext, C-PCA2ext si dc-PCA2ext au urmatorii parametride optimizare:

• perioada de esantionare Ts = 1 secunda, orizontul de predictie Np = 30esantioane si orizontul de control Nc = 3 esantioane;

• matricile de ponderare a intrarilor Ri = αINc , cu α=10; ∀i ∈ 1, . . . , 4.

In plus, algoritmul DPCAi,iiia fost testat cu urmatorii parametri de optimizare:

CAPITOLUL 5 5-3

• reestrictii pentru incertitudini 0 ≤ wi(V) ≤ 22; ∀i ∈ 1, . . . , 4;

• valoarea de prag pentru activarea coalitiei γ = 11.

• orizontul de predictie Np = 50 esantioane si orizontul de control Nc = 50esantioane;

• matricile de ponderare a intrarilor Ri = αINc, cu α=0.1; ∀i ∈ 1, . . . , 4.

Ideea de baza a fost obtinerea celor mai bune rezultate pentru cei trei algoritmi,atunci cand acestea sunt testati pe acelasi proces. Performanta algoritmilor a fostanalizata folosind urmatorii indici:

J1 =

Tend∑k=Tstart

N∑i=1

((refi(k)− yi(k))2 + α(ui(k))2) (5.2)

J2 =

Tend∑k=Tstart

N∑i=1

((refi(k)− yi(k))2) (5.3)

J3 =

Tend∑k=Tstart

N∑i=1

(|refi(k)− yi(k)|+ α|ui(k)|) (5.4)

J4 =

Tend∑k=Tstart

N∑i=1

(|refi(k)− yi(k)|) (5.5)

unde Tstart = 90 este ınceputul perioadei de evaluare, Tend = 500 este durata desimulare si N = 4 este numarul de sub-sisteme.

In Figura 5.2 sunt prezentate rezultatele comparative ıntr-un experiment cuschimbarea referintei de la 10 cm la 12 cm. Rezultatele arata faptul ca pentru ambiialgoritmi DPCA2ext si DPCA4, iesirile se stabilizeaza ın 30 secunde, ıntrucat ambiialgoritmi au metodologii similare. Algoritmul hibrid DPCAi,iii se stabilizeaza ın5 secunde avand o comanda mult mai agresiva.

Indicii de performanta propusi, cu valorile numerice date ın Tabelul 5.1 aratafaptul ca algoritmul DPCAi,iii a obtinut valori minime pentru toti indicii, ın timpce strategiile DPCA2ext si DPCA4 au performante similare cu metoda centralizatasi cea descentralizata.

5-4 STUDIU DE CAZ COMPARATIV

90 100 110 120 130 140 150 160 170 180 190 2009.5

10

10.5

11

11.5

12

12.5

Time(samples)

Leve

l (cm

)

L2 ref

L2 DPCA2ext

L2 DPCA4

L2 DPCAi,iii

L2 dc−PCA2ext

L2 C −PCA2ext

(a) Iesirii

90 100 110 120 130 140 150 160 170 180 190 2000

5

10

15

20

Time(samples)

Pum

p V

olta

ge (

V)

U1 DPCA2extU1 DPCA4

U1 DPCAi,iii

U1 dc−PCA2extU1 C −PCA2ext

(b) Intrari.

Figura 5.2: Rezultate comparative obtinute ın simulare ıntr-un test de urmarirea referinteipentru sub-sistemul 1, pentru DPCA2ext (linie rosie continua), DPCA4 (linie verdecontinua), DPCAi,iii (linie albastra continua), C-PCA2ext (linie rosie ıntrerupta) si

dc-PCA2ext (linie rosie punctata)

Control Algorithm (×10−3) J1 J2 J3 J4

DPCA2ext 305.94 0.2156 70.093 0.1996DPCA4 305.49 0.2171 70.088 0.2210hybrid DPCAi,iii 3.9571 0.2026 0.8276 0.1251C-PCA2ext 304.41 0.2172 70.219 0.2868dc-PCA2ext 305.51 0.2220 70.147 0.2635

Tabela 5.1: Analiza comparativa bazata pe indicii de performanta Ji, i ∈ 1, . . . , 4pentru algoritmii DPCA2ext, DPCA4, DPCAi,iii, C-PCA2ext si dc-PCA2ext

6Concluzii si perspective

In acest capitol sunt prezentate concluziile acestei teze, contributiile si perspecti-vele de viitor.

Rezultatele din aceasta teza sunt obtinute din doua perspective: dezvoltarea dealgoritmi non-cooperativi distribuiti pentru sisteme cu doi sau mai multi agenti,ilustrate ın Capitolele 2 si 3, si explorarea unei noi directii de control, prin combi-narea caracteristicilor non-cooperative si cooperative (numita stategie coalitionala),propusa ın Capitolul 4. Mai mult, ın Capitolul 5 este propus un studu de caz com-parativ ıntre cei mai semnificativi algoritmi pentru agenti multipli.

Toti algoritmii propusi ın aceasta teza pt fi clasificati conform urmatoarelorproprietati [18]:

• dimensiunea sistemului: i) sistem cu doi-agenti sau ii) sistem multi-agenti;

• informatiile regulatorului: i) informatie locala sau ii) informatie globala;

• colaborarea regulatoarelor: i) non-cooperativ, ii) cooperativ sau iii) hibrid;

• efort computational: i) iterativ sau ii) non-iterativ;

• tipul interactiunii: i) intrari sau ii) stari;

• rezultate: i) simulare sau ii) experimental;

Principalele contributii se refera la cele trei obiective principale ale tezei, dupacum urmeaza:

6-2 CONCLUZII SI PERSPECTIVE

1) dezvoltarea unor algoritmi non-cooperativi de control predictiv distribuit pen-tru sistemele cu doi-agenti si generalizarea acestora pentru sistemele cu agentimultipli

- dezvoltarea a trei algoritmi non-cooperativi de control predictiv distribuitpentru sisteme cu doi agenti (i.e. DPCA1,2,3), cu o singura etapa de comunicareıntr-o perioada de esantionare, eficienti din punct de vedere computational.

- rezolvarea problemei reglarii pentru cele trei structuri de control prin treimetode diferite.

- dezvoltarea unui algoritm non-cooperativ de control predictiv distribuit pen-tru sisteme cu agenti multipli DPCA2ext prin generalizarea algoritmului DPCA2.

- dezvoltarea unui algoritm non-cooperativ de control predictiv distribuit pen-tru sisteme cu agenti multipli DPCA4 dezvoltat pe baza metodologiei EPSAC.2) dezvoltarea unor algoritmi hibrizi (non-cooperativi / cooperativi) bazati pe

controlul predictiv coaliional.- dezvoltarea algoritmilor hibrizi DPCAi,ii,iii cu diferite metode de activare si

selectie a coalitiei dintre agenti vecini, cu un volum redus de informatie transmisla fiecare moment de esantionare.3) validarea algoritmilor propusi atat prin simulare cat si prin experimente detimp real

- validarea prin simulare a algoritmului DPCA1 folosind modelul unui sistemmultivariabil cu patru rezervoare din literatura.

- validarea experimentala pe sistemul cu patru rezervoare de la UniversitateaGhent a algoritmului non-cooperativ DPCA2.

- validarea prin simulare a algoritmului DPCA3, considerand modelul unuipluton cu doua si respectiv cinci vehicule.

- validarea experimentala pe sistemul cu sase rezervoare de la UniversitateaGhent a algoritmilor non-cooperativi DPCA2ext si DPCA4.

- validarea prin simulare a algoritmilor hibrizi DPCAi,ii,iii folosind modelulunui sistem compus din patru sub-sisteme de tip dublu integrator.

- realizarea unui studiu comparativ ıntre DPCA2ext, DPCA4 si DPCAi,iii folo-sind ın simulare un model al unui sistem cu opt rezervoare.

Continutul acestei teze ofera mai multe directii de cercetare viitoare:1) Algoritmii hibrizi propusi ın aceasta teza sunt ınca ın faza incipienta. In vii-

tor, investigatiile vor urmari complexitatea metodelor (activarea mai multor coalitiiın aceasi perioada de esantionare).

2) Investigarea capabilitatilor strategiilor distribuite analizate ın studiul de caz,prin analiza unor scenarii mult mai complexe, (sisteme de dimensiuni mari).

3) Introducerea de protocoale de siguranta, care sa solutioneze ıntarzierea pa-chetelor de date atunci cand se foloseste o retea de comunicatie neideala.

Bibliografie (selectie)

[1] J. B. Rawlings and D. Q. Mayne. Model predictive control: Theory andDesign. Nob Hill Publishing, 2013.

[2] J. M. Maciejowscki. Predictive control with constraints. Prentice Hall, 2002.

[3] R. Scattolini. Architectures for distributed and hierarchical Model PredictiveControl A review. Journal of Process Control, 19(5):723–731, 2009.

[4] P. D. Christofides, R. Scattolini, D. Munoz de la Pena, and J. Liu. Distributedmodel predictive control: A tutorial review and future research directions.Computers and Chemical Engineering, 51(-):21–41, 2013.

[5] J. M. Maestre, D. Munoz de la Pena, A. Jimenez Losada, E. Algaba, andE. F. Camacho. A coalitional control scheme with applications to cooperativegame theory. Optimal Control Applications and Methods, 35(5):592–608,2014.

[6] M. Jilg and O. Stursberg. Hierarchical distributed control for interconnectedsystems. In Proceedings of the 13th IFAC Symposium on Large Scale Com-plex Systems: Theory and Applications, Shanghai, China, July 7-10, pages419–425, 2013.

[7] F. Fele, J. M. Maestre, M. Hashemy, D. Munoz de la Pena, and E. F. Cama-cho. Coalitional model predictive control of an irrigation canal. Journal ofProcess Control, 24(4):314–325, 2014.

[8] F. Fele, J. M. Maestre, and E. F. Camacho. Coalitional control: Cooperativegame theory and control. IEEE Control Systems, 37(1):53–69, 2017.

[9] J. M. Maestre and H. Ishii. A Page Rank based coalitional control scheme.International Journal of Control, Automation and Systems, 15(5):1983–1990,2017.

[10] J. M. Maestre, D. Munoz de la Pena, and E. F. Camacho. Distributed modelpredictive control based on a cooperative game. Optimal Control Applica-tions and Methods, 32(2):153–176, 2011.

6-4 REFERINTE 6

[11] L. Wang. Control System Design and Implementation Using MATLAB.Springer-Verlag, 2009.

[12] A. Maxim, C. M. Ionescu, C. F. Caruntu, C. Lazar, and R. De Keyser. Refe-rence Tracking using a Non-Cooperative Distributed Model Predictive Con-trol Algorithm. In Proceedings of the 11th IFAC Symposium on Dynamicsand Control of Process Systems, including Biosystems, Trondheim Norway,June 6-8, pages 1079–1084, 2016.

[13] C. Conte, C. N. Jones, M. Morari, and M. N. Zeilinger. Distributed synthesisand stability of cooperative distributed model predictive control for linearsystems. Automatica, 69(-):117–125, 2016.

[14] A. Maxim, D. Copot, R. De Keyser, and C. M. Ionescu. An industrially re-levant formulation of a distributed model predictive control algorithm basedon minimal process information. Journal of Process Control, 68(-):240–253,2018.

[15] A. Dutta, C. M. Ionescu, and R. De Keyser. A pragmatic approach to distri-buted nonlinear model predictive control: Application to a hydrostatic drive-train. Optimal Control Applications and Methods, 36(3):369–380, 2015.

[16] R. De Keyser and C. M. Ionescu. The disturbance model in model basedpredictive control. In Proceedings of the 2003 IEEE Conference on ControlApplications, Istanbul, Turkey, June 25-25, pages 446–451, 2003.

[17] A. Maxim, R. Ferracuti, and C. M. Ionescu. A theoretical framework todetermine RHP zero dynamics in sequential interacting sub-systems. Algo-rithms, 12:120, 2019.

[18] J. M. Maestre and R. R. Negenborn. Distributed model predictive controlmade easy. Springer-Verlag, 2014.