Ministerul Educaţiei al Republicii Moldova

Universitatea Tehnică a MoldoveiCatedra Calculatoare

Disciplina: Procese Stochastice

RaportLucrare de laborator Nr.1

Tema: Lanturi Markov timp discret

A efectuat: st. gr. C-102 Efros Petru

A verificat: lect. univ. Oșovschi Mariana

Chişinău 2011

1 Scopul lucrarii: Studierea metodelor de redare, descriere, analiza a proprietatilor de comportare

ale lanturilor Markov timp discret si evaluare a caracteristicilor numerice de performanta.

2 Obiectivele lucrarii de laborator:

- pentru varianta formulata de profesor de construit graful lantului Markov; - de determinat matricea stochastica a DLM si de scris ecuatiile Kolmogorov; - de elaborat algoritmul si programul de calcul numeric al repartitiei probabilitatilor de stare la mementul de timp k; - de evaluat probabilitatea de aflare in S si valoarea respectiva a costului mediu C(k) si C (k) functie de durata functionarii DLM.3 Scurte date teoretice:

Procesele stochastice permit modelarea matematica a numeroaselor componente ale sistemelor tehnice, informationale, economicea, sociale etc. Un process stochastic X este o familie de variabile aleatoare(X ) definite de acelasi spatiu de probabilitate cu valori reale in acelasi spatiu de valori si indexate dupa un parametru .Un process stochastic se reprezinta prin : {X }.

In figura de mai jos este reprezentat grapfic exemplu de trecere din starea i in starea j caruia ii corespunde un eveniment de trecere dintr-o stare e in e , unde

durata de aflare in starea i,j(vezi Fig. 3.1.).

Fig. 3.1.Trecerea din starea i in starea j.

4 Graful lantului Markov.

Fig.1. Lant Markov ergodic.

Tab.№1.Probabilitatea de aflare in starea Si la momentul de timp k.Si\K 0 1 2 3 4 5 6 7 8 9 10 11 12

1 0.00 0.12 0.17 0.16 0.16 0.15 0.15 0.15 0.15 0.15 0.15 0.14 0.14

2 0.00 0.11 0.07 0.10 0.09 0.09 0.09 0.09 0.09 0.09 0.09 0.09 0.09

3 0.25 0.00 0.09 0.05 0.07 0.07 0.07 0.07 0.06 0.07 0.06 0.06 0.06

4 0.00 0.16 0.00 0.10 0.07 0.07 0.08 0.07 0.08 0.08 0.08 0.08 0.08

5 0.00 0.00 0.11 0.07 0.07 0.09 0.08 0.08 0.08 0.08 0.08 0.08 0.08

6 0.00 0.02 0.05 0.07 0.09 0.08 0.09 0.09 0.09 0.09 0.09 0.09 0.09

7 0.15 0.00 0.09 0.08 0.07 0.08 0.07 0.08 0.08 0.08 0.08 0.08 0.08

8 0.00 0.16 0.10 0.12 0.10 0.09 0.10 0.09 0.10 0.10 0.10 0.10 0.10

9 0.00 0.16 0.12 0.11 0.10 0.10 0.09 0.09 0.09 0.09 0.09 0.09 0.09

10 0.25 0.09 0.04 0.04 0.03 0.03 0.03 0.03 0.03 0.03 0.03 0.03 0.03

11 0.35 0.07 0.06 0.06 0.06 0.07 0.07 0.07 0.07 0.07 0.07 0.07 0.07

12 0.00 0.09 0.10 0.04 0.09 0.07 0.08 0.08 0.08 0.08 0.08 0.08 0.08

Fig.2. Lant Markov ergodic cu conditiile initiale schimbate

Tab.№.2.Probabilitatea de aflarea in starea Si la momentul de timp k.

Si\k 0 1 2 3 4 5 6 7 8 9 10

1 0.35 0.14 0.17 0.14 0.15 0.14 0.15 0.14 0.14 0.14 0.14

2 0.00 0.15 0.09 0.09 0.09 0.09 0.09 0.09 0.09 0.09 0.09

3 0.00 0.04 0.08 0.07 0.06 0.07 0.06 0.06 0.06 0.06 0.06

4 0.00 0.04 0.10 0.06 0.09 0.07 0.08 0.08 0.08 0.08 0.08

5 0.15 0.16 0.03 0.11 0.07 0.09 0.08 0.08 0.08 0.08 0.08

6 0.00 0.06 0.12 0.08 0.10 0.09 0.09 0.09 0.09 0.09 0.09

7 0.00 0.15 0.04 0.11 0.06 0.09 0.08 0.08 0.08 0.08 0.08

8 0.25 0.05 0.13 0.06 0.11 0.09 0.10 0.10 0.10 0.10 0.10

9 0.00 0.10 0.06 0.11 0.08 0.09 0.09 0.09 0.09 0.09 0.09

10 0.00 0.02 0.03 0.03 0.04 0.03 0.04 0.03 0.03 0.03 0.03

11 0.00 0.07 0.05 0.08 0.06 0.07 0.06 0.07 0.07 0.07 0.07

12 0.25 0.00 0.10 0.08 0.08 0.08 0.08 0.08 0.08 0.08 0.08

Fig.3. Lant Markov neergodic

Tab.№.3.Probabilitatea de aflare in starea Si la momentul de timp k.

Si\k 0 1 2 3 4 5 6 7 8 9 10 11 12

1 0.00 0.00 0.27 0.22 0.25 0.23 0.24 0.23 0.23 0.23 0.23 0.23 0.23

2 0.00 0.00 0.08 0.15 0.13 0.14 0.13 0.14 0.13 0.13 0.13 0.13 0.13

3 0.25 0.25 0.15 0.05 0.12 0.09 0.11 0.10 0.10 0.11 0.10 0.11 0.11

4 0.00 0.00 0.00 0.10 0.05 0.08 0.08 0.08 0.08 0.08 0.08 0.08 0.08

5 0.00 0.00 0.06 0.05 0.04 0.05 0.04 0.05 0.05 0.05 0.05 0.05 0.05

6 0.00 0.00 0.01 0.03 0.03 0.03 0.04 0.03 0.04 0.04 0.04 0.04 0.04

7 0.15 0.15 0.03 0.05 0.04 0.05 0.04 0.05 0.04 0.05 0.04 0.05 0.05

8 0.00 0.00 0.09 0.07 0.08 0.06 0.07 0.06 0.07 0.06 0.07 0.07 0.07

9 0.00 0.00 0.14 0.16 0.11 0.13 0.11 0.12 0.11 0.11 0.11 0.11 0.11

10 0.25 0.25 0.05 0.03 0.03 0.03 0.03 0.03 0.03 0.03 0.03 0.03 0.03

11 0.35 0.35 0.06 0.07 0.06 0.07 0.06 0.07 0.07 0.07 0.07 0.07 0.07

12 0.00 0.00 0.06 0.01 0.05 0.03 0.05 0.04 0.04 0.04 0.04 0.04 0.04

Fig.4. Lant Markov neergodic cu conditiile initiale schimbate.

Tab.№4.Probabilitatea de aflare in starea Si la momentul de timp k.

Si\k 0 1 2 3 4 5 6 7 8 9 10 11 k Ci

1 0.35 0.14 0.20 0.18 0.20 0.20 0.21 0.22 0.22 0.22 0.22 0.22 1 40

2 0.00 0.15 0.10 0.11 0.12 0.12 0.13 0.12 0.13 0.13 0.13 0.13 2 45

3 0.00 0.04 0.10 0.10 0.09 0.11 0.10 0.10 0.10 0.10 0.10 0.10 3 50

4 0.00 0.04 0.10 0.06 0.10 0.07 0.09 0.08 0.08 0.08 0.08 0.08 4 55

5 0.15 0.16 0.03 0.08 0.05 0.07 0.06 0.06 0.06 0.05 0.05 0.05 5 60

6 0.00 0.06 0.10 0.04 0.06 0.04 0.05 0.04 0.04 0.04 0.04 0.04 6 65

7 0.00 0.15 0.04 0.09 0.04 0.06 0.05 0.05 0.05 0.05 0.05 0.05 7 70

8 0.25 0.05 0.12 0.05 0.09 0.07 0.08 0.07 0.07 0.07 0.07 0.07 8 75

9 0.00 0.10 0.07 0.12 0.10 0.12 0.11 0.12 0.11 0.11 0.11 0.11 9 80

10 0.00 0.02 0.03 0.03 0.04 0.03 0.03 0.03 0.03 0.03 0.03 0.03 10 85

11 0.00 0.07 0.05 0.08 0.06 0.07 0.06 0.07 0.06 0.07 0.07 0.07 11 90

12 0.25 0.00 0.06 0.05 0.05 0.05 0.04 0.05 0.04 0.05 0.04 0.04 12 100

Lantul Markov ergodick Psb Psr Csb Csr C k Psb Psr Csb Csr C

1 0.27 0.71 21.50 45.3 66.8 1 0.44 0.56 31,5 32,55 63,6

2 0.45 0.55 33.65 32.85 66.5 2 0.42 0.58 32,15 32,2 64,4

3 0.38 0.62 27.35 36.5 63.85 3 0.44 0.58 32 35 67

4 0.40 0.58 31.45 33.75 65.2 4 0.42 0.57 31,15 32,8 64

5 0.39 0.58 29.95 34.25 64.2 5 0.44 0.56 32,3 33,05 65,4

6 0.40 0.58 31,05 34.45 65.5 6 0.43 0.57 31,75 33,05 64,8

7 0.40 0.57 31 33.9 64.9 7 0.43 0.56 31,75 33,1 64,9

8 0.41 0.57 31.35 33.95 65.3 8 0.43 0.56 31,75 33,1 64,9

9 0.41 0.58 31.25 34.45 65.7 9 0.43 0.56 31,75 33,1 64,9

10 0.41 0.57 31.25 33.95 65.2 10 0.43 0.56 31,75 33,1 64,9

11 0.41 0.57 31.25 33.55 64.8

12 0.41 0.57 31.25 33.55 64.8

Lantul Markov neergodick Psb Psr Csb Csr C k Psb Psr Csb Csr C

1 0,15 0,85 19,5 44,5 64 1 0,42 0,56 27,75 32,55 60,3

2 0,25 0,75 19,1 42,75 61,85 2 0,35 0,65 26,1 33,65 59,8

3 0,21 0,78 14,7 45,2 59,9 3 0,31 0,68 22,45 39,8 62,3

4 0,24 0,76 18,15 42,35 60,5 4 0,29 0,71 21,45 40,2 61,7

5 0,22 0,78 15,95 43,65 59,6 5 0,29 0,72 21,25 41,2 62,5

6 0,24 0,76 18,05 43,8 61,85 6 0,28 0,73 20,35 40,95 61,3

7 0,23 0,77 16,95 43,35 60,3 7 0,27 0,74 19,95 42,05 62

8 0,24 0,75 17,65 42,1 59,75 8 0,26 0,73 18,95 40,8 59,8

9 0,24 0,76 17,6 42,6 60,2 9 0,26 0,74 19,35 41,7 61,1

10 0,24 0,76 17,65 42,1 59,75 10 0,25 0,74 18,35 41,7 60,1

11 0,25 0,75 18,35 42,6 60,95 11 0,25 0,74 18,35 41,7 60,1

12 0,25 0,75 18,35 42,6 60,95

5 Graficile varierii probabilitatilor de stare Graficul P a lantului Markov ergodic. Graficul P a lantului Markov

neergodic.

Graficul P a lantului Markov ergodic. Graficul P a lantului Markov neergodic.

Graficul C a lantului Markov ergodic. Graficul C a lantului Markov

neergodic.

Graficul C a lantului Markov ergodic. Graficul C a lantului Markov neergodic.

Graficul C a lantului Markov ergodic. Graficul C a lantului Markov neergodic.

6 Concluzii: In cadrul acestei lucrari de laborator am studiat metodele de redare, descriere, analiza a proprietatilor de comportare ale lanturilor Markov timp discret si evaluare a caracteristicilor numerice de performanta. Am introdus datele despre graf in programul QM si am primit probabilitatile a ficarui virf in fiacre moment de timp k.Am calculat probabilitatile de aflare in starea buna\rea si vectorii de recompense a starilor bune\rele si am creat graficile acestora. Am studiat lanturile Markov timp discret ergodic si neergodic.