© Mihai TARCOLEA

1

Capitolul 2 - Modelarea matematică prin experiment pasiv. Corelaţie şi regresie

Între două variabile, x şi y, poate să existe o legătură strictă, de forma y = f(x), sau dimpotrivă nu existe nici o legătură (ele să fie independente). Legătura funcţională (deterministă) are loc atunci când unei valori a variabilei independente x îi corespunde o valoare determinată a variabilei y. Între cele două extreme, legătura funcţională şi respectiv independenţa variabilelor, se situează legăturile de tip statistic (stochastic), când unei valori a variabilei independente x îi corespunde nu o valoare determinată y, ci o repartiţie de valori ale variabilei dependente y. Cercetarea statistică a legăturilor de cauzalitate necesită rezolvarea a două probleme fundamentale:

a) problema regresiei sau determinarea legii de variaţie medie a variabilei dependente y = f(x1, x2, ..., xk); b) problema corelaţiei sau caracterizarea intensităţii şi a direcţiei legăturii.

Analiza dispersională, aşa cum s-a văzut anterior, permite evidenţierea influenţelor anumitor factori asupra variabilei dependente, însă nu oferă nici o informaţie asupra formei şi intensităţii legăturii. Modelarea dependenţelor statistice este în mod inevitabil legată de unele simplificări şi abstractizări. Astfel, modelul poate lua în calcul unul sau mai mulţi factori esenţiali, făcând abstracţie de restul factorilor procesului, care fie nu pot fi măsuraţi, fie exercită o influenţă neînsemnată. După numărul caracteristicilor analizate (numărul factorilor prinşi în model), legăturile statistice pot fi: simple sau multiple. După tipul dependenţei existente între variabila dependentă şi cele independente, legăturile statistice pot fi: liniare sau neliniare. 2.1. Corelaţia şi regresia liniară simplă În acest caz, pentru evaluarea legăturii dintre variabila X şi variabila Y, vom avea la dispoziţie un set de date experimentale format din n perechi de valori (xi, yi). În legătură cu analiza de corelaţie şi regresie este necesară introducerea a două noţiuni: - covarianţa, ce caracterizează legătura între două variabile:

( )( )cov( , )x yn

x x y yn

x y n x yi

n

i i i

n=

−− − =

−− ⋅ ⋅

⎛

⎝⎜

⎞

⎠⎟∑ ∑1

11

11 1

- coeficientul de corelaţie, care este o măsură a gradului de dependenţă liniară între cele două variabile:

( ) ( )( )

r r x yx y

s s

x y n x y

n s sxyx y

i i

n

x y= =

⋅=

− ⋅ ⋅

− ⋅ ⋅

∑,

cov , 11

Este de remarcat aici că dacă variabilele evoluează aleator una în raport cu cealaltă covarianţa va fi nulă, cov(x,y)→0, ca de altfel şi coeficientul de corelaţie, r(x,y)→0. Mai mult, în timp ce covarianţa depinde de unităţile de măsură ale celor două variabile analizate, coeficientul de corelaţie este o mărime adimensională, care evoluează strict în intervalul închis [-1,+1]. Dacă r(x,y) are valoare pozitivă înseamnă că dependenţa liniară este direct proporţională, iar dacă valoarea sa este negativă dependenţa este invers

© Mihai TARCOLEA

2

proporţională. Valoarea 0 este practic imposibil de obţinut prin analiza oricăror date experimentale (de fapt nici valorile -1 şi +1 nu se obţin decât în cazul existenţei unei dependenţe funcţionale între variabile). Intensitatea legăturii se apreciază comparativ, uneori aplicându-se chiar testarea statistică, interesantă fiind tendinţa de apropiere de aceste trei valori caracteristice. Două situaţii, în care variabilele x şi y sunt independente şi respectiv în care între ele există o dependenţă aproximativ liniară, sunt prezentate în figura următoare:

( )x y, x

y

cov(x,y)→0

r(x,y)→0

( )x y, x

y

cov(x,y)≠0

r(x,y)→1 În rezolvarea problemei regresiei se apelează la legea celor mai mici pătrate, care, aplicată la situaţia dată, ar suna astfel: suma abaterilor pătratice ale valorilor experimentale în raport cu cele calculate cu modelul matematic liniar trebuie să fie minimă, adică dependenţa liniară între variabile trebuie să ofere o imagine cât mai exactă a datelor experimentale (probabilitatea trasării unei drepte de regresie care să treacă cât mai aproape de toate punctele experimentale trebuie să fie cât mai mare):

( )y y imi i

n− =∑ ~ min2

1,

unde yi este valoarea experimentală corespunzătoare punctului xi (i=1...n), iar este valoarea calculată cu modelul matematic liniar în acelaşi punct.

~yi

Forma explicită a dependenţei liniare căutate este: Y a b X= + ⋅

şi dacă aplicăm legea celor mai mici pătrate obţinem:

( ) ( )y a b x f a b ii i

n− − ⋅ = =∑ 2

1, min m,

unde valorile xi şi yi sunt cunoscute, în timp ce constantele dreptei sunt necunoscute, suma fiind de fapt o funcţie, de parametrii a şi b, care trebuie să aibă valoare minimă. Vom putea deci determina valorile a şi b în condiţiile în care este respectată legea celor mai mici pătrate. Condiţiile în care se atinge minimul funcţiei f în raport cu a şi b se determină prin rezolvarea sistemului (de ecuaţii normale):

( )

( )

∂∂

∂∂

f a ba

f a bb

,

,

=

=

⎧

⎨⎪⎪

⎩⎪⎪

0

0

sau, calculând derivatele parţiale şi redistribuind termenii în mod convenabil:

© Mihai TARCOLEA

3

⋅

n a b x y

a x b x x y

i

n

i

n

i

n

i

n

i i

n

⋅ + =

+ =

⎧

⎨⎪⎪

⎩⎪⎪

∑ ∑

∑ ∑ ∑

1 1

1

2

1 1

Sistemul de ecuaţii se poate rezolva simplu, obţinând soluţiile:

( )b

n yx xy

n yx x

n xy x yn x x

= =−

−

ΣΣ Σ

ΣΣ Σ

Σ Σ Σ

Σ Σ2

2 2

( )a

y xxy xn yx x

x y x xyn x x

= =−

−

Σ ΣΣ Σ

ΣΣ Σ

Σ Σ Σ Σ

Σ Σ

2

2

2

2 2

• Pentru a determina însă şi intensitatea legăturii dintre cele două variabile se calculează coeficientul de corelaţie:

( )r xy n x y

n s sxyx y

=− ⋅ ⋅

− ⋅ ⋅Σ

1

unde: ( )sn

x n xx2 21

1=

−− ⋅Σ 2 şi ( )s

ny n yy

2 211

= 2

−− ⋅Σ .

De regulă calculul de regresie porneşte cu determinarea mărimii rxy, care ne lămureşte dacă merită continuată analiza sau nu, după care coeficienţii de regresie a şi b sunt determinaţi cu relaţiile:

b rssxy

y

x= , a y b x= − ⋅ .

Punctele experimentale au o împrăştiere în jurul dreptei de regresie, care se apreciază prin abaterea medie pătratică (syx) sau dispersia în jurul dreptei de regresie (s2

yx):

( ) ( )sn

y yn

y a b xyx i i

n

i i

n2 2

1

2

1

11

11

=−

− =−

− − ⋅∑ ∑~ .

Pentru stabilirea valorii absolute a legăturii dintre variabile (cota parte a influenţei variabilei x asupra variabilei y) se foloseşte coeficientul de determinare d (exprimat în general în procente, %, prin amplificarea cu 100):

( ) ( )( )

( )( )

dy y y y

y y

y y

y y=

− − −

−= −

−

−

∑∑∑

∑∑

2 2

2

2

21~ ~

.

Această mărime reprezintă diminuarea abaterilor valorilor yi în raport cu media lor y , datorită dependenţei acestora de valoarea variabilei x prin intermediul modelului liniar . Din relaţia de mai sus rezultă că:

~y

© Mihai TARCOLEA

4

( )( )

dy y

y y

s

sn

n

yx

y= −

−

−= −−

−

∑∑

1 11

12

11

2

2

2

~

şi deoarece , putem determina abaterea medie pătratică în jurul dreptei de regresie cu relaţia:

d rxy= 2

( )s s ryx y xy= −2 21 .

Valorile calculate ale mărimilor rxy, a şi b sunt apoi testate statistic (cu testul t) pentru a decide dacă acestea sunt statistic determinate sau nu (dacă un parametru nu este statistic semnificativ atunci valoarea sa este nulă şi ca urmare termenul ce îl cuprinde nu mai apare în model). Valoarea criteriului t se determină separat pentru fiecare din mărimile analizate:

tr

rncalcr

=−

−1

22

,

tascalc

aa= , t

bscalc

bb= ,

unde sa şi sb sunt abaterile medii pătratice în calculul celor doi coeficienţi:

( )

s s

x xb

conc22

2=−∑

, s sna

conc22

= ,

iar s2conc este dispersia de concordanţă:

( )s

y ynconc

22

2=

−

−∑ ~

.

Numărul gradelor de libertate este aici: ν = n - 2, deoarece se determină două mărimi, constantele dreptei (a şi b), una în legătura cu cealaltă. Valorile respective sunt statistic determinate (adică rxy≠0, a≠0, respectiv b≠0), doar dacă pentru fiecare este îndeplinită condiţia:

t tcalc n> −α 2 2, . 2.2. Corelaţia şi regresia simplă neliniară Atunci când datele experimentale nu se grupează în jurul unei drepte facem ipoteza că regresia este neliniară şi vom alege una sau mai multe funcţii, ale căror reprezentări grafice se apropie de forma distribuţiei datelor experimentale. Dintre aceste funcţii se alege în final pe cea care va avea cele mai mici abateri faţă de datele experimentale. Multe dintre aceste funcţii pot fi liniarizate, după care se poate aplica algoritmul de calcul prezentat anterior. Există însă şi funcţii neliniarizabile, pentru care este necesară rezolvarea sistemului de ecuaţii normale. 2.2.1. Regresia simplă neliniară pentru funcţii liniarizabile O gamă largă de funcţii pot fi aduse la formă liniară prin diferite schimbări de variabilă. De exemplu, funcţia: se transformă prin logaritmare în: y a bx= ⋅ln ln lny a x b= + ⋅ şi făcând substituţiile: ln y = Y, ln a = A, ln b = B, obţinem o funcţie

© Mihai TARCOLEA

5

liniară: Y = A + B ⋅ X. Aplicând transformările necesare asupra valorilor experimentale (xi, yi) putem apoi aplica algoritmul corelaţiei şi regresiei liniare simple (perechile de valori prelucrate vor fi, pentru acest exemplu, de forma: ln xi, ln yi). Pentru măsurarea intensităţii legăturii dintre variabile, coeficientul de corelaţie, în acest caz rXY, nu mai are aceeaşi putere de informare, acesta referindu-se la forma liniarizată. Din acest motiv, se defineşte în mod analog aşa numitul indice de corelaţie, care are forma:

( )( )

iy y

y yxy = −

−

−

∑∑

12

2

~.

În timp ce coeficientul de corelaţie rXY se determină, ca etapă obligatorie în rezolvarea problemei de regresie a formei liniarizate, la începutul calculelor, indicele de corelaţie ixy se poate calcula doar după ce modelul matematic a fost complet determinat. Indicele de corelaţie are aceleaşi proprietăţi ca şi coeficientul de corelaţie (principial ia valori în intervalul închis [-1,1], doar că, fiind vorba de un radical, nu mai obţinem direct din calcul semnul său). Pentru procesele specifice deformărilor plastice şi tratamentelor termice sunt prezentate în continuare câteva funcţii neliniare, care pot fi liniarizate prin schimbări de variabilă, împreună cu evoluţiile lor grafice.

1) y a bx= ⋅

lnlnln

y Ya Ab B

===

⎫

⎬⎪

⎭⎪

Y A B X= + ⋅ a

y

b > 1

0 < b < 1

0 x

2) y a bx

= +

1x

X= ⎫⎬⎭

Y a b X= + ⋅

x

a

y

b > 0

b < 00

3) y a xb= ⋅

lnlnln

y Ya Ax X

===

⎫

⎬⎪

⎭⎪

Y A b X= + ⋅

1

a

y

b < 0

b > 1 b = 1

0 < b < 1

0 x

© Mihai TARCOLEA

6

4) y a eb x= ⋅ ⋅

lnln

y Ya A==

⎫⎬⎭

Y A b x= + ⋅ a

y

b>0

b<0

0x

5) y a ebx= ⋅

lnln

y Ya A

xX

==

=

⎫

⎬

⎪⎪

⎭

⎪⎪

1

Y A b X= + ⋅ a

y

b > 0

b < 0

0 x

6) y ab x

=+ 1

1

11

y Yb a A

a Bx X

====

⎫

⎬⎪⎪

⎭⎪⎪

Y A B X= + ⋅

a>0

b>0

b/a

y

0 x

7) y a xb x

=⋅+

11

1

y Ya A

b a Bx X

====

⎫

⎬⎪⎪

⎭⎪⎪

Y A B X= + ⋅ a>0

b>0

a

y

0 x

8) y a b e x= + ⋅ −

}e Xx− = y a b X= + ⋅

a>0

b>0

a+b

a

y

0 x

© Mihai TARCOLEA

7

9) ( )y a b e x= + ⋅ −1

Y y

e Xx

=

=

⎫⎬⎪

⎭⎪−

1y a b X= + ⋅

a>0

b>0

1/a

1/(a+b)

y

0 x

10) y a b x= + ⋅ 2

}x X2 = y a b X= + ⋅

b>0

b<0 a

y

0 x

11) y a b= + ⋅ x

}x X= y a b X= + ⋅

b>0

b<0

a

y

0 x

12) y a b x= + ⋅ ln

}ln x X= y a b X= + ⋅

b < 0

b > 0

a+b

1

a

y

0 x

© Mihai TARCOLEA

8

2.2.2. Regresia simplă neliniară pentru funcţii neliniarizabile Funcţia liniară, împreună cu cele liniarizabile, nu epuizează întreaga gamă de regresii simple întâlnite în practică. Există curbe cu evoluţii complicate, care pot fi descrise cu ajutorul unei funcţii tip polinom:

y a a x a x a x a xmm= + + + + +0 1 2

23

3 … , dar cele mai des folosite sunt polinoamele de gradul II şi III. Pentru determinarea coeficienţilor de regresie a0, a1, a2, ..., am, se apelează de asemenea la principiul celor mai mici pătrate:

( ) ( )y y f a a a am− = =∑ ~ min , , , ,20 1 2 ,

şi se determină sistemul de ecuaţii normale din condiţia de minim a funcţiei f : ( )∂

∂f a a a a

am

i

0 1 2 0, , , ,⎧

⎨⎩

= .

Pentru i = 0, ..., m rezultă deci (m+1) ecuaţii liniare cu (m+1) necunoscute: a n a x a x a x a x y

a x a x a x a x a x x y

a x a x a x a x a x x

a x a x a x a x a x x

mm

mm

mm

m m m mm

m m

0 1 22

33

0 12

23

34 1

02

13

24

35 2

0 11

22

33 2

⋅ + + + + + =

+ + + + + =

+ + + + + =

+ + + + + =

⎧

⎨

⎪⎪⎪⎪

⎩

⎪⎪⎪⎪

∑ ∑ ∑ ∑ ∑∑ ∑ ∑ ∑ ∑ ∑∑ ∑ ∑ ∑ ∑ ∑

∑ ∑ ∑ ∑ ∑ ∑

+

+

+ + +

…

…

…

…

y

y

2

⋅

⋅

⋅

Există de asemenea funcţii neliniare care, prin schimbări de variabilă, pot fi aduse la forma unui polinom. Un astfel de exemplu este următorul:

y a eb x c x= ⋅ ⋅ + ⋅ 2

lnln

y Ya A==

⎫⎬⎭

Y A b x c x= + ⋅ + ⋅ 2

a

y

xb < 0 , c < 0

b < 0c > 0b > 0

c < 0

b > 0c > 0

0 Unele ecuaţii de regresie simplă neliniară pot fi aduse formal la modelul regresiei liniare multiple, deşi în esenţă problema rămâne de regresie simplă. Pentru exemplul prezentat mai sus, o astfel de rezolvare implică:

y a eb x c x= ⋅ ⋅ + ⋅ 2

lnln

y Ya A

x X

x X

===

=

⎫

⎬⎪⎪

⎭⎪⎪

12

2

Y A b X c X= + ⋅ + ⋅1 2

© Mihai TARCOLEA

9

2.2.3. Criterii de alegere a formei curbei de regresie Pentru estimarea statistică a uneia şi aceleiaşi dependenţe dintre două variabile, x şi y, se pot utiliza mai multe funcţii, care au graficul cât mai apropiat de curba datelor experimentale. Deci iniţial acceptăm mai multe modele ipotetice, pe care le vom testa şi vom alege forma cea mai potrivită. Verificarea şi respectiv alegerea dependenţei optime se poate face prin mai multe procedee. Cel mai simplu procedeu de alegere este reprezentarea grafică a perechilor de valori (xi, yi), care ne permite selectarea a câtorva ecuaţii de regresie pe care le considerăm ca aproximând cel mai bine dependenţa. După efectuarea calculelor necesare pentru fiecare funcţie utilizată, se trasează graficul corespunzător fiecărei funcţii folosite, alegându-se drept optimă funcţia cu graficul cel mai apropiat de distribuţia experimentală. Un alt procedeu de alegere este compararea valorilor indicilor de corelaţie ixy şi alegerea drept optimă a formei corespunzătoare celei mai mari valori ixy .

O altă variantă de alegere a dependenţei optime este calculul abaterii medii pătratice reziduale:

( )n

2

1rezid

y ys

n 1

−=

−

∑

şi adoptarea drept optimă a formei pentru care abaterea reziduală srezid este minimă. 2.3. Corelaţia şi regresia liniară multiplă În cazul unei dependenţe multiple a parametrilor procesului, mărimea de stare y va depinde de mai multe variabile:

( )y f x x x xk= 1 2 3, , , ,… şi, în locul unei drepte de regresie, se va determina o hipersuprafaţă de regresie:

y a a x a x a x a xk k= + + + + +0 1 1 2 2 3 3 … , relaţie echivalentă cu:

( ) ( ) ( ) ( )y y a x x a x x a x x a x xk k k− = − + − + − + + −1 1 1 2 2 2 3 3 3 … . Coeficienţii de regresie a0, a1, a2, ..., ak se pot determina cu metoda celor mai mici pătrate:

( ) ( )y y F a a a ak− = =∑ ~ , , , , min20 1 2 … ,

care conduce la sistemul de ecuaţii normale: ∂∂

Fai

⎧⎨⎩

= 0, unde: i k= 0 1, , ,… .

Este însă preferată o altă modalitate de rezolvare a problemei, care presupune utilizarea aşa numitului determinant de corelaţie, P, cu ajutorul căruia se poate stabili şi intensitatea legăturii între variabile. În acest caz valorile coeficienţilor de regresie sunt calculate cu relaţia:

ass

PPi

y

x

i

i

= − ⋅ +1 1

11

, ,

unde: i , iar Pk= 1 2, , ,… l,m este complementul algebric al elementului (l,m). Determinantul de corelaţie P cuprinde coeficienţii de corelaţie simplă între toate variabilele procesului, luate două câte două:

© Mihai TARCOLEA

10

P

r r r rr r rr r r rr r r r

r r r r

yx yx yx yx

x y x x x x x x

x y x x x x x x

x y x x x x x x

x y x x x x x x

k

k

k

k

k k k k

=

11

11

1

1 2 3

1 1 2 1 3

2 2 1 2 3 2

3 3 1 3 2 3

1 2 3

…………

… … … … … ……

r1

,

cu proprietăţile:

r ryx x yi i= şi r rx x x xi j j i

= .

Coeficientul de corelaţie multiplă se calculează cu:

r PPy x x x xk• = −

1 2 31

11… ,

având acelaşi interval de variaţie [-1,+1], iar abaterea medie pătratică în jurul hipersuprafeţei de regresie se determină cu:

( )s s ry x x x x y y x x x xk k• •= ⋅ −1 2 3 1 2 3

2 21… … .

Suplimentar se definesc coeficienţii de corelaţie parţială, care fie reflectă dependenţa (y,xi), dacă sunt neglijate celelalte variabile:

rP

P Pyx x x x x x xi

i ii i i k•

+

+ +− +

= −⋅1 2 3 1 11 1

11 1 1… …

,

,,

fie interdependenţa între variabilele independente luate două câte două:

rP

P Px x yx x x xi j

i i j ji j k•

+ +

+ + + +

= −⋅1 2 3

1 1

1 1 1 1…

,

, ,.

2.3.1. Corelaţia şi regresia liniară cu două variabile independente Legătura între variabile este descrisă în acest caz de modelul:

y a a x a x= + +0 1 1 2 2 sau:

( ) ( )y y a x x a x x− = − + −1 1 1 2 2 2 . Determinatul de corelaţie are forma:

Pr r

r rr r

yx yx

yx x x

yx x x

=1

11

1 2

1 1

2 1 2

2

şi ca urmare coeficientul de corelaţie multiplă este:

r PP

r r r r r r

ry x xyx yx x x yx yx x x

x x• = − =

+ + − ⋅ ⋅ ⋅

−1 21 2 1 2 1 2 1 2

1 2

12

111

2 2 2

2 ,

iar coeficienţii de corelaţie parţială:

© Mihai TARCOLEA

11

( )( )r P

P P

r r r

r ryx x

yx yx x x

x x yx1 2

1 2 1 2

1 2 2

12

11 22 2 21 1• = −

⋅=

− ⋅

− −,

( )( )r P

P P

r r r

r ryx x

yx yx x x

x x yx2 1

2 1 1 2

1 2 1

13

11 33 2 21 1• = −

⋅=

− ⋅

− −,

( )( )r P

P P

r r r

r rx x y

x x yx yx

yx yx1 2

1 2 1 2

1 2

23

22 33 2 21 1• = −

⋅=

− ⋅

− −.

Primul dintre aceşti trei coeficienţi reflectă intensitatea legăturii y(x1) pentru x2 constant, cel de-al doilea intensitatea legăturii y(x2) pentru x1 constant, iar cel de-al treilea arată intensitatea legăturii dintre variabilele x1 şi x2 în definirea valorilor variabilei dependente y. Coeficienţii de regresie ai modelului liniar de două variabile se vor determina deci cu:

( )a

ss

PP

r r r

r

ss

y

x

yx yx x x

x x

y

x1

12

112

1

1 2 1 2

1 2 11= − ⋅ =

− ⋅

−⋅ ,

( )a

ss

PP

r r r

r

ss

y

x

yx yx x x

x x

y

x2

13

112

2

2 1 1 2

1 2 21= − ⋅ =

− ⋅

−⋅ .

In acest fel ecuaţia suprafeţei plane este complet determinată. Este însă strict necesar ca valorile coeficienţilor de regresie să fie testate statistic (cu testul t). Această metodă poate fi folosită pentru a determina chiar şi modele neliniare, după algoritmul regresiilor simple, doar dacă necesarele liniarizări ale dependenţelor y=f1(x1) şi y=f2(x2) implică aceeaşi schimbare de variabilă pentru y.