1

1

Capitolul 2

REGRESIA SIMPLĂLINIARĂ

2

Conţinut

1. Introducere2. Scurt istoric al metodei; tipologie3. Ipotezele modelului de regresie simpla

liniara4. Estimarea parametrilor modelului liniar de

regresie5. Proprietăţile estimatorilor

2

3

Regresia – metodă de modelare a legăturilor dintre variabile

În general, orice fenomen este rezultatul acţiuniiunuia sau mai multor factori

Exprimarea matematică:

1( , . . . , )nY f X X

Variabiladependentă

(variabilaendogenă)

Variabileindependente

(variabileexogene/explicative)

Variabilareziduală

4

Exemplu: Legea lui Keynes privind legătura dintrevenit şi consum

Suma cheltuită pentru consum depinde de: mărimea venitului pe de o parte alte obiective în funcţie de circumstanţe (de exemplu

investiţiile) alte nevoi subiective

„O persoană este dispusă de regulă şi în medie să îşicrească consumul pe măsura creşterii venitului dar nu înaceeaşi măsură”

Modelul de regresie: C=+V+ , unde 0<<1 .

0 1d C

d V

3

5

2. Regresia – scurt istoric al termenului Sir Francis Galton(1822-1911) – spirit enciclopedic al perioadei

victoriene, fiind cel care a introdus termenii de regresie şi corelaţiestatistică

Originea regresiei ca metodă statistică se află în studiile sale degenetică aplicată în studiul plantelor- 1877

Plantînd boabe dintr-un anumit soi de mazăre dulce a observat căexistă o legătură liniară între diametrele acestor boabe şi diametreleboabelor recoltate de la noile plante. El a numit iniţial panta acesteidrepte “coefficient of reversion”, schimbîndu-i apoi numele în“coefficient of regression”.

Termenul de regresie provine de la descoperirile sale în domeniuleredităţii: în general, progeniturile indivizilor geniali au abilităţi care îiaşază mai degrabă la nivelul mediei; de asemenea, înalţimea copiilorproveniţi din taţi foarte înalţi se apropie mai mult de înălţimea mediedecît înălţimea taţilor.

6

Clasificarea modelelor deregresie

Modelede regresie

Linear Non-Linear

2+ Variabile2+ Variabileexplicativeexplicative

Simple Multiple

Linear

1 Variabilă1 Variabilăexplicativăexplicativă

Non-Linear

4

7

Tipuri de modele de regresie

Legătură liniară directă

Legătură liniară inversă

Legătură neliniară

Absenţa vreunei legături

8

3. Ipotezele modelului de regresie

1. Normalitatea Valorile Y sînt normal distribuite pentru orice X Erorile sînt normal distribuite cu medie zero

E(εi)=0 i 2. Homoscedasticitatea (dispersie constantă) 3. Necorelarea erorilor E(εi εk)=0 (i<>k) 4. Liniaritatea 5. Variabilele sînt măsurate fără eroare

(caracter nestochastic)

2 2

iE

XY ii

( , ) 0, ,i jCov X i j

5

9

Forma funcţională Ipoteza de linearitate nu este atât de restrictivă pe cât

pare. Aceasta se referă la felul în care parametrii intrăîn ecuaţie, nu neapărat la relaţia între variabilele x şi y.

În general modele pot fi linearizate. y=a+bx y=a+bz, z=ex

y=a+br, r=1/x y=a+bq, q=ln(x)

y= xβ ln(y)=+ln(x) Forma generală: f(yi)= +g(xi)+i

Contra exemplu: nu poate fitransformat în model liniar.

1y

x

10

Modele ce pot fi linearizate

- 4 0 0

- 2 0 0

0

2 0 0

4 0 0

6 0 0

8 0 0

1 0 0 0

- 1 0 . 0 0 3 0 . 0 0 8 0 . 0 1 3 0 . 0 1 8 0 . 0 2 3 0 . 0 2 8 0 . 0 3 3 0 . 0 3 8 0 . 0 4 3 0 . 0 4 8 0 . 0 5 3 0 . 0 5 8 0 . 0 6 3 0 . 0 6 8X

Y

xba

1 xb ea

b xa

xba l n

6

11

Ipoteza: media erorilor este zero: E(i)=0 i,este naturală atâta timp cât este văzută ca sumaefectelor individuale, cu semne diferite. Dacă mediaerorilor este diferită de zero, ea poate fi considerată cao parte sistematică a regresiei.Ipoteza de homoscedasticitate: Var(i)=2

constantă i Se consideră un model care descrie consumul unor

gospodării în funcţie de venitul acestora. În acest caz,consumul gospodăriilor mari pot varia mult mai mult faţăde consumul gospodăriilor cu venituri mici. Deci ipotezade homoscedasticitate nu este respectată.

E()= + x + = (+) + x + (-)

12

Exemplu de încălcare a ipotezei dehomoscedasticitate

Functia de cons um

0

200

400

600

800

1000

1200

200 300 400 500 600 700 800 900 1000ve nit

con

sum

7

13

Necorelarea erorilor: E(ij)=0 ijAceastă ipoteză nu implică faptul că yi şi yj suntnecorelate, ci faptul că deviaţiile observaţiilor de lavalorile lor aşteptate sunt necorelate.

Ipoteza de normalitate a erorilor i N(0,2)Este o ipoteză de lucru, tehnică, ce permite obţinereaunor estimatori “buni”.

Dacă ipotezele precedente sînt respectate,vom obţine estimatori B.L.U.E. (Best LinearUnbiased Estimators)

14

Ipotezele de normalitate şi homoscedasticitateIpotezele de normalitate şi homoscedasticitate

Y

f(e)

X

X1X2

Y

f(e)

X

X1X2

8

15

Variaţia erorilor în jurul dreptei deregresie

X1

X2

X

Y

f(e)

Valorile y sînt normal distribuiteîn jurul dreptei de regresie.

Pentru fiecare valoare x, dispersiaîn jurul dreptei de regresie este

constantă.

Dreapta de regresie

16

Modelul de regresie liniarăsimplă

iii XY

Y intercept (termenul constant)

Panta dreptei deregresie

Variabiladeperturbaţie

Variabiladependentă(răspuns)

Variabilaindependentă

(explicativă)

Modelul de regresie liniară simplă la nivelul populaţiei este dat derelaţia următoare:

9

17

iei= Eroarea

Y

X

Modelul de regresie liniară

Valoareaobservată

Valoareaobservată

yi=a+bxi

Y Xi i i

yi =a + bxi+ ei

18

Criterii folosite pentru estimare

iemin

imei

i min:

min)( 2i

ie

10

19

Metode de estimare

Metoda celor mai mici pătrate:

minˆ 222 i

iii

ii

i xbayyyeSi

20

Estimarea parametrilormodelului

min2 i

ieS

0)()(2

0)1()(2

iii

ii

xxbayb

S

xbaya

S

11

21

22

22

2

ii

iiii

ii

iiiii

xxn

yxyxnb

xxn

yxxxya

22

Condiţiile de ordinul 2Derivatele parţiale de ordinul doi:

Matricea derivatelor parţiale de ordinul doi:

.2;2;2 22

22

2

2

ii

ii x

b

Sx

ba

Sn

a

S

i iii

ii

xx

xn

2

12

23

Derivatele parţiale de ordinul doi – pozitivdefinite:

02

2

2

nxxn

ii

ii

24

Regresia folosind EXCEL

7.5b

y=0.5 + 7.5 x0.5a

23y mediu

3x mediu

10032254205511515

42160020025405

1190012016304

00400609203

1-1225304152

4-2100101101

(x- x mediu)2x-xmediuy2xyx2yx

405

304

203

152

101

Productia medie de grau (Y)Ingrasaminte

(X)

13

25

Regresia folosind EXCEL

Accesăm meniul TOOLS>DATA ANALYSIS>REGRESSION

9.9306345.0693660.0022459.8198050.7637637.5X Variable 1

8.561499-7.56150.8561430.1973862.5331140.5Intercept

Upper 95%Lower 95%P-valuet StatStandard ErrorCoefficients

26

Proprietatile estimatorilormodelului de regresie Estimatorul coeficientului pantei dreptei de

regresie estimat prin MCMMP estenedeplasat si de dispersie minima.

Estimatorul obtinut in urma aplicării MCMMPeste de dispersie minimă printre estimatoriinedeplasaţi, exprimaţi ca o funcţie liniară aseriei de valori y1,...,yn.

Estimatorii a si b converg în probabiltatecătre parametrul şi respectiv ß

14

27

Valorile aşteptate şi varianţele estimatorilor Matricea de covarianţă a estimatorilor

Proprietăţile variabilei reziduale

28

Referinte

Andrei, T., Bourbonnais, R.- Econometrie,Ed. Economica, Bucuresti, 2008- capitolul 2,pag. 37-77

Voineagu, V. si colectiv- Teorie si practicaeconometrica, Ed. Meteor Press, 2007, cap.4pag. 165-178