Elis Jaba_C8_Analiza de Regresie Simpla

Profesor univ. dr. Elisabeta Jaba Lector. univ. dr. Christiana Balan

1

C8. Analiza de regresie simplă

STATISTICA ÎN AFACERI


2

C.8. Analiza de regresie simplă

1. Modelul de regresie simplă liniară2. Ipoteze asupra modelului de regresie3. Estimarea punctuală a parametrilor modelului de regresie4. Estimarea punctuală a parametrilor modelului de regresie.

Exemplu5. Estimarea prin interval de încredere a parametrilor

modelului de regresie6. Estimarea prin interval de încredere a parametrilor

modelului de regresie. Exemplu7. Testarea modelului de regresie8. Testarea parametrilor modelului de regresie9. Testarea parametrilor modelului de regresie. Exemplu

Bibliografie:1. Elisabeta Jaba, Statistica. EdiŃia a 3-a. Editura Economica, Bucureşti,

2002, pp. 371-389.2. Elisabeta Jaba, Ana Grama, Analiza statistică cu SPSS sub Windows,

Editura Polirom, Iaşi, 2004, pp. 243-257.


3

8.1. Modelul de regresie simplă liniară (1)

� Modelul de regresie simplă este cea mai simplă schemă explicativă a dependenŃei dintre două variabile. � ConŃine o variabilă dependentă (Y) şi o variabilă

independentă (X) între care poate exista o legătură de tip liniar sau neliniar.

� În economie există situaŃii în care un rezultat sau un fenomen poate fi explicat într-o proporŃie ridicată doar de influenŃa unui singur factor.� Acest factor apare în modelul de regresie drept

variabilă independentă, iar restul influenŃelor este preluat de variabila reziduală (ε ).


4

8.1. Modelul de regresie simplă liniară (2)

� Modelul de regresie liniară simplă exprimă legătura dintre două variabile şi are forma:

� RelaŃia de mai sus se numeşte ecuaŃie de regresie şi reprezintă funcŃia liniară plus eroarea εεεε.

� Variabilele din ecuaŃie sunt:� Y - variabila dependentă, aleatoare; � X - variabila independentă nonaleatoare;� ε - variabila aleatoare eroare sau reziduu.

εβα ++= XY


5

8.2. Ipoteze asupra modelului de regresie(1)

� Ipotezele modelului de regresie vizează:� variabila reziduală şi � variabila independentă.

� Cele mai importante ipoteze sunt:� normalitatea erorilor:

adică variabila reziduală urmează o lege de repartiŃie normală de medie zero şi varianŃă

� homoscedasticitatea: adică varianŃa erorilor este constantă la nivelul distribuŃiilor condiŃionate de tipul:

),0(N~ 2i σε

2σ

22ii )(M)(V σεε ==

ii xXY =


6

� necorelarea erorilor:

adică erorile nu se influenŃează reciproc;

� lipsa corelaŃiei dintre variabila independentă şi variabila eroare:

0),cov( ji =εε

0)x,cov( ii =ε

8.2. Ipoteze asupra modelului de regresie(2)


7

� Parametrii ecuaŃiei de regresie sunt:

� α - ordonata la origine arată valoarea variabilei Y când X = 0;

� β - panta dreptei, numit şi coeficient de regresie.

În ecuaŃia de regresie, α şi β sunt parametri necunoscuŃi.

8.3. Estimarea punctuală a parametrilor modelului de regresie (1)


8


� Semnul parametrului de regresie β indică direcŃia legăturii dintre cele două variabile corelate:� β > 0 legătură directă (pozitivă);� β = 0 nu există legătură;� β < 0 legătură inversă (negativă).

� Parametrul de regresie β arată gradul de dependenŃă dintre variabile, respectiv cu cât creşte sau scade în medie Y la o creştere sau la o scădere a variabilei X cu o unitate.


9


� În practică, determinarea parametrilor la nivelul populaŃiei totale nu este posibil de realizat, fapt care impune estimarea parametrilor.

� Valoarea parametrilor de regresie se estimează pe baza estimatorilor şi . Folosind date înregistrate asupra unui eşantion de n perechi de observaŃii asupra variabilelor X şi Y, se calculează estimaŃiile a şi b ale parametrilor αααα şi ββββ.

α̂ β̂


10


� La nivelul unui eşantion, modelul de regresie ia forma:

� În relaŃia de mai sus, notăm prin

funcŃia liniară a lui Y în funcŃie de X,unde: a şi b reprezintă valori ale estimatorilor şi ,

respectiv estimaŃii ale parametrilor α şi β, calculate la nivelul unui eşantion de volum n.

ebX + a = Y +

bX + a = Yx

α̂ β̂


11


� Se consideră acei estimatori şi ai parametrilor α şi β pentru care valoarea ei a variabilei eroare ε să fie cât mai mică.

� Valoarea ei reprezintă distanŃa dintre o valoare observată ( yi ) şi o valoare estimată a ecuaŃiei de regresie la nivelul eşantionului ( ).

� Adică:să fie minimă pentru orice valoare "i" a variabilei X.

α̂ β̂

ix bx + a = yi

)bxa(-yyy=e ixi ii i+=−


12


� Criterii de estimare a parametrilor

� 1.

� 2.

� 3.

}|e|{min ini1 ≤≤

minim |:e| i∑

minim :)e( 2i∑

De regulă, în practică, se utilizează ultimul criteriu,care defineşte metoda celor mai mici pătrate (MCMMP).


13


� Aplicarea MCMMP presupune minimizarea expresiei:

� Înlocuind valoarea , obŃinem:

� Rezolvarea problemei de minim impune două condiŃii: � anularea derivatelor parŃiale de ordinul întâi ale lui S

în raport cu a şi b;� matricea derivatelor parŃiale de ordinul doi să fie

definită pozitiv.

∑ ∑ =−== immin)yy(eS 2xi

2i i

immin)bxay(= S 2ii∑ =−−


14


� 1. Derivatele parŃiale de ordinul întâi:

� ObŃinem un sistem de ecuaŃii normale:

n1,i ,0)x)(bxay(2=b

S

0)1)(bxay(2=a

S

iii

ii

==−−−∂∂

=−−−∂∂

∑

∑

n1,i ,y=xb+na ii =∑∑

yx=xb+xa ii2ii ∑∑∑


15

� 2. Derivatele parŃiale de ordinul doi:

� Matricea derivatelor parŃiale de ordinul doi:

� este pozitiv definită, deoarece:


n2=a

S2

2

∂∂ ∑∂∂

∂i

2

x2=ba

S∑∂

∂ 2i2

2

x2=b

S

∑∑

∑ 2i

i

i x

x

x

n

0n)x(xn 22i

2i >=− ∑∑ σ

,… ,…


16


� Folosind metoda determinanŃilor se obtin relaŃiide calcul pentru a şi b:

� a şi b reprezintă valori de sondaj, estimaŃii ale parametrilor α şi β, calculate la nivelul unui eşantion prin aplicarea metodei celor mai mici pătrate

n1,i ,)x(-xn

yx-yxn=

b=b

i22

i

iiii =∑∑

∑∑∑

∆∆

)x(-xn

yxx-xy=

a=a

i22

i

iii2ii

∑∑

∑∑∑∑

∆∆ xb-y=a


17

8.4. Estimarea punctuală a parametrilor modelului de regresie. Exemplu (1)

Legătura dintre X si YProducŃia(ha)(Y)

1015203040

Îngrăşăm.(ha)(X)

12345


18

8.4. Estimarea punctuală a parametrilor modelului de regresie. Exemplu (2)

EcuaŃia estimată este: xbxayx 5,75.0 +=+=


19

8.5. Estimarea prin interval de încredere a parametrilor modelului de regresie (1)

� Estimarea prin interval de încredere se bazează pe distribuŃiile de selecŃie ale estimatorilorparametrilor α şi β.

� Pentru modelul liniar simplu, se poate demonstra că estimatorii parametrilor urmează o lege de distribuŃie normală şi sunt nedeplasaŃi:

),(N~ˆ 2α̂σαα αα =)ˆ(M 2

ˆ)ˆ(V ασα = 2

i

2i

i

2i

2ˆ

)XX(n

X

εα σσ∑

∑

−=,… ,… ,…

),(N~ˆ 2

β̂σββ ββ =)ˆ(M 2ˆ)ˆ(V βσβ =

∑ −=

i

2i

22ˆ

)XX(ε

β

σσ,… ,… ,…


20

� EstimaŃii:� pentru varianŃa erorilor :

� pentru varianŃa estimatorului :

� pentru varianŃa estimatorului :

α̂2n

)bxay(

2n

es i

2ii

i

2i

2e −

−−=

−=

∑∑

2e

i

2i

i

2i

2ˆ s

)xx(n

xs

∑

∑

−=α

∑ −=

i

2i

2e2

ˆ)xx(

ssβ

β̂



21


� Intervalul de încredere pentru coeficientul de regresie β estimat pentru un eşantion observat este definit de relaŃia:

Analog, pentru parametrul α , se determină intervalul:

βα ˆ2/ stb ⋅±

αα ˆ2/ sta ⋅±


22

8.6. Estimarea prin interval de încredere a parametrilor modelului de regresie.

Exemplu (1)

� Estimatii: � EstimaŃiile parametrilor:

a=0,5; b=7,5� EstimaŃia varianŃei erorii:

� EstimaŃia varianŃei estimatorului :

83,525

5,17

2n

es

2i2

e =−

=−

= ∑

β̂

583,010

83,5

)xx(

ss

n

1i

2i

2e2

ˆ ==−

=∑=

β

76376,0sˆ =β

Calculul erorii(ei=yi-yxi)


23


Exemplu (2)

�Intervalul de incredere� Intervalul de încredere pentru coeficientul de regresie β, considerând un risc α / 2 , este definit de:

� Folosind datele din exemplul anterior, pentru un risc α =0,05, găsim intervalul de încredere:

α2

α2

β ∞− ∞

1-α

LsLi

βα ˆ2/ stb ⋅±

)182,376376,05,7( ⋅±Fig. DistribuŃia de selecŃie

a estimatorului şi intervalul de incredere

Interval de incredere

β̂


24


Exemplu (3)

� Putem spune că ne asumăm un risc de 5% ca valoarea adevărată a coeficientului de regresieβ să nu fie acoperită de intervalul [5,07; 9,93].

βα ˆ2/ stb ⋅± )182,376376,05,7( ⋅±

α2

α2

β ∞− ∞

1-α

LsLi

5,07 9,93

=


25

8.7. Testarea modelului de regresie(1)

� Testarea modelului de regresie se face cu ajutorultestul F.

� Statistica test F se obŃine ca raport între:� media pătratelor abaterilor datorate regresiei şi � media pătratelor abaterilor datorate reziduului,calculate cu gradele de libertate corespunzătoare.


26


� Rezultatele analizei varianŃei variabilei dependentesub influenŃa factorului de regresie şi a factorului reziduusunt prezentate într-un tabel ANOVA.


27


� Dacă testul F ia o valoare mare, iar valoarea Sig. corespunzătoare statisticii F este mică (mai mică decât 0,05), atunci variabila independentă explică variaŃia variabilei dependente şi invers.

� În exemplul considerat, valoarea Sig. pentru F este mai mică decât 0,05, deci relaŃia liniară dintre cele două variabile considerate este semnificativă.


28

8.8. Testarea parametrilor modelului de regresie (1)

� Formularea ipotezelor

� Dacă respingem ipoteza H0, cu un prag de semnificaŃie ales ( ), atunci legătura dintre cele două variabile X şi Y este semnificativă. � În practica economică se consideră, de regulă,

un , adică se consideră un risc de 5% de a respinge pe nedrept ipoteza H0 atunci când aceasta ar fi adevărată.

α

α = 0 05,

0:H

0:H

1

0

≠=

ββ


29


� Test. Pentru testarea semnificaŃiei coeficientului de regresie β se foloseşte statistica definită de raportul t:

� care pentru ipoteza H0 devine

� t urmeaza o lege de repartiŃie Student de (n-2) grade de libertate

� la nivelul unui eşantion observat, t se scrie:

� EstimaŃia varianŃei estimatorului parametrului de regresie β, la nivelul unui eşantion observat, se calculează după relaŃia:

βσββ

ˆˆ

ˆt

−=

ββ σβ

σβ

ˆˆ ˆ

ˆ

ˆ0ˆ

t =−=

β

βˆs

bt

−=

∑ −=

i

2i

2e2

ˆ)xx(

ssβ


30


� Regula de decizie:

�Pentru un risc , dacă

se respinge ipoteza H0 : β=0,adică coeficientul de regresie β este considerat semnificativ diferit de 0.(se acceptă )

05,0=α

2n;2calc tt −> α

Regiunea de acceptare si regiunilede respingere H0

0:H1 ≠βRegiunea de acceptare H0


31

8.9. Testarea parametrilor modelului de regresie. Exemplu (1)

� Calculul raportului Student:

� pentru b=7,5;

� raportul t este:

76376,0sˆ =β

8198,976376,0

5,7

s

bt

ˆcalc ===

β


32

8.9. Testarea parametrilor modelului de regresie. Exemplu (2)

� Decizia� In exemplul considerat tcalc=9,82.

� Din tabelul Student, pentru α / 2=0,025 şi n-2=3, citim t0,025;3=3,182.

� Ca urmare, pentru tcalc>t0,025;3,

coeficientul de regresie β este semnificativ diferit de 0, adică variabila X explică variabila Y.

� Dacă intervalul de încredere pentru β ar conŃine valoarea 0 atunci nu s-ar respinge ipoteza H0 , ceea ce nu este cazul în exemplul nostru, deci factorul XinfluenŃează semnificativ variabila Y.

Elis Jaba_C8_Analiza de Regresie Simpla

Documents

Transcript of Elis Jaba_C8_Analiza de Regresie Simpla