Chương 3

Hồi quy bội


A comparison of the models
Model
Linear

Eq.
Y  1  2X

Log-linear lnY  1  2 ln X
Log-lin

lnY  1  2X

lin-log

Y  1  2 ln X

Reci

Y  1  2  1 X 

Slope

2
Y �
�
2 � �

�X �
2Y

Elasticity
�X �
2 � �
Y �
�

2
 2X

�1 �
�1 �
2 � � 2 � �
Y �
�X �
�
1
1
 2 2  2
X
XY
2


3.1. Mơ hình hồi quy bội
PRF:

E(Y | X2, X3) = 1 + 2 X2 + 3 X3


1: Hệ số chặn = giá trị trung bình của
biến Y khi X2 = X3 = 0.
2, 3: các hệ số hồi quy riêng.
- Giá trị biến Y ở quan sát thứ i là:
Yi=E(Y|X2, X3)+Ui = 1 + 2 X2 + 3 X3+Ui
3


3.2.Các giả thiết của mơ hình CLRM
(nhắc lại)
1.

Mơ hình là tuyến tính

2.

Kì vọng Ui bằng 0:

3.

Các Ui thuần nhất:

4.

5.






Khơng có sự tương
quan giữa các Ui:
Khơng có quan hệ
tuyến tính giữa các
biến giải thích.

Yi  1  2X 2i  3X 3i  ui
E (ui | X 2i , X 3i )  0
var(ui )   2
cov(ui u j )  0, i �j

11  2X 2i  3X 3i �0,
1 , 2 , 3 �(0,0,0)

2 đo lường sự thay đổi kì vọng của Y ứng với 1
đơn vị tăng lên của X2, X3 không đổi.
3 đo lường sự thay đổi kì vọng của Y ứng

với 1 đơn vị tăng lên của X , X không

4


Hiên tượng đa cộng tuyến


Giả thiết 5 bị vi phạm, ví dụ:
X 3i   X 2i


Yi  1  2X 2i   3X 3i  ui
 1  2X 2i   3 ( X 2i )  ui
 1  ( 2   3 ) X 2i  ui
 1   2X 2i  ui


Ước lượng mơ hình này khơng thấy
được ảnh hưởng từng biến lên biến

5


3.3. Ước lượng các tham số trong hồi
quy bội
n

n

i 1

i 1

min : RSS  �uˆi2  �(Yi  ˆ1  ˆ2X 2i  ˆ3X 3i )2

ˆ1 ,ˆ2 , ˆ3



Điều kiến cần
n


�(Y
i 1

i

n

�(Y

 ˆ1  ˆ2X 2i  ˆ3X 3i )  0

i

 ˆ1  ˆ2X i  ˆ3X 3i ) X 2i  0

�(Y

 ˆ1  ˆ2X i  ˆ3X 3i ) X 3i  0

i 1
n

i 1

i

6



Giải được
ˆ1  Y  ˆ2X 2  ˆ3X 3
ˆ2 
ˆ3



 �y i x2i 





2
x
� 3i   �y i x3i   �x2i x 3i 

 �x   �x    �x x 
y x   �x    �y x   �x

�

 �x   �x    �x x 
2
2i

i

2
2i


3i

2
2i

2

2
3i

2i

i

2
3i

3i

2i

3i

x 2i 

2

2i


3i

Rất lãng phí thời gian để nhớ kết quả
này.
7


ƯL
A nicer expression with a simple
interpretation
Let
X 2i  ˆ1  ˆ2X 3i  rˆ2i , In a multiple regression,
X 3i  ˆ1  ˆ2X 2i
Then

we “partial out” the
 rˆ3i ,
effect of the other
variables

n

ˆ2 

�rˆ y
i 1
n

2i


2
ˆ
r
�2i
i 1

n

i

,

ˆ3 

�rˆ y
i 1
n

3i

i

2
ˆ
r
�3i
i 1

8



And the variances of the estimated
parameters can also be written in a nice
way




var(ˆ2 ) 

2
2
2
ˆ
�r2i �x 2i (1  R2 )
2

2

var(ˆ3 ) 

2
�rˆ3i

2

2
2
2
x

(1

R
� 3i
3)

2
k

where R is the R-square from the
regression of X k on the other regressors
9


3.5. Các tính chất của ước lượng OLS
1.
2.
3.
4.
5.

(Y , X 2 , X 3 )
SRF đi qua các điểm
Trung bìnhYˆ Y
n
ei 0

Trung bình của các phần dư bằng
0:
i 1

n
ˆ 0
ˆ
e
Y
e
,
Y

i
i
Khơng có tương quan giữa
:
i
i
i 1
Tương quann giữa biến
giải thích và
n
phần dư bằng
 ei X0:2i  ei X 3i 0
i 1

i 1

10


Với các giả thiết đã cho,
Các ước lượng ˆ , ˆ

là BLUE
2

3


3.7. Hệ số xác định R , ma trận
tương quan, hệ số tương quan riêng
phần
a. Hệ số xác định R2





Tương tự hồi quy đơn, chúng ta định
nghĩa TSS, ESS, và RSS
Từ đó tính R2
Như hồi quy đơn, R2 đo độ thích hợp
của hàm hồi quy.

12


Hệ số xác định bội đã hiệu chỉnh







V/đ chính với R2 là tăng khi thêm biến giải
thích mới.
Giải pháp cho v/đ này là điều chỉnh đo lường
R2 sao cho nó khơng phải ln ln tăng.
Khi nào thì thêm biến giải thích? Ta dùng hệ
số xác định bội đã hiệu chỉnh
để cân
2
(
R
nhắc việc thêm biến giải thích mới) vào mơ
hình.

13


Công thức:
RSS
R  1
 1
ESS
TSS
2

2
ˆ
u
�i




2
y
�i

Xem tr902
Guarati

1
2
ˆ
u
2
�
i
MSE

ˆ
2
n

k
R  1
 1
 1 2
1
MST
sY
2

yi
�
n 1
2
2 n 1
R  1  (1  R )
n k


R2 hiệu chỉnh không bị giới hạn trong
khoảng 0 và 1.

14


Một số tính chất:





R2 ln tăng khi thêm biến giải thích.
R2 cực đại tương đương RSS cực tiểu.
2
R
Nếu k > 1,
 R2  1.
2
2
R ≥ 0, nhưngR 2 có thể âm. Như vậy R

khi
R 2 mới.
cịn tăng thì ta cịn phải đưa thêm biến
cịn có thể tăng khi mà hệ số của biến mới
trong hàm hồi quy khác không.

15


b. Ma trận tương quan


Xét mơ hình Yi = 1+2X2i+…+ kXki+Ui



Kí hiệu rtj là hệ số tương quan giữa biến t và
biến thứ j. Nếu t=1 thì r1j là hệ số tương quan
2
2
n
n
giữa biến Y và
 biến Xj.



  yi xij 
  xti x ji 
i 1

i 1




2
2
r1 j  n
; rtj  n
n
n
2
2
2
2
 yi  x ji
 xti  x ji
i 1



i 1

i 1

i 1

Dễ thấy rtj=rjt; rjj=1;Ma trận hệ số tương quan
 r11
r

R   21
 

 rk 1

r12
r22

rk 2






r1k   1
r2 k   r21

  
 
rkk   rk 1

r12
1

rk 2







r1k 
r2 k 


1

16


C. Hệ số tương quan riêng phần



Xét mơ hình Yi = 1+2X2i+3X3i+Ui
R12,3 là hệ số tương quan giữa Y và X2 trong khi
X3 không đổi (bậc nhất - sau dấu phẩy có 1 số hạng).



R13,2 là hệ số tương quan giữa Y và X3 trong khi
X2 không đổi.



R23,1 là hệ số tương quan giữa X2 và X3 trong khi
Y không đổi.

17



thiết về các hệ số hồi quy riêng Kiểm định T
Với giả thiết yếu tố ngẫu nhiên phân bố
chuẩn, KTC và kiểm định giả thiết về
các hệ số hồi quy riêng hồn tồn như
phần trình bày ở hồi quy đơn. (page 257



Guarati)
ˆ  

t

i

i

Se( ˆi )



T(n-3)



df = n-3

ˆi  t / 2 Se( ˆi )   i  ˆi  t / 2 Se( ˆi ),



i 1,3

Kđ giả thiết tương tự hàm hai biến

(với df = n-3).
18


3.9. Phân tích phương sai (ANOVA) Kđ F
Source of
variation

SS

df

MS
(or MSS)

Model

ESS

k-1

ESS/(k-1)

Residual


RSS

n-k

RSS/(n-k)

Total

TSS

n-1

TSS/(n-1)
19


Kiểm định F




Chúng ta có thể áp dụng phân tích
phương sai để kiểm định giả thiết:
H0: 2= …=k = 0



H1: tồn tại ít nhất một hệ số riêng i 
0.




Nế
u

thì bác bỏ
H0.
20


Quan hệ giữa R2 và thống kê F


Thống kê F của các tham số có thể biểu diễn
như hàm của R2.
ESS /(k  1)
F 
RSS /(n  k )

ESS /(k  1)

[TSS  ESS ] /(n  k )
[ESS / TSS ] /(k  1)

[1  ESS / TSS ] /(n  k )
R 2 /(k  1)
n  k R2



2
(1  R ) /(n  k ) k  1 1  R 2


Như vây kđ F cũng là Kđ mức ý nghĩa

21


3.10. Hồi quy có điều kiện ràng buộc
- Kiểm định F


Kđ F được dùng để kđ sự hạn chế tổng
quát hơn.



Cho mơ hình Yi = 1+2X2i+…+ kXki+Ui



Kđ cặp giả thiết

H0: k-m+1= k-m+2=…= k=0
H1: k-m+1, k-m+2,…, k không đồng thời bằng 0.
( ESSUR  ESS R ) / m ( RSS R  RSSUR ) / m
F

RSSUR /( n  k )

RSSUR /( n  k )


 F(m,n-k)

F > F(m,n-k): H0 bị bác bỏ.

22




Thủ tục kđ tổng qt:
ƯL mơ hình khơng có ràng buộc.
2. ƯL mơ hình với ràng buộc.
3. Tính tốn thống kê, kết luận.
1.



Nếu giả thiết ràng buộc không làm thay
đổi biến phụ thuộc trong 2 mơ hình, ta
có thể dùng công thức rút gọn sau:
2
UR

2
R

(R  R ) / m

F
 F(m,n-k)
2
(1  RUR ) /(n  k )
23


Ràng buộc trên hàm Cobb-Douglas

The Cobb-Douglas function in log form is
lnYi  1  2 ln X 2i   3 ln X 3i  ui
Constant returns to scale implies

2  3  1 � 2  1  3 ,
lnYi  1  (1   3 ) ln X 2i  3 ln X 3i  ui
ln(Yi / X 2i )  1  3 ln( X 3i / X 2i )  ui
This is a linear restriction
(Biến phụ thuộc thay đổi)
24




Cách 2:

H0: 2+ 3= 1
H1: 2+ 3  1

Nếu |t| > t/2 (n-k) thì bác bỏ
H0.

25