CHƯƠNG III. MƠ HÌNH HỒI QUY
TUYẾN TÍNH ĐA BIẾN

1


Mơ hình hồi quy tuyến tính đa biến
Trong thực tế, các mối quan hệ kinh tế thường phức tạp, một

số biến số kinh tế có thể chịu tác động của nhiều biến số
kinh tế khác  mơ hình hồi quy hai biến (hồi quy đơn) tỏ ra
không thỏa đáng.
VD khi n/c nhu cầu về một loại hàng hóa nào đó thì nhu cầu
phụ thuộc đồng thời vào nhiều yếu tố: thu nhập của người
tiêu dùng, giá bán của hàng hóa, thị hiếu người tiêu dùng…
Vì vậy cần thiết phải mở rộng mơ hình hồi quy hai biến
bằng cách đưa thêm nhiều biến vào mơ hình  n/c hồi quy
nhiều biến (hồi quy bội hay hồi quy đa biến)
Các ý tưởng và kết quả nghiên cứu của hồi quy hai biến
được khái qt cho mơ hình hồi quy nhiều biến.
2


Nội Dung
1. Thiết lập mơ hình
2. Ước lượng các tham số
3. Khoảng tin cậy và kiểm định các giả thiết thống kê
4. Phân tích phương sai và kiểm định sự phù hợp của mơ hình
5. Một số dạng mơ hình quan trọng

3

1. Thiết lập mơ hình
Mơ hình hồi quy k biến trình bày dưới dạng đại số như sau:

PRF Yi  0  1 X 1i   2 X 2i  ...   k  1 X k  1,i  ui
SRF

Y ˆ
i

0

 ˆ1 X 1i  ˆ2 X 2i  ...  ˆk  1 X k  1,i  uˆi

β0: hệ số tự do, βj (j=1,…,k-1): hệ số hồi quy riêng
ˆ , uˆ là các ước lượng điểm của βj, ui
j

4

i

[3.01]
[3.02]


Mơ hình PRF dưới dạng ma trận
Giả sử ta có n bộ giá trị quan sát của (Y, X1, X2,…,Xk-1) là
(Yi, X1i, X2i,…,Xk-1,i) với i = 1, n.

Như vậy hàm PRF ngẫu nhiên ứng với từng quan sát sẽ là:

Y1 = β0+ β1X11 + β2X21 +…+ βk-1Xk-1,1+ u1
Y2 = β0+ β1X12 + β2X22 +…+ βk-1Xk-1,2+ u2
……………………………………………
Yn = β0+ β1X1n + β2X2n +…+ βk-1Xk-1,n+ un

5


Ta định nghĩa các ma trận tương ứng như sau :
 0 
 u1 
 Y1 


 
 
 Y2    1  u  u2  X
Y   ,
,
,




...
...
...
 



 
u 
 
Y 
 k  1  k *1  n  n*1
 n  n*1

1

1

...

1


X 11 X 21
X 12 X 22
... ...
X 1n X 2 n

Khi đó PRF được viết dưới dạng ma trận như sau:

Y= X.β + u

6

[3.03]


... X k  1,1 

... X k  1, 2 
... ... 

... X k  1, n  n*k


Mơ hình SRF dưới dạng ma trận
Kí hiệu:

 ˆ0 
 uˆ1 


 
ˆ 
ˆ2 
u



1
ˆ 
 , uˆ  
...
 ... 
 
 uˆ 

 ˆ 
 n  n*1
 k  1  k *1
Ta có:

7



SRF Yi  Xˆ  uˆ

[3.04]


2. Ước lượng các tham số
2.1. Phương pháp bình phương nhỏ nhất OLS
2.2. Các giả thiết của PP OLS dưới dạng ma trận
2.3. Các tính chất của hệ số ước lượng OLS
2.4. Độ chính xác của các hệ số ước lượng OLS
2.5. Tiêu chuẩn của các hệ số ước lượng OLS

8


2.1. Phương pháp OLS
 Áp dụng phương pháp OLS, ta cần tìm ˆ j sao cho :
n

n


i 1

i 1





2

2
ˆ
u
 i  Yi  (ˆ0  ˆ1 X1i  ....  ˆk  1 X k  1 )  min

n

2
ˆ
u
 Như đã được học trong chương II, ta biết rằng  i đạt
i 1

cực tiểu

 f ' (u ) 0
↔  f ' ' (u )  0

 Ta sẽ lần lượt xét các điều kiện này bằng phương pháp ma


trận.

9


Nhắc lại về lý thuyết ma trận
Giả sử A là một ma trận. Khi đó, theo lý thuyết về ma

trận ta có AT.A= A2 với AT là ma trận chuyển vị của
ma trận A.
Ma trận chuyển vị là ma trận ở đó các hàng được thay
thể bằng các cột và ngược lại. Ma trận chuyển vị của
ma trận A được ký hiệu là AT. Ví dụ :


10

A  X 1

X2

X3

X4

 X1 
X 
 AT  2 
 X3
 

X4


Khi đó,

n

 uˆ = uˆ T .uˆ
2
i

i 1

= (Y  Xˆ )T .(Y  Xˆ )
= (Y T  ˆ T X T ).(Y  Xˆ )
= Y T Y  Y T Xˆ  ˆ T X T Y  ˆ T X T Xˆ
= Y T Y  2ˆ T X T Y  ˆ T X T Xˆ
(Do Y T Xˆ (Y T Xˆ )T ˆ T X T Y )
Vậy,

n

2
ˆ ) Y T Y  2ˆ T X T Y  ˆ T X T Xˆ
ˆ
u

f
(


 i
i 1

11


Ta cần tìm ˆ sao cho f(ˆ )  min, tương đương với
tìm ˆ sao cho :

 f ' ( ˆ ) 0

 f ' ' ( ˆ )  0

12


ˆ
f
'
(

) 0
Xét điều kiện cần:
f ( ˆ )
ˆ
f ' ( ) 
  2 X T Y  2 X T Xˆ 0  X T Xˆ  X T Y
ˆ
Tương đương với:
 n


  X 1i
 ...

 X
k  1, i


X
X

1i
2
1i

X
X X
2i

1i

...

X

...
X

k  1, i 1i


X

k  1, i

X 2i

XTX
13

2i

...
...
...
...

  ˆ0   1
1
   
ˆ
X 12
1i k  1, i   1  =  X 11
...   ...   ...
...



 X k2 1,i k*k  ˆk  1 k *1  X k  1,1 X k  1,2

X

X X

k  1, i

ˆ

XT

... 1   Yˆ1 
  
... X 1n   Yˆ2  =
... ...   ... 

... X k  1, n  k *n  Yˆn  n*1

Y

  Yi 


  Yi X 1i 
 ... 


 Y X 
 i k  1,i  k *n

XTY



ˆ
f
'
(

) 0
Xét điều kiện cần:
Dễ thấy rằng XTX là ma trận đối xứng qua đường chéo

chính, do đó, về mặt thực hành ta chỉ cần xác định nửa
trên hoặc nửa dưới của ma trận là đủ.
Ta giả định là tồn tại ma trận nghịch đảo (XTX)-1 của
ma trận XTX, với điều kiện cần và đủ là ma trận X có
hạng bằng k.
T
X
Y
T
1
T
ˆ


(
X
X
)
.(
X
Y)


=
T
X X

14


ˆ
f
'
'
(

)0
Xét điều kiện đủ:
ˆ)

f
'
(

f ' ' ( ˆ ) 
2 X T X 2 X 2  0
ˆ

15


2.2. Các giả thiết của PP OLS dưới dạng ma trận

Giả thiết 1 : Kỳ vọng có điều kiện của nhiễu bằng 0 :

E(u)= 0. Trong đó :

 u1 
 E (u1 / X 11 , X 21 ,..., X k  1,1 ) 
 


u2 
E (u2 / X 12 , X 22 ,..., X k  1, 2 ) 

E(u) = E
= 


 ... 
...


 
u 
 E (u / X , X ,..., X

)
n
1n
2n
k  1, n 
 n



16


2.2. Các giả thiết của PP OLS dưới dạng ma trận
Giả thiết 2 : E(u.uT)= σ2.I, trong đó I là ma trận đơn vị:

  u1 

 

 u2 

T
E(u.u ) =E 
 u1 u2 ... un  = E
 ... 
 

 u

n





17


 E (u12 ) E (u1u2 )

 E (u2u1 ) E (u22 )
= 
...
 ...
 E (u u ) E (u u )
n 1
n 2


 u12 u1u2

 u2u1 u22
 ...
...

u u u u
 n 1 n 2

... E (u1un ) 

... E (u2un ) 
...
... 
... E (un2 ) 

... u1un 

... u2un 

... ... 
... un2 


2.2. Các giả thiết của PP OLS dưới dạng ma trận
Giả thiết 2 có được do sử dụng giả thiết 1 kết hợp với các giả

thiết sau :
Phương sai thuần nhất: var(ui)= E(ui2)= σ2, với mọi i.
Khơng có tự tương quan : cov(ui, uj)= E(ui, uj)= 0, với mọi i ≠ j

Khi đó,

 2 0

2
0


E(u.uT) = 
 ... ...
 0
0


18

... 0 

... 0 

= σ2

... ... 
...  2 

1

0
 ...

0


0
1
...
0

...
...
...
...

0

0
= σ2 I

...


1 


2.2. Các giả thiết của PP OLS dưới dạng ma trận
Giả thiết 3 : Ma trận X đã được xác định.
Giả thiết 4: Hạng của ma trận X bằng k, là số tham số

trong mơ hình hồi quy.
Kí hiệu cho hạng của ma trận là rank(X) = k, có nghĩa là
k cột trong ma trận X là độc lập tuyến tính, mà mỗi cột
tương ứng với một biến độc lập nên khơng có tương
quan tuyến tính chính xác giữa các biến độc lập, hay
nói cách khác khơng có hiện tượng đa cộng tuyến
(multicollinearity) xảy ra.
Giả thiết 5: Véc tơ nhiễu có phân phối chuẩn nhiều
chiều, tức là: u ~ N(0, σ2I)
19


2.3. Các tính chất của hệ số ước lượng OLS
Với các giả thiết của mơ hình, hàm hồi quy mẫu ƯL theo PP

OLS có các tính chất tương tự như trong trường hợp hồi quy
hai biến, bao gồm các tính chất sau:
SRF đi qua điểm ứng với các giá trị trung bình ( Y , X 1 ,…, X k  1 )

20




Y Yˆ



uˆ 0



uˆi không tương quan với X1i,….,Xk-1,i, tức là cov( uˆ,X) = 0



uˆi không tương quan với Yˆi , tức là cov( uˆ , Yˆ ) = 0


2.3. Các tính chất của hệ số ước lượng OLS
Các hệ số ước lượng là thành phần của véc tơ ˆ và là

véc tơ ước lượng điểm của β, tìm bằng PP OLS, có các
tính chất sau đây:
 ˆ

được xác định một cách duy nhất với một mẫu cụ

thể.
ˆ
là véc tơ ngẫu nhiên. Với các mẫu khác nhau, giá trị
cụ thể của chúng sẽ khác nhau.




ˆ
Với giả thiết u có phân phối chuẩn, véc tơ

quy luật chuẩn.
21

tuân theo


2.4. Độ chính xác của các hệ số ước lượng OLS
Để đo mức độ dao động và tương quan giữa các hệ số ước

lượng được, ta sử dụng ma trận hiệp phương sai của hệ số hồi
quy dạng tổng quát như sau:
 var(ˆ0 )
cov(ˆ0 , ˆ1 ) ... cov(ˆ0 , ˆk  1 )


ˆ
ˆ
ˆ
ˆ
ˆ
cov(1 ,  0 )
var(1 )
... cov(1 ,  k  1 ) 
cov(ˆ ) 
 .................. .................. ... ..................  =σ2.(XTX)-1 [3.05]



ˆ
ˆ
ˆ
ˆ
ˆ
var( k  1 ) 
cov( k  1 ,  0 cov( k  1 , 1 ) ...
Vì σ2 là phương sai tổng thể chưa biết, nên ta dùng ˆ 2 thay thế:
n

2

ˆ 
22

2
ˆ
u
 i
i 1

n k

[3.06]


2.5. Tiêu chuẩn của các hệ số ước lượng OLS
Với các giả thiết của mơ hình hồi quy tuyến tính cổ
ˆ ước lượng tuyến tính, khơng chệch, có phương

điển, là

sai nhỏ nhất trong lớp tất cả các ước lượng tuyến tính
khơng chệch của β (tiêu chuẩn BLUE).
Đây chính là nội dung của định lý Gauss-Markov mà
ta đã biết trong chương II hồi quy hai biến.

23


3. Khoảng tin cậy và kiểm định các giả thiết thống kê
3.1. Khoảng tin cậy
3.2. Kiểm định giả thiết về hệ số hồi quy
3.3. Kiểm định giả thiết về phương sai của nhiễu
3.4. Kiểm định tính có ý nghĩa của mơ hình
3.5. Kiểm định tổ hợp tuyến tính về hệ số hồi quy

24


3.1. Khoảng tin cậy
Đối với mơ hình hồi quy nhiều biến, việc xác định khoảng tin

cậy cho các hệ số hồi quy và phương sai nhiễu của tổng thể
được tiến hành tương tự như trong hồi quy hai biến. Với cỡ
mẫu n và k tham số, cùng với giả thiết nhiễu u có phân phối
chuẩn, khi sử dụng ˆ 2 thay thế cho σ2, ta có :




25

ˆi   i
~ t(n-k) [3.07]
t
se( ˆi )
2
ˆ

 2 (n  k ) 2 ~ χ2(n-k) [3.08]
