CHƢƠNG III. MƠ HÌNH HỒI QUY
TUYẾN TÍNH ĐA BIẾN
Th.S. Vũ Thị Phương Mai- Khoa Kinh Tế Quốc TếĐại Học Ngoại Thương- Hà Nội

1
CuuDuongThanCong.com

/>

Mơ hình hồi quy tuyến tính đa biến
 Trong thực tế, các mối quan hệ kinh tế thường phức tạp, một

số biến số kinh tế có thể chịu tác động của nhiều biến số
kinh tế khác  mơ hình hồi quy hai biến (hồi quy đơn) tỏ ra
không thỏa đáng.
 VD khi n/c nhu cầu về một loại hàng hóa nào đó thì nhu cầu
phụ thuộc đồng thời vào nhiều yếu tố: thu nhập của người
tiêu dùng, giá bán của hàng hóa, thị hiếu người tiêu dùng…
 Vì vậy cần thiết phải mở rộng mơ hình hồi quy hai biến
bằng cách đưa thêm nhiều biến vào mơ hình  n/c hồi quy
nhiều biến (hồi quy bội hay hồi quy đa biến)
 Các ý tưởng và kết quả nghiên cứu của hồi quy hai biến
được khái qt cho mơ hình hồi quy nhiều biến.
2
CuuDuongThanCong.com

/>

Nội Dung
 1. Thiết lập mơ hình
 2. Ước lượng các tham số

 3. Khoảng tin cậy và kiểm định các giả thiết thống kê
 4. Phân tích phương sai và kiểm định sự phù hợp của mơ hình
 5. Một số dạng mơ hình quan trọng

3
CuuDuongThanCong.com

/>

1. Thiết lập mơ hình
 Mơ hình hồi quy k biến trình bày dưới dạng đại số như sau:

PRF

Yi

SRF

Yi

0

ˆ
0

1

X 1i

ˆ X

1

1i

2

X

ˆ X
2

2i

2i

...

...

k 1

X

ˆ
k

1

k 1,i


X

k

1,i

ui
uˆ i

 β0: hệ số tự do, βj (j=1,…,k-1): hệ số hồi quy riêng


ˆ
j

,

uˆ i

là các ước lượng điểm của βj, ui

4
CuuDuongThanCong.com

/>
[3.01]
[3.02]


Mơ hình PRF dƣới dạng ma trận

 Giả sử ta có n bộ giá trị quan sát của (Y, X1, X2,…,Xk-1) là

(Yi, X1i, X2i,…,Xk-1,i) với i = 1 , n .
 Như vậy hàm PRF ngẫu nhiên ứng với từng quan sát sẽ là:
Y1 = β0+ β1X11 + β2X21 +…+ βk-1Xk-1,1+ u1
Y2 = β0+ β1X12 + β2X22 +…+ βk-1Xk-1,2+ u2
……………………………………………
Yn = β0+ β1X1n + β2X2n +…+ βk-1Xk-1,n+ un

5
CuuDuongThanCong.com

/>

Ta định nghĩa các ma trận tƣơng ứng nhƣ sau :

Y

Y1

0

u1

1

X 11

X 21


...

Xk

1 ,1

Y2

1

u2

1

X 12

X 22

...

Xk

1, 2

...

...

...


...

1

X 1n

X 2n

...

,

...

...
Yn

,

n *1

k 1

k *1

u

...
un


,X
n *1

 Khi đó PRF được viết dưới dạng ma trận như sau:

Y= X.β + u

[3.03]

6
CuuDuongThanCong.com

/>
...
Xk

1, n

n*k


Mơ hình SRF dƣới dạng ma trận
 Kí hiệu:
ˆ
0

uˆ 1

1


uˆ 2

ˆ

ˆ

,

uˆ

...

...
ˆ
k

1

uˆ n

k *1

n *1

 Ta có:

SRF

Yi


X ˆ

uˆ

[3.04]

7
CuuDuongThanCong.com

/>

2. Ƣớc lƣợng các tham số
 2.1. Phương pháp bình phương nhỏ nhất OLS
 2.2. Các giả thiết của PP OLS dưới dạng ma trận
 2.3. Các tính chất của hệ số ước lượng OLS
 2.4. Độ chính xác của các hệ số ước lượng OLS
 2.5. Tiêu chuẩn của các hệ số ước lượng OLS

8
CuuDuongThanCong.com

/>

2.1. Phƣơng pháp OLS
 Áp dụng phương pháp OLS, ta cần tìm
n

j

sao cho :

2

n
2

uˆ i
i

ˆ

1

Yi
i

( ˆ0

ˆ X
1

1i

....

ˆ
k

1

X


k

1

)

 min

1

n

 Như đã được học trong chương II, ta biết rằng

cực tiểu

2

uˆ i
i

↔

f ' (u )
f ' '(u )

đạt

1


0
0

 Ta sẽ lần lượt xét các điều kiện này bằng phương pháp ma

trận.

9
CuuDuongThanCong.com

/>

Nhắc lại về lý thuyết ma trận
 Giả sử A là một ma trận. Khi đó, theo lý thuyết về ma

trận ta có AT.A= A2 với AT là ma trận chuyển vị của
ma trận A.
 Ma trận chuyển vị là ma trận ở đó các hàng được thay
thể bằng các cột và ngược lại. Ma trận chuyển vị của
ma trận A được ký hiệu là AT. Ví dụ :
X1



A

X1

X


2

X

3

X

4



A

T

X

2

X

3

X

4

10

CuuDuongThanCong.com

/>

 Khi đó,

n
2

uˆ i
i

(Do

Y

T

=
=
=
=
=

1

X ˆ

(Y


T

T

uˆ .uˆ
T
X ˆ ) .( Y

(Y
(Y

ˆT X

T

T

Y Y

Y

T

T

X ˆ)
X ˆ)

).( Y


X ˆ

ˆT X TY

T
T
2 ˆ X Y

T

Y Y

T
X ˆ)

ˆT X TY

ˆT X

ˆT X
T

T

X ˆ

X ˆ

)


n

 Vậy,

2

uˆ i
i

f ( ˆ)

T

Y Y

T
2 ˆ X

T

Y

ˆT X

T

X ˆ

1


11
CuuDuongThanCong.com

/>

sao cho f( ˆ )  min, tương đương với
sao cho :

 Ta cần tìm

tìm

ˆ

ˆ

f '( ˆ )
f ''( ˆ )

0
0

12
CuuDuongThanCong.com

/>

Xét điều kiện cần:
f '( ˆ )


f ( ˆ)

T

ˆ

2X Y

2X

ˆ

T

f '( ˆ )

X ˆ

0



0

X

T

X ˆ


T

X Y

 Tương đương với:
n

X 1i

X 1i

X 1i

...
X

2

...
k 1,i

Xk

X
1,i 1i

X 2i

...


Xk

X 1i X 2 i

...

X 1i X k

...

...

...

...

Xk

Xk

X 2i
1,i

1,i

0

ˆ

1,i


1

...
2

ˆ

1,i
k*k

X TX

=

k 1

ˆ

k *1

1

1

...

1

Yˆ1


X 11

X 12

...

X 1n

Yˆ2

...

...

...

...

...

Xk

1 ,1

Xk

1, 2

...


Xk

1, n

XT

Y

13
CuuDuongThanCong.com

k *n

Yˆn

/>
Yi

=

Y i X 1i
...

n *1

Yi X

k 1,i


X TY

k *n


Xét điều kiện cần:

f '( ˆ )

0

 Dễ thấy rằng XTX là ma trận đối xứng qua đường chéo

chính, do đó, về mặt thực hành ta chỉ cần xác định nửa
trên hoặc nửa dưới của ma trận là đủ.
 Ta giả định là tồn tại ma trận nghịch đảo (XTX)-1 của
ma trận XTX, với điều kiện cần và đủ là ma trận X có
hạng bằng k.
T

 ˆ

X Y
X

T

=

(X


T

X )

1

T

.( X Y )

X

14
CuuDuongThanCong.com

/>

Xét điều kiện đủ:

f ''( ˆ )

f '( ˆ )
ˆ

f ''( ˆ )

2X

T


X

0

2X

2

15
CuuDuongThanCong.com

/>
0


2.2. Các giả thiết của PP OLS dƣới dạng ma trận
 Giả thiết 1 : Kỳ vọng có điều kiện của nhiễu bằng 0 :

E(u)= 0. Trong đó :
u1

E(u) = E

u2
...
un

=


E ( u 1 / X 11 , X

21

,..., X

k

1 ,1

E ( u 2 / X 12 , X

22

,..., X

k

1, 2

)

,..., X

k

1, n

)


...
E (u n / X 1n , X

2n

16
CuuDuongThanCong.com

)

/>

2.2. Các giả thiết của PP OLS dƣới dạng ma trận
 Giả thiết 2 : E(u.uT)= σ2.I, trong đó I là ma trận đơn vị:

E(u.uT)

=E

2

u1

u1

u 1u 2

u2

u 2u1


u1

...

u2

...

=E

un

un
2

=
17

E (u1 )

E ( u 1u 2 )

E (u 2u1 )

...

u 1u n

u2


...

u 2u n

...

...

...

...

u nu1

u nu 2

...

un

...

E ( u 1u n )

E (u 2 )

...

E (u 2u n )


...

...

...

...

E (u nu1 )

E (u nu 2 )

...

E (u n )

CuuDuongThanCong.com

2

2

2

/>
2


2.2. Các giả thiết của PP OLS dƣới dạng ma trận

 Giả thiết 2 có được do sử dụng giả thiết 1 kết hợp với các giả

thiết sau :
 Phương sai thuần nhất: var(ui)= E(ui2)= σ2, với mọi i.
 Không có tự tương quan : cov(ui, uj)= E(ui, uj)= 0, với mọi i ≠ j

 Khi đó,
2

E(u.uT)

=

0
2

0

...

0

...

0
...

...

...


...

0

0

...

=
2

σ2

1

0

...

0

0

1

...

0


...

...

...

...

0

0

...

1

= σ2 I

18
CuuDuongThanCong.com

/>

2.2. Các giả thiết của PP OLS dƣới dạng ma trận
 Giả thiết 3 : Ma trận X đã được xác định.
 Giả thiết 4: Hạng của ma trận X bằng k, là số tham số

trong mơ hình hồi quy.
Kí hiệu cho hạng của ma trận là rank(X) = k, có nghĩa là
k cột trong ma trận X là độc lập tuyến tính, mà mỗi cột

tương ứng với một biến độc lập nên khơng có tương
quan tuyến tính chính xác giữa các biến độc lập, hay nói
cách khác khơng có hiện tượng đa cộng tuyến
(multicollinearity) xảy ra.
 Giả thiết 5: Véc tơ nhiễu có phân phối chuẩn nhiều
chiều, tức là: u ~ N(0, σ2I)
19
CuuDuongThanCong.com

/>

2.3. Các tính chất của hệ số ƣớc lƣợng OLS
 Với các giả thiết của mơ hình, hàm hồi quy mẫu ƯL theo PP

OLS có các tính chất tương tự như trong trường hợp hồi quy
hai biến, bao gồm các tính chất sau:
 SRF đi qua điểm ứng với các giá trị trung bình (
 Y


uˆ

Y

, X ,…, X
1

Yˆ

0


 uˆ i không tương quan với X1i,….,Xk-1,i, tức là cov( uˆ ,X) = 0

20

 uˆ i không tương quan với Yˆi , tức là cov( uˆ , Yˆ ) = 0
CuuDuongThanCong.com

/>
k

1

)


2.3. Các tính chất của hệ số ƣớc lƣợng OLS
 Các hệ số ước lượng là thành phần của véc tơ

ˆ

và là
véc tơ ước lượng điểm của β, tìm bằng PP OLS, có các
tính chất sau đây:


ˆ




ˆ

được xác định một cách duy nhất với một mẫu cụ thể.

là véc tơ ngẫu nhiên. Với các mẫu khác nhau, giá trị
cụ thể của chúng sẽ khác nhau.

 Với giả thiết u có phân phối chuẩn, véc tơ

quy luật chuẩn.

21
CuuDuongThanCong.com

/>
ˆ

tuân theo


2.4. Độ chính xác của các hệ số ƣớc lƣợng OLS
 Để đo mức độ dao động và tương quan giữa các hệ số ước

lượng được, ta sử dụng ma trận hiệp phương sai của hệ số hồi
quy dạng tổng quát như sau:
var( ˆ 0 )
cov(

ˆ)


cov(

cov(

...

cov(

ˆ , ˆ
0
k

1

)

var( ˆ1 )

...

cov(

ˆ , ˆ
1
k

1

)


.......... ........

...

ˆ

...

ˆ , ˆ )
1
0

.......... ........
ˆ
k

1

, ˆ0

ˆ , ˆ )
0
1

cov(

cov(

k


1

, ˆ1 )

.......... ........
var( ˆ k

1

=σ2.(XTX)-1 [3.05]

)

 Vì σ2 là phương sai tổng thể chưa biết, nên ta dùng ˆ 2 thay thế:
n
2

uˆ i
ˆ

2

i

n

22
CuuDuongThanCong.com

1


[3.06]

k
/>

2.5. Tiêu chuẩn của các hệ số ƣớc lƣợng OLS
 Với các giả thiết của mơ hình hồi quy tuyến tính cổ

điển, ˆ là ước lượng tuyến tính, khơng chệch, có
phương sai nhỏ nhất trong lớp tất cả các ước lượng
tuyến tính khơng chệch của β (tiêu chuẩn BLUE).
 Đây chính là nội dung của định lý Gauss-Markov mà
ta đã biết trong chương II hồi quy hai biến.

23
CuuDuongThanCong.com

/>

3. Khoảng tin cậy và kiểm định các giả thiết thống kê
 3.1. Khoảng tin cậy
 3.2. Kiểm định giả thiết về hệ số hồi quy
 3.3. Kiểm định giả thiết về phương sai của nhiễu


nh
 3.5. Kiểm định tổ hợp tuyến tính về hệ số hồi quy

24

CuuDuongThanCong.com

/>

3.1. Khoảng tin cậy
 Đối với mơ hình hồi quy nhiều biến, việc xác định khoảng tin

cậy cho các hệ số hồi quy và phương sai nhiễu của tổng thể
được tiến hành tương tự như trong hồi quy hai biến. Với cỡ
mẫu n và k tham số, cùng với giả thiết nhiễu u có phân phối
chuẩn, khi sử dụng ˆ thay thế cho σ2, ta có :
2

ˆ





i

t

2

i

se ( ˆ i )
ˆ
(n


k)

~ t(n-k) [3.07]

2
2

~ χ2(n-k) [3.08]

25
CuuDuongThanCong.com

/>