Một số mô hình hồi qui
Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (781.17 KB, 45 trang )
Khoá luận tốt nghiệp
GV Nguyễn Trung Dũng
Trường đại học sư phạm hà nội 2
Khoa toán
****o0o****
Lưu thị phượng
Một số mô hình hồi quy
Khoá luận tốt nghiệp đại học
Chuyên ngành : Toán ứng dụng
Người hướng dẫn khoa học
GV. Nguyễn Trung Dũng
Hà nội - 2008
SV Lưu Thị Phượng-K30B CN
1
Khoá luận tốt nghiệp
GV Nguyễn Trung Dũng
Lời cảm ơn
Qua đây em xin bày tỏ lòng biết ơn sâu sắc tới thầy giáo
Th.S. Nguyễn Trung Dũng
đã dành thời gian, tâm huyết giúp đỡ em hoàn thành luạn văn này. Em xin
gửi lười cảm ơn chân thành, lời chúc sức khoẻ hạnh phúc và thành đạt tới đến
các thầy cô trong khoa đã tạo đièu kiện giúp đỡ em trong suột thười gian hoàn
thành khoá luận.
Em xin chân thành cảm ơn!
Tác giả
Lưu Thị Phượng
SV Lưu Thị Phượng-K30B CN
2
Khoá luận tốt nghiệp
GV Nguyễn Trung Dũng
Lời cam đoan
Tôi xin cam đoan khoá luận này là công trình nghiên cứu của riêng tôi.
Trong khi nghiên cứu, tôi đã kế thừa những thành quả nghiên cứu của các nhà
khoa học, nhà nghiên cứu với sự trân trọng biết ơn.
Những kết quả nêu trong khoá luận chưa được công bố trên bất kì công
trình nào khác.
Xuân Hoà, tháng 05 năm 2008
Tác giả
Lưu Thị Phượng
SV Lưu Thị Phượng-K30B CN
3
Khoá luận tốt nghiệp
GV Nguyễn Trung Dũng
Lời nói đầu
Trong nhiều bài toán thực tế người ta quan tâm đến quan hệ của hai hay
nhiều biến ngẫu nhiên X,Y được khảo sát đồng thời trên cùng một tổng thể.
Điều này có nghĩa là khi ta lấy ngẫu nhiên một cá thể của tổng thể ra xen xét
thì phải cân đo, phân tích, thử nghiệm ,…đồng thời hai đặc tính sinh học định
lượng X và Y.
Thí cân và đo chiều cao của một em học sinh lớp 4, cân trọng lượng và
đo chiều dài của cá, đo chiều cao của con trai và con gái trong cùng một gia
đình…
Tuy nhiên ta không thể nghiên cứu đầy đủ mọi đặc trưng của quan hệ
đó. Mà thông thường ta chỉ có thể khảo sát một mẫu gồm n cá thể, ta thu được
dãy n cặp số ( xi , yi ), i 1, n được xem như là cặp quan sát của hai biến ngẫu
nhiên X,Y.
Một câu hỏi rất tự nhiên được đặt ra là hai biến X, Y có quan hệ với
nhau như thế nào? Và câu trả lời biến Y thay đổi theo sự thay đổi của biến X
như thế nào là phần trình bày của đề tài “Các mô hình hồi quy”.
Cụ thể, ở đây tôi nghiên cứu hai vấn đề:
1) Nghiên cứu mô hình hồi quy tuyến tính.
2) Nghiên cứu mô hình hồi quy phi tuyến.
Do thời gian và năng lực có hạn nên khoá luận của tôi chắc chắn không
tránh khỏi những thiếu sót, vì vậy tôi rất mong nhận được ý kiến đóng góp
của các thầy giáo, cô giáo và các bạn sinh viên.
SV Lưu Thị Phượng-K30B CN
4
Khoá luận tốt nghiệp
GV Nguyễn Trung Dũng
Mục lục
Trang
Lời nói đầu……………………………………………………………..1
Chương 1. Hồi quy tuyến tính…………………………………………..2
1.1. Mô hình hồi quy…………………………………………………....2
1.1.1. Các giả thuyết cho mô hình……………………………………....2
1.1.2. Phương trình hồi quy……………………………………………..2
1.2. Mô hình hồi quy tuyến tính đơn……………………………………3
1.3. Ước lượng các tham số hồi quy………………………………….....4
1.3.1. Phương pháp bình phương bé nhất……………………………….4
1.3.2. Ước lượng điểm cho trung bình đáp ứng…………………………7
1.3.3. Ước lượng sai số 2 ……………………………………………..9
1.4. Mô hình hồi quy tuyến tính đơn với sai số chuẩn……………….. .11
1.5. Phân tích cho mô hình hồi quy tuyến tính đơn………………….. ..14
1.5.1. Kiểm định 1 …………………………………………………… 14
1.5.2. Khoảng tin cậy cho 1 ………………………………………….. .15
1.5.3. Khoảng tin cậy cho 0 …………………………………………...16
1.6. Dạng ma trận của hồi quy tuyến tính……………………………. ..17
1.6.1. Dạng ma trận của hồi quy tuyến tính đơn………………………..17
1.6.2. Ước lượng bình phương bé nhất của tham số hồi quy……………19
1.7. Hồi quy tuyến tính bội……………………………………………...21
Chương 2. Hồi quy phi tuyến……………………………………………27
2.1. Mô hình hồi quy phi tuyến…………………………………….. ….27
2.2. Ước lượng tham số hồi quy……………………………………. ….30
2.3. Hồi quy logistic……………………………………………………31
2.3.1. Hồi quy với một biến đáp ứng nhị phân………………………. ..31
SV Lưu Thị Phượng-K30B CN
5
Khoá luận tốt nghiệp
GV Nguyễn Trung Dũng
2.3.2. Hồi quy logistic đơn……………………………………………..32
2.3.3. Hồi quy logistic bội……………………………………………..34
2.4. Hồi quy Poatxông…………………………………………………35
Kết luận………………………………………………………………..37
Tài liệu tham khảo…………………………………………………….38
SV Lưu Thị Phượng-K30B CN
6
Khoá luận tốt nghiệp
GV Nguyễn Trung Dũng
Lời nói đầu
Trong nhiều bài toán thực tế người ta quan tâm đến quan hệ của hai hay
nhiều biến ngẫu nhiên X,Y được khảo sát đồng thời trên cùng một tổng thể.
Một câu hỏi rất tự nhiên được đặt ra là hai biến X, Y có quan hệ với nhau như
thế nào? Và câu trả lời biến Y thay đổi theo sự thay đổi của biến X như thế
nào là phần trình bày của đề tài khoá luận “Một số mô hình hồi quy”.
Khoá luận gồm hai chương:
Chương 1. Mô hình hồi quy tuyến tính. Trong chương này trình bày
các mô hình hồi qui tuyến tính đơn, mô hình hồi qui tuyến tính bội và dạng
ma trận của các mô hình đó.
Chương 2. Mô hình hồi quy phi tuyến. Trong chương này giới thiệu
một số mô hình hồi qui phi tuyến như: hồi qui logistic và hồi qui Poatxông.
Khoá luận được thực hiện tại trường Đại học Sư phạm Hà Nội 2.
Qua đây, tôi xin bày tỏ lòng biết ơn sâu sắc đến thầy giáo
GV Nguyễn Trung Dũng đã dành nhiều thời gian, tâm huyết giúp đỡ tôi
hoàn thnàh luận văn này. Tôi xin gửi lời cảm ơn chân thành, lời chúc sức
khoẻ hạnh phúc và thành đạt đến các thầy cô trong khoa đã tạo điều kiện giúp
đỡ tôi trong suốt thời gian hoàn thành khóa luận.
Hà Nội, tháng 5 năm 2008.
Sinh viên
Lưu Thị Phượng
SV Lưu Thị Phượng-K30B CN
7
Khoá luận tốt nghiệp
GV Nguyễn Trung Dũng
Chương 1: Hồi qui tuyến tính
1.1. Mô hình hồi qui
1.1.1. Các giả thuyết cho mô hình
Xét mô hình hồi qui nghiên cứu mối liên hệ giữa các biến X và Y. Trong
đó X là biến độc lập (independent variable ) và được kiểm soát bởi người
nghiên cứu, do đó các giá trị của X được người nghiên cứu chọn lựa và dựa
trên các giá trị được chọn của X thì các giá trị của Y sẽ được xác định, biến Y
được gọi là biến phụ thuộc ( independent variable ) hay biến đáp ứng.
Mô hình hồi qui dựa trên các giả thuyết sau :
1. Giá trị của biến X là cố định và có một số lượng giới hạn
2. Biến X được thu thập không có sai số hoặc sai số rất bé và có thể bỏ
qua được.
3. Với mỗi giá trị của biến X sẽ xác định được một tập hợp các giá trị
của biến Y.
4. Tất cả các phương sai của tập hợp giá trị Y là bằng nhau.
5. Tất cả các trung bình của tập hợp giá trị Y đều nằm trên một đường
thẳng, giả thuyết này gọi là giả thuyết tuyến tính và nó được thể hiện
rằng: yx + x . ở đây yx là giá trị trung bình của tập hợp các giá trị
Y ứng với một giá trị của X, tức là E{Y X = x } = 0 + 1x .
6. Các giá trị của Y là độc lập với nhau
E{Y X = x} = 0 + 1x _ được gọi là hàm hồi qui
0 , 1 là các hệ số hồi qui
1.1.2. Phương trình hồi qui
Mục tiêu của phương trình hồi qui là xây dung một phương trình tham
số mô tả mối liên hệ thực giữa biến độc lập X và biến phụ thuộc Y.
Các bước tiến hành một phân tích hồi qui :
SV Lưu Thị Phượng-K30B CN
8
Khoá luận tốt nghiệp
GV Nguyễn Trung Dũng
1. Đánh giá xem các giả thuyết và mối liên hệ tương quan tuyến tính có
đúng không?
2. Xác định phương trình hồi qui mô tả hệ số liệu đó một cách chính xác nhất.
3. Đánh giá phương trình hồi qui để xác định mức độ của mối tương quan.
4. Nếu số liệu được thể hiện tốt trong mô hình tuyến tính vừa xây dựng,
sử dụng phương trình hồi qui để dự đoán và ước lượng các giá trị.
1.2. Mô hình hồi qui tuyến tính đơn
Xét mô hình có dạng :
Yi = 0 + 1Xi + i
(1.1)
Trong đó :
Yi là giá trị quan sát của biến đáp ứng Y trong lần quan sát thứ i.
Xi là giá trị quan sát của biến dự báo X trong lần quan sát thứ i .
0 , 1 là các tham số hồi qui.
i là các biến ngẫu nhiên độc lập ( không tương quan ) với E{ i} = 0 ,
var( i) = 2 , i = 1,n .
Mô hình (1.1) thoả mãn các giả thuyết của mô hình hồi qui. Thật vậy, ta có:
1. Vì với mỗi i (1 i n) thì i là biến ngẫu nhiên nên Yi cũng là biến
ngẫu nhiên.
2. Biến ngẫu nhiên I có kỳ vọng E{ i} = 0 nên suy ra :
E{Yi} = E{ 0 + 1xi + i}
Suy ra
E{Yi} = 0 + 1Xi , i = 1,n .
3. Biến ngẫu nhiên I có phương sai là 2 . Biến đáp ứng Yi cũng có
phương sai như vậy :
Var{Yi} = 2
Từ đó ta có :
SV Lưu Thị Phượng-K30B CN
9
Khoá luận tốt nghiệp
GV Nguyễn Trung Dũng
Var{ 0 + 1Xi + i} = 2{ i} = 2
Do đó, độ phân tán của Yi là như nhau đối với các mức của X.
Vì i, j là không tương quan nên suy ra Yi, Yj cũng không tương quan.
4.
ý nghĩa của hệ số hồi qui
0 , 1 được gọi là các hệ số hồi qui.
1 là hệ số góc của đường hồi qui ( f(X) = 0 + 1X )
Hệ số góc chỉ sự thay đổi của trung bình đáp ứng khi thay đổi một đơn vị
của biến dự báo X .
0 là trung bình của đáp ứng khi dự báo X bằng 0 .
Một số phiên bản khác của mô hình (1.1)
Giả sử X0 là một biến giả, khi đó (1.1) được viết lại là :
Yi = 0X0 + 1Xi + i
(1.2) , trong đó Xi 1 .
Từ (1.1) ta có :
Yi = 0 + 1(Xi - X ) + 1 X + i
Yi = 0 + 1 X + 1(Xi - X ) + i
Yi = 0* + 1(Xi - X ) + i
Trong đó 0* = 0 + 1 X
và X =
(1.3)
1
n
n
X i
i 1
Tuỳ từng trường hợp thuận tiện ta sử dụng một trong các mô hình (1.1) ,
(1.2) và (1.3) .
1.3. Ước lượng các tham số hồi qui
Giả sử ta có n quan sát (X1,Y1) , (X2,Y2) , …, (Xn,Yn) về (X,Y) . Vấn đề
đặt ra dựa trên n quan sát này hãy ước lượng các 0 , 1 trong mô hình (1.1)
.
1.3.1. Phương pháp bình phương bé nhất
Với mỗi i thì đại lượng Yi - ( 0 + 1)Xi là độ lệch của Yi với giá trị lý thuyết.
SV Lưu Thị Phượng-K30B CN
10
Khoá luận tốt nghiệp
Đặt Q( 0 , 1) =
GV Nguyễn Trung Dũng
n
(Y i - 0 - 1Xi)2
i 1
Các ước lượng ˆ 0 , ˆ 1 của 0 , 1 sao cho Q( 0 , 1) bé nhất thì được
gọi là ước lượng bình phương bé nhất của 0 , 1 .
Xét hệ phương trình :
Q( 0 ,1 )
0
0
Q( 0 ,1 ) 0
1
n
2 (Yi 0 1 X i ) 0
i 1
n
2 X (Y X ) 0
i
i
0
1 i
i 1
n
n
n
X
Yi
1 i
0
i 1
i 1
n
n
n
2
X i 1 X i X iYi
0
i 1
i 1
i 1
(1.4)
ˆ0 Y ˆ1 X
n
n
X iYi Y X i
i 1
i 1
ˆ
1 n
n
2
X
X
Xi
i
i 1
i 1
Hay
ˆ Y ˆ1 X
0
n
n
(
X
X
)(
Y
Y
)
( X i X )(Yi Y )
i
i
ˆ
i 1
i 1 n
1 n
X i 2 n( X ) 2
( X i X )2
i 1
i 1
SV Lưu Thị Phượng-K30B CN
11
(1.5)
Khoá luận tốt nghiệp
GV Nguyễn Trung Dũng
(1.4) được gọi là phương trình chuẩn.
Ví dụ 1.1. Cho bảng thống kê số liệu dưới đây của 25 lô sản phẩm của
một công ty Z.
Bảng1.1. Sơ đồ tán xạ và đường hồi qui thích hợp
(1)
(2)
SốTT Số sản
(3)
Giờ sản
(4)
Xi - X
(5)
Yi- Y
(6)
(7)
(Xi- X )(Yi- Y ) (Xi- X )2 (Yi-
Y )2
phẩm(Xi) suất (Yi)
1
80
399
10
86,72
867,2
110
7520,4
2
30
121
-40
-191,28
7651,2
1600
36558,0
3
50
221
-20
-91,28
1825,6
400
8332,0
…
…
….
….
….
….
…
…
23
40
244
-30
-68,28
2048,4
900
4662,2
24
80
342
10
29,72
297,2
100
883,3
25
70
323
0
10,72
0,0
0
114,9
Tổng 1750 7807
0
0
70690
Trung 70,0 312,28
bình
Vậy ta có :
( X
i
X )(Yi Y ) 70690
(X
i
X ) 2 19800
X = 70,0
Y = 312,28
áp dụng (1.5) ta được :
ˆ1
( X i X )(Yi Y )
(X
i
X)
2
70690
3,5702
19800
SV Lưu Thị Phượng-K30B CN
12
19800 307203
Khoá luận tốt nghiệp
GV Nguyễn Trung Dũng
ˆ0 Y ˆ1 X 312,28 3,5702(70,0) 62,37
Như vậy sự phụ thuộc của thời gian sản xuất vào số sản phẩm có thể
được mô tả bằng ( hồi qui mẫu ) :
y= 0.0436x + 0,0857
Hình1.1. Sơ đồ tán xạ và đường hồi qui thích hợp _ Ví dụ1.1
Hình b: Đường hồi quy thích
hợp
Giờ
Giờ
Hình a: Sơ đồ tán xạ
Lô sản phẩm
Lô sản phẩm
Tính chất của ước lượng bình phương bé nhất
Định nghĩa 1.1
Cho Y1,Y2,…,Yn là các quan sát về tham số . Ước lượng ˆ của
được gọi là ước lượng tuyến tính không chệch tốt nhất cho nếu :
i/ ˆ là tổ hợp tuyến tính của các quan sát Y1, Y2 , …, Yn
ii/ ˆ có phân phối nhỏ nhất trong các ước lượng tuyến tính của .
Định lý Gauss-Markov
Đối với mô hình (1.1) thì các ước lượng bình phương bé nhất ˆ 0 , ˆ 1
cho các tham số 0 , 1 tương ứng là các ước lượng không chệch tuyến tính
tốt nhất
SV Lưu Thị Phượng-K30B CN
13
Khoá luận tốt nghiệp
GV Nguyễn Trung Dũng
Định lý Gauss-Markov khẳng định rằng dưới giả thuyết của mô hình
(1.1) thì ˆ 0 , ˆ 1 là các ước lượng không chệch và có phương sai nhỏ nhất
trong các ước lượng không chệch tuyến tính.
1.3.2. Ước lượng điểm cho trung bình đáp ứng
Giả sử ˆ 0 , ˆ 1 là các ước lượng của các tham số trong hàm hồi qui
E{Y}= 0 + 1 x
Khi đó chúng ta có ước lượng cho hàm hồi qui là :
Yˆ = ˆ 0+ ˆ 1X ,
Trong đó Yˆ là giá trị của ước lượng của hàm hồi qui tại mức X của biến dự báo.
Từ định lý Gauss-Markov và do ˆ 0 , ˆ 1 là các ước lượng không chệch
cho các tham số 0 , 1 nên Yˆ là ước lượng không chệch cho E{Y}.
Ví dụ 1.2.
Trong Ví dụ 1.1 ở trên , nếu cho các ước lượng hệ số hồi qui ˆ 0= 62,37
, ˆ 1 = 3,5702 thì ước lượng của hàm hồi qui là :
Yˆ = 62,37 + 3,5702X
Cụ thể , với X = 65 , ước lượng điểm Yˆ = 62,37 + 3,5702(65) = 294,4
Như vậy, chúng ta ước lượng trung bình thời gian sản xuất cho 65 sản
phẩm là 294,4 giờ .
Tương tự, với X1=80 thì ta có Yˆ1 = 62,37 + 3,5702(80) = 348,0.
Khi mô hình hồi qui có dạng (1.3) Yi = 0* + 1(Xi - X ) + i .
Bằng phương pháp bình phương bé nhất ta ước lượng được ˆ 0 , ˆ 1
cho 0 , 1 .
Từ 0* = 0 + 1 X suy ra
ˆ0* ˆ0 ˆ1 X (Y ˆ1 X) ˆ1 X Y
SV Lưu Thị Phượng-K30B CN
14
Khoá luận tốt nghiệp
GV Nguyễn Trung Dũng
Do đó ước lượng hồi qui cho hàm (1.3) là :
Yˆ Y ˆ1( X X)
(1.6)
Trong ví dụ 1.1 , = 312,28 và = 70. Do đó :
Yˆ = 312,28 + 3,5702(X - 70)
Với X1 = 80 , = 312,28 + 3,5702( 80 – 70) = 348,0 .
Phần dư
Kí hiệu ei là độ chênh lệch của giá trị Yi và trong lần quan sát thứ i :
ei = Yi - Yˆi
(1.7)
Đối với mô hình hồi qui (1.1) ta có :
ei = Yi – ( ˆo ˆ1 Xi )=Yi - ˆ0 - ˆ1 Xi (1.7a)
Ví dụ 1.3. Cho bảng số liệu như ở ví dụ 1.1
Bảng 1.2. Giá trị thích hợp, phần dư, và phần dư bình phương_Ví dụ 1.1
(1)
SốTT Số sản
phẩm(Xi)
(2)
(3)
(4)
(5)
Giờ sản
Ước lượng
Phần dư
Bp phần dư
suất (Yi)
TB đáp ứng
Yi - Yˆi = ei
(Yi - Yˆi )2= ei2
1
80
399
347,98
51,02
2603,0
2
30
121
169,47
-48,47
2349,3
3
50
221
240,88
-19,88
395,2
…
…
….
….
….
….
23
40
244
205,17
38,83
1507,8
24
80
342
347,98
-5,98
35,8
25
70
323
312,28
10,72
114,9
Tổng 1750
7807
0
54825
7807
Nhìn vào bảng số liệu trên ta thấy ở trường hợp thứ nhất X1 = 80 thì
e1 = Y1 –
Yˆ1 = 399 – 347,98 = 51,02 .
SV Lưu Thị Phượng-K30B CN
15
Khoá luận tốt nghiệp
GV Nguyễn Trung Dũng
1.3.3. Ước lượng sai số 2
Ước lượng điểm của 2
Ta có :
1 n
s
(Yi Y )2
n 1 i 1
2
Là ước lượng chệch cho 2
1 n
n 1 n
2
Es E (
(Yi Y ) ) E (
(Yi Y )2 ) ES 2
n 1 i 1
n 1 n i 1
2
Ta đi tìm ES 2
S2
1 n
(Yi Y )2
n i 1
Yi Yi Y Y , EX
(Yi )2 (Yi Y ) 2 2(Yi Y )(Y ) (Y ) 2
n
n
(Y ) (Y Y )
2
i
i 1
n
2
i
i 1
2(Y ) (Yi Y ) n(Y )2
i 1
Mà
n
( X ) (Yi Y ) (Y )(nY nY ) 0
i 1
n
n
(Yi ) (Yi Y )2 n(Y ) 2
2
i 1
i 1
n
n
i 1
i 1
E ( (Yi ) 2 E ( (Yi Y ) 2 ) nE (Y ) 2
n 2 nES 2 nvar (Y ) nES 2 n
ES 2
n 1 2
n
Vậy
SV Lưu Thị Phượng-K30B CN
16
2
n
Khoá luận tốt nghiệp
Es 2
GV Nguyễn Trung Dũng
n n 1 2
n 1 n
s 2 là ước lượng không chệch cho 2
Ta có :
ei Yi Yˆi
Đặt
n
n
i 1
i 1
SSE (Yi Yˆi )2 ei 2
(1.8)
Trong đó SSE là tổng bình phương của các phần dư.
Đặt
n
MSE
SSE
n2
n
(Yi Yˆi )2
e
n2
n2
i 1
i 1
2
i
Có thể chỉ ra rằng MSE là một ước lượng không chệch của 2 trong mô
hình hồi qui (1.1) :
E MSE 2
Vậy
MSE là ước lượng điểm cho 2
Ví dụ 1.4.
Trong Ví dụ 1.1 về công ty Z , tra bảng 1.2 , cột 4, bình phương thặng dư
được chỉ ra ở cột 5, ta được :
SSE 54825
Với n= 25 , MSE
54825
2384
25 2
Vậy ước lượng điểm của , phân phối xác suất của Y cho mỗi X là
2384 48,8
1.4.Mô hình hồi qui tuyến tính đơn với sai số chuẩn
Mô hình
SV Lưu Thị Phượng-K30B CN
17
Khoá luận tốt nghiệp
GV Nguyễn Trung Dũng
Yi 0 1 X i i
(1.9)
Trong đó :
Yi là giá trị của biến đáp ứng ngẫu nhiên trong lần quan sát thứ i .
Xi là hằng số đã biết, chỉo mức thứ i của biến dự báo X
o, 1 là các tham số
i là biến nhẫu nhiên độc lập , i , j không tương quan (Cov( i , j )=0 , i
j), i= 1,n .
Ước lượng các tham số bằng phương pháp hợp lý cực đại
Với mô hình (1.9) thì các ước lượng của o, 1 có thể tìm bằng phương
pháp hợp lý cực đại như sau :
Với mỗi i thì Yi N (0 1Xi , 2 )
1
exp 2 (Yi 0 1X i )2
2
2
2
n
1
L( 0 , 1, )
2
i 1
1 n
2
= (2 ) exp 2 Yi 0 1 Xi
2 i 1
2
n
2
n
n
1 n
2
ln L( 0 , 1, ) ln2 ln 2 (Yi 0 1Xi )2
2
2
2 i 1
2
Xét hệ phương trình hợp lý sau
ln L( 0 , 1, 2 )
0
0
ln L( 0 , 1, 2 )
0
1
ln L( , , 2 )
0
1
0
2
SV Lưu Thị Phượng-K30B CN
18
Khoá luận tốt nghiệp
GV Nguyễn Trung Dũng
ˆ Y ˆ X
1
0
n
( Xi X)(Yi Y)
i
1
ˆ1
n
Xi2 n( X)2
i 1
n
ˆ 2 1 (Yi ˆ0 Xi )2
n i 1
Định lý 1.2.
Đối với mô hình (1.9) các ước lượng hợp lý cực đại o, 1 và 2 được
xác định bởi hệ (1.10) . Hơn nữa ta có :
1. ˆ0 , ˆ1 là các ước lượng không chệch cho o, 1 .
2.( o, 1 ) có phân phối chuẩn 2 chiều với
ˆ 0 , ˆ 1
0
1
2ˆ
0
n
2
x
i 1
2
i
n
n( xi2 nX )
2
i 1
2
ˆ
1
2
n
x
i 1
và
3.
nˆ 2
2
2
i
nX2
x
1 n 2
x
n i 1 i
có phân phối 2 với (n=2) bậc tự do.
4. ˆ0 và ˆ1 là độc lập với ˆ 2 .
Chứng minh :
SV Lưu Thị Phượng-K30B CN
19
Khoá luận tốt nghiệp
GV Nguyễn Trung Dũng
1. Ta có E(Y)= x E(Y) x
n
xi Yi nxY
Do đó E( ˆ1 ) E i 1 n
2
2
xi x
i 1
n
x (
i
i 1
0
1xi ) nx( 0 1 x)
n
x
2
i
i 1
nx2
n
1 xi2 n1 x2
i 1
n
nx
i 1
2
i
2
1 hay ˆ 1
1
Mặt khác, E( 0 ) E(Y) E( ˆi x) 0 1 x 0 hay ˆ 0
0
Các khẳng định 2,3,4 thừa nhận.
1.5.
Phân tích hồi qui cho mô hình hồi qui tuyến tính đơn.
1.5.1.Kiểm định 1
Xét mô hình (1.9)
Yi 0 1 X i i ,
i = 1 ,…,n .
Từ mô hình (1.9) ta nhận thấy rằng nếu 1 0 thì không có mối liên hệ
tuyến tính giữa X và Y . Vì vậy để đánh giá sự phù hợp của mô hình ta xét bài
toán kiểm định giả thuyết sau :
H0 : 0 1 , với đối thiết H1 : 1 0 và ý nghĩa .(0 1) .
n
Từ định lý (1.1) ta có :
ˆ1
xY nXY
i 1
n
i i
x
i 1
2
i
nX
2
là ước lượng không chệch cho 1 và ˆ1 có phân phối chuẩn với :
SV Lưu Thị Phượng-K30B CN
20
Khoá luận tốt nghiệp
ˆ 1 , ( ˆ1 )
GV Nguyễn Trung Dũng
2
2
1
n
x
2
i
i 1
nX
2
Đặt :
S X2
và Z
n
2
1
( xi2 n X )
n 1 i 1
ˆ1 1
2
sẽ có phân phối chuẩn tắc N(0,1) .
(n 1) S X2
vì vậy nếu 2 chưa biết thì :
( ˆ1 1 ) /
t=
2
(n 1) S x2
ˆ 2
2
( ˆ1 1 )
(n 1) S x2
s2
có phân phối Student với (n-2) bậc tự do , trong đó s 2
n
ˆ 2 .
n2
Ta tiến hành kiểm định dựa trên tính chất phân phối này . Các bước tiến
hành kiểm định :
Bước 1 . Tính t ˆ1
n 1 S X2
s2
.
Bước 2 . Tìm t n2 trong bảng phân phối Student với (n-2) bậc tự do .
2
Bước 3 . So sánh t và tn1 ( )
2
Nếu t tn1 ( ) ta bác bỏ giả thuyết H0 .
2
Nếu t < tn1 ( ) ta chấp nhận giả thuyết H0.
2
SV Lưu Thị Phượng-K30B CN
21
Khoá luận tốt nghiệp
GV Nguyễn Trung Dũng
Ví dụ 1.5. Trong ví dụ 1.1 về công ty Z , với 0,05 ; ˆ1 3,5702 và
ˆ ˆ1 0,3470 ( ˆ ˆ1
s2
) ; n=25.
n 1S X2
0,05
Tra bảng ta tìm được t 24
2,06 .
2
Ta có : t 3,5702
0,3470
10,29 2,06 .
Vậy ta bác bỏ H0 , chấp nhận Ha : ˆ1 0 .
1.5.2. Khoảng tin cậy cho 1
Từ kết quả ở trên ta có
t= ˆ1 1
n 1 S X2
s2
Có phân phối Student với (n-2) bậc tự do nên ta có :
Với độ tin cậy 1 0 1 thì
n 1 S X2
ˆ
P tn2 1 1
tn 2 1
2
s
2
2
Do đó khoảng tin cậy cho tham số 1 với độ tin cậy
là ˆ1 tn2
2
s2
ˆ1 tn2
2
n 1 S X
2
1
s2
n 1 S X2
Ví dụ 1.6.
Xét ví dụ 1.1 về công ty Z. Tìm khoảng tin cậy cho ˆ1 với hệ số tin cậy
95% .
Sử dụng số liệu ở bảng 1.1 ta có được :
n=25; ˆ1 3,5702; ˆ ˆ1 0,3470 ( ˆ ˆ1
SV Lưu Thị Phượng-K30B CN
22
s2
)
n 1S X2
Khoá luận tốt nghiệp
GV Nguyễn Trung Dũng
0,05
Tra bảng ta tìm được : t 23
2,07 .
2
Vậy khoảng tin cậy cho 1 là :
3,5702 - 2,07(0,3470) 1 3,5702 + 2,07(0,3470)
2,85 1 4,29 .
1.5.3. Khoảng tin cậy cho 0
Từ định lý 1.1. ta có ˆ0 là ước lượng không chệch cho 0 và ˆ0 có phân
phối chuẩn với trung bình ˆ 0 và 2 ˆ0
1
n
2
x
i 1
2
i
2
n xi2 nx
i 1
n
.
áp dụng tương tự như mục 1.5.1 ta cũng chỉ ra được
t
ˆ0 0
ˆ0
có phân phối Student với (n-2) bậc tự
do. Do đó với độ tin cậy 1 0 1 thì khoảng tin cậy cho tham số 0 l
ˆ
ˆ ˆ
ˆ
0 tn 2 2 0 , 0 tn 2 2 0
Ví dụ 1.7.
Xét ví dụ về công ty Z , mức X = 0 , = 0,1 , ˆ0 26,18 .
0,1
Tra bảng ta tìm được t 23 1,714 .
2
Vậy khoảng tin cậy cho 0 là :
62,37 - 1,714(26,18) 0 62,37 + 1,714(26,18).
1.6. Dạng ma trận của hồi qui tuyến tính
1.6.1. Dạng ma trận của mô hình hồi qui tuyến tính đơn
Từ mô hình (1.9) :
SV Lưu Thị Phượng-K30B CN
23
Khoá luận tốt nghiệp
Yi 0 1 X i i
GV Nguyễn Trung Dũng
, i 1, n
nghĩa là :
Y1 0 1 X1 1
Y2 0 1 X 2 2
…
(1.10)
Yn 0 1 X n n
Đặt
Y1
Y
Y 2 ,
n.1
...
Yn
1 X 1
1 X
2
,
X
n.2
......
1 X n
0 ,
2.1
1
1
2
n.1
...
n
Thì ta có thể viết lại (1.10) dưới dạng như sau :
Y X
n.1
n.2 2.1
n.1
(1.12)
Từ
Y1 1 X 1
1 0 1 X 1 1
Y 1 X
X
0
2
1 2
2
=
+ 2 = 0
+ 2
... ...... 1 ... .................. ...
Yn 1 X n
n 0 1 X n n
0 1 X 1 1
X
1 2
2
= 0
......................
0 1 X n n
Chú ý rằng X là véctơ và từ E{Yi} = o 1 X i , ta có :
SV Lưu Thị Phượng-K30B CN
24
(1.11)
Khoá luận tốt nghiệp
GV Nguyễn Trung Dũng
E{Y1}
E Y2
, E 0 , tức là
E{Y } X , E{Y }
n.1
......... n.1
n.1
n.1
E{Yn }
2 0
0 2
2
2
2
I , với
... ...
n.n
n.n
n.n
0 0
E{1} 0
E 2 0 ,
......... ...
E{ n } 0
0
0 ... 0
.
... ... ...
0 ... 2
0 ...
Vậy dạng ma trận của mô hình hồi qui tuyến tính đơn (1.9) là :
Y X
(1.13)
, trong đó :
là vectơ ngẫu nhiên có phân phối chuẩn với E và 2 2 I .
1.6.2. Ước lượng bình phương bé nhất của tham số hồi qui
Phương trình chuẩn
nˆ0 ˆ1 X i Yi
(1.14)
ˆ0 X i ˆ1 X i2 X iYi
Có dạng ma trận
X X ˆ X Y
2.2
2.1
2.1
(1.15)
trong đó ˆ là vectơ của các hệ số hồi qui bình phương bé nhất
ˆ0
ˆ
2.1
ˆ1
1 1 ... 1 n
X X
2.2
X
X
...
X
1 2
n
Xi
SV Lưu Thị Phượng-K30B CN
X
X
i
2
i
25
