Chương 3
VÉC TƠ NGẪU NHIÊN
§3.5. SỰ HỘI TỤ CỦA DÃY CÁC BIẾN NGẪU NHIÊN
Mục này trình bày bốn dạng hội tụ thông dụng nhất của dãy các BNN cũng
như những định lý hạt nhân của lý thuyết xác suất về sự hội tụ của dãy các BNN
độc lập: luật số lớn, định lý giới hạn trung tâm. Sự hội tụ của dãy các BNN dạng
khác như xích Markov, martilgal… được trình bày ở chuyên khảo khác.
3.5.1. Các dạng hội tụ
a)Định nghĩa. Giả sử X và , n = 1, 2, … là các BNN cùng xác định trên
không gian xác suất
(
n
X
)
,,PΩℑ
.
(i) Ta nói dãy các BNN
{ }
n
X
hội tụ chắc chắn tới BNN X và viết
(hay (cc)) nếu
cc
n
XX⎯⎯→
n
X
→
X
n
n
lim X ( ) X( ),
→∞
ζ = ζ ∀ζ ∈Ω
.
(i) Ta nói dãy các BNN
{ }
n
X hội tụ hầu chắc chắn tới BNN X và viết
(hay (hcc)) nếu tồn tại biến cố với P(A) = 1 sao
cho
hcc
n
XX
⎯⎯→
n
X
→
X A
⊂Ω
n
n
lim X ( ) X( ), A
→∞
ζ = ζ ∀ζ∈
.
(ii) Ta nói dãy các BNN
{ }
n
X hội tụ theo xác suất tới BNN X và viết
nếu
P
n
XX
⎯⎯→
{ }
n
n
lim P X X 0, 0.
→∞
− ≥ε = ∀ε>
(iii) Ta nói dãy các BNN
{ }
n
X hội tụ trung bình cấp p (0 < p <
∞
) tới BNN
X , và viết
(hay theo trung bình cấp p), nếu
L
P
n
XX⎯⎯→
n
X→ X
p
n
EX , n< ∞∀ và
p
n
n
lim E X X 0
→∞
− = .
(4i) Ta nói dãy các BNN
{ }
n
X hội tụ theo luật đến BNN X và ta viết
hay
⇒
nếu
L
n
X⎯⎯→X
X
n
F
X
F
XX
n
n
lim F (x) F (x)
→∞
=
tại mọi điểm liên tục của hàm phân bố
X
F(x).
Từ bất đẳng thức Liapunov (xem 5.2.1), hội tụ trung bình cấp p sẽ suy ra hội
tụ trung bình cấp q với 0 < q < p. Tuy nhiên trong thực tế ứng dụng thì hội tụ trung
bình cấp hai là quan trọng nhất; hội tụ trung bình cấp hai còn gọi là hội tụ bình
phương trung bình hay MS - hội tụ (mean square convergence), ký hiệu
MS
n
XX,(n⎯⎯→ → ∞) hay
n
l.i.m. X X=
23
(l.i.m. là viết tắt của chữ limit in mean).
Riêng với hội tụ theo luật, các BNN
và X có thể xác định trên những
không gian xác suất khác nhau.
n
X
b. Tiêu chuẩn Cauchy về sự hội tụ
Áp dụng tiêu chuẩn Cauchy về sự hội tụ của dãy số thông thường cũng như
một vài kỹ thuật khác, chúng ta phát biểu các tiêu chuẩn Cauchy sau đây về sự hội
tụ của dãy các BNN.
¦
u điểm của các tiêu chuẩn Cauchy là không cần sự có mặt
của BNN giới hạn X.
Định nghĩa:
Ta nói dãy các BNN
{ }
n
X là dãy Cauchy (hay dãy cơ bản) hầu
chắc chắn, theo xác suất hay theo bình phương trung bình nếu lần lượt thoả mãn
các tính chất sau:
+ Dãy
{ }
n
X(),n 1,2,...ζ = là dãy Cauchy với hầu hết
ζ ∈Ω
;
+
,
0∀ε >
{ }
nm
PX X 0
−≥ε→
khi n,m
→∞
;
+
2
nm
E X X 0 khi n,m .
−→ →∞
Định lý
(tiêu chuẩn Cauchy). Dãy các BNN
{ }
n
Xhội tụ đến BNN X nào đó:
(i) hầu chắc chắn khi và chỉ khi nó là dãy Cauchy hầu chắc chắn.
(ii) theo xác suất khi và chỉ khi nó là dãy Cauchy theo xác suất;
(iii) theo bình phương trung bình khi và chỉ khi nó là dãy Cauchy theo bình
phương trung bình.
Độc giả có thể tham khảo chứng minh trong các cuốn sách chuyên biệt về
xác suất như [4], [11].
c. Mối quan hệ giữa các dạng hội tụ
Chúng ta sẽ phát biểu định lý sau đây nêu lên mối quan hệ giữa các dạng hội
tụ vừa nêu.
Định lý
. (i) Dãy
{ }
n
X hội tụ hầu chắc chắn sẽ hội tụ theo xác suất:
hcc
n
XX
⎯⎯→
P
n
XX
⇒⎯⎯→
.
(ii) Dãy
{ }
n
X hội tụ bình phương trung bình thì cũng hội tụ theo xác suất:
MS P
nn
XXX
⎯⎯→ ⇒ ⎯⎯→
X.
(iii) Dãy
{ }
n
X hội tụ theo xác suất thì cũng hội tụ theo luật:
XX
PL
nn
XX.
⎯⎯→⇒ ⎯⎯→
Mối quan hệ giữa các dạng hội tụ thể hiện ở giản đồ sau
hầu chắc chắn Theo xác suất
Theo trung bình
Theo luậtChắc chắn
Ngoài ra, quan hệ sau đây cũng hay được sử dụng:
Định lý.
Nếu dãy các BNN {X hội tụ theo xác suất đến X thì có thể tích ra
một dãy con
{ hội tụ hầu chắc chắn đến X.
n
}
n
k
X ,k 1,2,...}
=
24
3.5.2. Các định lý giới hạn.
Các định lý giới hạn ở mục nhỏ này khảo sát dáng điệu của tổng các BNN
độc lập cũng phân bố khi số các số hạng tăng lên vô hạn, bao gồm luật yếu số lớn,
luật mạnh số lớn và định lý giới hạn trung tâm. Trước hết, chúng ta tìm hiểu bất
đẳng thức Chebyshev. Ngoài việc dùng để chứng minh luật yếu số lớn, bất đẳng
thức này còn được
ứng dụng vào nhiều mục đích khác.
a. Bất đẳng thức Chebyshev
Giả sử X là BNN với kỳ vọng EX và phương sai DX hữu hạn. Khi đó,
xảy ra bất đẳng thức:
0∀ε >
{}
2
D[X]
PX E[X] .−≥ε≤
ε
(3.5.1)
Chứng minh.
Chúng ta chứng minh cho trường hợp X có hàm mật độ, ta có:
E[X]
22
D[X] (x E[X]) f(x)dx (x E[X]) f(x)dx
−ε
+∞
−∞ −∞
=− ≥ −
∫∫
{}
22
E[X]
(x E[X]) f(x)dx P X E[X] .
+∞
+ε
+ −≥ε−
∫
≥ε
Nhận được đpcm.
Đôi khi dạng sau đây của (3.5.1) cũng rất tiện lợi:
{}
2
D[X]
PX E[X] 1 .−<ε≥−
ε
Đặc biệt, khi
ε
là một số nguyên lần độ lệch chuẩn chúng ta thu được
{}
2
1
PX E[X] n 1 .
n
−<σ≥−
Nếu chọn n = 3 thì
{}
8
PX E[X] 3 .
9
− <σ ≥ (3.5.2)
Bất đẳng thức (3.5.2) cũng được phát biểu dưới dạng quy tắc 3
σ
:
Mỗi BNN không lệch khỏi giá trị trung bình của nó một lượng
3
với xác
xuất khá lớn.
σ
Chúng ta thấy xác suất “khá lớn” ở đây chỉ là 8/9, thấp hơn rất nhiều so với
0.9973 ở trường hợp X có phân bố chuẩn theo công thức (1.17). Như vậy, nếu biết
thêm thông tin về tính chuẩn của BNN X, chúng ta có những khẳng định mạnh
hơn về khả năng xuất hiện biến cố
{ }
XE[X]3 .− <σ
b. Luật yếu số lớn
Cho dãy BNN
{ }
n
X độc lập, cùng phân bố với kỳ vọng
i
E[X ] m= và
phương sai
hữu hạn. Khi đó, với mọi
2
i
D[X ] =σ
0
ε >
cố định,
1n
n
X ... X
lim P 1.
n
→∞
⎧⎫++
−µ <ε =
⎨
⎩⎭
⎬
(3.5.3)
25
Chứng minh.
Từ giả thiết suy ra
2
1n 1n
X ... X X ... X
E;D
nn
++ ++ σ
=µ =
.
n
Áp dụng bất đẳng thức Chebyshev chúng ta có
2
1n
2
X ... X
P1
n
n
⎧⎫
.
+ +σ
−µ <ε ≥ −
⎨⎬
ε
⎩⎭
Chuyển qua giới hạn khi nhận được đpcm. n →∞
Theo các dạng hội tụ xét đến ở mục 3.5.1, luật yêu số lớn chính là:
Đối với dãy BNN độc lập, cùng phân bố với phương sai hữu hạn, dãy trung
bình cộng hội tụ theo xác suất đến kỳ vọng chung của dãy.
Định lý này được nêu ra bởi Bernoulli ở cuối thế kỷ 17 như là thành công
đầu tiên của lý thuyết xác suất non trẻ. Thực ra, v
ới cùng giả thiết, chúng ta còn
thu được sự hội tụ hầu chắc chắn, dạng hội tụ mạnh hơn hội tụ theo xác suất. Đó là
nội dung của luật mạnh số lớn, công trình thuộc về Kolmogorov.
c.Luật mạnh số lớn
Cho dãy BNN
{ }
n
X độc lập, cùng phần bố với kỳ vọng
i
E[X ] = µ và
phương sai
D[ hữu hạn. Khi đó
2
i
X ] =σ
1n
n
X...X
Plim 1
n
→∞
++
⎧⎫
= µ=
⎨
⎩⎭
⎬
. (3.5.4)
Chứng minh đầy đủ định lý này khá sâu sắc và chúng ta bỏ qua.
Như vậy, với điều kiện nêu ra, dãy trung bình cộng
( )
1n
X ... X / n++ hội
tụ hầu chắc chắn đến kỳ vọng
µ
.
Ví dụ 5.
Xét dãy các phép thử Becnoulli.
26
i
1
X
0
⎧
=
⎨
⎩
Trung bình cộng
()
1n
n
X ... X
X
n
+ +
= bằng
- tần suất xuất hiện biến cố
A trong n phép thử đầu tiên. Với P = P(A) ta có
n
f
ii
E[X] p;D[X] p(1 p).= =−
nếu biến cố A xảy ra ở phép thử thứ i
nếu trái lại
Theo luật mạnh số lớn, tần suất hội tụ hầu chắc chắn đến
E[
i
X ] p P(A).==
Như vậy, luật mạnh số lớn là cơ sở toán học của định nghĩa thống kê về xác
suất, đưa ra ở giai đoạn đầu của lý thuyết này.
Ví dụ 5..
Hình 3...(a) trình bày kết quả mô phỏng với BNN mũ X với kỳ
vọng E[X] = 1. Theo các giá trị , chúng ta tính toán được trung bình cộng
i
X
()
1n
n
X ... X
X.
n
++
=
Sau khoảng 200 phép thử chúng ta dường như nhận được sự ổn định.
Hình 3....(b) chỉ ra hình ảnh của
n
{(X) } với 50 giá trị đầu, sự biến động
dường như còn lớn.
( )
n
X
1
n
10 30 50400
1000
200
•
n
6
•
•
•
(a)
(b)
Hình 3. . Trung bình cộng của dãy BNN mũ kỳ vọng 1.
Nhận xét:
Sự hội tụ của dãy
n
{(X) } thường là chậm hơn rất nhiều so với sự
hội tụ của dãy tất định hay gặp thông thường.
Ví dụ, nếu chúng ta cần một ngưỡng xác suất (độ tin cậy) 95%, đối với
BNN có , theo bất đẳng thức Chebychev chúng ta có thể đưa ra bảng sau đây
về số phép thử cần thiết để trung bình cộng
1
σ=
n
(X) lệch khỏi kỳ vọng E[X] một
lượng bé hơn . ε
Sai số tuyệt đối
ε
0,1 0,01 0.001
Số phép thử n 2 000 200 000 2 000 000
Gần đây người ta đưa ra những bất đẳng thức tinh vi hơn, số phép thử cần
thiết giảm cỡ 5 lần.
d) Định lý giới hạn trung tâm.
n
(X)Để nghiên cứu tỉ mỉ hơn về , hãy chuẩn hoá nó bằng cách đặt
n
n
(X)
Tn
−µ
=
σ
.
Z ] 1.
(3.5.5)
Rõ ràng
và D[
n
E[T ] 0=
n
= Như vậy, kỳ vọng và phương sai của
BNN giới hạn (nếu có) vẫn là 0 và 1 tương ứng. Câu hỏi đặt ra là: Hàm phân bố
hay hàm mật độ (nếu có) của BNN giới hạn sẽ ra sao?
Định lý sau đây trả lời cho câu hỏi này.
Định lý
(Định lý giới hạn trung tâm). Cho dãy BNN
{ }
n
X độc lập, cùng
phân bố với kỳ vọng
i
E[X ] = µ và phương sai
2
i
D[X ] = σ hữu hạn. Khi đó đối
với dãy
{ }
i
T xác định theo (3.5.5) xảy ra đẳng thức:
{}
2
t
x
2
n
x
1
lim P T x e dt
2
−
→∞
−∞
<=
π
∫
(3.5.6)
Vế phải của (3.5.6) chính là hàm phân bố chuẩn tắc F(x). Như vậy, định lý
giới hạn trung tâm khẳng định rằng: Đối với dãy BNN độc lập cùng phân bố và
phương sai hữu hạn, dãy chuẩn hoá của trung bình cộng hội tụ theo luật đến phân
bố chuẩn tắc.
Định lý được công bố đầu tiên bởi Laplace cho dãy {
} với
dựa vào công thức Stirling. Định lý được chứng minh theo phương pháp hàm đặc
n
X
n
X~B(1,p)
27