BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI 2
—————————————

NGÔ THỊ HỒNG

PHƯƠNG PHÁP MONTE CARLO MÔ
PHỎNG CÁC QUÁ TRÌNH NGẪU
NHIÊN

LUẬN VĂN THẠC SĨ TOÁN HỌC

Hà Nội - 2015


BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI 2
—————————————

NGÔ THỊ HỒNG

PHƯƠNG PHÁP MONTE CARLO MÔ
PHỎNG CÁC QUÁ TRÌNH NGẪU
NHIÊN

Chuyên ngành: Toán Ứng dụng
Mã số: 60 46 01 12

LUẬN VĂN THẠC SĨ TOÁN HỌC

Người hướng dẫn khoa học: TS. HÀ BÌNH MINH

Hà Nội - 2015


Lời cảm ơn
Đầu tiên, tôi xin bày tỏ lòng biết ơn sâu sắc đến TS. Hà Bình Minh,
người thầy đã định hướng chọn đề tài, trực tiếp tận tình hướng dẫn và
giúp đỡ tôi hoàn thành luận văn này.
Tôi xin chân thành cảm ơn Ban Giám Hiệu, Phòng Đào tạo Sau Đại
học, Khoa Toán cùng các thầy cô trong trường Đại học Sư Phạm Hà Nội
2 đã nhiệt tình giúp đỡ, giảng dạy, tạo điều kiện tốt nhất cho tôi trong
thời gian học tập và nghiên cứu tại trường.
Cuối cùng, tôi muốn gửi lời cảm ơn chân thành tới gia đình, bạn bè và
đồng nghiệp, những người đã luôn động viên khích lệ giúp tôi hoàn thành
luận văn này.
Xin chân thành cảm ơn!
Hà Nội, tháng 06 năm 2015
Học viên

Ngô Thị Hồng


Lời cam đoan
Luận văn được hoàn thành tại trường Đại học Sư phạm Hà Nội 2 dưới
sự hướng dẫn của TS. Hà Bình Minh.
Tôi xin can đoan rằng số liệu và kết quả nghiên cứu trong luận văn này
là trung thực và không trùng lặp với các đề tài khác.
Trong quá trình nghiên cứu và hoàn thành luận văn tôi đã kế thừa
những thành quả khoa học của các nhà khoa học và đồng nghiệp với sự
trân trọng và biết ơn.

Tôi xin cam đoan rằng các thông tin trích dẫn trong luận văn đã được
chỉ rõ nguồn gốc.
Hà Nội, tháng 06 năm 2015
Học viên

Ngô Thị Hồng


i

Mục lục
Mục lục . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Danh mục kí hiệu và chữ viết tắt . . . . . . . . . . . . . . . . . . . . . . . .
Chương 1. Các kiến thức cơ bản về quá trình ngẫu nhiên .
1.1. Biến ngẫu nhiên và đặc trưng . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

i
iii
3
3

1.1.1. Biến ngẫu nhiên một chiều . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3

1.1.2. Biến ngẫu nhiên nhiều chiều . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4

1.1.3. Các đặc trưng của biến ngẫu nhiên . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .


5

1.1.4. Một số quy luật phân phối thường gặp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6

1.2. Quá trình ngẫu nhiên . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

7

1.2.1. Tính chất Gauss . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

8

1.2.2. Tính Markov. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

9

1.2.3. Tính martingale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

10

1.2.4. Tính tự hồi quy. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

12

1.2.5. Tính dừng và tính khả nghịch . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

12


1.3. Xích Markov . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

13

1.3.1. Lớp các trạng thái . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

14

1.3.2. Tính khả nghịch . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

15

1.4. Quá trình bước nhảy Markov . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Chương 2. Phương pháp Monte Carlo sinh số ngẫu nhiên

16
21

2.1. Sinh biến ngẫu nhiên với phương pháp Monte Carlo . . . . . . . .

21

2.2. Phương pháp biến đổi ngược. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

24


ii


2.3. Phương pháp chấp nhận-loại bỏ . . . . . . . . . . . . . . . . . . . . . . . . . . . .

27

2.4. Sinh biến ngẫu nhiên liên tục . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

31

2.4.1. Sinh biến ngẫu nhiên liên tục tuân theo phân phối chuẩn. . . . . . . . . . . . . . . . . .

31

2.4.2. Sinh biến ngẫu nhiên liên tục tuân theo phân phối mũ . . . . . . . . . . . . . . . . . . . .

31

2.4.3. Sinh biến ngẫu nhiên liên tục tuân theo phân phối Gamma . . . . . . . . . . . . . . .

33

2.4.4. Sinh biến ngẫu nhiên liên tục tuân theo phân phối Chi-Square . . . . . . . . . . . .

35

2.5. Sinh biến ngẫu nhiên rời rạc . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

37

2.5.1. Sinh biến ngẫu nhiên rời rạc tuân theo phân phối nhị thức . . . . . . . . . . . . . . . .


37

2.5.2. Sinh biến ngẫu nhiên rời rạc tuân theo phân phối Poisson . . . . . . . . . . . . . . . . .

38

2.5.3. Sinh biến ngẫu nhiên rời rạc tuân theo phân phối đều . . . . . . . . . . . . . . . . . . . . .

42

Chương 3. Phương pháp Monte Carlo sinh quá trình ngẫu nhiên
44
3.1. Quá trình Gauss . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.1.1. Quá trình Gauss Markov . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

45
49

3.2. Xích Markov . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

50

3.3. Quá trình bước nhảy Markov . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

53

3.4. Quá trình Poisson . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

57


3.5. Quá trình Wiener (chuyển động Brown) . . . . . . . . . . . . . . . . . . . .

61

Kết luận . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

71

Phụ lục . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

73


iii

Danh mục kí hiệu và chữ viết tắt
a.s.
cdf

Hầu chắc chắn
Hàm phân phối đồng thời

Cov
FFT
iid
pdf
Var

Hiệp phương sai
Biến đổi Fourier nhanh

Độc lập cùng phân phối
Hàm mật độ
Phương sai

d

→
def

=

iid

∼, ∼iid
x+
diag(a)
B
Bn
E
P
O
Ber
DU
exp
Gamma
InvGamma
Lévy
N
P oi
Stable

U

Hội tụ phân phối
Kí hiệu là
Độc lập cùng phân phối với
x+ = max {x, 0}
Ma trận đường chéo các điểm trên đường chéo đều bằng a

σ -đại số Borel trên R
σ -đại số Borel trên Rn
Kỳ vọng
Độ đo xác suất
Vô cùng lớn bậc cao hơn
Phân phối Bernoulli
Phân phối rời rạc đều
Phân phối mũ
Phân phối Gamma
Phân phối Gamma ngược
Phân phối Lévy
Phân phối chuẩn
Phân phối Poisson
Phân phối dừng
Phân phối đều


1

Mở đầu

1. Lí do chọn đề tài

Quá trình ngẫu nhiên giúp ta hiểu biết được các yếu tố ngẫu nhiên ảnh
hưởng như thế nào đến những thứ từ đơn giản đến phức tạp, như giá cả,
thị trường chứng khoán,... Với sự phát triển của máy tính, đặc biệt là tốc
độ tính toán ngày càng được cải thiện, việc mô phỏng những quá trình
ngẫu nhiên trên máy tính trở nên khả thi. Do vậy, chúng tôi chọn đề tài sử
dụng phương pháp Monte Carlo để mô phỏng các quá trình ngẫu nhiên.
Các quá trình ngẫu nhiên sau sẽ được khảo sát trong đề tài:

• Quá trình ngẫu nhiên Gauss (Gauss processes)
• Xích Markov (Markov chains)
• Quá trình bước nhảy Markov (Markov jump processes)
• Quá trình Poisson (Poisson processes)
• Quá trình Wiener (Wiener process)

2. Mục đích và nhiệm vụ nghiên cứu
Sử dụng phương pháp Monte Carlo để mô phỏng các quá trình ngẫu
nhiên.


2

3. Đối tượng và phạm vi nghiên cứu
Quá trình ngẫu nhiên, phương pháp Monte Carlo,...

4. Phương pháp nghiên cứu
Sử dụng ngôn ngữ lập trình MATLAB,...

5. Đóng góp mới của đề tài
Luận văn có đóng góp về mặt lập trình, thực hiện thuật toán.



3

CHƯƠNG 1

Các kiến thức cơ bản về quá trình
ngẫu nhiên

1.1. Biến ngẫu nhiên và đặc trưng
Giả sử (Ω, F, P) là không gian xác suất và (R, B) là không gian đo, B
là σ - đại số các tập Borel.

1.1.1. Biến ngẫu nhiên một chiều
Định nghĩa 1.1. Gọi biến ngẫu nhiên X(ω) là hàm đo được xác định trên
Ω và lấy giá trị trong R, nghĩa là bất kỳ tập Borel B ∈ B thì X −1 (B) =
{ω : X(ω) ∈ B} là phần tử của F .
Biến ngẫu nhiên rời rạc là biến ngẫu nhiên chỉ nhận một số hữu hạn
hoặc vô hạn đếm được các giá trị. Chẳng hạn, X là biến ngẫu nhiên rời
rạc đặc trưng cho các khả năng có thể xảy ra khi tung một con xúc xắc
cân đối và đồng chất, khi đó X nhận một trong các giá trị 1, 2, 3, 4, 5, 6
với các xác suất tương ứng là 16 .
Biến ngẫu nhiên liên tục là biến ngẫu nhiên mà các giá trị của nó có
thể nhận giá trị bất kỳ trong một khoảng con nào đó của R. Chiều cao
của thành viên trong lớp được coi là một biến ngẫu nhiên liên tục.


4

Hàm phân phối xác suất của biến ngẫu nhiên
Khi nghiên cứu biến ngẫu nhiên, người ta quan tâm đến một đặc trưng

quan trọng là sự phân phối xác suất của biến ngẫu nhiên. Ta xét định
nghĩa sau.
Định nghĩa 1.2. Xác suất Px (B) = P [ω : X(ω) ∈ B], B ∈ B được gọi là
phân phối xác suất của đại lượng ngẫu nhiên X .
Nếu xét B = (−∞, x), x ∈ R thì phân phối xác suất Px (−∞, x) =
P[ω : X(ω) < x] là hàm của x và ký hiệu là F (x).
Định nghĩa 1.3. Gọi F (x) = P[ω : X(ω) < x], x ∈ x ∈ R là hàm phân
phối xác suất của biến ngẫu nhiên X .

1.1.2. Biến ngẫu nhiên nhiều chiều
Giả sử X1 , X2 , . . . , Xn là n biến ngẫu nhiên, xác định trên không gian
xác suất (Ω, F, P), lấy giá trị trên không gian đo (R, B) với B là một σ đại số Borel các tập con của R.
Định nghĩa 1.4. X = (X1 , X2 , . . . , Xn ) được gọi là biến ngẫu nhiên n
chiều. X lấy giá trị trong Rn .
Tương tự biến ngẫu nhiên một chiều, ta có định nghĩa hàm phân phối
xác suất của biến ngẫu nhiên X .
Định nghĩa 1.5. Với mỗi tập Borel B ∈ B n , trong đó B n là một σ - đại
số Borel trong Rn , xác suất P[X ∈ B] được gọi là phân phối của biến ngẫu
nhiên X = (X1 , X2 , . . . , Xn ).
Hàm FX1 ,X2 ,...,Xn (x1 , x2 , . . . , xn ) = P(

n
∩

([Xi < xi ]))(x1 , x2 , . . . , xn ) ∈ Rn

i=1

được gọi là hàm phân phối của biến ngẫu nhiên X(ω) = (X1 , X2 , . . . , Xn )
hay là hàm phân phối đồng thời của n biến ngẫu nhiên một chiều

X1 , X2 , . . . , Xn .
Khi xét đến các biến ngẫu nhiên khác nhau, chúng ta quan tâm đến sự
độc lập giữa chúng. Ta có định nghĩa sau.


5

Định nghĩa 1.6. Các biến ngẫu nhiên X1 , X2 , . . . , Xn được gọi là độc lập
với nhau nếu FX1 ,X2 ,...,Xn (x1 , x2 , . . . , xn ) = FX1 (x1 )FX2 (x2 ) . . . FXn (xn ),
với ∀(x1 , x2 , . . . , xn ) ∈ Rn

1.1.3. Các đặc trưng của biến ngẫu nhiên
Định nghĩa 1.7. (Kỳ vọng của biến ngẫu nhiên) Giả sử biến ngẫu
nhiên X xác định trên không gian xác suất (Ω, F, P). Kỳ vọng của biến
ngẫu nhiên X , ký hiệu là E[X] được xác định
∫
E[X] =
X(ω)P (dω)
(1.1)
Ω

Các tính chất của kỳ vọng

• E[C] = C với C là hằng số
• Nếu các biến ngẫu nhiên X, Y có kỳ vọng thì X + Y cũng có kỳ vọng
và
E(X + Y ) = E(X) + E(Y )
• Nếu X, Y là hai biến ngẫu nhiên độc lập, khi đó E(XY ) = E(X)E(Y )
Để đo lường sự phân tán của các giá trị có thể có của biến ngẫu nhiên
xung quanh giá trị trung bình của nó người ta đưa ra khái niện phương

sai.
Định nghĩa 1.8. (Phương sai của biến ngẫu nhiên) Phương sai của
biến ngẫu nhiên X là kỳ vọng E(X − EX)2 và được ký hiệu là V (X).
Nếu X là biến rời rạc thì
∞
∑
V (X) =
(xi − EX)2 pi
i=1

trong đó p0 = P[X = Xi ] Nếu X là biến liên tục thì
∫∞
V (X) = (x − EX)2 f (x)dx
1

trong đó f (x) là hàm mật độ của biến ngẫu nhiên X


6

1.1.4. Một số quy luật phân phối thường gặp
Quy luật phân phối chuẩn
Biến ngẫu nhiên X có phân phối chuẩn (Gauss) dạng tổng quát ký hiệu
X ∼ N (µ, σ 2 ) nếu hàm mật độ có dạng

1
(x − 1)2
f (x) = √ exp(−
)
2σ 2

σ 2π
Trường hợp đặc biệt X ∼ N (0, 1) biến ngẫu nhiên X gọi là có phân phối
chuẩn tắc.
Quy luật phân phối Gamma
Biến ngẫu nhiên X có phân phối Gamma nếu hàm mật độ có dạng

 αp xp−1 a−αx với x > 0
Γ(p)
f (x; α, p) =
 0 với x ≤ 0
trong đó, hàm Gamma Γ(p) =

+∞
∫

xp−1 e−x dx.

0

Khi p = n/2, α = 1/2 thì phân phối Gamma được gọi là phân phối Khi
bình phương với n bậc tự do.
Quy luật phân phối Student
Biến ngẫu nhiên X có phân phối Student với k bậc tự do nếu hàm mật độ
có dạng

x2 − k+1
f (x) = √
) (1 + ) 2
k
k

kβ 2 , 2
1
(1

trong đó, hàm Beta
∫1

xa−1 (1 − x)b−1 dx; a > 0, b > 0

β(a, b) =
0


7

1.2. Quá trình ngẫu nhiên
Định nghĩa 1.9. Trong không gian xác suất (Ω, F, P), một quá trình ngẫu
nhiên là một tập hợp các biến ngẫu nhiên {Xt , t ∈ T }. T được gọi là tập
các chỉ số. Tập các giá trị của Xt , ký hiệu là E , được gọi là không gian
trạng thái của quá trình ngẫu nhiên.
Tập chỉ số T thường được chọn là một tập con đếm được hoặc liên tục
của R, do đó một quá trình ngẫu nhiên thường được coi như một biến
ngẫu nhiên theo thời gian, với Xt là trạng thái của quá trình ngẫu nhiên
tại thời điểm t.
Ví dụ 1.1. ( Quá trình Bernoulli)
Một ví dụ của quá trình ngẫu nhiên là tập bất kỳ {X1 , . . . , Xn } các
biến ngẫu nhiên độc lập có cùng phân phối. Khi Xt ∼idd Ber (p) với t =
1, 2, . . . quá trình được gọi là quá trình Bernoulli với không gian trạng thái

{E = 0, 1} và tập chỉ số {T = 1, 2, . . .}. Một ví dụ thực tế của quá trình

Bernoulli là khi ta tung một đồng xu đồng chất và cân đối với xác xuất là
p = 0.5, minh họa qua Hình 1.1.

Hình 1.1: Một quá trình Bernoulli với p = 0.5

Việc mô tả và nghiên cứu quá trình ngẫu nhiên với giá trị thực theo
thời gian được xác định bởi các khái niệm dưới đây. Giả sử T là một trong
các tập N, Z, R+ , R.
Họ {Ft } = {Ft , t ∈ T } các σ−đại số thỏa mãn Ft ⊆ Ft+s với ∀s ≥ 0
và t ∈ T được gọi là một lọc hay lịch sử. Một lọc gọi là liên tục phải nếu
∩
Ft = Ft+ := s>t Fs với mọi t. Có thể coi lọc như một luồng thông tin về


8

một vài hiện tượng tự nhiên. Một quá trình ngẫu nhiên {Xt , t ∈ T } được
gọi là thích ứng với lọc {Ft } nếu Xt là {Ft }− đo được với ∀t ∈ T. Dễ
thấy, Fs với s ≤ t chứa thông tin trong quá khứ của quá trình ngẫu nhiên
cho tới thời điểm t. Một biến ngẫu nhiên τ ∈ T được gọi là thời điểm
dừng đối với lọc {Ft } nếu với mỗi t ∈ T biến cố {τ t} ∈ Ft . Có thể coi
τ là một thời điểm dừng nếu ta có thể xác định nó đã xảy ra tại thời điểm
t căn cứ trên thông tin (chứa trong Ft ) cho đến thời điểm t.

Ví dụ 1.2. ( Quá trình Bernoulli- tiếp)
Có rất nhiều quá trình ngẫu nhiên bắt nguồn từ một quá trình Bernoulli
{Xt , t = 1, 2, . . . }. Ví dụ, chọn S0 = 0 và St = St−1 + Xt , t = 1, 2, . . . .
Quá trình {St } là một ví dụ của quá trình du động ngẫu nhiên (random
walk process). Cho Ft là lọc của quá trình Bernoulli cho tới thời điểm t.
Ta thấy rằng {St } thích nghi với lọc {Ft } vì mọi thông tin liên quan đến

S1 , . . . , St có thể được biết từ X1 , . . . , Xt và ngược lại. Cho τn là thời điểm
đầu tiên khi {St } tăng vượt mức n, tức là, τn = inf {t : St ≥ n}. Khi đó
τn là thời điểm dừng tương ứng với Ft bởi vì sự kiện {τn ≤ t} có thể xác
định được mà chỉ cần căn cứ trên thông tin về X1 , . . . , Xt .
Phần tiếp theo chúng ta tìm hiểu các lớp quá trình ngẫu nhiên, được
phân loại trên cơ sở các tính chất đặc trưng.

1.2.1. Tính chất Gauss
Định nghĩa 1.10. Một quá trình ngẫu nhiên giá trị thực {Xt , t ∈ T } được
gọi là có tính Gauss nếu mọi phân phối hữu hạn chiều của nó đều có tính
Gauss, tức là vectơ (Xt1 , . . . , Xtn ) là biến ngẫu nhiên Gauss n chiều với n
bất kỳ, t1 , t2 , . . . , tn ∈ T hoặc tương đương, một tổ hơp tuyến tính bất kỳ
∑n
i=1 bi Xtn là một phân phối Gauss. Quá trình Gauss có thể được coi như
trường hợp tổng quát của biến ngẫu nhiên Gauss nhiều chiều.
Phân phối xác suất của một quá trình Gauss hoàn toàn được xác định


9

bởi hàm kỳ vọng

µt = EXt , t ∈ T
và hàm hiệp phương sai

σs,t = Cov (Xs , Xt ) , s, t ∈ T .
Quá trình Gauss trung bình không là quá trình Gauss với µt = 0 với mọi

t. Chúng ta sẽ trở lại với việc sinh quá trình ngẫu nhiên có tính chất Gauss
ở Chương 3.

Định nghĩa 1.11. ( Quá trình Wiener) Quá trình Wiener {Wt , t 0}
có thể định nghĩa là một quá trình Gauss trung bình không với hàm hiệp
phương sai
σs,t = min {s, t} , s, t ≥ 0

1.2.2. Tính Markov
Định nghĩa 1.12. Một quá trình ngẫu nhiên {Xt , t ∈ T } trên (Ω, F, P)
với T ⊆ R và không gian trạng thái E ( được trang bị một σ -đại số E ) gọi
là một quá trình Markov nếu ∀s 0, t ∈ T và A ∈ E quá trình ngẫu nhiên
thỏa mãn tính Markov:
P (Xt+s ∈ A|Ft ) = P (Xt+s ∈ A|Xt )

(1.2)

Trong đó Ft là thông tin quá khứ của quá trình ngẫu nhiên tính đến
thời điểm t. Quá trình Markov được gọi là thuần nhất thời gian (timehomogeneous) nếu xác suất có điều kiện Ps (x, A) = P (Xt+s ∈ A|Xt = x)
không phụ thuộc vào t với mỗi s cố định. Hàm Ps được gọi là hạch chuyển

s bước (s-step transition kernel) của quá trình Markov. Khi (1.2) đúng với
bất kì thời điểm dừng τ của mỗi t cố định, {Xt } được gọi là có tính
Markov mạnh.
Tính Markov có thể được biểu thị dưới dạng

(Xt+s |Xu , u ≤ t) ∼ (Xt+s |Xt )

(1.3)


10


nhằm nhấn mạnh thuộc tính của quá trình ngẫu nhiên trong tương lai
khi có thông tin trong quá khứ không khác với khi chỉ biết thông tin của
trạng thái hiện thời. Nói cách khác, với một quá trình ngẫu nhiên có tính
Markov, phân phối có điều kiện trong tương lai Xt+s chỉ phụ thuộc vào
thời điểm của quá trình tại thời điểm hiện tại Xt . Từ bây giờ trở đi, ta
giả sử quá trình Markov là thời gian thuần nhất. Quá trình Markov rất
đa dạng, tùy vào cách chúng ta chọn tập T và không gian trạng thái E .
Trong hầu hết các trường hợp thực tế, ta thường lấy T = N hoặc R+ và
E ⊆ Rn . Trong nhiều trường hợp Pt được xác định có dạng
∫
Pt (x, A) =
pt (x, y) dy
(1.4)
y∈A

trong trường hợp liên tục, hoặc

Pt (x, A) =

∑

pt (x, y)

(1.5)

y∈A

trong trường hợp rời rạc. Ở đây, pt (x, y) là mật độ hạch chuyển. Trong
trường hợp này phân phối hữu hạn chiều của quá trình Markov được xác
định bởi họ hạch chuyển {Pt , t ≥ 0} và phân phối khởi tạo X0 của quá

trình Markov.

1.2.3. Tính martingale
Định nghĩa 1.13. Một martingale là một quá trình ngẫu nhiên giá trị
thực {Xt , t ∈ T } với T ⊆ R mà:

• X là tương thích với lọc {Ft }.
• E |Xt | < ∞ với ∀t ∈ T.
• Với bất kỳ s ≤ t ∈ T,
E [Xt |Fs ] = Xs h.c.c.

(1.6)


11

Trạng thái Xt của quá trình ngẫu nhiên có thể giải thích như vận may
tại thời điểm t của một con bạc chơi bài. Trong trường hợp này, một quá
trình Martingale coi như một một cuộc chơi công bằng, với ý, vận may của
con bạc trong tương lai được kỳ vọng là không đổi so với vận may hiện
thời, với việc thông tin về ván bài trong quá khứ và hiện tại được đưa ra
minh bạch.
Một quá trình ngẫu nhiên X được gọi là Martingale dưới trên nếu (1.6)
thay dấu ” = ” thành dấu ” ≥ ”.
Các tính chất của các quá trình ngẫu nhiên martingale
1) Tính chính quy của quĩ đạo: Cho {Xt , t ∈ T } là Martingale dưới
mà t → EXt liên tục. Khi đó, X liên tục phải và giới hạn trái.
2) Bị chặn trên: Cho {Xt , t = 0, 1, 2, . . . } là Lp -martingale với p ≥ 1
.Khi đó,
(

)
E |Xn |p
P max |Xt | ≥ x ≤
,x ≥ 0
0≤t≤n
xp
3) Hội tụ: Cho quá trình {Xt , t = 0, 1, 2, . . . } là một martingale (dưới).
Nếu supn EXn+ < ∞ trong đó x+ = max {x, 0} khi đó X hội tụ hầu
khắp nơi đến một biến ngẫu nhiên khả tích X∞ .
4) Định lí dừng chọn: Cho X = {Xt , t ≥ 0} là một martingale (dưới
martingale) và τ1 , τ1 , . . . là dãy các thời điểm dừng sao cho τi ≤ Ki
với một vài K1 , K2 , . . . , < ∞ . Khi đó, Xτi , i = 1, 2, . . . là một (dưới)
martingale tương ứng với lọc {Fτi }.
5) Dừng chọn: Cho X = {Xt , t ≥ 0} là một martingale và τ là một
thời điểm dừng hữu hạn. Nếu X khả tích đều, khi đó Xτ = E [X∞ |Ft ]
và EXτ = EX0 .
6) Tiêu chuẩn martingale: Cho X = {Xt , t ≥ 0} là một martingale
mà E |Xτ | < ∞ và EXτ = EX0 tại các thời điểm dừng bị chặn
τ ≤ K ≤ ∞. Khi đó X là một quá trình martingale.


12

7) Martingale dưới bao hàm martingale: Cho X = {Xt , t ≥ 0}
là một martingale dưới trên t ∈ [0, T ] nếu EXτ = EX0 thì X là
martingale trên với t ∈ [0, T ].

1.2.4. Tính tự hồi quy
Định nghĩa 1.14. Một quá trình ngẫu nhiên giá trị thực X = {Xt , t ≥ 0}
được gọi là tự hồi quy nếu tồn tại các thời điểm T0 ≤ T1 < T2 < T3 < . . . ,

có dạng Tn = A1 + A2 + · · · + An , n = 1, 2, . . . , trong đó {Ai } là các biến
ngẫu nhiên độc lập cùng phân phối, tức là với điều kiện trên Xs , s ≤ Tn
quá trình {XTn +t , t ≥ 0} có cùng phân phối với {XT0 +t , t ≥ 0}. Nói cách
khác, quá trình hồi quy là tự quay lại tại các thời điểm T0 , T1 .
Với việc cho trước lịch sử của quá trình cho đến thời điểm Tn , quá trình
sau thời điểm Tn thể hiện như khi khởi tạo. {Tn } được gọi là thời điểm
hồi quy. Khi T0 = 0 quá trình được gọi là thuần nhất ngược lại quá trình
được gọi là trễ.

1.2.5. Tính dừng và tính khả nghịch
Định nghĩa 1.15. Một quá trình ngẫu nhiên {Xt , t ∈ T } được gọi là dừng
mạnh nếu phân phối của vectơ ngẫu nhiên (Xt1 , . . . , Xtn ) và (Xt1 +s , . . . , Xtn +s )
là trùng nhau với cách chọn tùy ý n và s, t1 , . . . , tn ∈ T.
Một quá trình ngẫu nhiên {Xt , t ∈ T } được gọi là dừng yếu nếu cả hàm
kỳ vọng {EXt } và hàm phương sai {Cov (Xt , Xt+s )} không phụ thuộc vào
t. Hàm R (s) = Cov (Xt , Xt+s ) được gọi là hàm tự hiệp phương sai.
Nói cách khác, phân phối của quá trình dừng mạnh không đổi theo thời
gian chuyển. Còn quá trình dừng yếu thì hàm phương sai không đổi theo
thời gian chuyển. Một quá trình dừng mạnh là thỏa mãn tính dừng yếu
nếu tồn tại kỳ vọng và hàm phương sai; tức EXt2 < ∞, t ∈ T. Tuy nhiên,
quá trình dừng yếu không nhất thiết là quá trình dừng mạnh. Một ngoại
lệ đáng chú ý là quá trình Gauss, phân phối hữu hạn chiều của nó chỉ phụ


13

thuộc vào tính tương quan và hiệp phương sai.
Quá trình ngẫu nhiên dừng mạnh {Xt } với tập chỉ số là Z hoặc R
được gọi là khả nghịch nếu với mỗi số nguyên dương n và với mọi
t1 , . . . , tn , vectơ (Xt1 , . . . , Xtn ) có cùng phân phối với (X−t1 , . . . , X−tn ).

Một liên tưởng thú vị là khả năng tua đi, tua lại khi xem video.

1.3. Xích Markov
Định nghĩa 1.16. Một quá trình Markov với tập chỉ số T đếm được gọi
là một xích Markov.
Nếu tập chỉ số là N hoặc Z thì gọi là xích thuần nhất theo thời gian.
Từ đây trở đi ta giả sử tập chỉ số là N hoặc Z.
Như đã trình bày ở phần trên, hạch chuyển Pt (a, A) của quá trình Markov
thuần nhất theo thời gian tổng quát cho ta biết xác suất xích bắt đầu từ
x đến kết thúc trong tập A sau t bước rời rạc. Chúng ta lưu ý rằng xích
Markov là hạch chuyển một bước P1 . Nếu không gian trạng thái E là đếm
được, ví dụ E = N, ta có thể viết hàm mật độ (rời rạc) dưới dạng

p (x, y) = P1 (x, {y}) = P (Xt+1 = y|Xt = x) , x, y ∈ N

(1.7)

Ta có thể sắp xếp các xác suất chuyển một bước trong một ma trận
chuyển một bước P với vị trí thứ (x, y) được cho bởi p (x, y). Nghĩa là,
Pt tương ứng với t bước chuyển thành phần (x, y) của ma trận pt (x, y) =
Pt (x, {y}). Chú ý rằng các thành phần của Pt trong mỗi hàng là không
âm và có tổng bằng 1. Một ma trận như vậy gọi là ma trận ngẫu nhiên.
Nếu mỗi cột có tổng bằng 1 thì ma trận được gọi là ngẫu nhiên bội
(doubly stochastic).
Khi E không đếm được, ví dụ E = R , và Pt có mật độ là pt như trong
(1.7). Ma trận chuyển một bước được thay thế bằng mật độ chuyển một
bước p (x, y) = p1 (x, y).


14


Một cách rất thuận tiện cho việc mô tả một xích Markov X các trạng
thái rời rạc là thông qua đồ thị chuyển của nó. Các trạng thái được biểu
diễn bởi các giao điểm của đồ thị, và dương ngặt (> 0), xác suất chuyển

p (x, y) từ trạng thái x sang trạng thái y và được biểu diễn bằng một mũi
tên từ x đến y với độ lớn p (x, y). Một ví dụ của đồ thị chuyển là Hình
1.2.

Hình 1.2: Đồ thị chuyển của một xích Markov rời rạc

1.3.1. Lớp các trạng thái
Cho X = {Xt , t = 0, 1, 2, . . . } là một xích Markov thuần nhất theo thời
gian với không gian trạng thái E . Cho x, y là các trạng thái tùy ý nằm
trong E . Gọi T là thời điểm mà xích bắt đầu thăm đến trạng thái y lần
đầu, hoặc là lần quay lại y đầu tiên nếu xích bắt đầu tại y ; và Ny là số
lần đến y kể từ thời điểm 0 trở đi. Ta viết Py (A) với mỗi biến cố A. Ta
kí hiệu toán tử kỳ vọng tương ứng là Ey . Các trạng thái của xích Markov
thường được phân lớp như sau:
1) Trạng thái y được gọi là trạng thái lặp nếu Py (T < ∞) = 1; ngoài
ra được gọi là trạng thái nhất thời. Một trạng thái lặp y được gọi
là trạng thái lặp dương nếu Ey T < ∞; ngoài ra được gọi là trạng
thái lặp không (null-recurrent).
2) Trạng thái y được gọi là tuần hoàn với chu kỳ δ nếu δ

2 là


15


số nguyên dương lớn nhất để Py (T = nδ, n ≥ 1) = 1. Nếu δ = 1 thì
trạng thái được gọi là phi tuần hoàn.
3) Nếu pt (x, y) > 0, khi đó x được gọi là dẫn tới y viết là x → y .
Nếu x → y và y → x thì x, y được gọi là có tương tác và viết là
x ↔ y . Tập các trạng thái C ⊆ E được gọi là lớp tương tác nếu,
với bất kì cặp x, y ∈ C , x ↔ y hơn nữa nếu với mọi x ∈ C không có
y ∈ E \ C sao cho x ↔ y . Nếu E chỉ bao gồm các lớp tương đương
thì xích Markov được gọi là tối giản.
∑
4) Tập các trạng thái A ⊆ E sao cho y∈A p (x, y) = 1, ∀x ∈ A được
gọi là tập đóng. Trạng thái x được gọi là trạng thái hấp thụ
(absorbing state) nếu {x} là đóng.
Hình 1.2 biểu diễn một đồ thị chuyển của xích Markov với 3 lớp tương tác.

1.3.2. Tính khả nghịch
Định lý sau đưa ra một tiêu chuẩn đơn giản cho tính khả nghịch dựa
trên xác suất chuyển.
Định lý 1.1. (Xích Markov nghịch đảo)
Một xích Markov dừng là nghịch đảo khi và chỉ khi tồn tại một tập hợp
số dương {π (x) , x ∈ E}, tổng duy nhất thỏa mãn Phương trình cân bằng
cục bộ (địa phương)

π (x) p (x, y) = π (y) p (y, x) , ∀x, y ∈ E

(1.8)

Khi tồn tại tập {π (x)}, thì nó là quá trình phân phối dừng của quá trình.
Định lý 1.2. (Tiêu chuẩn Kolmogorov)
Xích Markov dừng là khả nghịch khi và chỉ khi xác suất chuyển trạng
thái thỏa mãn


p (x1 , x2 ) p (x2 , x3 ) ...p (xn−1 , xn ) p (xn , x1 ) = p (x1 , xn ) p (xn , xn−1 ) ...p (x2 , x1 )
(1.9)
với mọi vòng các trạng thái hữu hạn x1 , . . . , xn , x1 .


16

Ý tưởng này rất trực quan là. Nếu quá trình trong trạng thái thời điểm
tiến nhiều khả năng đi qua một vòng khép kín nhất định theo một hướng
hơn là ngược hướng nhau, khi đó trong thang thời điểm lùi nó đi theo một
hướng khác với dáng điệu khác, và vì vậy ta có một tiêu chuẩn để phát
hiện hướng của thời gian. Nếu như “vòng lặp” không xảy ra thì quá trình
phải khả nghịch.

1.4. Quá trình bước nhảy Markov
Định nghĩa 1.17. Một quá trình bước nhảy Markov là một quá trình
Markov với tập chỉ số liên tục và không gian trạng thái E đếm được.
Để đơn giản ta giả sử rằng một quá trình bước nhảy Markov là thuần
nhất theo thời gian và tập chỉ số hoặc là R hoặc R+ . Cho pt (x, y) =
Pt (x, {y}) = P (Xt = y|X0 = x) ký hiệu cho xác suất chuyển từ x tới
y trong thời gian t ≥ 0. Tương tự như xích Markov với không gian trạng
thái rời rạc, ta có thể sắp xếp các xác suất chuyển vào trong một ma
trận (pt (x, y)). Để tiện lợi, ta vẫn ký hiệu ma trận đó là Pt . Ta gọi họ

{Pt , t ≥ 0} hoặc Pt được xem như là một hàm của t, một hàm chuyển
(a transition function). Hàm chuyển được gọi là chuẩn (standard) nếu
limt↓0 Pt = I và trung thực (honest) nếu Pt 1 = 1, với 1 là vectơ cột của
1. Ở đây chúng ta chỉ xem xét các hàm chuẩn.
Tương tự với ma trận chuyển một bước với xích Markov là Q-ma trận

định nghĩa bởi
Pt − I
′
Q = P0 = lim
(1.10)
t↓0
t
Thành phần (x, y) với (x ̸= y) của Q, kí hiệu là q (x, y) được gọi là tốc độ
chuyển (transition rate) từ x đến y . Phần tử đường chéo thứ x, q (x, x)
được viết lại là −qx . Người ta chứng minh được
(a) 0 ≤ q (x, y) ≤ ∞, x ̸= y,
∑
(b) y̸=x q (x, y) qx .


17

Trạng thái x được gọi là ổn định nếu qx < ∞; và là trạng thái tức thì
nếu qx = ∞. Nếu qx = 0 thì trạng thái x được gọi là hấp thụ.
Một quá trình bước nhảy Markov thường được định nghĩa bằng một
ma trận Q thỏa mãn hai tính chất ở trên. Một ma trận như thế được gọi
là Q-ma trận. Nó được gọi là ổn định nếu các trạng thái của nó là ổn
định, được gọi là bị chặn đều nếu supx qx < ∞, và được gọi là bảo toàn
nếu Q1 = 0. Q được gọi là chính quy nếu nó bảo toàn và phương trình

Qz = λz, −1 ≤ zi ≤ 1, ∀i,
có duy nhất nghiệm tầm thường z = 0 với ∀λ > 0.
Định lý 1.3. Tính chất tiệm cận của quỹ đạo
Với mỗi Q-ma trận ổn định và bảo toàn tồn tại quá trình bước nhảy
Markov X mà thành phần của nó là các hàm bước nhảy liên tục phải tiến

đến một số ngẫu nhiên T∞ . Tuy nhiên, tính chất tiệm cận của quỹ đạo tới
T∞ có thể mô tả như sau:
1) Cho quá khứ của nó, xác suất mà X nhảy từ trạng thái hiện tại x
sang trạng thái y là K (x, y) = q (x, y) /qx
2) Khoảng thời gian mà X dừng ở trạng thái y là phân phối mũ Exp (qy ),
độc lập với thời điểm trước đó.
Phát biểu đầu tiên của định lý 1.3 có nghĩa là quá trình {Yn , n ∈ N} là
một xích Markov với thuần nhất thời gian, với ma trận chuyển một bước.
Xích Markov này được gọi là một xích Markov nhúng hay một chuỗi
bước nhảy.
Một cách thuận tiện để mô tả quá trình với bước nhảy Markov là thông
qua đồ thị tốc độ chuyển của nó (xem ví dụ là Hình 1.4). Nó tương tự như
đồ thị chuyển của xích Markov. Những trạng thái tương ứng bởi các điểm
giao nhau của đồ thị, và tốc độ chuyển từ trạng thái x sang trạng thái y
được chỉ định bởi một mũi tên từ x đến y với độ lớn là q (x, y). Các khái
niệm phân loại như một sự tối giản, thông tin, sự hồi quy và tính tạm


18

Hình 1.3: Tính chất tiệm cận của một quá trình bước nhảy Markov

Hình 1.4: Đồ thị xác suất chuyển của quá trình sinh ra và mất đi

thời được xác định giống như cách ta xác định với xích Markov. Tuy nhiên
không có khái niệm về tính tuần hoàn cho quá trình bước nhảy Markov.
Ví dụ 1.3. ( Quá trình sinh ra và mất đi)
Một quá trình sinh ra và mất đi là một quá trình bước nhảy Markov
với đồ thị xác suất chuyển có dạng như Hình 1.4. Nghĩa là Xt tương ứng
với tổng các cá thể trong quần thể tại thời điểm t. Bước nhảy sang phải là

“sinh” và bước nhảy sang bên trái là “mất”. Tốc độ sinh {bi } và tốc độ mất
là {di } có thể khác từ trạng thái đến trạng thái. Có nhiều ứng dụng của
xích Markov liên quan đến các quá trình loại này.
Chú ý rằng quá trình nhảy từ trạng thái này sang trạng thái kế tiếp theo
một xích Markov với xác suất chuyển K0,1 = 1, Ki,i+1 = bi / (bi + di ) và
Ki,i−1 = di / (bi + di ) , i = 1, 2, . . . . Hơn nữa, nó mất một khoảng thời gian
là Exp (b0 ) ở trạng thái 0 và mất khoảng thời gian là Exp (bi + di ) trong