Luận văn thạc sĩ khoa học: Thống kê Bayes nhiều chiều và ứng dụng

Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (12.39 MB, 77 trang )

<span class="text_page_counter">Trang 1</span><div class="page_container" data-page="1">

ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN

</div><span class="text_page_counter">Trang 2</span><div class="page_container" data-page="2">

ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN

LUAN VAN THAC SI KHOA HOC

NGƯỜI HƯỚNG DAN KHOA HOC

GS.TSKH. DANG HUNG THANG

HA NOI - 2015

</div><span class="text_page_counter">Trang 3</span><div class="page_container" data-page="3">

Mục lục

Lời nói đầu ww . KH HQ HE và 5

<small>Chương 1.</small>

Các phân phối xác suất nhiều chiều quan trọng... - 7

11 Phân phối nhiéu chều 2... ee ĩ

1.1.1 Phân phối chuẩn nhiều chiều... 7

1.1.2 Phân phối Student nhiều chều£... 8

1.2 Phân phối của ma trận ngẫu nhiên ... 9

12.1 Phân phối chuẩn matrận ... 9

1.2.2 Phân phối Wishart... 2... .0.00.000 002.000.2000 0008 111.2.3 Phân phối Wishart nghịch đảo... 12

1.2.4 Phân phdimatranT... 0.0.00... 0000000000 14<small>1.3 Vectơ ngẫu nhiên liên tục ... . ee 151.4 Ma trận ngẫu nhiên liên tục ... 2.00004 16Chương 2.</small>

Mở đầu về thống kê Bayes nhiều chiều ...- 18

2.1 Phan phối tiên nghiệm ... co. 182.1.1 Phân phối tiên nghệm mơhồ ... 18

2.1.2 Phân phối tiên nghiệm lên hợp ...- 20

2.1.3 Phân phối tiên nghiệm tổng quát ... 24

<small>2.1.4 Vectơ ngẫu nhiên ... 0.000000. 2 eee 25</small>2.1.5 Phân phối tiên nghiệm tương quan ...- 28

2.2 Đánh giá siêu tham sỐ .. 2... 0.0000. ee 3l

2.2.1 Hàm hợp lí phân phối chuẩn nhiều chiều ... 31

</div><span class="text_page_counter">Trang 4</span><div class="page_container" data-page="4">

2.2.2 Hàm hợp lí phân phối chuẩn ma trận... 32

<small>2.3 Phương pháp ước lượng Bayes... 2... en 342.3.1 Trung bình biên dun hậu nghiệm ... 35</small>

2.3.2 Tối đa hóa hậu nghiệm ... 47<small>Chương 3.</small>

Hồi quy Bayes và áp dụng... .. c Q Q Q ee 51

3.1 Mơ hình hồi quy tuyến tinh đabiến... 513.2 Hoi quy Bayes nhiều biến ... co. 60

1 . -daaAAa ee 61

<small>3.3.1 Xét nghiệm Insulin... ee, 613.3.2 Bữa tiệc Cocktail .. 2... cv. 68</small>

3.3.3 Mô hình tách nguồn ...00 2002020000000. 69

</div><span class="text_page_counter">Trang 5</span><div class="page_container" data-page="5">

Danh sách hình vẽ

<small>Bữa tiệc cocktall... ee 68</small>

Q trình hỗn hợp chưa biết... 70<small>Ví dụ xử lí hỗn hợp... cv. 71</small>

Danh sach bang

Phân phối tiên nghiệm 1 chiều... 21

<small>Véctơ tiên nghiệm liên hợp... 2.200.000 0008. 22Ma trận tiên nghiệm liên hop ... 2... 20.0.0. 00 eee 24</small>

Phân phối tiên nghiệm liên hợp vectơ tổng quát ... 26Ma trận tiên nghiệm liên hợp tổng quát ... 27

Phân phối tiên nghiệm ma trận liên hợp ...- 61Dữ liệu hồi quy Bayes và ma trận thiết kế (mẫu tiên nghiệm) .... . 62

Dữ liệu hồi quy Bayes và ma trận thiết kế (mẫu hậu nghiém).... . . 64

Prior, Gibbs, and ICM các hệ số hồi quy Bayes... 65Prior, Gibbs, and ICM hiệp phương sai hồi quy ... 66Các hệ số thống kê ... v2 67

</div><span class="text_page_counter">Trang 6</span><div class="page_container" data-page="6">

Lời cam ơn

Trước khi trình bày nội dung chính của luận văn, Tác giả xin bày tỏ lòng biết ơnsâu sắc tới GS. TSKH. Đặng Hùng Thắng người Thầy đáng kính đã ln tận tình chỉbảo giúp đỡ tác giả trong suốt thời gian qua.

Mặc dù có nhiều cố gắng, song trong q trình thực hiện luận văn Tác giả khơngtránh khỏi những thiếu sót. Vì vậy, Tác giả rất mong nhận được ý kiến đóng góp của

Thầy Cơ và bạn bè đồng nghiệp, để luận văn được hoàn thiện hơn.

<small>Tác giả xin chân thành cảm on!</small>

<small>Hà Nội, ngày 10 tháng 10 năm 2015.Học viên</small>

Trần Anh Tuấn

</div><span class="text_page_counter">Trang 7</span><div class="page_container" data-page="7">

Lời nói đầu

Hiện tại thống kê có hai trường phái: Thống kê tần suất và thống kê Bayes. Thống

kê tần suất đã ra đời trước, là phương pháp phổ biến hiện nay. Nó dựa trên những kết

quả quan sát mẫu của hiện tại mà không cần để ý đến những thông tin, dữ liệu đã biết

trước. Thống kê Bayes dựa trên những thông tin dữ liện đã biết trước về vấn đã quan

sát để suy luận cho những thống kê hiện tại.

Trước sự phát triển mạnh mẽ của công nghệ thông tin, đặc biệt là những phần

mềm thống kê, việc lưu trữ những thơng tin rất thuận lợi thì thống kê Bayes ngày càng

phát triển. Chúng ta có thể đem thống kê Bayes vào phương pháp tần suất để pháttriển nhiều kết quả lí thuyết cũng như ứng dụng. Chính vì vậy, có thể nói thống kê

Bayes là một mảng kiến thức rộng lớn được rất nhiều nhà thống kê trên thế giới quan

tâm, tuy nhiên ở nước ta vấn đề này chưa được nghiên cứu nhiều. So với các phươngpháp khác, phương pháp thống kê Bayes lập luận theo kinh nghiệm được tích lũy ápdụng vào mơ hình phân loại đối tượng linh hoạt hơn, phù hợp với đặc trưng của bàitoán hơn. Các cơ chế ước lượng cũng gần gũi với cách suy luận thơng thường, chính vì

vậy mà các kết quả phân loại tương đối giống với cách phân loại thông thường.

Suy luận Bayes được sử dụng rất rộng rãi trong tất cả các ngành nghề như y học,kinh tế, tin học,... Dic biệt trong xác suất và thống kê hiện nay nó đóng vai trị cũng

hết sức quan trọng. Hiện tại chúng ta tìm được một số biểu thức giải tích hậu nghiệmcụ thể khi giả sử tiên nghiệm là các hàm mật độ xác suất thông dụng như Beta, mũ,chuan,... Trong thống kê sử dụng định lí Bayes cho ước lượng và kiểm định tham sốthống kê, cũng như các bài toán phân loại ngày nay trở nên phổ biến.

Trong đề tài luận văn này, tác giả trình bày một số kiến thức cơ bản về thống kêBayes nhiều chiều và mơ hình hồi quy Bayes đồng thời đưa ra một số ứng dụng cơ bản

của hồi quy Bayes.

</div><span class="text_page_counter">Trang 8</span><div class="page_container" data-page="8">

<small>Luận văn của tác giả được chia làm 3 chương.</small>

<small>Chương 1.</small>

<small>Chương 2.</small>

<small>Chương 3.</small>

Các phân phối xác suất nhiều chiều quan trọng.

Trong chương này, tác giả hệ thống lại một số quy luật phân phối nhiều chiều

thường gặp như: Phân phối chuẩn nhiều chiều, phân phối Student nhiều chiều;

các phân phối của ma trận ngẫu nhiên; véctơ ngẫu nhiên liên tục và ma trận

ngẫu nhiên liên tục. Từ đó làm cơ sở để nghiên cứu các phần tiếp theo.

Mở đầu vé thống kê Bayes nhiều chiều.

Trong chương này, tác giả trình bày những kiến thức cơ bản nhất về thống kê

Bayes nhiều chiều, bao gồm: phân phối tiên nghiệm, đánh giá siêu tham số,

<small>phương pháp ước lượng Bayes.</small>

Hồi quy Bayes va áp dụng.

Trong chương này, tác giả những kiến thức cơ bản về hồi quy đa biến và hồi quy

Bayes. Dồng thời, tác giả trình bày một số ví dụ minh họa cho phương pháp hồi

<small>quy Bayes.</small>

</div><span class="text_page_counter">Trang 9</span><div class="page_container" data-page="9">

Chương 1

Các phan phôi xác suât nhiều chiều

quan trọng

1.1 Phân phối nhiều chiều

Một p-biến vectơ quan sát x là một tập hợp của p qua sát vơ hướng, được kí hiệu

1.1.1 Phân phối chuẩn nhiều chiều

p-biến ngẫu nhiên phân phối chuẩn nhiều chiều được sử dụng để miêu tả đồng thời

p biến ngẫu nhiên giá trị thực liên tục.

Một biến ngẫu nhiên tuân theo quy luật p-bién ngẫu nhiên phân phối chuẩn nhiều

chiều với vectơ kì vọng và ma trận hiệp phương sai © được kí hiệu là

</div><span class="text_page_counter">Trang 10</span><div class="page_container" data-page="10">

CHƯƠNG 1. CAC PHAN PHOI XÁC SUẤT NHIÊU CHIEU QUAN TRỌNG

ở day R? kắ hiệu là tap các số thực p-chiéu và ẹ > 0 là ma trận p-chiều xác định dương.

Tắnh chất: kì vọng, mode, phương sai của phân phối chuẩn nhiều chiều là

E(x|u,5) = p, (1.4)

var (Ủ|H, 4) = 3, (1.6)

điều này có thé tim được bằng phép lấy vi phan va tắch phan.

Vì z là một phân phối chuẩn nhiều chiều, phân phối điều kiện và phân phối biên

duyên của tập con bất kì là phân phối chuẩn nhiều chiều.

p-biến ngẫu nhiên phân phối chuẩn nhiều chiều với moomen cấp một và cấp hai

<small>hội tụ tới trung bình theo định lắ giới hạn trung tâm.</small>

1.1.2 Phan phối Student nhiều chiều t

t-phân phối Student nhiều chiều được sử dụng để mô tả các biến ngẫu nhiên giá trịthực liên tục với "cái đuôi nặng hơn" phân phối chuẩn nhiều chiều. N6 có nguồn gốc

<small>trung bình của chúng.</small>

Một biến ngẫu nhiên tuân theo t-phan phối Student nhiều chiều được kắ hiệu là

tv, to, 5, @Ỳ ~ t(v, to, 5, đồ), (1.10)

</div><span class="text_page_counter">Trang 11</span><div class="page_container" data-page="11">

CHƯƠNG 1. CAC PHAN PHOI XÁC SUẤT NHIÊU CHIEU QUAN TRỌNG

ở đây tham số (v, to, 2, 6) c cho bi

Mode(t\v, to, â, Â) = to, (1.15)

var(t\v, to, 5,42) = — sói, (1.16)

điều này có thể tim được bang phép lấy vi phan và tích phân. Chú ý rằng các tham sốnày là một sự tổng qt được sử dụng, có thể tìm được khi ¢? = 1.

Kì vọng của biến ngẫu nhiên t-phan phối Student nhiều chiều chỉ có thể tồn tại với> 1 và phương sai chỉ có thể tồn tại với > 2. Khi = 1, f-phân phối Student nhiều

chiều là phân phối Cauchy nhiều chiều mà kì vọng và phương sai hoặc mô men cấp 1

và mô men cấp 2 không tồn tại.

Khi số bậc tự do là tăng, một biến ngẫu nhiên f-phân phối vô hướng Student nhiều

chiều t ~ t(v, to, ©, Ø2) hội tụ tới phân phối chuẩn t ~ N(to, 23).

1.2 Phân phối của ma trận ngẫu nhiên

1.2.1 Phân phối chuẩn ma trận

Phân phối chuẩn ma trận n x p có thể được coi như là trường hợp đặc biệt np-biénngẫu nhiên phân phối chuẩn nhiều chiều khi mà ma trận hiệp phương sai là tách được.Kí hiệu np-phan phối chuẩn nhiều chiều với các ma trận kì vọng tốn p là np-chiéu và

<small>np X np ma trận hiệp phương sai 2 bởi</small>

p(z|n,9) = (2m) F |Q|T? eB WO ew), (1.17)

</div><span class="text_page_counter">Trang 12</span><div class="page_container" data-page="12">

CHƯƠNG 1. CAC PHAN PHOI XÁC SUẤT NHIÊU CHIEU QUAN TRỌNG

Một ma tran có thé tách được là ma trận có dạng 2 = ®@3 ở đây @ là tích Kronecker,

tích này làm tăng bội lần tất cả các phần tử của ma trận thứ nhất bởi tồn bộ ma

Tích Kronecker của ® và » là các ma trận tương ứng n và p chiều, là

oyu a Pind

Thế ma trận hiệp phương sai tách được vào phân phối trên ta được

p (alt, 0, ®) = (2n) > [â @ T? @ BAH) (PB) ew), (1.19)

0uar(uec(X?|M,3,đ) = đ @», (1.25)

</div><span class="text_page_counter">Trang 13</span><div class="page_container" data-page="13">

CHƯƠNG 1. CAC PHAN PHOI XÁC SUẤT NHIÊU CHIEU QUAN TRỌNG

điều này có thể tim được bằng phép lấy vi phân va tích phân.

Khi X là một phân phối chuẩn ma trận, phân phối điều kiện và phân phối biênduyên của bất kì hàng hoặc cột là phân phối chuẩn nhiều chiều. Nó cũng có thể được

<small>kí hiệu là kì vọng dịng thứ ¿ của X là z;, dòng thứ ¡ của Ä⁄ là , và hiệp phương sai</small>của dong thứ 7 của X là ó„>, ở đây ở¿ là phần tử dòng thứ i và cột thứ i của &. Hiệpphương sai giữa thứ ¿ và dòng thứ i của X là đ/,», ở đây ớj, là phần tử dòng thứ i và<small>cột thứ i của ®. Tương tự, kì vọng của cột 7 của X là cột thứ 7 của M và hiệp phương</small>

Đơn giản chỉ cần đặt, nếu

var (xi|Mi, bu, 3) = Oud, (1.28)

cou(xi, Uji, Mj, Pir L) = biwd (1.29)

0ar(X,|M;,ø¿;¡, ®) = oj; (1.30)

cou(X;, X;|M;, Mj, 055", <sup>®) = ơ¡;„®. (1.31)</sup>

1.2.2 Phan phối Wishart

Một biến ngẫu nhiên Wishart được chỉ ra như là tích chuyển vị G = (X — M)'(X —AM), 6 đây X là phân phối chuẩn ma trận vp x p với ma trận kì vọng M và matrận hiệp phương sai T,, @ Y. Chú ý rằng, nếu p = 1, đây là tổng bình phương của⁄ạ biến ngẫu nhiên chuẩn quy tâm độc lập với cùng kì vọng và phương sai 0Ÿ,

g= (#ìi — H)®+--- + („¿ — ð)2. Ma trận hiệp phương sai Y được đưa vào phan phối

</div><span class="text_page_counter">Trang 14</span><div class="page_container" data-page="14">

CHƯƠNG 1. CAC PHAN PHOI XÁC SUẤT NHIÊU CHIEU QUAN TRỌNG

Wishart. Một p x p ma trận đối xứng G tuân theo phan phối Wishart được kí hiệu

G|YT, p, ⁄o ~ W(T, p, vo) (1.32)

ở đây tham số (YT, p, 2) được cho bởi

p(GIY.p,m) = kw|[X|®|GI TT e6, (1.33)

<small>và ki hiệu ">0" được kí hiệu cho ca G va YT là các ma trận xác định dương. Mặc dù</small>

phân phối Wishart được dẫn xuất từ vp biến ngẫu nhiên vectơ chuẩn (một số ngun

dương), khơng có hạn chế rằng vp trong phân phối Wishart là giá trị ngun.

Tính chất: Kì vọng, mode, và phương sai của phân phối Wishart là

<small>E(G\|v, Y) =uaY, (1.36Mode(Gilua, T) =(a — p— LY, (1.37</small>

Var(G|v, Y) =1(v;, + 00/7), (1.38

cov(G |v, T) =vo(vigvji + vidjn), (1.39

điều này có thể tim được bằng phép lấy vi phân và tích phan, ở đây Giz và Viz được kí

hiệu là phần tử cấp ij của G và TY tương ứng. Mode của phân phối Wishart được xác

Phân phối Wishart là nhiều biến (biến ma trận) tương tự của phân phối đơn biến<small>Gamma.</small>

1.2.3 Phân phối Wishart nghịch dao

Một biến ngẫu nhiên phan phối Wishart nghịch dao © được chi ra như là nghịch

đảo của một biến ngẫu nhiên có phân phối Wishart, © = G~!. Một p x p ma trận ngẫu

nhiên Ð tuân theo phân phối Wishart nghịch đảo được kí hiệu

L|Q,p,v ~ IW(Q,p,v) (1.40)

</div><span class="text_page_counter">Trang 15</span><div class="page_container" data-page="15">

CHƯƠNG 1. CAC PHAN PHOI XÁC SUẤT NHIÊU CHIEU QUAN TRỌNG

ở đây tham số (Đ|Q,p, 1) được cho bởi

Q=T !uyạ=w-—p—1, (1.44)

và biến đổi Jacobian là

J(G +B) = |š|ữ+Ð, (1.45)

Mặc dù phân phối Wishart nghịch đảo được dẫn xuất tt — p — 1 vecto ngẫu nhiên

chuẩn (một số nguyên dương), khơng có hạn chế rằng v trong phân phối Wishart

<small>nghịch đảo là giá trị ngun.</small>

Tính chất: Kì vọng, mode, và phương sai của phân phối Wishart nghịch đảo là

điều này có thể tim được bằng phép lấy vi phân và tích phan. Kì vọng được xác định

<small>khi vy > 2p+2, trong khi đó phương sai và hiệp phương sai được xác định khi > 2p+4.</small>

Phương sai được xác định khi i #. Ở đây oi; và qi; kí hiệu là phần tử cấp ij của > và<small>Q tương ứng.</small>

</div><span class="text_page_counter">Trang 16</span><div class="page_container" data-page="16">

CHƯƠNG 1. CAC PHAN PHOI XÁC SUẤT NHIÊU CHIEU QUAN TRỌNG

1.2.4 Phân phối ma trận 7

T-phân phối ma trận Student được sử dụng để mô tả các biến ngẫu nhiên liên tục

với cái đuôi nặng hơn phân phối chuẩn. Nó có nguồn gốc bởi

cov(vec(T’)|v, Ty, >, ®) = —s(# 25), (1.60)

</div><span class="text_page_counter">Trang 17</span><div class="page_container" data-page="17">

CHƯƠNG 1. CAC PHAN PHOI XÁC SUẤT NHIÊU CHIEU QUAN TRỌNG

điều này có thể tim được bằng phép lấy vi phan va tích phan. Chú ý rằng trong các

tham số, các bậc tự do và ma trận ® được nhóm như là các ma trận đơn.

Vì T trong T-phan phối ma trận Student, phân phối điều kiện va phân phối biênduyên của dòng hoặc cột bất kì của T là t-phan phối Student nhiều chiều.

Kì vọng của T-phan phối ma trận Student tồn tại với > 1 và phương sai tồn tạivới vy > 2. Khi tham số = 1, 7-phân phối ma trận Student là phân phối ma trậnCauchy với kì vọng và phương sai hoặc moment cấp 1 và moment cấp 2 không tồn

tại. Khi số bậc tự do v tăng, một biến ngẫu nhiên ma trận là 7-phân phối ma trận

Student, 7 ~ 7, Tạọ, 3, ®) xấp xỉ bởi phân phối chuẩn ma trận T ~ N(7ạ, ® @ 3).

Biến ngẫu nhiên nhiều chiều tổng quát của phân phối nhị thức và phân phối Beta

cũng tồn tại. Vì chúng không được sử dụng trong tài liệu này, chúng được bỏ qua.

1.3 Vectơ ngẫu nhiên liên tục

Chúng ta thường có nhiều biến đo được trên một cá thể; vì vậy, chúng ta hiếm

khi quan tâm đến một biến ngẫu nhiên duy nhất. Chúng ta quan tâm vectơ quan satsp-chiéu #,...,#„ 6 đây #¿ = (#,...,#„)“ với i = 1,...,n. Các quan sát được xác

định từ một phân phối với các tham số 6,...,07 ở đây Ø có thé là vơ hướng, vectơ

Tiên nghiệm: Chúng ta có thể lượng hóa tiên nghiệm (trước khi thực hiện các thí

nghiệm và thu thập dữ liệu) theo hình thức phân phối tiên nghiệm có điều kiện phụ

thuộc các tham số

ở đây các tham số khơng cần độc lập.

Ham hợp lí: Với một mẫu độc lập kích thước n, phân phối có điều kiện phụ thuộc (hợp

lí) của các vectơ quan sát là tích của các phân phối cá thể (hợp Ii) và được cho bởi

Hậu nghiệm: Chúng ta áp dụng quy tắc Bayes để đạt được một phân phối hậu nghiệm

cho các tham số. Phân phối hậu nghiệm là

P(A, thở ,Ø7)Ðp(1, thở „ ®n |Úi, tà . 07)

p(Ó\,...,07|Z1,..., nu) = › (1.63)

</div><span class="text_page_counter">Trang 18</span><div class="page_container" data-page="18">

CHƯƠNG 1. CAC PHAN PHOI XÁC SUẤT NHIÊU CHIEU QUAN TRỌNG

ở đây mau số được cho bởi

Đ(#1,...y#n) = f nlới...8)p(ei,....si|fi...8,)đ8i + dB (1.64)

Ghi nhớ rằng chúng ta có thể bỏ mau số đi để được

ở đây "x" kí hiệu là tỉ lệ và hằng số k không phụ thuộc vào các biến Øị,...,Ø;, có thể

tìm được bằng cách lấy tích phân và điều này phát biểu rằng phân phối hậu nghiệm

là ti lệ với tích của phân phối tiên nghiệm và hợp lí.

1.4 Ma trận ngẫu nhiên liên tục

Cũng như chúng ta vừa xem xét biến ngẫu nhiên giá trị vô hướng và vectơ, chúng

ta cũng có thể xem xét biến ngẫu nhiên nhận giá trị là ma trận.

Tiên nghiệm: Chúng ta có thể lượng hóa những tiên nghiệm về các tham số với việc

sử dụng phân phối tiên nghiệm có điều kiện phụ thuộc

p(6:,.... 8), (1.66)

6 đây 6 có thể nhận giá trị là ma trận và các tham số không cần độc lập.

Ham hợp lí: Với một mau độc lập kích thước n, từ phân phối điều kiện phụ thuộc<small>P(X|61,...,07) của các quan sát ma trận là</small>

Hậu nghiệm: Chúng ta áp dụng quy tắc Bayes dé đạt được một phân phối hậu nghiệm

cho các tham số. Phân phối hậu nghiệm là

6\,...,Ø;)p(Xi,..., Xa|Øi,..., 8y)

</div><span class="text_page_counter">Trang 19</span><div class="page_container" data-page="19">

CHƯƠNG 1. CAC PHAN PHOI XÁC SUẤT NHIÊU CHIEU QUAN TRỌNG

6 đây 0 = (,..., 6).

Ghi nhớ rằng chúng ta có thể bỏ mẫu số đi để được

p(6, .. ng 67|X1, ..g Xn) x p(9, .. ng 6)p(Äh, sae Xn|A1, sey 67), (1.70)

điều này phát biểu rằng phân phối hậu nghiệm là tỉ lệ với tích của phân phối tiên

<small>nghiệm và hợp lí.</small>

Từ phân phối hậu nghiệm, ước lượng của các tham số là đạt được. Ước lượng củacác tham số sẽ được trình bày sau.

</div><span class="text_page_counter">Trang 20</span><div class="page_container" data-page="20">

Chương 2

Mở đầu về thống kê Bayes nhiều

2.1 Phân phối tiên nghiệm

2.1.1 Phân phối tiên nghiệm mơ hồ

2.1.1.1 Biến ngẫu nhiên

Phân phối tiên nghiệm mơ hồ là phân phối tiên nghiệm khơng có thơng tin có thể

dựa trên bất kì một tham số là bị chặn (có một miền giá trị hữu hạn) hoặc khơng bịchặn (có một miền giá trị vơ hạn).

Nếu một phân phối tiên nghiệm mơ hồ dựa trên một tham số 6 có một miền giá trịhữu hạn, trên khoảng (a;b), thì phân phối tiên nghiệm là phân phối đều trên khoảng

(a;b) ngụ ý rằng tất cả các giá trị trong miền này đều có cùng khả năng cho trước.Phân phối đều

(0) =4Đ—a | (2.1)

0, nếu Ø ¢ (a;b)và chúng ta viết

p(Ø) x (một hằng số). (2.2)Một phân phối tiên nghiệm mơ hồ hơi khác một chút khi chúng ta xét trên một thamsố không bị chặn.

</div><span class="text_page_counter">Trang 21</span><div class="page_container" data-page="21">

CHƯƠNG 2. MO DẦU VỀ THONG KE BAYES NHIEU CHIEU

Xét Ø = là kì vọng của phan phối chuẩn. Nếu chúng ta muốn đặt một phan phối

đều tiên nghiệm trên nó, thì chúng ta có

<small>la khong httu han.</small>

2.1.1.2 Vectơ ngẫu nhiên

Một phân phối tiên nghiệm mơ hồ cho một kì vọng giá trị vectơ chang hạn như chomột phân phối chuẩn nhiều chiều cũng giống như với phân phối chuẩn vô hướng

</div><span class="text_page_counter">Trang 22</span><div class="page_container" data-page="22">

CHƯƠNG 2. MO DẦU VỀ THONG KE BAYES NHIEU CHIEU

Tổng quát phân phối tiên nghiệm mơ hồ của một đơn biến trên một biến tới ma

<small>trận hiệp phương sai là</small>

p(9) x [BPE (2.9)

2.1.2 Phân phối tiên nghiệm liên hợp

Phân phối tiên nghiệm liên hợp là phân phối tiên nghiệm có thơng tin. Các phân

phối tiên nghiệm liên hợp theo một cách tự nhiên từ thống kê cổ điển. Nó được biết

rằng nếu chúng ta đặt dữ liệu có được thành 2 phần, sau đó phân tích cho lấy từ phầnthứ nhất như là một tiên nghiệm cho phần thứ hai là một phân tích trong đó có cả haiphần.

2.1.2.1 Biến ngẫu nhiên

Phân phối chuẩn

Các quan sát có thể được được xác định dựa trên một phân phối chuẩn vô hướng,

z|u,øơ2 ~ N(,07) với o? có thể biết hoặc khơng biết. hàm hợp lí là

p(e|u.ø) œ (ø)*%e~ “54”, (2.10)

điều này thường được gọi là nhân của phân phối chuẩn.

Nếu chúng ta trao đổi vai trị của x và p, thì chúng ta đạt được

ở đây chúng ta làm tốt hơn phân phối tiên nghiệm với việc sử dụng vì vậy nó khơng

phụ thuộc vào dữ liệu. Định lượng po là một siêu tham số được xác định. Bằng cách

định lượng các vô hướng pio và ø?, phân phối chuẩn tiên nghiệm là hoàn toàn được xác

</div><span class="text_page_counter">Trang 23</span><div class="page_container" data-page="23">

CHƯƠNG 2. MO DẦU VỀ THONG KE BAYES NHIEU CHIEU

Phan phéi Gamma nghich dao

Nếu chúng ta tráo đổi vai trò của x và ø? trong ham hợp lí, thi

ở đây chúng ta có thể làm tốt hơn phân phối tiên nghiệm với việc sử dụng g vì vậy nó

khơng phụ thuộc vào dữ liệu. Định lượng ø là một siêu tham số được xác định. Bằng

cách định lượng các vô hướng g và 1, phân phối Gamma nghịch đảo tiên nghiệm là

Sử dụng quá trình liên hợp để đạt được phân phối tiên nghiệm, chúng ta có bảng

Bảng 2.1: Phân phối tiên nghiệm 1 chiều

Hàm hợp lí Các tham số | Phân bố tiên nghiệm

Phân phối chuẩn vô hướng, ø? đã biết u Chuẩn

Phân phối chuẩn vô hướng, p đã biết ơ? Gamma nghịch đảo

Phân phối chuẩn vô hướng (u,ø?) Chuẩn-Gamma nghịch đảo

2.1.2.2 Vectơ ngẫu nhiên

Phân phối chuẩn

Các quan sát có thể được xác định dựa trên một véctơ ngẫu nhiên có phân phối chuẩn

nhiều chiều, z|u, ~ N(wu,) với © có thể biết hoặc khơng biết. Ham hợp lí là

p(z|u, 9) cx |S|T2e~3Œ=#'5”'=n), (2.15)

Nếu chúng ta tráo đổi vai trị của x và py, thì

p() % |ĐỊT?e~308=#® 1072), (2.16)

</div><span class="text_page_counter">Trang 24</span><div class="page_container" data-page="24">

CHƯƠNG 2. MO DẦU VỀ THONG KE BAYES NHIEU CHIEU

do đó gợi ý rang chúng ta nên chọn phân phối tiên nghiệm cho p tit ho phân phối

Sau đó chúng ta lựa chọn như phân phối tiên nghiệm cho p là

p(u|9) o¢ [BỊ >e~>(~mg)!'5 10m), (2.17)

ở đây chúng ta làm giàu hơn phân phối tiên nghiệm với việc sử dung / vì vậy nókhơng phụ thuộc vào dữ liệu. Dai lượng vectơ po là một siêu tham số cần xác định.

Bằng cách định rõ vectd jp và ma trận », phân phối chuẩn tiên nghiệm vectơ hoặc

nhiều chiều là hoàn toàn được xác định.

Phân phối Wishart nghịch đảo

Nếu chúng ta tráo đổi vai trò của z va Ð trong hàm hợp lí chuẩn vectơ hoặc nhiều

chiều và sử dụng tính chất của tốn tử vết, thì

p(S) ox |S|T?e7?375 ew)! ew) (2.18)

do đó ngụ ý rằng chúng ta nên chon phân phối tiên nghiệm cho ¥ từ ho phân phối

<small>Wishart nghịch đảo.</small>

Sau đó chúng ta lựa chọn như phân phối tiên nghiệm cho © là

p(Đ) x |S| 5e ?"® "9, (2.19)

ở đây chúng ta làm tốt hơn phân phối tiên nghiệm với việc sử dụng Q và v vì vậy nó

khơng phụ thuộc vào dit liệu. Định lượng của v và Q là các siêu tham số được xácđịnh. Bằng cách định lượng ma trận Q và vô hướng v, phân phối Wishart nghịch đảo

<small>nghiệm là hoàn toàn được xác định.</small>

Sử dụng quá trình liên hợp để đạt được phân phối tiên nghiệm, chúng ta có bảng2.2. ở đây "TW" được sử dụng để kí hiệu phân phối Wishart nghịch đảo.

<small>Bảng 2.2: Véctơ tiên nghiệm liên hợp</small>

Hàm hợp lí Các tham số | Họ tiên nghiệm

Phân phối chuẩn nhiều chiều, biết © u Chuẩn nhiều chiều

Phân phối chuẩn nhiều chiều, biết » Whishart nghịch đảoPhân phối chuẩn nhiều chiều (u,>) Chuan-IW

</div><span class="text_page_counter">Trang 25</span><div class="page_container" data-page="25">

CHƯƠNG 2. MO DẦU VỀ THONG KE BAYES NHIEU CHIEU

Phân phối chuẩn của ma trận X

Các quan sát có thể được xác định dựa trên một phân phối chuẩn ma trận,XỊM,®,5~ N(M,® @ Ð) với ® và Ð có thể biết hoặc khơng biết. Phân phối chuẩn

p(X|M,5,®) cx |®| ?|S| ®e-z7#!(X—M)S"!(X—M), (2.20)Nếu chúng ta tráo đổi vai trị của X và M, thì

p(M) x || |S|T2e~?n9 1(M—X)S MXN (2.21)

do đó ngụ ý rằng chúng ta nên chọn phân phối tiên nghiệm cho M từ họ phân phối

chuẩn ma trận.

Sau đó chúng ta lựa chọn như phân phối tiên nghiệm cho M là

p(M|S, ®) oc |ð| Z|B| Few zh CM MoE (M Mo)’ (2.22)

ở day chúng ta làm tốt hơn phân phối tiên nghiệm với việc sử dụng Mo vi vậy nó khơng

phụ thuộc vào dữ liệu. Dinh lượng Mo là một siêu tham số được xác định. Bang cách

định lượng ma trận Mp và ma trận ® và ©, phân phối chuẩn ma trận tiên nghiệm là

Phân phối Wishart nghịch đảo

Nếu chúng ta tráo đổi vai trò của X và Ð trong hàm hợp lí chuẩn ma trận và sử dụng

ở day chúng ta làm tốt hơn phân phối tiên nghiệm với việc sử dụng Q và vì vậy nó

khơng phụ thuộc vào dit liệu. Dinh lượng của v và Q là các siêu tham số được xác

</div><span class="text_page_counter">Trang 26</span><div class="page_container" data-page="26">

CHƯƠNG 2. MO DẦU VỀ THONG KE BAYES NHIEU CHIEU

định. Bằng cách định lượng ma trận Q và vô hướng v, phân phối Wishart nghịch đảo

<small>nghiệm là hoàn toàn được xác định.</small>

Tương tự như phân phối chuẩn ma trận hợp lí, hốn đổi vai trị cho ®

<small>nghiệm là hồn tồn được xác định.</small>

Sử dụng quá trình liên hợp để đạt được phân phối tiên nghiệm, chúng ta có bảng2.3. ở đây "TW" được sử dụng để kí hiệu phân phối Wishart nghịch đảo.

<small>Bảng 2.3: Ma trận tiên nghiệm liên hợp</small>

Hàm hợp lí Các tham số | Họ tiên nghiệm

Phân phối chuẩn ma trận, biết (®, Ð) M Chuẩn ma trận

Phân phối chuẩn ma trận, biết (M, ®) » Whishart nghịch đảoPhân phối chuẩn ma trận, biết (M, Đ) ® Whishart nghich daoPhan phối chuẩn ma tran (M,®,3) | Chuan-IW

2.1.3 Phân phối tiên nghiệm tổng quát

Đôi khi, phân phối tiên nghiệm liên hợp không đủ để định lượng những tiên nghiệm

trước khi chúng ta có giá trị các tham số. Trong trường hợp này, phân phối tiên nghiệm

liên hợp tổng quát có thể được sử dụng. Phân phối tiên nghiệm liên hợp tổng qtđược tìm ra bằng cách viết dưới hàm hợp lí, bằng cách tráo đổi vai trò của biến ngẫu

nhiên và tham số, chúng làm tốt hơn phân phối vì vậy nó khơng phụ thuộc vào dữ liệu,và giả sử rằng phân phối tiên nghiệm trên mỗi tham số là độc lập.

</div><span class="text_page_counter">Trang 27</span><div class="page_container" data-page="27">

CHƯƠNG 2. MO DẦU VỀ THONG KE BAYES NHIEU CHIEU

2.1.4 Vectơ ngẫu nhiên

2.1.4.1 Phân phối chuẩn

Các quan sát có thể được xác định dựa trên một phân phối chuẩn nhiều chiều hoặcvectơ, #|u,3~ N(p,X) với Ð có thể biết hoặc khơng biết. Hàm hợp lí là

và ma trận A, phân phối chuẩn tiên nghiệm nhiều chiều là hoàn toàn được xác định.2.1.4.2 Phan phối Wishart nghịch đảo

Nếu chúng ta tráo đổi vai trò của z va Ð trong hàm hợp lí chuẩn vectơ hoặc nhiều

chiều và sử dụng tính chất của tốn tử vết, thì

ở day chúng ta làm tốt hơn phân phối tiên nghiệm với việc sử dụng Q và vì vậy nó

khơng phụ thuộc vào dữ liệu. Dinh lượng của v và Q là các siêu tham số được xác

</div><span class="text_page_counter">Trang 28</span><div class="page_container" data-page="28">

CHƯƠNG 2. MO DẦU VỀ THONG KE BAYES NHIEU CHIEU

định. Bằng cách định lượng ma trận Q và vô hướng v, phân phối Wishart nghịch đảo

nghiệm là hoàn toàn được xác định. Phương pháp liên hợp tổng quát cho phân phối

<small>tiên nghiệm cho 3 tương tự như phương phap liên hợp.</small>

Sử dụng phương pháp liên hợp tổng quát để đạt được phân phối tiên nghiệm, chúngta có bảng 2.4, ở day "IW" được sử dụng để kí hiệu phân phối Wishart nghịch đảo và

GMN là phân phối ma trận chuẩn tổng quát.

Bảng 2.4: Phân phối tiên nghiệm liên hợp vectơ tổng quát

Hàm hợp lí Các tham số | Họ tiên nghiệm

Phân phối chuẩn nhiều chiều, biết » Whishart nghịch daoPhan phối chuẩn nhiều chiều (ut, 5) GMN-IW

2.1.4.3. Ma trận ngẫu nhiên

Phân phối chuẩn

Các quan sát có thể được xác định dựa trên một phân phối chuẩn ma trận, X|M, 0,0 ~

ở day chúng ta làm tốt hơn phân phối tiên nghiệm với việc sử dung Mo vì vay nó khơng

phụ thuộc vào dữ liệu X và tạo tính độc lập của các tham số khỏc đ v â thụng qua =

v x. Dinh lng Mo, = và x là các siêu tham số được xác định. Bằng cách định lượng

</div><span class="text_page_counter">Trang 29</span><div class="page_container" data-page="29">

CHƯƠNG 2. MO DẦU VỀ THONG KE BAYES NHIEU CHIEU

ma tran Mp và ma tran 5 và y, phân phối chuẩn ma trận tiên nghiệm là hoàn toàn

Phân phối Wishart nghịch đảo

Nếu chúng ta tráo đổi vai trò của X và Ð trong hàm hợp lí chuẩn ma trận và sử dung

<small>nghiệm là hoàn toàn được xác định.</small>

Tương tự như phân phối chuẩn ma trận hợp lí, hốn đổi vai trị cho ®

p(®|X, M,E) oc |®| Z|B|T?e-?zr®7!(X=M)S!(X-M, (2.37)

do đó ngụ ý rằng chúng ta nên chọn phân phối tiên nghim cho Ơ t h phõn phi

<small>Wishart nghch dao</small>

p(đ|n, W) 0 |ð|TŠe t9 19, (2.38)

ở day chúng ta làm tốt hơn phân phối tiên nghiệm với việc sử dung Ứ và « vì vay nó

khơng phụ thuộc vào dit liệu. Định lượng của « và là các siêu tham số được xácđịnh. Bằng cách định lượng ma trận và vô hướng s, phân phối Wishart nghịch đảo

<small>nghiệm là hoàn toàn được xác định.</small>

Sử dụng quá trình liên hợp để đạt được phân phối tiên nghiệm, chúng ta có bảng2.5. ở đây "IW" được sử dụng để kí hiệu phân phối Wishart nghịch đảo.

Bảng 2.5: Ma trận tiên nghiệm liên hợp tổng quất

</div><span class="text_page_counter">Trang 30</span><div class="page_container" data-page="30">

CHƯƠNG 2. MO DẦU VỀ THONG KE BAYES NHIEU CHIEU

Ham hop li Các tham số | Ho tiên nghiệm

Phân phối chuẩn ma trận, biết (®, Đ) M GMN

Phân phối chuẩn ma trận, biết (M, ®) » Whishart nghịch đảoPhân phối chuẩn ma trận, biết (AM, é) â Whishart nghich daoPhan phi chun ma trn (M,đ,5) | GMN-IW-IW

2.1.5 Phân phối tiên nghiệm tương quan

Trong mục này, phân phối tiên nghiệm liên hợp là được sinh ra từ hệ số tương quan

giữa các vectơ quan sát. Trong phạm vi nhân tố giải tích Bayes, một phân phối Beta

tổng quát được sử dụng cho hệ số tương quan ø trong ma trận giữa vectơ tương quan

lp p p| p p

= trở >| = (1—p)l, + pené,, (2.39)

Khi phân phối tiên nghiệm Beta tổng quát và hàm hợp lí là được kết hợp, kết quả

cho ra là một phân phối hậu nghiệm không quen thuộc. Một phân phối tiên nghiệm

liên hợp có thể được bắt nguồn và từ chối mẫu tránh được.Cho X là phân phối chuẩn ma trận cho dưới đây

pX|M,S,®) = (2z) ”|®| ®|B|T?e-zm® MEY (2.41)

</div><span class="text_page_counter">Trang 31</span><div class="page_container" data-page="31">

CHƯƠNG 2. MO DẦU VỀ THONG KE BAYES NHIEU CHIEU

6 đây « = (X') = (1,...,%,}, X” = (0i,...,#n), w = vec(M’) = (,..., uy,<sub>n</sub>

<small>M' = (tì,..., fn), và ® hoặc là một tương quan trong lớp các ma trận hoặc là thứ tự</small>

đầu tiên ma trận tương quan Markov; phân phối tiên nghiệm liên hợp cho ø trong ®

<small>2.1.5.1 Trong lớp</small>

Nêu chúng ta xác định một cấu trúc trong lớp trong phương trình 2.39 có tương

quan giữa hai quan sát bất kì là như nhau, thì chúng ta có thể sử dụng kết quả đưa

định thức của ® về dạng

IPI=(=ø)”*[ + p(n = 1) 2.42)

<small>và ma trận nghịch đảo của ® là</small>

ở day a, 8, va W với ky = tr(W), ky = fr(eae,) là các siêu tham số được xác định.

Với các lựa chọn thích hợp của a và đ, chang hạn a = ø — 1 và Ø = p, phân phối tiên

<small>nghiệm này là liên hợp cho ø.</small>

</div><span class="text_page_counter">Trang 32</span><div class="page_container" data-page="32">

CHƯƠNG 2. MO DẦU VỀ THONG KE BAYES NHIEU CHIEU

<small>2.1.5.2 Markov</small>

Nêu chúng ta xác định cấu trúc thứ tự đầu tiên Markov trong phương trình 2.40

<small>có tương quan giữa các quan sát giảm với sức mạnh của sự khác biệt giữa các quan</small>

sát, sau đó chúng ta sử dụng kết quả là định thức của ® là

<small>và ma trận nghịch đảo như một ma trận khn mẫu có dạng</small>

</div><span class="text_page_counter">Trang 33</span><div class="page_container" data-page="33">

CHƯƠNG 2. MO DẦU VỀ THONG KE BAYES NHIEU CHIEU

Bay giờ chúng ta thực hiện phương pháp liên hợp day đủ theo thứ tự để đạt được phânphối tiên nghiệm cho hệ số tương quan ø giữa các vectơ. Nếu chúng ta tráo đổi vai trị

<small>giữa X và ø, thì chúng ta đạt được</small>

P(p) <(l—p) Fe ?a~ (2.54)

ở day a, Ø, và VU với ky, kạ, ky là các siêu tham số được xác định. Với các lựa chọn thích

hợp của a và đ, chang han a = n—1 và Ø = p, phân phối tiên nghiệm này là liên hợp

2.2 Đánh giá siêu tham số

2.2.1 Hàm hợp lí phân phối chuẩn nhiều chiều

Trước khi biểu diễn một phép thử mà đạt được các biến ngẫu nhiên phân phốichuẩn nhiều chiều, bằng sự hiểu biết chúng ta nhìn thấy rằng một thí nghiệm tương tự

đã được thực hiện và dữ liệu tồn tại trong dạng của np quan sát #1, #2,... ;#nạ. Hàmhợp lí của np biến ngẫu nhiên này là

Bằng việc sắp xếp và biểu diễn lại một vài đại số trên phân bố trên, nó có thé thấy

rằng và Ð là các phân phối chuẩn nhiều chiều và phân phối Gamma nghịch đảo.

2.2.1.1 Phân phối chuẩn nhiều chiều

Tham số ngẫu nhiên từ một mẫu của biến ngẫu nhiên phân phối chuẩn nhiều

chiều có một phân phối chuẩn nhiều chiều

</div><span class="text_page_counter">Trang 34</span><div class="page_container" data-page="34">

CHƯƠNG 2. MO DẦU VỀ THONG KE BAYES NHIEU CHIEU

và nó được thay siêu tham số ạ của phan phối tiên nghiệm cho ki vọng là jug = Z.2.2.1.2 Phân phối Wishart nghịch đảo

chiều có một phân phối Wishart nghịch đảo

và nó được thấy rằng các siêu tham số 1 và Q của phân phối tiên nghiệm cho ma trận

hiệp phương sai Ð, là = mạ và Q = S (a; £)(aj, — 2).

Các siêu tham số vô hướng, vectd, ma trận øạ, và Q cũng có thể được đánh giá

bằng phương pháp chủ quan. Một nhà chuyên môn về lĩnh vực có thể đánh giá chúng

Nếu chúng ta ta tưởng tượng một mẫu ảo kích thước no, #,...,#„¿, thì một nhà

chun mơn có thể xác định một giá trị của kì vọng tốn của mẫu dit liệu là po = Z

nó sẽ đại diện giá trị có khả năng xảy ra nhiều nhất là giá trị trung bình (cũng là một

giá trị kì vọng tốn và mode của phân phối chuẩn nhiều chiều). Một nhà chuyên gia

cũng có thể xác định giá trị có khả năng xảy ra nhiều nhất cho ma trận hiệp phương

sai của mẫu ảo này là Np và của các siêu tham số 1 và Q là = mạ và Q = noX.

2.2.2 Hàm hợp lí phân phối chuẩn ma trận

Trước khi biểu diễn một phép thử mà đạt được các biến ngẫu nhiên phân phốichuẩn ma trận, bằng sự hiểu biết chúng ta nhìn thấy rằng một thí nghiệm tương tự đã

được thực hiện và dữ liệu tồn tại trong dạng của np ma trận quan sát Ä1, ÄX»,..., Xnocó số chiều + x ø¡. Hàm hợp lí của np biến ngẫu nhiờn ny l

_nopy srđ1 2 (Xi MY'E1(XiM)

P(X1,...,Xno|M,ƠE, đ) oc [Z| |O|- “Fe = (2.60)

Với số giá trị của các quan sát X:,..., X„„¿ được biết, bay giờ chúng ta xem xét cáctham số Ä⁄,3 và ® của phân phối này như là các biến ngẫu nhiên với các tham sốđược biết bao gồm mạ và X+,..., Xno-

</div><span class="text_page_counter">Trang 35</span><div class="page_container" data-page="35">

CHƯƠNG 2. MO DẦU VỀ THONG KE BAYES NHIEU CHIEU

Bằng việc sắp xếp va biểu diễn lại một vài dai số trên phan bồ trên, nó có thể thấy

rằng M,» và ® là các phân phối chuẩn ma trận và phân phối Wishart nghịch đảo.

2.2.2.1 Phân phối chuẩn ma trận

Tham số ngẫu nhiên M từ một mẫu của biến ngẫu nhiên phân phối chuẩn ma trận

có một phân phối chuẩn ma trận

và nó được thấy siêu tham số Mp của phan phối tiên nghiệm cho kì vọng là Mẹ = X.

2.2.2.2 Phân phối Wishart nghịch đảo

Tham số ngẫu nhiên Ð từ một mẫu của biến ngẫu nhiên phân phối chuẩn ma trận

có một phân phối Wishart nghịch đảo

Tương tự, ham số ngẫu nhiên ® từ một mẫu của biến ngẫu nhiên phân phối chuẩn

ma trận có một phân phối Wishart nghịch đảo

</div><span class="text_page_counter">Trang 36</span><div class="page_container" data-page="36">

CHƯƠNG 2. MO DẦU VỀ THONG KE BAYES NHIEU CHIEU

va nó được thay rằng các siêu tham số « va W của phân phối tiên nghiệm cho ma trận

hiệp phương sai ®, là & = nop, va V = SX; — X)ỳ»-!(X,- X).

Chú ý rằng phương trình cho Q và ữ là coupled. Điều này nghĩa là khơng có nghiệm

dạng giải tích để đánh giá ® và ”. Các giá trị của chúng phải được tính tốn một cách

<small>lặp đi lặp lại tương tự như thuật toán ICM sẽ được nghiên cứu trong chương 6.</small>

Các siêu tham số vô hướng, vectơ, ma trận Mo,v,Q,K, cũng có thé được đánh

giá bằng phương pháp chủ quan. Một nhà chun mơn về lĩnh vực có thể đánh giá

<small>chúng theo cách sau.</small>

Nếu chúng ta ta tưởng tượng một mẫu ảo kích thước no, Xọ,..., X„„, thì một nhà

chun mơn có thể xác định một giá trị của kì vọng tốn của mẫu dữ liệu là Mạ = X

nó sẽ đại diện giá trị có khả năng xảy ra nhiều nhất là giá trị trung bình (cũng là một

giá trị kì vọng tốn và mode của phân phối chuẩn nhiều chiều). Một nhà chuyên giacũng có thể xác định giá trị có khả năng xảy ra nhiều nhất cho ma trận hiệp phương

sai của mẫu ảo này là Np và của các siêu tham số và Q là v = non, và Q = noX.

Một nhà chuyên gia cũng có thể xác định giá trị có khả năng xảy ra nhiều nhất cho ma

trận hiệp phương sai của mẫu ảo này là ®ạ và của các siêu tham số œ và W là œ = ng

và VU = No®o.

2.3 Phương pháp ước lượng Bayes

Trong phần này chúng ta sẽ định nghĩa hai phương pháp ước lượng tham số được

sử dụng trong tài liệu này, cụ thể, ước lượng trung bình biên duyên hậu nghiệm và

ước lượng cực đại đồng thời hậu nghiệm. Thơng thường ước lượng được tìm thấy bằng

phép lấy vi phân và tích phân để đi đến các phương trình cụ thể cho việc tính tốnchúng. Thường có những trường hợp ở đó dạng đóng cụ thể của phương trình là khơngthể. Trong những trường hợp này, phép lấy tích phân bằng số và các phương pháp ướclượng cực đại được yêu cầu. Điển hiện cụ thể của phương pháp lấy vi phân và tích

phân là được thảo luận như là phương pháp đánh giá bằng số được sử dụng. Những

phương pháp đánh giá bằng số là việc lấy mẫu Gibbs để lấy mẫu dựa trên mơ hình

thuật tốn trung bình biên dun hậu nghiệm và mơ hình thuật toán điều kiện lặp(ICM) cho ước lượng cực đại đồng thời hậu nghiệm (mơ hình hậu nghiệm đồng thời).

</div><span class="text_page_counter">Trang 37</span><div class="page_container" data-page="37">

CHƯƠNG 2. MO DẦU VỀ THONG KE BAYES NHIEU CHIEU

2.3.1 Trung bình biên dun hậu nghiệm

Thơng thường chúng ta có một tập các tham số, Ø = (0,,...,4 7) trong phân phối

hậu nghiệm của chúng ta p(6|X), ở đây X biểu diễn cho dữ liệu, đó có thé là tập hợp

các quan sát vô hướng, vectơ hoặc ma trận. Phân phối biên duyên hậu nghiệm của bất

kì các tham số Ø; có thể đạt được bằng cách lấy tích phân p(6|X) đối với tất cả các

tham số trừ Ø;. Có nghĩa là, phân phối biên duyên hậu nghiệm của 0; là

p(0,|X) = [oe ..g 6;|X)d0 see d0;1d0544 wee d6; (2.67)

ở dây tích phân được lay trên miền thích hợp của tập các tham số. Sau khi tính toánphân phối biên duyên hậu nghiệm cho mỗi tham số, ước lượng biên duyên hậu nghiệm

với biến ma trận thường được thực hiện đầu tiên bởi thao tác đại số của tích phân và

cuối cùng là nhận dạng.

Để thúc day việc lấy tích phân đối với các biến ma trận, xem xét bài tốn tước lượngvectơ kì vọng tốn p chiều và ma trận hiệp phương sai © từ một phân phối chuẩn

sai là được lượng hóa trong dạng của phân phối tiên nghiệm kết hợp (liên hợp) và một

<small>mẫu ngẫu nhiên z¡,...,#„ là được thực hiện với ham hợp lí</small>

</div><span class="text_page_counter">Trang 38</span><div class="page_container" data-page="38">

CHƯƠNG 2. MO DẦU VỀ THONG KE BAYES NHIEU CHIEU

và phân phối biên dun hậu nghiệm

pulX) = f píu,®)p(Xu,5)4E, (2.71)(1X) = f øíu.S)p(Xiu.S)4, (2.72)

ở đây mẫu ngẫu nhiên được kí hiệu bởi X” = (2,..., 2»). Tích phan đầu tiên lấy trêntập hợp tất cả các ma trận đối xứng xác định dương p-chiéu và tích phân thứ hai lấytrên khơng gian thực p-chiéu.

Nói chung, nếu chúng ta trình bày với một phân phối hậu nghiệm kết hợp p(6|X)ở đó có một hàm theo Ø = (6;, 62), phân phối biên duyên hậu nghiệm của 4, được tìmthấy bằng cách lấy tích phân đối với 9; như sau

và tích phân này được thực bởi lay các số hạng không phụ thuộc vào 62 ngồi ham lay

tích phân và được cơng nhận rằng hàm lấy tích phân là duy nhất. Về mặt tốn học

<small>phương pháp này được mơ tả như sau</small>

ø(0IX) = | qe) e(04|X)h (0101, X)d0, (2.76)

</div>