Đồ Án Tốt Nghiệp Ứng Dụng Học Sâu Phát Hiện Và Phân Đoạn Bệnh Qua Nội Soi Đại Tràng.pdf

Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (9.97 MB, 43 trang )

Trang 1<div class="page_container" data-page="1">

ĐỒ ÁN TỐT NGHIỆP

Ứng dụng học sâu phát hiện và phân đoạn

CAO VĂN LONG

Ngành Cơ điện tử

Chuyên ngành Cơ điện tử thông minh

Giảng viên hướng dẫn: PGS. TS. Hoàng H ng H i ồ ả

Bộ môn: Cơ điện tử

Viện: Cơ Khí

HÀ N I, 8/2022Ộ

Ch ký c a GVHDữủ

</div>Trang 2<div class="page_container" data-page="2">

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ

“Ứng dụng học sâu để phát hiện và phân lo i bệnh qua nội soi đại tràng ạ ”

II/ CÁC S LIỐ ỆU BAN ĐẦU

- Năng suất: Th i gian phát hiờ ện và phân đoạn nhanh nhỏ hơn 1s- Tăng cường d liữ ệu đầu vào: Tăng số lượng nh s d ng m ng GAN ả ử ụ ạ- Tính tích h p: Có th s d ng v i nhi u b d liợ ể ử ụ ớ ề ộ ữ ệu khác tương tự- Yêu cầu đầu ra: Phân lo i và phát hi n vạ ệ ới độ chính xác cao hơn 80%.

III/ N I DUNG THUY T MINH VÀ TÍNH TỐN Ộ Ế

Chương 1: Tồng quan ứng dụng học sâu để phát hiện và phân đoạn bệnh qua hình ảnh nội soi

Chương 2: Tăng cường dữ liệu đào tạo sử dụng mạng StyleGAN2-ADA Chương 3: Phân đoạn hình ảnh sử dụng mạng ColonSegnet

Chương 4: Phát hiện đối tượng sử dụng mạng YoloV5 Chương 5: Kết quả thực nghiệm và k t lu n ế ậ

Họ và tên sinh viên: CAO VĂN LONG MSSV: 20170814

</div>Trang 3<div class="page_container" data-page="3">

IV/ CÁN BỘ HƯỚNG D N Ẫ- PGS.TS. Hoàng H ng H i ồ ả

V/ NGÀY GIAO NHI M V THI T KỆ Ụ Ế Ế… / ... / 2022

VI/ NGÀY HOÀN THÀNH NHI M V THI T K Ệ Ụ Ế Ế

</div>Trang 4<div class="page_container" data-page="4">

Đánh giá của giảng viên phản biện

Kết quả đánh giá Hà N i, ngày tháng ộ năm 2022

Giảng viên ph n bi n Họ và tên Điểm ả ệ CAO VĂN LONG

</div>Trang 5<div class="page_container" data-page="5">

LỜI CẢM ƠN

Năm nay học t p và g n bó v i Bách Khoa là kho ng thậ ắ ớ ả ời gian đẹp nhất c a thanh ủxuân, c a tu i trủ ổ ẻ. Ngôi nhà Bách Khoa đã mang đến cho em r t nhiấ ều điều, có nh ng k ữ ỷniệm vui bu n, có r t nhi u ni m tin, hy vồ ấ ề ề ọng và ước mơ ở nơi đây. Cũng luyến ti c r t ế ấnhiều tuy nhiên th i gian rờ ất khó để tr l i, chúng ta v n ph i ti p t c ti n v ở ạ ẫ ả ế ụ ế ề phía trước để trưởng thành và gặp hái những thành công hơn.

Em xin g i l i cử ờ ảm ơn chân thành nhất đến v i các th y bớ ầ ộ trong trường và hơn hết là các th y cô trong Viầ ện Cơ Khí, Bộ mơn Cơ điệ ử đã cùng đồn t ng hành, chỉ b o, dìu ảdắt các em qua t ng môn hừ ọc và cho các em có nhiều ki n thế ức mới. Đặc biệt em xin c m ảơn thầy PGS.TS Hoàng Hồng Hải đã trực tiếp hướng dẫn và chỉ bận em để hồn thành đồán này. Chúc các th y, các cơ luôn m nh khầ ạ ỏe để ế ụ ti p t c ch b o các th h sau c a Bách ỉ ả ế ệ ủ

Khoa.

TÓM T T NẮ ỘI DUNG ĐỒ ÁN

Với đề “Ứng d ng hụ ọc sâu để phát hiện và phân đoạn bệnh” em đã nhìn thấy các vấn đề cần thực hiện như tăng cường dữ liệu đào tạo: làm sao để tăng hình ảnh đầu vào, do đặc thù về việc khó thu thập và tìm các nguồn về hình ảnh y sinh và về sử dụng mạng nào trong học sâu để cho kh ả năng phát hiện và phân đoạn nhanh chóng v i k t qu chính ớ ế ảxác. Vì thế, để ự th c hi n nhi m vệ ệ ụ trên, em đã tìm hiểu và nghiên c u các bài báo khoa ứhọc v vi c nghiên cề ệ ứu để tăng dữ liệu hình nh y sinh và m ng phát hiả ạ ện và phân đoạn đã tìm được m ng Style2-ạ GAN được phát triển năm 2020 cho nhiệm v ụ tăng dữ li u và mệ ạng ColonSegnet năm 2021 cho bài toán phân đoạn và mạng YOLOv5 cho bài toán phát hiện thơng qua hình nh nả ội soi, sau đó em đã tính tốn lập trình s dử ụng thư viện Pytorch và OpenCV và hu n luyấ ện trên Google Colab Pro để th c hi n yêu cự ệ ầu đề ra. Đây là đề tài có thể ứng dụng để giúp các bác sĩ phát hiện và phân vùng bệnh nhanh và chính xác hơn ngay trong quá trình n i soi. K t qu ộ ế ả đạt trên mơ hình kh ả quan nhưng chưa đáp ứng t t nh t v ố ấ ềkết quả đầu ra do ph n c ng cho hu n luy n còn h n chầ ứ ấ ệ ạ ế. Định hướng phát tri n là xây ểdựng lên thành m t ph n m m vi c thao tác, s d ng d ộ ầ ề ệ ử ụ ễ dàng hơn cũng như tích hợp thêm các bài báo khoa học mớ ề hướng tương tự. Qua đồ án này em hi v ọc được nhi u ki n th c ề ế ứmới để có th áp d ng các ki n thể ụ ế ức đã học để áp d ng vào thụ ực tế

Sinh viên thực hiện

Ký và ghi rõ h tên ọ

Cao Văn Long

</div>Trang 6<div class="page_container" data-page="6">

Ý nghĩa của đề tài ... 2

1.2Tình hình nghiên cứu trong nước... 3

1.3Nội dung th c hi n ... 5ự ệCHƯƠNG 2. TĂNG CƯỜNG D LIỮ ỆU ĐÀO TẠO V I M NG STYLEGAN2-ADAỚ Ạ ... 6

2.1Tổng quan v ề tăng cường d liữ ệu đào tạo ... 6

2.2Cơ sở lý thuyết mạng StyleGAN2-ADA ... 7

3.1Tổng quan v ề phân đoạ ản nh ... 17

3.2 Mạng ColonSegnet cho bài toán phân đoạn ... 19

Kiến trúc m ng ColonSegnet ... 19ạTiêu chi đánh giá kết qu mạng... 23ảQúa trình huấn luy n ... 24ệCHƯƠNG 4. PHÁT HIỆN ĐỐI TƯỢNG VỚI MẠNG YOLOV5 ... 26

4.1Tổng quan v phát hiề ện đối tượng ... 26

4.2 Mạng Yolov5 cho bài toán phát hi n ... 26ệTổng quan v m ng Yolo ... 26ề ạKiến trúc m ng YOLOv5 ... 27ạTiêu chí đánh giá kết quả ... 28Qúa trình huấn luy n ... 29ệ

</div>Trang 7<div class="page_container" data-page="7">

CHƯƠNG 5. THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ CHUNG... 32

5.1Kết qu cả ủa quá trình tăng cường d li u: ... 32ữ ệ5.2Kết qu cả ủa quá trình phân đoạn b nh ... 34ệKết qu ... 34ảĐánh giá kết quả ... 365.3Kết qu cả ủa quá trình phát hiện b nh ... 37ệMột s k t qu trên t p test ... 37ố ế ả ệĐánh giá kết quả ... 375.4Kết qu chung ... 38ả5.5Kết lu n ... 40ậ5.6Hướng phát tri n ... 40ể

TÀI LI U THAM KH O ... 41Ệ Ả

PHỤ L C... 43Ụ

</div>Trang 8<div class="page_container" data-page="8">

DANH MỤC HÌNH V Ẽ

Hình 1.1 Hình ảnh b nh Polyp trong quá trình nệ ội soi đại tràng ... 2Hình 1.2 Hình ảnh đầu ra mong muốn quá trình phân đoạn và phát hiện bệnh ... 2Hình 1.3 Ví dụ v chuề ấn đốn hình ảnh trong y h c ... 3ọHình 1.4 Ví dụ v chuề ẩn đốn bệnh c a VINDR qua hình nh ... 4ủ ảHình 1.5 Hình ảnh k t qu phát hiế ả ện và phân đoạn b nh tham kh o ... 5ệ ảHình 2.1 Mơ tả hoạt động c a m ng GAN basic ... 6ủ ạHình 2.2 So sánh hình ảnh t o ra b i VAE và GAN ... 7ạ ởHình 2.3 Hình ảnh so sánh gi a m ng GAN truy n th ng và m ng StyleGAN base ... 8ữ ạ ề ố ạHình 2.4 Đầu vào khơng đổi trong mạng StyleGAN ... 9Hình 2.5 Đầu vào nhiễu trong m ng StyleGAN ... 10ạHình 2.6 Trộn phong cách trong m ng StyleGAN ... 10ạHình 2.7 Ví dụ hình nh t o ra b i GAN... 11ả ạ ởHình 2.8 Cơng thức Chu n hóa(Nẩ ormalization) và Điều ch (Modualation) ... 11ếHình 2.9 Chi tiết v AdaIN ... 11ềHình 2.10 Quá trình di chuyển b và B ra ngồi StyleBlock ... 12Hình 2.11 Bỏ giá tr trung bình trong hoị ạt động c a AdaIN ... 12ủHình 2.12 Giải điều ch tr ng s trong m ng StyleGAN2 ... 12ế ọ ố ạHình 2.13 Cấu trúc quá trình tăng cường dữ liệu ... 13Hình 2.14 Ví dụ v s thây các giá tr ề ự ị p cơ bản ... 13Hình 2.15 Cách thức hoạt động c a ADA ... 14ủHình 2.16 Mạng SyleGAN2-ADA hồn ch nh cho bài tốn ... 14ỉHình 2.17 Mơ tả q trình Upsampling ... 15Hình 2.18 Một s hình nh v t p d li u ... 16ố ả ề ệ ữ ệHình 3.1 Phân bi t giệ ữa thuật toán phát hi n ệ đối tượng và phân đoạn ... 17Hình 3.2 Input và Output của bài tốn phân đoạn ảnh ... 18Hình 3.3 So sánh giữa Phân đoạn ngữ nghĩa và Phân đoạn thể hiện ... 18Hình 3.4 Kiến trúc m ng ColonSegnet ... 19ạHình 3.5 Sơ đồ quá trình Squeeze và Excitation ... 20Hình 3.6 Sơ đồ kh i dư ... 21ốHình 3.7 Sơ đồ ủ c a Strided Convolution ... 21Hình 3.8 Sơ đồ miêu tả q trình Tích chập chuy n vị ... 22ểHình 3.9 Biểu đồ thể hiện hàm Relu... 22Hình 3.10 Biểu đồ thể hiện hàm Sigmoid... 23Hình 3.11 Bảng các thơng s ố để đánh giá kết qu ... 23ảHình 3.12 Hình ảnh t o mask dùng LabelStudio ... 25ạ

</div>Trang 9<div class="page_container" data-page="9">

Hình 3.13 Kích thước các tệp train, val, test ... 25

Hình 4.1 Biểu đồ so sanh kích thước c a các model ... 27ủHình 4.2 Biểu đồ so sánh độ chính xác của các model YOLO ... 27

Hình 4.3 Model Yolov5 ... 28

Hình 4.4 Kiến trúc m ng YOLO ... 28ạHình 4.5 Mơ t cơng thả ức đánh giá IOU ... 28

Hình 4.6 Biểu đồ kích thước c a các tủ ệp train,val,test ... 29

Hình 4.7 Gán nhãn sử d ng Roboflow ... 30ụHình 4.8 Mơ tả nh d ng chu n c a box trong Yolov5 ... 30đị ạ ẩ ủHình 4.9 Chuẩn b cho quá trình hu n luy n m ng YOLOv5 ... 31ị ấ ệ ạHình 4.10 Một s hình nh trong t p d li u ... 31ố ả ệ ữ ệHình 4.11 Hình ảnh m t s t p box ... 31ộ ố ệHình 5.1 Biểu đồ hàm Dloss và Gloss trong huấn luyện trên dữ liệu FFHQ256 ... 32

Hình 5.2 Biểu đồ hàm loss fake và loss real trong huấn luyện trên dữ liệu FFHQ256 .... 32

Hình 5.3 Thời gian hu n luy n trên d li u FFHQ256 ... 33ấ ệ ữ ệHình 5.4 Biểu đồ hàm Dloss và Gloss khi học chuyển giao ... 33

Hình 5.5 Biểu đồ Fake loss và Real Loss khi học chuyển giao ... 33

Hình 5.6 Thời gian quá trình hu n luy n s d ng h c chuy n giao ... 34ấ ệ ử ụ ọ ểHình 5.7 Kết qu cả ủa dữ ệ li u mới được t o ra ... 34ạHình 5.8 Biểu đồ hàm loss trong quá trình huấn luyện ... 35

Bảng 5.1 Bảng đánh giá kết qu c a các model vả ủ ới bài toán phân đoạn ... 37

Bảng 5.2 Bảng đánh giá các model với bài toán Phát hiện đối tượng ... 38Bảng 5.3 Bảng đánh giá kết qu th c nghi m ... 39ả ự ệ

</div>Trang 10<div class="page_container" data-page="10">

Với s phân tích trên ta th y s quan tr ng và c n thi t c a vi c phát hi n và phân ự ấ ự ọ ầ ế ủ ệ ệđoạn bệnh qua hình ảnh nội soi. Vì thế em đã chọn đề tài “Ứng dụng h c sâu đểọ phát hi n ệvà phân đoạn b nh qua hình nh nệ ả ội soi đại tràng”. Đề tài ng d ng n n t ng là các bài báo ứ ụ ề ảkhoa h c v n dọ ậ ụng các tính năng ưu việ ủt c a h c sâu và x lý ọ ử ảnh. Trong tương lai có thểphát tri n vể ới đa dạng các lo i b nh và mong mu n ng d ng trong b nh vi n ạ ệ ố ứ ụ ệ ệ

Đối tượng nghiên cứu

Đối tượng nghiên cứu là các mạng học sâu để tăng cường dữ liệu đầu vào, phân đoạn và phát hi n trong y sinh trên th giệ ế ới và đặc biệt là đối với hình nh b nh polyp qua quá trình ả ệnội soi đại tràng

</div>Trang 11<div class="page_container" data-page="11">

Hình 1.1 Hình nh b nh Polyp trong quá trình nả ệ ội soi đại tràng

Kết quả đầu ra mong mu n: ố

Hình 1.2 Hình ảnh đầu ra mong muốn quá trình phân đoạn và phát hi n b nh ệ ệ

Phương pháp nghiên cứu

Thu th p, tìm hi u thơng tin v các bài báo nghiên c u khoa h c vậ ể ề ứ ọ ề tăng cường d ữliệu đầu vào, phân đoạn và phát hiện bệnh qua hình ảnh, nhằm lấy đó là cơ sở để đánh giá và ng dứ ụng cho đề tài

Ý nghĩa của đề tài

Hiện này trong y học, vi c ng d ng x lý nh và hệ ứ ụ ử ả ọc sâu đang là xu thế và giúp ích rất nhi u trong qua trình chuề ẩn đốn bệnh cũng như chăm sóc bệnh nhân. Chính vì th em ếđã xin thực hiện đề tài “Ứng dụng học sâu đề phát hiện và phân lo i b nh qua hình ạ ệ ảnh nội

</div>Trang 12<div class="page_container" data-page="12">

3 soi đại tràng” với mong muốn giúp đỡ các y bác sĩ phát hi n, ghi nhệ ận và đánh giá các phát hiện b nh lý có th s góp ph n làm gi m s bệ ể ẽ ầ ả ự ất bình đẳng, nâng cao chất lượng và s ửdụng tối ưu các nguồ ựn l c y t khan hi m ế ế

1.2 Tình hình nghiên cứu trong nước.

Dữ li u lệ ớn (Big Data) và cơng ngh trí tu nhân tệ ệ ạo (AI) đang tạo ra những đột phá rộng kh p trên mắ ọi lĩnh vực. Ứng d ng AI và khai thác d li u y t trong h tr chụ ữ ệ ế ỗ ợ ẩn đoán bệnh và xây d ng n n y tự ề ế thông minh đã trở thành vấn đề ốt lõi trong l trình phát tri n c ộ ểy t c a m i quế ủ ọ ốc gia, trong đó có Việt Nam.

Trong y khoa, các h th ng h tr phát hi n (computer-aided detection CADe) và ệ ố ỗ ợ ệ –hỗ trợ chẩn đoán (computer-aided diagnosis – CADx) được thi t kế ế để giúp bác sĩ đưa ra quyết định nhanh và chính xác hơn. Cụ thể, các hệ thống này cho phép phân tích và đánh giá các bất thường t d li u y khoa trong th i gian ng n. Chúng có th giúp c i thi n ch t ừ ữ ệ ờ ắ ể ả ệ ấlượng hình ảnh y khoa, làm nổi bật các cấu trúc bất thường bên trong cơ thể và thực hiện đo đạc các chỉ số lâm sàng. Các hệ thống CADe/x được xây d ng d a trên các công ngh ự ự ệlõi g m x lý hình nh, th ồ ử ả ị giác máy tính, và đặc biệt là AI

Hình 1.3 Ví d v chuụ ề ấn đốn hình ảnh trong y h c ọ

Hệ th ng y t Vi t Nam, mố ế ệ ặc dù đã có những thay đổi to l n, ớ nhưng đầu tư và chi phí cho y t v n còn r t h n chế ẫ ấ ạ ế. Theo tính tốn, năm 2018 Việt Nam chỉ có hơn 8 bác sĩ/10.000 dân. Đây là tỷ l th p nh t tệ ấ ấ ại Đông Nam Á. Vớ ối t c đ đào tạo như hiệộ n nay, cần 75 năm để chúng ta có thể b t kắ ịp Singapore, nơi có 23 bác sĩ/10.000 dân. Ngoài ra, tại Vi t Nam, ệsự m t cân b ng vấ ằ ề trình độ ữ gi a các b nh vi n tệ ệ ại địa phương (tuyến xã, huy n, tệ ỉnh) so với các b nh vi n TW v n còn m t kho ng cách lệ ệ ẫ ộ ả ớn. Chính vì th , s d ng các cơng ngh ế ử ụ ệsố, với nịng c t là d li u lố ữ ệ ớn và AI, để xây d ng n n y tự ề ế thông minh được coi là chi n ếlược quốc gia. Ở đó, các cơng nghệ s , phân tích dữ liố ệu đượ ứng dc ụng để phát triển các giải pháp chẩn đoán bệnh s m, v i chi phí th p và d dàng ti p cớ ớ ấ ễ ế ận người dùng quy mô ởlớn.

</div>Trang 13<div class="page_container" data-page="13">

4 Nghiên c u và ng d ng AI tứ ứ ụ rong CĐHA y tế ạ t i Việt Nam đang ở giai đoạn đầu. Một số ứng dụng AI h tr chỗ ợ ẩn đoán do các công ty công nghệ quốc tế phát triển đã được triển khai t i m t s b nh vi n. Tuy nhiên, d liạ ộ ố ệ ệ ữ ệu người Việt có tính đặc thù. Điều này làm gi m hi u qu c a các thu t toán AI vả ệ ả ủ ậ ốn được hu n luy n d a trên d li u. M t s t p ấ ệ ự ữ ệ ộ ố ậtoàn trong nước như Vingroup, Viettel hay FPT cũng đã từng bước phát tri n các gi i pháp ể ảthông minh h trỗ ợ CĐHA y tế. Đây có thể coi là điểm sáng và là hướng đi đúng đắn khi Việt Nam có th t chể ự ủ được công nghệ lõi, đặc bi t là bệ ảo đảm vấn đề ả b o m t d li u ậ ữ ệsức khoẻ của người dân

Hiện nay, VinDr là trung tâm ý t tr c thuế ự ộc VinBigData đang là tổ chức đi đầu v ềxử lý hình ảnh trong y sinh.VinDr phát tri n cho phép chuể ẩn đốn hình ảnhvề b nh lý ph i ệ ổtrên nh X-quang l ng ng c, chả ồ ự ẩn đoán ung thư vú trên ảnh X-quang tuyến vú, xác định các bất thường trên hình nh CT/MRI s não và phát hi n các bả ọ ệ ất thường trên phim ch p ụX-quang c t sộ ống đã được th nghi m lâm sàng t i m t s b nh vi n lử ệ ạ ộ ố ệ ệ ớn như Bệnh vi n ệTrung ương Quân đội 108, Bệnh viện Đại học Y Hà Nội, Bệnh viện Đa khoa Quốc tế Vinmec. Theo đánh giá từ đội ngũ chuyên gia y tế của các bệnh viện cho thấy, VinDr đã đảm bảo độ chính xác cao, cho phép hỗ trợ c lđắ ực bác sĩ CĐHA trong chẩn đoán bệnh [11]. H thệ ống VinDr được xây d ng trên chính ngu n d li u b nh nhân t i Vi t Nam, ự ồ ữ ệ ệ ạ ệvới đặc điểm sinh lý, giải phẫu bệnh lý chính xác của người Việt. Các bộ dữ liệu quy mô lớn được thu thập và gán nhãn bởi đội ngũ bác sĩ CĐHA giàu kinh nghiệm chính là yếu tố tiên quyết để đảm bảo độ chính xác của các thu t tốn AI ậ

Hình 1.4 Ví d v chuụ ề ẩn đốn bệnh c a VINDR qua hình nh ủ ả

Các nghiên c u trên cứ ủa VinDr đều là các nghiên c u d a trên các vứ ự ấn đề ớ l n mà th gi i ế ớcũng đang quan tâm nên bộ dữ liệu lớn của ảnh về đề tài rất cao. Tuy nhiên đối với việc Chuẩn đốn bệnh hình ảnh qua nội soi đại tràng sử dụng AI đang mới chỉ được quan tâm thời gian gần đây, bộ ữ ệ d li u v các b nh cề ệ ủa đại tràng qua quá trình n i soi còn h n ch . ộ ạ ế

</div>Trang 14<div class="page_container" data-page="14">

5 Năm 2020, Dựa trên bộ dữ liệu khoảng 268 ảnh về bệnh nội soi đại tràng từ cuộc thi “Endoscopy Disease Detection and Segmentation (EDD2020)” đã có bài báo của anh Huynh Le Duy [20] đã có những nghiên cứu về bài toán phát hiện và khoanh vùng bênh trong quá trình nội soi đại tràng.

Hình 1.5 Hình nh k t qu phát hiả ế ả ện và phân đoạn b nh tham kh o ệ ả

Lưu ý: a, b, c, d là ảnh gốc còn e, f, g, h là ảnh dự đốn qua mơ hình

Tuy nhiên v i b d li u quá nh , cùng v i th i ớ ộ ữ ệ ỏ ớ ờ điểm q sớm vì chưa có mạng tối ưu nhất cho hình ảnh nội soi ra đời đã cho ra kết quả không đượ ốt. c t

Quá trình\ Điểm đánh giá

F1 Recall Precision

Score Final Score Phát

- Chuẩn bị ph n c ng và cài d t các ph n mầ ứ ặ ầ ền và thư viện c n thi t cho qua trình ầ ếhuấn luy n ệ

- Đánh giá, kiểm tra kết qu và kh c phụả ắ c các l i phát sinh. ỗ

</div>Trang 15<div class="page_container" data-page="15">

Hình 3.2 Input và Output c a bài toán phủ ân đoạ ảnhn

Phân loại bài toán Image Segmentation:

1. Phân đoạn ng ữ nghĩa (Semantic Segmentation): Chỉ phân bi t các vùng ệ ảnh có nhãn khác nhau mà không phân bi t trong t ng nhãn ệ ừ

2. Phân đoạn thể hiện (Instance Segmentation): phân biệt chi tiết các đối tượng trong cùng nhãn.

Hình 3.3 So sánh giữa Phân đoạn ng ữ nghĩa và Phân đoạn th hi n ể ệ

Đối với đề tài này, em s d ng ử ụ Phân đoạn ngữ nghĩa (Semantic Segmentation) phân đểđoạn bệnh polyb trong hình ảnh n i soi đại tràng. ộ

</div>Trang 16<div class="page_container" data-page="16">

3.2 Mạng ColonSegnet cho bài toán phân đoạn

Kiến trúc m ng ColonSegnet ạ

Hình 3.4 Ki n trúc m ng ColonSegnet ế ạ

Mạng ColonSegnet [3] là m ng bao g m hai kh i ạ ồ ố Mã hóa(Encoder) và hai khối

Giải mã(Decoder). Encoder s h c các trích xu t t t cẽ ọ ấ ấ ả các thông tin đầu vào sau đó chuyển đến Decoder, Decoder s t o s d ng thơng tin trích xuẽ ạ ử ụ ất để tạo ra một mask tương ứng. M ng s dạ ử ụng Khối dư Residual Block v i ớ Mạng Bóp và Kích thích (Squeeze and

Excitation Network) là thành ph n chínhầ . Như hình vẽ ta có th th y mể ấ ạng được thi t k t ế ếrất ít tham s so vố ới các model phân đoạn cơ sở như PSP-Net ho c Deeplapv3 +. Chúng ặta có th th y trên hình v các ph n bên trái là Encoder 1 và Encoder 2 còn bên ph i là ể ấ ẽ ầ ảDecoder 1 và Decoder 2 và gi a chúng có nhi u ữ ề Skip Connection nh m chuy n thông tin ằ ểtừ Encoder sang Decoder. Đây là những thơng tin quan trọng, nó các tính năng thấp (ví dụ như cạnh, góc hay một số thông tin trong mạng bị mất do độ sâu của mạng.

a, Mạng Bóp và Kích thích (Squeeze and Excitation Network)

</div>Trang 17<div class="page_container" data-page="17">

b, Khối dư Residual Block

</div>Trang 18<div class="page_container" data-page="18">

Hình 3.6 Sơ đồ khối dư

Đầu và là bản đồ tính năng và số kênh tính năng đầu ra. Ta đưa qua lớp Conv 2D v i nhân ớlà 3x3 sau đó sẽ theo sau là lớp Batch Norm (bình thường hóa) và tiếp theo là hàm kích hoạt Relu, l i m t lạ ộ ớp Conv2D và Batch Norm. sau đó kế ợp với k t qu t k t n i ng n h ế ả ừ ế ố ắ(shortcut connection) rồi qua hàm kích ho t Relu. ạ Ở đây, kế ốt n i ng n giúp chuy n các ắ ểtính năng từ đầu vào sang đầu ra vì nó học ánh xạ danh tính

c, Strided Convolution (Tích ch p x p hàng)ậ ế

Hình 3.7 Sơ đồ ủ c a Strided Convolution

Ta th y qua l p Conv2D(3x3) v i Strides (sấ ớ ớ ải bước) =2, mục đích của Strided Convoluation là làm gi m chi u cao và chi u r ng cả ề ề ộ ủa bản đồ tính năg

Các thu t ng ậ ữ được sử ụ d ng trong các hình v : ẽ

- Tích ch p chuy n vậ ể ị (Conv2DTranspose ho c Transposed Conv2D): M t dặ ộ ạng tích chập giúp gia tăng kích thước c a m ng CNN. Là mủ ạ ột quá trình ngược c a ủ

</div>Trang 19<div class="page_container" data-page="19">

tích chập thơng thường khi m i mỗ ột đặc trưng (feature) được mapping sang các pixels ảnh thay vì ngược lạ ừ các pixels sang đặc trưng (featurei t

Hình 3.8 Sơ đồ miêu t q trình Tích ch p chuy n v ả ậ ể ị

- Batch Norm: chuẩn hóa d li u các layer theo batch v phân ph i chuữ ệ ở ề ố ẩn để quá trình gradient descent h i t ộ ụ nhanh hơn và thường áp d ng ngay sau Convolutional ụlayer và thường ở những vị trí đầu tiên của mơ hình để đạt hiệu quả cao nhất

- Relu: Hàm kích ho t nh m l c các giá tr ạ ằ ọ ị < 0, để giúp tăng tốc độ tính tốn và th i ờgian tính toán

</div>Trang 20<div class="page_container" data-page="20">

(3.2)

- Concat: là phép n i hai ma tr n v i nhau.ố ậ ớ

Tiêu chi đánh giá kết quả mạng

Hình 3.11 B ng các thơng s ả ố để đánh giá kết qu ả

Vùng màu xanh lá cây: Chúng tơi ước tính 1 và sự thật cơ bản là 1. (Đúng Tích cực, TP) Vùng màu xanh lam: Chúng tơi ước tính là 1 nhưng sự ật cơ bả th n là 0. (Sai Dương tính, FP)

Vùng màu vàng: Chúng tơi ước tính 0 nhưng sự ật cơ bả th n là 1. (Sai phủ định, FN) Vùng xám: Chúng tơi ước tính 0 và sự thật cơ bản là 0. (True Negative, TN)

</div>Trang 21<div class="page_container" data-page="21">

24  Recall là t l giỷ ệ ữa các điểm Positive thưc được nhận đúng trên tổng điểm Positive thực (còn g i là t l b sót v i các mọ ỷ ệ ỏ ớ ẫu positive). Recall càng cao có nghĩa là tỷ lệ bỏ sót càng th p ấ

𝐹𝑃𝑆 = # 1sec sec/

Qúa trình hu n luy n ấ ệ Chuẩn bị t p d li u và tài nguyên: ậ ữ ệ

- Sử d ng ụ LableStudio để t o t p ạ ệ mask cho quá trình traning

</div>