BỘ CÔNG THƯƠNG
TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP HÀ NỘI
----------  ---------

ĐỒ ÁN TỐT NGHIỆP

ĐỀ TÀI
NGHIÊN CỨU, THIẾT KẾ CHẾ TẠO XE TỰ HÀNH SỬ
DỤNG MẠNG HỌC SÂU NHÂN TẠO

Giáo viên hướng dẫn

: TS. TRẦN NGỌC TIẾN

Các thành viên thực hiện:
1, TRẦN THỊ NHẤT

2018602868

2, DƯƠNG THANH TÙNG

2018603026

3, NGUYỄN XUÂN TUYÊN

2018603770

Lớp: Cơ điện tử 2 – k13
Khoa: Cơ khí
HÀ NỘI – 3/2022

MỤC LỤC
MỤC LỤC .................................................................................................................. 0
DANH MỤC HÌNH ẢNH .......................................................................................... 0
DANH MỤC BẢNG BIỂU ........................................................................................ 0
LỜI NÓI ĐẦU ............................................................................................................ 1
CHƯƠNG 1 TỔNG QUAN VỀ TRÍ TUỆ NHÂN TẠO TRONG GIAO THƠNG .. 2
1.1. Lịch sử nghiên cứu .............................................................................................. 2
1.1.1. Tình hình nghiên cứu trên thế giới ................................................................... 2
1.1.2. Tình hình nghiên cứu trong nước ..................................................................... 3
1.1.3. Sơ lược về hệ thống xe tự hành sử dụng mạng học sâu nhân tạo..................... 5
1.1.3.1. Thuật toán phân cụm ..................................................................................... 6
1.2. Nội dung nghiên cứu ........................................................................................... 11
1.3. Mục đích của đề tài.............................................................................................. 11
1.4. Phương pháp nghiên cứu ..................................................................................... 12
1.5. Đối tượng, phạm vi và giới hạn của đề tài .......................................................... 13
1.5.1. Đối tượng nghiên cứu ....................................................................................... 13
1.5.2. Phạm vi nghiên cứu: ......................................................................................... 13
1.5.3. Giới hạn đề tài: ................................................................................................. 13
CHƯƠNG 2 TỔNG QUAN VỀ NGHIÊN CỨU, THIẾT CHẾ TẠO XE TỰ HÀNH
SỬ DỤNG MẠNG HỌC SÂU NHÂN TẠO ............................................................. 14
2.1. Thuật toán phát hiện làn đường ........................................................................... 14
2.1.1. Khái niệm và thiết lập....................................................................................... 14
2.1.1.1. Khái niệm về phát hiện làn đường................................................................. 14
2.1.2. Tìm làn đường .................................................................................................. 15
2.1.3. Làn đường cong vênh ....................................................................................... 15
2.1.4. Tìm làn đường cong ......................................................................................... 16

2.1.5. Tối ưu hóa đường cong..................................................................................... 19
2.2. Thuật toán CNN .................................................................................................. 21
2.2.1. Giới thiệu CNN ................................................................................................ 21
2.2.2. Các lớp cơ bản trong CNN ............................................................................... 23
2.2.2.1. Convolution layer .......................................................................................... 23
2.2.2.2. Lớp phi tuyến tính (ReLU layer) ................................................................... 26
2.2.2.3. Pooding Layer ............................................................................................... 27
2.2.2.4. Full connected layer ...................................................................................... 28
2.2.2.5. Cross-entropy loss ......................................................................................... 29


2.2.2.6. MSE ............................................................................................................... 29
2.3. Thuật toán YOLO ................................................................................................ 29
2.3.1. Giới thiệu về YOLO ......................................................................................... 29
2.3.2. Thuật toán YOLO ............................................................................................. 31
2.3.2.1. Phát hiện hợp nhất ......................................................................................... 33
2.3.2.2. Anchor box .................................................................................................... 38
2.3.2.3. Dự đoán hộp giới hạn .................................................................................... 39
2.3.2.4. IOU ................................................................................................................ 43
2.3.2.5. Non-Max Suppression(NMS) ........................................................................ 45
2.3.2.6. Hàm loss ........................................................................................................ 46
2.3.2.7. Classifycation loss ......................................................................................... 46
2.3.2.8. Localization loss ............................................................................................ 47
2.3.2.9. Confidence loss ............................................................................................. 48
2.3.2.10. Total loss ..................................................................................................... 48
2.3.3. Ứng dụng của YOLO ....................................................................................... 50
2.4. Tính tốn khoảng cách từ vật đến camera ........................................................... 52
2.4.1. Khai thác thư viện OpenCV để hỗ trợ quá trình xử lý ảnh .............................. 52
2.4.2. Tính khoảng cách từ Camera đến một đối tượng với OpenCV........................ 54
2.5. Truyền tín hiệu .................................................................................................... 57

2.5.1. Arduino Nano giao tiếp với máy tính bằng giao tiếp serial. ............................ 57
2.5.2. Sử dụng Module NRF24L01 - Thu phát sóng vơ tuyến 2.4GHz với Arduino. 57
CHƯƠNG 3 TÍNH TỐN, THIẾT KẾ HỆ THỐNG HỒN CHỈNH ..................... 60
3.1. Tính tốn, thiết kế xe tự hành .............................................................................. 60
3.1.1. Thiết kế phần khung và vỏ cho xe tự hành ....................................................... 60
3.2. Ngun lý hoạt động và tính tốn, thiết kế hệ thống điều khiển ......................... 61
3.2.1. Nguyên lý hoạt động của hệ thống ................................................................... 61
3.2.2. Thiết kế hệ thống điều khiển xe tự hành .......................................................... 62
3.2.3. Phân tích chân của hệ thống điều khiển và truyền nhận tín hiệu ..................... 63
3.2.1. Thiết lập sơ đồ tín hiệu giao tiếp với xe tự hành .............................................. 66
3.2.2. Thiết lập chế độ làm việc cho các linh kiện ..................................................... 67
3.2.2.1. Arduino Nano ................................................................................................ 67
3.2.2.2. Camera ........................................................................................................... 68
3.2.2.3. Module thu phát sóng NRF24L01 ................................................................. 69
3.2.2.4. Pin sac litium 18650 3,7v .............................................................................. 69


3.2.2.5. Động cơ DC giảm tốc XD-25GA370 ............................................................ 71
3.2.2.6. Bánh xe .......................................................................................................... 72
3.2.2.7. Module điều khiển động cơ L298 ................................................................. 73
3.3. Lập trình điều khiển hệ thống .............................................................................. 74
3.3.1. Đào tạo YOLO trên Colab ................................................................................ 74
3.3.2. Lập trình trên mơi trường PyCharm ................................................................. 76
3.3.3. Code lập trình cho tồn hệ thống ...................................................................... 77
CHƯƠNG 4 CHẾ TẠO, THỰC NGHIỆM VÀ ĐÁNH GIÁ HOẠT ĐỘNG CỦA XE
TỰ HÀNH .................................................................................................................. 78
4.1. Chế tạo xe tự hành ............................................................................................... 78
4.2. Các kết quả thực nghiệm ..................................................................................... 79
4.3. Đánh giá và thảo luận .......................................................................................... 85
KẾT LUẬN, KIẾN NGHỊ .......................................................................................... 89

1. Kết luận................................................................................................................... 89
2. Kiến nghị ................................................................................................................ 90
TÀI LIỆU THAM KHẢO .......................................................................................... 91
PHỤ LỤC ................................................................................................................... 0


DANH MỤC HÌNH ẢNH
Hình 1.1 Xe tự lái Google có thể đọc tín hiệu xin đường của xe đạp. ............................ 2
Hình 1.2 Người dùng hồn tồn có thể thư giãn khi VF31 vận hành dưới tốc độ
60km/h ............................................................................................................................. 4
Hình 1.3 Tháng 10/2017, chiếc xe ô tô thương mại đầu tiên tích hợp cơng nghệ xe tự
hành do FPT nghiên cứu và phát triển đã thử nghiệm thành công trong khuôn viên của
cơng ty. ............................................................................................................................ 4
Hình 1.4 Qúa trình làm việc của hệ thống .......................................................................5
Hình 1.5 Thuật tốn phân cụm. .......................................................................................6
Hình 1.6 Phân chia các mơ hình học máy nơng. ............................................................. 8
Hình 1.7 Cấu trúc ANN đơn giản ....................................................................................8
Hình 1.8 Phân ngành của các mơ hình học máy sâu .....................................................10
Hình 1.9 Cấu trúc mạng CNN .......................................................................................10
Hình 1.10 Cấu trúc RNN đơn giản. ...............................................................................11
Hình 1.11 Sơ đồ máy học Extreme learning machine. ..................................................11
Hình 2.1 Khái niệm về mơ đun .....................................................................................14
Hình 2.2 Cung cấp phạm vi giá trị cần sử dụng để tìm làn đường. ............................... 15
Hình 2.3 A. imgThres B. imgWarpPoints C. imgWarp ................................................16
Hình 2.4 Giá trị nhị phân của làn đường cong .............................................................. 17
Hình 2.5 Ba trường hợp mà phương pháp này nhận diện .............................................17
Hình 2.6 Một số làn đặc biệt .........................................................................................18
Hình 2.7 Điều chỉnh đường tâm của làn đặc biệt .......................................................... 18
Hình 2.8 imgWarp imgHist ........................................................................................... 19
Hình 2.9 Giá trị trung bình của phần dưới cùng ............................................................ 20

Hình 2.10 Hiển thị trên máy tính ...................................................................................21
Hình 2.11 Tất cả các bước để xác định làn đường ........................................................21
Hình 2.12 Ảnh phân tích dữ liệu của chim ....................................................................22
Hình 2.13 Mạng nơ ron học sâu phân tích xe ơ tơ ........................................................22
Hình 2.14 Lớp cơ bản trongCNN ..................................................................................23
Hình 2.15 Convolution layer .........................................................................................23
Hình 2.16Ma trận X khi thêm viên 0 bên ngồi ............................................................ 24
Hình 2.17 stride=1, padding=1 ......................................................................................25
Hình 2.18 stride=2, padding=1 ......................................................................................25
Hình 2.19 Bản đồ kích hoạt của lớp tích chập cuối cùng ..............................................26
Hình 2.20 Đồ thị mô tả hàm ReLU ...............................................................................26


Hình 2.21 Hàm ReLU cơng thức 𝜃𝑥 = max⁡(0, 𝑥) .......................................................27
Hình 2.22 Max pooling layer với size=(3,3), stride=1, padding=0 ............................... 27
Hình 2.23 Sau khi Pooding layer (2*2) .........................................................................28
Hình 2.24 Ví dụ về pooding layer .................................................................................28
Hình 2.25 Pooled feature Map chuyển sang Flattering .................................................29
Hình 2.26 Ví dụ về phát hiện vật thể của YOLO .......................................................... 30
Hình 2.27 Tổng quan về thuật tốn YOLO ...................................................................31
Hình 2.28 Hệ thống phát hiện YOLO. ..........................................................................32
Hình 2.29 Mơ hình. .......................................................................................................35
Hình 2.30 Kiến trúc. ......................................................................................................36
Hình 2.31 Ví dụ về Anchor box ....................................................................................39
Hình 2.32 Trường hợp 2 anchor box bị trùng tâm ........................................................39
Hình 2.33 Cơng thức ước lượng hộp giới hạn từ anchor box [2 0 ] .............................. 40
Hình 2.34 Dự đốn hộp giới hạn ...................................................................................41
Hình 2.35 Ví dụ về lưới 3×3.......................................................................................... 42
Hình 2.36 Ơ thứ nhất trong ví dụ lưới 3×3 ....................................................................42
Hình 2.37 Là một ơ khác trong ví dụ về lưới 3×3 .........................................................43

Hình 2.38 Cơng thức tính IOU ......................................................................................44
Hình 2.39 Ví dụ về IOU ................................................................................................ 44
Hình 2.40 Tính chỉ số IOU ............................................................................................ 44
Hình 2.41 Ví dụ trước và sau khi sử dụng NMS ........................................................... 45
Hình 2.42 Hiệu suất của từng phiên bản YOLO. .......................................................... 49
Hình 2.43 Yolo phát hiện phương tiện. .........................................................................50
Hình 2.44 Yolo phát hiện động vật ...............................................................................51
Hình 2.45 Yolo phát hiện con người .............................................................................51
Hình 2.46 Yolo phát hiện các đối tượng .......................................................................51
Hình 2.47. Các module chính trong thư viện OpenCV .................................................53
Hình 2.48. Khơng gian màu HSV .................................................................................54
Hình 2.49 Khoảng cách từ camera đến một đối tượng ..................................................55
Hình 2.50 Khai báo biến số ........................................................................................... 56
Hình 2.51 Tính tốn khoảng cách..................................................................................56
Hình 2.52. Arduino nano ............................................................................................... 57
Hình 2.53. Module NRF24L01 .....................................................................................58
Hình 2.54. Sơ đồ chân module NRF24L01 ...................................................................58


Hình 3.1 Mơ hình 3D xe tự hành ...................................................................................61
Hình 3.2 Lưu đồ thuật tốn của hệ thống ......................................................................62
Hình 3.3. Module truyền dữ liệu của arduino và NRF24L01+ .....................................62
Hình 3.4. Module nhận dữ liệu của motor, L298 và NRF24L01+ ................................ 63
Hình 3.5. Arduino Nano ................................................................................................ 63
Hình 3.6. Module NRF24L01 .......................................................................................64
Hình 3.7. Module L298 .................................................................................................65
Hình 3.8. Sơ đồ tín hiệu giao tiếp với mobie robot .......................................................66
Hình 3.9. Arduino Nano ................................................................................................ 68
Hình 3.10. Module NRF24L01 .....................................................................................69
Hình 3.11 Pin sạc litium 18650 3,7v .............................................................................70

Hình 3.12 Mạch sạc bảo vệ mạch 11.1V Li-ion BMS 7A ............................................70
Hình 3.13 Động cơ DC Servo giảm tốc XD-25GA370.................................................71
Hình 3.14 Bánh xe lớn ...................................................................................................72
Hình 3.15 Bánh xe dẫn hướng .......................................................................................73
Hình 3.16.Module điều khiển động cơ L298 ................................................................ 73
Hình 3.17 Hình ảnh cần gán nhãn. ................................................................................75
Hình 3.18 Hình ảnh được gán nhãn thủ cơng bằng tay. ................................................75
Hình 4.1 Bản vẽ thiết kế ................................................................................................ 78
Hình 4.2 Xe tự hành chế tạo hồn chỉnh .......................................................................78
Hình 4.3 Xe nhận diện làn đường..................................................................................79
Hình 4.4 Yolo V3 tiny nhận diện đèn tín hiệu xanh, độ chính xác 0.9 .........................79
Hình 4.5 Kết quả trả về khi gặp tín hiệu đèn xanh trên Terminal của Pycharm. ..........80
Hình 4.6 Hình ảnh thu được qua camera khi gặp tín hiệu đèn xanh. ............................ 80
Hình 4.7 Yolo V3 tiny nhận diện đèn tín hiệu đỏ, độ chính xác 0.9 ............................. 80
Hình 4.8 Kết quả trả về khi gặp tín hiệu đèn đỏ trên Terminal của Pycharm. ..............80
Hình 4.9 Hình ảnh thu được qua camera khi gặp tín hiệu đèn xanh. ............................ 81
Hình 4.10 Yolo V3 tiny nhận diện đèn tín hiệu xanh và có người đi đường, độ chính
xác 0.8 ............................................................................................................................ 81
Hình 4.11 Kết quả trả về khi gặp tín hiệu đèn xanh và có người đi đường trên Terminal
của Pycharm. .................................................................................................................81
Hình 4.12 Hình ảnh thu được qua camera khi gặp tín hiệu đèn xanh. .......................... 82
Hình 4.13 Yolo V3 tiny nhận diện đèn tín hiệu đỏ và có người đi đường, độ chính xác
0.9 ..................................................................................................................................82
Hình 4.14 Kết quả trả về khi gặp tín hiệu đèn xanh trên Terminal của Pycharm. ........82


Hình 4.15 Hình ảnh thu được qua camera khi gặp tín hiệu đèn đỏ và có người đi
đường. ............................................................................................................................ 83
Hình 4.16 Yolo V3 tiny nhận diện biển STOP, độ chính xác 0.9 .................................83
Hình 4.17 Kết quả trả về khi gặp biển STOP trên Terminal của Pycharm. ..................83

Hình 4.18 Hình ảnh thu được qua camera khi gặp biển STOP. ....................................84
Hình 4.19 Yolo V3 tiny nhận diện biển báo tốc độ 20, độ chính xác 0.9 .....................84
Hình 4.20 Kết quả trả về khi gặp biển báo tốc độ 20 trên Terminal của Pycharm. ......84
Hình 4.21 Hình ảnh thu được qua camera khi gặp tín hiệu đèn xanh. .......................... 84
Hình 4.22 Yolo V3 tiny nhận diện biển báo tốc độ 60, độ chính xác 0.9. ....................85
Hình 4.23 Kết quả trả về khi gặp tín hiệu đèn xanh trên Terminal của Pycharm. ........85
Hình 4.24 Ảnh thu được qua camera khi gặp tín hiệu đèn xanh. .................................85
Hình 4.25 Dữ liệu thể hiện độ tin cậy của hệ thống nhận diện với tốc độ 0.5m/s ........86
Hình 4.26 Dữ liệu thể hiện độ tin cậy của hệ thống nhận diện với tốc độ 0.2m/s ........86
Hình 4.27 Biểu đồ xung điều khiển hai động cơ dựa theo độ lệch tâm. .......................87
Hình 4.28 Biểu đồ độ lệch tâm theo điều kiện ánh sáng. ..............................................87


DANH MỤC BẢNG BIỂU
Bảng 2.1 Thông số module NRF24L01 ........................................................................58


1

LỜI NĨI ĐẦU
Hiện nay, cuộc cách mạng cơng nghiệp 4.0 đang diễn ra hết sức mạnh mẽ với
sự bùng nổ của khoa học cơng nghệ. Trí tuệ nhân tạo (tiếng anh là Artificial
Intelligence (AI)) cịn được gọi là trí thơng minh nhân tạo, là một lĩnh vực của khoa
học máy tính, tập trung vào việc tạo ra những cỗ máy thơng minh, có thể hoạt động và
phản ứng như con người. Vì những ý nghĩa to lớn đó nên việc được học tập trong
ngành cơ điện tử là một điều tự hào đối với mỗi sinh viên chúng em, đặc biệt hơn khi
được học tại trường Đại học Công nghiệp Hà Nội – một trong những ngơi trường kỹ
thuật có chất lượng giảng dạy tốt nhất trong lĩnh vực cơ khí.
Trong những năm qua, cơng nghệ xe tự lái trong nước đã có những tín hiệu phát
triển tích cực và ngày càng phù hợp với ngành giao thông thế hệ mới. Việt Nam đang

từng bước gia nhập thị trường xe tự lái để đón đầu cuộc cách mạng 4.0 và chinh phục
“cơn lốc” phát triển công nghệ ô tô thế giới. Hiện đã có rất nhiều tập đồn sản xuất xe
hơi và công nghệ lớn trên thế giới đã tham gia vào cuộc chạy đua phát triển xe hơi
công nghệ tự lái thông minh mà không cần đến bàn tay can thiệp của con người, trong
đó có những tên tuổi nổi bật như Tesla, Daimler, Google,…
Đồ án tốt nghiệp là một phần hết sức quan trọng và không thể thiếu đối với mỗi
sinh viên chúng em. Đồ án này giúp chúng em đúc kết và tích lũy thêm những kiến
thức cần thiết trước khi ra trường. Sau một thời gian học tập và nghiên cứu thị trường
trong lĩnh vực xử lý ảnh và mạng nơ ron học sâu nhân tạo, chúng em quyết định chọn
đề tài cho cơng trình nghiên cứu đồ án lần này là nghiên cứu, thiết kế chế tạo xe tự
hành sử dụng mạng học sâu nhân tạo. Chúng em nghĩ rằng đây là một đề tài hay và ý
nghĩa, hi vọng qua đề tài này chúng em sẽ học được nhiều kinh nghiệm hơn trong phát
triển xe robot tự hành nhằm giảm thiểu tai nạn giao thơng và bảo vệ mơi trường, tiến
tới tự động hóa sâu vào trong đời sống con người.
Qua đây, chúng em cũng xin được gửi lời cảm ơn sâu sắc đến thầy Trần Ngọc
Tiến và các thầy cô trong khoa, bạn bè đã giúp đỡ và nhiệt tình hướng dẫn đề tài này
cho chúng em.
Hà Nội, ngày 06 tháng 05 năm 2022


2

CHƯƠNG 1 TỔNG QUAN VỀ TRÍ TUỆ NHÂN TẠO TRONG
GIAO THƠNG
1.1. Lịch sử nghiên cứu
1.1.1. Tình hình nghiên cứu trên thế giới
Trong vài năm trở lại đây, xe tự hành đang phát triển một cách nhanh
chóng. Hàng loạt nhà sản xuất ô tô và công ty công nghệ lớn đều đã tham gia nghiên
cứu tính năng tự hành, với hàng chục tỷ USD tiền đầu tư. Theo định nghĩa truyền
thống, xe tự hành là loại ơ tơ có khả năng hoạt động mà không cần sự điều khiển hay

can thiệp của con người. Có khả năng phát hiện chướng ngại vật, phân biệt các vật thể
khác nhau cũng như xác định tuyến đường tốt nhất cho mỗi hành trình.
Chiếc xe được coi xe tự hành đã ra đời bởi Francis Houdina người đứng sau
khái niệm đã sử dụng thuật ngữ “a radio-controlled car” (một chiếc xe điều khiển bằng
radio). Chiếc xe điều khiển vơ tuyến RCA. Tuy nhiên nó đã không được thành công
như mong đợi. Toyota đã giới thiệu Prius hybrid vào năm 2003. Chiếc xe trở nên phổ
biến cho bãi đỗ xe tự động nơi tất cả các cảm biến và camera hoạt động tốt. Xu hướng
sau đó được tiếp nối bởi BMW cũng như cách này hệ thống đỗ xe tự động. Hiện nay,
Google là một trong những tập đoàn đi đầu trong lĩnh vực xe hơi tự lái, với mong
muốn đem tới cuộc sống thuận tiện và dễ dàng hơn cho con người trong tương lai. Tuy
nhiên, bên cạnh những thành tựu đã đạt được, rất nhiều người cũng đặt ra câu hỏi về
sự an toàn của những chiếc xe thế hệ mới này.

Hình 1.1 Xe tự lái Google có thể đọc tín hiệu xin đường của xe đạp.
Trong năm 2005, BMW (Bayerische Motoren Werke AG) đã cho ra đời những
phiên bản tự hành chạy trên đường thử. Năm 2008, GM (General Motors Corporation)
công bố khởi đầu những nghiên cứu xe không người lái cho tới năm 2015 và lăn bánh


3
trên đường năm 2018. Hai năm sau đó, phiên bản tự hành Audi TTS đã đạt tới tốc độ
gần với xe đua trên đường lái tới đỉnh núi Pikes Pick, Hoa Kỳ.
Khơng nằm ngồi xu hướng đó, VW hiện nay đang thử nghiệm hệ thống điều
khiển tự động tạm thời (TAP) cho phép xe tự lái với tốc độ lên tới 128 km/giờ trên
đường cao tốc. Nhà máy ô tô tự động đầu tiên của Trung Quốc kết hợp với Đại học
Cơng nghệ Quốc phịng Quốc gia đã thử nghiệm mẫu xe không người lái Hongqi
HQ3 trên quãng đường 280 km, với vận tốc 88 km/giờ trong điều kiện đường cao tốc
tấp nập.
Những tháng đầu năm 2012, Google đã thử nghiệm phiên bản tự hành của mẫu
xe Toyota Prius trên những con đường bang California. Mới đây, Cadillac ra mắt hệ

thống bán tự động có tên gọi “Super Cruise” với hứa hẹn sẽ sớm đưa vào sản xuất.
1.1.2. Tình hình nghiên cứu trong nước
Kỷ nguyên của xe tự hành đã mở ra với cuộc chạy đua không ngừng nghỉ của
các nhà sản xuất xe hàng đầu trên thế giới. Tại Việt Nam, VinFast đang là đơn vị tiên
phong trong sản xuất xe tự hành với dịng xe điện SUV thơng minh là VF31 và VF33.
Những dòng xe này ngay từ khi cơng bố đã nhận được hiệu ứng tích cực từ truyền
thông quốc tế cũng như cộng đồng đam mê xe ô tô trong nước.
Xe tự hành VF31 và VF33 đều sử dụng cơng nghệ trí tuệ nhân tạo với hệ thống
tự hành cấp độ 2 và 3. Xe điện tự hành VinFast sở hữu tới 30 tính năng thơng minh
được chia làm 7 nhóm đó là:
➢ Hệ thống thơng minh hỗ trợ lái xe an toàn.
➢ Hệ thống hỗ trợ kiểm sốt làn thích ứng.
➢ Hệ thống chủ động kiểm sốt hành trình.
➢ Hệ thống thơng báo va chạm đa điểm.
➢ Hệ thống kiểm sốt va chạm tồn diện.
➢ Hệ thống tự động đỗ xe thông minh.
➢ Hệ thống kiểm soát kỹ thuật lái xe.


4

Hình 1.2 Người dùng hồn tồn có thể thư giãn khi VF31 vận hành dưới tốc độ
60km/h
Sự kiện VinFast công bố dịng xe SUV thơng minh, sử dụng cơng nghệ trí tuệ
nhân tạo đã để lại dấu ấn quan trọng của ngành công nghiệp ô tô Việt Nam. Điều này
mở ra cánh cửa để những chiếc ô tô tự hành thông minh, ưu việt lăn bánh trên các đô
thị Việt và từng bước vươn ra thị trường thế giới.
Các chuyên gia ô tô hàng đầu thế giới gọi đây là “cú bứt phá” ngoạn mục đến từ
một đất nước nhỏ bé hình chữ S. Hiện VinFast đang sở hữu nhà máy điện hiện đại và
tự động hóa, những hạ tầng này sẽ giúp VinFast sớm hiện thực hóa lời hứa đưa xe điện

ra thị trường thế giới.
Từ năm 2016, FPT đã thành lập một Công ty chuyên về Automotive, nghiên
cứu phát triển công nghệ xe tự lái với quy mô 700 người hoạt động trong lĩnh vực này.
Cũng từ năm 2016, FPT đã bắt đầu tổ chức cuộc thi công nghệ Cuộc đua số với chủ đề
Lập trình xe tự hành với mong muốn đưa các bạn sinh viên công nghệ Việt Nam sẽ trở
thành lực lượng nòng cốt, tiên phong tham gia chuỗi giá trị cơng nghệ tồn cầu, góp
phần đưa Việt Nam có vị trí xứng đáng trong cuộc CMCN 4.0.

Hình 1.3 Tháng 10/2017, chiếc xe ơ tơ thương mại đầu tiên tích hợp cơng nghệ xe tự
hành do FPT nghiên cứu và phát triển đã thử nghiệm thành công trong khuôn viên của
công ty.


5
Đáng chú ý, từ giữa năm ngoái, những ứng dụng cơng nghệ mới nhất về xử lý
hình ảnh, trí tuệ nhân tạo, học sâu đã được FPT đưa vào thử nghiệm trên xe ơ tơ mơ
hình. Tháng 10/2017, chiếc xe ô tô thương mại đầu tiên tích hợp công nghệ xe tự hành
do FPT nghiên cứu và phát triển đã thử nghiệm thành công trong khuôn viên của công
ty. Kết quả thử nghiệm cho thấy, tốc độ trung bình của xe là 20km/h và chạy đường
trường có thể 40km/h.
Một số công ty trong nước cũng đang đầu tư rất mạnh vào công nghệ xe ô tô tự
hành và đã đạt được những thành tựu nhất định. Đây cũng là bước thúc đẩy sự phát
triển của thị trường ô tô Việt Nam, nâng tầm giá trị và sự cạnh tranh của xe ô tô tự
hành Việt Nam trên thị trường thế giới.
1.1.3. Sơ lược về hệ thống xe tự hành sử dụng mạng học sâu nhân tạo
Trong báo cáo này, chúng em trình bày xây dựng hệ thống xe tự hành gắn
camera thực hiện điều hướng tự động trong môi trường có vạch kẻ đường và biển báo
giao thơng dựa trên công nghệ học sâu. Hệ thống này là được cấu thành dựa trên hai
kỹ thuật: Tăng cường dữ liệu, xử lý ảnh và mạng nơ-ron tích hợp (CNN).


Hình 1.4 Qúa trình làm việc của hệ thống
Phát hiện, theo dõi và phân loại các đối tượng trong làn đường là một nhiệm vụ
rất quan trọng. Giải pháp nhằm cải thiện tại những nơi giao thơng có đơng người qua
lại. Các phương pháp và thuật toán khác nhau của thị giác máy tính được sử dụng để
phân tích thơng tin trực quan trong hình ảnh và video. [2]


6
1.1.3.1. Thuật toán phân cụm
Phân cụm là kỹ thuật rất quan trọng trong khai phá dữ liệu, nó thuộc lớp các
phương pháp học khơng có giám sát trong học máy. Có rất nhiều định nghĩa khác nhau
về kỹ thuật này, nhưng về bản chất ta có thể hiểu phân cụm dữ liệu là q trình nhóm
các đối tượng tương tự nhau trong tập dữ liệu vào các cụm sao cho các đối tượng cùng
cụm là tương đồng. Phân cụm là một kỹ thuật phổ biến để phân tích số liệu thơng tin,
các hệ trợ giúp quyết định, các thuật tốn nhận dạng mẫu và phân loại mẫu.... Mục
đích của phân cụm là tìm ra bản chất bên trong các nhóm của dữ liệu. Các thuật toán
phân cụm đều sinh ra các cụm, tuy nhiên khơng có tiêu chí nào là được xem là tốt
nhất, điều này phụ thuộc vào mục đích của phân cụm. [14]

Hình 1.5 Thuật tốn phân cụm.
Phân cụm dữ liệu truyền thống bao gồm hai mơ hình lớn: phân cụm có giám sát
và phân cụm khơng có giám sát. Phân cụm bán giám sát là sự kết hợp giữa phân cụm
giám sát và phân cụm khơng có giám sát, trong đó sử dụng một số thơng tin bổ trợ cho
trước trong q trình phân cụm. [14]
Ngồi cách phân chia các phương pháp phân cụm như trên, các phương pháp
phân cụm còn được chia thành hai loại: phân cụm rõ và phân cụm mờ. Trong phân
cụm rõ, với mỗi điểm dữ liệu thuộc vào chính xác một cụm. Trong phân cụm mờ, các
điểm dữ liệu có thể thuộc vào nhiều hơn một cụm tương ứng giá trị (độ thuộc) đi kèm.
Phân cụm mờ là một trong những kỹ thuật phân cụm được nhiều nhà khoa học
quan tâm nghiên cứu và được ứng dụng trong nhiều lĩnh vực nhận dạng, xử lý ảnh, xử



7
lý thơng tin... Các thuật tốn phân cụm mờ rất đa dạng nhờ FCM (Fuzzy C Means),
εFCM (insensitive Fuzzy C-means), FPCM (Fuzzy Possibilistic Cmeans), ... [14]
Phân cụm bán giám sát mờ là một mơ hình tương đối mới, đâylà một mở rộng
của phân cụm mờ bằng cách sử dụng các thơng tin biết trước đểgiám sát và hướng dẫn
q trình phân cụm, từ đó làm tăng chất lượng của cụm. [14]
Các thơng tin biết trước hay cịn gọi là các thơng tin bổ trợ nhằm mục đích
hướng dẫn, giám sát và điều khiển q trình phân cụm. Các thơng tin bổ trợ có thể
được xây dựng dựa trên các ràng buộc Must-link và Cannot-link, hoặc các nhãn đi
cùng các mẫu hay độ thuộc được xác định trước. Với phương pháp gán nhãn đi cùng
mẫu đòi hỏi một phần mẫu nhất định trong khơng gian mẫu có các nhãn đi kèm, các
mẫu cịn lại khơng có nhãn. Các thuật tốn phân cụm bán giám sát mờ phải kể đến nhờ
eSFCM, SSSFC (Semi-Supervised Standard Fuzzy Clustering), mạng nơron tự tổ chức
GSOM, GFMM,.. [14]
Pedrycz và Waletzky đã chỉ r rằng thường đối với các ứng dụng trong thế giới
thực đòi hỏi nhiều cách thức trung gian của việc tìm kiếm cấu trúc trong bộ dữ liệu,
hiệu quả của nó có thể được tăng cường đáng kể bằng cách sử dụng các thông tin biết
trước thậm chí một tỷ lệ phần trăm nhỏ của các mẫu được dán nhãn cũng cải thiện
đáng kể các kết quả của phân cụm. [14]
Việc lựa chọn phương pháp phân cụm là bước quan trọng trong việc giải quyết
vấn đề phân cụm. Lựa chọn mơ hình phân cụm phụ thuộc rất nhiều vào thuộc tính dữ
liệu đầu vào và mục đích phân cụm, hoặc đặt mức độ ưu tiên giữa chất lượng của cụm
hay thời gian thực hiện. [14]
Phân cụm dữ liệu đã được áp dụng trong các lĩnh vực khác nhau như phân đoạn
ảnh, nhận dạng đối tượng, ký tự và các chuyên ngành cổ điển như tâm lý học, kinh
doanh... Một số ứng dụng cơ bản của phân cụm dữ liệu bao gồm: Giao thông, Thương
mại, Sinh học, Phân tích dữ liệu khơng gian, Quy hoạch đơ thị, Khai phá Web, Y tế...
Dưới đây là hai mô hình chính hay được sử dụng gồm: Shallow machine

learning và Deep machine learnig.
Học máy nông (Shallow machine learning):


8
Các thuật tốn học máy nơng (SML) bao gồm các thuật toán ML truyền thống
và đơn giản. Các thuật toán này thường bao gồm một vài, nhiều lần, một lớp ẩn. Các
thuật tốn SML khơng thể trích xuất các tính năng từ đầu vào và các tính năng cần
được xác định trước. Đào tạo mơ hình chỉ có thể được thực hiện sau khi trích xuất đối
tượng địa lý.

Hình 1.6 Phân chia các mơ hình học máy nơng.
Mạng thần kinh nhân tạo (Artifical neural network): Mạng nơ-ron nhân tạo
(ANN) được phát triển, mô phỏng chức năng của não người để giải quyết các vấn đề
phi tuyến tính khác nhau. Nó là một mơ hình tốn học hoặc tính tốn bậc nhất bao gồm
một tập hợp các bộ xử lý hoặc tế bào thần kinh được kết nối với nhau. Do dễ thực hiện
và khả năng dự báo hiệu quả, ANN đã trở nên phổ biến trong lĩnh vực nghiên cứu dự
báo tắc nghẽn giao thơng.

Hình 1.7 Cấu trúc ANN đơn giản
Mơ hình hồi quy (Regression model): Hồi quy là một thuật tốn ML được giám
sát thống kê. Nó mơ hình hóa giá trị đầu ra được đánh số thực dự đốn dựa trên biến số
đầu vào độc lập. Các mơ hình hồi quy có thể được chia nhỏ hơn theo số lượng biến
đầu vào. Mơ hình hồi quy đơn giản nhất là hồi quy tuyến tính với một đặc điểm đầu
vào. Khi số đối tượng tăng lên, mơ hình hồi quy bội số được tạo ra.


9
Cây quyết định (Decision tree): Cây quyết định là một mơ hình dự đốn kết quả
đầu ra dựa trên một số biến đầu vào. Có hai loại cây: cây phân loại và cây hồi quy. Khi

hai cây này hợp nhất, một cây mới có tên là cây phân loại và cây hồi quy (CART) sẽ
tạo ra. Cây quyết định sử dụng các tính năng được trích xuất từ tồn bộ tập dữ liệu.
Rừng ngẫu nhiên là một thuật toán phân loại ML có giám sát là giá trị trung bình của
nhiều kết quả cây quyết định. Các tính năng được sử dụng ngẫu nhiên trong khi phát
triển cây quyết định. Nó sử dụng một lượng lớn các cây quyết định CART. Các cây
quyết định bỏ phiếu cho lớp dự đoán trong một mơ hình rừng ngẫu nhiên.
Máy vector hỗ trợ (Support vector machine): Máy vectơ hỗ trợ (SVM) là một
phương pháp học máy thống kê. Ý tưởng chính của mơ hình này là ánh xạ dữ liệu phi
tuyến tới một khơng gian tuyến tính có chiều cao hơn, nơi dữ liệu có thể được phân
loại tuyến tính bằng siêu phẳng. Do đó, nó có thể rất hữu ích trong việc xác định mơ
hình luồng giao thơng để dự đốn tắc nghẽn giao thông.
Học máy sâu (Deep machine learning):
Trong vài thập kỷ qua, Deep Learning đã được chứng minh là một cơng cụ rất
mạnh vì khả năng xử lý một lượng lớn dữ liệu. Sở thích sử dụng các lớp ẩn đã vượt
qua các kỹ thuật truyền thống, đặc biệt là trong nhận dạng mẫu. Một trong những
mạng thần kinh sâu phổ biến nhất là mạng thần kinh kết hợp.
Các thuật toán DML bao gồm một số lớp ẩn để xử lý các vấn đề phi tuyến. Ưu
điểm đáng kể nhất của các thuật tốn này là chúng có thể trích xuất các tính năng từ dữ
liệu đầu vào mà khơng cần biết trước. Khơng giống như SML, trích xuất tính năng và
đào tạo mơ hình được thực hiện cùng nhau trong các thuật tốn này. DML có thể
chuyển đổi dữ liệu lưu lượng lớn liên tục và phức tạp với thời gian thu thập giới hạn
thành các mẫu hoặc vectơ đặc trưng. Từ vài năm gần đây, DML đã trở nên phổ biến
trong các nghiên cứu dự đoán tắc nghẽn giao thông.


10
Hình 1.8 Phân ngành của các mơ hình học máy sâu
Convolutional neural network [6]: Mạng nơron tích chập (CNN) là một thuật
toán DML thường được áp dụng trong kỹ thuật lưu lượng. Do hiệu suất tuyệt vời của
CNN trong xử lý hình ảnh, đồng thời áp dụng trong dự đốn lưu lượng, dữ liệu lưu

lượng được chuyển đổi thành ma trận 2-D để xử lý. Có năm phần chính của cấu trúc
CNN trong giao thông vận tải: lớp đầu vào, lớp tích chập, lớp tổng hợp, lớp kết nối
đầy đủ và lớp đầu ra. Cả lớp chập và lớp gộp đều trích xuất các tính năng quan trọng.
Độ sâu của hai lớp này khác nhau trong các nghiên cứu khác nhau. Phần lớn các
nghiên cứu đã chuyển đổi dữ liệu lưu lượng truy cập thành hình ảnh của ma trận 2-D.

Hình 1.9 Cấu trúc mạng CNN
Mạng thần kinh tái diễn (Recurrent Neural Network): Mạng nơ-ron tái diễn
(RNN) được sử dụng rộng rãi trong việc xử lý dữ liệu lưu lượng tuần tự bằng cách
xem xét ảnh hưởng của hàng xóm liên quan. Bộ nhớ ngắn hạn dài (LSTM) là một
nhánh của RNN. Trong lớp ẩn của LSTM, có một khối bộ nhớ bao gồm bốn lớp NN,
có chức năng lưu trữ và điều chỉnh luồng thông tin. Trong những năm gần đây, với các
hệ thống thu thập dữ liệu khác nhau với khoảng thời gian kéo dài, LSTM đã trở nên
phổ biến.
Máy học cực đoan (Extreme learning machine): Trong những năm gần đây, một
thuật toán học tập mới được gọi là máy học cực đoan (ELM) được đề xuất để đào tạo
mạng nơ-ron chuyển tiếp cấp một lớp (SLFN). Trong ELM, trọng số đầu vào và độ
lệch ẩn được chỉ định ngẫu nhiên thay vì được điều chỉnh tồn bộ. Do đó, việc đào tạo
ELM diễn ra nhanh chóng.


11

Hình 1.10 Cấu trúc RNN đơn giản.

Hình 1.11 Sơ đồ máy học Extreme learning machine.

1.2. Nội dung nghiên cứu
Nghiên cứu, thiết kế chế tạo xe tự hành sử dụng mạng học sâu nhân tạo.
Nghiên cứu về đào tạo nhận dạng trên CNN và ứng dụng xử lý ảnh vào phân

tích làn đường cho xe tự hành.
Xe tự hành có gắn camera thực hiện nhiệm vụ điều hướng tự động trong mơi
trường có vạch kẻ đường và phát hiện các loại biển báo giao thông.
Đánh giá sai số sự nhận diện của xe so với thực tế để có hướng đi và cải thiện
hệ thống ưu việt hơn.
Nâng cao năng lực, khả năng tìm tịi sáng tạo và kinh nghiệm của nhóm đồ án
tốt nghiệp về thiết kế, lựa chọn thiết bị cơng nghệ.

1.3. Mục đích của đề tài
Nghiên cứu cơ sở để thiết kế, chế tạo xe tự hành sử dụng mạng học sâu nhân
tạo. Đề tài đưa ra sẽ phát triển theo tính ứng dụng thực tế, dựa trên việc nghiên cứu và
tìm tịi cơ sở lý thuyết. Đề tài cũng đã vận dụng các kiến thức khoa học về tâm lý học


12
để thu hút, tạo đam mê trong học tập của sinh viên, phát huy tính chủ động trong học
tập và nghiên cứu của sinh viên.
Xe tự hành có khả năng phát hiện và tránh chướng ngại vật, phân biệt các vật
thể như làn đường, biển báo, con người.
Theo số liệu thực tế cho thấy 90 – 95% các vụ đâm xe ô tô xảy ra là do sự bất
cẩn và mất tập trung của con người. Vì vậy xe tự hành giúp giảm thiểu tai nạn do các
vụ tai nạn xe hàng năm và bảo vệ môi trường.
Giúp tiết kiệm hàng trăm triệu đến hàng tỉ USD chi phí sửa chữa ơ tơ.
Xe tự hành giúp những người khơng có khả năng lái xe, người tàn tật hay người
già di chuyển dễ dàng, chủ động và thuận tiện hơn.

1.4. Phương pháp nghiên cứu
Phương pháp nguyên cứu lý thuyết
-


Tham khảo một số bài báo cáo của một số học giả nước ngoài tại một số
hội nghị khoa học quốc tế.

-

Dựa trên sự hướng dẫn của thầy cô, các học phần đã học (kỹ thuật điện
tử kỹ thuật vi xử lý, cơ sở hệ thống tự động, cảm biến và hệ thống …) và
tham khảo trên internet.

-

Sử dụng một số phần mềm lập trình, mơ phỏng để hỗ trợ như: Pycharm,
OpenCV, NX 12, Matlab, MPLAB IDE, Arduino IDE, Proteus…

-

Tính tốn để xe tự hành thực hiện nhiệm vụ điều hướng tự động trong
mơi trường có vạch kẻ đường và biển báo giao thơng.

Phương pháp ngun cứu thực nghiệm:
-

Thực hiện hồn thành từng giai đoạn của hệ thống.

-

Tính tốn, thiết kế và thử nghiệm hệ thống.

-


Thiết kế mơ hình thực tế và mơ phỏng hệ thống trên phần mềm Pycharm
và trên thực tế.


13

1.5. Đối tượng, phạm vi và giới hạn của đề tài
1.5.1. Đối tượng nghiên cứu
Việc sử dụng mạng nơ ron sâu học nhân tạo vào xe tự hành có ý nghĩa rất lớn
trong việc giải quyết việc tắc nghẽn giao thông và bảo vệ môi trường trong tương lai,
mở một hướng đi mới trong công cuộc khai thác các ứng dụng công nghệ tiên tiến để
phục vụ con người. Nhằm mục đích tối ưu hiệu suất khi sử dụng xe tự hành ở Việt
Nam hiệu quả và mở ra một tương lai để phát triển loại mơ hình này, đây chính là
động lực để nhóm em tìm hiểu và có thêm nhiều hiểu biết hơn và cách thiết kế, xây
dựng mơ hình.
Mơ hình sẽ đạt được các u cầu sau:
- Thiết kế hệ thống ứng dụng mạng nơ ron sâu học nhân tạo và xử lý ảnh.
- Đáp ứng các điều kiện cần để hệ thống chạy trơn tru.
- Tiến hành thực nghiệm trên video trên mạng và thực tế.
1.5.2. Phạm vi nghiên cứu:
- Dựa trên cơ sở lý thuyết để thiết lập hệ thống.
- Nghiên cứu, thiết kế chế tạo xe tự hành sử dụng mạng học sâu nhân tạo qt
vật thể tĩnh (đèn tín hiệu giao thơng, biển báo tốc độ…) và vật thể động (con người,
phương tiện xe cộ…) trên làn đường, tiến hành chạy thẳng, rẽ trái, rẽ phải làn đường.
- Tổng quan về hệ thống và tìm hiểu thêm các mơ hình đã được nghiên cứu trên
thế giới.
1.5.3. Giới hạn đề tài:
- Hệ thống có độ chính xác, nhanh nhạy và tối ưu nhất có thể.
- Hệ thống có thể chạy thành cơng ở các tuyến đường trên hệ thống mô phỏng
trực tiếp.

- Ứng dụng xử lý ảnh vào phân tích làn đường cho xe tự hành.