ứng dụng xử lý ảnh và iot trong hệ thống

Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (4.47 MB, 81 trang )

<span class="text_page_counter">Trang 1</span><div class="page_container" data-page="1">

<b>ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN</b>

<b>ỨNG DỤNG XỬ LÝ ẢNH VÀ IOT TRONG HỆ THỐNGGIÁM SÁT TÀI XẾ TRÊN Ô TƠ KẾT HỢP NHẬN</b>

<b>DIỆN GIỌNG NĨI</b>

Thuộc nhóm ngành khoa học: Khoa học kỹ thuật

Lớp, khoa: 211511 – Khoa Điện – điện tử Năm thứ: 3/Số năm đào tạo:4 Ngành học: Công nghệ kỹ thuật điều khiển và tự động hóa

Sinh viên chịu trách nhiệm đề tài: _____

Người hướng dẫn: TS. Trần Vi Đơ

<b>TP Hồ Chí Minh, Tháng 9/Năm 2023</b>

</div><span class="text_page_counter">Trang 2</span><div class="page_container" data-page="2">

<b>CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAMĐộc lập – Tự do – Hạnh phúc</b>

<b>NHIỆM VỤ NGHIÊN CỨU KHOA HỌC</b>

<b>TÊN ĐỀ TÀI: ỨNG DỤNG XỬ LÝ ẢNH VÀ IOT TRONG HỆ THỐNGGIÁM SÁT TÀI XẾ TRÊN Ô TÔ KẾT HỢP NHẬN DIỆN GIỌNG NÓI</b>

Sinh viên thực hiện:

<b>I. NỘI DUNG</b>

1. Các số liệu ban đầu:

 Các thiết bị sử dụng trong mơ hình : 1 máy tính, 1 wedcam Logitech c270, module SIM800l, mạch NEO-6M GPS định vị, module ESP8266, mạch giảm áp LM2596 .... 2. Nội dung thực hiện:

 Tổng quan về xử lý ảnh; Tìm hiểu phương pháp phát hiện xác minh khuôn mặt và nhận diện khuôn mặt; Phương pháp phát hiện và nhận diện giọng nói; Tìm hiểu về máy tính và các dạng máy tính nhúng; Tìm hiểu về ngơn ngữ lập trình python và các thư viện dùng để xử lý ảnh, video; Viết chương trình trên máy tính; Thiết kế chương trình máy tính theo dõi tình trạng tài xế trên ô tô; Gửi dữ liệu thu thập được lên cơ sở dữ liệu; Định vị vị trí tài xế và gửi về số điện thoại khi gặp tai nạn…

<b>II. THỜI GIAN THỰC HIỆN</b>

 Ngày bắt đầu: 15/05/2023  Ngày hồn thành:10/09/2023

Tp. Hồ Chí Minh, ngày 10 tháng 09 năm 2023

</div><span class="text_page_counter">Trang 3</span><div class="page_container" data-page="3">

<b>TÓM TẮT</b>

Ngày nay với sự phát triển và tiến bộ không ngừng của khoa học công nghệ, xử lý ảnh là một trong những chủ đề cần được quan tâm và phát triển. Từ những nghiên cứu ban đầu về ảnh đen trắng, ảnh xám và ảnh màu, xử lý ảnh đã được đi sâu nghiên cứu và ứng dụng rộng rãi trong đời sống hàng ngày. Vấn đề về xe tự hành đang phát triển mạnh ở Việt Nam cũng như thế giới hiện nay, tuy nhiên vẫn chưa đạt độ an toàn tuyệt đối để giản bớt nhiệm vụ của tài xế được. Do đó, hệ thống giám sát và báo động cho tài xế khi tham gia giao thông là điều cần thiết.

Đề tài “Ứng dụng xử lý ảnh và IOT trong hệ thống giám sát tài xế trên ô tô kết hợp với nhận diện giọng nói” là mơ hình nhận diện xác minh tài xế, xử lý khuôn mặt người dùng để nhận diện trạng thái mắt, miệng phát hiện trạng thái ngủ gật và đưa ra cảnh báo, từ dữ liệu thu được sẽ gửi lên cơ sở dữ liệu. Khi đó dựa trên cảnh báo đó để điều khiển được thì chúng tơi đã thêm chức năng có thể điều khiển qua giọng nói và trích xuất thơng tin đến điện thoại người dùng. Dựa trên ngôn ngữ lập trình Python với thư viện chính là OpenCV. Ở đây sử dụng phương pháp sao chép đặc trưng, đặc điểm riêng biệt trên ảnh của người dùng để đi nhận dạng. Ngồi ra, hệ thống có kết hợp IOT để gửi dữ liệu lên cơ sở dữ liệu và gửi vị trí của tài xế về số điện thoại người thân khi tài xế gặp tai nạn. Kết quả thực hiện của đề tài đã nhận diện được khuôn mặt của người dùng và điều khiển giọng nói bật tắt chế độ muốn thực hiện và thu thập dữ liệu không d

</div><span class="text_page_counter">Trang 4</span><div class="page_container" data-page="4">

2.1.2 Các bước cơ bản trong xử lý ảnh...14

2.2 Giải thuật AdaBoost [5]...15

2.3 Đặc trưng Haar - Like [5]...17

2.4 Giải thuật Facial Landmarks...21

2.4.1 Giới thiệu về Facial Landmarks [6]...21

2.4.2 Tìm hiểu bộ phát hiện dấu mốc trên khuôn mặt của Cvzone [6]....22

iii

</div><span class="text_page_counter">Trang 5</span><div class="page_container" data-page="5">

2.5 Khoảng cách Euclide [7]...22

2.6 Thuật toán facenet:...23

2.6.1 Khái qt thuật tốn...23

2.7 Giới thiệu ngơn ngữ Python và thư viện OpenCV...24

2.7.1 Ngôn ngữ Python...24

2.7.2 Thư viện OpenCV...28

2.7.3 Thư viện cvzone:...29

2.8 Tổng quan về máy tính nhúng...29

2.8.1 Giới thiệu tổng quan...29

2.8.2 Ưu điểm và nhược điểm của máy tính nhúng...30

</div><span class="text_page_counter">Trang 6</span><div class="page_container" data-page="6">

2.12.3 Ứng dụng...36

2.13Xây dựng Website PHP với ESP8266 kết hợp MYSQL:...36

2.13.1 Cài đặt và khởi động phần mềm Xampp :...36

2.13.2 Xây dựng website PHP kết hợp với MySQL :...36

2.14Tổng quan về xử lý giọng nói...39

3.1.1 Thiết kế sơ đồ khối hệ thống:...46

3.1.2 Vẽ mạch giao tiếp giữa ESP8266, module sim 800L và GPS :...46

3.1.3 Lưu đồ hoạt động tồn bộ chương trình hệ thống :...47

<b>CHƯƠNG 4. THI CÔNG HỆ THỐNG...49</b>

</div><span class="text_page_counter">Trang 7</span><div class="page_container" data-page="7">

6.2 Hướng phát triển...64

<b>DANH MỤC CÁC TỪ VIẾT TẮT</b>

AI: Artificia Intelligence OpenVC: Open Computer Vision SOC: System On Chip GPIO: General Purpose Input Output DSI: Display Serial Interface

CSI: Camera Serial Interface LCD: Liquid Crystal Display NC: Normal Close NO: Normal Open

</div><span class="text_page_counter">Trang 8</span><div class="page_container" data-page="8">

<b>DANH MỤC CÁC BẢN BIỂU</b>

Bảng 1: Thông số kỹ thuật Wedcam Logitech C270...33

Bảng 2: Thông số kỹ thuật của ESP8266...34

Bảng 3: Thông số kỹ thuật Module Relay 4 kênh...35

Bảng 4: Thông số kỹ thuật module định vị gps...36

Bảng 5: Liệt kê danh sách phần cứng...49

vii

</div><span class="text_page_counter">Trang 9</span><div class="page_container" data-page="9">

Hình 2-6: Mơ hình phân tầng kết hợp các bộ phận loại yếu...16

Hình 2-7: Kết hợp các bộ phân loại yếu thành bộ phân loại mạnh...17

Hình 2-8: Đặc trưng theo cạnh...17

Hình 2-9: Đặc trưng theo đường...18

Hình 2-10: Đặc trưng theo xung quanh tâm...18

Hình 2-11: Đặc trưng theo đường chéo...19

Hình 2-12: Cách tính Integral Image của ảnh...19

Hình 2-13: Cách tính tổng giá trị pixel vùng cần tính...20

Hình 2-14: Hệ thống phát hiện khn mặt...20

Hình 2-15: Tọa độ đánh dấu cấu trúc khuôn mặt từ tập dữ liệu trong cvzone...22

Hình 2-16: Ảnh minh họa về quá trình sau huấn luyện...24

Hình 2-17: Các cổng giao tiếp ngoại vi...31

Hình 2-18: Thiết bị Jetson Nano...32

Hình 2-19: Webcam Logitech C270...32

Hình 2-20: Module NodeMCU ESP8266...34

Hình 2-21: Sơ đồ chân module sim 800l...35

Hình 2-22: Hình ảnh mạch định vị GPS...35

Hình 2-23: Cài đặt và khởi chạy xampp...36

Hình 2-24: Tìm địa chỉ IP của mạng đang sử dụng...37

Hình 2-25: File install để đăng nhập vào MySQL...37

Hình 2-26: Gửi dữ liệu thu nhập được lên cơ sở dữ liệu...38

Hình 2-27: Giao diện hiển thị trên cơ sở dữ liệu để theo dõi...38

viii

</div><span class="text_page_counter">Trang 10</span><div class="page_container" data-page="10">

Hình 2-28:Bảng dữ liệu được tạo trên cơ sở dữ liệu...39

Hình 2-29: Các bước xử lý giọng nói...39

Hình 2-30: Hoạt động của mạng lưới thần kinh...41

Hình 2-31: Hình ảnh mơ tả trọng số được nhân với tín hiệu đầu vào...42

Hình 3-3: Lưu đồ hoạt động chính của hệ thống giám sát tài xế...47

Hình 3-4: Lưu đồ hoạt động của hàm xử lý dữ liệu người dùng...48

Hình 3-5: Cách thức ngắt chương trình bằng giọng nói khi đang nhận diện mặt...48

Hình 4-1: Phần cứng giao tiếp các module...50

Hình 4-2: Khai báo các biến để truyền nhận dữ liệu...51

Hình 4-3: Hàm nhận lệnh từ Python và tách chuỗi vừa nhận...51

Hình 4-4: Gửi các dữ liệu đã tách lên cơ sở dữ liệu...52

Hình 4-5: Gửi tin nhắn về người thân khi gặp nguy hiểm...52

Hình 4-6: Khai báo các thư viện và các chức năng cần thiết...53

Hình 4-7: Tạo hàm đọc văn bản và chuyển giọng nói thành văn bản...53

Hình 4-8: Kiểm sốt số lượng người dùng đã trong tập dữ liệu dataset...54

Hình 4-9: Hàm nhận diện, xử lý khn mặt tài xế...55

Hình 4-10: Mở khung command trực tiếp tại thư mục chứa file...55

Hình 4-11: Kích hoạt mơi trường ảo trên Python...56

Hình 4-12: Mở thư mục face-recognition-master...56

Hình 5-1: Bắt đầu chương trình xác minh khn mặt...57 ix

</div><span class="text_page_counter">Trang 11</span><div class="page_container" data-page="11">

Hình 5-2: Xác minh thành cơng tiến hành chọn chế độ...57

Hình 5-3: Khởi động chế độ giám sát tình trạng tài xế...58

Hình 5-4: Dừng chương trình bằng giọng nói...58

Hình 5-5: Dữ liệu được thu thập trên cơ sở dữ liệu...59

Hình 5-6: Gửi tin nhắn định vị vị trí của tài xế cho người thân...59

Hình 5-7: Trường hợp dữ liệu tài xế chưa có trong tệp dữ liệu...60

Hình 5-8: Nhập tên người muốn thêm vào tệp dữ liệu...60

Hình 5-9: Bắt đầu lấy ảnh người dùng...61

Hình 5-10: Xử lý, trích xuất đặc trưng ảnh người dùng và lưu trữ...61

Hình 5-11: Mời người dùng xóa bớt tệp cũ ít sử dụng...62

Hình 5-12: Thêm người mới vào tệp dữ liệu hoàn tất...62

</div><span class="text_page_counter">Trang 12</span><div class="page_container" data-page="12">

BỘ GIÁO DỤC VÀ ĐÀO TẠO

<b>TRƯỜNG ĐH SƯ PHẠM KỸ THUẬT TPHCM</b>

<b>THÔNG TIN KẾT QUẢ NGHIÊN CỨU CỦA ĐỀ TÀI</b>

<b>1. Thông tin chung:</b>

<b>- Tên đề tài: Ứng dụng xử lý ảnh trong hệ thống chống ngủ gật trên ô tô kết hợp nhận </b>

diện giọng nói

- Chủ nhiệm đề tài: Trần Minh Hoàng Mã số SV: 21151236

- Thành viên đề tài:

3 Báo Ngọc Đăng Khoa 21151408 211511 Điện – điện tử

- Người hướng dẫn: TS Trần Vi Đô

 Xây dựng thuật toán nhận diện khuôn mặt từ thư viện ảnh có sẵn thơng qua wedcam, Điều khiển hệ thống tiện nghi thơng qua giọng nói đã được lập trình.

 Là bước đệm cho mơ hình xe tự lái, khóa bảo mật, đỗ xe tự động…

<b>4. Kết quả nghiên cứu:</b>

 Nhận diện được khn mặt của từng người dùng, Điều khiển giọng nói bật, tắt và chọn chế độ chống ngủ gật và gửi thông tin tài xế khi ngủ gật lên cơ sở dữ liệu, Gửi tin nhắn báo động về điện thoại người thân khi tài xế gặp tai nạn.

<b>5. Đóng góp về mặt giáo dục và đào tạo, kinh tế - xã hội, an ninh, quốc phòng vàkhả năng áp dụng của đề tài: sử dụng làm mơ hình học tập cho sinh viên, có thể phát</b>

triển cho các hệ thống an tồn tiện nghi khác trên xe ơ tô…

<b>6. Công bố khoa học của SV từ kết quả nghiên cứu của đề tài (ghi rõ tên tạp chí</b>

nếu có)

hoặc nhận xét, đánh giá của cơ sở đã áp dụng các kết quả nghiên cứu (nếu có):

</div><span class="text_page_counter">Trang 65</span><div class="page_container" data-page="65">

Hình 4-47: Gửi các dữ liệu đã tách lên cơ sở dữ liệu

Hình 4.4: xế tham gia giao thông là : Tên tài xế, số lần nhắm mắt trong 5s, thời gian nhắm mắt , số lần ngáp và định vị vị trí hiện tại của tài xế. Gửi dữ liệu lên cơ sở dữ liệu với chu kì 5s.

Hình 4-48: Gửi tin nhắn về người thân khi gặp nguy hiểm

Hình 4.5Khi thời gian nhắm mắt của tài xế đạt ngưỡng nguy hiểm (5 phút ), nguy cơ tài xế bị tai nạn rất cao. Do đó hệ thống sẽ gửi tin nhắn về người thân kèm theo định vị địa chỉ hiện tại của xe để ra tín hiệu cầu cứu.

<b>5.2.4Lập trình Python</b>

</div><span class="text_page_counter">Trang 66</span><div class="page_container" data-page="66">

Hình 4-49: Khai báo các thư viện và các chức năng cần thiết

Hình 4-50: Tạo hàm đọc văn bản và chuyển giọng nói thành văn bản Sử dụng thư viện pyttsx3 để đọc văn bản, tạo trợ lý ảo tương tác với tài xế. Để máy tính hiểu được tài xế nói, ta cần phải chuyển âm thanh nghe được sang văn bản, từ đó xử lý các trường hợp có thể xảy ra để đảm bảo hệ thống hoạt động đúng với yêu cầu đã đặt ra .

</div><span class="text_page_counter">Trang 67</span><div class="page_container" data-page="67">

Hình 4-51: Kiểm sốt số lượng người dùng đã trong tập dữ liệu dataset Do bộ nhớ của hệ thống có giới hạn nên việc kiểm soát bộ nhớ tập dữ liệu là rất cần thiết. Các hàm ở trên có chức năng đếm số thư mục và xóa dữ liệu người dùng cũ để

tiếp nhận người dùng mới , đảm bảo dung lượng hệ thống ln ở mức ổn định.

</div><span class="text_page_counter">Trang 68</span><div class="page_container" data-page="68">

Hình 4-52: Hàm nhận diện, xử lý khuôn mặt tài xế

Chức năng của hàm nhận diện khuôn mặt là đếm số lần nhắm mắt, đếm thời gian nhắm mắt, số lần ngáp được xác định bằng các phép tính tốn khoảng cách giữa các điểm quan trọng trên khuôn mặt.

<b>5.2.5Hướng dẫn sử dụng và thao tác</b>

Đầu tiên, ta cần kích hoạt phần mềm Xampp như hình 2.25 để mở cơ sở dữ liệu. Tiếp theo, ta vào đường dẫn sau để mở khung command trực tiếp tại thư mục chứa file:

Hình 4-53: Mở khung command trực tiếp tại thư mục chứa file

</div><span class="text_page_counter">Trang 69</span><div class="page_container" data-page="69">

Tiếp theo, ta nhập lệnh : Scripts\activate để kích hoạt mơi trường ảo Python:

Hình 4-54: Kích hoạt mơi trường ảo trên Python

Mở thư mục face-recognition-master bằng lệnh : cd face-recognition-master.

Hình 4-55: Mở thư mục face-recognition-master

Bước cuối cùng, ta chỉ cần chạy file test.py để khởi động chương trình. Tuy nhiên, hãy chắc chắn rằng module sim 800L đã bắt được sóng và GPS đã hoạt động ổn định.

</div><span class="text_page_counter">Trang 70</span><div class="page_container" data-page="70">

<b>CHƯƠNG 6. KẾT QUẢ THỰC NGHIỆM6.1Kết quả</b>

Hình 5-56: Bắt đầu chương trình xác minh khn mặt

Hình 5-57: Xác minh thành cơng tiến hành chọn chế độ

</div><span class="text_page_counter">Trang 71</span><div class="page_container" data-page="71">

Sau khi xác minh dữ liệu khuôn mặt tài xế tồn tại trong tệp dữ liệu, hệ thống mời tài xế chọn chế độ hoạt động : “number one” để chuyển sang chế độ chống ngủ gật, “number two” để thoát chương trình.

Hình 5-58: Khởi động chế độ giám sát tình trạng tài xế

Dữ liệu thu thập được bao gồm các giá trị: Số lần chớp mắt trong 5s, thời gian nhắm mắt, số lần ngáp và biến frame để ngắt chương trình tiến hành nhận diện giọng nói để chọn chế độ. Khi thời gian nhắm mắt quá 3s thì hệ thống sẽ phát âm thanh báo động tài xế để cảnh báo nguy hiểm, giúp cho tài xế kiểm sốt được tình trạng của mình.

Đối với biến Yawn, khi tài xế ngáp quá 3 lần thì hệ thống sẽ cảnh báo tài xế.

</div><span class="text_page_counter">Trang 72</span><div class="page_container" data-page="72">

Hình 5-59: Dừng chương trình bằng giọng nói

</div><span class="text_page_counter">Trang 73</span><div class="page_container" data-page="73">

Hình 5-60: Dữ liệu được thu thập trên cơ sở dữ liệu

Hình 5-61: Gửi tin nhắn định vị vị trí của tài xế cho người thân

</div><span class="text_page_counter">Trang 74</span><div class="page_container" data-page="74">

Điều kiện để tin nhắn có thể gửi vị trí định vị về là module GPS Neo 6M phải trong trạng thái ổn định, bắt được tín hiệu GPS và thời gian nhắm mắt đạt mức báo động quá 5 phút.

</div><span class="text_page_counter">Trang 75</span><div class="page_container" data-page="75">

Hình 5-62: Trường hợp dữ liệu tài xế chưa có trong tệp dữ liệu

Nếu trường hợp hệ thống chưa nhận diện được khuôn mặt tài xế, hệ thống sẽ lặp lại việc nhận diện 3 lần để kiểm chứng rằng dữ liệu tài xế có hay chưa. Nếu sau 3 lần nhận diện mà hệ thống vẫn không nhận diện được, tiến hành mở rộng tệp dữ liệu.

Hình 5-63: Nhập tên người muốn thêm vào tệp dữ liệu

Để tiến hành việc mở rộng tệp dữ liệu người dùng, ta sẽ nói “okay” để bắt đầu. Nhập tên người mới và tiến hành các bước sau.

Hình 5-64: Bắt đầu lấy ảnh người dùng

</div><span class="text_page_counter">Trang 76</span><div class="page_container" data-page="76">

Hình 5-65: Xử lý, trích xuất đặc trưng ảnh người dùng và lưu trữ

Sau khi chụp khuôn mặt người dùng ở các góc khác nhau , hệ thống tiến hành xử lý dữ liệu, trích xuất đặc trưng ảnh và lưu trữ vào mục dataset.

Tuy nhiên, bộ nhớ của hệ thống có giới hạn, việc lưu trữ số lượng tệp dữ liệu lớn có thể gây ảnh hướng đến q trình hoạt động và xử lý của toàn bộ hệ thống. Để giải quyết tình trạng này, nhóm đã giới hạn lượng tệp dữ liệu người dùng là 4 người. Nếu quá 4 người thì hệ thống sẽ mời người dùng xóa 1 tệp cũ đi.

Hình 5-66: Mời người dùng xóa bớt tệp cũ ít sử dụng

</div><span class="text_page_counter">Trang 77</span><div class="page_container" data-page="77">

Sau q trình trích xuất đặc trưng ảnh và lưu trữ dữ liệu người mới, hệ thống sẽ in ra các tệp hiện có trong dataset. Người dùng cần xóa 1 trong các tệp trên để đảm bảo dung lượng bộ nhớ cho hệ thống.

Hình 5-67: Thêm người mới vào tệp dữ liệu hoàn tất

Hệ thống chống ngủ gật trên ô tô áp dụng xử lý ảnh là một cơng nghệ hữu ích và tiên tiến để giảm nguy cơ tai nạn giao thông do ngủ gật của tài xế. Dưới đây là một số kết quả đạt được của hệ thống này:

 Hiệu quả chính xác trong việc phát hiện: Hệ thống chống ngủ gật sử dụng xử lý ảnh để phát hiện các dấu hiệu của sự mệt mỏi và ngủ gật của tài xế như nhắm mắt quá lâu, ngáp nhiều, số lần chớp mắt trong 5s tăng dần. Khi hệ thống phát hiện được các dấu hiệu này, hệ thống sẽ cảnh báo tài xế bằng cách kích hoạt âm thanh báo động.

 Dữ liệu liên tục được cập nhật lên cơ sở dữ liệu để dễ dàng theo dõi, giám sát tình trạng tài xế. Phần cứng hoàn thành được những yêu cầu ban đầu mà nhóm đã đề ra, chi phí thấp.

 Kiểm soát các tệp dữ liệu người dùng nhưng vẫn giữ được độ chính xác tốt và ổn định.

Bên cạnh đó vẫn cịn những hạn chế của đề tài cần được nghiên cứu và phát triển hơn:

</div><span class="text_page_counter">Trang 78</span><div class="page_container" data-page="78">

 Q trình xử lý, trích xuất đặc trưng ảnh của người dùng còn chậm.  Khi nhận diện giọng nói chưa đạt độ ổn định cao, dễ bị nhiễu bởi âm

thanh bên ngoài.

 Việc sử dụng phương pháp nhận diện khn miệng để ngắt chương trình giám sát tài xế chưa phải là cách tối ưu.

 Module GPS Neo 6M chỉ hoạt động ổn định ở vị trí thống mát như ngồi trời.

 Module sim 800L có thể bị mất sóng ở vùng khơng được bao phủ mạng di động tương ứng.

</div><span class="text_page_counter">Trang 79</span><div class="page_container" data-page="79">

<b>CHƯƠNG 7.KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN</b>

Ứng dụng xử lý ảnh và IoT trong hệ thống giám sát tài xế trên ơ tơ kết hợp nhận diện giọng nói là một đề tài hứa hẹn và có tiềm năng trong việc nâng cao an tồn giao thơng và tăng cường sự tương tác giữa người lái và xe.

Xử lý ảnh có thể được sử dụng để phát hiện và theo dõi các dấu hiệu mệt mỏi, ngủ gật, hoặc sự mất tập trung của tài xế. Khi phát hiện các hành vi nguy hiểm, hệ thống có thể cảnh báo tài xế hoặc thực hiện các biện pháp an toàn.

Nhận diện giọng nói cung cấp một phương pháp tương tác tự nhiên giữa tài xế và hệ thống. Hệ thống sẽ nhận diện và xử lý các lệnh giọng nói để thực hiện các hoạt động tương ứng, giúp tài xế tăng cường sự tập trung vào việc lái xe mà không cần sử dụng tay để bật tắt.

Kết hợp giữa xử lý ảnh và IoT cùng với nhận diện giọng nói trong hệ thống giám sát tài xế trên ơ tơ mang lại nhiều lợi ích. Đầu tiên, nó giúp phát hiện sớm các tình huống nguy hiểm và ngăn chặn tai nạn giao thơng. Thứ hai, nó tạo ra một giao diện tương tác thuận tiện và an toàn giữa tài xế và hệ thống, giúp tăng cường tập trung và giảm sự phân tâm. Cuối cùng, nó có thể cung cấp dữ liệu quan trọng về hành vi lái xe để phân tích và cải thiện hiệu suất lái xe.

Tuy nhiên, để triển khai thành công hệ thống này, cần có sự tích hợp tốt giữa các thành phần xử lý ảnh, IoT và nhận diện giọng nói, đồng thời đảm bảo bảo mật và quyền riêng tư của dữ liệu tài xế. Ngoài ra, cần thực hiện các nghiên cứu và thử nghiệm để đảm bảo tính ổn định, độ tin cậy và hiệu quả của hệ thống trong các tình huống thực tế.

<b>7.2Hướng phát triển</b>

Đề tài "Ứng dụng xử lý ảnh và IoT trong hệ thống giám sát tài xế trên ô tô kết hợp nhận diện giọng nói " cần được phát triển nhằm nâng cao hiệu quả giám sát tình trạng tài xế và đảm bảo an tồn giao thơng. Bổ sung các phần mềm, thư viện hiện đại hỗ trợ hình ảnh xử lý tối ưu hóa và cải tiến, hệ thống cần cải thiện khả năng nhận dạng chính xác các hành vi nguy hiểm như mệt mỏi, ngủ gật, mất tập trung và thái độ lái xe khơng an tồn. Đồng thời, tích hợp các thiết bị IoT và thiết bị trong xe cho phép theo dõi trạng thái tâm lý và sức khỏe của tài xế, cùng với việc phát hiện các vấn đề nguy hiểm như tốc độ quá nhanh hoặc thay đổi hướng nhanh . Hơn nữa, việc cải thiện khả năng nhận diện giọng nói giúp tạo ra một giao diện tương tác an toàn và thuận tiện giữa tài xế và hệ thống .

</div>