Tải bản đầy đủ (.docx) (62 trang)

ỨNG DỤNG học máy vào NHẬN DIỆN BIỂU cảm của SINH VIÊN đại học THỦ dầu một SAU BUỔI học

Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (2.42 MB, 62 trang )

TRƯỜNG ĐẠI HỌC THỦ DẦU MỘT
VIỆN KỸ THUẬT – CÔNG NGHỆ

BÁO CÁO TỔNG KẾT
ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN CẤP ĐƠN VỊ
NĂM HỌC 2021-2022

ỨNG DỤNG HỌC MÁY VÀO NHẬN DIỆN BIỂU CẢM CỦA
SINH VIÊN ĐẠI HỌC THỦ DẦU MỘT SAU BUỔI HỌC

Thuộc nhóm ngành khoa học: Trí tuệ nhân tạo và khoa học dữ liệu

Bình Dương, tháng 04 năm 2022


TRƯỜNG ĐẠI HỌC THỦ DẦU MỘT
VIỆN KỸ THUẬT – CÔNG NGHỆ

BÁO CÁO TỔNG KẾT
ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN CẤP ĐƠN VỊ
NĂM HỌC 2021-2022

ỨNG DỤNG HỌC MÁY VÀO NHẬN DIỆN BIỂU CẢM CỦA
SINH VIÊN ĐẠI HỌC THỦ DẦU MỘT SAU BUỔI HỌC
Thuộc nhóm ngành khoa học: Trí tuệ nhân tạo và khoa học dữ liệu
ST
T
1
2

Họ và tên


Phạm Thái Bảo

MSSV
202480205000
7

Mai Đặng Sơn

202480103005

Tùng

9

3

Phan Thúy Thanh

4

Lục Tấn Khoa

212480205002
0
212480205002
2

Lớp

Khoa


D20TTNT01

KT-CN

D20KTPM02

KT-CN

D21TTNT01

KT-CN

D21TTNT01

KT-CN

Người hướng dẫn: ThS. Hồ Ngọc Trung Kiên
1

Ghi
chú


Bình Dương, tháng 04 năm 2022

2


UBND TỈNH BÌNH DƯƠNG


CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM

TRƯỜNG ĐẠI HỌC THỦ DẦU MỘT

Độc lập – Tự do – Hạnh phúc

THÔNG TIN KẾT QUẢ NGHIÊN CỨU CỦA ĐỀ TÀI
1. Thông tin chung:
- Tên đề tài: Ứng dụng máy học vào nhận diện biểu cảm của sinh viên đại học thủ dầu
một sau buổi học
- Sinh viên/ nhóm sinh viên thực hiện:
ST
T

Năm thứ/
Họ và tên

MSSV

Lớp

Khoa

Số năm
đào tạo

1

Phạm Thái Bảo


2024802050007

D20TTNT01

KT-CN

2/4

2

Mai Đặng Sơn Tùng

2024801030059

D20KTPM02

KT-CN

2/4

3

Phan Thúy Thanh

2124802050020

D21TTNT01

KT-CN


1/4

4

Lục Tấn Khoa

2124802050022

D21TTNT01

KT-CN

1/4

- Người hướng dẫn: ThS. Hồ Ngọc Trung Kiên
2. Mục tiêu đề tài:
Xây dựng hệ thống nhận diện biểu cảm của sinh viên thông qua đó giúp cho
giảng viên đánh giá buổi học, dễ dàng điều chỉnh và lựa chọn phương pháp giảng dạy
phù hợp, khoa học.
3. Tính mới và sáng tạo:
Thêm bộ lọc và hệ thần kinh nhằm cải thiện độ nhạy khi nhận diện biểu cảm tức
giận.
4. Kết quả nghiên cứu:
Xây dựng mơ hình huấn luyện và thử nghiệm nhận diện biểu cảm khuôn mặt.
Nhận diện được biểu cảm khuôn mặt cơ bản hạnh phúc, đau buồn, sợ hãi, tức giận,
ngạc nhiên, bình thường.
5. Đóng góp về mặt kinh tế - xã hội, giáo dục và đào tạo, an ninh, quốc phòng và
khả năng áp dụng của đề tài:
3



Giáo dục: hỗ trợ giảng viên cải thiện phương pháp giảng dạy cho sinh thấy được
nhiều cách tiếp cận nâng cao sự chủ động của sinh viên trong việc nghiên cứu học tập.
6. Công bố khoa học của sinh viên từ kết quả nghiên cứu của đề tài (ghi rõ họ tên
tác giả, nhan đề và các yếu tố về xuất bản nếu có) hoặc nhận xét, đánh giá của cơ sở
đã áp dụng các kết quả nghiên cứu (nếu có):

Ngày

tháng

năm 2022

Sinh viên chịu trách nhiệm chính
thực hiện đề tài
(ký, họ và tên)

Nhận xét của người hướng dẫn về những đóng góp khoa học của sinh viên thực
hiện đề tài (phần này do người hướng dẫn ghi):

Ngày
4

tháng

năm


Xác nhận của lãnh đạo khoa


Người hướng dẫn

(ký, họ và tên)

(ký, họ và tên)

5


UBND TỈNH BÌNH DƯƠNG

CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM

TRƯỜNG ĐẠI HỌC THỦ DẦU MỘT

Độc lập – Tự do – Hạnh phúc

THƠNG TIN VỀ SINH VIÊN
CHỊU TRÁCH NHIỆM CHÍNH THỰC HIỆN ĐỀ TÀI

I. SƠ LƯỢC VỀ SINH VIÊN:

Ảnh 4x6

Họ và tên: Phạm Thái Bảo
Sinh ngày: 19 tháng 03 năm 2002
Nơi sinh: Ninh Thuận
Lớp: D20TTNT01


Khóa: 2020-2025

Khoa: Viện kĩ thuật – công nghệ
Địa chỉ liên hệ: 424/39/8 tổ 4, khu phố 4, Phường Phú Hồ, tp Thủ Dầu Một, tỉnh Bình
Dương.
Điện thoại: 0369430009

Email:

II. QUÁ TRÌNH HỌC TẬP (kê khai thành tích của sinh viên từ năm thứ 1 đến năm
đang học):
* Năm thứ 1:
Ngành học: Trí tuệ nhân tạo và khoa học dữ liệu

Khoa: Viện kĩ thuật – công nghệ

Kết quả xếp loại học tập: giỏi
Sơ lược thành tích:

Ngày
Xác nhận của lãnh đạo khoa

tháng

năm 2022

Sinh viên chịu trách nhiệm chính

6



(ký, họ và tên)

thực hiện đề tài
(ký, họ và tên)

7


MỤC LỤC
MỤC LỤC.................................................................................................................. vii
DANH MỤC NHỮNG TỪ VIẾT TẮT......................................................................ix
DANH MỤC BẢNG BIỂU..........................................................................................x
DANH MỤC HÌNH....................................................................................................xi
A. PHẦN MỞ ĐẦU......................................................................................................1
1. Lí do chọn đề tài....................................................................................................1
2. Mục tiêu nghiên cứu..............................................................................................1
3. Đối tượng nghiên cứu............................................................................................1
4. Phạm vi nghiên cứu...............................................................................................1
5. Phương pháp nghiên cứu.......................................................................................1
6. Ý nghĩa đề tài........................................................................................................2
B. PHẦN NỘI DUNG..................................................................................................3
CHƯƠNG 1. CƠ SỞ LÍ THUYẾT.............................................................................3
1.1. Tổng quan tình hình nghiên cứu..........................................................................3
1.2. Một số khái niệm.................................................................................................5
1.2.1. Machine learning..........................................................................................5
1.2.2. Deep learning...............................................................................................8
1.2.3. Training set.................................................................................................10
1.2.4. Validation....................................................................................................10
1.2.5. Testing set...................................................................................................12

CHƯƠNG 2. MƠ HÌNH BÀI TỐN.......................................................................14
2.1. Quy trình thực hiện............................................................................................14
2.2. Mơ hình bài toán................................................................................................15
2.2.1. Train model.................................................................................................15
2.2.2. Thuật toán được sử dụng............................................................................16
2.2.3. Test model...................................................................................................19
CHƯƠNG 3. THỰC NGHIỆM VÀ ĐÁNH GIÁ.....................................................22
3.1. Chuẩn bị............................................................................................................22
3.1.1. Cấu hình máy..............................................................................................22
3.1.2. Phần mềm...................................................................................................22
3.1.3. Ngơn ngữ lập trình......................................................................................23
3.1.4. Các thư viện được sử dụng.........................................................................25
8


3.1.5. Mô tả bộ dữ liệu..........................................................................................29
3.2. Tiến hành...........................................................................................................30
3.2.1. Train model.................................................................................................30
3.2.2. Test model...................................................................................................33
3.3. Kết quả..............................................................................................................36
3.4. Đánh giá............................................................................................................37
C. PHẦN KẾT LUẬN................................................................................................38
1. Kết quả đạt được.................................................................................................38
2. Khuyến nghị........................................................................................................38
TÀI LIỆU THAM KHẢO.........................................................................................40

9


DANH MỤC NHỮNG TỪ VIẾT TẮT

Viết tắt

Tiếng anh
Machine learning
Deep learning
Train
Model

10

Tiếng việt
Máy học
Học sâu
Huấn luyện
Mẫu


DANH MỤC BẢNG BIỂU
Bảng 3.1: Phân chia tập dữ liệu...................................................................................30

11


DANH MỤC HÌNH
Hình 1.1: Machine learning workflow(website).......................................................6
Hình 1.2: Supervised learning(website)....................................................................7
Hình 1.3: Unsupervised learning(website)................................................................8
Hình 1.4: Deep learning(website).............................................................................9
Hình 1.5: Validation................................................................................................11
Hình 1.6: Testing set(website)................................................................................12

Hình 2.1: Quy trình thực hiện(website)..................................................................14
Hình 2.2: Khởi tạo các lớp player...........................................................................15
Hình 2.3: Quy trình train model..............................................................................16
Hình 2.4: Cấu trúc mạng CNN(website).................................................................18
Hình 2.5: Xử lí của mạng CNN(website)...............................................................19
Hình 2.6: Quy trình thử nghiệm nhận diện biểu cảm..............................................20
Hình 3.1: Máy được sử dụng(website)....................................................................22
Hình 3.2: Phần mềm sử dụng..................................................................................23
Hình 3.3: Python(website)......................................................................................24
Hình 3.4: Numpy(website).....................................................................................26
Hình 3.5: Keras(website)........................................................................................26
Hình 3.6: Tensorflow(website)...............................................................................27
Hình 3.7: OpenCV(website)...................................................................................28
Hình 3.8: Pillow(website).......................................................................................28
Hình 3.9: Matplotlib(website).................................................................................28
Hình 3.10: Tkinter(website)....................................................................................29
Hình 3.11: Mơ tả các biểu cảm có trong tập dữ liệu FER2013s..............................29
Hình 3.12: Nhận diện biểu cảm..............................................................................37

12


A. PHẦN MỞ ĐẦU
1. Lí do chọn đề tài
Với tình hình hiện nay hình thức học trực tuyến là giải pháp giúp chúng ta có thể
tiếp nhận thơng tin dễ dàng chỉ với một chiếc điện thoại, máy tính hoặc máy tính bảng
có kết nối Internet. Như vậy, học sinh có thể học tập từ xa mà khơng cần phải đến
trường học. Mặt khác hình thức này làm giảm khả năng truyền và đạt sự nhuyệt huyết
trong công tác giảng dạy, khó khăn trong việc tương tác qua lại giữa giảng viên, sinh
viên. Như vậy giảng viên khó có thể nắm bắt được tình hình học tập của sinh viên và

đưa ra phương pháp giảng dạy phù hợp. Ngoài ra nếu giảng dạy trong một lớp quá
đông giảng viên chỉ biết được tổng thể biểu cảm sinh viên và chưa thấy được từng các
biểu cảm khác. Bởi vì lí do đó, cần xây dựng hệ thống có thể nhận biết được biểu cảm
của sinh viên sau buổi học giúp cho giảng viên đưa ra phương pháp giảng dạy phù
hợp. Đó cũng là lý do nhóm nghiên cứu sinh chọn đề tài “ứng dụng máy học vào nhận
diện biểu cảm của sinh viên đại học thủ dầu một sau buổi học” làm đề tài nghiên cứu
khoa học.
2. Mục tiêu nghiên cứu
Nhận diện biểu cảm khn mặt thơng phân tích hình ảnh được lấy từ webcam
hoặc băng ghi hình. Đưa hình ảnh lấy được đưa vào thuật tốn phân tích và đưa ra biểu
cảm khn mặt trong đó. Từ đây nhận diện được biểu cảm của khuôn mặt và báo cáo
cho người dùng thơng tin tươn ứng và độ chính xác của dữ liệu.
3. Đối tượng nghiên cứu
Tập trung nghiên cứu nhận diện biểu cảm khuôn mặt người. Như các bạn đã biết
biểu cảm là sự biểu lộ, thể hiện tình cảm, tư tưởng của con người nhờ ngôn ngữ hay
một số phương tiện khác. Bởi lẽ trong cuộc sống, con người sẽ trải qua rất nhiều
những niềm vui, nỗi buồn, có tình u thương nhưng cũng có lịng căm giận… Và có
lẽ họ cũng muốn được bộc lộ, được chia sẻ những tình cảm, biểu cảm của mình. Thế
nên, biểu cảm chính là một nhu cầu tất yếu của con người trong cuộc sống hằng ngày.
4. Phạm vi nghiên cứu
Phạm vi nghiên cứu chỉ tập trung trong khối sinh viên lớp D20TTNT01,
D21TTNT01.
1


5. Phương pháp nghiên cứu
Phương pháp nghiên cứu lý thuyết:
- Tìm hiểu ngơn ngữ lập trình Python cơ bản, tìm hiểu các thư viện keras,
opencv, tensorflow và các khái niệm, một số các thuật toán liên quan đến machine
learning, deep learning. Thời gian thực hiện chiếm khoảng 50% thời gian nghiên cứu.

Cần tìm hiểu kĩ lưỡng về cách thực thi của các hàm, các tham số được truyền vào và
các giá trị đầu ra.
- Tìm kiếm bài báo liên quan đến nhận diện biểu cảm bằng nhiều phương pháp
khác nhau. Để tham khảo và kế thừa sự phát triển về nhận diện biểu cảm khuôn mặt và
công nghệ liên quan.
- Tìm hiểu về thuật tốn convolutional neural network(CNN), supper vector
machine(SVN).
Phương pháp thực nghiệm: Lập trình xây dựng ứng dụng học sâu
6. Ý nghĩa đề tài
Kết quả nghiên cứu của đề tài “ứng dụng học máy vào nhận diện biểu cảm khuôn
mặt của sinh viên Thủ Dầu Một sau giờ học” sẽ là căn cứ hỡ trợ giảng viên xác định
được biểu cảm của từng sinh trong quá trình giảng dạy. Từ đó cải thiện phương pháp
giảng dạy phù hợp cho sinh viên.

2


Chương 1. Cơ sở lí thuyết

B. PHẦN NỘI DUNG
CHƯƠNG 1.

CƠ SỞ LÍ THUYẾT

1.1. Tổng quan tình hình nghiên cứu
CHƯƠNG 2. Nhận dạng biểu cảm trên khn mặt là q trình xác
định các biểu cảm trên khuôn mặt của con người thông qua khuôn
mặt. Mọi người rất khác nhau với độ chính xác khác nhau trong việc
nhận biết biểu cảm của người khác. Trong sự lan rộng của các độ
chính xác khác nhau này, cơng nghệ có thể chứng minh kênh nhận

dạng biểu cảm cũng như phát triển một số mô hình để xác định biểu
cảm khn mặt chính xác của con người. Các phương tiện giao tiếp
bao gồm cử chỉ cơ thể, nét mặt,… ngồi lời nói. Cử chỉ cơ thể giúp
điều chỉnh giao tiếp trong lời nói, trong khi nét mặt thể hiện biểu cảm
của con người theo phản xạ. Nhận dạng biểu cảm khn mặt có ứng
dụng trong nhiều lĩnh vực khác nhau bao gồm khoa học lâm sàng,
khoa học hành vi,… Phát hiện nét mặt cũng là điều kiện tiên quyết
ngày nay đối với giao diện người - máy. Trong vài năm qua, một số
tiến bộ đã được thực hiện trong lĩnh vực phát hiện nét mặt, như kỹ
thuật trích xuất các đặc điểm trên khn mặt và phân loại biểu cảm.
Nhưng vẫn phải phát triển một hệ thống phát hiện biểu cảm khuôn
mặt tự động. Dự án này thực hiện nhận dạng khuôn mặt theo nhiều
cách, bằng cách sử dụng bộ mô tả (Histogram Of Orientation
Gradient) và SVM (Máy vectơ hỗ trợ) cho mơ hình đầu tiên trong khi
với các chiến lược đầu vào khác nhau cho Mạng nơ-ron tích chập
Convolutions Neural Network (CNN) trong các mơ hình khác. Sau đó,
CNN và SVM dự đốn nhãn theo một trong các biểu cảm trên khn
mặt sau: bình thường, hạnh phúc, sợ hãi, buồn bã, chán ghét, tức giận,
ngạc nhiên. Động cơ của việc kết hợp hai hoặc nhiều kỹ thuật và tiền
xử lý để đạt được kết quả có thể so sánh được thành cơng
CHƯƠNG 3. Bài tốn phát hiện biểu cảm khn mặt đã có lịch sử
nghiên cứu lâu dài. Từ năm 1964, Bledsoe là người đầu tiên xây dựng
chương trình nhận dạng khn mặt tự động kết hợp với hệ thống máy
tính, bằng cách phân loại khuôn mặt trên cơ sở mốc chuẩn được nhập
vào bằng tay. Các thông số để phân loại là khoảng cách chuẩn, tỉ lệ
giữa các điểm như góc, mắt, miệng, chóp mũi và chóp cằm. Sau này,
tại Bell Labs đã phát triển một kĩ thuật dựa trên vector với 21 thuộc
3



Chương 1. Cơ sở lí thuyết
tính khn mặt được phát hiện bằng cách sử dụng kỹ thuật phân loại
tiêu chuẩn mẫu. Các thuộc tính được lựa chọn đánh giá chủ yếu là:
màu tóc, chiều dài của đơi tai, độ dày môi... Năm 1986, hệ thống
WISARD dựa trên mạng nơron đã có thể nhận biết được tình trạng và
biểu cảm khn mặt một cách hạn chế.
CHƯƠNG 4. Phát hiện biểu cảm khuôn mặt là bước phát triển tiếp
sau của việc phát hiện khn mặt, tuy nhiên có nhiều quan điểm trong
việc định nghĩa khái niệm biểu cảm, vốn rất không rõ ràng.
Matsumoto phân chia biểu cảm khn mặt thành 7 nhóm thể hiện
chính: Vui vẻ, Ngạc nhiên, Hài lịng, Buồn bực, Cáu giận, Phẫn nộ và
Sợ hãi. Tuy nhiên, nhóm của Mase và Pentland cho rằng chỉ 4 loại
biểu cảm được thể hiện một cách rõ ràng là Hạnh phúc, Ngạc nhiên,
Giận giữ và Căm phẫn; các loại biểu cảm khác thường không rõ ràng
và tùy thuộc nhiều vào kinh nghiệm của người quan sát (tức là không
thể định lượng một cách chính xác). Cơ sở dữ liệu Radboud Faces
Database thì phân chia biểu cảm khuôn mặt thành 8 loại: Tức giận,
Căm phẫn, Sợ hãi, Hạnh phúc, Buồn rầu, Bất ngờ, Khinh miệt và
Trung lập. Dataset Kaggle FER-F2013 thì lại chỉ có 7 loại biểu cảm:
Giận dữ, Căm phẫn, Sợ hãi, Hạnh phúc, Buồn rầu, Bất ngờ và Trung
lập.
CHƯƠNG 5. Hiện nay vấn đề này vẫn đang được rất nhiều người
quan tâm bởi tính hấp dẫn cùng những vấn đề phức tạp của nó. Tính
đến hiện nay đã nhận diện được 8 trạng thái cơ bản gồm vui vẻ, rầu rĩ,
sợ hãi, ghê tởm, giận dữ, ngạc nhiên, hy vọng và tin tưởng bằng một
số công cụ được Microsoft áp dụng. Ngồi ra phịng nghiên cứu của
cơng ty Fujistu đã phát triển nhận diện thêm những trạng thái mới như
hồi hộp hoặc bối rối. Bằng việc xác định 2 thực hiện “gị má được
nâng lên” và “phía góc mơi được kéo giãn” xảy ra cùng lúc, AI sẽ đưa
ra kết luận trạng người dùng. Nhận dạng biểu cảm dựa trên nhận diện

các thành phần chính (PCA) truyền thống ngồi ra cịn kết hợp với
một số thuật toán như mạng noron, cây quyết định,…
CHƯƠNG 6. Trong nước có nhiều nghiên cứu về chủ đề nhận diện
biểu cảm như: tổng quan về ước lượng mức độ biểu cảm của người
4


Chương 1. Cơ sở lí thuyết
qua biểu cảm khn mặt và hướng tiếp cận dựa trên ảnh nhiệt [1], Mơ
hình khai phá ý kiến và phân tích biểu cảm khách hàng trực tuyến
trong ngành thực phẩm [2], sử dụng phương pháp support vector
machine và convolutional neural network để phân loại biểu cảm của
khuôn mặt [3], sử dụng phương pháp support vector machine và
convolutional neural network để phân loại biểu cảm của khn mặt
[4],…
CHƯƠNG 7. Ngồi nước có rất nhiều nghiên cứu về vấn đề nhận diện
biểu cảm như: Leveraging Recent Advances in Deep Learning for
Audio-Visual

Emotion Recognition [5],

Multimodal

Emotion

Recognition using Deep Learning Architectures [6], A Robust Method
for Face Recognition and Face Emotion Detection System using
Support Vector Machines [7],...
CHƯƠNG 8. Hiện nay trên thị trường đã có phần mềm nhận diện biểu
cảm như là: “MAL Face Emotion” ra mắt vào ngày 01/04/2020, nhận

diện được 5 loại biểu cảm của từng khn: bình thường, vui, buồn,
giận dữ và ngạc nhiê
8.1. Một số khái niệm
8.1.1. Machine learning
CHƯƠNG 9. Machine learning theo định nghĩa cơ bản là ứng dụng
các thuật tốn để phân tích cú pháp dữ liệu, học hỏi từ nó, và sau đó
thực hiện một quyết định hoặc dự đoán về các vấn đề có liên quan. Vì
vậy, thay vì code phần mềm bằng cách thức thủ công với một bộ
hướng dẫn cụ thể để hoàn thành một nhiệm vụ cụ thể, máy được “đào
tạo” bằng cách sử dụng một lượng lớn dữ liệu và các thuật tốn cho
phép nó học cách thực hiện các tác vụ. Điển hình là thuật tốn support
vector machine(SVM).
CHƯƠNG 10. Một trong những lĩnh vực ứng dụng tốt nhất cho
Machine learning trong nhiều năm qua là computer vision, mặc dù nó
vẫn địi hỏi rất nhiều kỹ năng code thủ cơng để có thể hồn thành cơng
5


Chương 1. Cơ sở lí thuyết
việc. Mọi người vẫn sẽ viết các lớp phân loại bằng tay như các bộ lọc
để chương trình có thể xác định nơi mà một đối tượng bắt đầu và kết
thúc. Phát hiện hình dạng để xác định nếu nó có tám mặt. Một phân
loại để nhận dạng các chữ cái “S-T-O-P”. Từ tất cả những ứng dụng
phân loại, họ sẽ phát triển các thuật tốn để làm cho hình ảnh và “học”
khả năng nhận diện dấu hiệu liệu nó có phải là kí hiệu stop hay
không?
CHƯƠNG 11. Một số khái niệm trong machine learning:
CHƯƠNG 12.

- Dataset (còn gọi là data corpus hay data stock): là


tập dữ liệu ở dạng nguyên thủy chưa qua xử lý mà bạn đã thu thập
được ở bước data collection. Một dataset sẽ bao gồm nhiều data point.
CHƯƠNG 13.

- Data point: là điểm dữ liệu, mỗi điểm dữ liệu biểu

diễn cho một quan sát. Mỗi data point có nhiều đặc trưng hay thuộc
tính khác nhau, được chia làm hai loại: dữ liệu số (numerical) và dữ
liệu khơng phải số (ví dụ như chuỗi) (non-numerical/categorical).
Data point được biểu diễn thành dòng tương ứng, mỗi dịng có thể có
1 hoặc nhiều dữ liệu (chính là các đặc trưng).
CHƯƠNG 14.

- Training data và test data: dataset thường sẽ được

chia làm 2 tập này, training data dùng để huấn luyện cho mơ hình, test
data dùng để dự đốn kết quả và đánh giá mơ hình. Có bài tốn người
ta sẽ cho sẵn hai tập này thì bạn khơng cần phải chia nữa, đối với bài
tốn chỉ cho mỗi dataset thơi thì phải chia ra. Thường tỷ lệ giữa tập
train và test sẽ là 8/2.
CHƯƠNG 15.

- Features vector: là vector đặc trưng, mỗi vector

này sẽ biểu diễn cho một điểm dữ liệu trong dataset. Mỗi vector có n
chiều biểu diễn các đặc trưng của điểm dữ liệu, mỗi đặc trưng là một
chiều và phải là dữ liệu số. Các mơ hình chỉ có thể huấn luyện được từ
các vector đặc trưng này, do đó dataset cần phải chuyển về dạng một
tập các vector đặc trưng (features vectors).


6


Chương 1. Cơ sở lí thuyết
CHƯƠNG 16.

- Model: là các mơ hình được dùng để training trên

một training data theo thuật tốn của mơ hình đó. Sau đó mơ hình có
thể dự đốn hoặc đưa ra các quyết định dựa trên những gì chúng đã
được học.
CHƯƠNG 17. Machine learning workflow là các bước cụ thể trong
machine learning như:
CHƯƠNG 18.

Hình 18.1.1.1: Machine learning workflow(website)
CHƯƠNG 19.

- Data collection – thu thập dữ liệu: để máy tính có

thể học được bạn cần có một bộ dữ liệu (dataset), bạn có thể tự thu
thập chúng hoặc lấy các bộ dữ liệu đã được công bố trước đó. Lưu ý là
bạn phải thu thập từ nguồn chính thống, có như vậy dữ liệu mới chính
xác và máy có thể học một cách đúng đắng và đạt hiệu quả cao hơn.
CHƯƠNG 20.

- Preprocessing – tiền xử lý: bước này dùng để

chuẩn hóa dữ liệu, loại bỏ các thuộc tính khơng cần thiết, gán nhãn dữ

liệu, mã hóa một số đặc trưng, trích xuất đặc trưng, rút gọn dữ liệu
nhưng vẫn đảm bảo kết quả… Bước này tốn thời gian nhất tỉ lệ thuận

7


Chương 1. Cơ sở lí thuyết
với số lượng dữ liệu bạn có. Bước 1 và 2 thường chiếm hơn 70% tổng
thời gian thực hiện.
CHƯƠNG 21.

- Training model – huấn luyện mơ hình: bước này là

bước bạn huấn luyện cho mơ hình hay chính là cho nó học trên dữ liệu
bạn đã thu thập và xử lý ở hai bước đầu.
CHƯƠNG 22.

- Evaluating model – đánh giá mơ hình: sau khi đã

huấn luyện mơ hình xong, chúng ta cần dùng các độ đo để đánh giá
mơ hình, tùy vào từng độ đo khác nhau mà mơ hình cũng được đánh
giá tốt hay khơng khác nhau. Độ chính xác của mơ hình đạt trên 80%
được cho là tốt.
CHƯƠNG 23.

- Improve – cải thiện: sau khi đã đánh giá mơ hình,

các mơ hình đạt độ chính xác khơng tốt thì cần được train lại, chúng ta
sẽ lặp lại từ bước 3, cho đến khi đạt độ chính xác như kỳ vọng. Tổng
thời gian của 3 bước cuối rơi vào khoảng 30% tổng thời gian thực

hiện.
CHƯƠNG 24. Có rất nhiều cách phân loại machine learning, thơng
thường thì machine learning sẽ được phân làm hai loại chính sau:
CHƯƠNG 25.

- Supervised learning(học có giám sát) là việc cho

máy tính học trên dữ liệu đã được gán nhãn (label), hay nói cách khác,
với mỗi đầu vào Xi, chúng ta sẽ có nhãn Yi tương ứng.

8


Chương 1. Cơ sở lí thuyết
CHƯƠNG 26.

Hình 26.1.1.1: Supervised learning(website)
CHƯƠNG 27.

- Unsupervised learning(học khơng giám sát) là cho

máy tính học trên dữ liệu mà không được gán nhãn, các thuật tốn
machine learning sẽ tìm ra sự tương quan dữ liệu, mơ hình hóa dữ liệu
hay chính là làm cho máy tính có kiến thức, hiểu về dữ liệu, từ đó
chúng có thể phân loại các dữ liệu về sau thành các nhóm, lớp
(clustering) giống nhau mà chúng đã được học hoặc giảm số chiều dữ
liệu (dimension reduction).

9



Chương 1. Cơ sở lí thuyết
CHƯƠNG 28.

Hình 28.1.1.1: Unsupervised learning(website)
CHƯƠNG 29. Ngồi ra, machine learning cịn có thể phân làm các
loại sau: Semi-supervised learning(học bán giám sát), Deep
learning(học sâu về một vấn đề nào đó), Reinforce learning(học củng
cố/tăng cường)
29.1.1. Deep learning
CHƯƠNG 30. Deep Learning là một nhánh của Machine Learning sử
dụng mạng lưới thần kinh với nhiều lớp. Một mạng lưới thần kinh sâu
phân tích dữ liệu với các biểu diễn đã học tương tự như cách một
người nhìn vào một vấn đề của họ. Và nó có tác dụng hỗ trợ cho máy
tính tự huấn luyện chính nó để có thể thực hiện mọi tác vụ tương tự
như con người. Điều này chính là giúp máy tính bắt chước con người
cách học hỏi và suy nghĩ. Điển hình là thuật toán convolutional neural
network(CNN).

10


Chương 1. Cơ sở lí thuyết
CHƯƠNG 31.

Hình 31.1.1.1: Deep learning(website)
CHƯƠNG 32. Một phương pháp tiếp cận thuật toán khác từ cộng
đồng machine-learning, Artificial Neural Networks, được nhắc đến
nhiều thập kỷ qua. Neural Networks được lấy cảm hứng từ sự hiểu
biết về sinh học của bộ não loài người – sự liên kết giữa các nơ-ron.

Tuy nhiên, không giống như một bộ não sinh học nơi mà bất kỳ nơron nào cũng có thể liên kết với các nơ-ron khác trong một khoảng
cách vật lý nhất định, các mạng thần kinh nhân tạo này có các lớp rời
rạc, các kết nối, và các hướng truyền dữ liệu.
CHƯƠNG 33. Mỗi nơ-ron đảm nhiệm một chức năng – làm thế nào
để biết chính xác liệu rằng nó có liên quan đến nhiệm vụ đang được
thực hiện. Vì vậy, suy nghĩ về điểm dừng là một dấu hiệu. Các thuộc
tính của một hình ảnh dấu hiệu “dừng” được cắt nhỏ và được “kiểm
tra” bởi các nơ-ron – dạng hình trụ, màu đỏ của các động cơ cháy, các
chữ cái đặc trưng, kích thước biển báo giao thông, và sự chuyển động
11


Chương 1. Cơ sở lí thuyết
hoặc sự thiếu hụt của nó. Nhiệm vụ của mạng thần kinh là để kết luận
liệu đây có phải là dấu hiệu dừng hay khơng. Nó đi kèm với một
“vector xác suất”. Trong ví dụ của chúng ta, hệ thống có thể xác định
chắc chắn đến 86% một dấu hiệu dừng, 7% rằng đó là một dấu hiệu
giới hạn tốc độ, và 5% còn lại là một con diều bị mắc kẹt trong cây,
( hoặc cái gì đó tương tự) vv … và kiến trúc mạng sau đó sẽ thơng
báo đến mạng nơron cho dù đó là đúng hay sai.
CHƯƠNG 34. Ngày nay, khả năng nhận dạng hình ảnh của máy móc
được luyện tập thơng qua deep learning trong một số tình huống tốt
hơn so với con người. AlphaGo của Google đã được huấn luyện chơi
cờ vay – nó điều chỉnh mạng lưới thần kinh của mình bằng cách tự
mình chống lại chính mình.
34.1.1. Training set
CHƯƠNG 35. Tập huấn luyện (training set) là tập dữ liệu được sử
dụng để huấn luyện mơ hình. Các thuật tốn học máy sẽ học các mơ
hình từ tập huấn luyện này. Việc học sẽ khác nhau tùy thuộc vào thuật
tốn và mơ hình sử dụng. Ví dụ, khi sử dụng mơt hình Hồi quy tuyến

tính (Linear Regression), các điểm trong tập huấn luyện được sử dụng
để tìm ra hàm số hay đường phù hợp nhất mô tả quan hệ giữa đầu vào
và đầu ra của tập dữ liệu huấn luyện bằng cách sử dụng một số
phương pháp tối ưu hóa như cơng thức nghiệm ở bài trước hoặc các
thuật toán tối ưu gần đúng như gradient descent hay stochastic
gradient descent. Trong thuật tốn K-Nearest Neighbors (K-Hàng xóm
gần nhất), các điểm trong tập huấn luyện là những điểm có thể là hàng
xóm của nhau (gần nhau) được học theo các phương pháp tham lam.
Trong thực tế, tập dữ liệu huấn luyện thường bao gồm các cặp vectơ
đầu vào và vectơ đầu ra tương ứng, trong đó vector đầu ra thường
được gọi là nhãn (label hoặc target). Các thuật tốn nói chung sẽ tìm
cách tối ưu sai số dự đốn trên tập huấn luyện này đến mức đủ tốt.
Trong trường hợp overfitting sai số dự đốn của mơ hình trên tập huấn
luyện có thể rất thấp, thậm chí = 0%.
35.1.1. Validation

12


×