r.

Bộ GIÁO DỤC VÀ ĐÀO TẠO
TRƯ ỜNG ĐẠI HỌC sư PHẠM THÀNH PHĨ HĨ CHÍ MINH
•••

Huỳnh Thi Yen Phuong

MƠ HÌNH ĐÁNH GIÁ CÃM xúc
CỦA NGƯỜI HỌC DỤ A TRÊN DA DŨ LIỆU
Chuyên ngành : Khoa học máy tính
Mã SỐ
: 8480101

LUẬN VÀN THẠC sĩ KHOA HỌC MÁY TÍNH

NGƯỜI HƯỚNG DÁN KHOA HỌC: TS.
NGƯYẺN VIẾT HƯNG

Thành phố Hồ Chí Minh - 2022
LỜI CAM ĐOAN

Tôi tên Huỳnh Thị Yen Phương, học viên cao học khóa 30. chuyên ngành Khoa
học máy tinh, trường Đại học Sư phạm Thành phố Hồ Chí Minh. Mã số học viên


KHMT-19-002.
Tỏi xin cam đoan luận vãn '‘Mô hĩnh đánh giá cảm câm xúc cùa người học dựa
trên da dữ liệu" là do tôi tim hiểu, nghiên cứu và thực hiện dưới sự hướng dẫn cùa
TS. Nguyền Viết Hưng. Luận vẫn khơng có sự sao chép từ các tài liệu, cơng trình
nghiên cứu khác mà khơng ghi rõ nguồn trong (ải liệu tham kháo.

Tôi xin chịu trách nhiệm VC kết qua thực hiện và lời cam đoan này.
Tp. Hồ Chí Minh, ngày 26 tháng 04 năm 2022


LỜI CẮM ON

Đầu tiên, lôi xin gưi lời cảm ơn sâu sắc nhất đến Thầy TS. Nguyền Viết Hưng,
người đà định hướng, giúp đừ và tận tình chi báo tơi trong suốt q trình nghiên cứu
đề tơi có thê hồn thành luận vân này.
Tỏi cùng xin gừi lời cảm ơn chân thành đến quý Thầy đã tận tình giảng dạy và
cung cấp kiến thức quý báu cho tôi trong suốt khóa học. Đồng thời, xin dược càm ơn
sự I1Ỗ trợ cùa Khoa Cơng nghệ thơng tin và Phịng Sau đại học trường Dại học Sư
phạm TP.1ICM đả tạo điều kiện thuận lợi cho tơi trong q trình học tập tại trường.
Cuối cùng, tôi xin gửi lởi cám oil đen gia đinh và bạn bè cũa tôi. Những người
luôn bên cạnh, động viên và ủng hộ tơi trong q trình học tập và nghiên cứu.
Tp. Hồ Chí Minh, ngày 26 tháng 04 năm 2022


MỤC LỤC

Trang phụ bìa
Lời cam đoan
Lởi cam ơn
Mục lục
Danh mục các chữ viết tất
Danh mục các bang
Danh mục các hỉnh vỗ. đồ thị
MỞ ĐẦU...................................................................................................................................1
Chương 1. TĨNG QUAN TÌNH HÌNH NGHIÊN cứu......................................................6


1.1. Một số cơng trình nghiên cứu liên quan.......................................................6
1.2...................................................................................................................... Kh
ó khăn và thách thức...............................................................................................13
1.3. Cơ sờ dữ liệu câm xúc khuôn mặt..............................................................14
1.3.1. Cơ sờ dừ liệu anh thường...............................................................14
1.3.2........................................................................................................... Cơ
sớ dữ liệu ảnh nhiệt................................................................................................15
Chuông 2. Cơ SỠ LÝ THUYẾT..........................................................................................17
2.1. Câm xúc khuôn mật..................................................................................17
2.1.1. Căm xúc và cừ động khuôn mặt....................................................17
2.1.2. Cảm xúc và nhiệt dộ......................................................................23
2.2. Phương pháp rút trích dặc trưng................................................................26
2.2.1. Principal Component Analysis (PCA)............................................26
2.2.2. Histogram of Oriented Gradient (HOG)........................................26
2.2.3. Rút trích đặc trưng ánh nhiệt vái t-ROI..........................................28
2.3. Phương pháp phân loại..............................................................................29
2.3.1........................................................................................................... Má
y học vectơ hỗ trợ (SVM).......................................................................................29
2.3.2. Học sừ dụng thơng tin dặc quyền...................................................33
2.4. Mạng nơ-ron tích chập...............................................................................34
2.4.1. Kiến trúc cơ ban mạng nơ-ron tích chập........................................34
2.4.2. Một số kiến trúc CNN....................................................................37
2.5. Phương pháp đánh giá mơ hình phân lớp...................................................39
Chng 3. MƠ HÌNH ĐỀ XUẤT ĐÁNH GIÁ CẤM xúc................................................42
3.1. u cầu bài tốn........................................................................................42
3.2. Mị hình đề xuất.........................................................................................42
3.3. Cơ sở dữ liệu..............................................................................................43
3.3.1. Cơ sờ dữ liệu Kotani Thermal Facial Emotion...............................43
3.3.2. Dừ liệu người học..........................................................................49
Chuông 4. THựC NGHIỆM VÀ ĐÁNH GIÁ....................................................................51

4.1. Môi trường thực nghiệm............................................................................51


4.2. Dừ liệu thực nghiệm..................................................................................51
4.3. Phàn tích đánh giá.....................................................................................51
4.3.1. Thiết kế thực nghiệm.....................................................................51
4.3.2. Kct quá thực nghiệm......................................................................52
Chuvng 5. KẾT LUẬN.........................................................................................................63
5.1. Kết quà đạt được........................................................................................63
5.2. Hướng mớ rộng tương lai..........................................................................63
TÀI LIỆU THAM KHẢO....................................................................................................64


Chữ viết tắt

DANH MỤC CÁC CHỦ VIẾT TÁT
Nguyen mẫu

Diễn giãi

AAM

Active Appearance Model

Mơ hình diện mạo tích cực

ASM

Active Shape Model


Mơ hình hình dạng tích cực
Đơn vị hành động, xác định dộ

AU

Action Units

co cùa cơ mặt

Canonical Correlation
CCA

Analysis

Phàn tích tương quan chuẩn

Convolutional Neural
CNN

Network

Mạng nơ-ron tích chập
Mơ hình máy Boltz man học

DBM

FACS

FTFP
HMM

HOG

Deep Boltzmann Machine

sâu

Facial Action Coding

Hệ thống mã hóa cư dộng khn

System

mặt

Facial Thermal Feature

Điểm đặc trưng nhiệt trên khn

Points

mặt

Hidden Markov Models

Mơ hình Markov án

Histogram of Oriented

Biếu đổ cua các gradient định


Gradients

hướng

Kotam Thermal Facial
KTFE
LBP

Emotion
Local Binary Pattern

Cơ sơ dừ liệu anh nhiệt
Mầu nhị phân cục bộ

Linear Discriminant
EDA
LDP
LUPI

Analysis

Phân tích phân biệt tuyến lính

Local Directional Pattern

Mơ hình định hướng cục bộ

Learning Using Privileged

Học sử dụng thông tin dặc quyền


Information


Natural Visible and
NVIE

Infrared facial Expression

Cơ sở dừ liệu ãnh nhiệt

Principal Component
PCA
ROI
SVM

?\nalysis

Phân tích thành phân chính

Region of Interest

Vùng quan tâm

Support Vector Machines

Máy vectơ hồ trợ


DANH MỤC CÁC BÁNG


Báng 1.1. Một sổ AU [191........................................................................................8
Bàng 2.1. Định nghĩa các giá trị cho vice đánh giá mò hình................................39
Bàng 2.2. Ma trận nhầm lần với 4 phân lớp |611..................................................40
Bàng 3.1. Số lượng video cùa từng càm xúc thu được.........................................49
Bàng 4.1 Sổ lượng dổi tượng cùa từng câm xúc trong cơ sờ dữ liệu KTFE...52
Bàng 4.2. Thống kê số lượng anh cùa lừng cám xúc trong tập dữ liệu....................52
Báng 4.3. Thống kê số lượng đối tượng trong từng câm xúc..................................53
Báng 4.4. Kết q thực nghiệm với mơ hình CNN...........................................55
Bàng 4.5. Ket q thực nghiệm với mơ hình RcsNct 50..................................56
Bàng 4.6. So sánh kct q của mơ hình CNN với RcsNct 50..................................56
Bàng 4.7. Kết q thực nghiệm với mơ hình CNN...........................................57
Bàng 4.8. Kết q thực nghiệm với mơ hình ResNet 50..................................57
Báng 4.9. So sánh kết q cùa mơ hình CNN với RcsNct 50..................................58
Báng 4.10. Kết quá thực nghiệm với ánh nhiệt......................................................59
Báng 4.11. Kct quà thực nghiệm với anh thưởng...................................................59
Báng 4.12. Kct q thực nghiệm với mơ hình kết hợp...........................................60
Bàng 4.13. So sánh kết quả thực nghiệm với ánh thường và ãnh nhiệt..................60
Bàng 4.14. Kct quà nhận diện với dữ liệu người học..............................................61


DANH MỤC CẤC HÌNH VẼ, ĐƠ THỊ

Hình 1.1. ROI (rong phương pháp..........................................................................10
Hình 1.2. Mó hình đề xuất của các tác giả.........................................................11
Hinh 1.3. Mô hĩnh đề xuất của các tác gia ........................................................11
Hĩnh 1.4. Mơ hình đề xuất nhận diện câm xúc trong...............................................13
Hình 1.5. Ảnh mẫu trong cơ sờ dử liệu CK+.....................................................14
Hình 1.6. Ánh mầu trong cơ sờ dữ liệu JAFFE.................................................15
Hình 1.7. .Xlẫu ánh thường và anh nhiệt của bày cám xúc trong cơ sờ dừ liệu

KTFE....................................................................................................16
Hình 2.1. Các cơ vũng mặt nhìn trước....................................................................18
Hình 2.2.
Bicu hiện của cámxúc hạnh phúc.....................................................19
Hình 2.3.
Biểu hiện cùa câmxúc ngạc nhiên....................................................19
Hình 2.4.Biều hiện cùa cảm xúc
giận dừ..........................................................20
Hình 2.5.
Biểu hiện cùa camxúc buồn rầu.......................................................21
Hình 2.6.
Biêu hiện của cámxúc sợ hãi............................................................21
Hình 2.7.
Biêu hiện cúa cámxúc ghê tởm........................................................22
Hình 2.8.
Bicu hiện của cámxúc khinh thường................................................23
Hình 2.9. Các mạch máu trên khn mặt người......................................................24
Hình 2.10. Các dài hồng ngoại trong phổ diện từ....................................................24
Hình 2.11. Biểu diễn nhiệt dể trích xuất ROI..........................................................25
Hình 2.12. Độ lớn gradient và phương gradient......................................................27
Hình 2.13. Histogram cùa các ô..............................................................................28
Hình 2.14. Siêu phảng với lề cực đại......................................................................30
Hình 2.15. Dữ liệu khơng the phân tách tuyển tính với các biền slack (ỉ)
được xác định đề giâm thiều lỗi phân loại sai.......................................31
Hình 2.16. Kiền trúc mạng nơ-ron tích chập...........................................................34
Hình 2.17. Bộ lọc tích chập dược sứ dụng trên ma trận diêm ành...........................35
Hình 2.18. Các loại pooling....................................................................................36
Hình 2.19. Lớp được kết nổi đầy đú........................................................................36
Hình 2.20. Kiến trúc LeNet 5..................................................................................37
Hình 2.21. Kiền trúc mạng VGG 16........................................................................37

Hình 2.22. Residual block.......................................................................................38
Hình 2.23. Báng chi tiết kiến trúc mạng ResNet.....................................................39
Hình 3.1. Mơ hình dề xuất.......................................................................................43
Hình 3.2. Mầu ành thường và ảnh nhiệt cùa bày câm
xúc..............................44
Hình 3.3. Thư mục lưu trừ dừ liệu thơ KTFE..........................................................45
Hình 3.4. Tập tin dừ liệu nlnệl thô hiển thị trên giao diện phần mềm
NS9500PRO...........................................................................................45
Hình 3.5. Tập tin ánh thường sau khi được tách......................................................46
Hình 3.6. Hình ành khn mặt trước và sau khi thựchiện cân bàng sáng...............46
Hình 3.7. Tập tin anh nhiệt sau khi dược tách.........................................................47
Hình 3.8. Tập tin *.csv lưu nhiệt độ........................................................................48
Hình 3.9. Tập tin *.csv lưu nhiệt độ sau khi xư lý...................................................49
Hình 3.10. Khung hình từ video thu được...............................................................50


1
MỜ ĐÀU


2


3
-

So sánh, đánh giá kết quà dạt dược.

5. Ý nghỉa khoa học và thực tiễn
về mặt lý thuyết:

-

Tạo lien đề cho các nghiên cửu dùng thị giác máy tính và tâm lý học trong
tương lai.

về mặt thục tiễn:
-

Nhận diện cám xúc cùa người học dể người dạy có dược nhửng phàn hồi
của người học. qua dó người dạy có the đánh giá và xây dựng phương
pháp giáng dạy phù hợp với người học.

6. Cấu trúc luận vãn
Chương mớ đầu

Chương nãy giới thiệu tổng quan về đề tài gồm các nội dung như: lý do chọn
dề tài, mục tiêu và nhiệm vụ nghiên cửu, dổi tượng và phạm vi nghiên cửu, phương
pháp nghiên cứu, ý nghía khoa học và thực tiễn cùa luận vãn.
Chương 1. Tổng quan tình hình nghiên cứu

Chương này giới thiệu lồng quan về lình hình nghiên cửu nhận diện cám xúc
khuôn mật.
Chương 2. Cơ sỡ lý thuyết

Chương này trinh bày các cơ sờ lý thuyết được áp dụng trong đề tài. Những
kiến thức cơ bàn này là tiền dề dể áp dụng xây dựng mơ hình dựa trên ảnh thường và
ảnh nhiệt.
Chương 3. Mơ hình đề xuất đánh giá cám xúc

Chương này trinh bày phương pháp đề xuất cua đề tài.

Chương 4. Thực nghiệm và đánh giá

('hương này trinh bày q trình thực nghiệm và phân tích về nhừng ưu điểm,
nhược điểm, so sánh và đánh giá kết quà đạt được.
Chương 5. Kết luận

Chương này là phần kết luận và nêu lên những hướng phát triền trong tương lai


4
cùa đe tài.


5


6
Băng 1.1. Một SỐ AU (19].


7
khác nhau, các tác già (hực nghiệm trẽn cơ sờ dừ liệu Cohn.Kanade và RAVNESS
với tỳ lệ chính xác là 88% và 92%.
A. Fathallah và cộng sự 123] đà đồ xuắt mơ hình CNN dựa trên kiến trúc mạng
VGG dê nhận diện sáu cám xúc (giận dừ. ghê tõm, hạnh phúc, bình thường, buồn
rằu, ngạc nhiên). Các tác già thực nghiệm trên ba cơ sờ dữ liệu CK+. RaFD và MƯG
với tỷ lệ chính xác tương ứng là 99.33%. 93.33% và 87.65%.
Cám xúc. không chi là sự chuyên động cua các cơ trên khn mặt mà cịn là sự
thay đỗi nhiệt độ trên khuôn mặt |24Ị. Khi một cam xúc xảy ra, nhiệt độ trên khuôn
mật xuất hiện do lưu lượng máu mã cơ thê phát ra qua các mạch máu ờ dưới da, sự

thay đối này lã cơ sờ đế có the thực hiện các nghiên cứu về càm xúc khuôn mặt
thông qua ãnh nhiệt |25|.
s. Jarlier và cộng sự 1261 thực hiện rút trích các dặc trưng dưới dạng bàn dồ
nhiệt độ đại diện cua chín đơn vị hành động (AU) và sư dụng K-láng giềng gần nhất
đế phân loại bày càm xúc. Cơ sớ dừ liệu đế kiêm tra có bốn người và ty lệ chính xác
là 56.4%. Nghiên cứu cua các tác giá đà cho thấy rang sư dụng ánh nhiệt là một cách
liếp cận đày hứa hẹn đế phát hiện vã đánh giá nhừng thay đối trong co cơ mặt liên
quan đến việc tạo các AU.
M. M. Khan và cộng sự [27] dề xuất sir dụng Điểm dặc trưng nhiệt trên khuôn
mặt (FTFP) và sừ dụng Phân tích phân biệt tuyến tính (LDA) dể phân loại năm câm
xúc với tỳ lệ chính xác năm trong khoang từ 66.3% đến 83.8%.
B. R. Nhan và T. Chau (28] đă xác định các đặc trưng VC thời gian, lần suất
và tần suất thời gian từ chuồi thời gian nhiệt độ trung bình của nảm vùng: vùng
quanh mat, vùng trên mat và vùng mùi đe phân loại.
s. He và cộng sự [29] đề xuất sử dụng Deep Boltzmann Machine (DBM) dề
nhận diện câm xúc. Nhóm tác giả thực nghiệm trên cơ sờ dữ liệu NVIE dạt ty lệ
chính xác là 51.3%.
A. Basil và cộng sự [30] đâ đề xuất một phương pháp dựa vào vùng quan tâm
(ROI) kết hợp với SVM nhiều lớp đê phân loại năm cám xúc (giận dừ. sợ hãi. hạnh


8
phúc, buồn rầu và bình thường). Nhóm tác gia thực nghiệm trên cơ sở dừ liệu KTFE
và đạt tý lệ chính xác là 87.50%.

Hình 1.1. ROI trong phương pháp [30].

Ngun. Thu và cộng sự [31] đà đề xuất một phương pháp tìm t-ROl trên
khơng gian ánh xám và sử dụng các phương pháp PCA, EMC. PCA-EMC đê phân
loại bây câm xúc. Nhóm tác giá tiến hành thực nghiệm trên cơ sớ dữ liệu KTFE và

dạt tỳ lệ tương ửng là 90.42%. 89.99%. 85.94%.
Y. M. Elbarawy và cộng sự [32] dã dề xuất mơ hình CNN dể phân loại ba cám
xúc (giận dừ. hạnh phúc, ngạc nhiên), mơ hình cùa lác gia nhận kích thước anh đầu
vào là 120x120. Các tác gia thực nghiệm trẽn cơ sớ dừ liệu IRIS VỚI tý lệ chính xác
là 96.7%.
Ánh nhiệt có ưu điểm là không nhạy cám với điều kiện ánh sáng và thê hiện
dược câm xúc cứa những người ít khi the hiện cam xúc. Kct hợp thêm ảnh nhiệt
trong nhận diện cam xúc có thể cãi thiện hiệu quà nhận diện, giúp dựdốn chínlì xác
hơn cám xúc cùa con người [4][33J. Một số nghiên cứu kết hợp ánh thường và ánh
nhiệt đê nhận diện cam xúc dà được thực hiện.
s. Wang và cộng sự |34| đà đê xuất phương pháp kết hợp anh thường và ánh
nhiệt cho nhận diện cám xúc khuôn mặt ớ hai mức: kết hợp đặc trung và


9
quyết định sứ dụng mạng Bayes và SVM. Nghiên cứu sư dụng
cơ sờ dừ liệu NV1E gồm một trảm người với sáu cam xúc (hạnh
phúc, buồn rầu. ngạc nhiên, sợ hài. giận dừ. chán ghét).
Phương pháp cua các tác gia cai thiện độ chính xác khoảng
1.35% so với chi sư dụng ánh thường.

1

Lựa dK'rKim r>

TÌMUsùbx

Hình 1.2. Mơ hình đề xuất của các tác giã [34].


Nguyen. H và cộng sự [4] đà dề xuất phương pháp kct họp ánh thưởng và
chuồi ảnh nhiệt để phân loại bày câm xúc. Phép biến dối Wavelet (Wavelet
Transform) và vùng quan tâm ROI dược áp dụng dể nit trích dặc trưng cho ánh
thường và anh nhiệt. Nhóm tác gia thực hiện kết hợp ớ hai mức: kết hợp đặc trirng và
quyết định. Các phương pháp PCA. EMC. PCA-EMC được sứ dụng tại mức quyct
định. Thực nghiệm được tiến hành trên cơ sờ dừ liệu KTFE, kết quà thực nghiệm cho
thấy việc két hợp ánh thường và anh nhiệt để nhận diện câm xúc cho kết quà tốt hơn
khi chi sữ dụng một loại dữ liệu.

Hình 1.3. Mơ hình đề xuất cũa các tác giá Ị4|.

Wu. c và cộng sự [35] đã đề xuất một phương pháp tiếp cận hai góc nhìn để
nhận diện cám xúc. Trong phương pháp nảy. đế biêu diễn đặc trưng, hai mạng sâu


10
(deep network) được sư dụng cho dừ liệu anh nhiệt và anh thường và SVM được sử
dụng đê phân loại. Nhóm tác gia liến hành thực nghiệm trên cơ sở dữ liệu MAHNOB
và đạt tỷ lệ chính xác là 94.14%.
Shi và cộng sự [36] dã dề xuất phương pháp nhận diện cảm xúc khuôn mặt với
sự trợ giúp của ảnh nhiệt. Ánh nhiệt dược sir dụng trong giai đoạn huấn luyện. Nhóm
tác gia xây dựng một khơng gian đặc trưng mới cho anh thường bàng cách sử dụng
phân tích lương quan chuẩn (Canonical Correlation Analysis -CCA) với sự trợ giúp
của anh nhiệt và dùng thuật toán SVM đê phân loại cám xúc. Thực nghiệm được tiến
hành trên cơ sờ dừ liệu NVIE và Equinox. Độ chính xác khi sừ dụng đặc trưng cùa
ãnh thường là 75.33% tăng lèn 76.45% khi sứ dụng thêm dặc trưng nhiệt. Phương
pháp dề xuất này sư dụng hình ành nhiệt như thơng tin đặc quyền. Tuy nhiên,
phương pháp này chi thê hiện vai trò bố sung cùa ánh nhiệt đối với ánh thường mà
khơng có mối hên hệ trực tiếp với các nhản cám xúc.
Trong [37J, các tác giá đà đề xuât một phương pháp mới đê nhận diện cam xúc

khuôn mặt, giãi quyết vấn đề số lượng không cân bàng cùa ành nhiệt và ành thưởng
bằng phương pháp học chắt lọc dối kháng trên không gian cấp dặc trưng và cấp
nhãn. Trong phương pháp cùa các tác giã. ánh nhiệt chi có trong quá trình huấn
luyện. Hai mạng ResNct 34 dược huấn luyện với dừ liệu ánh thường và ánh nhiệt
tương ứng. Sau đỏ, chinh sửa các thông số cua mạng cho ánh nhiệt và tinh chinh
mạng cho ánh thường bang cách khai thác hình ánh nhiệt làm thịng tin đặc quyển.
Các tác già thực hiện các thứ nghiệm của mình trẽn cơ sờ dữ liệu có chứa các ânh
thường và nhiệt như MAHNOB, MMSE, CK+. Oulu-CASĨA và MMI. Phương pháp
của các tác già cho kết quá nhận diện câm xúc lốt hơn so với chi sư dụng một loại dử
liệu.


11

Hình 1.4. Mơ hình đề xuất nhận diện cảm xúc trong [37].
1.2. Khó khản và thách thúc

Các nghiên cứu về nhận diện cam xúc khuôn mặt trên đều dạt dược những kết
quà kha quan nhưng bài toán nhận diện càm xúc khn mặt nói chung vẫn cịn nhiều
khó khăn và thách thức.
Các hệ thông nhận diện cam xúc thường nhận diện trên anh thường. Các ánh
này có nhược điểm là nhạy câm với điêu kiện ánh sáng, đòi khi ảnh bị mờ và một sổ
người không biếu hiện câm xức trên khn mặt nên khó nhận biết dược câm xúc
thật, những nhược điểm này làm giảm độ chính xác cùa kết quà nhận diện.
Anh nhiệt ghi lại sự phân bố nhiệt độ trên khuôn mặt và không nhạy cám với
điều kiện ánh sáng, do đó sư dụng anh nhiệt có thế cài thiện hiệu qua nhận diện trong
môi trưởng thiếu ánh sáng cùng như khắc phục được những nhược diem cùa ánh
thường (4J. Tuy nhiên, ãnh nhiệt cùng có một số hạn chế như chịu ảnh hường cứa
nhiệt dộ môi trường và khi dổi tượng dco kinh, máy ảnh nhiệt sẽ không thư dược
thông tin nhiệt dộ ờ khư vực mắt |41|24|. Ngoài ra. các cám xúc ngạc nhiên, giận dừ.

ghê tom có thê có cùng một màu anh nluệt nên có thê gây nên sự nhẩm lần khi nhận
diện [24],
Phương pháp kct hợp anh thường và ánh nhiệt giúp táng ty lệ chính xác cho
nhận diện cám xức khn mật. Tuy nhiên, phương pháp nãy đôi hôi ca hai hình ành
phải đtrợc sứ dụng trong quá trình huắn luyện và kiểm tra nhưng máy ảnh nhiệt
thường không phô biền rộng rãi do giá thành cao [34]. Do đó. việc sứ dụng hĩnh ánh


12
nhiệt đê nhận diện cám xúc khuôn mặt trong thời gian thực vần còn là một thách
thức.
Phương pháp nhận diện câm xúc khuôn mặt với sự trợ giúp cùa anh nhiệt trong
quá trình huấn luyện giai quyết được yêu cầu thực tế là chi phí cho máy ảnh nhiệt
cao và tãng hiệu q nhận dạng. Tuy nhiên, có rất ít nghiên cửu dược thực hiện. Do
dó. dây là một hướng nghiên cứu cần phát triển trong tương lai.
1.3. Cơ sử dừ liệu câm xúc khuôn mặt
1.3.1. Cơ sơ dừ liệu ánh thTig

Trong nhận diện căm xúc khn mặt người, dà có nhiêu cơ sớ dừ liệu ánh
thường 138] dược xây dụng nhảm phục vụ cho việc nghiên cứu. Một sổ cơ sờ dữ liệu
ánh thường phổ biển như CK+. FER2013, JAFFE. MM1.
CK+ |39|: Cơ sờ dữ liệu The Extended Cohn-Kanade Dataset là cơ sớ dữ liệu
cám xúc khuôn mặt được xây dựng dành riêng cho nhừng hệ thống FACS. CK+ gồm
các dãy ánh tương ứng với các thay đồi của các AƯ của 210 đối tượng có độ tuồi từ
18 den 50 tuồi VỚI 69% là nừ. 81% người Mỳ gốc Âu, 13% người Mỳ gốc Phi và
6% các nhóm khác.

Hình 1.5. Ảnh mẫu trong cơ sỡ dữ liệu CK+ [391.

FF.R2OI3 [40] là cơ sờ dữ liệu căm xúc khuôn mặt do Kaggle cung cấp, được

giới thiệu trong hội thào 1CML 2013 bởi Pierre Luc Carrier và Aaron Courville. Dừ
liệu là tập các anh xám với kích thước 48x48 điềm anh. Tập dừ liệu có 35.887 ánh
VỚI 7 cam xúc.
JAFFE [41 ]: Japanese Female Facial Expressions là cư sư dừ liệu câm xúc
khuôn mặt cùa phụ nữ Nhật Bail. JAFFE gơm 213 hình anh cùa 7 căm xúc cua 10


13
đối tượng. Dừ liệu là tập các ãnh xám VỚI kích thước 256x256.

Hình 1.6. Ánh mẫu trong cơ sờ dữ liệu JAFFE [41 j.

MM1 [42]: Cơ sỡ dữ liệu được xây dựng nhẩm đánh giá các thuật toán nhận
diện câm xúc khuôn mặt. MMI chửa các biểu câm khuôn mặt với đơn vị hành động
FACS (AU). Cơ sơ dừ liệu gồm hơn 2900 video và hình anh có độ phân giái cao cua
75 đối tượng và được chú thích đầy đù về sự hiện diện cua các AU trong video.
1.3.2. Cơ sỡ dử liệu ãnh nhiệt

Ngồi ánh thường thì ảnh nhiệt cùng là một dạng dữ liệu đê nhận diện cám xúc
khn mặt. Tuy nhiên, có rất ít cơ sở dữ liệu nhiệt dược phát tricn dể hỗ trợ cho
nghiên cứu trong lình vực này. Một số cơ sơ dữ liệu ánh nhiệt như:
NIST/Equinox [33], bao gồm 600 đổi tượng VỚI ba cám xúc (mím cười, cau
mày. ngạc nhiên) thu được dưới nhiều ánh sáng khác nhau. N1ST Equinox đà được
sư dụng trong nhiều nghiên cứu ve ánh nhiệt, tuy nhiên hiện nay cư sư dừ liệu này
khơng có sần.
IRIS [33]: cơ sơ dữ liệu này gồm 30 đổi tượng và ba câm xúc (ngạc nhiên,
cười, giận dữ) thu dược dưới nhiều ánh sáng khác nhau. Trong cơ sớ dữ liệu này. các
biêu câm được lạo ra bảng cách yêu cầu đối lượng thực hiện một loạt các biêu cam
trước máy quay.
ƯSTC-NVIE |43]: Cơ sỡ dừ liệu Natural Visible and Infrared facial Expression

(NVỈE) bao gom 215 đổi tượng với bày cảm xúc (hạnh phúc, giận dừ. binh thường,
ghê tởm, sợ hãi. buồn rầu và ngạc nhiên) được thể hiện tự phát và có hướng nhìn
thẳng.
KTFE 133): Cơ sờ dữ liệu Kotani Thermal Facial Emotion (K.TFE) bao gồm


14
28 dối tượng với bảy cám xúc (hạnh phúc, giận dù. bình thường, ghê tởm, sợ hãi,
buồn rầu và ngạc nhiên). Trong cư sơ dừ liệu này. các bleu cám được
tạo ra một cách lự phát thòng qua phương tiện nghe nhìn.

Hình 1.7. Mầu ảnh thường và ănh nhiệt của háy cảm xúc
trong cơ sỏ’ dừ liệu KTFE |33|.


Chương 2. cơ sớ LÝ THUYÉT
2.1. Cảm xúc khuôn mặt
2.1.1. Cám xúc và cứ động khuôn mặt

Khuôn mặt là một hệ thong đa lin hiệu, đa thòng điệp. Theo p. Ekman |44|,
khn mặt truyền đạt ba loại tín hiệu: tín hiệu tình, tin hiệu chậm và tín hiệu nhanh.
Các tín hiệu tình bao gồm các khía cạnh cồ định cùa khn mặt - hình dạng khn
mặt, kích thước, hình dạng và vị trí cua các dặc điểm khn mặt (lơng mày, mũi,
miệng,...). Các tín hiệu chậm bao gom sự thay đổi bên ngồi của khn mặt như nếp
nhan, két cấu da. Các tín hiệu nhanh do sự di chuyên của cơ mặt tạo thành, dần đen
các thay đồi tạm thời trên khn mặt, thay đoi vị trí và hình dạng các đặc diem.
Nhùng thay đòi này xuất hiện nhanh trong vài giây hoặc chưa đến một giây. Khn
mặt cịn thể hiện thông điệp về cảm xúc. tâm trạng, thái dộ. tính cách, tuồi tác. giới
tính....
Cam xúc là một phàn ứng tình cám cúa con người trước tác động cua ngoại

cánh. Nói đền cam xúc chính là đề cập đến nhừng câm giác tạm thời như sợ hăi, bất
ngờ. VUI vé.... Khi nhừng cam giác này xay ra. các cơ mặt co lại làm cho diện mạo
khuôn mặt thay đôi. (.’húng ta có thè nhìn thay được những thay đổi này. Nếp nhãn
xuất hiện và biển mất, vị trí và hình dạng cùa lông mày. mat, mùi, môi. má tạm thời
thay dồi. Các nghiên cửu dã chi ra rang việc đánh giá câm xúc chính xác có thề dược
thực hiện từ các tín hiệu nhanh trên khn mặt [44].
Các tín hiệu nhanh trên khuôn mặt thê hiện một cám xúc là biểu hiện cua cám
xúc đó trên khn mặt. Biêu hiên cua cám xúc trên khuôn mật hay biêu câm khuôn
mật là một hoặc nhiều chuyến động của các cơ bên dưới da cua khn mặt. Trên
khn mặt có nhiều nhóm cơ, mồi cơ có một chức năng riêng. Hoạt dộng chức nãng
các cơ vùng mặt tạo nên những nét biểu càm khuôn mặt khác nhau.


Hình 2.1. Các CO' vùng mặt nhìn trước [45].

Trong những nghiên cứu ban dầu cùa p. Ekman [46]. câm xúc dược chia thành
sáu loại chính: hạnh phúc (happy), ngạc nhiên (surprise), giận dừ (angry), buồn rầu
(sad). sợ hãi (fear) và ghê tởm (disgust). Sau đó. cam xúc khinh thưởng (contempt)
đă được ơng bó sung vào sau khi nghiên cứu về đa văn hóa. Theo p. Ekman [461.
mỗi cảm xúc sè có nhừng biểu hiện khác nhau, biêu hiện trên khn mặt cua mồi
cam xúc được thể hiện như sau:
Hạnh phúc (Happy): câm xúc nãy đtrợc thế hiện khi một người đang câm thấy

hạnh phúc hoặc thích thú diều gi dó. Biểu hiện cùa hạnh phúc là sự chuyền dộng lên
trên cua cơ má và mép môi dề tạo thành một nụ cười. Nụ cười là biêu hiện chung
trên khuôn mặt đề nhận biết một người đang hạnh phúc.