-------------------

UYỄ

Ậ D
BẰ

Á

Ả
Ơ

A

XÚ

O

Á

A KẾ

VỚ

Ơ O

UẬ V
Ệ

Ố

Ô

- ăm 2019

Ợ


TR

-------------------

UYỄ

Ậ D

Á

Ả

BẰ

Ơ

A

XÚ

O

Á


A KẾ

VỚ

Ơ O

Chuyên ngành:

ệ thố

thô

ã số: 848.04.01

UẬ V

ười hướ
.

UYỄ

dẫ khoa học:
Ị

- ăm 2019

A

ti


Ợ




iii

A
ê đề t i:

Ậ D

Ô
Ả
KẾ

UẬ V
XÚ
O
Ợ VỚ

BẰ
Ơ O

Ơ

Á

A


Ngành: Hệ thống thông tin
Họ và tên học viên: Nguyễn Thái Minh Anh
Người hướng dẫn khoa học: TS. Nguyễn Thị Ngọc Anh
Cơ sở đào tạo: Trường Đại học Sư phạm - ĐHĐN
Tóm tắt:
Luận văn tập trung nghiên cứu về thuật tốn trích chọn đặc trưng – Principal Component
Analisis (PCA) và quá trình nhận dạng cảm xúc bằng mạng Nơron. Bài toán đặt ra là làm thế nào để
nhận dạng cảm xúc trên khuôn mặt người. Với hai bộ dữ liệu JAFEE và FEI, cùng các cảm xúc như
vui, buồn, ngạc nhiên và biểu cảm khơng có cảm xúc gì gọi là trung tính. Hệ thống này có khả năng
nhận dạng được các dạng cảm xúc cơ bản như vậy. Luận văn đã giới thiệu được các bước thực hiện
của việc trích chọn đặc trưng từ thuật toán PCA được thể hiện qua các mơ hình trong bài; luận văn
cũng đã giới thiệu được mạng Nơron, mơ hình mạng Nơron, cách huấn luyện mạng bằng thuật tốn
lan truyền ngược, mơ hình thể hiện q trình học và nhận dạng của mạng... Trên cơ sở đó, em tiến
hành cài đặt chương trình trên Matlab. Bài toán áp dụng nhằm minh họa những kiến thức nghiên cứu
đã trình bày trong 2 chương đầu. Qua việc thực hiện, luận văn cũng góp phần giúp em vận dụng và
củng cố lại kiến thức phần lớn về khai phá dữ liệu và một phần của trí tuệ nhân tạo đã học ở trường,
mở rộng thêm các kiến thức liên quan đến đề tài như xử lí, chuẩn hóa hình ảnh,..; rèn luyện kỹ năng
xử lí dữ liệu đối với từng bộ dữ liệu khác nhau, kỹ năng huấn luyện mạng Nơron và test ảnh nhìn thấy
được hình ảnh nào được nhận dạng đúng và hình ảnh nào bị nhận dạng nhầm trong tập test của mình,
học được cách khắc phục giải quyết một số vấn đề trục trặc trong quá trình thực hiện luận văn. Những
hạn chế của đề tài: thuật tốn được xây dựng có quy mơ cịn khá đơn giản, đối với bộ dữ liệu JAFEE,
chỉ nhận dạng được 3 cảm xúc: vui, buồn và ngạc nhiên, còn đối với bộ dữ liệu FEI tuy số lượng đầu
vào nhiều hơn nhưng chỉ nhận đạng được 2 cảm xúc là vui vẻ và trung tính thơi; khi kiểm thử thực tế
cho kết quả khá ổn nhưng chúng ta vẫn chưa thể đánh giá đó là kết quả cao được vì số hình ảnh trong
bộ dữ liệu cịn q ít; chưa phong phú các cảm xúc trên khuôn mặt người.
Về ý nghĩa khoa học: luận văn đã đưa ra hệ thống nhận dạng Nghiên cứu nhận dạng cảm xúc
bằng mạng Nơron sẽ phục vụ cho việc phát triển hệ thống nhận dạng.
Về ý nghĩa thực tiễn: Luận văn sẽ góp phần xây dựng thêm cho hệ thống nhận dạng cảm xúc
phục vụ cho đời sống con người.

Hướng phát triển của đê tài: phát triển thêm việc xây dựng thuật tốn với quy mơ lớn hơn như là
nhận diện 7 loại cảm xúc trở lên: vui, buồn, giận dữ, ngạc nhiên, sợ hãi, kinh tởm, lo lắng, trung lập,...
Hoặc nhận dạng những loại cảm xúc hỗn hợp như biểu cảm vừa hạnh phúc vừa ngạc nhiên hoặc vừa
tức giận vừa buồn hoặc vừa sợ hãi vừa lo lắng,…
Phát triển hệ thống kết hợp vừa nhận dạng khuôn mặt người và nhận dạng luôn cả cảm xúc đang
thể hiện trên mặt của họ. Ví dụ như bắt một cảnh quay trong video có nhiều người thì chúng ta có thể
nhận dạng được họ là ai và cảm xúc thể hiện của họ lúc đó đang như thế nào.



v

INFORMATION PAGE OF MASTER THESIS
Name of thesis: IDENTIFY HUMAN EMOTIONS BY PCA METHOD WITH COMBINATION
OF THE NEURAL NETWORK
Major: Information systems
Full name of Master student: Nguyen Thai Minh Anh
Supervisors: PhD. Nguyen Thi Ngoc Anh
Training institution: University of Science And Education - The University Of Da Nang
Abstract:
The thesis focuses on researching the algorithm of extracting characteristics - Principal
Component Analisis (PCA) and the process of emotional identification by Neural network. The
problem is how to identify emotions on people's faces. With two sets of JAFEE and FEI data, the same
emotions as happy, sad, surprised and expressive without emotion are called neutral. This system is
capable of identifying such basic emotions. The thesis has introduced the implementation steps of
extracting characteristic from the PCA algorithm shown in the models in the lesson; The thesis also
introduced neural network, neural network model, how to train the network by reverse propagation
algorithm, the model shows the learning process and identification of the network... On that basis, I
proceed to install Put the program on Matlab. The problem applies to illustrate the research knowledge
presented in the first two chapters. Through implementation, the thesis also helps me to apply and

reinforce the knowledge of a large part of data mining and a part of artificial intelligence learned in the
school, expanding knowledge related to the topic such as processing, standardizing images,..; train
data processing skills for each different data set, neural network training skills and image tests see
which images are correctly identified and which images are mistakenly identified in their test set,
learned how to overcome some problems during the dissertation process. Limitations of the topic: the
scale of the algorithm is quite simple, for JAFEE data set, only three emotions are identified: happy,
sad and surprised, while for FEI data set though the number of inputs is higher but only the two
emotions are fun and neutral; when the actual test results are quite good, we still cannot judge that the
result is high because the number of images in the data set is too small; not yet many in emotions on
the human face.
Regarding the scientific meaning: the thesis has introduced the identification system
Emotional identification research by Neural network will serve for the development of identification
system.
Regarding practical meaning: The thesis will contribute to building more for the emotional
identification system to serve human life.
The direction of the development of the genius: developing more algorithms to build on a
larger scale such as identifying 7 or more emotions: happy, sad, angry, surprised, scared, disgusting,
worried, neutral,... Or identify mixed emotions like expressions that are both happy and surprising or
both angry and sad or fearful and anxious,...
Develop a combined system that identifies the human face and identifies the emotions that are
being expressed on their faces. For example, capturing a scene in a video with a lot of people, we can
identify who they are and how their feelings are at the time.



vii

MỤC LỤC

Ụ

DA
DA
DA

Ả Ơ .................................................................................................................i
A
OA ......................................................................................................... ii
Ụ ................................................................................................................... vii
Ụ
Á
ỮV Ế
Ắ ..........................................................................ix
Ụ
Ụ

Á BẢ
Á
Ì

............................................................................................. x
............................................................................................xi

Ở ẦU .........................................................................................................................1
1. Lí do chọn đề tài ...................................................................................................1
2. Mục tiêu và nhiệm vụ ...........................................................................................2
3. Đối tượng và phạm vi nghiên cứu ........................................................................2
4. Mục đích và ý nghĩa đề tài ....................................................................................2
5. Phương pháp nghiên cứu ......................................................................................2
6. Bố cục luận văn .....................................................................................................3
Ơ

1. Ổ
QUA VỀ
Ậ D
Ả XÚ
O
............4
1.1. Mơ tả bài tốn nhận dạng cảm xúc ...........................................................................4
1.2. Hệ thống nhận dạng cảm xúc ...................................................................................5
1.3. Một số phương pháp nhận dạng cảm xúc khuôn mặt ...............................................7
1.3.1. Phương pháp sử dụng Action Units ................................................................ 7
1.3.2. Phương pháp dùng mơ hình AAM kết hợp tương quan điểm ........................8
1.3.3. Phương pháp Support Vecto Machine (SVM)................................................9
1.3.4. Nhận dạng bằng phương pháp PCA truyền thống ..........................................9
Tổng kết Chương 1 ........................................................................................................11
Ơ
2. Ơ Ở Ý
UYẾ ...........................................................................12
2.1. Phân tích thành phần chính Principal Component Analysis (PCA) .......................12
2.1.1. Ý tưởng chính ............................................................................................... 12
2.1.2. Tính tốn các Eigenfaces ..............................................................................13
2.1.3. Biểu diễn các khn mặt có sẵn (tập huấn luyện) vào trong khơng gian
vecto này ........................................................................................................................16
2.1.4. Nhận dạng khuôn mặt bằng các EIGENFACES ..........................................19
2.1.5. Vai trị của PCA trong xử lí tín hiệu nhiều chiều .........................................20
2.3. Phương pháp nhận diện sử dụng Artipicial Neural Network (ANN) .....................21
2.3.1. Cấu trúc của ANN .........................................................................................21
2.3.2. Phân loại mạng Nơron ..................................................................................24
2.3.3. Thuật toán lan truyền ngược .........................................................................25



viii
2.3.4. Huấn luyện Neural Network .........................................................................25
2.3.5. Sử dụng Neural Network ..............................................................................27
Tổng kết Chương 2 ........................................................................................................29
Ơ
3. XÂY DỰ
UẬ
OÁ
Ậ D
ẢM XÚC VÀ
KẾ QUẢ .....................................................................................................................30
3.1. Cơ sở dữ liệu...........................................................................................................30
3.1.1. Bộ dữ liệu JAFEE (Japanese Fermale Facial Expression) ..................................30
3.1.2. Bộ dữ liệu FEI .....................................................................................................31
3.2. Mơ hình tổng qt ..................................................................................................32
3.3. Kết quả lựa chọn Eigenvectos ................................................................................34
3.4. Kết quả nhận dạng và đánh giá...............................................................................35
3.4.1. Kết quả trên bộ dữ liệu JAFEE .....................................................................35
3.4.2. Kết quả trên bộ dữ liệu FEI...........................................................................37
3.5. Kết quả thực nghiệm trên các mô hình khác .......................................................... 39
3.6. Cơng cụ thử nghiệm Matlab ...................................................................................41
3.7. Xây dựng demo ......................................................................................................42
Tổng kết Chương 3 ........................................................................................................46
KẾ
UẬ ..................................................................................................................47
ỆU
QUYẾ

A
Ị


K ẢO........................................................................................... 49
AO Ề TÀI LUẬ V

(bản sao)


ix

DANH MỤC CÁC CHỮ VIẾT TẮT

ANN

Artificial Neural Network

AU

Action Units

KNN

K – nearest neighbors

PCA

Principal Component Analysis

SVM

Support Vecto Machine


AAM

Active Appearance Model


x

DANH MỤC CÁC BẢNG
ố hiệu
bả

Tên bảng

Trang

3.1.

Kết quả lựa chọn số eigenvectos

34

3.2.

Bảng kết quả thử nghiệm khi thay đổi hidden layer của mạng Nơron

35

3.3.


Bảng kết quả thử nghiệm khi thay đổi hidden layer của mạng Nơron

37

3.4.

Bảng kết quả thử nghiệm trên các mơ hình

40


xi

DANH MỤC CÁC HÌNH
ố hiệu
hình
1.1.
1.2.
1.3.
1.4.
1.5.
2.1.
2.2.
2.3.
2.4.
2.5.
2.6.
2.7.
3.1.
3.2.

3.3.
3.4.
3.5.
3.6.
3.7.
3.8.
3.9.
3.10.
3.11.
3.12a.
3.12b.
3.13.
3.14.
3.15a.
3.15b.

Tên hình

Trang

Mơ hình bài tốn nhận dạng cảm xúc trên mặt người
Hệ thống nhận dạng cảm xúc cơ bản
Q trình trích chọn đặc trưng
Phương pháp AU
Phương pháp AAM kết hợp tương quan điểm
Hình ảnh minh họa cho PCA
Phương pháp phân tích thành phần chính (PCA)
Các khn mặt huấn luyện
Khuôn mặt huấn luyện được biểu diễn vào không gian vecto
mới

Cấu trúc 1 Neural Network cơ bản
Sơ đồ khối tổng quát của 1 Nơ-ron trong Neural Network
Quá trình lan truyền ngược
Khuôn mặt cảm xúc vui (HA), buồn (SA) và ngạc nhiên (SU)
của người mang tên KA
Khuôn mặt cảm xúc vui (HA), buồn (SA) và ngạc nhiên (SU)
của người mang tên KL
Một vài hình ảnh trong tập dữ liệu JAFEE
Một số mẫu trong The FEI face database
Một số hình ảnh trong tập dữ liệu FEI
Sơ đồ khối quá trình thuật toán huấn luyện và kiểm thử.
Sơ đồ Neural Network được sử dụng
Confusion matrix for ANN
Hình ảnh bị nhận diện nhầm
Sơ đồ Neural Network được sử dụng trong tập dữ liệu FEI
Confusion matrix for ANN
Cảm xúc trung tính bị nhận dạng nhầm thành vui
Cảm xúc vui bị nhận dạng nhầm thành trung tính
Logo Matlab
Giao diện chính
Giao diện mơ phỏng
Giao diện mô phỏng

5
5
6
8
8
12
13

14
17
22
23
26
30
31
31
32
32
33
36
36
37
38
38
39
39
41
42
43
43



1

MỞ ẦU
1. Lí do chọ đề tài
Chúng ta đã biết, công nghiệp 4.0 là xu hướng hiện thời trong việc tự động

hóa và trao đổi dữ liệu trong cơng nghệ sản xuất. Xã hội đang ở nền công nghiệp 4.0
ngày nay phần lớn các thiết bị điện tử đều phát triển theo xu hướng tự động hóa, thơng
minh, hiểu ý con người, các thiết bị thông minh phổ biến như smart phone, smart TV,
smart watch, smart house, xe tự lái, máy in 3D, công nghệ nano, robot thế hệ mới,...
Để làm được điều đó các thiết bị cảm biến, các thuật toán nhận dạng ra đời ngày càng
hiện đại hơn, chính xác hơn, chúng có thể nhận biết hoạt động, hình dáng của con
người và hoạt động theo ý muốn con người. Thì bài tốn “nhận dạng cảm xúc của con
người” là một trong số đó.[1] Trong vài năm gần đây, cùng với sự phát triển về khoa
học và công nghệ đặc biệt ở lĩnh vực trí tuệ nhân tạo, tương lai người máy đã trở thành
một lĩnh vực nổi bậc nhằm cung cấp cho con người khả năng phục vụ của máy móc.
Điều này bắt đầu từ khả năng máy móc có thể tương tác được với con người. Máy móc
cần các kỹ năng trao đổi thơng tin với con người và một trong những kỹ năng đó là
khả năng hiểu được cảm xúc. Cách tốt nhất để một người biểu thị cảm xúc là qua
khn mặt. Bài tốn nhận dạng cảm xúc khuôn mặt đã được bắt đầu nghiên cứu từ
những năm 1970 và kết quả của nó ngày càng cao hơn.[2]
Ứng dụng của nhận dạng cảm xúc trong cuộc sống hàng ngày là rất lớn, các hệ
thống phát hiện trạng thái buồn ngủ dựa vào cảm xúc trên khuôn mặt được phát triển
để cảnh báo cho người lái xe khi thấy dấu hiệu buồn ngủ, mệt mỏi. Các hệ thống kiểm
tra tính đúng đắn của thơng tin, các phần mềm điều khiển dựa vào cảm xúc, các thiết
bị hỗ trợ người tàn tật,... [3]
Bản thân con người có thể nhận dạng cảm xúc khn mặt qua hình ảnh của mọi
người một cách dễ dàng. Thậm chí, ảnh đó có thể nằm trong một ảnh nền phức tạp.
Tuy nhiên, đối với hệ máy thì việc nhận dạng này là một cơng việc rất phức tạp và khó
khăn. Chính vì vậy, trong những năm gần đây, lĩnh vực nhận dạng khuôn mặt đã nhận
được sự quan tâm nghiên cứu lớn từ các nhà khoa học nhằm tạo ra các hệ hỗ trợ quyết
định phục vụ trong rất nhiều lĩnh vực của cuộc sống.
Trong các cách biểu đạt ngôn ngữ của cơ thể, cảm xúc là cái thể hiện rõ nhất
những gì mà người nghe cảm thấy... Nhận dạng cảm xúc có nhiều ứng dụng phục vụ
cho con người ví dụ như trong lĩnh vực y học có thể dùng hệ thống tương tác giữa
người và máy, giúp những người bị tật hoặc khiếm khuyết có thể trao đổi được, dùng

điệu bộ bàn tay, khuôn mặt,... hoặc trong lĩnh vực an ninh có thể dùng hệ thống nhận
dạng một người có phải tội phạm hay khơng thơng qua các cảm biến nhịp tim, hơi thở,


2
sắc thái,.v.v... và còn nhiều những ứng dụng khác nữa. Xuất phát từ nhưng u cầu
thực tế, đó là lí do tôi chọn đề tài “
Ơ

Á

A KẾ

Ậ D

Ợ VỚ

Ả

XÚ

O

BẰ

Ơ O ”

2. Mục tiêu và nhiệm vụ
2.1. Mục tiêu
- Thu nhận khn mặt từ hình ảnh của một người, xử lí các đặc trưng trên hình

ảnh đó và nhận dạng trạng thái cảm xúc của người đó như thế nào: vui, buồn, giận hay
ở trạng thái trung lập.
2.2. Nhiệm vụ
Để đạt được mục trên, cần phải thực hiện các nhiệm vụ sau:
- Thu nhận mặt: đây là giai đoạn tiền xử lý để tự động tìm ra vùng chứa mặt từ
các ảnh đầu vào.
- Dùng phương pháp PCA để chuẩn hóa và tách đặc trưng trên mặt.
- Nhận dạng cảm xúc trên mặt người bằng mạng Nơron dựa trên kết quả của việc
tách đặc trưng.
3. ối tượng và phạm vi nghiên cứu
3.1. Đối tượng nghiên cứu
- Những cảm xúc trên khuôn mặt của một hoặc nhiều người thơng qua hình ảnh.
3.2. Phạm vi nghiên cứu
- Nhận dạng các cảm xúc: vui, buồn, giận dữ và trung lập.
4. Mục đích v ý hĩa đề tài
4.1. Mục đích của đề tài
- Nghiên cứu mạng Nơron nhân tạo
- Nghiên cứu thuật tốn trích chọn đặc trưng PCA
- Ứng dạng mạng Nơron vào bài toán nhận dạng cảm xúc con người
4.2. Ý nghĩa của đề tài
- Về khoa học:
 Đưa ra hệ thống nhận dạng Nghiên cứu nhận dạng cảm xúc bằng mạng Nơron
sẽ phục vụ cho việc phát triển hệ thống nhận dạng.
- Về thực tiễ :
 Đề tài sẽ góp phần xây dựng thêm cho hệ thống nhận dạng cảm xúc phục vụ
cho đời sống con người.
5. hươ pháp hiê cứu
5.1. Phương pháp nghiên cứu lí thuyết
- Nghiên cứu tài liệu về cơ sở lí thuyết: mạng nơron nhân tạo (Artificial
Neural Network - ANN), thuật tốn trích chọn đặc trưng (Principal Component



3
Analysis - PCA),...
- Giáo trình Data Mining, Machine Learning
- Các đề tài, bài báo có liên quan về nhận dạng như nhận dạng hình ảnh, cảm xúc
và các thuật tốn về nhận dạng như Decision Tree, SVM, Knn,...
5.2. Phương pháp nghiên cứu thực nghiệm
- Cài đặt chương trình bằng phần mềm Matlab.
- Nghiên cứu việc viết chương trình cho bài tốn nhận dạng bằng ngơn ngữ lập
trình Matlab.
- So sánh kết quả thực nghiệm trên các phương pháp mạng Nơron, Decision
Tree, SVM, Knn.
6. Bố cục luậ vă
Ngoài phần mở đầu, kết luận. Luận văn gồm 3 chương
Chương 1: Tổng quan về nhận dạng cảm xúc con người.
Chương 2: Cơ sở lý thuyết
Chương 3: Nhận dạng cảm xúc bằng phương pháp PCA kết hợp ANN


4

Ơ
1
TỔNG QUAN VỀ NHẬN D NG CẢ
1.1.

Mô tả b i toá

hậ dạ


XÚ

O

I

cảm xúc

Cảm xúc trên mặt là một quy luật rất quan trọng trong giao tiếp giữa người với
người. Merhrabin, một nhà tâm lý học, đã phát biểu rằng các ngơn ngữ có lời chỉ
chiếm 7% thơng điệp trong giao tiếp của con người, trong khi chiếm hơn 55% là
những giao tiếp bằng các phương pháp không lời. Những công nghệ giao tiếp tiến bộ
nhanh chóng gần đây và khoa học máy tính đã cho chúng ta những hi vọng rằng cảm
xúc trên mặt sẽ trở thành một giải pháp then chốt trong lĩnh vực giao diện người máy
và các hướng phát triển giao tiếp khác trong tương lai.[14]
Phân tích cảm xúc trên mặt bao gồm đo các chuyển động trên mặt và nhận dạng
cảm xúc. Cách tiếp cận thông thường của các hệ thống phân tích cảm xúc gồm 3 bước:
thu nhận mặt, tách đặc trưng trên mặt và nhận dạng cảm xúc trên mặt.
Thu nhận mặt là một giai đoạn xử lý để tự động tìm ra vùng chứa mặt từ các ảnh
đầu vào hoặc chuỗi ảnh đầu vào. Nó có thể là một bộ xác định mặt để tìm ra một mặt
trong mỗi khung hình hoặc trước tiên xác định mặt trong khung hình đầu tiên và sau
đó thực hiện q trình lưu vết mặt đó trên phần cịn lại của đoạn băng. Các chuyển
động đầu, tìm kiếm đầu, lưu vết đầu và đánh giá tư thế có thể áp dụng nhiều trong một
hệ thống phân tích cảm xúc trên mặt.
Sau khi đã định vị mặt, bước tiếp theo là tách và biểu diễn lại các thay đổi trên
mặt bởi các cảm xúc trên mặt. Trong phần tách đặc trưng trên mặt để phân tích cảm
xúc, có 2 hướng chính thường được tiếp cận: các phương pháp dựa trên đặc trưng hình
học và các phương pháp dựa trên vẻ bề ngoài. Các thành phần trên mặt hoặc các điểm
đặc trưng trên mặt được tách thành một vectơ đặc trưng để biểu diễn hình học khn

mặt.
Bài tốn đặt ra là: Giả sử có một cơ sở dữ liệu ảnh về các cảm xúc của con người
đã được lưu trong máy, bài toán nhận dạng là làm sao để khi đưa ảnh khn mặt của
một người bất kì vào thì máy sẽ thu nhận mặt, tách đặc trưng trên mặt và nhận dạng
cảm xúc trên mặt của người này trong cơ sở dữ liệu.


5

Hình 1.1. Mơ hình bài tốn nhận dạng cảm xúc trên mặt người
1.2. ệ thố
hậ dạ cảm xúc
Hệ thống nhận dạng cảm xúc cơ bản như sau:
Ảnh tĩnh

Tiền xử lí

Trích chọn đặc trưng

Nhận dạng cảm xúc
Hình 1.2. Hệ thống nhận dạng cảm xúc cơ bản
 Tiền xử lí: Q trình tiền xử lý đối với khuôn mặt nhằm nâng cao chất lượng
ảnh, chuẩn hóa dữ liệu, kích thước ảnh. Việc chuẩn hóa này khiến độ lệch giữa 2 điểm
ảnh được giảm xuống làm q trình trích chọn đặc trưng thêm chính xác.
 Trích chọn đặc trưng: là kỹ thuật sử dụng các thuật tốn để lấy ra những thơng
tin mang những đặc điểm riêng biệt của một người. Trong bài này sử dụng phương
pháp PCA, phương pháp này sẽ được trình bày cụ thể ở chương 2.[4]
Các khâu trong quá trình trích chọn đặc trưng:
- Đầu vào: Ảnh đã được chuẩn hóa.



6
- Đầu ra: Vecto đặc trưng của ảnh đầu vào
Quá trình trích chọn đặc trưng được thể hiện qua lưu đồ sau
Tập ảnh học

Chuẩn hóa ma trận ảnh

Trung bình các ảnh
Khối trích chọn
đặc trưng
Ma trận ảnh so với ảnh trung bình

Tính các Eigenfaces

Elgenfaces
Ảnh đầu

Vecto đặc trưng

Chiếu lên khơng
gian Elgenfaces

Hình 1.3. Q trình trích chọn đặc trưng
 Nhận dạng cảm xúc: Những đặc trưng sau khi được trích chọn sẽ đưa vào khối
nhận dạng để phân lớp đối tượng. Trong đề tài này tôi dùng mạng nơron để nhận dạng
các đối tượng.

Vecto đặc trưng


Mạng
Nơron

Cảm xúc


7
1.3. ột số phươ pháp hậ dạ cảm xúc khuô mặt
Có nhiều phương pháp phát hiện cảm xúc khn mặt đã được nghiên cứu để giải
quyết bài toán này, điển hình là một số phương pháp sau:
 Sử dụng các đơn vị chuyển động trên khuôn mặt (Action units-AU)
 Sử dụng AAM (Active Appearance Model – AAM) kết hợp tương quan điểm
 Sử dụng PCA ( Principal Component Analysis)
 Sử dụng phương pháp học, huấn luyện mạng noron.
Mỗi phương pháp đều có ưu và nhược điểm riêng. Đối với phương pháp PCA kết
hợp mạng noron thì cần một tập dữ liệu chuẩn để huấn luyện. Việc xây dựng các tập
huấn luyện này cũng tương đối khó khăn và tốn kém vì cần nhiều người làm mẫu,
những người này phải diễn đạt cảm xúc tốt, ngồi ra cịn cần sự đánh giá của các
chuyên gia tâm lý. Hiện nay có một số tập huấn luyện chuẩn thường được dùng đó là
JAFFE (Japanese Female Facial Expression) hay Cohn-Kanade. [7]
Các phương pháp dựa trên đặc trưng ảnh là sử dụng kĩ thuật phân tích thành phần
chính PCA, sau đó huấn luyện bằng thuật toán học. PCA được Karl Pearson tạo ra
năm 1901. Đến những năm 80, Sirovich và Kirby đã phát triển kĩ thuật này để thể hiện
khuôn mặt một cách hiệu quả. Đưa ra sự giống nhau giữa nhiều hình ảnh khn mặt
khác nhau, kĩ thuật này tìm ra những thành phần cơ bản của sự phân bố khuôn mặt thể
hiện bằng các eigenvectos. Từng khuôn mặt trong một tập hợp các khn mặt sau đó
có thể tính xấp xỉ bằng sự kết hợp tuyến tính giữa những eigenvecto lớn nhất, được
biết tới như eigenfaces.[7]
1.3.1. Phương pháp sử dụng Action Units
Phương pháp Action Units (AU) này nhận dạng cảm xúc dựa trên các đơn vị

chuyển động của khn mặt. Có tất cả 64 Au, mỗi AU là sự kết hợp của một số các
cơ trên khuôn mặt. Cảm xúc được nhận dạng bằng cách phát hiện tại một thời điểm
có bao nhiêu AU xuất hiện trên khuôn mặt và với các AU xuất hiện cùng nhau đó
thì tương ứng với 1 loại cảm xúc. [7]


8

Hình 1.4. Phương pháp AU
1.3.2. Phương pháp dùng mơ hình AAM kết hợp tương quan điểm
Phương pháp này sử dụng mơ hình AAM để phát hiện khn mặt. Sau đó dựa
vào tỷ lệ giữa 2 mắt, miệng, mũi... để nhận dạng cảm xúc. Khó khăn của phương pháp
này là việc xác định ngưỡng tỉ lệ để xác định cảm xúc.[7]

Hình 1.5. Phương pháp AAM kết hợp tương quan điểm


9
1.3.3. Phương pháp Support Vecto Machine (SVM)
Phương pháp SVM được Vladimir Vapnik đưa ra vào năm 1995 để giải quyết vấn đề
nhận dạng mẫu hai lớp sử dụng nguyên tắc cực tiểu hóa rủi ro cấu trúc (Structural Risk
Minimization). Đây là phương pháp tiếp cận phân loại văn bản rất hiệu quả. Ưu điểm của
SVM là giải thuật này được xây dựng trên ý tưởng cực tiểu rủi ro cấu trúc. Nguồn gốc của
SVM dựa trên sự chắc chắn về lỗi chính xác, có thể phân loại ngẫu nhiên các mẫu đối tượng
được chọn mà lỗi được giữ sao cho nhỏ nhất. Vì vậy, giải thuật SVM giúp giảm thiểu biên
trên các lỗi chính xác và làm cho hệ thống tin cậy hơn, cho trước một tập huấn luyện, các ảnh
được biểu diễn dưới dạng vecto. Trong không gian vecto, mỗi vertor được biểu diễn bởi một
điểm. Phương pháp SVM sẽ tìm một siêu phẳng quyết định để phân chia không gian vecto
thành hai lớp (khuôn mặt và không phải khuôn mặt). Chất lượng của siêu phẳng này phụ
thuộc vào khoảng cách giữa các vecto, tức là phụ thuộc vào các đặc trưng của ảnh. Support

Vecto Machine đã được Osuna áp dụng đầu tiên để xác định khuôn mặt người

1.3.4. Nhận dạng bằng phương pháp PCA truyền thống
1.3.4.1. Tóm tắt
Phân tích thành phần chính (Principal Component Analysis – PCA) là kĩ thuật
hữu ích trong các ứng dụng nhận dạng mặt và nén ảnh và là một kĩ thuật phổ biến để
tìm mẫu trong các dữ liệu nhiều chiều. [7]
PCA là một thuật toán để được sử dụng để tạo ra một ảnh mới từ ảnh ban đầu.
Ảnh mới này có kích thước nhỏ hơn rất nhiều so với ảnh đầu vào và vẫn mang những
đặc trưng cơ bản nhất của ảnh cần nhận dạng. PCA không cần quan tâm đến việc tìm
ra các đặc điểm cụ thể của thực thể cần nhận dạng và mối quan hệ giữa các đặc điểm
đó. Tất cả các chi tiết đó đều được thể hiện ở ảnh mới được tạo ra từ PCA.
Nội dung và các bước thực hiện của PCA sẽ được trình bày cụ thể ở chương 2.
1.3.4.2. Ưu, nhược điểm của thuật tốn
 u điểm
- Tìm được đặc tính tiêu biểu của đối tượng cần nhận dạng mà không cần phải
xác định các thành phần và mối quan hệ giữa các thành phần đó.
- Thuật tốn có thể thực hiện tốt với các ảnh có độ phân giải cao, do PCA sẽ thu
gọn ảnh thành một ảnh có kích thước nhỏ hơn.
- PCA có thể kết hợp với các phương pháp khác như: Mạng Nơron, cây quyết
định, Support Vecto Machine, ... để mang lại hiệu quả nhận dạng cao hơn.
 hược điểm
- PCA phân loại theo chiều lớn nhất của tập vecto. Tuy nhiên, chiều phân bố lớn
nhất không phải lúc nào cũng mang lại hiệu quả tốt nhất cho bài toán nhận dạng. Đây
là nhược điểm cơ bản của PCA
- PCA rất nhạy với nhiễu.


10
1.3.4.3. Đề xuất

PCA là phương pháp dùng để xây dựng đặc trưng khn mặt, nó là một nền tảng
để phát triển những thuật toán khác. PCA nếu được áp dụng với những phương pháp
khác như mạng Nơron thì có thể sẽ cho ra độ chính xác cao hơn.


11
Tổng kết hươ 1
Như vậy, chương này tôi đã phát biểu và đưa ra được mơ hình chung của một bài
tốn nhận dạng và mơ hình chung của hệ thống nhận dạng mà tôi sẽ làm trong đề tài
này. Bên cạnh đó, để khắc phục những nhược điểm của phương pháp nhận dạng cũ, tơi
đề xuất giải quyết bài tốn theo hướng tiếp cận mới bằng phương pháp PCA kết hợp
với mạng Nơron để nhận dạng. Ở chương 2 tôi sẽ trình bày rõ về lí thuyết của PCA và
mạng Nơron.