ĐẠI HỌC ĐÀ NẴNG
TRƯỜNG ĐẠI HỌC BÁCH KHOA

NGÔ VĂN TIẾN

C
C

NHẬN DẠNG VÂN TAY SỬ DỤNG MẠNG
NEURAL NHÂN TẠO ỨNG DỤNG VÀO

R
L
T.

DU

HỆ THỐNG THANG MÁY

LUẬN VĂN THẠC SĨ KỸ THUẬT ĐIỆN TỬ

Đà Nẵng – Năm 2020


ĐẠI HỌC ĐÀ NẴNG
TRƯỜNG ĐẠI HỌC BÁCH KHOA

NGÔ VĂN TIẾN

NHẬN DẠNG VÂN TAY SỬ DỤNG MẠNG
NEURAL NHÂN TẠO ỨNG DỤNG VÀO

C
HỆ THỐNG THANGC
MÁY
R
L
.
T
DU

Chuyên ngành : Kỹ thuật Điện tử
Mã số
: 852.02.03

LUẬN VĂN THẠC SĨ

Người hướng dẫn khoa học: TS. TĂNG ANH TUẤN
PGS.TS. TĂNG TẤN CHIẾN

Đà Nẵng – Năm 2020


LỜI CAM ĐOAN
Tôi xin cam đoan mọi kết quả của đề tài: “Nhận dạng vân tay sử dụng mạng
neural nhân tạo ứng dụng vào hệ thống thang máy ” là cơng trình nghiên cứu của cá
nhân tơi và chưa từng được cơng bố trong bất cứ cơng trình khoa học nào khác cho tới
thời điểm này.
Học viên thực hiện

Ngô Văn Tiến


C
C

DU

R
L
T.


TÓM TẮT LUẬN VĂN
NHẬN DẠNG VÂN TAY SỬ DỤNG MẠNG NEURAL NHÂN TẠO ỨNG
DỤNG VÀO HỆ THỐNG THANG MÁY
Học viên thực hiện : Ngô Văn Tiến. Chuyên ngành: Kỹ thuật điện tử
Mã số :
Khoá : K37-38. Trường Đại học Bách Khoa – ĐHĐN
Tóm tắt – Nhận dạng vân tay là một trong những phương pháp nhận dạng sinh trắc học cá
nhân phổ biến và đáng tin cậy. Luận văn mô tả hệ thống nhận dạng vân tay thời gian thực áp
dụng vào quản lý sử dụng hệ thống thang máy bao gồm các bước thu nhận hình ảnh, tiền xử
lý, trích xuất đặc trưng và nhận dạng. Phần tiền xử lý tăng cường, lọc nhiễu làm rõ đường vân,
so sánh hiệu suất, tốc độ của phương pháp xử dụng xử lý ảnh so với phương pháp sử dụng mơ
hình tích chập phân vùng ngữ nghĩa. Sử dụng mơ hình tích chập với phương pháp học một lần
trích xuất đặc trưng của vân tay và tính khoảng cách ơ-clid để định danh vân tay. Luận văn
trình bày tổng quan về hệ thống sinh trắc học, mạng neural nhân tạo, mạng neural tích chập,
phương pháp học một lần, các thuật tốn huấn luyện mơ hình. Nghiên cứu, thiết kế và thực thi
phần mềm và phần cứng, đánh giá chi tiết độ chính xác và thời gian xử lý của hệ thống. Tác
giả đã tóm tắt các kết quả đã đạt được và đưa ra hướng phát triển tiếp theo.
Từ khố –tích chập ; phân vùng ngữ nghĩa ; học một lần ; sinh trắc học ; nhận dạng vân tay


C
C

R
L
T.

FINGERPRINT IDENTIFICATION USING ARTIFICIAL NEURAL
NETWORK APPLY TO THE ELEVATOR SYSTEM

DU

Abstract – Fingerprint identification is one of the most popular and reliable personal
biometric identification methods. The thesis describes the real-time fingerprint recognition
system applied to the management and use of the elevator system, including the steps of
image acquisition, pre-processing, feature extraction and identification. Enhanced preprocessing, filter noise to clarify the pattern, compare the performance and speed of the
method of using image processing compared with the method of using the semantic
segmentation convolution model. Use a convolution model with a one-time learning method
that extracts fingerprint features and calculates euclidean distance to identify a fingerprint.
The thesis presents an overview of biometric systems, artificial neural networks,
convolutional neural networks, one-shot learning methods, and train algorithms. Research,
design and implement software and hardware, detail the accuracy and processing time of the
system. The author has summarized the results achieved and gave the next development
direction.
Key words – covolution neural network ; semantic segmentation ; one-shot learning ;
biometrics ; fingerprint identification.


MỤC LỤC
MỞ ĐẦU ......................................................................................................................... 1

1. Tính cấp thiết của đề tài ...................................................................................... 1
2. Mục tiêu nghiên cứu ........................................................................................... 2
3. Đối tượng và phạm vi nghiên cứu ...................................................................... 2
4. Phương pháp nghiên cứu .................................................................................... 3
5. Ý nghĩa khoa học và thực tiễn của đề tài ............................................................ 3
6. Thời gian thực hiện đề tài ................................................................................... 3
7. Cấu trúc luận văn ................................................................................................ 4
Chương 1 TỔNG QUAN VỀ CÁC PHƯƠNG PHÁP NHẬN DIỆN DẤU VÂN
TAY ................................................................................................................................. 5
1.1. Tổng quát về các hệ thống sinh trắc học ................................................................. 5
1.1.1. Các khối và chức năng .................................................................................. 6
1.1.2. Các bước xử lý .............................................................................................. 7
1.2. Cơ sở lý thuyết về vân tay ........................................................................................ 7
1.2.1. Đặc tính vân tay ............................................................................................ 7
1.2.2. Cấu trúc vân tay ............................................................................................ 7
1.2.3 Các đặc trưng vân tay và cách biểu diễn ....................................................... 9
1.3. Các yếu tố ảnh hưởng đến nhận dạng vân tay ........................................................ 10
1.4. Kết luận chương ..................................................................................................... 11

C
C

R
L
T.

DU

Chương 2 GIỚI THIỆU MẠNG NEURAL NHÂN TẠO, MẠNG NEURAL TÍCH
CHẬP VÀ ONE-SHOT LEARNING ........................................................................ 12

2.1. Tổng quan về mạng neural nhân tạo....................................................................... 12
2.1.1. Mạng neural nhân tạo là gì ?....................................................................... 12
2.1.2. Cấu trúc của một mạng neural nhân tạo ..................................................... 12
2.2. Kiến trúc mạng neural ............................................................................................ 16
2.3. Huấn luyện mạng neural nhận tạo .......................................................................... 17
2.3.1. Các phương pháp học ................................................................................. 17
2.3.2. Thuật toán huấn luyện mạng neural............................................................ 17
2.3.3. Thuật toán tối ưu Adam .............................................................................. 18
2.4. Mạng neural tích chập (CNN) ................................................................................ 20
2.4.1. Định nghĩa mạng neural tích chập .............................................................. 20
2.4.2. Lớp tích chập .............................................................................................. 20
2.4.3. Lớp tích chập chuyển vị (Transposed Conlution layer) ............................. 22
2.4.4. Lớp tinh chỉnh đơn vị tuyến tính (ReLU layer) .......................................... 23


2.4.5. Pooling layer ............................................................................................... 24
2.4.6. Lớp kết nối hoàn chỉnh (The Fully connected layer) ................................. 25
2.4.7. Hàm mất mát (Loss function) ..................................................................... 25
2.5. One-shot learning ................................................................................................... 26
2.6. Kết luận Chương..................................................................................................... 28
Chương 3 THIẾT KẾ, XÂY DỰNG CHƯƠNG TRÌNH NHẬN DIỆN VÂN TAY
SỬ DỤNG ONE-SHOT LEARNING ỨNG DỤNG VÀO HỆ THỐNG THANG
MÁY .............................................................................................................................. 29
3.1. Thiết kế mơ hình nhận diện vân tay phiên bản với bộ lọc Gabor .......................... 29
3.1.1. Nâng cao hình ảnh vân tay.......................................................................... 30
3.1.2. Nhận dạng hình ảnh vân tay ....................................................................... 35
3.2. Thiết kế mơ hình nhận diện vân tay phiên bản với mạng tích chập ....................... 36
3.2.1. Nâng cao hình ảnh vân tay sử dụng mạng phân vùng ngữ nghĩa ............... 37
3.2.2. Nhận dạng hình ảnh vân tay ....................................................................... 38
3.3. Thiết kế thiết bị thu thập, nhận diện vân tay và điều khiển hệ thống thang máy........... 39

3.3.1. Khối thu thập vân tay .................................................................................. 39
3.3.2. Khối xử lý nhận dạng.................................................................................. 39
3.4. Kết luận Chương..................................................................................................... 42

C
C

R
L
T.

DU

Chương 4 KẾT QUẢ ................................................................................................... 43
4.1. Tiêu chí đánh giá .................................................................................................... 43
4.2. Xây dựng cơ sở dữ liệu và phân tích kết quả ......................................................... 44
4.2.1. Xây dựng cơ sở dữ liệu ............................................................................... 44
4.2.2. Đánh giá và so sánh thời gian xử lý, kết quả nhận dạng mơ hình nhận diện
vân tay phiên bản với bộ lọc Gabor và với mạng tích chập .......................................... 45
4.3. Kết luận chương ..................................................................................................... 46
KẾT LUẬN .................................................................................................................. 47
DANH MỤC TÀI LIỆU THAM KHẢO
PHỤ LỤC


DANH SÁCH CÁC THUẬT NGỮ TIẾNG ANH, CHỮ VIẾT TẮT
Frame

Khung hình


Object segmentation

Phân vùng đối tượng

Pre-processing

Tiền xử lý

Tracking

Bám đuổi

Feature extraction

Trích xuất đặc trưng

Pattern recognition

Nhận dạng

Foreground

Vùng chính của ảnh

Mathematical Morphology

MM

Phép tốn hình thái học


Template matching

Đối sánh

State-space

Không gian-trạng thái

Machine learning

Học máy

Neural Network

T
U

D

Dynamic Bayesian Network
Support Vector Machine

Convolution Neural Network
Background Subtraction
Statistical Methods
Temporal Differencing

R
L
.


NN

Hidden Markov Model

C
C

Mạng neural

HMM

Mơ hình Markov ẩn

DBN

Mạng Bayesian động

SVM

Máy vector hỗ trợ

CNN

Mạng neural tích chập
Trừ ảnh nền
Phương pháp dựa trên mơ hình
thống kê
Sự chênh lệch thời gian giữa các
khung hình


Computer Vision

Thị giác máy tính

Deep Learning

Học sâu

Convolution

Phép chập

Signal processing

Xử lý tín hiệu

Sliding window

Cửa sổ trượt

Filter

Bộ lọc

Feature detector

Bộ phát hiện đặc trưng

Element-wise


Thành phần tương ứng


Convoled feature

Đặc trưng của phép chập

Rectified Linear Unit

ReLU

Hyperparameter

Tinh chỉnh đơn vị tuyến tính
Siêu tham số

Fully connected

FC

Loss function

Kết nối hồn chỉnh
Hàm mất mát

Mean Square Error

MSE


Smooth

Trung bình của bình phương lỗi
Làm mượt

Short-time Fourier transform

STFT

Biến đổi Fourier thời gian ngắn

True Positives

TP

Đúng tích cực

False Positives

FP

Sai tích cực

True Negatives

TN

Đúng tiêu cực

False Negatives


FN

Sai tiêu cực

Recall

RC

Tỉ lệ phát hiện đúng

Precision

PR

Độ tin cậy

True negative rate
True positive rate

R
L
.

T
U

Accuracy

D


C
C

ACC

Độ chính xác

TNR

Tỉ lệ đúng tiêu cực

TPR

Tỉ lệ đúng tích cực


DANH MỤC CÁC BẢNG
Số hiệu
bảng
4.1.
4.2.
4.3.
4.4.

Tên bảng

Trang

So sánh thời gian xử lý của hai phiên bản


45

Kết quả nhận dạng cho mô hình phiên bản với bộ lọc Gabor với bộ
dữ liệu kiểm tra
Kết quả nhận dạng cho mơ hình phiên bản với mạng tích chập với
bộ dữ liệu kiểm tra
Bảng so sánh kết quả thống kê EER, ACC, FAR, FRR của hai
phiên bản với bộ dữ liệu kiểm tra

C
C

DU

R
L
T.

45
45
46


DANH MỤC CÁC HÌNH
Số hiệu

Tên hình

hình


Trang

1.1.

Mơ tả quy trình lấy mẫu vân tay đầu vào

5

1.2.

Sơ đồ khối của hệ thống đăng ký [6]

6

1.3.

Sơ đồ khối của hệ thống xác thực [6]

6

1.4.

Sơ đồ khối của hệ thống định danh [6]

6

1.5.

Vùng Whorl, Loop, Arch trên vân tay [8]


8

1.6.

7 chi tiết thường gặp trên vân tay [8]

9

1.7.

Các điểm singularity core và delta [8]

9

1.8.

Một số loại core thường gặp [6]

9

1.9.

Các điểm minutiae Rigde Ending và Bifurcation [9]

10

1.10.

Bề mặt của ảnh vân tay với các đường vân (ridge) và các rãnh

(ravine) [9]

10

1.11.

Hình ảnh vân tay do các yếu tố xấu gây ra. Từ trái qua phải : Sự đổi
chỗ, Sự quay, Sự chồng chéo đường vân, Sự nhiễu phi tuyến và
méo vân

11

2.1.

Mơ hình cấu trúc của neural nhân tạo

13

2.2.

Một số hàm kích hoạt thơng dụng

15

2.3.

Mạng tự tổ chức

16


2.4.

Mạng có kiến trúc truyền thẳng

16

2.5.

Mạng có kiến trúc hồi quy

17

2.6.

Sơ đồ huấn luyện mạng neural trong học giám sát với y:Tín hiệu ra
của mạng d : Tín hiệu ra mong muốn x Tín hiệu vào của mạng

18

2.7.

Hình ảnh minh họa về mạng tích chập

20

2.8.

Các thành phần của tích chập[21]

21


2.9.

Minh họa tích chập

21

2.10.

Ảnh mờ hơn sau khi áp dụng phép tích chập

22

2.11.

Ảnh được phát hiện biên sau khi chập

22

2.12.

So sánh giữa lớp tích chập và lớp tích chập chuyển vị

23

2.13.

Lớp tích chập chuyển vị với ma trận bộ lọc kích thước 2x2.

23


2.14.

Đồ thị hàm ReLU

24

2.15.

Tính tốn với phương pháp MaxPooling

25

2.16.

Cấu trúc mạng Triplet

27

C
C

R
L
T.

DU


Số hiệu

hình

Tên hình

Trang

3.1.

Sơ đồ mơ tả mơ hình nhận diện vân tay phiên bản với bộ lọc Gabor

29

3.2.

Hình ảnh đầu vào và kết quả sau khi phân vùng vân tay

30

3.3.

Hình ảnh đầu vào và kết quả sau khi dự đoán hướng biên cục bộ

31

3.4.

Cửa sổ định hướng với trục x

32


3.5.

Hình ảnh đầu vào và kết quả sau khi dự đoán tần số biên cục bộ

33

3.6.

Bộ lọc Gabor.

34

3.7.

Hình ảnh đầu vào và kết quả sau khi nâng cao hình ảnh vân tay.

35

3.8.

Kiến trúc mạng MobileNetV2

35

3.9.

Bên trong một bottleneck.

36


3.10.

Sơ đồ mô tả mơ hình nhận diện vân tay phiên bản với mạng tích
chập

37

3.11.

Kiến trúc mạng MobileNet-Unet

38

3.12.

Sơ đồ khối chức năng

3.13.

Đầu đọc vân tay R305

3.14.

Máy tính nhúng Raspberry Pi 4 Model B

40

3.15.

Sơ đồ khối chi tiết của phần mềm nhận dạng


40

3.16.

Giao diện chính chương trình nhận diện vân tay trước vào sau khi
nhận diện

41

3.17.

Giao diện đăng ký mới vân tay

41

4.1.

Ma trận phân lớp cho hai loại đối tượng đó:

43

4.2.

Các ví dụ mẫu có trong bộ cơ sở dữ liệu vân tay

44

C
C


R
L
T.

DU

39
39


1

MỞ ĐẦU
1. Tính cấp thiết của đề tài
Nhận dạng dấu vân tay là một trong những công nghệ sinh trắc học được ứng
dụng rộng rãi. Sự phát triển của công nghệ đã làm thay đổi từ việc lăn tay trên mực và
lưu trữ trên giấy sang quét trên máy và lưu trữ kỹ thuật số. Nhờ đó đạt được nhiều kết
quả quan trọng và trở thành một trong những phương pháp sinh trắc học tin cậy nhất.
Đa số các hệ thống bảo mật hiện nay sử dụng mật khẩu hay mã PIN (Personal
Identification Number) nhưng không thật sự hiệu quả vì khó nhớ, dễ qn, dễ bị đánh
cắp và có nhiều trở ngại trong quá trình sử dụng. Hệ thống nhận dạng sinh trắc học nói
chung và vân tay nói riêng ra đời để khắc phục khuyết điểm đó. Độ ổn định, tính phân
biệt cao và tính bảo mật tốt là các đặc điểm nổi bật của hệ thống nhận dạng dấu vân
tay giúp công nghệ này ngày càng được ứng dụng phổ biến.
Thực tế, hiện nay đã có rất nhiều hệ thống nhận dạng dấu vân tay AFIS đạt tới
độ chính xác rất cao, được ứng dụng cho các mục đích khác nhau như: bảo mật, giám
sát, chấm cơng… với cơ sở dữ liệu đơn giản hay đồ sộ tùy vào mục đích sử dụng.
Được áp dụng trong nhiều lĩnh vực như tài chính, quân sự, y học, kinh tế điện tử,…
Trong đó, có thể kể đến các hệ thống nhận dạng dấu vân tay được ứng dụng trong thực

tế như:

C
C

R
L
T.

DU

· Hệ thống IAFIS của FBI có cơ sở dữ liệu tới hàng trăm triệu vân tay.
· Hệ thống điều khiển truy cập: tài khoản ngân hàng, website, cửa ra vào các tịa
nhà cơng cộng, nhà ở thơng minh, trường học, bệnh viện, cơ quan chính phủ,…
cho việc điều khiển cũng như giám sát theo ý muốn người dùng.

Thiết bị nhận dạng vân tay thông minh INVIXIUM X

· Thiết bị nhận dạng dấu vân tay cho các bệnh viện, khu công nghiệp, cơ
quan như Finger Hamter 2, Verifiti P5100, Secugen Hamter Plus,…
· Hệ thống nhận dạng vân tay được sử dụng trên các điện thoại thông minh.


2

Công nghệ Touch ID ứng dụng trên Iphone

· Hệ thống giám sát, theo dõi, hộ chiếu điện tử,…
· Ứng dụng thay thế thẻ tính tiền siêu thị, thẻ thanh tốn quốc tế, thẻ ATM [1].


C
C

R
L
T.

DU

Hệ thống nhận diện vân tay ứng dụng trên máy rút tiền ATM

2. Mục tiêu nghiên cứu
Xây dựng một chương trình phần mềm của hệ thống nhận dạng vân tay sử dụng
mạng neural tích chập với phương pháp one-shot learning trên máy tính với hiệu suất
trên 90% và độ tin vậy cao ứng dụng vào hệ thống điều khiển thang máy.
3. Đối tượng và phạm vi nghiên cứu
3.1. Đối tượng nghiên cứu:
­ Lý thuyết công nghệ sinh trắc và vấn đề bảo mật
­ Cơ sở nhận dạng vân tay
­ Các thuật toán xử lý ảnh
3.2. Phạm vi nghiên cứu:
­ Hệ thống nhận dạng thông minh
­ Phân tích, xử lý ảnh
­ Học máy


3

­


Cơ sở dữ liệu

­

Thiết kế và phân tích hệ thống

4. Phương pháp nghiên cứu
Phương pháp luận của luận văn là kết hợp nghiên cứu lý thuyết và mô phỏng để
làm rõ nội dung đề tài. Cụ thể như sau:
­

Nghiên cứu phương pháp nâng cao ảnh vân tay trên cơ sở thuật tốn xử lý ảnh.

­
­

Nghiên cứu mơ hình nhận dạng ảnh vân tay.
Chương trình nhận dạng vân tay được xây dựng bằng ngôn ngữ Python, với thư
viện OpenCV, Tensorflow. Giao diện của chương trình được xây dựng bằng
cơng cụ QtDesign và thư viện PyQT5.

­

Đánh giá kết quả thực hiện.

5. Ý nghĩa khoa học và thực tiễn của đề tài
Bên cạnh thuật toán mang ý nghĩa khoa học trong lĩnh vực nhận dạng vân tay,
đề tài còn đề xuất phương án xây dựng một chương trình mơ phỏng, xử lý ảnh vân tay
để đối sánh vân tay và ứng dụng mục đích vào hệ thống thang máy thơng minh nhận
dạng vân tay.


C
C

6. Thời gian thực hiện đề tài
Thời gian

R
L
T.

DU

Công việc

Xây dựng đề cương chi tiết
Tháng 12 / 2019 Nghiên cứu cơ sở lý thuyết nhận dạng vân
tay

Kết quả dự kiến
Hoàn thiện đề cương chi
tiết
Thực hiện chương 1

Tháng 1 / 2020

Nghiên cứu về hệ thống nhận dạng vân tay
Tìm hiểu về phương pháp nhận dạng vân
tay


Hoàn thiện chương 1
Thực hiện chương 2

Tháng 2 / 2020

Nghiên cứu cơ sở lý thuyết về mạng neural
nhân tạo
Tìm hiểu về mơ hình mạng neural tích
chập, one-shot learning

Hồn thiện chương 2
Thực hiện chương 3

Tìm hiểu về thuật tốn huấn luyện mạng
neural tích chập
Viết chương trình

Hồn thiện chương 3 và
chương 4

Hoàn chỉnh toàn bộ luận văn
Kết luận và đề xuất hướng phát triển đề tài

Hoàn thiện luận văn

Tháng 3 –
5/2020

Tháng 6 / 2020



4

7. Cấu trúc luận văn
Với đề tài “Nhận dạng vân tay sử dụng mạng neural nhân tạo ứng dụng
vào hệ thống thanh máy”, Tập trung vào việc nghiên cứu, xây dựng và thực thi hệ
thống nhận dạng dấu vân tay sử dụng mạng neural tích chập với phép học one-shot.
Nội dung đồ án gồm 4 chương :
Chương 1 : Tổng quan về các phương pháp nhận dạng vân tay
Chương 2 : Giới thiệu mạng neural nhân tạo, mạng neural tích chập và one-shot
learning
Chương 3 : Thiết kế, xây dựng chương trình nhận diện vân tay sử dụng one-shot
learning ứng dụng vào hệ thống thang máy
Chương 4 : Thực nghiệm và kết quả đánh giá

C
C

DU

R
L
T.


5

Chương 1
TỔNG QUAN VỀ CÁC PHƯƠNG PHÁP NHẬN DIỆN DẤU VÂN TAY
Ngày nay, kỹ thuật sinh trắc học được ứng dụng ngày càng rộng rãi. Trong đó,

nhận dạng dấu vân tay được xem là một trong những kỹ thuật hoàn thiện và đáng tin
cậy nhất. Chương này trình bày tổng quát các hệ thống sinh trắc học và sơ lược về các
quá trình cần thiết và điều cần quan tâm khi xây dựng hệ thống nhận dạng dấu vân tay.
1.1. Tổng quát về các hệ thống sinh trắc học
Kết quả của việc xây dựng các hệ thống sinh trắc học thực tế là xác định xem
đặc trưng riêng của các nhân sẽ được nhận biết như thế nào. Dựa vào phạm vi ứng
dụng, hệ thống sinh trắc học có thể được gọi là hệ thống đăng ký, hệ thống xác thực
hoặc hệ thống nhận dạng.

C
C

R
L
T.

DU

Hình 1.1. Mơ tả quy trình lấy mẫu vân tay đầu vào
Hệ thống đăng ký mẫu (Enrollment System) thực hiện các việc lấy vân tay sau
đó trích xuất các đặc trưng đi kèm của vân tay đó sau đó lưu lại tập đặc trưng đó làm
database để xây dựng các hệ thống nhận dạng.
Hệ thống xác thực (Verification System) dùng để chứng thực một cá nhân có
thuộc hệ thống hay khơng, bằng cách so sánh đặc tính sinh trắc học thu được với mẫu
sinh trắc học được lấy trước đó của cùng một cá nhân và đã được lưu trong hệ thống.
Hệ thống xác thực có thể từ chối hoặc chấp nhận định danh mà cá nhân khai báo.
Hệ thống định danh (Identification System) thực hiện nhận dạng cá nhân bằng
cách tìm kiếm trong tồn bộ cơ sở dữ liệu để nhận dạng. Việc so sánh một – nhiều này
được thành lập nếu dữ liệu của cá nhân đó hiện có trong cơ sở dữ liệu và hệ thống sẽ
trả về định danh của mẫu trong cơ sở dữ liệu trùng khớp với cá nhân đó. Trong trường

hợp khơng tìm thấy mẫu trùng khớp hệ thống sẽ đưa ra thông báo phù hợp.


6

Hình 1.2. Sơ đồ khối của hệ thống đăng ký [6]

Hình 1.3. Sơ đồ khối của hệ thống xác thực [6]

C
C

R
L
T.

DU

Hình 1.4. Sơ đồ khối của hệ thống định danh [6]
1.1.1. Các khối và chức năng
Scanner: đây là khối quan trọng để thu thập mẫu vân tay thông qua bộ cảm
biến sinh trắc học thường là đầu đọc vân tay. Ngồi ra, khối này cịn có thể có các
thành phần khác như bàn phím, màn hình,… để lấy mẫu các loại dữ liệu khác trong
một hệ thống nhận dạng dấu vân tay.
Feature extractor: đây là khối sẽ rút trích đặc trưng từ vân tay thu thập được từ
khối scanner đầu vào. Mục đích của khối rút trích đặc trưng này để tạo ra mẫu với
những chi tiết riêng biệt của vân tay đó nhưng khơng gian nhỏ hơn để nhận dạng vân
tay. Đây chính là cơ sở cho việc nhận dạng.
Template Storage: khối dùng để lưu trữ những tập đặc trưng ứng với từng vân
tay sau đó sắp xếp và lưu trữ trong hệ thống.

Matcher: khối đối sánh thực hiện so khớp giữa tập đặc trưng được lưu trữ trong
khối lưu trữ và tập đặc trưng vân tay đầu vào bằng cách tính tốn sự tương đồng của
từng cặp điểm giữa tập đặc trưng sau đó so sánh với ngưỡng cho trước để cho ra kết
quả cuối cùng. Nếu điểm trùng khớp lớn hơn ngưỡng thì cá nhân đó được chấp nhận,
ngược lại thì bị từ chối.


7

1.1.2. Các bước xử lý
Sử dụng bốn thành phần trên, ba bước xử lý có thể được thực hiện là đăng ký,
xác thực và định danh. Hệ thống xác thực sử dụng các bước đăng ký và xác thực còn
hệ thống định danh sử dụng các bước đăng ký và định danh. Sau đây là ba bước xử lý:
­ Đăng ký: người dùng đăng ký thông tin cá nhân vào hệ thống lưu trữ sinh
trắc học. Trong suốt quá trình đăng ký, các đặc trưng sinh trắc học của đối tượng được
lấy bằng máy quét sinh trắc học để tạo thành mẫu. Bước kiểm tra chất lượng được thực
hiện để chắc chắn rằng mẫu lấy được sẽ được xử lý một cách tin cậy ở các bước kế
tiếp. Sau đó, khối trích đặc trưng được sử dụng để tạo ra tập đặc trưng và tạo mẫu đăng
ký. Cuối cùng, mẫu sẽ được đưa vào lưu trữ trong hệ thống cùng với các thông tin của
người dùng.
­ Xác thực: bước xác thực thích hợp cho việc khẳng định lại việc khai báo
định danh của đối tượng. Trong suốt quá trình nhận dạng, ID của đối tượng được cung
cấp để khai báo danh tính, máy quét sinh trắc học sẽ lấy các đặc trưng của đối tượng
và chuyển nó sang mẫu và được xử lý kỹ hơn bằng bước trích đặc trưng để hình thành
tập đặc trưng. Tập đặc trưng này sẽ được đưa vào khâu đối sánh để so sánh với mẫu đã
đăng ký của đối tượng. Bước xác thực sẽ quyết định là khớp hay không khớp.
­ Định danh: trong q trình định danh, đối tượng khơng cần khai báo ID và hệ
thống sẽ so sánh tập đặc trưng của đối tượng lấy từ mẫu sinh trắc học từ máy quét với tất
cả các mẫu có trong cơ sở dữ liệu, kết quả đầu ra là danh sách các đối tượng rỗng (nếu
không trùng khớp) hoặc bao gồm một hoặc nhiều ID trùng với mẫu đã đăng ký.


C
C

R
L
T.

DU

1.2. Cơ sở lý thuyết về vân tay
1.2.1. Đặc tính vân tay
Tính cá thể: khơng có sự giống nhau tuyệt đối hai vân tay của hai người bất kì
trên thế giới dù đó là song sinh cùng trứng.
Tính bền vững: vân tay của một người không thay đổi trong suốt thời gian
sống. Nếu có gặp phải tổn thương thì vân tay sẽ phục hồi lại cấu trúc đường vân trước
đó.
Tính pháp lý: vân tay này được ghi nhận về mặt pháp lý. Đồng thời chúng ta
cũng có rất nhiều cơng cụ hữu hiệu để chứng minh tính xác thực của một vân tay như
là kỹ thuật phân tích méo, kỹ thuật tách vân.
1.2.2. Cấu trúc vân tay
Vân tay được thu nhận từ lớp biểu bì da với cấu trúc dễ nhận thấy nhất là vân
lồi và vân lõm. Trong ảnh vân tay, vân lồi có màu tối trong khi vân lõm có màu sáng.
Vân lồi có độ rộng từ 100 µm đến 300 µm. Độ rộng của một cặp vân lồi lõm cạnh
nhau là 500 µm. Cấu trúc đường vân có thể khơi phục khi gặp chấn thương. Vân lồi và


8

vân lõm thường chạy song song với nhau rồi có thể rẽ nhánh hoặc kết thúc. Ở mức độ

tổng thể, vân tay có thể chia thành các dạng là loop, delta, whorl và được kí hiệu tương
ứng là ∩, Δ , Ω. Vùng whorl có thể được mơ tả bởi hai vùng loop đối diện nhau.

C
C

R
L
T.

DU

Hình 1.5. Vùng Whorl, Loop, Arch trên vân tay [8]
Ở mức độ cục bộ, Francis Galton (1822-1911) là người đầu tiên phân loại chi
tiết theo bốn loại bao gồm: điểm kết thúc, điểm rẽ hai, điểm rẽ ba và điểm khơng xác
định. Trong khi đó mơ hình chi tiết của cục điều tra liên bang Mỹ chỉ có hai loại chi
tiết là điểm kết thúc và điểm rẽ hai. Mỗi chi tiết được đặc trưng bởi phân lớp, hệ tọa độ
(x,y), góc tạo bởi tiếp tuyến của đường vân tại chi tiết và trục ngang. [3]
Theo giải phẫu vân tay thì có 7 loại chi tiết trên vân tay như hình bên dưới:
­ Vân kết thúc: Ridge ending.
­ Vân rẽ nhánh: Bifurcation.
­ Vân vòng: Lake.
­ Vân độc lập: Independent Ridge.
­ Vân đơn: Point or Island.
­ Vân cựa gà: Spur.
­ Vân chéo: Crossover


9


Hình 1.6. 7 chi tiết thường gặp trên vân tay [8]
1.2.3 Các đặc trưng vân tay và cách biểu diễn
Trên các ảnh vân tay có các đặc điểm đặc trưng. Đó là những điểm đặc biệt mà
vị trí của nó không trùng lặp trên các vân tay khác nhau. Điểm đặc trưng của vân tay
được phân thành hai loại là singularity và minutiae.
1.2.3.1 Điểm Singularity
Đây là những vùng có cấu trúc khác thường so với những vùng bình thường
khác (thường có cấu trúc song song) được gọi là singularity. Có hai loại singularity là
core và delta.

C
C

R
L
T.

DU

Hình 1.7. Các điểm singularity core và delta [8]
Điểm core thường có một số dạng như sau:

Hình 1.8. Một số loại core thường gặp [6]


10

1.2.3.2 Điểm Minutiate
Những điểm đường vân kết thúc (Rigde Ending) hoặc rẽ nhánh (Bifurcation)
được gọi chung là minutiae.


Hình 1.9. Các điểm minutiae Rigde Ending và Bifurcation [9]
1.2.3.3 Cách biểu diễn vân tay
Hình ảnh vân tay thường được biểu diễn như là một bề mặt hai chiều. Với các
vân lồi (có màu tối) và các vân lõm (có màu sáng) trong khơng gian.

C
C

R
L
T.

DU

Hình 1.10. Bề mặt của ảnh vân tay với các đường vân (ridge) và các rãnh (ravine) [9]
1.3. Các yếu tố ảnh hưởng đến nhận dạng vân tay
Nhận dạng dấu vân tay là một bái tốn cực kì khó, chủ yếu do sự thay đổi dấu
in của cùng một vân tay. Các yếu tố chính làm các dấu in khác nhau được trình bày
dưới đây:
­ Sự đổi chỗ: một ngón tay có thể đặt ở các vị trí khác nhau trên bộ cảm biến
làm tịnh tiến ảnh vân tay.
­ Sự quay: cùng một vân tay có thể quay ở các góc quay khác nhau trên bề
mặt bộ cảm biến. Mặc dù bộ hướng dẫn ngón tay được gắn liền trên các máy quét
thương mại, nhưng trong thực tế tồn tại sự quay không cố ý lên tới ±200 theo chiều
dọc.
­ Sự chồng chéo đường vân: sự đổi chỗ và sự quay vân tay thường làm cho
một phần vân tay bị đổ ra ngồi vùng nhìn thấy của bộ cảm biến, kết quả là xuất hiện
sự chồng chéo giữa các vùng vân cạnh nhau của mẫu và các vân tay đầu vào.
­ Sự nhiễu phi tuyến và méo vân: do áp lực da gây ra các biến dạng kéo dãn

khác nhau, mồ hôi cũng như bề mặt vân và cảm biến gây ra nhiễu với nhiều mức độ.


11

­ Các lỗi trích chọn đặc trưng: tính gần đúng và tính chất khơng hồn hảo
các phép biến đổi làm cho gây ra các lỗi khi trích chọn đặc trưng trước khi nhận dạng.

Hình 1.11. Hình ảnh vân tay do các yếu tố xấu gây ra.
Từ trái qua phải : Sự đổi chỗ, Sự quay, Sự chồng chéo đường vân, Sự nhiễu phi tuyến
và méo vân
1.4. Kết luận chương
Qua chương này, ta đã có cái nhìn tổng quan về các hệ thống sinh trắc học nói
chung cũng như hệ thống nhận dạng dấu vân tay nói riêng và những khái niệm cơ bản
về cấu tạo, đặc tính vân tay. Đồng thời cho biết sơ lược về các yếu tố ảnh hưởng đến
hệ thống. Đến chương sau sẽ trình bày rõ ràng và chi tiết hơn về các thuật toán được
sử dụng để xây dựng hệ thống nhận dạng dấu vân tay.

C
C

DU

R
L
T.


12


Chương 2
GIỚI THIỆU MẠNG NEURAL NHÂN TẠO, MẠNG NEURAL TÍCH
CHẬP VÀ ONE-SHOT LEARNING
Chương này tập trung nói về mạng neural nhân tạo, mạng neural tích chập và
phép học one-shot, tìm hiểu mơ tình mạng, thuật tốn huấn luyện.
2.1. Tổng quan về mạng neural nhân tạo
2.1.1. Mạng neural nhân tạo là gì ?
Mạng neural nhân tạo, Artificial Neural Network (ANN) gọi tắt là mạng neural,
là một mơ hình xử lý thơng tin phỏng theo cách thức xử lý thông tin của các hệ neural
sinh học. Nó được tạo nên từ một số lượng lớn các phần tử (gọi là phần tử xử lý hay
neural) kết nối với nhau thông qua các liên kết (gọi là trọng số liên kết) làm việc như
một thể thống nhất để giải quyết một vấn đề cụ thể nào đó.

C
C

Một mạng neural nhân tạo được cấu hình cho một ứng dụng cụ thể nào đó

R
L
T.

như nhận dạng mẫu, phân loại dữ liệu,… thông qua một quá trình học từ tập các
mẫu huấn luyện. Về bản chất, học chính là q trình hiệu chỉnh các trọng số liên

DU

kết giữa các neural. Trong một vài năm trở lại đây, mạng neural nhân tạo đã được
nhiều nhà nghiên cứu quan tâm và đã áp dụng thành công trong nhiều lĩnh vực
khác nhau như tài chính, y tế, địa chất, vật lý và kỹ thuật. Thật vậy, bất cứ ở đâu

có vấn đề về dự báo, phân loại và điều khiển, mạng neural nhân tạo đều có thể
ứng dụng được. Sự thành cơng nhanh chóng của mạng neural nhân tạo có thể là
do một số nhân tố chính sau:
­ Năng lực: Mạng neural nhân tạo là kỹ thuật mô phỏng rất tinh vi, có khả
năng mơ phỏng các hàm cực kỳ phức tạp. Đặc biệt, mạng neural nhân tạo hoạt động
phi tuyến. Trong nhiều năm, mơ hình tuyến tính là kỹ thuật được sử dụng rộng rãi
trong hầu hết các lĩnh vực, vì thế mơ hình tuyến tính có tính chiến lược tối ưu hóa
được biết nhiều nhất.
2.1.2. Cấu trúc của một mạng neural nhân tạo
Để mô phỏng các tế bào thần kinh và các khớp nối thần kinh của bộ não con
người, trong mạng neural nhân tạo cũng có các thành phần có vai trị tương tự là các
neural nhân tạo cùng các khớp nối thần kinh.
Một neural nhân tạo là một đơn vị tính tốn hay đơn vị xử lý thông tin cơ cở
cho hoạt động của một mạng neural. Cấu trúc của một neural nhân tạo được mơ tả ở
hình dưới.


13

Hình 2.1. Mơ hình cấu trúc của neural nhân tạo
Các thành phần cơ bản của một neural nhân tạo bao gồm:
­ Tập các đầu vào: là các tín hiệu vào (input signals) của neural, các tín hiệu
này thường được đưa vào dưới dạng một vector N chiều.
­ Tập các liên kết: mỗi liên kết được thể hiện bởi một trọng số (gọi là trọng số
liên kết – synaptic weight). Trọng số liên kết giữa tín hiệu vào thứ j với neural k

C
C

thường được kí hiệu là


DU

R
L
T.

. Thơng thường, các trọng số này được khởi tạo một cách

ngẫu nhiên ở thời điểm khởi tạo mạng và được cập nhật liên tục trong q trình huấn
luyện mạng.
­ Bộ tổ hợp tuyến tính: thường dùng để tính tổng của tích các đầu vào với
trọng số liên kết của nó.
­ Hệ số hiệu chỉnh hay còn gọi là độ lệch (bias): hệ số này thường được đưa
vào như một thành phần của hàm kích hoạt.
­ Hàm kích hoạt: hàm này được dùng để giới hạn phạm vi đầu ra của mỗi
neural. Nó nhận đầu vào là kết quả của bộ tổ hợp tuyến tính và hệ số hiệu chỉnh đã
cho. Thông thường, phạm vi đầu ra của mỗi neural được giới hạn trong đoạn [0,1]
hoặc [-1,1]. Các hàm kích hoạt rất đa dạng, có thể là các hàm tuyến tính hoặc phi
tuyến. Việc lựa chọn hàm kích hoạt nào là tùy thuộc vào từng bài toán và kinh nghiệm
của người thiết kế mạng. Một số hàm kích hoạt thường sử dụng trong các mơ hình
mạng neural được đưa ra trong Hình 2.2.
­ Đầu ra: là tín hiệu đầu ra của một neural, với mỗi neural sẽ có tối đa là một
đầu ra.
Dưới dạng cơng thức tốn học, chúng ta có thể mơ tả cấu trúc của một neural k
bằng cặp công thức sau:


14


=

(2.1)

= ( + )(2.2)
­ Với x1, x2,..., xm là các tín hiệu đầu vào; wk1,wk2,...,wkm là các trọng số liên

kết của neural k; vk là đầu ra bộ tổ hợp tuyến tính tương ứng; bk là hệ số hiệu chỉnh; f
là hàm kích hoạt và yk là tín hiệu đầu ra của neural.
­ Hệ số hiệu chỉnh bk là một tham số ngoài của neural nhân tạo k. Chúng ta có
thể thấy được sự có mặt của nó trong cơng thức (2.2).
Các hàm kích hoạt, ký hiệu bởi f(v), xác định đầu ra của neural. Dưới đây là
các kiểu hàm kích hoạt cơ bản:
­ Hàm giới hạn: hàm này được mơ tả trong Hình 2.3a, có:
1: ≥ 0
( )=
(2.3)
0: < 0
Hàm giới hạn này thường được gọi là hàm Heaviside.
­ Hàm giới hạn đối xứng: hàm này được mô tả trong Hình 2.3b:
1: ≥0
( )=
(2.4)
−1 : < 0
- Hàm tuyến tính: mơ tả trong hình 2.3c:
( )=
(2.5)

C
C


R
L
T.

DU

- Hàm vùng tuyến tính: mơ tả trong hình 2.3d:
1: ≥ +1
( ) = :1 ≥
≥ 0 (2.6)
0: ≤ 0
- Hàm vùng tuyến tính đối xứng: mơ tả trong hình 2.3e:
1: ≥ +1
( ) = : +1 ≥
≥ −1 (2.7)
−1: ≤ −1
Dạng hàm này có thể được xem như một xấp xỉ của một bộ khuếch đại phi
tuyến.
- Hàm sigmoid (mơ tả hình 2.3f) là dạng chung nhất của hàm kích hoạt được
sử dụng trong cấu trúc mạng neural nhân tạo. Đầu vào là số thực âm rất nhỏ sẽ cho đầu
ra tiệm cận với 0, ngược lại, nếu đầu vào là một số thực dương lớn sẽ cho đầu ra là
một số tiệm cận với 1:
1
( )=
(2.8)
1+
Với a là tham số độ dốc.