ĐẠI HỌC QUỐC GIA TP. HỒ CHÍ MINH

TRƢỜNG ĐẠI HỌC BÁCH KHOA
---------------o0o---------------

THÂN HẢI NHẬT MINH

NHẬN DIỆN CỬ CHỈ TAY DỰA TRÊN TRỞ KHÁNG
SINH HỌC

Chuyên ngành: Vật lý kỹ thuật
Mã số: 8520401

LUẬN VĂN THẠC SĨ

TP. HỒ CHÍ MINH, tháng 7 năm 2023


Cơng trình đƣợc hồn thành tại: Trƣờng Đại học Bách Khoa – ĐHQG-HCM
Cán bộ hƣớng dẫn khoa học 1: TS. Nguyễn Trung Hậu
(Ghi rõ họ, tên, học hàm, học vị và chữ ký)
Cán bộ hƣớng dẫn khoa học 2: PGS. TS. Huỳnh Quang Linh
(Ghi rõ họ, tên, học hàm, học vị và chữ ký)
Cán bộ chấm nhận xét 1: TS. Nguyễn Thế Thƣờng
(Ghi rõ họ, tên, học hàm, học vị và chữ ký)
Cán bộ chấm nhận xét 2: TS. Mai Hữu Xuân
(Ghi rõ họ, tên, học hàm, học vị và chữ ký)
Luận văn thạc sĩ đƣợc bảo vệ tại Trƣờng Đại học Bách Khoa, ĐHQG Tp. HCM
ngày 9 tháng 7 năm 2023
Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm:
(Ghi rõ họ, tên, học hàm, học vị của Hội đồng chấm bảo vệ luận văn thạc sĩ)

1. Chủ tịch:

TS. Lý Anh Tú

2. Thƣ ký:

TS. Nguyễn Xuân Thanh Trâm

3. Phản biện 1: TS. Nguyễn Thế Thƣờng
4. Phản biện 2: TS. Mai Hữu Xuân
5. Ủy viên:

TS. Lƣu Gia Thiện

Xác nhận của Chủ tịch Hội đồng đánh giá LV và Trƣởng Khoa quản lý chuyên
ngành sau khi luận văn đã đƣợc sửa chữa (nếu có).

CHỦ TỊCH HỘI ĐỒNG

TRƢỞNG KHOA KHOA HỌC ỨNG DỤNG


ĐẠI HỌC QUỐC GIA TP.HCM

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM

TRƢỜNG ĐẠI HỌC BÁCH KHOA

Độc lập - Tự do - Hạnh phúc


NHIỆM VỤ LUẬN VĂN THẠC SĨ
Họ tên học viên: Thân Hải Nhật Minh

MSHV: 2070384

Ngày, tháng, năm sinh: 02/02/1997

Nơi sinh: TP.HCM

Chuyên ngành: Vật lý kỹ thuật

Mã số: 8520401

I. TÊN ĐỀ TÀI:

Nhận diện cử chỉ tay dựa trên trở kháng sinh học.
Bio-impedance based hand gesture recognition.

NHIỆM VỤ VÀ NỘI DUNG:
-

Tìm hiểu các phƣơng pháp nhận dạng cử chỉ tay theo thời gian thực.

-

Tìm hiểu cảm biến đo trở kháng, tìm hiểu IC AD5933, và các bài báo sử nhận dạng
cử chỉ tay bằng trở kháng sinh học.

-


Thiết kế thiết bị đo trở kháng sinh học dựa trên IC AD5933.

-

Thu thập dữ liệu trở kháng và huấn luyện tạo mơ hình học máy để nhận dạng cử chỉ
tay theo thời gian thực.

-

Đánh giá kết quả và đƣa ra kết luận về độ chính xác và tính hiệu quả.

II. NGÀY GIAO NHIỆM VỤ: 06/02/2023
III. NGÀY HOÀN THÀNH NHIỆM VỤ: 12/06/2023
IV. CÁN BỘ HƢỚNG DẪN: TS. Nguyễn Trung Hậu, PGS. TS. Huỳnh Quang Linh
Tp. HCM, ngày tháng
năm 2023
CHỦ NHIỆM BỘ MÔN ĐÀO TẠO
(Họ tên và chữ ký)

CÁN BỘ HƢỚNG DẪN
(Họ tên và chữ ký)

TRƢỞNG KHOA KHOA HỌC ỨNG DỤNG
(Họ tên via chữ ký)

i


LỜI CẢM ƠN
Trƣớc hết, tơi muốn bày tỏ lịng biết ơn chân thành và sâu sắc nhất đến thầy hƣớng

dẫn của tôi - TS. Nguyễn Trung Hậu, ngƣời đã hỗ trợ tôi không chỉ trong công việc
học thuật, các tài liệu cần thiết, kỹ thuật và hƣớng dẫn trong quá trình làm luận văn,
mà cịn giúp đỡ và chỉ dạy tơi rất nhiều suốt q trình bằng cách đƣa ra những lời
khun hữu ích và động viên để hồn thành dự án này.
Tôi cũng muốn gửi lời cảm ơn đặc biệt đến những nghiên cứu viên cùng tôi trong
lĩnh vực đo trở kháng, đã chia sẻ với tôi các tài liệu, linh kiện và kinh nghiệm đáng
giá, cũng nhƣ đề xuất về những gì chúng tơi cần để phát triển sản phẩm này, điều
mà tơi nghĩ là rất hữu ích đối với mình.
Lời biết ơn của tơi cũng đƣợc gửi đến thầy Lê Cao Đăng và các thành viên của
phòng thí nghiệm B4-202 tại trƣờng Đại học Bách Khoa HCM. Họ đều rất thân
thiện và nhiệt tình, cung cấp cho tôi một số giải pháp sáng tạo cho thiết kế hệ thống
của tôi, cũng nhƣ đã cho phép và chỉ dẫn tơi sử dụng các thiết bị tại phịng thí
nghiệm của mình.
Cuối cùng nhƣng khơng kém quan trọng, tơi cũng muốn cảm ơn gia đình và bạn bè
của tơi vì đã mang đến cho tôi sự hỗ trợ và động viên tinh thần của họ xuyên suốt
thời gian thực hiện luận văn này.

ii


TÓM TẮT
Ngày nay, việc nhận dạng cử chỉ tay đang nhận đƣợc nhiều sự quan tâm trong các
lĩnh vực khác nhau, từ cơng nghiệp đến giáo dục và chăm sóc sức khỏe. Gần 7%
dân số Việt Nam từ 2 tuổi trở lên bị điếc hoặc nghe kém, nhƣng xã hội chƣa thật sự
chú trọng đến họ. Do đó, nghiên cứu này tập trung vào việc nhận dạng cử chỉ tay
nhằm hỗ trợ những ngƣời câm điếc, giúp con ngƣời giao tiếp tốt hơn với nhau. Đó
là một nhiệm vụ quan trọng trong chăm sóc sức khỏe tiên tiến ngày nay - nâng cao
chất lƣợng sống. Nghiên cứu này phát triển một hệ thống sử dụng cảm biến trở
kháng. Đây là một phƣơng pháp mới để thu thập cử chỉ tay theo thời gian thực và
phân loại chúng dựa trên học máy. Hệ thống đƣợc hoàn thành là một thiết bị nhận

dạng cử chỉ tay theo thời gian thực, đƣợc vận hành bởi Raspberry Pi 4 Model B kết
nối với một bộ điện cực để thu nhận dữ liệu trở kháng từ tay ngƣời. AD5933 đƣợc
chọn làm cảm biến trở kháng cho hệ thống này vì nó là một vi mạch đo trở kháng
có độ chính xác cao, bao gồm một bộ phát tần số, một bộ chuyển đổi tín hiệu digital
sang analog, một bộ xử lý tín hiệu digital, một bộ chuyển đổi analog sang digital và
một mạch hỗ trợ tích hợp, tất cả trên một vi mạch duy nhất. Một kỹ thuật học sâu sử
dụng Convolutional Neural Network đƣợc xây dựng để phân loại cử chỉ tay từ dữ
liệu trở kháng đƣợc thu thập và nạp lên Raspberry Pi để nhận dạng cử chỉ tay theo
thời gian thực. Độ chính xác của mơ hình đạt đƣợc 92%, một kết quả tốt để đánh
giá phƣơng pháp sử dụng cảm biến trở kháng dùng cho việc nhận dạng cử chỉ tay.
Số mẫu kiểm tra cuối cùng của luận văn này quá ít để phân tích thống kê, nhƣng dự
án này mang lại kết quả đủ tốt để có thể đƣợc sử dụng trong các phát triển tƣơng lai
về giao tiếp phi ngôn ngữ giữa con ngƣời với con ngƣời hoặc con ngƣời với máy
móc.

Từ khóa: hand gesture recognition, impedance, impedance sensor, AD5933,
real time, machine learning, deep learning, Raspberry Pi

iii


ABSTRACT
Nowadays, hand gesture recognition is receiving much attention in various fields,
from industry to education and healthcare. Nearly 7% of the Vietnam's total
population aged 2 years and older are either deaf or have significant hearing
problem, yet society does not give them adequate attention. Hence, this study is
focused on recognizing hand gestures for aiding deaf and mute individuals for better
understanding between human to human, an important task in advanced healthcare
nowadays – enhancement of the living quality. In this study, a system was
developed using impedance sensor, a new method for capturing real-time hand

gestures and categorizing them based on machine learning. The final system is a
real-time hand gesture recognizing device, powered and operated by a Raspberry Pi
4 Model B that connected to a set of electrodes for receiving impedance data from
human hands. AD5933 was chosen as the impedance sensor for this system since it
is a high-precision-electrode impedance measuring chip that includes a frequency
generator, a digital-to-analog converter, a digital signal processor, an analog-todigital converter, and an integrated support circuit all on one chip. A deep learning
technique utilizing Convolutional Neural Network was built to classify hand
gestures from impedance data collected and loaded onto the Raspberry Pi for realtime recognizing hand gestures. The accuracy of the machine learning model was at
92%, a good result for evaluating the approach of using impedance sensor for handgesture recognition ability. The final testing samples were too low to statistically
analyze, but this project provided a good enough result that could still be further
used for any future development on nonverbal communication between human to
human or human to machine.

Keywords: hand gesture recognition, impedance, impedance sensor,
AD5933, real time, machine learning, deep learning, Raspberry Pi.

iv


MỤC LỤC
LỜI CẢM ƠN ............................................................................................................ ii
TÓM TẮT ................................................................................................................. iii
ABSTRACT .............................................................................................................. iv
CHƢƠNG 1: MỞ ĐẦU ..............................................................................................1
1.1

Đặt vấn đề ......................................................................................................1

1.2. Mục tiêu đề tài ...............................................................................................2
1.3. Cấu trúc luận văn ...........................................................................................3

CHƢƠNG 2: TỔNG QUAN .......................................................................................4
2.1. Các loại cảm biến nhận diện cử chỉ tay .........................................................5
2.1.1. Cảm biến tiếp cận theo hƣớng sử dụng hình ảnh ...................................5
2.1.2. Cảm biến tiếp cận theo hƣớng khơng sử dụng hình ảnh ........................6
2.1.3. Các nghiên cứu nhận diện cử chỉ tay bằng cảm biến trở kháng .............8
2.2. Cảm biến trở kháng sinh học .......................................................................10
2.2.1. Đo trở kháng sinh học ...........................................................................10
2.2.2. Sử dụng IC AD5933 để đo trở kháng sinh học .....................................13
CHƢƠNG 3: PHƢƠNG PHÁP THỰC HIỆN ..........................................................17
3.1. Thiết kế đo trở kháng sinh học ....................................................................17
3.2. Thành phần thiết bị và vận hành..................................................................20
3.2.1. Thành phần thiết bị ...............................................................................20
3.2.2. Vận hành ...............................................................................................21
3.3. Thiết kế phần cứng ......................................................................................22
3.4. Thiết kế phần mềm ......................................................................................28
3.4.1. Quy trình đo trở kháng..........................................................................29

v


3.4.2. Thu thập dữ liệu ....................................................................................35
3.4.3

Nhận diện cử chỉ tay (Hand gesture recognition – HGR) ....................41

CHƢƠNG 4: KẾT QUẢ VÀ ĐÁNH GIÁ ...............................................................52
4.1. Kết quả .........................................................................................................52
4.1.1. Thiết kế thiết bị .....................................................................................52
4.1.2. Nhận diện cử chỉ tay .............................................................................55
4.1.3. Kiểm tra độ chính xác ...........................................................................58

4.2. Đánh giá .......................................................................................................62
4.2.1. Ƣu điểm ................................................................................................62
4.2.2. Nhƣợc điểm ..........................................................................................63
4.2.3. Hƣớng phát triển trong tƣơng lai ..........................................................65
CHƢƠNG 5: KẾT LUẬN ........................................................................................66
TÀI LIỆU THAM KHẢO .........................................................................................68

vi


DANH MỤC HÌNH ẢNH
Hình 2.1: (a) Dịng điện đƣợc đƣa vào và điện áp thu đƣợc ở dạng sóng sine, trễ pha
do trở kháng. (b) Biểu đồ pha của trở kháng. (c) Đƣa một dòng điện đã biết qua các
điện cực A và D vào một vật dẫn có độ dẫn điện σ và độ thấm tƣơng đối εr, và phép
đo điện thế thu đƣợc qua các điện cực B và C theo cách sắp xếp phép đo bốn cực
(tetrapolar). Trong phép đo hai cực (bipolar), điểm A và D trùng với B và C. (d)
Màng tế bào hoạt động nhƣ một tụ điện (Cmembr) và do đó, ở tần số thấp, dịng
điện chạy qua mơi trƣờng ngoại bào, hoạt động nhƣ một điện trở (Rextra). Với tần
số kích thích tăng dần, trở kháng của tụ điện giảm dần và dịng điện bắt đầu chạy
qua màng tế bào và mơi trƣờng nội bào (Rintra) [26]. (e) Các vùng phân tán khác
nhau. ..........................................................................................................................12
Hình 2.2: Hình minh họa một số thiết bị phân tích trở kháng thƣơng mại ...............13
Hình 2.3: Sơ đồ khối của IC AD5933 .......................................................................14
Hình 2.4: Pha phát tín hiệu của AD5933 ..................................................................15
Hình 2.5: Giai đoạn nhận của AD5933 .....................................................................16
Hình 3.1: Sơ đồ chung của hệ thống đo trở kháng sinh học điện lồng ngực (Thoracic
Electrical Bio-impedance – TEB). (A) Điều khiển. (B) Nguồn điện áp kích thích.
(C) Chuyển đổi thành nguồn dịng kích thích. (D) Phân phối. (E) Thu tín hiệu điện
áp chênh lệch .............................................................................................................17
Hình 3.2: Hệ thống đo trở kháng kết nối với các mạch ghép ...................................19

Hình 3.3: Sơ đồ khối tổng quát của hệ thống ............................................................21
Hình 3.4: Bo mạch tích hợp EVAL-AD5933EBZ bởi nhà sản xuất Analog Device 22
Hình 3.5: Bố trí linh kiện và thử nghiệm các khối của mạch đo trên breadboard ....22
Hình 3.6: Hình minh họa điện áp phát bởi AD5933 sau khi qua VCCS với tải
1kOhm, trên Oscilloscope, cho ra VOUT là 40kHz (Pk-Pk 424mV) .......................23
Hình 3.7: Nhịp thở thu đƣợc trên Oscilloscope ........................................................24
Hình 3.8: Sơ đồ nguyên lý của mạch nhận diện cử chỉ tay (HGR) ..........................24
Hình 3.9: PCB của thiết bị nhận diện cử chỉ tay (HGR) đƣợc thiết kế với phần mềm
EAGLE ......................................................................................................................25

vii


Hình 3.10: Ảnh thực tế của PCB nhận diện cử chỉ tay (HGR) .................................25
Hình 3.11: Mạch buffer thêm vào cho AD5933 để đo trở kháng nhỏ hơn 1kΩ .......26
Hình 3.12: Thiết kế điện cực dạng vịng đeo tay ......................................................27
Hình 3.13: Thiết kế điện cực cho thiết bị nhận diện cử chỉ tay (HGR) ....................27
Hình 3.14: Lƣu đồ của hệ thống nhận diện cử chỉ tay (HGR) ..................................28
Hình 3.15: Lƣu đồ quét tần số của AD5933 ............................................................29
Hình 3.16: Chuẩn bị cho hiệu chuẩn .........................................................................31
Hình 3.17: Điện trở giá trị 1kOhm thu đƣợc bằng hệ thống đo trở kháng ...............31
Hình 3.18: (A) Ghi dữ liệu (Writing register data) vào địa chỉ thanh ghi; (B) Đọc dữ
liệu (Reading register data). (Trong đó: S = bắt đầu, P = kết thúc, W = viết, R = đọc,
A = nhận đƣợc, Ā = chƣa nhận đƣợc) .......................................................................34
Hình 3.19: Vị trí gắn điện cực lên ngƣời thử nghiệm ...............................................36
Hình 3.20: Ngơn ngữ ký hiệu Việt Nam; từ trái qua phải: đánh vần của chữ cái "A",
"B", and "C". .............................................................................................................36
Hình 3.21: Ngơn ngữ ký hiệu Việt Nam cho cử chỉ "Ăn" ........................................36
Hình 3.22: Ngơn ngữ ký hiệu Việt Nam cho cử chỉ "Cảm ơn".................................37
Hình 3.23: Ngơn ngữ ký hiệu Việt Nam cho cử chỉ "Đồng ý" .................................37

Hình 3.24: Ngôn ngữ ký hiệu Việt Nam cho cử chỉ "Ngủ" ......................................37
Hình 3.25: Ngơn ngữ ký hiệu Việt Nam cho cử chỉ "Uống" ....................................38
Hình 3.26: Ngơn ngữ ký hiệu Việt Nam cho cử chỉ "Xin lỗi" ..................................38
Hình 3.27: Quy làm thí nghiệm cho 1 đối tƣợng đo .................................................38
Hình 3.28: Trực quan hóa dữ liệu bằng t-SNE trong khơng gian 3 chiều ................39
Hình 3.29: Sơ đồ khối của hệ thống máy học cho nhận dạng cử chỉ bằng tay .........41
Hình 3.30: Tiền xử lý và loại bỏ nhiễu bằng phƣơng pháp lấy mean thông qua phần
mềm thống kê ngôn ngữ R. .......................................................................................42
Hình 3.31: Các thơng tin về performance của một mơ hình FCN đã xây dựng với độ
chính xác chỉ ở khoảng 76%. ....................................................................................44
Hình 3.32: Cấu hình cơ bản của một mạng Convolutional Neural Network ............45
Hình 3.33: Hàm mất mát (Loss model) trong q trình huấn luyện và đánh giá mơ
hình Keras .................................................................................................................48

viii


Hình 3.34: Độ chính xác (Accuracy model) trong q trình huấn luyện và đánh giá
mơ hình Keras ...........................................................................................................49
Hình 3.35: Quy trình chuyển đổi sang TensorFlow Lite [36] ...................................51
Hình 4.1: Hệ thống PCB cho nhận diện cử chỉ tay (HGR), kết nối lên trên vi điều
khiển Raspberry Pi 4, model 3 ..................................................................................53
Hình 4.2: Giao diện ngƣời dùng (GUI) đơn giản cho hệ thống nhận diện cừ chỉ tay
(HGR) ........................................................................................................................54
Hình 4.3: Các thơng tin về performance của mơ hình trong q trình đánh giá bao
gồm: precision, recall, accuracy ................................................................................55
Hình 4.4: Ma trận nhầm lẫn của mơ hình trong q trình đánh giá ..........................56
Hình 4.5: Kiểm tra mơ hình trên thực tế cho đối tƣợng thí nghiệm số 1 ..................59
Hình 4.6: Tổng hợp các thơng tin về performance của mơ hình trong q trình kiểm
tra mơ hình, bao gồm: accuracy, recall, precision… cho đối tƣợng thí nghiệm số 159

Hình 4.7: Kiểm tra mơ hình trên thực tế cho đối tƣợng thí nghiệm số 2 ..................60
Hình 4.8: Tổng hợp các thơng tin về performance của mơ hình trong q trình kiểm
tra mơ hình, bao gồm: accuracy, recall, precision… cho đối tƣợng thí nghiệm số 260
Hình 4.9: Kiểm tra mơ hình trên thực tế cho đối tƣợng thí nghiệm số 3 ..................61
Hình 4.10: Tổng hợp các thơng tin về performance của mơ hình trong q trình
kiểm tra mơ hình, bao gồm: accuracy, recall, precision… cho đối tƣợng thí nghiệm
số 3 ............................................................................................................................61

ix


DANH MỤC BẢNG BIỂU
Bảng 3.1: Các linh kiện sử dụng trong hệ thống nhận diện cử chỉ tay (HGR) .........20
Bảng 3.2: Kết quả kiểm tra VCCS trên nhiều điện trở từ 220Ω đến 10kΩ ..............23
Bảng 3.3: Địa chỉ và thông tin các thanh ghi của IC AD5933 ..................................32
Bảng 3.4: Mô hình học sâu FCN...............................................................................43
Bảng 3.5: Mơ hình học sâu CNN ..............................................................................46
Bảng 4.1: Thành quả dựa trên phạm vi của luận văn đã đề ra ..................................57

x


DANH MỤC CÁC TỪ VIẾT TẮT
Từ viết tắt

STT

Từ đầy đủ

1


AC

Alternating current

2

ADC

Analog to Digital Converter

3

API

Application Programing Interface

4

BMI

Body mass index

5

CNN

Convolutional Neural Network

6


DAC

Digital to Analog Converter

7

DC

Direct current

8

DDS

Direct Digital Synthesis

9

DFT

Discrete Fourier Transform

10

DSP

Digital Signal Processor

11


EIT

Electrical Impedance Tomography

12

EMG

Electromyography

13

FCN

Fully Connected Network

14

GRU

Gated Recurrent Unit

15

GUI

Graphical User Interface

16


HGR

Hand Gesture Recognition

17

IC

Integrated Circuit

18

LSTM

Long Short-Term Memory

19

PCB

Printed Wiring Boards

20

PGA

Programable Gain Amplifier

21


ReLU

Rectified Linear Unit

22

RFB

Feedback resistor

23

RNN

Recurrent Neural Network

24

SMD

Surface Mounted Devices

25

TEB

Thoracic Electrical Bio-impedance

26


VCCS

Voltage-controlled-current source

xi


1.
1.1

CHƢƠNG 1: MỞ ĐẦU

Đặt vấn đề

Động tác ngơn ngữ hình thể rất quan trọng trong việc giao tiếp không dùng tiếng
nói, giữa ngƣời với nhau hoặc thậm chí giữa ngƣời với máy. Ngơn ngữ này có thể
có nhiều dạng, nhƣ cử chỉ của bàn tay, cánh tay, cử động cơ thể, dáng đi, đứng,
chạy, hay cử động và cử chỉ vùng mặt, nét mặt, ánh mắt... Với sự phát triển nhanh
trong việc giao tiếp giữa con ngƣời với các hệ thống cơ khí, điện tử lẫn phần mềm,
điều quan trọng là phải có dụng cụ giúp việc giao tiếp này đơn giản và tự nhiên cho
con ngƣời và hệ thống [1]. Dụng cụ này là các cảm biến, dùng để chuyển các tín
hiệu cử động của con ngƣời thành các tín hiệu điện, giúp phân tích đƣợc.
Hơn thế nữa, các hệ thống tự động đang dần trở nên thiết yếu hơn trong mảng
ngành cơng nghiệp sản xuất, nhờ tính chính xác, tốc độ, khả năng vận hành không
mệt mỏi, lặp lại công việc tốt hơn và cho năng xuất cao hơn nhiều so với nhân lực.
Tuy nhiên, chúng lại thiếu tính linh hoạt của con ngƣời. Vậy nên sự giao tiếp tốt
giữa con ngƣời và thiết bị máy móc sẽ sẽ tạo ra hiệu quả công việc tốt nhất [2].
Việc nhận dạng các cử chỉ cũng là một phần quan trọng trong việc giao tiếp giữa
ngƣời và hệ thống trong hệ thống ngành y tế, nhƣ sử dụng robot trong phòng mổ,

vật lý trị liệu, bộ phận thay thế cho ngƣời khuyết tật…).
Cộng đồng ngƣời khiếm thính là một nhóm đơng đảo và đang ngày càng mở rộng,
tuy nhiên, chính phủ lẫn xã hội vẫn chƣa thực sự quan tâm đến họ đầy đủ. Một cuộc
khảo sát do Tổng Cục Thống kê Việt Nam thực hiện trong giai đoạn 2016-2017 với
sự hỗ trợ kỹ thuật từ UNICEF đã cho thấy hơn 6,2 triệu ngƣời ở Việt Nam từ 2 tuổi
trở lên là điếc hoặc gặp vấn đề đáng kể về thính giác, chiếm gần 7% tổng dân số của
đất nƣớc. Ngồi ra, có đến 13% - gần 12 triệu ngƣời, sống trong hộ gia đình có ít
nhất một thành viên là ngƣời khuyết tật [3], [4].

1


Trong số này, họ cần sử dụng ngôn ngữ ký hiệu để giao tiếp với nhau (mà cụ thể là
ngôn ngữ ký hiệu Việt Nam). Đây chủ yếu là các cử chỉ và chuyển động của cánh
tay và bàn tay, và từ ngữ đƣợc biểu thị bằng hình thái và đánh vần bằng tay. Tuy
nhiên, cú pháp của ngôn ngữ ký hiệu khác với tiếng Việt, làm cho việc học nó trở
nên khá khó khăn. Rất nhiều ngƣời khiếm thính mất thính giác ở giai đoạn đã
trƣởng thành, khơng chọn học ngơn ngữ ký hiệu do có nhiều khó khăn, dẫn đến chỉ
có một số ít trong cộng đồng ngƣời khiếm thính biết sử dụng thành thạo ngơn ngữ
ký hiệu, cho thấy mức độ nghiêm trọng trong vấn đề giao tiếp ở cộng đồng ngƣời
khiếm thính.

1.2. Mục tiêu đề tài
Trong những năm gần đây, các viện nghiên cứu và nhà nghiên cứu khác nhau đã thử
nghiệm các phƣơng pháp khác nhau để diễn giải ngôn ngữ ký hiệu, với giải pháp
phổ biến nhất là sử dụng công nghệ nhận dạng hình ảnh phân tích các cử chỉ của tay
và cánh tay của ngƣời dùng. Luận văn này tập trung vào thiết kế một ứng dụng nhận
diện ngôn ngữ ký hiệu dựa trên công nghệ cảm biến trở kháng sinh học, có thể thực
hiện trong thời gian thực. Bài luận văn sẽ trình bày về ngữ cảnh thiết kế, nghiên cứu
nền tảng, phƣơng pháp thiết kế và các thành phẩm, với mục tiêu mang đến một ý

tƣởng mới trong lĩnh vực cơng nghệ hỗ trợ ngƣời khiếm thính và giải quyết vấn đề
giao tiếp cho cộng đồng ngƣời điếc và khiếm thính.

2


1.3. Cấu trúc luận văn
Báo cáo luận văn này đƣợc sắp xếp thành năm chƣơng, tuân thủ nghiêm ngặt nhƣ
sau:
-

Chƣơng 1: Đƣa ra cái nhìn về sự cấp thiết của việc nhận diện cừ chỉ tay và mục
tiêu cho nghiên cứu này.

-

Chƣơng 2: Đánh giá các cơng trình nghiên cứu về các hệ thống nhận diện cử chỉ
tay và các loại cảm biến sử dụng cho chúng.

-

Chƣơng 3: Mô tả phƣơng pháp phát triển thiết bị, bao gồm nguyên tắc, thiết kế
phần cứng và lập trình phần mềm.

-

Chƣơng 4: Hiển thị kết quả cuối cùng của sản phẩm từ phƣơng pháp thực hiện
đã tiếp cận, kiểm tra độ chính xác và đánh gái kết quả ở cả hai khía cạnh ƣu và
nhƣợc điểm để từ đó thảo luận về các phát triển và cải thiện trong tƣơng lai.


-

Chƣơng 5: Tóm tắt toàn bộ nội dung, đƣa ra kết luận cuối cùng cho luận văn này
và thảo luận về khả năng ứng dụng của nó trong xã hội.
Đƣa ra các tài liệu tham khảo và phụ lục.

3


2.

CHƢƠNG 2: TỔNG QUAN

Sự gia tăng sức mạnh tính tốn đã mang lại nhiều thiết bị tính tốn cho con ngƣời
trong cuộc sống thƣờng ngày. Một chuỗi các ứng dụng và giao diện đƣợc phát triển
để con ngƣời có thể tƣơng tác với chúng. Và những sự tƣơng tác với các hệ thống
này sẽ dễ dàng hơn khi chúng đƣợc thực hiện một cách tự nhiên (vd: tức là giống
nhƣ cách con ngƣời tƣơng tác với nhau bằng giọng nói hoặc cử chỉ). Trong đó, nhận
dạng cử chỉ tay (hand gesture recognition - HGR) là một yếu tố quan trọng của việc
tƣơng tác giữa ngƣời với máy, nghiên cứu công nghệ máy tính đƣợc thiết kế để diễn
giải các lệnh do con ngƣời đƣa ra [5].
Các mơ hình HGR là những hệ thống giúp xác định cử chỉ nào đƣợc thực hiện và
thực hiện hiện khi nào. Hiện tại, các hệ thống này đƣợc nghiên cứu và dùng cho rất
nhiều các ứng dụng, ví dụ nhƣ chi giả thơng minh cho ngƣời khuyết tật, nhận biết
ngôn ngữ ký hiệu cho ngƣời câm điếc, thiết bị phục hồi chức năng, và các thiết bị
điều khiển.

Hình 2.1: Một số sản phẩm nhận diện cử chỉ phát triển từ năm 1963 – 2014
Trƣớc khi đi vào quy trình nhận dạng cử chỉ, các thông tin thô về cử chỉ con ngƣời
cần đƣợc thu thập nhờ vào các cảm biến, và có rất nhiều loại cảm biến đƣợc dùng

cho việc này. Hình 2 cho thấy có hai loại thu thập dữ liệu cơ bản: tiếp cận theo
hƣớng hình ảnh và tiếp cận khơng theo hƣớng hình ảnh [2]:

4


Hình 2.2: Phân loại các loại cảm biến dùng cho nhận dạng cử chỉ

2.1. Các loại cảm biến nhận diện cử chỉ tay
2.1.1. Cảm biến tiếp cận theo hướng sử dụng hình ảnh
Cơng nghệ thƣờng đƣợc lấy cảm hứng từ tự nhiên. Với con ngƣời, chúng ta dùng
mắt để nhận biết cử chỉ, do đó, đối với thiết bị, hệ thống, sử dụng máy ảnh để
“nhìn” cử chỉ cũng là một cách lý luận lựa chọn cảm biến hợp lý. Và đối với loại
cảm biến tiếp cận thông tin theo hƣớng sử dụng hình ảnh, đƣợc chia tiếp thành 4
loại nhƣ hình 2 ở trên, bao gồm: đánh dấu (marker), máy ảnh đơn (single camera),
máy ảnh stereo (stereo camera) và cảm biến chiều sâu (depth sensor).
Ở hƣớng tiếp cận đánh dấu. cảm biến là một máy ảnh quang học. Trong hầu hết các
giải pháp sử dụng hƣớng tiếp cận này, ngƣời dùng cần phải đeo các điểm đánh dấu
nhìn thấy thấy đƣợc [6] lên bộ phận cần để xác định cử chỉ.
Đối với máy ảnh đơn dùng để phân tích cử chỉ, Howe et al. đánh giá là hạn chế về
góc nhìn, làm ảnh hƣởng đến sự hiệu quả của thiết bị [7]. Tuy nhiên, nghiên cứu
gần đây của Katsuki et al. năm 2015 đã áp dụng máy ảnh đơn tốc độ cao cho việc
nhận dạng cử chỉ. Hệ thống tận dụng cảm biến hình ảnh tốc độ cao và bộ xử lý hình
ảnh đƣợc thiết kế chuyê biệt để đạt đƣợc nhận dạng cử chỉ tốc độ cao [8].
Máy ảnh stereo (stereo camera) có thể tạo ra mơi trƣờng 3D, đƣợc các nhà nghiên
cứu gợi ý sử dụng cho ứng dụng nhận dạng cử chỉ. Các nghiên cứu thực hiện dựa

5



trên hƣớng tiếp cận này tƣơng tự với nhau từ rất lâu, thƣờng sử dụng 2 máy ảnh
stereo để tạo thông tin chiều sâu 3D. Mặc dủ hệ thống này có cải thiện tính hiệu quả
của việc nhận dạng cử chỉ trong mơi trƣờng ngồi trời, chúng vẫn có vấn đề trong
độ phức tạp của hệ tính tốn xử lý cũng nhƣ khó khăn trong hiệu chuẩn.
Hƣớng tiếp cận cuối cùng dựa trên hình ảnh là sử dụng cảm biến chiều sâu. Gần
đây, các công nghệ cảm biến chiều sâu đang nổi lên nhanh chóng. Các cảm biến này
là các cảm biến chiều sâu khơng thuộc dạng stereo, và có nhiều ƣu điểm hơn so với
máy ảnh stereo truyền thống. Ví dụ nhƣ các vấn đề về lắp đặt và điều kiện chiếu
sáng có thể đƣợc hạn chế. Hơn nữa, ngõ ra của cảm biến chiều sâu mang thông tin
3D, nên khi so với thông tin màu, thông tin 3D có thể đơn giản hóa các vấn đề của
việc nhận dạng cử chỉ [6]. Một so sánh của độ chính xác trong việc nhận dạng cử
chỉ có thể đƣợc tì thấy tại một nghiên cứu của Doliotis et al. năm 2011 [9]. Các loại
cảm biến chiều sâu cung cấp giải pháp rẻ và dễ dàng cho việc nhận dạng cử chỉ.
Chúng đƣợc sử dụng rộng rãi trong lĩnh vực giải trí, giáo dục và nghiên cứu. Việc
này đã lơi cuốn một cộng đồng phát triển rất lớn giúp có thêm rất nhiều các dự án
và công cụ nguồn mở dễ tiếp cận. Tuy nhiên, loại cảm biến này vẫn có hạn chế về
độ phân giải, nên chủ yếu đƣợc dùng trong nhận dạng cử chỉ hình thể và cử chỉ tay
ở khoảng cách gần.

2.1.2. Cảm biến tiếp cận theo hướng khơng sử dụng hình ảnh
Trong thời gian gần đây, sự phát triển của mảng MEMS (hệ thống vi cơ điện tử micro electromechanical system) và các cảm biến đã giúp đẩy mạnh các công nghệ
nhận dạng cử chỉ mà không cần dựa trên hình ảnh nữa. Trong đó, theo nhƣ Hình 2,
hƣớng tiếp cận này đƣợc chia làm 3 nhóm chính: nhóm găng tay (glove), nhóm
vịng đeo (band), và nhóm khơng tiếp xúc da (non-wearable).
Nhóm nghiên cứu sử dụng giao diện găng tay rất thƣờng đƣợc dùng để nhận dạng
cử chỉ. Thông thƣờng, hƣớng tiếp cận này thƣờng cần các dây kết nối, cảm biến gia
tốc accelerometers và con quay hồi chuyển. Tuy nhiên, một số loại găng tay dùng

6



dây dẫn, cáp nối nhiều có khả năng gây ra rắc rối trong các môi trƣờng vận hành
[6] [10].
Một công nghệ nhận dạng cử chỉ bằng cách tiếp xúc, không dùng hình ảnh khác, là
cơng nghệ dạng vịng đeo. Các cảm biến dùng cho loại tiếp cận này đƣợc đƣa vào
các vòng đeo tay (wristband) hoặc một số thiết bị tƣơng tự khác [2]. Chúng sử dụng
công nghệ không dây và các cảm biến điện cơ, cảm biến trở kháng [11][12] để tránh
gây ra việc thừa thải kết nối dây dẫn. Cảm biến chỉ cần tiếp xúc với cổ tay ngƣời
dùng, bàn tay và ngón tay ngƣời dùng sẽ đƣợc thoải mái làm việc khác. Gần đây
cũng có rất nhiều các báo cáo về việc sử dụng thiết bị nhận dạng cử chỉ dựa trên các
cảm biến dạng vòng đeo tay này.
Cuối cùng là các công nghệ không cần đeo lên ngƣời, mà vẫn có thể nhận dạng
đƣợc cử chỉ. Công nghệ này thƣờng sử dụng các loại cảm biến sóng âm, sóng điện
từ để phát hiện thay đổi cử chỉ của con ngƣời trong một không gian nhất định nào
đó. Google đã giới thiệu Project Soli năm 2015, là một hệ thống theo dõi và nhận
dạng cử chỉ tay dựa trên tần số sóng vơ tuyến (radio frequency – RF) [13]. Thiết bị
này có một bộ phát và nhận tín hiệu sóng vơ tuyến, giúp phát hiện các cử chỉ tay
khác nhau trong khoảng cách ngắn. Ngoài ra MIT cũng giới thiệu hệ thống WiTrack
và RF-capture, bắt đƣợc các cử chỉ nhờ vảo tần số vô tuyến phản xạ từ cơ thể con
ngƣời. Hệ thống này chọn lọc các tính hiệu RF nhất định mà có thể đi xun qua
tƣờng và phản xạ lại từ cơ thể ngƣời, do đó mà bắt đƣợc các chuyển động của con
ngƣời ngay cả khi ở một phịng khác. Có thể thấy, các loại công nghệ nhận dạng cử
chỉ mà không cần đeo lên ngƣời cũng là một xu hƣớng phát triển nhanh và đầy hứa
hẹn.
Tuy nhiên, qua tất cả các loại cảm biến nói trên, các cơng nghệ làm thành dạng
vịng đeo là phù hợp nhất để cung cấp các phân tích về tín hiệu sinh lý theo thời
gian thực, cũng nhƣ triển khai các mơ hình học máy cho xử lý tín hiệu. Ngồi ra
loại cơng nghệ này cịn là loại lấy tín hiệu cục bộ, và đƣợc đánh giá là sẽ lấy thông
tin thô tốt hơn nhiều so với việc lấy thông tin thô rồi truyền không dây đến các thiết


7


bị xử lý từ xa, gây mất mát tín hiệu và dữ liệu trong quá trình truyền. Việc xử lý tín
hiệu cục bộ cũng giúp cải thiện độ trễ và tính bảo mật dữ liệu [14].
Trong đó, do các nghiên cứu về việc sử dụng loại cảm biến điện cơ đã có mặt từ lâu,
cịn các nghiên cứu sử dụng cảm biến đo trở kháng vẫn cịn khá ít, luận văn này sẽ
làm cụ thể nghiên cứu về cảm biến trở kháng để đo sự thay đổi trở kháng sinh học
khi có thay đổi trong cử chỉ tay của ngƣời. Từ đó, phân loại và nhận diện các cử chỉ
tay khác nhau.

2.1.3. Các nghiên cứu nhận diện cử chỉ tay bằng cảm biến trở kháng
Trở kháng điện tử sinh học đã đƣợc ứng dụng trong nhiều ứng dụng y sinh để phát
hiện bệnh lý và các vấn đề sinh lý bất ổn, cũng nhƣ để theo dõi các quá trình sinh lý
và tế bào mô. Trở kháng sinh học đƣợc sử dụng để đánh giá độ ẩm của da [15] [16],
để phân biệt mô khỏe mạnh với mô ung thƣ [17], để đánh giá chức năng tim và phổi
[18], để phát hiện thiếu máu cục bộ ở mô [19] [20], phân tích cấu tạo trong tồn bộ
cơ thể hoặc từng phần [21], để thu hình ảnh các bộ phận khác nhau của cơ thể [22]
[23], để theo dõi quá trình lành vết thƣơng và phù nề [24], và để đánh các cơ trong
một số bệnh thần kinh cơ [25], [26].
Trở kháng sinh học ngày càng đƣợc sử dụng nhiều hơn trong lĩnh vực kỹ thuật y
sinh, liên tục phát triển và với nhiều sản phẩm thƣơng mại xuất hiện trên thị trƣờng
trong những năm gần đây. Thoạt nhìn, đây có vẻ là một phƣơng pháp tƣơng đối đơn
giản, vì về bản chất, nó là một kỹ thuật hồn tồn bằng điện. Xét cho cùng, trở
kháng sinh học là định luật Ohm. Vì nó sẽ đƣợc thảo luận chi tiết hơn trong các
phần tiếp theo, trở kháng sinh học liên quan đến phép đo các đặc tính điện của các
mơ và quần thể tế bào từ vài Hz đến vài MHz [22].
Khác với các tín hiệu điện sinh lý chỉ yêu cầu ghi giá trị điện áp, để đo trở kháng
sinh học, cần phải đƣa vào mơ một tín hiệu đã biết trƣớc. Do đó, thiết bị đo trở
kháng hơi phức tạp hơn vì cần tạo ra tín hiệu để kích thích mơ trƣớc để sau đó thu

đƣợc các đặc tính điện cần thiết của nó nhƣ là một hàm của tần số tín hiệu đƣợc áp
dụng. Cần phải biết tín hiệu này, và trong hầu hết các trƣờng hợp, tín hiệu này đƣợc

8


giữ không đổi, sao cho chỉ cần một đại lƣợng đo để tính tốn trở kháng bằng định
luật Ohm. Nếu khơng, cả điện áp và dịng điện đều cần đƣợc đo. Tƣơng tự nhƣ việc
thu đƣợc các tín hiệu điện sinh lý, có thể dùng các điện cực đơn giản để hỗ trợ tiếp
xúc điện cho các mơ. Do đó, trái ngƣợc với cảm biến điện hóa, khơng cần màng
chun dụng, enzyme, kháng thể hoặc các phân tử khác đƣợc lắng đọng trên bề mặt
điện cực. Thực tế, trong nhiều ứng dụng trở kháng sinh học, các điện cực điện tâm
đồ (ECG) thƣờng đƣợc sử dụng. Tuy nhiên, trong nhiều ứng dụng, điều quan trọng
là phải tối ƣu hóa thiết kế điện cực để kiểm sốt các đặc tính trở kháng của hệ thống
điện cực đƣợc sử dụng. Ngoài ra, các vật liệu khác nhau có thể đƣợc lắng đọng trên
bề mặt điện cực cũng có thể cải thiện các đặc tính trở kháng bề mặt của nó [22].

9


2.2. Cảm biến trở kháng sinh học
2.2.1. Đo trở kháng sinh học
Về khía cạnh vật lý, một mạch điện thƣờng đƣợc mơ hình hóa gồm ba yếu tố mang
điện lý tƣởng: điện trở (R), tụ điện (C) và cuộn cảm (L). Mỗi phần tử đều có một
mối quan hệ đặc trƣng giữa điện áp (V) và dòng điện (I). Điện trở, ký hiệu là R, liên
quan đến khả năng cản trở dịng điện trong mạch. Nó mơ tả mối quan hệ giữa điện
áp đặt lên một phần tử và dòng điện chạy qua phần tử đó [27]. Mối quan hệ này
đƣợc biểu diễn bằng định luật Ohm và đƣợc thể hiện bằng công thức dƣới đây:

Khi điện trở đƣợc đo bằng tín hiệu dịng điện một chiều (DC), điện trở hồn tồn là

điện trở thuần. Về mặt tốn học, để mơ hình hóa tụ điện và cuộn cảm, khái niệm trở
kháng điện (electrical impedance) lần đầu tiên đƣợc Oliver Heaviside đƣa ra vào
những năm 1880. Trở kháng điện (Z) không chỉ mơ hình hóa đặc tính của điện trở
mà cịn mơ tả khả năng tích trử điện của tụ điện và cuộn cảm. Bởi vì “hành vi” của
tụ điện và cuộn cảm phụ thuộc vào tần số, nên trở kháng đƣợc đo bằng cách đặt một
tín hiệu điện áp kích thích xoay chiều (AC) có biên độ nhỏ, vào mẫu vật đang đo
kiểm (SUT) và đo dòng điện cảm ứng.
̅

𝑡
𝐼 𝑡

𝐼̅

̂
𝐼̂

𝑠𝑛

𝑠𝑛

𝑡

𝑡

Tƣơng tự nhƣ định luật Ohm, trở kháng đƣợc tính bằng lấy điện áp chia cho dòng
điện. Trở kháng đƣợc mơ tả là một số phức; do đó, nó có thể đƣợc biểu diễn dƣới
dạng tọa độ cực gồm độ lớn trở kháng (|Z|) và độ lệch pha phụ thuộc tần số ( ).

𝐼


̂
𝐼̂

| |

10


Trong đó, ̂ và 𝐼̂ lần lƣợt là độ lớn điện áp và dòng điện;
dòng điện một chiều (DC); 𝑓 là tần số tín hiệu thí nghiệm;
𝜑 độ lệch pha giữa

và 𝐼 là giá trị điện áp và
= 2𝜋 𝑓 là tần số góc;

(𝑡 ) và 𝐼 (𝑡 ); V( ) và I( ) là biến đổi Steinmetz của

(𝑡 )

và 𝐼 (𝑡 ). Các tham số sóng hình sin đƣợc tính tốn từ các tín hiệu thu đƣợc bằng
thuật tốn phù hợp trong miền thời gian hoặc bằng cách áp dụng thuật tốn biến đổi
Fourier nhanh.
Theo cơng thức Euler

𝑥 = cos(𝑥 ) +j ∗ sin(𝑥 ), dạng cực của trở kháng cũng có

thể đƣợc biểu diễn dƣới dạng Descartes (Đề-các) gồm phần thực của trở kháng (Zr)
và phần ảo của trở kháng (Zi). Điều này đƣợc minh họa bằng đồ thị hình 2.1a và
2.1b. Phƣơng trình (2.5) biểu diễn trở kháng bằng 3 dạng khác nhau:

𝑠𝑛
𝐼𝑠 𝑛

𝑡
𝑡

|𝑧|

Trong một mạch điện thuần trở, đáp ứng điện áp xoay chiều (AC) cùng pha với tín
hiệu kích thích, tức là độ lệch pha luôn bằng không. Tuy nhiên, đối với tụ điện và
cuộn cảm, do đặc tính lƣu trữ điện (tức là điện kháng (reactance)) làm cho dạng
sóng của tín hiệu đáp ứng bị trễ hoặc sớm pha 1 cách tƣơng ứng trong miền thời
gian. Sự sai lệch về thời gian giữa tín hiệu kích thích và tín hiệu đáp ứng đƣợc gọi
là độ lệch pha, là tỷ số giữa thành phần kháng (điện trở) và thành phần điện kháng
của tín hiệu đầu ra [27]. Giá trị độ lệch pha đƣợc tính tốn bằng cách lấy phần ảo
của trở kháng chia cho phần thực của trở kháng nhƣ công thức dƣới đây.
𝑧
𝑟 𝑡 𝑛( )

11


Hình 2.1: (a) Dịng điện được đưa vào và điện áp thu được ở dạng sóng sine, trễ
pha do trở kháng. (b) Biểu đồ pha của trở kháng. (c) Đưa một dòng điện đã biết
qua các điện cực A và D vào một vật dẫn có độ dẫn điện σ và độ thấm tương đối εr,
và phép đo điện thế thu được qua các điện cực B và C theo cách sắp xếp phép đo
bốn cực (tetrapolar). Trong phép đo hai cực (bipolar), điểm A và D trùng với B và
C. (d) Màng tế bào hoạt động như một tụ điện (Cmembr) và do đó, ở tần số thấp,
dịng điện chạy qua môi trường ngoại bào, hoạt động như một điện trở (Rextra).
Với tần số kích thích tăng dần, trở kháng của tụ điện giảm dần và dòng điện bắt

đầu chạy qua màng tế bào và môi trường nội bào (Rintra) [26]. (e) Các vùng phân
tán khác nhau.

12