ĐỒ ÁN TỐT NGHIỆP
Trang 1/38

ĐỒ ÁN TỐT NGHIỆP

XÂY DỰNG MÔ HÌNH ĐIỀU KHIỂN
THIẾT BỊ DÙNG CỬ CHỈ BÀN TAY

Xây dựng mô hình điều khiển
thiết bị dùng cử chỉ bàn tay


ĐỒ ÁN TỐT NGHIỆP
Trang 2/38

CHƯƠNG 1. TỔNG QUAN VỀ ĐỀ TÀI
1.1 Giới thiệu về nhận dạng cử chỉ bàn tay
Với sự phát triển của khoa học ngày nay, sự tương tác giữa robot và con người
đã trở thành một lĩnh vực được chú ý. Hiện tại có rất nhiều kỹ thuật nhận dạng
được nghiên cứu như: nhận dạng dấu vân tay, nhận dạng khuôn mặt người, nhận
dạng ký tự/chữ/số. Và nhận dạng cử chỉ bàn tay cũng được nghiên cứu và đưa
vào sử dụng rộng rãi. Cử chỉ bàn tay được đưa vào sử dụng hiệu quả nhằm đưa ra
lệnh cho robot thực thi.
Một số ứng dụng:
• Người và máy tính có thể tương tác với nhau.
• Tương tác với các thiết bị ngoại vi.
• Ứng dụng khác.

Hình 1- 1 Hình ảnh về sử dụng TV với cử chỉ bàn tay. Error: Reference source not
found

Xây dựng mô hình điều khiển
thiết bị dùng cử chỉ bàn tay


ĐỒ ÁN TỐT NGHIỆP
Trang 3/38

Ngoài ra, nhận dạng cử chỉ bàn tay còn có khả năng ứng dụng vào việc
giao tiếp với người bị câm, điếc…

1.2 Mục tiêu đề tài
Đề tài “Xây dựng mô hình điều khiển thiết bị dùng cử chỉ bàn tay” sẽ thực hiện
bao gồm xây dựng mô hình nhận dạng được cử chỉ bàn tay dùng phần mềm
MATLAB2016a, kết hợp với máy tính có sẵn webcam để thu thập cử chỉ (đếm số
ngón tay) để điều khiển các thiết bị trong nhà như TV, đèn, quạt, …
1.3 Nội dung thực hiện
Đề tài thực hiện gồm các nội dung chính như sau:
-

-

-

Tìm hiểu lý thuyết về xử lý ảnh và lý thuyết về nhận dạng cử chỉ bàn tay.
o Các khái niệm cơ bản về ảnh/ảnh số.
o Các kỹ thuật xử lý ảnh cơ bản.
o Các phương pháp/kỹ thuật nhận dạng.
Tìm hiểu phương pháp phân tích thành phần chính (P C A) và các ứng
dụng.
Lập trình ứng dụng nhận dạng cử chỉ trên MATLAB và thực hiện đánh giá.

o Xây dựng CSDL cử chỉ dùng cho huấn luyện và đánh giá.
o Lập trình xử lý ảnh bàn tay cho nhận dạng dùng P C A.
Xây dựng hệ thống áp dụng kỹ thuật nhận dạng cử chỉ cho việc điều khiển
thiết bị.
o Thu thập ảnh cử chỉ qua ảnh có sẵn và webcam.
o Kết hợp vi điều khiển để điều khiển các thiết bị trong nhà như TV,
đèn, quạt, …

Xây dựng mô hình điều khiển
thiết bị dùng cử chỉ bàn tay


ĐỒ ÁN TỐT NGHIỆP
Trang 4/38

CHƯƠNG 2. LÝ THUYẾT XỬ LÝ ẢNH VÀ NHẬN DẠNG
2.1 Tổng quan về xử lý ảnh
2.1.1 Điểm ảnh ( picxel )
Điểm ảnh là 1 phần tử của ảnh số có toạ độ ( x , y ) với mức xám hay
màu nhất định. Khoảng cách cũng như kích thước giữa các điểm ảnh đó được
chọn phù hợp để mắt người có thể cảm nhận sự liên tục về không gian và mức
xám (hoặc màu sắc) của ảnh số gần như ảnh thật.

2.1.2 Mức xám của ảnh

Hình 2- 1 Các mức xám.Error: Reference source not found

Mức xám là kết quả cho sự mã hoá tương ứng cường độ sáng của mỗi
điểm ảnh, với một giá trị số . Cách mã hoá thường dùng 16, 32 hay 64 mức.
Mã hoá 256 mức là phổ biến nhất vì 2 8 = 256 (0, 1... 255), nên với 256 mức,

mỗi pixel sẽ được mã hoá bằng 8 bit ( hay 1 byte).
2.1.3 Phân loại ảnh
• Ảnh nhị phân
Mỗi một điểm ảnh được biểu diễn bằng 1 bit. Giá trị của các điểm ảnh
chỉ được nhận hai giá trị 0 hoặc là 1.

Xây dựng mô hình điều khiển
thiết bị dùng cử chỉ bàn tay


ĐỒ ÁN TỐT NGHIỆP
Trang 5/38

Hình 2- 2 Biểu diễn cho 2 mức trắng và đen.Error: Reference source not found

Hình 2- 3 Ảnh nhị phân.Error: Reference source not found

• Ảnh xám
Giá trị của 1 điểm ảnh nằm trong tập [0 255], 1 điểm ảnh biểu diễn bằng
1 byte ( hoặc 8 bits ).

Xây dựng mô hình điều khiển
thiết bị dùng cử chỉ bàn tay


ĐỒ ÁN TỐT NGHIỆP
Trang 6/38

Hình 2- 4 Ảnh xám.Error: Reference source not found


• Ảnh màu

Hình 2- 5 Ảnh màu R G B.Error: Reference source not found

o Hệ màu R G B là chế độ hiển thị màu sắc tự nhiên của màn hình CRT,
màn hình LCD và màn hình plasma. Hệ màu R G B là hệ màu là tốt
nhất cho thiết kế: thiết kế website, hình ảnh kỹ thuật số, thiết kế các tài
liệu quảng cáo trực tuyến…
o Hệ màu C M Y K là một mô hình màu trong đó tất cả các màu
được mô tả như là một hỗn hợp của các quá trình hòa trộn của
bốn màu sắc. C M Y K là mô hình màu được sử dụng trong in
offset cho các tài liệu đầy đủ màu sắc.

Xây dựng mô hình điều khiển
thiết bị dùng cử chỉ bàn tay


ĐỒ ÁN TỐT NGHIỆP
Trang 7/38

o Hệ màu YcbCr : là một trong những hệ của không gian màu được
dùng như là một phần của đường dẫn ảnh màu trong video và các
hệ thống mô hình nhiếp ảnh kỹ thuật số.
2.2 Kỹ thuật nhận dạng dùng xử lý ảnh
Nhận dạng ảnh là quá trình xác định vật thể/hình dạng trong ảnh. Quá trình
này thường thu được bằng cách so sánh với mẫu chuẩn đã được học từ trước.
2.2.1 Hệ thống nhận dạng dùng xử lý ảnh

Hình 2- 6 Các giai đoạn chính trong xử lý ảnh.


2.2.2 Một số phương pháp nhận dạng
Việc giải quyết bài toán nhận dạng, trong các ứng dụng mới, nảy sinh
trong cuộc sống không chỉ tạo ra những thách thức về giải thuật, mà còn
đặt ra những yêu cầu về tốc độ tính toán. Nên có rất nhiều phương pháp
nhận dạng được nghiên cứu để giải quyết các bài toán nhận dạng khác nhau.
Mỗi một phương pháp đều có nhửng tính năng cũng như sự hiệu quả nhất
định, sau đây là một vài phương pháp cơ bản và phổ biến trong lĩnh vực nhận
dạng.
1.1.1.1

Phương pháp phân tích thành phần chính P C A

Xây dựng mô hình điều khiển
thiết bị dùng cử chỉ bàn tay


ĐỒ ÁN TỐT NGHIỆP
Trang 8/38

P C A – Principaul Components Analysiss : Là phương pháp đơn giản nhất
để phát hiện đối tượng , sử dụng cường độ xám hoặc màu của điểm ảnh để biểu
diễn đối tượng. Phương pháp này nhằm giảm số chiều của ảnh mà vẫn có thể giữ
được lượng thông tin lớn nhất.
1.1.1.2 Phương pháp phân tích thành phần độc lập I C A
I C A - Indepeudent Compouent Analysis: Để định nghĩa I C A, ta có thể dụng
mô hình các biến ẩn thống kê, n biến ngẫu nhiên x 1, …, xn, là tổ hợp tuyến tính của
n biến ngẫu nhiên s1… sn dưới dạng:
xi = ai1s1 + ai2s2 +…+ ainsn , i = 1,2,…,n
với aij (i, j = 1, …, n) là các hệ số thực. Các s i là độc lập thống kê với nhau. Mô
hình cơ bản của I C A chính là giải quyết bà i toán x As cùng với các điều kiện

ràng buộc sau:
• Nguồn tín hiệu gốc ban đầu độc lập thống kê với nhau.
• Ma trận trộn A là ma trận vuông .
• Tối đa chỉ được có 1 nguồn tín hiệu gốc có phân bố Ganss.
Phương pháp I C A giải bài toán x As bằng phương pháp thống kê thông qua
việc ước lượng vector y = Wvx (đặt Wv = Av-1).
1.1.1.3 Phương pháp H O G (Histosgram Ogrientations Grandient)
Là hình dạng đối tượng trong ảnh được đặc trưng khá tốt vì sự phân bố
theo sự thay đổi mức xám hay theo hướng của biến đối tượng H O G được tính
bằng cách chia ảnh thành nhiều vùng không gian nhỏ hơn, gọi là cell, mỗi 1
cell này, tích lũy “histosgram” 1 chiều cục bộ của hướng “gradient” hoặc định
hướng biên trên các điểm ảnh của cell. Những cell nằm cạnh nhau được gộp lại
thành một khối gọi là “blocks”, “blocks” được chồng lên nhau nhằm tăng cường
mối quan hệ trong không gian giữa các điểm ảnh. Các “histogram” của khối được
kết hợp với nhau tạo thành vector đặc trưng.
1.1.1.4 Phương pháp sử dụng mạng “nơrons”
Mạng “nơrons” nhân tạo được xây dựng để mô hình một số tính chất của
mạng “nơrons” sinh học. Đa số các ứng dụng lại có bản chất kỹ thuật. Mạng
nơrons nhân tạo được gọi là máy mô phỏng cách bộ não hoạt động thực hiện các

Xây dựng mô hình điều khiển
thiết bị dùng cử chỉ bàn tay


ĐỒ ÁN TỐT NGHIỆP
Trang 9/38

nhiệm vụ của nó. Một mạng nơron là bộ xử lý song song phân tán lớn, nó
giống như bộ não người về 2 mặt:
• Tri thức được nắm bắt bằng mạng “nơrons” thông qua các quá trình

học.
• Độ lớn của trọng số kết nối “nơrons” đóng vai trò là các khớp nối
lưu giữ thông tin.
1.1.1.5 Phương pháp S V M (Suported Vectort Maching)
S V M là phương pháp phân loại tự động tương đối mới do Vapnik [3] đưa ra
vào năm 1995. Nhiều thử nghiệm với các ứng dụng khác nhau cho thấy
S V M là một trong những phương pháp phân loại có độ chính xác cao và là một
phương pháp tương đối tổng quát cho bài toán nhận dạng.
Như vậy, để thực hiện việc nhận dạng cử chỉ tay trong đề tài “Xây dựng
mô hình điều khiển thiết bị dùng cử chỉ bàn tay”, phương pháp nhận dạng
được lựa chọn là phương pháp phân tích thành phần chính P C A bởi vì được
tiến hành một cách đơn giản và dễ thực hiện nhất. Thêm vào đó P C A rất hữu ích
trong các ứng dụng nhận dạng cơ thể và nén ảnh, và là một kỹ thuật phổ biến để tìm
mẫu trong các dữ liệu nhiều chiều. Chất lượng và độ chính xác khi xử lý ảnh dùng
phương pháp P C A đạt rất cao.
2.2.3 Khái niệm nhận dạng cử chỉ bàn tay
Nhận dạng cử chỉ bàn tay, phương pháp sử dụng kĩ thuật máy tính nhằm
xác định được những cử chỉ, chuyển động của bàn tay. Trong đề tài “ Xây dựng mô
hình điều khiển thiết bị dùng cử chỉ bàn tay ” sẽ đếm được số ngón tay trong hình
ảnh thu được. Từ đó có thể ứng dụng xây dựng hệ thống nhằm điều khiển các
thiết bị bằng tương tác cử chỉ bàn tay…

Xây dựng mô hình điều khiển
thiết bị dùng cử chỉ bàn tay


ĐỒ ÁN TỐT NGHIỆP
Trang 10/38

CHƯƠNG 3. PHƯƠNG PHÁP PHÂN TÍCH THÀNH

PHẦN CHÍNH P C A
Phương pháp phân tích thành phần chính (P C A) là một phương pháp được sử
dụng thường xuyên khi phải đối mặt với những bộ số liệu với số chiều lớn (big
data). Là phương pháp giảm thiểu chiều dữ liệu mà vẫn không mất đi thông
tin và giữ lại được những thông tin cần thiết cho việc nhận dạng cử chỉ bàn tay.
3.1 Phương pháp phân tích thành phần chính (P C A)
3.1.1 Khái niệm P C A
P C A là tên viết tắt của Princispal Comnponents Anaulysis hay còn gọi là
phương pháp phân t ích theo thành phần chính, được Karls Pearsson phát minh
năm 1901 .

Xây dựng mô hình điều khiển
thiết bị dùng cử chỉ bàn tay


ĐỒ ÁN TỐT NGHIỆP
Trang 11/38

P C A là phương pháp đơn giản nhất nhằm phân tích nhiều biến dựa vào vector
đặc trưng, nhằm mục đích khám phá cấu trúc bên trong của dữ liệu. Một tập
dữ liệu nhiều biến được xem là tập các tọa độ trong 1 không gian dữ liệu đa
chiều thì phương pháp P C A lại cung cấp 1 bức ảnh ít chiều hơn.
Trong lĩnh vực xử lý ảnh, thông thường cần phải phân tích dữ liệu trước khi xây
dựng các mô hình dựa trên cơ sở dữ liệu đó. Nhưng đôi khi dữ liệu có số chiều
lớn, không thể hình dung trong không gian hai hay ba chiều, vì vậy cần đưa ra
phương án đưa cơ sở dữ liệu về không gian có số chiều nhỏ hơn.

3.1.2 Đặc điểm P C A
P C A là phương pháp có những đặc điểm sau đây:
-


Giảm được số chiều của dữ liệu ban đầu.

-

P C A tạo nên một không gian mới ít chiều hơn không gian cũ, tuy nhiên
biểu diễn dữ liệu tốt như không gian cũ và bảo đảm độ biến thiên của dữ
liệu của mỗi chiều mới.

-

P C A tạo ra đặc tính mới dựa trên các đặc tính đã quan sát được và các đặc
tính có thể biểu diễn tốt dữ liệu lúc đầu.

Mục đích của P C A là tạo ra một không gian mới, có số chiều ít hơn số
chiều của không gian cũ. Các trục tọa độ trong không gian mới được xây dựng
sao cho độ biến thiên dữ liệu của mỗi trục tọa độ là lớn nhất .

Xây dựng mô hình điều khiển
thiết bị dùng cử chỉ bàn tay


ĐỒ ÁN TỐT NGHIỆP
Trang 12/38

Hình 3- 1 Ví dụ cho trục tọa độ mới có dữ liệu , với độ biến thiên lớn hơn.Error:
Reference source not found

3.2 Giải thuật P C A


Xây dựng mô hình điều khiển
thiết bị dùng cử chỉ bàn tay


ĐỒ ÁN TỐT NGHIỆP
Trang 13/38

Hình 3- 2 Giải thuật P C A.

3.2.1 Nhận các ảnh bàn tay từ cơ sở dữ liệu và tập luyện
Bước đầu tiên là đọc cơ sở dữ liệu(CSDL) và nhận vào tất cả ảnh huấn luyện .
Tất cả ảnh huấn luyện phải đều là ảnh có bàn tay ở tâm ảnh và có chung kích thước.

Hình 3- 3 Ảnh huấn luyện có chung kích thước.

Hình 3- 4 Chuyển đổi ảnh có kích thước MxM sang vector M2x1.

Tương ứng mỗi một ảnh Ii thì có 1 vector Zi:

Xây dựng mô hình điều khiển
thiết bị dùng cử chỉ bàn tay


ĐỒ ÁN TỐT NGHIỆP
Trang 14/38

(1)
3.2.2 Tính toán giá trị vector trung bình
Giá trị vector trung bình:


(2)

Hiệu giá trị vector trung bình:
(3)
3.2.3 Tính ma trận hiệp biến
Ma trận hiệp biến C được tính theo công thức:
(4)
Với

(5)

3.2.4 Tính các “trị riêng” và “vector đặc trưng” của ma trận hiệp
biến
Hai ma trận A AT và AT A luôn có cùng “trị riêng” và “vector đặc trưng” thì
có liên hệ với nhau bởi biểu

thức mà ma trận AT A lại có số chiều nhỏ

hơn hẳn ( ma trận N × N) vì vậy sẽ chuyển đổi về ma trận AT A.
Sau khi tính toán ta được N vector đặc trưng của A AT(

)

tương ứng với N trị riêng.
3.2.5 Lựa chọn các thành phần và vector đặc trưng
Nhằm giảm nhiều nhất số chiều và giảm mức độ phức tạp trong việc tính
toán, chỉ cần giữ lại K vector đặc trưng (tương ứng với K giá trị riêng lớn
nhất).
Lúc đó, ảnh sau khi trừ cho trị trung bình, sẽ được đại diện bằng K
vector đặc trưng và được đưa vào không gian đặc trưng:

(6)
trong đó:
(7)
Thực hiện

là quá trình chuẩn hóa vector.

Mỗi ảnh bàn tay huấn luyện Φi sẽ được biểu diễn bằng 1 vector:
(8)

Xây dựng mô hình điều khiển
thiết bị dùng cử chỉ bàn tay


ĐỒ ÁN TỐT NGHIỆP
Trang 15/38

3.2.6 Tính giá trị £ j
Tính khoảng cách “Euclides” của ma trận

µ, so với không gian mặt.

Tính khoảng cách tới từng ảnh trong tập ảnh huấn luyện, và tìm được
khoảng cách tới ảnh huấn luyện, gần nhất trong không gian mặt. Khoảng cách
này là:
(9)
Với N là số ảnh có trong tập ảnh huấn luyện. Khi tính được khoảng cách
Euclide, từ đó so sánh ở sai số thấp nhất với database, và suy ra được số
ngón tay thể hiện trên ảnh.


CHƯƠNG 4. MÔ PHỎNG GIẢI THUẬT PCA CHO NHẬN
DẠNG CỬ CHỈ
Từ những cơ sở lý thuyết về P C A được nên ở chương trên dẫn đến việc xây
dựng một chương trình nhận dạng cử chỉ tay trên phần mềm để có được sự nhìn
nhận rõ hơn về nhận dạng cử chỉ tay phương pháp P C A.
4.1 Mô hình thông số mô phỏng nhận dạng cử chỉ
4.1.1 Các cử chỉ thực hiện nhận dạng trong hệ thống

Xây dựng mô hình điều khiển
thiết bị dùng cử chỉ bàn tay


ĐỒ ÁN TỐT NGHIỆP
Trang 16/38

Trong hệ thống nhận dạng cử chỉ tay bằng phương pháp PCA có 5 cử chỉ được
nhận dạng bao gồm các cử chỉ thể hiện từ 1 ngón tay đến 5 ngón tay như trên hình.

Hình 4- 1 Cử chỉ được nhận dạng trong hệ thống [5]

4.1.2 Cơ sở dữ liệu
Cơ sở dữ liệu được xây dựng dựa trên tập ảnh luyện (training image) và ảnh
thực nghiệm. Hình ảnh các ngón tay thể hiện giá trị 1, 2, 3, 4, 5. Mỗi giá trị sẽ có 40
ảnh với các thể hiện không giống nhau để tạo được sự đa dạng cho cơ sở dữ liệu.

Hình 4- 2 Tập ảnh luyện (Training image).

4.1.3 Mô hình các bước nhận dạng cử chỉ
Mô hình nhận dạng cử chỉ bàn tay được thực hiện theo sơ đồ khối sau và thể
hiện chạy giải thuật trên lưu đồ:


Xây dựng mô hình điều khiển
thiết bị dùng cử chỉ bàn tay


ĐỒ ÁN TỐT NGHIỆP
Trang 17/38

Hình 4- 3 Sơ đồ khối ( hệ thống) .

1.1.1.6
1.1.1.7

Acqui Hand Image (Nhập ảnh)
Hand Segmentation (Tách biên)

Hình 4- 4 Ảnh chụp cử chỉ tay biểu diễn số 2.

Dễ dàng có thể nhận biết được phần da tay từ mắt người và từ đó ta dễ dàng hiểu
được ảnh muốn truyền đạt là số 2.
Nhưng máy tính chưa có khả năng phân biệt như mắt người thấy, vậy nên cần
đến thuật toán tách biên nhằm giúp máy tính hiểu được đâu là phần da tay, từ đó dễ
dàng điều khiển.
• Chuyển ảnh từ hệ R G B sang hệ Y cb Cr
Chuyển ảnh từ hệ R G B sang hệ Y Cb Cr theo công thức:

• Tách màu da

Xây dựng mô hình điều khiển
thiết bị dùng cử chỉ bàn tay



ĐỒ ÁN TỐT NGHIỆP
Trang 18/38

Công đoạn này được sử dụng để phân loại pixel, theo pixel màu da hoặc không
phải là pixel màu da. Sau khi kết nối tất cả các pixels màu da, và sẽ thu được bàn
tay sau khi tách màu da.
• Otsu Thresthoilding
Sau khi tiến hành tách biên màu da ta sẽ thu được bàn tay, nhưng có thể là một
số điểm ảnh khác trong nền cũng bị dính vào. Để xóa các điểm ảnh nền và làm tách
biệt cho đối tượng (ở đây là bàn tay), cần sử dụng phương pháp Otsu Thresholding.
Để lấy ngưỡng Otsu, ta sử dụng hàm graythresh:

1.1.1.8 Hand Recognition (Nhận dạng cử chỉ tay)
Một trong các kĩ thuật quan trọng trong việc nhận dạng cử chỉ bàn tay
là so sánh hình ảnh thu được với tập ảnh luyện, từ đó xuất ra được giá trị mà
hình ảnh thể hiện và xuất ra màn hình.

Xây dựng mô hình điều khiển
thiết bị dùng cử chỉ bàn tay


ĐỒ ÁN TỐT NGHIỆP
Trang 19/38

Hình 4- 5 Sơ đồ các bước nhận dạng, trong tập ảnh luyện.

Đầu tiên tiến hành đọc ảnh từ tập ảnh luyện vào cơ sở dữ liệu.
Khi đọc, ảnh đang ở dạng ảnh màu R G B, có kích thước 640 x 480.

Tiếp theo, thực hiện bước tiền xử lý cơ bản (Chuyển ảnh màu R G B sang
ảnh xám và chuyển ảnh sang vector 1 chiều).
Sau đó tính vector trung bình của tập ảnh luyện:

Tính sai số của từng ảnh so với ma trận trung bình: Các vector sai số sẽ được
gộp lại thành 1 ma trận A:

Xây dựng mô hình điều khiển
thiết bị dùng cử chỉ bàn tay


ĐỒ ÁN TỐT NGHIỆP
Trang 20/38

Sau khi có được ma trận A và ma trận hiệp biến ,

tiến hành tính trị riêng

và vector riêng của C thông qua tính trị riêng và vector riêng cua ma trận

Với 2 biến V, D tương ứng với vector đặc trưng và trị riêng của ma trận ATA.
Tiếp theo là tính vector đặc trưng của ma trận AAT theo công thức :
(10)
Tiếp theo sẽ thực hiện, việc trích chọn đặc trưng, và đưa về một không gian dặc
trưng , và biểu diễn ảnh theo giá trị riêng tìm được.
Mỗi ảnh tương ứng với một vector trọng số wj cho mỗi hệ số của vector là
hệ số tương ứng 1 vector đặc trưng trong số những vetor đặc trưng mới tìm được.

Xây dựng mô hình điều khiển
thiết bị dùng cử chỉ bàn tay



ĐỒ ÁN TỐT NGHIỆP
Trang 21/38

Hình 4- 6 Lưu đồ giải thuật chương trình nhận dạng cử chỉ bàn tay dùng P CA.

Khi đã xử lý các bước cơ bản trong tiền xử lý, bước tiếp theo là trừ đi vector
trung bình :

Tiếp theo là tính khoảng cách Euclides:

Tính lần lượt, khoảng cách từ vectơ của các ảnh nhận dạng, đến từng vectơ của
tập ảnh huấn luyện.

Xây dựng mô hình điều khiển
thiết bị dùng cử chỉ bàn tay


ĐỒ ÁN TỐT NGHIỆP
Trang 22/38

Kết quả tính được đưa vào một ma trận

Giá trị khoảng cách nhỏ nhất đó được lấy và gán vào biến p.
Cuối cùng so sánh khoảng cách này với khoảng cách ngưỡng ( để xem có phải
là ảnh trong tập ảnh luyện hay không).
(Ngưỡng đang được gán nhờ, thực nghiệm tương ứng với tập cơ sở dữ liệu đã
xây dựng).
4.2 Mô phỏng

Tất cả chương trình mô phỏng của đề tài “Xây dựng mô hình điều khiển thiết bị
dùng cử chỉ bàn tay” được thực hiện trên phần mềm MATLAB R2016a và hoạt
động trong Laptop Dell core i3 với R A M 4 G B chạy trên hệ điều hành
Windows 10 cùng Webcam 1.5 MP được tích hợp trong Laptop.
4.2.1 Kết quả và đánh giá trên tập CSDL
Chương trình mô phỏng nhận dạng cử chỉ tay bằng phương pháp PCA đã có khả
năng nhận dạng được số ngón tay như hình bên dưới.

Hình 4- 7 Hình ảnh nhận dạng 1 ngón tay.

Xây dựng mô hình điều khiển
thiết bị dùng cử chỉ bàn tay


ĐỒ ÁN TỐT NGHIỆP
Trang 23/38

Hình 4- 8 Hình ảnh nhận dạng 2 ngón tay.

Hình 4- 9 Hình ảnh nhận dạng 3 ngón tay.

Hình 4- 10 Hình ảnh nhận dạng 4 ngón tay.

Xây dựng mô hình điều khiển
thiết bị dùng cử chỉ bàn tay


ĐỒ ÁN TỐT NGHIỆP
Trang 24/38


Hình 4- 11 Hình ảnh nhận dạng 5 ngón tay.

4.2.2 Đánh giá trên ảnh thực thu từ webcam

Bảng 4- 1 Bảng đánh giá hiệu suất nhận dạng của chương trình mô phỏng.

• Nhận xét: Ảnh có sẵn với chất lượng ảnh cùng với ánh sáng tốt mang lại hiệu
suất nhận dạng cao.

Xây dựng mô hình điều khiển
thiết bị dùng cử chỉ bàn tay


ĐỒ ÁN TỐT NGHIỆP
Trang 25/38

CHƯƠNG 5. XÂY DỰNG MÔ HÌNH ĐIỀU KHIỂN THIẾT
BỊ
Mô hình gồm có 3 khối chính:
• Khối nhận dạng cử chỉ.
• Khối điều khiển thiết bị.
• Khối thực hiện các lệnh điều khiển thiết bị.

Hình 5- 1 Mô hình điều khiển thiết bị dùng cử chỉ bàn tay.

-

5.1 Nguyên lý hoạt động của mô hình
Tạo cơ sở dữ liệu


Xây dựng mô hình điều khiển
thiết bị dùng cử chỉ bàn tay