TRƯỜNG ĐẠI HỌC BÁCH KHOA TP. HỒ CHÍ MINH

KHOA ĐIỆN – ĐIỆN TỬ
BỘ MÔN ĐIỀU KHIỂN TỰ ĐỘNG

LUẬN VĂN TỐT NGHIỆP

ĐIỀU KHIỂN ROBOT SCARA TRONG ỨNG DỤNG GẮP VẬT
SỬ DỤNG THUẬT TOÁN YOLO VÀ HOUGHLINES

KỸ SƯ NGÀNH KỸ THUẬT ĐIỀU KHIỂN & TỰ ĐỘNG HĨA

TP. HỒ CHÍ MINH, 2020


TRƯỜNG ĐẠI HỌC BÁCH KHOA TP. HỒ CHÍ MINH

KHOA ĐIỆN – ĐIỆN TỬ
BỘ MÔN ĐIỀU KHIỂN TỰ ĐỘNG

LUẬN VĂN TỐT NGHIỆP

ĐIỀU KHIỂN ROBOT SCARA TRONG ỨNG DỤNG GẮP
VẬT SỬ DỤNG THUẬT TOÁN YOLO VÀ HOUGHLINES
CONTROL OF SCARA ROBOT
FOR PICK AND PLACE
APPLICATION
USING YOLO AND HOUGHLINES ALGORITHMS

KỸ SƯ NGÀNH KỸ THUẬT ĐIỀU KHIỂN & TỰ ĐỘNG HÓA

GIẢNG VIÊN
HƯỚNG DẪN TS.
NGUYỄN VĨNH HẢO
KS. BÙI THANH
HUYỀN

TP. HỒ CHÍ MINH, 2020


TRƯỜNG ĐẠI HỌC BÁCH KHOA TP. HỒ CHÍ
MINH

CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT
NAM

KHOA ĐIỆN – ĐIỆN TỬ

Độc lập - Tự do - Hạnh
phúc

BỘ MÔN: ĐIỀU KHIỂN TỰ ĐỘNG

TP. HCM, ngày….tháng…..năm……..

NHẬN XÉT LUẬN VĂN TỐT
NGHIỆP CỦA CÁN BỘ HƯỚNG
DẪN

Tên luận
văn:


ĐIỀU KHIỂN ROBOT SCARA TRONG ỨNG DỤNG GẮP
VẬT SỬ DỤNG THUẬT TỐN YOLO VÀ
HOUGHLINES

Nhóm Sinh viên thực hiện:

Cán bộ hướng dẫn:
TS. Nguyễn Vĩnh Hảo
KS. Bùi Thanh Huyền

Đánh giá Luận văn
1. Về cuốn báo cáo:
Số trang
Số bảng số liệu
Số tài liệu tham khảo

_

Số chương
Số hình vẽ
Sản phẩm

Một số nhận xét về hình thức cuốn báo cáo:
.....................................................................................................................................................................
.....................................................................................................................................................................
.....................................................................................................................................................................


.....................................................................................................................................................................

.....................................................................................................................................................................
.....................................................................................................................................................................
.....................................................................................................................................................................
2. Về nội dung luận văn:

.....................................................................................................................................................................
.....................................................................................................................................................................
.....................................................................................................................................................................


.....................................................................................................................................................................
3. Về tính ứng dụng:
.....................................................................................................................................................................
.....................................................................................................................................................................
.....................................................................................................................................................................
.....................................................................................................................................................................
4. Về thái độ làm việc của sinh viên:
.....................................................................................................................................................................
.....................................................................................................................................................................
.....................................................................................................................................................................
.....................................................................................................................................................................
Đánh giá chung: Luận văn đạt/không đạt yêu cầu của một luận văn tốt
nghiệp kỹ sư, xếp loại Giỏi/ Khá/ Trung bình
Điểm từng sinh viên:
Đặng Hồng Phúc Nam............/10
Nguyễn Thị Hạnh Nhi............./10

Cán bộ hướng dẫn

Cán bộ hướng dẫn


(Ký tên và ghi rõ họ tên)

(Ký tên và ghi rõ họ tên)


TRƯỜNG ĐẠI HỌC BÁCH KHOA TP. HỒ CHÍ
MINH

CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT
NAM

KHOA ĐIỆN – ĐIỆN TỬ

Độc lập - Tự do - Hạnh
phúc

BỘ MÔN: ĐIỀU KHIỂN TỰ ĐỘNG

TP. HCM, ngày….tháng…..năm……..

NHẬN XÉT LUẬN VĂN TỐT
NGHIỆP CỦA CÁN BỘ PHẢN
BIỆN

Tên luận
văn:

ĐIỀU KHIỂN ROBOT SCARA TRONG ỨNG DỤNG GẮP
VẬT SỬ DỤNG THUẬT TỐN YOLO VÀ

HOUGHLINES
Nhóm Sinh viên thực hiện:

Cán bộ phản
biện:

Đánh giá Luận văn
5. Về cuốn báo cáo:
Số trang

_

Số chương

Số bảng số liệu

Số hình vẽ

Số tài liệu tham khảo

Sản phẩm

Một số nhận xét về hình thức cuốn báo cáo:
.....................................................................................................................................................................
.....................................................................................................................................................................
.....................................................................................................................................................................
.....................................................................................................................................................................
.....................................................................................................................................................................



.....................................................................................................................................................................
.....................................................................................................................................................................
6. Về nội dung luận văn:
.....................................................................................................................................................................

.....................................................................................................................................................................
.....................................................................................................................................................................
.....................................................................................................................................................................


7. Về tính ứng dụng:
.....................................................................................................................................................................
.....................................................................................................................................................................
.....................................................................................................................................................................
.....................................................................................................................................................................
8. Về thái độ làm việc của sinh viên:
.....................................................................................................................................................................
.....................................................................................................................................................................
.....................................................................................................................................................................
.....................................................................................................................................................................
Đánh giá chung: Luận văn đạt/không đạt yêu cầu của một luận văn tốt
nghiệp kỹ sư, xếp loại Giỏi/ Khá/ Trung bình
Điểm từng sinh viên:
Đặng Hồng Phúc Nam............/10
Nguyễn Thị Hạnh Nhi............/10

Cán bộ phản biện
(Ký tên và ghi rõ họ tên)



Lời cảm ơn
Lời đầu tiên, chúng em xin gửi lời cảm ơn chân thành đ ến quý th ầy cô tr ường
Đại học Bách Khoa TP.HCM nói chung, và bộ mơn Điều khiển Tự động nói riêng,
đã truyền dạy cho chúng em những kiến thức quí báu trong su ốt quãng th ời gian
học tập tại trường Đại học Bách Khoa.
Chúng em xin chân thành cảm ơn thầy Nguyễn Vĩnh Hảo và cô Bùi Thanh
Huyền là giảng viên hướng dẫn của chúng em. Thầy và cơ đã tận tình ch ỉ d ạy, h ỗ
trợ kiến thức và kinh nghiệm cho chúng em đ ể có th ể hồn thành đ ề tài lu ận
văn này. Sự dẫn dắt của thầy, cô là một sự may mắn lớn trong con đường học
tập và sự nghiệp của chúng em.
Cảm ơn gia đình, người thân đã quan tâm, chăm lo cho chúng con được ăn
học. Cảm ơn cha mẹ đã dạy dỗ, nuôi nấng chúng con khôn lớn.
Cảm ơn những bạn bè, đàn anh trong phòng lab đã hỗ tr ợ, giúp đỡ nhau
tận tình trong thời gian học tập và làm việc tại lab.
TPHCM, ngày 31 tháng 8 năm 2020
Sinh viên


TRƯỜNG ĐẠI HỌC BÁCH KHOA TP. HỒ CHÍ
MINH

CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT
NAM

KHOA ĐIỆN – ĐIỆN TỬ

Độc lập - Tự do - Hạnh
phúc

BỘ MÔN: ĐIỀU KHIỂN TỰ ĐỘNG


TP. HCM, ngày

tháng năm 2020

ĐỀ CƯƠNG CHI TIẾT

TÊN LUẬN VĂN: ĐIỀU KHIỂN ROBOT SCARA TRONG ỨNG DỤNG GẮP VẬT
SỬ DỤNG THUẬT TOÁN YOLO VÀ HOUGHLINES
Cán bộ hướng dẫn: TS. Nguyễn Vĩnh Hảo
KS. Bùi Thanh Huyền
Thời gian thực hiện: Từ ngày 20/2/2020 đến ngày 30/8/2020
Sinh viên thực hiện:

Nội dung đề tài:
Mục tiêu:
Xây dựng bộ điều khiển cho mơ hình robot SCARA. K ết h ợp v ới th ị giác máy
thực hiện ứng dụng gắp và phân loại vật thể tĩnh. Thiết kế giao diện sử dụng trên
máy tính phục vụ viết nghiên cứu và sử dụng.
Phương pháp thực hiện
 Nghiên cứu về cơ khí, lập trình và thiết kế bộ điều khiển của robot.
 Nghiên cứu giải thuật để xử lý ảnh RGB, phân loại và gắp vật thể đứng yên.
Kết quả mong đợi
 Xây dựng thành công bộ điều khiển robot, protocol và thư viện giao tiếp.
 Xây dựng thành công giải thuật xác định vị trí và phân loại vật thể đứng yên.


 Lập trình hệ thống và giao diện người dùng trực quan, dễ sử dụng.
 Thực hiện thành công gắp và phân loại vật thể dứng yên.



Kế hoạch thực
hiện
Đặng Hồng Phúc Nam

Nguyễn Thị Hạnh Nhi

Giai đoạn 1: Nghiên cứu về mô

Giai đoạn 1: Nghiên cứu và chọn

hình robot

phương pháp nhận diện đối tượng

 Xác định các thơng số, kết cấu

 Ngiên cứu các phương pháp

cơ khí của robot SCARA từ tài

nhận dạng vật thể như phân

liệu sẳn có.

ngưỡng, yolo,…

 Đo thực tế để kiểm tra lại.

 Tạo các bộ dataset cho từng

phương pháp để kiểm tra khả năng

 Xác định thông số các khớp và

nhận dạng nào tốt nhất.

tỉ số truyền của động cơ.
Giai đoạn 2: Xây dựng bộ điều

 Tìm hiểu về neural network,
lựa chọn phương pháp YOLO

khiển robot
 Thiết kế PCB cho board
điều khiển.
 Lắp ráp các khối nguồn, khối
điều khiển, driver.
 Hoàn chỉnh tủ điều khiển.
Giai đoạn 3: Lập trình robot
 Lập trình vi điều khiển thực
hiện chức năng giao tiếp, hoạch
định quĩ đạo, xuất xung điều
khiển, quản lí phần cứng của

Giai đoạn 2: Ứng dụng thuật toán
YOLO v3 để nhận diện đối tượng


Xây dựng các bộ dataset với các
điều kiện ánh sáng và góc độ vật

thể khác nhau

 Huấn luyện cho các tập dataset trên
 Kiểm tra khả năng nhận diện
bằng camera thực và chọn ra bộ
dataset nào có tốc độ nhận diện
nhanh và chính xác nhất

robot.
Giai đoạn 4: Xây dựng giao thức

Giai đoạn 3: Xác định tọa độ tâm và

giao tiếp, viết thư viện giao tiếp

góc xoay bằng phương pháp chuyển

bằng C++

đổi Houghlines

 Định nghĩa frame
truyền command và
respond.

 Xác định góc xoay


 Viết thư hiện giao tiếp dựa trên


 Xác định tọa độ tâm

frame truyền để cung cấp API

Giai đoạn 4: Chuyển đổi thông tin

cho ứng dụng khác sử dụng.

từ camera sang thơng tin robot

Giai đoạn 5: Kết hợp và hồn chỉnh
giao diện người dùng
 Thiết kế giao diện kết hợp thị
giác máy và giao tiếp robot.
 Thí nghiệm lấy kết quả và viết
báo cáo.

 Calib camera tìm thơng số nội tại
và ngoại tại
 Chuyển đổi thông tin tọa độ ảnh
sang tọa độ robot
Giai đoạn 5: Kết hợp và hoàn chỉnh
giao diện người dùng
 Thiết kế mơ hình 3D mơ phỏng
robot trên giao diện người dùng.
 Thí nghiệm lấy kết quả và viết
báo cáo.


TP. HCM, ngày 31 tháng 8 năm 2020

Xác nhận của Cán bộ hướng
dẫn
(Ký tên và ghi rõ họ tên)

Sinh viên
(Ký tên và ghi rõ họ tên)


DANH SÁCH HỘI ĐỒNG BẢO VỆ LUẬN VĂN
Hội đồng chấm luận văn tốt nghiệp, thành lập theo Quyết định số ……………………
ngày........................của Hiệu trưởng Trường Đại học Bách khoa TP.HCM.
1Chủ tịch.
2Thư ký.
3Ủy viên.
4Ủy viên.
5Ủy viên.


MỤC LỤC
CHƯƠNG 1. TỔNG QUAN VỀ ĐỀ TÀI........................................................................ 2
1.1. Đặt vấn đề........................................................................................................ 2
1.2. Mục tiêu luận văn............................................................................................. 3
1.3. Cấu trúc tổng quát hệ thống........................................................................... 4
1.4. Cấu trúc luận văn............................................................................................. 5
CHƯƠNG 2. ĐỘNG HỌC ROBOT............................................................................... 6
2.1. Một số khái niệm trong kĩ thuật robot........................................................... 6
2.2. Biễu diễn vị trí và hướng trong không gian................................................... 7
2.2.1. Ma trận xoay.............................................................................................. 7
2.2.2. Ma trận biến đổi thuần nhất................................................................... 7
2.3. Động học thuận robot...................................................................................... 8

2.3.1. Phương pháp Denavit-Hartenberg (DH)..................................................8
2.3.2. Động học thuận robot SCARA................................................................10
2.4. Động học ngược robot SCARA...................................................................... 12
2.5. Động học vận tốc........................................................................................... 14
2.5.1. Ma trận Jacobian..................................................................................... 14
2.5.2. Ma trận Jacobian của robot SCARA........................................................ 15
2.6. Điểm kì dị (Singularities).............................................................................. 16
2.6.1. Giới thiệu điểm kì dị............................................................................... 16
2.6.2. Điểm kì dị của robot SCARA................................................................... 17
2.7. Các phương thức di chuyển của robot......................................................... 19
2.8. Hoạch định quỹ đạo....................................................................................... 20
2.8.1. Quỹ đạo vận tốc hình thang (LSPB)...................................................... 21
2.8.2. Quỹ đạo vận tốc S-curve........................................................................ 23


2.9. Hoạch định đường đi trong không gian làm việc........................................ 26
2.9.1. Đoạn thẳng.............................................................................................. 26
2.9.2. Cung tròn trên mặt phẳng XY................................................................. 26
CHƯƠNG 3. PHƯƠNG PHÁP NHẬN DIỆN ĐỐI TƯỢNG.....................................27
3.1. Lựa chọn phương pháp nhận diện đối tượng............................................. 27
3.1.1. Họ các mô hình RCNN............................................................................. 27
3.1.2. Họ các mơ hình YOLO.............................................................................. 27
3.2. Tổng quát về mạng nơ-ron (Neural Network – NN)................................... 28
3.3. Mạng nơ-ron tích chập (Convolutional Neural Network – CNN)................30
3.3.1. Convolution.............................................................................................. 30
3.3.2. Pooling..................................................................................................... 32
3.3.3. Fully connected (kết nối)....................................................................... 32
3.4. Thuật toán YOLO và cách hoạt động............................................................ 33
3.4.1. Phân chia ảnh đầu vào thành nhiều ô................................................... 33
3.4.2. Áp dụng CNN cho từng ô......................................................................... 33

3.4.3. Áp dụng kĩ thuật triệt tiêu không tối đa............................................... 34
3.5. Sơ đồ giải thuật YOLO nhận diện đối tượng............................................... 35
CHƯƠNG 4. THIẾT KẾ PHẦN CỨNG...................................................................... 36
4.1. Tổng quát phần cứng hệ thống.................................................................... 36
4.2. Camera............................................................................................................ 36
4.3. Robot SCARA................................................................................................... 37
4.3.1. Giới thiệu mơ hình cơ khí cánh tay SCARA............................................ 37
4.3.2. Thiết kế board điều khiển..................................................................... 38
4.3.3. Giới thiệu driver điều khiển động cơ.................................................... 40
4.3.4. Thiết kế tủ điều khiển........................................................................... 41
CHƯƠNG 5. LẬP TRÌNH HỆ THỐNG VÀ THIẾT KẾ GIAO DIỆN...........................44


5.1. Sơ lược về các phần mềm trong hệ thống.................................................. 44
5.2. Lập trình điều khiển robot........................................................................... 44
5.3. Lập trình giao diện người dùng.................................................................... 51
5.3.1. Cấu trúc chương trình giao diện............................................................ 51
5.3.2. Giao diện đã thiết kế.............................................................................. 53
CHƯƠNG 6. GIẢI THUẬT NHẬN DIỆN ĐỐI TƯỢNG............................................ 55
6.1. Lập trình thị giác máy tính............................................................................ 55
6.1.1. Giới thiệu thư viện OpenCV................................................................... 55
6.1.2. Cấu trúc giải thuật thị giác máy tính..................................................... 56
6.2. Huấn luyện mơ hình YOLO............................................................................ 59
6.2.1. Cài đặt mã nguồn Darknet...................................................................... 59
6.2.2. Chuẩn bị dữ liệu huấn luyện................................................................. 62
6.2.3. Huấn luyện bằng google colab............................................................... 65
6.3. Các thuật toán xử lý ảnh kinh điển sử dụng OpenCV.................................67
6.3.1. Chuyển đổi ảnh màu sang ảnh xám...................................................... 67
6.3.2. Nhị phân hóa ảnh.................................................................................... 68
6.3.3. Làm mịn ảnh, khử nhiễu........................................................................ 70

6.3.4. Thuật toán phát hiện cạnh - Canny Edge Detection.............................71
6.3.5. Thuật toán phát hiện đường thẳng – Houghlines Transform..............73
6.4. Tính góc xoay và tọa độ tâm đối tượng........................................................ 77
6.4.1. Tính góc xoay của đối tượng.................................................................. 77
6.4.2. Tính tọa độ tâm của đối tượng.............................................................. 78
CHƯƠNG 7. KẾT QUẢ, NHẬN XÉT VÀ HƯỚNG PHÁT TRIỂN..............................81
7.1. Kết quả........................................................................................................... 81
7.1.1. Kết quả điều khiển robot....................................................................... 81
7.1.2. Kết quả nhận diện và xác định vị trí đối tượng đối tượng..................91


7.1.3. Kết quả hệ thống robot kết hợp thị giác máy tính trong việc gắp vật94
7.2. Nhận xét luận văn.......................................................................................... 97
7.3. Hướng phát triển của luận văn.................................................................... 97


DANH MỤC HÌNH ẢNH
Hình 1.1 Robot được ứng dụng trong sản xuất........................................................2
Hình 1.2 Thị giác máy được ứng dụng trong kiểm tra sản phẩm...........................3
Hình 1.3 Mơ hình nghiên cứu trong luận văn............................................................4
Hình 1.4 Đối tượng cần nhận diện và gắp được......................................................4
Hình 1.5 Sơ đồ hệ thống.............................................................................................4
Hình 2.1 Minh họa phương pháp Denavit-Hartenberg.............................................8
Hình 2.2 Hệ tọa độ được chọn theo phương pháp D-H.........................................10
Hình 2.3 Hệ tọa độ được nhìn từ trên xuống.........................................................12
Hình 2.4 Hai trường hợp nghiệm động học ngược................................................13
Hình 2.5 Quỹ đạo vận tốc hình thang......................................................................21
Hình 2.6 Đồ thị quỹ đạo S-curve..............................................................................24
Hình 3.1 Mơ hình tốn học mơ phỏng nơ-ron.........................................................28
Hình 3.2 Một mạng nơ-ron nhân tạo đơn giản......................................................29

Hình 3.3 Mơ hình CNN..............................................................................................30
Hình 3.4 Đầu vào và đầu ra của YOLO.....................................................................33
Hình 3.5 Minh họa kĩ thuật triệt tiêu khơng tối đa................................................34
Hình 3.6 Sơ đồ giải thuật YOLO nhận diện đối tượng..........................................35
Hình 4.1 Sơ đồ tổng quát phần cứng hệ thống......................................................36
Hình 4.2 Camera Logitech C270...............................................................................36
Hình 4.3 Cấu trúc phần cứng robot SCARA.............................................................37
Hình 4.4 Sơ đồ board điều khiển............................................................................38
Hình 4.5 Sơ đồ kết nối giữa STM32 và CPLD MAX II.............................................39
Hình 4.6 Board điều khiển sau khi thi công............................................................40


Hình 4.7 Driver DC Servo MSD.................................................................................40
Hình 4.8 Driver động cơ bước DRV8825.................................................................41
Hình 4.9 Sơ đồ đấu nguồn tủ điều khiển...............................................................41
Hình 4.10 Sơ đồ đấu dây tín hiệu tủ điều khiển....................................................42
Hình 4.11 Tủ điều khiển hồn chỉnh.......................................................................43
Hình 5.1 Minh họa hoạt động của RTOS.................................................................44
Hình 5.2 Lưu đồ Main task.......................................................................................46
Hình 5.3 Lưu đồ Thực thi theo chế độ và trạng thái hiện tại...............................47
Hình 5.4 Lưu đồ Chạy theo chế độ MODE_DUTY...................................................47
Hình 5.5 Lưu đồ Khởi tạo hành trình......................................................................48
Hình 5.6 Lưu đồ Bám hành trình.............................................................................48
Hình 5.7 Lưu đồ Khởi tạo trong miền khơng gian.................................................49
Hình 5.8 Lưu đồ Bám hành trình trong miền khơng gian......................................50
Hình 5.9 Lưu đồ Khởi tạo di chuyển trong miền biến khớp.................................50
Hình 5.10 Lưu đồ Bám hành trình trong miền biến khớp.....................................51
Hình 5.11 Sơ đồ thiết kế giao diện.........................................................................53
Hình 5.12 Giao diện đã thiết kế...............................................................................54
Hình 6.1 Lưu đồ giải thuật thị giác máy tính..........................................................56

Hình 6.2 Thuận tốn YOLO tìm đối tượng trong ảnh.............................................57
Hình 6.3 Lưu đồ giải thuật xử lí ảnh kinh điển.....................................................58
Hình 6.4 Ảnh sau khi chuyển sang ảnh xám...........................................................58
Hình 6.5 Ảnh sau khi nhị phân hóa bằng phân ngưỡng thích nghi.......................58
Hình 6.6 Ảnh sau khi lọc nhiễu................................................................................58
Hình 6.7 Ảnh nhị phân sau khi dùng thuật toán Canny Egde.................................58


Hình 6.8 Ảnh sau khi dùng thuật tốn Houghlines.................................................59
Hình 6.9 Vật thể robot cần nhận diện....................................................................62
Hình 6.10 Gán nhãn cho đối tượng bằng LabelImg................................................63
Hình 6.11 Cách kích hoạt GPU..................................................................................65
Hình 6.12 Kết quả kiểm tra cấu hình GPU.............................................................66
Hình 6.13 Cách xét Gradient.....................................................................................72
Hình 6.14 Minh họa đường thẳng trong hệ tọa độ Descartes và trong openCV. .74
Hình 6.15 Biểu diễn mỗi điểm ảnh bằng một đường cong..................................75
Hình 6.16 Minh họa tạo mảng hai chiều.................................................................76
Hình 6.17 Lưu đồ giải thuật tính góc xoay..............................................................77
Hình 6.18 Sơ đồ giải thuật tính tọa độ tâm............................................................78
Hình 6.19 Chia 2 nhóm giao điểm dựa trên khoảng cách đến đường thẳng.......79
Hình 6.20 Chia giao điểm vào 4 vùng......................................................................79
Hình 7.1 Vị trí 4 biến khớp khi hoạch định miền biến khớp với quỹ đạo LSPB
theo thời gian............................................................................................................81
Hình 7.2 Vận tốc 4 biến khớp khi hoạch định miền biến khớp với quỹ đạo LSPB
theo thời gian............................................................................................................82
Hình 7.3 Vị trí 4 biến khớp khi hoạch định miền biến khớp với quỹ đạo S-curve
theo thời gian............................................................................................................82
Hình 7.4 Vận tốc 4 biến khớp khi hoạch định miền biến khớp với quỹ đạo Scurve theo thời gian..................................................................................................83
Hình 7.5 Vị trí đầu cơng tác di chuyển theo đoạn thẳng với quỹ đạo LSPB trong
không gian 3 chiều....................................................................................................84

Hình 7.6 Vị trí và hướng khi di chuyển theo đoạn thẳng với quỹ đạo LSPB theo
thời gian.....................................................................................................................84


Hình 7.7 Vận tốc dài và vận tốc góc khi di chuyển theo đoạn th ẳng v ới quỹ đạo
LSPB theo thời gian...................................................................................................85
Hình 7.8 Vị trí đầu cơng tác di chuyển theo đoạn thẳng với quỹ đạo S-curve
trong không gian 3 chiều..........................................................................................85
Hình 7.9 Vị trí và hướng khi di chuyển theo đoạn thẳng với quỹ đạo S-curve theo
thời gian.....................................................................................................................86
Hình 7.10 Vận tốc dài và vận tốc góc khi di chuyển theo đoạn th ẳng v ới quỹ đ ạo
S- curve theo thời gian..............................................................................................86
Hình 7.11 Vị trí đầu cơng tác di chuyển theo cung tròn mặt XY với quỹ đạo LSPB
trong khơng gian 3 chiều..........................................................................................87
Hình 7.12 Vị trí đầu cơng tác di chuyển theo cung tròn mặt XY với quỹ đạo Scurve trong khơng gian 3 chiều................................................................................88
Hình 7.13 Thí nghiệm kiểm tra độ chính xác robot...............................................88
Hình 7.14 Hình ảnh đối tượng trong thí nghiệm kiểm tra thuận tốn nhận diện.
92 Hình 7.15 Thí nghiệm kiểm tra độ chính xác của hệ thống robot và thị giác
máy 95


DANH MỤC BẢNG
Bảng 2.1 Bảng thông số D-H....................................................................................11
Bảng 2.2 Công thức tính ma trận Jacobian.............................................................15
Bảng 6.1 Các thơng số cấu hình của mơ hình YOLO...............................................60
Bảng 6.2 : Gía trị ρ tương ứng với các điểm ảnh...................................................76
Bảng 7.1 Thống kê sai số vị trí robot......................................................................89
Bảng 7.2 Thống kế sai số góc Rz của robot............................................................90
Bảng 7.3 Thống kê nhận diện lá cờ Nhật Bản.......................................................91
Bảng 7.4 Thống kế nhận diện lá cờ Việt Nam.......................................................91

Bảng 7.5 Thống kê sai số vị trí của thuật tốn nhận diện....................................93
Bảng 7.6 Thống kê sai số góc Rz của thuật toán nhận diện.................................94
Bảng 7.7 Thống kê sai số vị trí robot gắp...............................................................95
Bảng 7.8 Thống kê sai số góc Rz robot gắp............................................................96


DANH MỤC TỪ VIẾT TẮT
AI (Artificial intelligence)
ML (Machine learning)
DL (Deep learning)
NN (Neural network): mạng nơ-ron
CNN (Convolutional Neural Network)
RCNN (Regions with CNN features)
YOLO (You only look once)
IOU (Intersection over union)
VM (Virtual machine computing)
OpenCV (Open Computer Vision)
GC (Google Colab)
SCARA (Selective Compliance Assembly Robot Arm)
CPLD (Complex programmable logic device)