ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH
TRƯỜNG ĐẠI HỌC BÁCH KHOA


KHOA CƠ KHÍ
BỘ MƠN CƠ ĐIỆN TỬ

ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC
ỨNG DỤNG MẠNG NƠ-RON TÍCH CHẬP VÀO KỸ THUẬT
XỬ LÝ ẢNH ĐỂ THỰC HIỆN TÁC VỤ GẮP ĐẶT
(APPLICATION OF THE CONVOLUTION NEURAL NETWORK
INTO THE IMAGE PROCESSING TECHIQUE FOR HANDLING
THE PICK AND PLACE TASK)
SVTH: HỒNG ĐỨC LINH
MSSV: 1911485
GVHD: PGS.TS. NGƠ HÀ QUANG THỊNH

Thành phố Hồ Chí Minh – 2023


FLO12

TR¯ÜNG I HÌC BÁCH KHOA
KHOA C KHÍ

SĐ:

cØNG HỊA XÃ HÌICHỉNGH(A VIỈT NAM
Ùc L-p -- Tđ Do - H¡nh Phúc

HBK-CK

BÙmơn: Co iần Tở

NHIặM VọLUơN VN TT NGHIặP
(Chỳý: sih viờn plÊi dỏn tí ny vo trmg thộ nht cỗa ban thot mựh)

Hè VTấN: HễNG ốC LINH

MSSV:

1911485

NGNH:

LP:

CK19KSCD

C IặN Tỡ

1. Đu lu-n vn:

Ung dång m¡ng n¡-ton tich ch-p vào kù thu-t xí lý £nh à thåc hiÇn tác vå g·p ·t
(Application of the convolutional neural network into the image processing technique for
handling the pick and place task)
2. NhiÇm vå:

TÕng quan vÁÃ tài nghiên cộu.
Thit kờ phõn cĂ khớ cho gripper.
Thit kphĐn iần v-n hành tác vå g·p.

Phát triÃn thu-t tốn và l-p trình diu khin.
Mụ phẽng vthủc nghiầm
5
SẹbÊn vẵ dủ kin:
. gểm:
IbÊn v A0, vÁ: B£n vÁ l¯p c¡ khí cho gripper.
2 b£n v A0,v: BÊn v mĂch iần.

1bÊn vẵ A0, v:

BÊn vẵ gi£i thu-t i¿u khiên.

Ib£n vÁ A0,vÁ: B£n vÁ lđa chÍn ph°¡ng án.

+

3. Ngày giao nhiÇm vå lu-n vn:

30/01 /2023

4. Ngày hon thnh nhiầm vồ:
5. H v tờn ngíi hng dôn:
- Ngụ H Quang Thậnh

12/05/2023

PhĐn hng dôn:
BM CĂ diần tở

100%


Nidung v u c§u LVTN ã °ãc thơng qua BÙ mơn.
Ngày2Otháng | nm 2023

CHỉNHIỈMBØ MƠN
(Ký và ghi rơ hÍ tên)

PHÀN DÀNH CHO KHOA, BØMƠN
Ng°Ýi dut (châm so bÙ):
¡n vË:

Ngày b£o vÇ:

i¿m tĐng k¿t:

N¡i l°u trï ln án:

NG¯ÜI H¯ÚNG DªN CHÍNH
(Ký vàghi rõ hÍ tên)


LỜI CẢM ƠN
Em xin gửi lời cảm ơn chân thành nhất đến Thầy TS. Ngô Hà Quang Thịnh - giảng
viên hướng dẫn Luận Văn Tốt Nghiệp của em. Thầy đã luôn quan tâm, tạo điều kiện để
em học tập, nghiên cứu và thực hiện đề tài thú vị, mang tính ứng dụng cao. Quá trình
thực hiện luận văn Thầy đã tạo cơ hội để em thực hành và hoàn thiện các kiến thức đã
học, đồng thời chỉ bảo em thêm nhiều kỹ năng mới để giúp ích cho sự nghiệp tương lai
của mình. Sự hướng dẫn và chia sẻ tận tình của Thầy đã tạo động lực thúc đẩy em hoàn
thành luận văn trọn vẹn và hiệu quả.
Ngoài ra, em xin gửi lời cảm ơn đến các Thầy Cô giảng viên trong Khoa Cơ Khí

nói chung và Bộ mơn Cơ – Điện Tử nói riêng đã cung cấp cho em các kiến thức cần
thiết để ứng dụng thực hiện luận văn này, cũng như trong nghề nghiệp sau này.
Đồng thời em cũng xin cảm ơn các bạn trong phịng thí nghiệm đã luôn bên cạnh
động viên, là nguồn cổ vũ tinh thần và tạo động lực cũng như ủng hộ để em có thể hồn
thành đề tài.
Bên cạnh đó, em cũng thể hiện sự biết ơn với gia đình, là chỗ dựa tinh thần để
giúp em giữ vũng mục tiêu, vượt qua giai đoạn sinh viên đầy gian nan, thử thách và
vững bước trên con đường sự nghiệp của mình.

TP. Hồ Chí Minh, ngày 18 tháng 5 năm 2023

Hồng Đức Linh

i


TĨM TẮT LUẬN VĂN
Luận văn trình bày phương pháp thiết kế, xây dựng phần mềm mô phỏng robot
công nghiệp trong khơng gian 3D. Từ đó hướng đến việc tích hợp mạng nơ-tron tích
chập vào kỹ thuật xử lý ảnh cho tương tác và điều khiển robot nhằm phục vụ cho việc
kiểm tra và đánh giá các phương pháp mới, tối ưu hóa các q trình và áp dụng vào thực
tế dễ dàng.
Robot được sử dụng trong luận văn là robot có sẵn Denso VC 6353E. Trong luận
văn, tác giả trình bày thiết kế hệ thống điện cho Teach Pendant để kết nối với phần mềm
mô phỏng và hệ thống điện điều khiển tay gắp và băng tải. Phần mềm có giao diện dễ
sử dụng được lập trình bằng MFC và mô phỏng Robot, không gian 3D bằng thư viện đồ
họa OpenGL. Giải thuật hoạch định quỹ đạo gắp đặt vật cho robot cũng được trình bày.
Cùng với đó là việc kết hợp kỹ thuật xử lý ảnh và mạng nơ-tron tích chập để có
thể ảo hóa vật thể thực vào mơi trường 3D để có thể dễ dàng đánh giá và theo dõi quá
trình gắp đặt của robot. Đồng thời còn cung cấp những đồ thị theo thời gian về vận tốc

và vị trí của từng trục và đầu cơng tác.
Cuối cùng, tác giả trình bày kết quả thực nghiệm các giải thuật điểu khiển trên
phần mềm và thực tế, kết nối thực tế với Teach Pendant, máy tính nhúng và tay gắp để
điều khiển robot, kết nối thực tế với Camera và có video đi theo kèm.

ii


MỤC LỤC
CHƯƠNG 1: TỔNG QUAN
1.1 Đặt vấn đề ............................................................................................................... 1
1.2 Kỹ thuật mô phỏng robot ........................................................................................ 2
1.2.1 Ứng dụng các phương pháp mơ phỏng robot ............................................. 2
1.2.2 Lợi ích của việc sử dụng phần mềm mô phỏng .......................................... 3
1.3 Ứng dụng của robot công nghiệp trong sản xuất.................................................... 3
1.4 Tổng quan về robot gripper .................................................................................... 4
1.4.1 Một số khái niệm về robot gripper ............................................................. 4
1.4.3 Ứng dụng của robot gripper trong sản xuất ................................................ 5
1.5 Mạng nơ-ron tích chập .......................................................................................... 5
1.5.1 Định nghĩa mạng nơ-tron tích chập ............................................................ 5
1.5.2 Convolution( tích chập) .............................................................................. 6
1.5.3 Mơ hình mạng nơ-tron tích chập ................................................................ 7
1.5.4 Mơ hình 6-DoF pose estimation ................................................................. 9
1.6 Mục đích của đề tài................................................................................................. 10
1.7 Nhiệm vụ của đề tài và giới hạn của đề tài............................................................. 11
1.7.1 Nhiệm vụ của đề tài .................................................................................... 11
1.7.2 Giới hạn của đề tài ...................................................................................... 12
1.8 Tổ chức luận văn .................................................................................................... 12
CHƯƠNG 2: LỰA CHỌN PHƯƠNG ÁN ............................................................... 13
2.1 Phân tích lựa chọn robot ......................................................................................... 13

2.1.1 Mua robot mới ............................................................................................ 13
2.1.2 Thiết kế và chế tạo robot ............................................................................ 13
2.1.3 Sử dụng robot có sẵn .................................................................................. 13
2.2 Phân tích lựa chọn cơ cấu tác động ........................................................................ 14
2.2.1 Phương án thiết kế loại tay gắp .................................................................. 14
2.2.3 Phân tích lựa chọn động cơ điện cho tay gắp ............................................. 15
2.2.4 Phương án thiết kế cơ khí cho tay gắp ........................................................ 16
2.2.5 Phương án chọn cảm biến lực ..................................................................... 17
2.3. Phân tích lựa chọn camera ..................................................................................... 19
iii


2.3.1 Stereo Camera ............................................................................................. 19
2.3.2 Structure light camera ................................................................................. 20
2.3.3 LiDAR ........................................................................................................ 20
2.4 Phân tích lựa chọn hệ thống điện ........................................................................... 21
2.4.1 Lựa chọn màn hình cảm ứng cho Teach Pendant ....................................... 21
2.4.2 Lựa chọn phương thức giao tiếp vi điều khiển với máy tính ...................... 22
2.4.3 Lựa chọn vi điều khiển ............................................................................... 22
2.5 Phân tích lựa chọn giải thuật xử lý ảnh .................................................................. 23
2.5.1 PoseCNN .................................................................................................... 23
2.5.2 Deep Object Pose Estimation ..................................................................... 24
CHƯƠNG 3 : THIẾT KẾ CƠ KHÍ .......................................................................... 26
3.1 Tính tốn và thiết kế tay gắp .................................................................................. 26
3.1.1 u cầu đặt ra ............................................................................................. 26
3.1.2 Tính tốn lực kẹp cho tay gắp ..................................................................... 26
3.1.2.1 Tính lực kẹp .................................................................................... 26
3.1.2.2 Moment động cơ R/C cần thiết để cung cấp lực kẹp ...................... 27
3.1.3 Thiết kế khung gripper ....................................................................... 30
3.2 Robot VC 6353E .................................................................................................... 32

3.2.1 Thông số Robot ........................................................................................... 32
3.2.2 Thông số động cơ các trục của robot .......................................................... 33
3.2.3 Kích thước và khơng gian làm việc của robot ............................................ 33
CHƯƠNG 4: ĐỘNG HỌC ROBOT ......................................................................... 34
4.1 Quy tắc Denavit-Hartenberg................................................................................... 34
4.2 Thiết lập bảng DH .................................................................................................. 34
4.3 Động học thuận....................................................................................................... 35
4.4 Góc Roll-Pitch-Yaw ............................................................................................... 37
4.5 Động học nghịch..................................................................................................... 38
4.5.1 Tính 𝜃1 ........................................................................................................ 38
4.5.2 Tính 𝜃3 ........................................................................................................ 39
4.5.3 Tính 𝜃2 ........................................................................................................ 41
4.5.4 Tính 𝜃4 , 𝜃5 , 𝜃6 ............................................................................................. 41
iv


4.6 Ma trận Jacobi ........................................................................................................ 42
CHƯƠNG 5: THIẾT KẾ ĐIỆN ................................................................................ 46
5.1 Thiết kế hệ thống điện cho Teach Pendant ............................................................. 46
5.1.1 Thiết kế giao diện trên màn hình HMI ....................................................... 46
5.1.2 Sơ đồ đấu dây với màn hình HMI .............................................................. 48
5.1.3 Sơ đồ đấu dây với mạch chuyển USB ........................................................ 48
5.1.4 Sơ đồ đấu dây với nút nhấn 4 x 4, nút điều hướng và nút Start, Stop ........ 48
5.1.5 Sơ đồ chân STM32F103C8T6 cho Teach Pendant .................................... 49
5.2 Thiết kế hệ thống điện cho tay gắp robot và băng tải............................................. 49
5.2.1 Cảm biến khối lượng Loadcell ................................................................... 49
5.2.2 Mạch chuyển đổi HX711 ............................................................................ 50
5.2.3 Hiệu chỉnh cảm biến Loadcell .................................................................... 51
5.2.4 Sơ đồ nối dây với module HC-05 ............................................................... 53
5.2.5 Sơ đồ nối dây với module Hx711 ............................................................... 54

5.2.6 Sơ đồ nối dây với động cơ MG-996R......................................................... 54
5.2.7 Sơ đồ nối dây với động cơ DC và relay 5V ................................................ 54
5.2.8 Sơ đồ nối dây với mạch hạ áp LM2596 ...................................................... 55
5.2.9 Sơ đồ chân STM32F103C8T6 điều khiển tay gắp và băng tải ................... 55
5.3 Hệ thống điện của tủ điện ...................................................................................... 55
5.3.1 Các thiết bị cho tủ điện ............................................................................... 55
5.3.2 Sơ đồ khối hệ thống điện ............................................................................ 57
5.3.3 Sơ đồ mạch điều khiển động lực................................................................. 58
5.3.4 Sơ đồ mạch động lực .................................................................................. 58
CHƯƠNG 6 : THIẾT KẾ PHẦN MỀM .................................................................. 59
6.1 Thiết kế phần mềm mô phỏng cánh tay Robot công nghiệp .................................. 59
6.1.1 Robot Project .............................................................................................. 59
6.1.2 Giao diện của phần mềm mô phỏng ........................................................... 59
6.1.2.1 Tab Control .............................................................................................. 60
6.1.2.2 Tab Program ............................................................................................ 61
6.1.2.3 Tab Gripper .............................................................................................. 64
6.1.2.4 Tab Position ............................................................................................. 65

v


6.1.2.4 Tab TCP/IP .............................................................................................. 66
6.1.2.4 Tab Com Serial ........................................................................................ 68
6.1.3 Giải thuật điều khiển ........................................................................................... 69
6.1.3.1 Lưu đồ nút Single Axis Move ................................................................. 69
6.1.3.2 Lưu đồ nút Multi Axis Move ................................................................... 69
6.1.3.3 Giải thuật MoveP ..................................................................................... 70
6.1.3.4 Giải thuật gắp vật của tay gắp.................................................................. 70
6.1.3.5 Giải thuật chương trình gắp/ đặt vật ........................................................ 70
6.2 Thiết kế phần mềm điều khiển Robot trên máy tính nhúng ................................... 71

6.2.1 TCP/ IP ....................................................................................................... 71
6.2.2 Giao diện phần mềm điều khiển robot trên máy tính nhúng ...................... 72
CHƯƠNG 7 : GIẢI THUẬT XỬ LÝ ẢNH NHẬN DIỆN VẬT ............................ 74
7.1 Mạng nơ-tron tích chập Deep Object Pose Estimation .......................................... 74
7.1.1 Mơ hình VGG19 ......................................................................................... 74
7.1.2 Cấu trúc mạng Deep Object Pose Estimation (DOPE)............................... 75
7.1.3 Dữ liệu đào tạo ............................................................................................ 76
7.1.3.1 Dữ liệu vật thể ảo Domain randomization (DR) ............................. 76
7.1.3.1 Dữ liệu vật thể thực ......................................................................... 77
7.1.4 Huấn luyện mơ hình.................................................................................... 78
7.2 Ảo hóa vật thể ......................................................................................................... 79
7.2.1 Đo khoảng cách bằng Camera Zed ............................................................. 79
7.2.1.1 Nguyên lý hoạt động của Camera Zed ............................................ 79
7.2.1.2 Đo khoảng cách tới tâm v�