ĐẠI HỌC QUỐC GIA TP.HCM
TRƯỜNG ĐẠI HỌC BÁCH KHOA

NGUYỄN ĐẶNG HÙNG PHÚ

THIẾT KẾ ROBOT 6 BẬC TỰ DO GẮP VẬT THỂ SỬ DỤNG
HỆ STEREO CAMERA
DESIGN THE 6DOF ROBOT GRASPING THE OBJECT
USING THE STEREO CAMERA SYSTEM

Chuyên ngành: Kỹ Thuật Điều Khiển Và Tự Động Hóa
Mã số: 8520216

LUẬN VĂN THẠC SĨ

TP. HỒ CHÍ MINH, tháng 6 năm 2023


Cơng trình được hồn thành tại: Trường Đại học Bách Khoa – ĐHQG-HCM
Cán bộ hướng dẫn khoa học: TS. Đặng Xuân Ba

Cán bộ chấm nhận xét 1: PSG. TS. Huỳnh Thái Hoàng

Cán bộ chấm nhận xét 2: PSG. TS. Lê Mỹ Hà

Luận văn thạc sĩ được bảo vệ tại Trường Đại Học Bách Khoa, ĐHQG Tp. HCM
ngày 15 tháng 6 năm 2023.
Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm:
1. Chủ tịch: GS. TS. Hồ Phạm Huy Ánh
2. Thư ký: TS. Nguyễn Trọng Tài
3. Phản biện 1: PSG. TS. Huỳnh Thái Hoàng

4. Phản biện 2: PSG. TS. Lê Mỹ Hà
5. Ủy viên: TS. Ngô Thanh Quyền
Xác nhận của Chủ tịch Hội đồng đánh giá LV và Trưởng Khoa quảy lý chuyên
ngành sau khi luận văn đã được sửa chữa (nếu có).
CHỦ TỊCH HỘI ĐỒNG

TRƯỞNG KHOA ĐIỆN – ĐIỆN TỬ


i

ĐẠI HỌC QUỐC GIA TP. HCM

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM

TRƯỜNG ĐẠI HỌC BÁCH KHOA

Độc lập - Tự do - Hạnh phúc

NHIỆM VỤ LUẬN VĂN THẠC SĨ
Họ tên học viên: Nguyễn Đặng Hùng Phú

MSHV: 2170156

Ngày, tháng, năm sinh: 15/08/1998

Nơi sinh: tỉnh Tiền Giang

Chuyên ngành: Kỹ Thuật Điều Khiển Và Tự Động Hóa


Mã Số: 8520216

I. TÊN ĐỀ TÀI: Thiết kế Robot 6 bậc tự do gắp vật thể sử dụng hệ stereo camera Design the 6DOF robot grasping the object using the stereo camera system
NHIỆM VỤ VÀ NỘI DUNG:
1. Nghiên cứu và thiết kế robot 6 bậc tự do, kiểm nghiệm chất lượng điều khiển
2. Nghiên cứu và xây dựng hệ stereo camera, kiểm tra độ chính xác hệ thống.
3. Thực hiện xử lí ảnh vật thể.
4. Tích hợp hệ stereo camera vào mơ hình robot gấp vật thể, kiểm tra độ chính
xác của mơ hình.
II. NGÀY GIAO NHIỆM VỤ: 06/02/2023
III. NGÀY HOÀN THÀNH NHIỆM VỤ: 15/06/2023
IV. CÁN BỘ HƯỚNG DẪN: TS. Đặng Xuân Ba
Tp.HCM, ngày…. tháng …. năm 2023
CÁN BỘ HƯỚNG DẪN

CHỦ NHIỆM BỘ MÔN ĐÀO TẠO

(Họ tên và chữ ký)

(Họ tên và chữ ký)

TRƯỞNG KHOA ĐIỆN – ĐIỆN TỬ
(Họ tên và chữ ký)


ii

LỜI CẢM ƠN
Lời đầu tiên xin gửi lời cảm ơn chân thành đến thầy Đặng Xuân Ba đã tận tình
chỉ dẫn, giúp đỡ và định hướng trong suốt thời gian làm đồ án và luận văn, tạo điều

kiện thuận lợi để hoàn thành đề tài luận văn này.
Xin cảm ơn thầy Nguyễn Vĩnh Hảo, Trường Đại học Bách Khoa Tp. HCM đã
tận tình chia sẻ và góp ý giúp học viên hồn thành luận văn hồn chỉnh hơn.
Bên cạnh đó xin cảm ơn quý thầy cô trong bộ môn Điều khiển và Tự động hóa
cũng như q thầy cơ trong khoa Điện Điện Tử, Trường Đại học Bách Khoa Tp.
HCM đã trang bị cho em những kiến thức nền tảng, bổ ích trong khoảng thời gian
học tập tại trường.
Học viên xin gửi lời biết ơn sâu sắc đến cha mẹ, bạn bè và gia đình đã ln
quan tâm ủng hộ tơi trong suốt thời gian qua. Đó chính là nguồn động lực vơ cùng
lớn giúp tơi vượt qua những khó khăn và thử thách.
Cuối cùng, xin gửi lời cảm ơn đến các thành viên trong Dynamics and Robotics
Control Lab đã có những sự hỗ trợ nhiệt tình trong q trình thực hiện đề tài để đề tài
luận văn có thể hoàn thành tốt.


iii

TÓM TẮT
Trong lĩnh vực ứng dụng robot, một dự án nghiên cứu và phát triển robot có khả
năng gắp và vận chuyển các vật thể bằng cách sử dụng hệ thống stereo camera được
sử dụng rất phổ biến. Ứng dụng của dự án có thể được tìm thấy trong nhiều lĩnh vực
như công nghiệp sản xuất, dịch vụ hàng không và không gian, y tế và nhiều lĩnh vực
khác. Robot có thể được sử dụng để tự động hóa quy trình cơng việc, giảm tải cơng
việc cho con người và tăng hiệu suất sản xuất.
Hệ thống stereo camera là một công nghệ sử dụng hai camera đặt cạnh nhau để
tạo ra hình ảnh ba chiều của đối tượng. Bằng cách sử dụng các thuật tốn xử lý hình
ảnh và phân tích khơng gian, robot có thể xác định khoảng cách và vị trí của các vật
thể trong mơi trường. Khi robot đã xác định được vị trí và hướng của vật thể, nó sẽ
sử dụng cánh tay robot để gắp và vận chuyển chúng. Hệ thống robot cần có tính năng
đáp ứng nhanh, khả năng điều chỉnh và kiểm soát lực cần thiết để tránh gây hư hại

cho các vật thể mà nó gắp.
Để đáp ứng cho nhu cầu ứng dụng hệ stereo camera, học viên thực hiện nghiên
cứu và thiết kế robot 6 bậc tự do. Robot 6 bậc tự do là một loại robot có khả năng di
chuyển và xoay theo sáu trục độc lập, cung cấp độ linh hoạt cao trong việc thực hiện
các tác vụ phức tạp. Điều này cho phép robot có thể di chuyển và vị trí một cách chính
xác và linh hoạt trong khơng gian 3D.
Tóm lại, luận văn Thiết Kế Robot 6 Bậc Tự Do Gấp Vật Thể Sử Dụng Hệ Stereo
Camera hướng đến việc phát triển một robot thông minh và linh hoạt, kết hợp giữa
hệ thống 6 bậc tự do và hệ stereo camera để đạt được khả năng gắp và vận chuyển
vật thể trong môi trường 3D.


iv

ABSTRACT
In the field of robot applications, a research and development project focusing on
the capability of grasping and manipulating objects using a widely adopted stereo
camera system has emerged. The applications of this project can be found in various
sectors such as: manufacturing industry, aerospace and aviation services, healthcare,
and many other fields. Robots can be utilized to automate workflow processes,
reducing human workload and enhancing production efficiency.
The stereo camera system is a technology that employs two cameras placed side
by side to generate three-dimensional images of objects. By utilizing image
processing algorithms and spatial analysis, the robot is able to determine the distance
and position of objects within the environment. Once the robot has identified the
location and orientation of an object, it will employ its robotic arm to grasp and
transport the object. The robotic system must possess quick response, adjustable
control, and the necessary force management to prevent damage to the grasped
objects.
To fulfill the requirements of utilizing the stereo camera system, the project

focuses on researching and designing a 6-degree-of-freedom robot. A 6-degree-offreedom robot is a type of robot that can move and rotate along six independent axes,
providing high flexibility in performing complex tasks. This enables the robot to
move and position itself accurately and flexibly within a 3D space.
In summary, the thesis on the Design of a 6-Degree-of-Freedom Robot for Object
Grasping Using a Stereo Camera aims to develop an intelligent and versatile robot,
combining the capabilities of a 6-degree-of-freedom system with a stereo camera
system to achieve object grasping and manipulation in a 3D environment.


v

LỜI CAM ĐOAN
Học viên xin cam đoan luận văn về đề tài “Thiết kế Robot 6 bậc tự do gắp vật thể
sử dụng hệ stereo camera” là cơng trình nghiên cứu cá nhân của tôi trong thời gian
qua. Mọi số liệu sử dụng phân tích trong luận văn và kết quả nghiên cứu là do tơi tự
tìm hiểu, phân tích một cách khách quan, trung thực, có nguồn gốc rõ ràng và chưa
được cơng bố dưới bất kỳ hình thức nào. Tơi xin chịu hồn tồn trách nhiệm nếu có
sự không trung thực trong thông tin sử dụng trong công trình nghiên cứu này.
HỌC VIÊN

Nguyễn Đặng Hùng Phú


vi

MỤC LỤC
CHƯƠNG 1. GIỚI THIỆU ......................................................................................... 1
1.1. Tổng quan đề tài ............................................................................................... 1
1.2. Mục tiêu đề tài .................................................................................................. 2
1.2.1. Mục tiêu và đối tượng nghiên cứu ............................................................. 2

1.2.2. Nhiệm vụ cụ thể của đề tài ......................................................................... 3
1.3. Bố cục luận văn ................................................................................................ 3
1.4. Kế hoạch thực hiện luận văn............................................................................. 3
1.5. Các phần thực hiện trong luận văn ................................................................... 4
2.1. Lý thuyết về xử lí ảnh ....................................................................................... 5
2.1.1. Giới thiệu về hệ thống xử lí ảnh ................................................................. 5
2.1.2. Ảnh số ......................................................................................................... 5
2.1.3. Điểm ảnh .................................................................................................... 7
2.1.4. Độ phân giải hình ảnh ................................................................................ 7
2.1.5. Mức xám của ảnh ....................................................................................... 8
2.1.6. Không gian màu ......................................................................................... 8
2.1.7. Phân loại ảnh ............................................................................................ 10
2.1.8. Thư viện OpenCV .................................................................................... 11
2.2. Tìm biên và xác định đường thẳng ................................................................. 11
2.3. Thuật toán phát hiện biên Canny .................................................................... 13
2.3.1. Giới thiệu .................................................................................................. 13
2.3.2. Thuật toán phát hiện biên Canny .............................................................. 13
2.4. Thuật toán nhận dạng đường thẳng Hough Transform .................................. 17
2.5. Hệ stereo camera ............................................................................................. 23
2.6. Công cụ Stereo Camera Calibrator ................................................................. 24
CHƯƠNG 3. CƠ SỞ LÝ THUYẾT VỀ KỸ THUẬT ROBOT ............................... 26
3.1. Sự phát triển của robot công nghiệp ............................................................... 26
3.2. Ứng dụng cánh tay robot trong q trình sản xuất ......................................... 28
3.3. Phân loại robot cơng nghiệp ........................................................................... 28
3.3.1. Phân loại theo kết cấu ............................................................................... 28


vii

3.3.2. Phân loại theo điều khiển ......................................................................... 29

3.3.3. Phân loại theo ứng dụng ........................................................................... 29
3.4. Cấu trúc cơ bản của robot cơng nghiệp .......................................................... 30
3.4.1. Các thành phần chính của robot công nghiệp .......................................... 30
3.4.2. Kết cấu tay máy ........................................................................................ 31
3.5. Bậc tự do của cơ cấu robot ............................................................................. 34
3.6. Quy tắc Denavit Hartenberg (D-H) ................................................................ 34
3.7. Bài toán động học của robot ........................................................................... 36
3.7.1. Động học thuận của robot ........................................................................ 36
3.7.2. Động học nghịch của robot ...................................................................... 38
3.8. Thiết kế quỹ đạo chuyển động cho robot ....................................................... 40
3.8.1. Giới thiệu và cơ sở thiết kế quỹ đạo ......................................................... 40
3.8.2. Tính tốn thiết kế quỹ đạo chuyển động .................................................. 40
CHƯƠNG 4. THIẾT KẾ ROBOT 6 BẬC TỰ DO .................................................. 44
4.1 Thiết kế và chế tạo robot ................................................................................. 44
4.2. Các thiết bị trong hệ thống điều khiển cho robot ........................................... 49
4.2.1. Board điều khiển: Arduino Mega 2560 .................................................... 49
4.2.2. Mạch điều khiển động cơ bước TB6600 .................................................. 50
4.2.3. Nguồn 24V- 10A ...................................................................................... 51
4.2.4. Mạch giảm áp 24V ................................................................................... 51
4.2.5. Động cơ bước ........................................................................................... 52
4.2.6. Động cơ và driver Mitsubishi J2S ............................................................ 53
4.3 Mơ hình hồn thiện .......................................................................................... 54
4.4 Sơ đồ đấu nối phần cứng ................................................................................. 54
4.5 Động học thuận ................................................................................................ 57
4.6. Xác định tọa độ và phép biến đổi trong hệ camera ........................................ 59
4.7. Phương pháp điều khiển số ............................................................................. 62
4.8 Xác định hướng và vị trí của vật thể ................................................................ 64
4.9. Thực hiện các mô phỏng động học và điều khiển .......................................... 66
4.9.1. Tính tốn động học nghịch robot và mô phỏng ....................................... 66



viii

4.9.2. Áp dụng phương pháp điều khiển số........................................................ 70
CHƯƠNG 5. LƯU ĐỒ GIẢI THUẬT ÁP DỤNG ĐIỀU KHIỂN HỆ THỐNG
THỰC TẾ .................................................................................................................. 74
5.1. Giải thuật điều khiển ....................................................................................... 74
5.1.1. Thuật toán xử lý ảnh ................................................................................. 74
5.1.2. Thuật toán điều khiển Robot .................................................................... 77
5.2. Điều khiển Robot 6 bậc tự do qua Arduino, lập trình Python ........................ 78
5.2.1. Truyền dữ liệu từ Python sang cổng Serial của Arduino ......................... 78
5.2.2. Điều khiển động cơ bước từ Arduino ....................................................... 79
CHƯƠNG 6. KẾT QUẢ THỰC NGHIỆM VÀ ĐÁNH GIÁ .................................. 80
6.1. Nhận diện màu sắc .......................................................................................... 80
6.2. Khảo sát hệ stereo camera sau khi xây dựng .................................................. 81
6.3. Gắp vật thể trên vùng camera ......................................................................... 86
CHƯƠNG 7: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN .......................................... 89
DANH MỤC CÁC CƠNG TRÌNH KHOA HỌC .................................................... 90
TÀI LIỆU THAM KHẢO ......................................................................................... 91


ix

DANH MỤC HÌNH ẢNH
Hình 2. 1: Ảnh raster ................................................................................................... 6
Hình 2. 2: Ảnh vector .................................................................................................. 6
Hình 2. 3: Điểm ảnh .................................................................................................... 7
Hình 2. 4: Độ phân giải ảnh ........................................................................................ 7
Hình 2. 5: Khơng gian màu RGB ................................................................................ 9
Hình 2. 6: Khơng gian màu CMYK ............................................................................ 9

Hình 2. 7: Phân loại ảnh ............................................................................................ 10
Hình 2. 8: Chuyển đổi sang ảnh xám ........................................................................ 12
Hình 2. 9: Mơ tả biên lận cận của điểm P ................................................................. 15
Hình 2. 10: Ảnh sobel (bên trái) và ảnh NMS (bên phải) ......................................... 17
Hình 2. 11: Đường thẳng trong hệ tọa độ cực ........................................................... 18
Hình 2. 12: Mapping đường thẳng từ không gian ảnh sang không gian Hough ....... 19
Hình 2. 13: Mapping 5 đường thẳng từ khơng gian ảnh sang khơng gian Hough .... 19
Hình 2. 14: Mapping 1 điểm từ không gian ảnh sang không gian Hough ................ 20
Hình 2. 15: Mapping nhiều điểm thẳng hàng từ khơng gian ảnh sang khơng gian
Hough ........................................................................................................................ 20
Hình 2. 16: Điểm ảnh trong không gian ảnh (trái) và khơng gian Hough (phải)...... 21
Hình 2. 17: Lưới chứa cặp giá trị ρ và θ ................................................................... 21
Hình 2. 18: Hệ thống Stereo Camera ........................................................................ 24
Hình 2. 19: Giao diện cơng cụ Stereo Camera Calibrator ........................................ 25
Hình 3. 1: Robot hàn ứng dụng trong cơng nghiệp ................................................... 27
Hình 3. 2: Các thành phần chính của một robot cơng nghiệp ................................... 30
Hình 3. 3: Kết cấu tay máy........................................................................................ 31
Hình 3. 4: Robot tọa độ vng góc đề các ................................................................ 32
Hình 3. 5: Robot tọa độ trụ........................................................................................ 32
Hình 3. 6: Robot tọa độ cầu ...................................................................................... 33
Hình 3. 7: Robot SCARA.......................................................................................... 33
Hình 3. 8: Robot kiểu tay người ................................................................................ 34
Hình 3. 9: Thơng số Denavit Hartenberg .................................................................. 35


x

Hình 3. 10: Đồ thị góc khớp thứ 1 ............................................................................ 42
Hình 3. 11: Đồ thị góc khớp thứ 2 ............................................................................ 42
Hình 3. 12: Đồ thị góc khớp thứ 3 ............................................................................ 43

Hình 4. 1: Một số mơ hình robot trong và ngồi nước ............................................. 44
Hình 4. 2: Mơ hình được thiết kế trên solidwork ...................................................... 44
Hình 4. 3: Thiết kế khớp 1 trên solidwork ................................................................ 46
Hình 4. 4: Thiết kế khớp 2 trên solidwork ................................................................ 46
Hình 4. 5: Thiết kế khớp 3 trên solidwork ................................................................ 47
Hình 4. 6: Thiết kế khớp 4 trên solidwork ................................................................ 47
Hình 4. 7: Thiết kế khớp 5 trên solidwork ................................................................ 48
Hình 4. 8: Thiết kế khớp 6 trên solidwork ................................................................ 48
Hình 4. 9: Arduino Mega 2560 ................................................................................. 49
Hình 4. 10: Mạch điều khiển động cơ bước .............................................................. 50
Hình 4. 11: Ngn tổ ong 24V-10A ......................................................................... 51
Hình 4. 12: Mạch giảm áp XL4015 DC-DC 5A, 75W ............................................. 51
Hình 4. 13: Động cơ bước giảm tốc Nema 17 .......................................................... 52
Hình 4. 14: Động cơ và driver Mitsubishi J2S......................................................... 53
Hình 4. 15: Mơ hình robot 6 bậc tự do thực tế .......................................................... 54
Hình 4. 16: Sơ đồ điều khiển robot ........................................................................... 55
Hình 4. 17: Sơ đồ điều khiển động cơ AC servo ...................................................... 55
Hình 4. 18: Quy trình thực hiện điều khiển robot ..................................................... 55
Hình 4. 19: Các thơng số cấu hình cho phát xung .................................................... 56
Hình 4. 20: Hệ trục của robot 6 bậc tự do ................................................................. 57
Hình 4. 21: Hệ thống robot và camera ...................................................................... 59
Hình 4. 22: Mơ hình pinhole camera ........................................................................ 60
Hình 4. 23: Sơ đồ khối hệ thống điều khiển ............................................................. 62
Hình 4. 24: Mối quan hệ giữa vật thể và điểm đầu cuối robot.................................. 63
Hình 4. 25: Bốn điểm nhận dạng được từ xử lí ảnh .................................................. 64
Hình 4. 26: Tổng quan vector chiều của vật trong mặt phẳng .................................. 64
Hình 4. 27: Hệ trục điểm đầu cuối của robot so với hệ tọa độ thế giới .................... 65


xi


Hình 4. 28: Các nghiệm đi được của robot 6 bậc tự do ............................................ 69
Hình 4. 29: Ma trận T trước và sau khi tính tốn ...................................................... 70
Hình 4. 30: Robot ở trạng thái ban đầu ..................................................................... 71
Hình 4. 31: Robot sau khi bám theo vật .................................................................... 71
Hình 4. 32: Sai số vị trí điểm đầu cuối của robot...................................................... 72
Hình 4. 33: Sai số ma trận T của điểm đầu cuối robot .............................................. 72
Hình 4. 34: Độ thay đổi biến khớp J1 - J3 ................................................................ 73
Hình 4. 35: Độ thay đổi biến khớp J4 - J6 ................................................................ 73
Hình 5. 1: Lưu đồ giải thuật chung cho chương trình nhận diện hình vng ........... 75
Hình 5. 2: Lưu đồ nhận dạng vật thể hình vng ..................................................... 76
Hình 5. 3: Lưu đồ tìm hình vng phù hợp từ danh sách các đoạn thẳng ................ 77
Hình 5. 4: Lưu đồ điều khiển hệ thống phân loại và đưa vào kho ............................ 78
Hình 5. 6: Lưu đồ timer 5 thực hiện (5) .................................................................... 79
Hình 5. 5: Lưu đồ điều khiển động cơ bước ............................................................. 79
Hình 6. 1: Nhận dạng màu sắc các vật ...................................................................... 80
Hình 6. 2: Số cặp ảnh khi chưa loại bỏ ..................................................................... 81
Hình 6. 3: Kết quả sau khi loại bỏ ảnh khơng phù hợp ............................................. 81
Hình 6. 4: Khung hình camera bên trái và bên phải ................................................. 86
Hình 6. 5: Robot gắp vật cao 5cm và 2.5cm ............................................................. 87
Hình 6. 6: Robot gắp vật màu đỏ và màu xanh ......................................................... 88
Hình 6. 7: Robot đưa vật màu đỏ và màu xanh về kho ............................................. 88


xii

DANH MỤC BẢNG BIỂU
Bảng 1. 1: Kế hoạch thực hiện luận văn ..................................................................... 3
Bảng 2. 1: Bảng giá trị phương hướng của điểm ảnh ............................................... 16
Bảng 3. 1: Bảng Denavit Hartenberg ........................................................................ 35

Bảng 4. 1: Thông số robot 6 bậc tự do ...................................................................... 45
Bảng 4. 2: Thông số kĩ thuật của Arduino Mega 2560 ............................................. 49
Bảng 4. 3: Thông số kĩ thuật của mạch điều khiển động cơ bước ............................ 50
Bảng 4. 4: Thông số kĩ thuật của mạch giảm áp ....................................................... 51
Bảng 4. 5: Thông số kĩ thuật của động cơ bước nema 17 ......................................... 52
Bảng 4. 6: Thông số động cơ J2S 10A...................................................................... 53
Bảng 4. 7: Bảng D-H robot 6 bậc tự do .................................................................... 58
Bảng 6. 1: Kết quả nhận diện màu sắc ...................................................................... 80
Bảng 6. 2: Khảo sát hệ camera với 3 vật thể theo phương x .................................... 82
Bảng 6. 3: Khảo sát hệ camera với 3 vật thể theo phương y .................................... 83
Bảng 6. 4: Khảo sát hệ camera với 3 vật thể ở ở độ cao 2.5 cm ............................... 84
Bảng 6. 5: Khảo sát hệ camera với 3 vật thể ở ở độ cao 7.5 cm ............................... 85
Bảng 6. 6: Kết quả gắp vật cao 2.5cm ...................................................................... 86
Bảng 6. 7: Kết quả gắp vật cao 5cm.......................................................................... 87


xiii

DANH MỤC TỪ VIẾT TẮT
RGB

Red Green Blue

CMYK

Cyan, Magenta, Yellow và Key

HSV

Hue, Saturation và Value


HSB

Hue, Saturation và Bright

IR

Industrial Robot

AMF

American Machine and Foundry Company

RBCN

Robot Công nghiệp

D-H

Denavit Hartenberg


1

CHƯƠNG 1. GIỚI THIỆU
1.1. Tổng quan đề tài
Cùng với sự phát triển mạnh mẽ của khoa học kỹ thuật trên thế giới cũng như ở
nước ta hiện nay, việc ứng dụng các cơng nghệ mới, máy móc vào các dây chuyền
sản xuất là một trong những tiêu chí đánh giá sự phát triển kinh tế của mỗi quốc gia.
Robot công nghiệp là một cơ cấu hoạt động tự động, có thể lập trình và có khả

năng di chuyển trên hai hoặc nhiều trục. Tại Việt Nam, thị trường Robot công nghiệp
được cho là sẽ phát triển mạnh trong thời gian tới, cùng với việc các doanh nghiệp
chú trọng vào cách mạng công nghiệp 4.0. Robot công nghiệp tăng trưởng nhiều nhất
ở ngành sản xuất ô tô (83%), với nhiều các nhà máy sản xuất như của Vinfast,
Thaco…
Ngày nay, robot ngày càng trở thành một phần thiết yếu của cuộc sống. Robot
không chỉ thay thế con người trong việc đáp ứng các nhu cầu của thao tác liên tục và
lặp lại, mà cịn thực hiện các tác vụ thơng minh như một con người thực sự. Hệ thống
điều khiển robot sử dụng camera được áp dụng rộng rãi trong nhiều ứng dụng của
cánh tay máy [1], robot di động [2], và các phương tiện dưới nước [3]. Hiện nay trong
ứng dụng điều khiển robot, camera đóng vai trị quan trọng trong các ứng dụng điều
khiển gắp vật, hàn mạch điện tử cũng như lắp ráp tự động. Thông qua hệ thống
camera, hệ thống robot được điều khiển tiến lại gần vị trí mong muốn và thực hiện
các ứng dụng cụ thể.
Kỹ thuật thị giác robot được pháp triển để điều khiển hệ thống robot bằng các tín
hiệu hình ảnh phản hồi từ camera. Các hệ thống Camera kép hiện đang có độ ứng
dụng cao trong khoa học kỹ thuật vì từ camera ta có thể nhận dạng được chiều sâu
của đối tượng tương tự mắt con người. Dựa trên các nghiên cứu trước đây, [4] tác giả
ứng dụng camera vào robot công nghiệp Fanuc sử dụng camera kép để xác dịnh vị trí
của đối tượng. Trong nghiên cứu [5], tác giả sử dụng phương pháp pseudoinverse để
tìm ra vị trí của đối tượng dựa vào ma trận nội và ngoại camera biết trước. Ở nghiên
cứu [6], tác giả sử dụng mạng thần kinh Radial Basis Function ước lượng mơ hình


2

phi tuyến mơ hình camera để tìm ra vị trí của đối tượng. Việc giải quyết vấn đề xác
định mối liên hệ giữa các camera với hệ trục gốc khá phức tạp, ảnh hưởng đến độ
chính xác khi ta xác định vị trí trong khơng gian. Để tìm ra được mối quan hệ giữa
các camera, tức là đi tìm các thông số nội camera và ngoại camera, ở nghiên cứu [7]

tác giả đề xuất lý thuyết về phương pháp hiệu chỉnh camera dựa vào ít nhất 6 điểm
biết trước trong khơng gian, ta dễ dàng tìm được tiêu cự của camera và các ma trận
chuyển đổi giữa camera với hệ tọa độ gốc. Ở nghiên cứu [8, 9], các tác giả đề xuất
phương pháp ước lượng các thông số nội và thơng số ngoại camera sử dụng các thanh
dài có độ dài cố định biết trước. Trong nghiên cứu [10], thuật toán Stereo Camera đã
được đề xuất và thử nghiệm trên mơ hình xe tay máy di động, sử dụng dữ liệu điểm
ảnh và kết hợp với phép lặp các điểm lân cận. Về nhận dạng đối tượng vật thể, có
nhiều kỹ thuật nhận dạng có thể kể đến ví dụ như phân loại cửa sổ trượt, cấu trúc hình
ảnh, mơ hình chịm sao, và mơ hình hình dạng tiềm ẩn [11]. Phân loại cửa sổ trượt đã
được sử dụng rộng rãi trong các lĩnh vực phát hiện khuôn mặt, người đi bộ và ơ tơ vì
chúng đặc biệt phù hợp với các vật thể cứng. Trong thời gian gần đây, mạng thần
kinh tích chập [12, 13] được sử dụng rất rộng rãi cho cơng việc nhân dạng này. Nó
trích xuất các đặc trưng hình ảnh thơng qua lớp tích chập và nhận dạng các đặc trưng
này thông qua các mẫu đã được đánh dấu trước.
Từ nghiên cứu [5], học viên đề xuất phương pháp giải quyết bài toán sử dụng
camera để tìm ra vị trí của vật. Bên cạnh đó, để xác định ma trận nội camera và ngoại
camera học viên sử dụng phương pháp ở nghiên cứu [9].
1.2 . Mục tiêu đề tài
1.2.1. Mục tiêu và đối tượng nghiên cứu
Mục tiêu của luận văn là thiết kế robot 6 bậc tự do có thể gấp được vật thể chuyển
động trên băng tải. Điểm nổi bật của luận văn là tự xây dựng hệ thống camera. Hệ
camera được gắn cố định trong vùng làm việc của hệ thống robot để quan sát một
cách tổng quan. Từ các ảnh nhận được ta có thể phân tích được vị trí và hướng của
vật trong không gian 3 chiều, giúp hệ thống robot có thể tiến về và gắp vật thể đúng
hướng trong không gian.


3

1.2.2. Nhiệm vụ cụ thể của đề tài

Nhiệm vụ cụ thể của luận văn được đề ra như sau:
• Thiết kế một hệ thống robot 6 bậc tự do phù hợp với yêu cầu của đề tài.
• Xây dựng hệ camera tích hợp vào hệ thống robot và thực hiện căn chỉnh.
• Dựa vào xử lí ảnh phân tích đưa ra vị trí và hướng của vật thể.
• Thực hiện mơ phỏng tích hợp vị trí và hướng của vật để điều khiển robot 6 bậc
tự do.
• Áp dụng phương pháp điều khiển số để điều khiển robot.
• Thực nghiệm phương pháp đề xuất trên mơ hình thực.
• Đánh giá kết quả phương pháp đề xuất trên.
1.3. Bố cục luận văn
Bố cục đề cương được chia ra thành các phần sau đây:
• Phần 1 – Giới thiệu: phần này giới thiệu đề tài và các vấn đề cần nghiên
cứu.
• Phần 2 – Tổng quan tài liệu: phần này trình bày các nghiên cứu từ trước
liên quan đến đề tài luận văn.
• Phần 3 – Cơ sở lý thuyết: các lý thuyết cần thiết để thực hiện đề tài luận
văn được trình bày.
• Phần 4 – Kết quả đã đạt được: phần này trình bày những kết quả đánh giá
và kiểm chứng các ý tưởng và phương pháp đã đề ra.
• Phần 5 – Kết luận: phần này trình bày tổng kết các kết quả đã đạt và các
hướng phát triển trong tương lai.
• Phần 6 – Tài liệu tham khảo: các tài liệu tham khảo được tình bày trong đề
luận văn.
1.4. Kế hoạch thực hiện luận văn
Bảng 1. 1: Kế hoạch thực hiện luận văn
Thời gian

Nhiệm vụ cụ thể



4

1/6 – 15/6

Xác định đề tài, tìm hiểu một số nghiên cứu liên quan

16/6 – 29/10

Thiết kế và gia công robot 6 bậc tự do

30/10 – 19/11

Tìm hiểu về cấu trúc và cách xây dựng hệ 2 camera

20/11 – 6/12

Mô phỏng điều khiển robot bám vật bằng phương pháp số

7/12 – 21/12

Viết đề cương luận văn

30/1 – 11/2

Xây dựng hệ 2 camera và thực hiện căn chỉnh cho hệ

12/2 – 4/3

Thực hiện xử lí ảnh khối vng


5/3 – 25/3

Thực hiện lập trình, điều khiển robot 6 bậc tự do

26/3 – 8/4

Thiết kế bộ điều khiển số trên mơ hình thực

8/4 – 15/5

Điều khiển gắp vật cho mơ hình thực và đánh giá kết quả

16/5 – 30/5

Viết báo cáo

1.5. Các phần thực hiện trong luận văn
• Thiết kế một hệ thống robot 6 bậc tự do phù hợp với yêu cầu của đề tài.
• Xây dựng hệ camera tích hợp vào hệ thống robot và thực hiện căn chỉnh.
• Dựa vào các nhãn dán aruco, phân tích đưa ra vị trí và hướng của vật thể.
• Thực hiện mơ phỏng tích hợp vị trí và hướng của vật để điều khiển robot 6 bậc
tự do.
• Áp dụng phương pháp điều khiển số để điều khiển robot.
• Thực nghiệm phương pháp đề xuất trên mơ hình thực.
• Đánh giá kết quả phương pháp đề xuất trên.


5

CHƯƠNG 2. CƠ SỞ LÝ THUYẾT VỀ XỬ LÍ ẢNH

2.1. Lý thuyết về xử lí ảnh
2.1.1. Giới thiệu về hệ thống xử lí ảnh
Xử lí ảnh là một lĩnh vực mang tính khoa học và cơng nghệ. Xử lý ảnh gồm 4
lĩnh vực: Xử lý nâng cao chất lượng ảnh, nhận dạng ảnh, truy vấn và nén ảnh.
Chính sự phát triển nhanh chóng của xử lý ảnh đã đóng góp rất nhiều vào cuộc
sống hàng ngày của chúng ta. Ngày nay xử lý ảnh được áp dụng rộng rãi trong cuộc
sống như: photoshop, nén ảnh, nén video, nhận dạng biển số xe, nhận dạng khuôn
mặt, xử lý ảnh thiên văn, xử lý ảnh trong y tế,…
2.1.2. Ảnh số
Ảnh số (digital image) là thành phần biểu diễn hình ảnh trong hầu hết các thiết bị
điện tử hiện nay như máy ảnh, điện thoại, máy tính, các cơng cụ hỗ trợ có sử dụng
ảnh. Ảnh số, còn được gọi là ảnh kỹ thuật số, là hình ảnh được tạo ra và lưu trữ trong
dạng số hóa. Nói một cách đơn giản, ảnh số là một tập hợp các điểm ảnh (pixel) được
biểu diễn bằng các giá trị số. Mỗi điểm ảnh trong ảnh số chứa thông tin về màu sắc
và độ sáng của điểm đó. Ảnh số cũng thường được sử dụng trong các lĩnh vực như
thiết kế đồ họa, in ấn, truyền thông, và công nghệ. Với sự phát triển của cơng nghệ
số hóa và lưu trữ, việc chia sẻ và truyền tải ảnh số trở nên dễ dàng hơn bao giờ hết.
Chúng ta có thể chia sẻ ảnh số qua email, các mạng xã hội, hoặc lưu trữ trên các dịch
vụ đám mây.Có thể phân chia ảnh số thành 2 loại: Ảnh raster và ảnh vector.
Cả hai loại ảnh đều có ưu điểm và hạn chế riêng. Ảnh raster thường được sử dụng
rộng rãi hơn vì phổ biến trong các thiết bị và được hỗ trợ bởi các công cụ xử lý ảnh
phổ biến như Photoshop. Trong khi đó, ảnh vector thường được sử dụng cho các loại
hình ảnh có các đường cong phức tạp như biểu đồ, lọc, logo do có khả năng mã hóa
các đường cong một cách chính xác.


6

2.1.2.1. Ảnh raster
Ảnh raster là tập hợp hữu hạn các giá trị số được gọi là điểm ảnh (pixel – picture

element). Ảnh được chia thành các cột và các hàng chứa điểm ảnh. Điểm ảnh là thành
phần bé nhất biểu diễn ảnh, có giá trị số biểu diễn màu sắc, độ sáng,… của một thành
phần trong bức ảnh.

Hình 2. 1: Ảnh raster
2.1.2.2. Ảnh vector
Ảnh vector là loại ảnh tạo thành từ các thành phần cơ bản của hình học như :
điểm, đường thẳng, hình khối,…Thay vì lưu lại thành các ma trận điểm ảnh như ảnh
raster, ảnh vector được biểu diễn dưới dạng tọa độ của các thành phần trong ảnh.
Chính điều đó tạo nên sự đặc biệt của ảnh vector khiến nó có thể kéo dãn mà khơng
bị vỡ, không xuất hiện răng cưa như ảnh raster. Dữ liệu ảnh vector nhỏ nên dung
lượng thấp hơn ảnh raster. Tuy nhiên màu sắc trong ảnh vector nhìn khơng thật, sắc
độ ít tinh tế hơn ảnh raster.

Hình 2. 2: Ảnh vector


7

2.1.3. Điểm ảnh
Điểm ảnh (pixel) là một phần tử của ảnh số tại tọa độ (x,y) với độ mức xám hoặc
màu nhất định nào đó. Kích thước và khoảng cách giữa các điểm ảnh được chọn phù
hợp sao cho mắt thường có thể cảm nhận liên tục về khơng gian hoặc màu của ảnh số
gần như là thật. Mỗi phần tử trong ma trận được gọi là phần tử ảnh.
Mỗi phần tử trong ma trận ảnh được gọi là phần tử ảnh, và giá trị của phần tử ảnh
đại diện cho độ sáng (trong ảnh trắng đen) hoặc màu sắc (trong ảnh màu) tại vị trí
tương ứng trên ảnh. Với các giá trị màu từ 0 đến 255 (trong ảnh 8-bit), mỗi điểm ảnh
có thể biểu diễn hàng triệu màu sắc khác nhau.

Hình 2. 3: Điểm ảnh

2.1.4. Đợ phân giải hình ảnh
Độ phân giải hình ảnh (Image resolution) là mật độ điểm ảnh chứa trong ảnh số
được hiển thị. Việc lựa chọn khoảng cách giữa các điểm ảnh tạo nên mật độ phân bố,
đó chính là độ phân giải và được phân bố theo phương x và y trong không gian 2D.
Ảnh có độ phân giải càng cao thì chất lượng ảnh sẽ càng mịn và càng rõ nét.

Hình 2. 4: Độ phân giải ảnh


8

2.1.5. Mức xám của ảnh
Mức xám là kết quả biến đổi tương đương một giá trị độ sáng của một điểm ảnh
với một giá trị ngun dương. Thơng thường nó được xác định trong khoảng [0, 255]
tùy thuộc vào giá trị mỗi điểm ảnh. Các thang giá trị mức xám thông thường là: 16,
32, 64, 128, 256 (Mức 256 là mức phổ dụng. Lý do: từ kỹ thuật máy tính dùng 1byte
(8 bits) để biểu diễn mức xám. Mức xám dùng 1byte biểu diễn: 28 = 256 mức, tức là
từ 0 đến 255).
2.1.6. Không gian màu
Các không gian màu là một mơ hình tốn học dùng để mơ tả các màu sắc trong
thực tế được biểu diễn dưới dạng số học. Thực tế có rất nhiều khơng gian màu được
phổ biến và sử dụng trong nhiều mục đích khác nhau. Có 3 nhóm khơng gian màu
được ứng dụng phổ biến đó là khơng gian màu RGB, khơng gian màu CMYK và
không gian màu HSV(HSB).
2.1.6.1. Không gian màu RGB
RGB là không gian màu phổ biến được sử dụng khá gần với cách mắt con người
tổng hợp màu sắc. Nguyên lý cơ bản là sử dụng 3 màu cơ bản R (Red – đỏ), G (Green
– xanh lục), B (Blue – xanh lam) để biểu diễn tất cả màu sắc.
Thông thường, trong mơ hình 24 bits (khơng gian màu mặc định sử dụng trong
OpenCV – tuy nhiên trong OpenCV, chúng được đảo kênh R và B, trở thành BGR),

mỗi kênh màu sử dụng 8 bits để biểu diễn, mỗi kênh màu nằm trong khoảng 0 – 255.
Bộ ba kênh này biểu diễn cho từng điểm ảnh, mỗi số biểu diễn cho một cường độ một
màu.
Vì vậy số màu tối đa có được là: 255 x 255 x 255 = 16581375 (màu).
2.1.6.2. Không gian màu CMYK
Khơng gian màu CMYK chỉ mơ hình màu loại trừ, thường dùng trong in ấn. Mơ
hình màu này dựa trên cơ sở trộn các chất màu của các màu sau:
-

C=Cyan trong tiếng Anh có nghĩa là màu xanh lơ hay cánh chả.

-

M=Magenta trong tiếng Anh có nghĩa là màu cánh sen hay hồng sẫm.

-

Y=Yellow trong tiếng Anh có nghĩa là màu vàng.


9

-

K=Key (trong tiếng Anh nên hiểu theo nghĩa là cái gì đó then chốt hay chủ
yếu để ám chỉ màu đen mặc dù màu này có tên tiếng Anh là black do
chữ B đã được sử dụng để chỉ màu xanh lam (blue) trong mơ hình màu RGB).

Hình 2. 5: Không gian màu RGB
Hỗn hợp của các màu CMY lý tưởng là loại trừ (các màu này khi in cùng một

chỗ trên nền trắng sẽ tạo ra màu đen). Nguyên lý làm việc của CMYK là trên cơ sở
hấp thụ ánh sáng. Màu mà người ta nhìn thấy là từ phần của ánh sáng không bị hấp
thụ. Trong CMYK màu hồng sẫm cộng với màu vàng sẽ cho màu đỏ, màu cánh sen
cộng với màu xanh lơ cho màu xanh lam, màu xanh lơ cộng với màu vàng sinh ra
màu xanh lá cây và tổ hợp của các màu xanh lơ, cánh sen và vàng tạo ra màu đen.

Hình 2. 6: Không gian màu CMYK


10

2.1.6.3. Khơng gian màu HSV (HSB)
Khơng gian màu HSV (cịn gọi là HSB) là một cách tự nhiên hơn để mô tả màu
sắc, dựa trên 3 số liệu:
-

H: (Hue) Vùng màu

-

S: (Saturation) Độ bão hòa màu

-

B (hay V): (Bright hay Value) Độ sáng

Trong OpenCV, H có giá trị trong khoảng [0,179] (thực tế là 0 - 360), S và V có
giá trị trong khoảng [0,255].
2.1.7. Phân loại ảnh
Phân loại ảnh bao gồm 3 loại:

-

Ảnh màu (Color image): mỗi điểm ảnh trong ảnh màu bao gồm ba giá trị
kênh màu là Red, Green và Blue. Tức là cần đến 24 bits tương ứng để có thể
biểu diễn (mỗi kênh cần 8 bits để biểu diễn màu, giá trị nằm trong khoảng 0255).

-

Ảnh xám (Gray image): mỗi điểm ảnh chỉ được biểu diễn trong khoảng giá
trị 0 -225, tức 8 bits.

-

Ảnh nhị phân (Binary image): chỉ có hai giá trị duy nhất thể hiện điểm ảnh
là 0 hoặc 1 tương ứng với trắng hoặc đen.

Hình 2. 7: Phân loại ảnh