2022
Ứng dụng xử lý ảnh để phân loại sản phẩm theo hình dạng, điều khiển và giám sát qua WinCC

Phạm Lê Bảo Hoàng
Họ và tên sinh viên : Bùi Anh Dũng

ĐẠI HỌC ĐÀ NẴNG
TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT
KHOA ĐIỆN – ĐIỆN TỬ

ĐỒ ÁN TỐT NGHIỆP
ĐẠI HỌC
NGÀNH: CÔNG NGHỆ KỸ THUẬT ĐIỀU KHIỂN VÀ
TỰ ĐỘNG HOÁ
ĐỀ TÀI:

ỨNG DỤNG XỬ LÝ ẢNH ĐỂ PHÂN LOẠI SẢN
PHẨM THEO HÌNH DẠNG, ĐIỀU KHIỂN VÀ
GIÁM SÁT QUA WINCC
Người hướng dẫn
Sinh viên thực hiện
Mã sinh viên
Lớp

: ThS. Phan Thị Thanh Vân
: Bùi Anh Dũng
Phạm Lê Bảo Hoàng
: 1811505520113
1811505520217
: 18TDH1
18TDH2

Đà Nẵng, tháng 6/2022


ĐẠI HỌC ĐÀ NẴNG
TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT
KHOA ĐIỆN – ĐIỆN TỬ

ĐỒ ÁN TỐT NGHIỆP
ĐẠI HỌC
NGÀNH: CÔNG NGHỆ KỸ THUẬT ĐIỀU KHIỂN VÀ
TỰ ĐỘNG HOÁ
ĐỀ TÀI:

ỨNG DỤNG XỬ LÝ ẢNH ĐỂ PHÂN LOẠI SẢN
PHẨM THEO HÌNH DẠNG, ĐIỀU KHIỂN VÀ
GIÁM SÁT QUA WINCC
Người hướng dẫn
Sinh viên thực hiện
Mã sinh viên
Lớp

: ThS. Phan Thị Thanh Vân
: Bùi Anh Dũng
Phạm Lê Bảo Hoàng
: 1811505520113
1811505520217
: 18TDH1
18TDH2


Đà Nẵng, tháng 6/2022


NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN


NHẬN XÉT CỦA NGƯỜI PHẢN BIỆN


TÓM TẮT ĐỒ ÁN
Tên đề tài: “ Ứng dụng xử lý ảnh để phân loại sản phẩm theo hình dạng, điều khiển
và giám sát qua WinCC”.
Sinh viên thực hiện:
Bùi Anh Dũng
Phạm Lê Bảo Hoàng
Lớp: 18TDH1, 18TDH2
Nội dung:

Mã SV: 1811505520113
Mã SV: 1811505520217

Mơ hình xử lý ảnh để phân loại sản phẩm theo hình dạng, điều khiển và giám sát
qua WinCC sử dụng Kit Raspberry Pi 4B và PLC S7 – 1200. Ở đây nhóm đã sử dụng
CPU 1214C DC/DC/DC, dịng CPU đời mới, hiện đã và đang được ứng dụng trong
các nhà máy lớn với chức năng điều khiển quy trình hoạt động lớn của một hệ thống
sản xuất của một nhà máy.
Đề tài nghiên cứu tập trung vào sử dụng ngơn ngữ lập trình Python để xử lý ảnh,
tín hiệu được gửi tới PLC S7 – 1200 thông qua cổng Ethernet, quy trình điều khiển
tuần tự mà từ đó viết chương trình phân loại sản phẩm dựa theo hình dạng.
Báo cáo về đề tài gồm có 5 phần chính:

Chương 1: Tổng quan về hệ thống phân loại sản phẩm theo hình dạng.
- Giới thiệu tổng quan về hệ thống phân loại sản phẩm theo hình dạng. Nguyên lý
hoạt động của hệ thống. Các công nghệ sử dụng trong hệ thống : sử dụng Kit
Raspberry 4B để xử lý ảnh, sử dụng PLC S7 – 1200 để phân loại sản phẩm. Đưa ra
nhiều phương án thiết kế, so sánh, đánh giá rồi chọn ra phương án thiết kế phù hợp
nhất với đề tài.
Chương 2: Giới thiệu về Rapberry và ngôn ngữ lập trình Python.
- Trình bày tổng quan về Raspberry, giới thiệu ngơn ngữ lập trình Python và thư
viện OpenCV. Tổng quan về xử lý ảnh và tiến hành xử lý ảnh.
Chương 3: Giới thiệu về PLC S7-1200 và phần mềm TIA Portal.
- Trình bày tổng quan về PLC và giới thiệu PLC S7 – 1200, làm việc với phần
mềm Tia Portal V16. Phương pháp kết nối giữa PLC và WinCC, thiết kế giao diện
WinCC.
Chương 4: Thiết kế và thi công mơ hình “Ứng dụng xử lý ảnh để phân loại sản phẩm theo
hình dạng, điều khiển và giám sát trên WinCC”.
- Trình bày u cầu cơng nghệ của hệ thống. Sơ đồ khối. Lựa chọn thiết bị phù
hợp với đề tài. Sơ đồ bố trí hệ thống. Sơ đồ đấu nối của hệ thống.


Chương 5: Chương trình điều khiển và giám sát hệ thống.
- Lập bảng phân công đầu vào/ra. Xây dựng lưu đồ thuật tốn. Vẽ giãn đồ thời
gian. Lập trình, điều khiển hệ thống. Phương pháp giao tiếp và truyền thông giữa PLC
và Raspberry thông qua thư viện Snap 7.
Kết luận và hướng phát triển
Tài liệu tham khảo
Phụ lục


TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT
KHOA ĐIỆN – ĐIỆN TỬ


CỘNG HỊA XÃ HƠI CHỦ NGHĨA VIỆT NAM
Độc lập - Tự do - Hạnh phúc

NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP
Giảng viên hướng dẫn: ThS. Phan Thị Thanh Vân
Sinh viên thực hiện: Bùi Anh Dũng

Mã SV: 1811505520113

Phạm Lê Bảo Hoàng

Mã SV: 1811505520217

1. Tên đề tài:
“Ứng dụng xử lý ảnh để phân loại sản phẩm theo hình dạng, điều khiển và giám sát

trên WinCC”.
2. Các số liệu, tài liệu ban đầu:
- PLC S7-1200, Raspberry Pi 4B, camera, động cơ, cảm biến, xi lanh…
- Trần Văn Hiếu, “Tự Động Hóa PLC S7 – 1200 Với TIA Portal”, năm 2019, nhà
xuất bản khoa học - kỹ thuật.
3. Nội dung chính của đồ án:
Chương 1: Tổng quan về hệ thống phân loại sản phẩm theo hình dạng.
Chương 2: Giới thiệu về Rapberry và ngơn ngữ lập trình Python.
Chương 3: Giới thiệu về PLC S7-1200 và phần mềm TIA Portal.
Chương 4: Thiết kế và thi công mơ hình “Ứng dụng xử lý ảnh để phân loại sản phẩm
theo hình dạng, điều khiển và giám sát trên WinCC”.
Chương 5: Chương trình điều khiển và giám sát hệ thống.
ĐÁNH GIÁ KẾT QUẢ THỰC HIỆN CỦA ĐỀ TÀI

HƯỚNG PHÁT TRIỂN ĐỀ TÀI
4. Các sản phẩm dự kiến
- Mơ hình “Ứng dụng xử lý ảnh để phân loại sản phẩm theo hình dạng, điều
khiển và giám sát trên WinCC”.
- Báo cáo thuyết minh đề tài.
- Chương trình xử lý ảnh trên Python.
- Chương trình điều khiển hệ thống trên TIA Portal.


5. Ngày giao đồ án: 21/02/2022
6. Ngày nộp đồ án: 30/05/2022
Đà Nẵng, ngày 21 tháng 02 năm 2022
Trưởng Bộ môn

Người hướng dẫn

ThS. Phan Thị Thanh Vân


LỜI NĨI ĐẦU
Cơng nghiệp hóa – hiện đại hóa đất nước là một trong một trong những mục tiêu
mà nước ta hiện và đang chú trọng trong những năm vừa qua. Việc áp dụng những dây
chuyền sản xuất tự động ngày càng được áp dụng nhiều trong các nhà máy, xí nghiệp
nhằm tăng năng suất làm việc, tăng lợi nhuận đầu ra, giảm thời gian sản xuất… đáp
ứng cầu của thị trường, sự phát triển hàng ngày hàng giờ của kinh tế và cơng nghệ. Từ
đó ngành kỹ thuật điều khiển và tự động hóa ra đời và càng phát triển hơn, đáp ứng đủ
nhu cầu và nguồn lực cho công nghiệp thời đại mới cũng như sự phát triển của nước
nhà.
Sau khoảng thời gian học tập và rèn luyện, được nhận những kiến thức chuyên
ngành của thầy và cô khoa Điện – Điện tử, Trường ĐH Sư phạm Kỹ thuật – Đại học

Đà Nẵng, nhóm chúng em đã tiến hành thực hiện đồ án “Ứng dụng xử lý ảnh để phân
loại sản phẩm theo hình dạng, điều khiển và giám sát qua WinCC”.
Đồ án ứng dụng những kiến thức được nhận trên trường lớp cùng với việc tìm
hiểu thơng qua Internet để giải quyết vấn đề đặt ra cũng như đánh giá cơ sở lý thuyết
đến giải quyết thực tiễn. Từ đó là cơ sở nền, vững chắc thêm kiến thức suốt 4 năm đại
học.
Em xin chân thành cảm ơn ThS.Phan Thị Thanh Vân đã tận tình hướng dẫn và
giúp chúng em thực hiện đồ án này. Trong quá trình thực hiện đồ án mặc dù đã cố
gắng hết sức nhưng vẫn sẽ khơng thể tránh thiếu sót, mong sự đóng góp ý của thầy/cơ.

i


LỜI CAM ĐOAN
Tên đề tài : “Ứng dụng xử lý ảnh để phân loại sản phẩm theo hình dạng, điều khiển và
giám sát qua WinCC.”
Sinh viên thực hiện:
Bùi Anh Dũng
Phạm Lê Bảo Hồng
Lớp: 18TDH1, 18TDH2

Mã SV: 1811505520113
Mã SV: 1811505520217

“Tơi xin cam đoan đồ án tốt nghiệp này là do chính chúng tôi nghiên cứu và thực hiện.
Tôi không sao chép từ bất kì một bài viết nào đã được cơng bố mà khơng trích dẫn
nguồn gốc. Nếu có bất kì một sự vi phạm nào, chúng tơi xin chịu hồn toàn trách
nhiệm.”
Sinh viên thực hiện


Bùi Anh Dũng

Phạm Lê Bảo Hoàng

ii


MỤC LỤC

Nhận xét của giáo viên hướng dẫn ...............................................................................
Nhận xét của người phản biện ......................................................................................
Tóm tắt đồ án ................................................................................................................
Nhiệm vụ đồ án tốt nghiệp ...........................................................................................
Lời nói đầu .................................................................................................................... i
Lời cam đoan ................................................................................................................ ii
Mục lục ......................................................................................................................... iii
Danh sách bảng, hình ảnh ............................................................................................. vii
Trang
MỞ ĐẦU ...................................................................................................................... 1
CHƯƠNG 1: TỔNG QUAN VỀ HỆ THỐNG PHÂN LOẠI SẢN PHẨM THEO
HÌNH DẠNG ............................................................................................................... 2
1.1 .Tổng quan về hệ thống ......................................................................................... 2
1.2 .Nguyên lý hoạt động của hệ thống ...................................................................... 2
1.3 .Các công nghệ sử dụng trong hệ thống .............................................................. 2
1.4 .Phương pháp phân loại sản phẩm theo hình dạng ............................................ 3
1.4.1 Các hình dạng cơ bản của sản phẩm ............................................................... 3
1.4.2
1.4.3
1.4.3.1
1.4.3.2

1.4.3.3

Phương pháp nhận dạng hình dạng ................................................................. 4
Phương pháp tìm đặc điểm hình dạng để phân loại sản phẩm ........................ 6
Phương pháp tìm đỉnh ..................................................................................... 7
Phương pháp tìm độ dài cạnh .......................................................................... 8
Phương pháp tìm tâm và bán kính ................................................................... 8

1.5 .Phương án thiết kế................................................................................................ 9
1.5.1 Yêu cầu thiết kế ............................................................................................... 9
1.5.2

Lựa chọn phương án thiết kế ........................................................................... 9

CHƯƠNG 2: GIỚI THIỆU VỀ RASPPBERRY VÀ NGƠN NGỮ LẬP TRÌNH
PYTHON ..................................................................................................................... 11
2.1 .Tổng quan về Raspberry ..................................................................................... 11
2.2 .Giới thiệu ngơn ngữ lập trình Python ................................................................ 12
2.2.1 Giới thiệu ngôn ngữ Python ............................................................................ 12
2.2.2 Đặc điểm nổi bật của Python ........................................................................... 12
2.3 .Giới thiệu thư viện OpenCV ................................................................................ 13
iii


2.3.1

Giới thiệu OpenCV.......................................................................................... 13

2.3.2


Đặc điểm OpenCV .......................................................................................... 13

2.4 .Tổng quan về xử lý ảnh ........................................................................................ 14
2.4.1 Giới thiệu xử lí ảnh .......................................................................................... 14
2.4.2
2.4.2.1
2.4.2.2
2.4.2.3
2.4.2.4

Những vấn đề trong xử lý ảnh ......................................................................... 14
Điểm ảnh ......................................................................................................... 14
Biến đổi ảnh ..................................................................................................... 15
Lọc màu ảnh .................................................................................................... 15
Lọc nhiễu ......................................................................................................... 16

2.4.2.5 Phương pháp phát hiện biên ............................................................................ 17
2.4.2.6 Phân đoạn ảnh ................................................................................................. 18
2.4.2.7 Các phép giãn nở của ảnh ................................................................................ 18
2.4.2.8 Những định dạng của ảnh ................................................................................ 19
2.4.2.9 Các phần mềm hỗ trợ xử lý ảnh ...................................................................... 19
2.5 .Xử lý ảnh ............................................................................................................... 19
2.5.1 Tiền xử lý ảnh .................................................................................................. 19
2.5.1.1 Đọc ảnh và cắt ảnh .......................................................................................... 20
2.5.1.2 Lọc màu ........................................................................................................... 21
2.5.1.3
2.5.1.4
2.5.1.5
2.5.1.6


Biến đổi ảnh ..................................................................................................... 22
Tìm điểm ......................................................................................................... 23
Vẽ viền quanh ảnh ........................................................................................... 23
Kết luận ........................................................................................................... 23

2.5.2 Xác định cạnh và tính tốn ảnh để nhận dạng hình dạng ................................ 23
2.5.2.1 Xác định cạnh .................................................................................................. 24
2.5.2.2 Tính tốn ảnh ................................................................................................... 24
CHƯƠNG 3: TỔNG QUAN VỀ PLC VÀ PHẦN MỀM TIA PORTAL .............. 25
3.1 .Giới thiệu về PLC ................................................................................................. 25
3.2 .Giới thiệu về PLC S7 – 1200 ................................................................................ 29
3.2.1 Cấu trúc phần cứng của PLC S7 – 1200: ........................................................ 30
3.2.2 Cấu trúc phần mềm của PLC S7 – 1200 ......................................................... 32
3.2.3 Module mở rộng của PLC S7 – 1200: ............................................................. 33
3.2.4 Ngơn ngữ lập trình cho PLC S7 – 1200: ......................................................... 33
3.2.5 Phương pháp lập trình PLC S7 – 1200 ............................................................ 34
3.2.6 Các tập lệnh cơ bản của PLC S7 – 1200 ......................................................... 35
3.2.6.1 Bit Logic .......................................................................................................... 35
iv


3.2.6.2 Bộ đảo logic NOT ........................................................................................... 35
3.2.6.3 Cuộn dây ngõ ra (LAD)................................................................................... 35
3.2.6.4 Các lệnh Set và Reset ...................................................................................... 36
3.2.6.5 Lệnh dò ngưỡng dương và âm......................................................................... 36
3.2.6.6 Lệnh Timer ...................................................................................................... 37
3.2.6.7 Bộ đếm Counter ............................................................................................... 38
3.2.6.8 Lệnh so sánh .................................................................................................... 39
3.2.6.9 Các lệnh tính tốn ............................................................................................ 40
3.2.6.10 Lệnh giá trị nhỏ nhất và lớn nhất .................................................................... 40

3.3 .Phần mềm lập trình cho PLC S7 – 1200 ............................................................ 40
3.3.1 Tổng quan về phần mềm TIA Portal V16 ....................................................... 40
3.3.2 Giao diện phần mềm TIA Portal ..................................................................... 41
3.3.3
3.3.4

Sử dụng bảng Tag trong PLC .......................................................................... 43
Tải chương trình xuống CPU .......................................................................... 45

3.4 .Giới thiệu về WinCC. ........................................................................................... 46
3.4.1 Tổng quan về WinCC ...................................................................................... 46
3.4.2 Các ứng dụng của WinCC ............................................................................... 47
CHƯƠNG 4: THIẾT KẾ VÀ THI CƠNG MƠ HÌNH “ỨNG DỤNG XỬ LÝ ẢNH
ĐỂ PHÂN LOẠI SẢN PHẨM THEO HÌNH DẠNG” ............................................ 48
4.1 .Yêu cầu công nghệ của hệ thống ......................................................................... 48
4.2 .Thiết kế phần cứng ............................................................................................... 49
4.2.1 Sơ đồ khối ........................................................................................................ 49
4.2.2
4.2.2.1
4.2.2.2
4.2.2.3
4.2.2.4

Lựa chọn thiết bị .............................................................................................. 50
Khối xử lý trung tâm ....................................................................................... 50
Khối nút nhấn và đèn báo ................................................................................ 52
Thiết kế băng tải .............................................................................................. 53
Khối cảm biến ................................................................................................. 54

4.2.2.5

4.2.2.6
4.2.2.7
4.2.2.8
4.2.2.9
4.2.3
4.2.3.1
4.2.3.2

Khối động lực .................................................................................................. 55
Khối cách ly bảo vệ ......................................................................................... 56
Động cơ DC kéo băng tải ................................................................................ 58
Khối nguồn ...................................................................................................... 59
Camera ............................................................................................................. 60
Sơ đồ đấu nối ................................................................................................... 61
Sơ đồ đấu nối ................................................................................................... 61
Sơ đồ đấu nối tủ điện ....................................................................................... 62
v


4.3 .Thi cơng mơ hình hệ thống .................................................................................. 65
CHƯƠNG 5: CHƯƠNG TRÌNH ĐIỀU KHIỂN VÀ GIÁM SÁT HỆ THỐNG .. 66
5.1 .Bảng phân công đầu vào, đầu ra ......................................................................... 66
5.2 .Giản đồ thời gian .................................................................................................. 66
5.3 .Lưu đồ thuật toán ................................................................................................. 68
5.4 .Giới thiệu về giao diện hệ thống điều khiển và giám sát .................................. 72
5.5 .Thành phần chính của hệ thống SCADA ........................................................... 73
5.6 .Thiết kế giao diện ................................................................................................. 73
5.6.1 Tạo giao diện cho hệ thống: ............................................................................ 73
5.6.2
5.6.3


Gắn HMI Tags cho hệ thống: .......................................................................... 75
Hiệu chỉnh giao diện: ...................................................................................... 76

5.7 .Giao tiếp và truyền thông Raspberry với PLC S7 1200 ................................... 78
5.7.1 Mở quyền truy cập truyền nhận dữ liệu trên PLC S7 1200 ............................ 78
5.7.2 Cài đặt địa chỉ và truyền thông ........................................................................ 79
5.7.3 Đọc và ghi dữ liệu ........................................................................................... 80
KẾT LUẬN ................................................................................................................. 82
TÀI LIỆU THAM KHẢO.......................................................................................... 83
PHỤ LỤC .........................................................................................................................

vi


DANH SÁCH BẢNG, HÌNH ẢNH
BẢNG 1. 1 Đặc điểm hình dạng sản phẩm ..................................................................... 6
BẢNG 3. 1: Bảng phân loại CPU .................................................................................. 30
BẢNG 3. 2: Module mở rộng của PLC S7 – 1200 ....................................................... 33
BẢNG 5. 1: Bảng phân công địa chỉ đầu vào ra của hệ thống ..................................... 66
HÌNH 1. 1: Đặc điểm hình chữ nhật................................................................................ 5
HÌNH 1. 2: Đặc điểm hình vng ................................................................................... 5
HÌNH 1. 3: Đặc điểm hình trịn ....................................................................................... 5
HÌNH 1. 4: Đặc điểm hình tam giác ................................................................................ 6
HÌNH 1. 5: Đỉnh của hình ............................................................................................... 7
HÌNH 1. 6: Đoạn Ramer – Douglas – Peucker ............................................................... 7
HÌNH 1. 7: Đường xấp xỉ ................................................................................................ 8
HÌNH 1. 8: Độ dài cạnh ................................................................................................... 8
HÌNH 1. 9: Bán kính bằng nhau ...................................................................................... 8
HÌNH 2. 1: Raspberry Pi .............................................................................................. 12

HÌNH 2. 2: Dãy màu HSV ............................................................................................ 15
HÌNH 2. 3: Dãy màu RGB ............................................................................................ 16
HÌNH 2. 4: Hình ảnh tách biên ...................................................................................... 17
HÌNH 2. 5: Phép giãn .................................................................................................... 19
HÌNH 2. 6: Phép co ....................................................................................................... 19
HÌNH 2. 7: Ảnh chưa cắt trên Raspberry ...................................................................... 20
HÌNH 2. 8: Ảnh đã cắt trên Raspberry .......................................................................... 21
HÌNH 2. 9: Lọc màu ảnh trên Raspberry ...................................................................... 22
HÌNH 2. 10: Ảnh nhị phân trên Raspberry.................................................................... 23
HÌNH 2. 11: Giảm điểm và tạo đoạn thẳng của lệnh ApproxPolyDP trong OpenCV .. 24
HÌNH 3. 1: Ứng dụng của PLC .................................................................................... 25
HÌNH 3. 2: Bộ PLC đầu tiên của Mỹ ............................................................................ 26
HÌNH 3. 3: Bộ PLC năm 1969 ...................................................................................... 27
HÌNH 3. 4: Bộ Module PLC năm 1970 ......................................................................... 28
HÌNH 3. 5: Các loại PLC phổ biến hiện nay ................................................................. 28
HÌNH 3. 6: PLC S7 – 1200 ........................................................................................... 29
HÌNH 3. 7: Cấu trúc PLC S7 – 1200 ............................................................................. 30
HÌNH 3. 8: Cấu trúc phần mềm cơ bản PLC ................................................................ 32
vii


HÌNH 3. 9: Ngơn ngữ lập trình LAD ............................................................................ 34
HÌNH 3. 10: Phương pháp lập trình PLC ...................................................................... 35
HÌNH 3. 11: Phần mềm TIA PORTAL V16 ................................................................. 41
HÌNH 3. 12: Sử dụng Tag trong TIA Portal .................................................................. 44
HÌNH 3. 13: Giao diện chương trình chính TIA Portal................................................. 44
HÌNH 3. 14: Đổ chương trình vào PLC ........................................................................ 45
HÌNH 3. 15: Thiết lập liên kết giữa máy tính và PLC .................................................. 45
HÌNH 3. 16: : Khởi động Module PLC ......................................................................... 46
HÌNH 4. 1: Sơ đồ bố trí thiết bị .................................................................................... 49

HÌNH 4. 2: Sơ đồ khối của hệ thống ............................................................................. 49
HÌNH 4. 3: PLC S7 – 1200 CPU DC/DC/DC ............................................................... 50
HÌNH 4. 4: Raspberry Pi 4B.......................................................................................... 51
HÌNH 4. 5: Nút nhấn LA38 ........................................................................................... 52
HÌNH 4. 6: Nút nhấn E – Stop ...................................................................................... 53
HÌNH 4. 7 Băng tải ........................................................................................................ 54
HÌNH 4. 8: Cảm biến hồng ngoại E3F – DS30P1 PNP ................................................ 55
HÌNH 4. 9 Van điện từ 5/2 ............................................................................................ 55
HÌNH 4. 10: Xilanh khí nén .......................................................................................... 56
HÌNH 4. 11: MCB LS BKN 1P 25A ............................................................................. 57
HÌNH 4. 12: Relay trung gian 24V/14 chân .................................................................. 58
HÌNH 4. 13: Động cơ kéo băng tải 24VDC .................................................................. 59
HÌNH 4. 14: Nguồn tổ ong ............................................................................................ 59
HÌNH 4. 15: Sơ đồ đấu nối ............................................................................................ 61
HÌNH 4. 16: Mặt ngồi tủ điện ...................................................................................... 62
HÌNH 4. 17: Bên trong tủ điện ...................................................................................... 64
HÌNH 4. 18: Hình ảnh sau khi đấu xong tủ điện ........................................................... 65
HÌNH 4. 19: Mơ hình phân loại sản phẩm theo hình dạng ........................................... 65
Hình 5. 1: Giản đồ thời gian chương trình chính ......................................................... 66
Hình 5. 2: Giản đồ thời gian chế độ Manual ................................................................. 67
Hình 5. 3: Giản đồ thời gian chế độ Auto ..................................................................... 68
Hình 5. 4: Chương trình chính của hệ thống ................................................................. 68
Hình 5. 5: Chế độ Manual ............................................................................................. 69
Hình 5. 6: Xử lý ảnh ...................................................................................................... 71
Hình 5. 7: Chế độ Auto.................................................................................................. 70
Hình 5. 8: Kết nối PLC với WinCC RT Advanced ....................................................... 73
viii


Hình 5. 9: Chọn Screen để tạo HMI .............................................................................. 74

Hình 5. 10: Add new screen để tạo giao diện ................................................................ 74
Hình 5. 11: Giao diện thiết lập WinCC ......................................................................... 74
Hình 5. 12: Khối Basic objects ...................................................................................... 75
Hình 5. 13: Khối Elements ............................................................................................ 75
Hình 5. 14: Khối Controls ............................................................................................. 75
Hình 5. 15: Gắn Tags HMI cho hệ thống ...................................................................... 76
Hình 5. 16: Thanh hiệu chỉnh Properties ....................................................................... 76
Hình 5. 17: Thanh hiệu chỉnh Animations .................................................................... 77
Hình 5. 18: Thanh hiệu chỉnh Events ............................................................................ 77
Hình 5. 19: Giao diện giám sát WinCC của hệ thống ................................................... 77
Hình 5. 20: Các bước mở quyền truy cập trên PLC S7 – 1200 ..................................... 78
Hình 5. 21: Cho phép truy cập dữ liệu PUT/GET ......................................................... 79
Hình 5. 22: Địa chỉ Ethernet trên Raspberry ................................................................. 79
Hình 5. 23: Địa chỉ cài đặt trên PLC S7 – 1200 ............................................................ 79
Hình 5. 24: Địa chỉ kết nối Raspberry bằng thư viện Snap7 ......................................... 80
Hình 5. 25: Hàm đọc dữ liệu trên PLC bằng thư viện Snap 7 ....................................... 80
Hình 5. 26: Hàm ghi dữ liệu trên PLC bằng thư viện Snap 7 ....................................... 81

ix


DANH SÁCH CÁC KÝ HIỆU, CHỮ VIẾT TẮT

Đ
S
PLC

Đúng
Sai
Programmable Logic Control


I/O

Input/Output

LAD

Ladder Diagram

FBD

Function Block Diagram

STL

Instruction List

HMI
Scada
AI

Human Machine Interface
Supervisory Control And Data Acquisition
Analog Input

DI
ĐC
WinCC

Digital Input

Động cơ
Windows Control Center

CPU
Power Supply

Central Procecssing Unit
Nguồn cấp

Input voltage DI
Output Voltage DO
Working Memory

Điện áp đầu vào
Điện áp đầu ra
Bộ nhớ làm việc

Protocols
Các giao thức
Programming Language Ngơn ngữ lập trình
Class of Protection
Lớp bảo vệ

x


Tên đề tài: Ứng dụng xử lý ảnh để phân loai sản phẩm theo hình dạng, điều khiển và giám sát qua WinCC

MỞ ĐẦU


Trong thời đại mà các dây chuyền sản xuất, đóng gói và phân loại sản phẩm của
các nhà máy khơng chỉ ở nước ta mà trên tồn thế giới đang dần dần chuyển hoàn toàn
thành dây chuyền tự động hóa. Mục đích nhằm tăng năng suất sản phẩm, rút ngắn thời
gian thành phẩm, có thể làm việc liên tục, giảm sức người và nhân công nhằm đem lại
lợi nhuận lớn hơn cho doanh nghiệp và nhà đầu tư.
Đồ án “Ứng dụng xử lý ảnh để phân loại sản phẩm theo hình dạng, điều khiển và
giám sát qua WinCC” thông qua việc sử dụng Kit Raspbbery Pi 4B, PLC Siemens S7
– 1200 và WinCC giám sát công đoạn phân loại sản phẩm theo hình dạng của từng sản
phẩm, giúp kiểm soát được những sản phẩm bị lỗi, phân loại sản phẩm theo hình dạng
mong muốn.
Đồ án gồm 5 chương chính:
Chương 1: Tổng quan về hệ thống phân loại sản phẩm theo hình dạng.
Chương 2: Giới thiệu về Rapberry và ngơn ngữ lập trình Python.
Chương 3: Giới thiệu về PLC S7-1200 và phần mềm TIA Portal.
Chương 4: Thiết kế và thi cơng mơ hình “Ứng dụng xử lý ảnh để phân loại sản phẩm theo
hình dạng, điều khiển và giám sát trên WinCC”.
Chương 5: Chương trình điều khiển và giám sát hệ thống.
ĐÁNH GIÁ KẾT QUẢ THỰC HIỆN CỦA ĐỀ TÀI
HƯỚNG PHÁT TRIỂN ĐỀ TÀI

SVTH: Bùi Anh Dũng
Phạm Lê Bảo Hoàng

Người hướng dẫn: ThS. Phan Thị Thanh
Vân

1


Tên đề tài: Ứng dụng xử lý ảnh để phân loai sản phẩm theo hình dạng, điều khiển và giám sát qua WinCC


CHƯƠNG 1: TỔNG QUAN VỀ HỆ THỐNG PHÂN LOẠI SẢN PHẨM
THEO HÌNH DẠNG

1.1 Tổng quan về hệ thống
Ngày nay, nước ta đang thực chính sách “Cơng nghiệp hố – hiện đại hố đất
nước”. Nền Cơng nghiệp đang hướng tới Công nghiệp 4.0, là sự kết hợp các công nghệ
lại với nhau, làm mờ ranh giới giữa vật lý, kỹ thuật số và sinh học. Với sự phát triển
của cơng nghệ kỹ thuật, các bộ điều khiển đang có ứng dụng rộng rãi trong các lĩnh
vực khoa học kỹ thuật và đời sống xã hội, đặc biệt là trong tự động hố và điều khiển.
Từ đó mà việc đưa tự động hóa vào sản xuất như diễn ra một điều tất yếu.
Việc tạo ra các sản phẩm tự động hố khơng những trong cơng nghiệp mà ngay
cả trong đời sống con người ngày càng được phổ biến. Phân loại sản phẩm là một bài
toán đã và đang được ứng dụng rất nhiều trong thực tế hiện nay. Công việc này địi
hỏi sự tập trung cao và có tính lặp lại, nên các cơng nhân khó đảm bảo được sự
chính xác trong cơng việc. Chưa kể đến có những phân loại dựa trên các chi tiết kĩ
thuật rất nhỏ mà mắt thường khó có thể nhận ra. Điều đó sẽ ảnh hưởng trực tiếp tới
chất lượng sản phẩm và uy tín của nhà sản xuất. Vì vậy, hệ thống tự động nhận dạng
và phân loại sản phẩm ra đời là một sự phát triển tất yếu nhằm đáp ứng nhu cầu cấp
bách này.
1.2 Nguyên lý hoạt động của hệ thống
Đề tài “Ứng dụng xử lý ảnh để phân loại sản phẩm theo hình dạng, điều khiển và
giám sát qua WinCC” là mơ hình phân loại sản phẩm theo hình dạng (hình trịn, hình
vng, hình tam giác và hình chữ nhật). Dựa trên ngơn ngữ Python với thư viện chính
là OpenCV và được thực hiện trên Kit Raspberry Pi 4B và PLC S7 - 1200. Tại đây sử
dụng các đặc điểm riêng biệt của từng hình dạng để đi nhận dạng rồi sau đó phân loại
từng sản phẩm. Hệ thống gồm camera, Raspberry, PLC. Camera sẽ chụp ảnh sản phẩm
cần phân loại rồi sau đó gửi đến Rasppberry để xử lí, sau khi xử lí được ảnh thì
Rasppberry sẽ gửi đến PLC để điều khiển và phân loại sản phẩm. Kết quả thực hiện
của đề tài là nhận dạng được những sản phẩm có hình dạng (hình trịn, hình vng,

hình tam giác và hình chữ nhật) cùng với việc đếm được sản phẩm theo hình dạng của
từng sản phẩm, hiển thị trên màn hình.
1.3 Các cơng nghệ sử dụng trong hệ thống
 Phương pháp xử lý ảnh dùng phần mềm Matlab

SVTH: Bùi Anh Dũng
Phạm Lê Bảo Hoàng

Người hướng dẫn: ThS. Phan Thị Thanh Vân

2


Tên đề tài: Ứng dụng xử lý ảnh để phân loai sản phẩm theo hình dạng, điều khiển và giám sát qua WinCC

Matlab là ngơn ngữ lập trình bậc cao dùng cho kỹ thuật. Đồng thời nó là mơi
trường tương tác có thể thực hiện nhiều nhiệm vụ, phát triển giải thiết, phân tích dữ
liệu, tính tốn các phép tính số học và hình ảnh hố số liệu. So với các ngơn ngữ lập
trình truyền thống như C, C++ hay Fortran thì Matlab có nhiều ưu điểm hơn do được
tích hợp các hỗ trợ rất mạnh.
-

Ưu điểm : Phần mềm dễ sử dụng
Nhược điểm :
+ Độ chính xác khơng cao
+ Việc truyền thông, giao tiếp với các phần mềm rất khó

 Phương pháp xử lý ảnh dùng phần mềm Labview
Labview là một phần mềm lập trình mơ phỏng robot được sáng chế ra với mục
đích hỗ trợ người dùng tạo ra các thiết bị ảo dựa trên nhu cầu cá nhân.

-

Ưu điểm :
+ Phần mềm dễ sử dụng nên được nhiều người sử dụng
+ Khả năng phát hiện hình dạng của chương trình LabView là cực kì
nhanh chóng. Có thể sử dụng các chứng năng mở rộng có sẵn trong
Labview đê tăng khả năng phân biệt nhiều sản phẩm
+ Kết quả xử lý ảnh với tỷ lệ sai lệch nhỏ và có độ chính xác cao

Nhược điểm : Khó khăn về kết hợp giữa phần mềm Labview với các phần mềm
khác
Trên đây là 2 phương pháp được sử dụng rất nhiều hiện nay. Tuy nhiên, trong
một hệ thống đòi hỏi độ chính xác cao, việc giao tiếp và truyền thống với các thiết bị
-

khác phải đảm bảo tính ổn định và nhanh chóng. Trong các nhà máy, xí nghiệp hiện
nay thì việc sử dụng phương pháp xử lý ảnh thơng qua Raspberry kết hợp với PLC
đang dần thay thế các phương pháp khác. Do vậy, trong đề tài này sử dụng các công
nghệ như sau:
- Sử dụng Kit Raspberry Pi 4B thông qua thư viện OpenCV để xử lý ảnh
-

Sử dụng PLC S7 – 1200 để phân loại sản phẩm
Sử dụng WinCC để giám sát quá trình hoạt động và hiện thị số lượng lên
màn hình

1.4 Phương pháp phân loại sản phẩm theo hình dạng
Với đề tài “Ứng dụng xử lý ảnh để phân loại sản phẩm theo hình dạng, điều
khiển và giám sát qua WinCC”. Ở phần này sẽ đi tìm hiểu chi tiết phương pháp nhận
dạng của từng sản phẩm và phân loại sản phẩm theo từng hình dạng đã được nhận dạng.

1.4.1 Các hình dạng cơ bản của sản phẩm
Trong cuộc sống hiện nay, nhu cầu về kiểu dáng sản phẩm ngày càng được chứ
SVTH: Bùi Anh Dũng
Phạm Lê Bảo Hoàng

Người hướng dẫn: ThS. Phan Thị Thanh Vân

3


Tên đề tài: Ứng dụng xử lý ảnh để phân loai sản phẩm theo hình dạng, điều khiển và giám sát qua WinCC

trọng, để đáp ứng nhu cầu thiết yếu đó nên trên thị trường ra nhiều sản phẩm có hình
dạng và kiểu dáng đa dạng. Ở đề tài này, để gần với thực tế, nhóm chọn sản phẩm có
hình dạng phổ biến. Chủ yếu là các hình dạng ở ngồi cuộc sống (hình trịn, hình
vng, hình tam giác và hình chữ nhật).
Đặc điểm cơ bản của sản phẩm có hình dạng phổ biến:
 Đặc điểm nhận dạng hình chữ nhật: Có 4 đỉnh, 4 cạnh, 4 góc vng, 2 cạnh
đối diện đều bằng nhau khác với so với hình vuông là 2 cạnh kề không bằng nhau,…
 Đặc điểm nhận dạng hình vng : Có 4 đỉnh, 4 cạnh, 4 góc vng, 2 cạnh đối
diện đều bằng nhau, 2 cạnh kề bằng nhau,…


Đặc điểm nhận dạng hình trịn: Một hình trịn là một vùng trên mặt phẳng

nằm "bên trong" đường trịn. Bán kính tính từ tâm đến đường trịn. Đặc điểm nhận
dạng: Bán kính đều bằng nhau,…


Đặc điểm nhận dạng hình tam giác: có 3 đỉnh và 3 cạnh là hình tam giác,…


1.4.2 Phương pháp nhận dạng hình dạng
Phương pháp nhận dạng hình ảnh là giai đoạn quan trọng của hệ thống xử lý ảnh.
Nhận dạng là quá trình phân loại các đối tượng được biểu diễn theo một mơ hình nào
đó. Ảnh được chụp sẽ được phân tích thành các đặc trưng riêng biệt, với những đặc
trưng đó ta đem đi nhận dạng.
Như đã đề cập ở trên thì các hình dạng của sản phẩm sẽ có các đặc điểm riêng
biệt. Tuy nhiên, thì vẫn có một số đặc điểm giống nhau, đặc điểm khác nhau, cùng với
đó có thêm một số đặc điểm bị dư thừa trong việc so sánh với các sản phẩm khác.
Chính vì vậy, ở đề tài này, ta cần chọn lọc ra từng đặc điểm riêng biệt của từng hình mà
các hình khác khơng có và loại bỏ các đặc điểm khơng cần thiết. Như vậy, để nhận
dạng được hình dạng của sản phẩm cần xác định các đặc điểm đặc trưng riêng biệt của
từng hình dạng. Ở đây chỉ có 4 hình dạng sản phẩm (hình chữ nhật, hình vng, hình
trịn, hình tam giác) cần phân loại, chính vì vậy sẽ có một số đặc điểm hình dạng
khơng cần xét tới.
Sản phẩm hình chữ nhật
Hình chữ nhật là hình có 4 đỉnh, 4 cạnh, 4 góc vng, 2 cạnh đối diện bằng nhau,...
Từ đặc điểm đó ta đi so sánh với 3 hình cịn lại và phân tích thấy: Đặc điểm thứ nhất
có 4 đỉnh, nhưng sản phẩm hình vng cũng có 4 đỉnh. Vì vậy ta có đặc điểm thứ hai
để so sánh sự khác biệt với hình vng, đó là 2 cạnh kề khơng bằng nhau với hình chữ
nhật, với hình vng thì chúng bằng nhau. Như vậy, đặc điểm nhận dạng sản phẩm
hình chữ nhật, gồm 4 đỉnh và 2 cạnh kề không bằng nhau.

SVTH: Bùi Anh Dũng
Phạm Lê Bảo Hoàng

Người hướng dẫn: ThS. Phan Thị Thanh Vân

4



Tên đề tài: Ứng dụng xử lý ảnh để phân loai sản phẩm theo hình dạng, điều khiển và giám sát qua WinCC

Hình 1. 1: Đặc điểm hình chữ nhật
Sản phẩm hình vng
Đặc điểm nhận dạng: Có 4 đỉnh, 4 cạnh, 4 góc vng, 2 cạnh đối diện đều bằng
nhau, 2 cạnh kề bằng nhau,… Từ đặc điểm đó ta đi so sánh với 3 hình cịn lại và phân
tích thấy: Đặc điểm thứ nhất có 4 đỉnh, nhưng sản phẩm hình chữ nhật cũng có 4 đỉnh
như đã đề cập ở trên. Chính vì vậy ta có đặc điểm thứ hai để so sánh sự khác biệt với
hình chữ nhật, đó là 2 cạnh bằng nhau. Như vậy, đặc điểm nhận dạng sản phẩm hình
vng, gồm 4 đỉnh và 2 cạnh kề bằng nhau.

Hình 1. 2: Đặc điểm hình vng
Sản phẩm hình trịn
Đặc điểm nhận dạng: Bán kính đều bằng nhau,… Từ đặc điểm đó ta đi so sánh
với 3 hình cịn lại và phân tích thấy: bán kính tính từ tâm đến đường trịn bên ngồi tất
cả chúng đều bằn nhau chính vì vậy đó là đặc điểm riêng biệt của hình trịn.

Hình 1. 3: Đặc điểm hình trịn
SVTH: Bùi Anh Dũng
Phạm Lê Bảo Hồng

Người hướng dẫn: ThS. Phan Thị Thanh Vân

5


Tên đề tài: Ứng dụng xử lý ảnh để phân loai sản phẩm theo hình dạng, điều khiển và giám sát qua WinCC

Sản phẩm hình tam giác

Đặc điểm nhận dạng: có 3 đỉnh và 3 cạnh là hình tam giác,… Từ đặc điểm đó ta
đi so sánh với 3 hình cịn lại và phân tích thấy: Chỉ có hình tam giác có 3 đỉnh, và đó
chính là đặc điểm đặc trưng riêng biệt của tam giác.

Hình 1. 4: Đặc điểm hình tam giác
Bảng 1. 1 Đặc điểm hình dạng sản phẩm
Đặc điểm

Hình vng

Hình chữ nhật

Hình trịn

Hình tam giác

đỉnh

4 đỉnh

4 đỉnh

khơng

3 đỉnh

2 cạnh kề bằng

2 cạnh kề không


nhau

bằng nhau

không

3 cạnh

không

Không

bằng nhau

không

cạnh
bán kính

Như vậy ta có thể thấy, ta chỉ cần tìm ba đặc điểm chính: Đỉnh, cạnh và bán kính.
Trong đó đỉnh liên quan đến hình tam giác, hình chữ nhật và hình vng. Cạnh chỉ có
hai hình là hình vng và hình chữ nhật. Bán kính chỉ liên quan tới hình trịn.
1.4.3 Phương pháp tìm đặc điểm hình dạng để phân loại sản phẩm
Để phân loại sản phẩm ta cần có đặc điểm của hình dạng, từ đó ta đi so sánh để
phân loại sản phẩm theo hình dạng.
Đỉnh của hình dạng
Đầu tiên ta tìm số đỉnh của các hình. Có 3 hình dạng có đặc điểm liên quan tới
đỉnh là hình chữ nhật, hình vng và hình tam giác. Đặc điểm gồm:



Có 4 đỉnh là hình vng và hình trịn



Có 3 đỉnh là hình tam giác

Cạnh của hình dạng
Vấn đề về cạnh chỉ có 2 hình là liên quan tới chúng là: hình chữ nhật và hình
vng. Đặc điểm gồm:


Hai cạnh kề bằng nhau là hình vng

SVTH: Bùi Anh Dũng
Phạm Lê Bảo Hoàng

Người hướng dẫn: ThS. Phan Thị Thanh Vân

6


Tên đề tài: Ứng dụng xử lý ảnh để phân loai sản phẩm theo hình dạng, điều khiển và giám sát qua WinCC



Hai cạnh kề khơng bằng nhau là hình chữ nhật

Bán kính của hình dạng
Bán kính là độ dài tính từ tâm tới điểm ngồi đường trịn, ở đây thì liên quan có
duy nhất một hình là hình trịn.

Có đặc điểm: bán kính bằng nhau.
1.4.3.1

Phương pháp tìm đỉnh

Hình 1. 5: Đỉnh của hình
Sử dụng thuật tốn Ramer-Douglas-Peucker để tìm đường bao xấp xỉ, từ đường
bao ta suy ra được đỉnh.

Hình 1. 6: Đoạn Ramer – Douglas – Peucker
Ý tưởng cơ bản của thuật toán Ramer-Douglas-Peucker là xét xem khoảng cách
lớn nhất từ đường cong tới đoạn thẳng nối hai điểm đầu và điểm cuối đường cong, có
lớn hơn ngưỡng θ khơng. Đầu tiên ta có điểm đầu và điểm cuối (tạm gọi là A, E) của
sẽ được giữ lại, sau đó tìm điểm có khoảng cách lớn nhất đến đường thẳng AB (tạm
gọi là điểm C và độ dài tạm gọi là h). Nếu khoảng h < θ thì điểm C sẽ bị loại bỏ, ngược
lại nếu h ≥ θ thì điểm C sẽ được giữ lại và sẽ được chia thành 2 đoạn thẳng là AC và
CB. Với từng đoạn AC và CB, thuật toán sẽ được lặp lại tương tự như với AB ban đầu.
Ở đây hình dạng sản phẩm là đa giác tức là đường viền couar nó chính là đường
khép kín từ đó có thể thấy điểm đầu và điểm cuối trùng nhau.

SVTH: Bùi Anh Dũng
Phạm Lê Bảo Hoàng

Người hướng dẫn: ThS. Phan Thị Thanh Vân

7