TÓM TẮT
Phát hiện các đối tượng chuyển động, theo dõi và vẽ quỹ đạo chuyển động là
các công đoạn quan trọng của nhiều ứng dụng thị giác máy tính, bao gồm các hệ
thống giám sát an ninh, điều khiển giao thông, điều khiển tự động……
Trong luận văn này, sự phát hiện các đối tượng chuyển động sử dụng thuật
toán trừ nền dựa trên phương pháp Gaussian hỗn hợp, các hoạt động giám sát được
dựa trên kết quả mặt nạ giám sát để loại bỏ nhiễu. Cuối cùng, phân tích Blob phát
hiện nhóm các điểm ảnh được kết nối, tương ứng các đối tượng chuyển động.
Sự liên kết các chuyể n đô ̣ng đươ ̣c phát hiê ̣n vào đường đi của đố i tươ ̣ng được
thực hiê ̣n dựa trên sự chuyển động. Lọc Kalman được sử dụng để dự báo vị trí của
đớ i tươ ̣ng trong mỗi khung ảnh và đô ̣ tin câ ̣y được gán cho mỗi phát hiê ̣n.
Bước cuối cùng của luận văn là vẽ quỹ đạo chuyển động của các đối tượng từ
tâm của các theo dõi đã được gán.
Hướng dẫn khoa học: PGS TS. Dương Hoài Nghĩa
Chức danh: Giảng viên

v


ABSTRACT
Detection of moving objects, tracking and drawing the trajectory of the
moving objects are important components of many computer vision applications,
including security monitoring systems, traffic control systems, automatic control
systems…
In this thesis, the detection of moving objects uses a background subtraction
algorithm based on Gaussian mixture models, monitoring operations are applied to
the resulting foreground mask to eliminate noise. Finally, Blob analysis detects
groups of connected pixels, which are likely to correspond to moving objects.
The linking of the detected motion to the path of the object is made based on
the motion. Kalman filtering is used to predict the location of the object in each
frame and the reliability assigned to each detection.

The final step of the thesis is to draw the trajectory of the objects from the
center of the assigned tracks.
Thesis Supervisor: Hoai Nghia Duong, PhD
Title: Lecturer

vi


MỤC LỤC
TRANG
Trang tựa
Quyết định giao đề tài
Quyết định đổi tên đề tài
Lý lịch khoa học ........................................................................................................... i
Lời cam đoan ............................................................................................................. iii
Cảm tạ ........................................................................................................................ iv
Tóm tắt ........................................................................................................................ v
Mục lục ......................................................................................................................vii
Danh sách các chữ viết tắt ......................................................................................... xi
Danh sách các hình .................................................................................................... xi
Chương 1. TỔNG QUAN ........................................................................................... 1
1.1. Tổng quan về đề tài và các kết quả nghiên cứu trong, ngoài nước ...................... 1
1.2. Mục tiêu nghiên cứu............................................................................................. 3
1.3. Nhiệm vụ và giới hạn của đề tài........................................................................... 3
1.3.1. Nhiệm vụ của đề tài .................................................................................. 3
1.3.2. Giới hạn của đề tài .................................................................................... 3
1.4. Phương pháp nghiên cứu...................................................................................... 3
1.5. Ý nghĩa thực tiễn của luận văn ............................................................................. 4
1.6. Cấu trúc của luận văn ........................................................................................... 4
Chương 2. CƠ SỞ LÝ THUYẾT ................................................................................ 5

2.1. Tổng quan về hệ thống camera quan sát .............................................................. 5
2.1.1. Cấu tạo chung của hệ thống camera quan sát ............................................. 5
2.1.1.1. Camera .......................................................................................... 5
2.1.1.2. Đầu ghi hình ................................................................................. 5
2.1.1.3. Ổ cứng HDD ................................................................................. 6
2.1.1.4. Dây nguồn và dây tín hiệu ............................................................ 6

vii


2.1.2. Ứng dụng của hệ thống camera quan sát .................................................... 6
2.1.3. Hoạt động của hệ thống camera quan sát ................................................... 7
2.2. Các vấn đề liên quan đến ảnh số .......................................................................... 7
2.2.1. Điểm ảnh..................................................................................................... 7
2.2.2. Mức xám của ảnh ....................................................................................... 7
2.2.3. Định nghĩa ảnh số ....................................................................................... 8
2.2.4. Quan hệ giữa các điểm ảnh......................................................................... 8
2.2.5. Phân loại ảnh số ........................................................................................ 10
2.2.6. Màu sắc ..................................................................................................... 11
2.3. Các vấn đề liên quan đến video số ..................................................................... 13
2.3.1. Cấu trúc của video .................................................................................... 13
2.3.2. Ưu, nhược điểm của video số ................................................................... 14
2.3.3. Đối tượng video ........................................................................................ 14
2.3.4. Chuyển động của đối tượng video ............................................................ 15
2.3.5. Bộ lọc trung vị (Median Filter) ................................................................ 16
2.3.6. Bộ lọc hình thái (Morphology Filter) ....................................................... 17
2.3.7. Phân tích BLOB........................................................................................ 18
2.4. Các vấn đề liên quan đến phát hiện và theo dõi đối tượng chuyển động trong
video ................................................................................................................... 20
2.4.1. Ngưỡng ..................................................................................................... 20

2.4.2. Ước lượng chuyển động ........................................................................... 21
2.4.3. Dự đoán vị trí của đối tượng trong tương lai ............................................ 22
2.4.4. So khớp đối tượng .................................................................................... 23
2.4.5. Theo dõi đối tượng ................................................................................... 24
2.4.6. Hiện tượng che phủ .................................................................................. 25
2.4.7. Cập nhật đối tượng ................................................................................... 26
2.5. Bộ lọc Kalman.................................................................................................... 26
Chương 3. PHÁT HIỆN CHUYỂN ĐỘNG ............................................................. 29

viii


3.1. Giới thiệu sơ đồ khối của quá trình phân tích video giám sát ............................ 29
3.2. Một số phương pháp phát hiện chuyển động ..................................................... 29
3.2.1. Phương pháp so sánh sự khác biệt ............................................................ 30
3.2.2. Phương pháp trừ nền ................................................................................ 31
3.2.3. Phương pháp Gaussian hỗn hợp ............................................................... 35
3.3. Sơ đồ khối phát hiện chuyển động ..................................................................... 37
3.4. Kết quả mô phỏng .............................................................................................. 37
3.4.1. Phát hiện chuyển động bằng phương pháp trừ nền với ảnh nền không
chứa đối tượng chuyển động ................................................................... 37
3.4.2. Phát hiện chuyển động bằng phương pháp trừ nền với ảnh nền có chứa
đối tượng chuyển động ............................................................................ 40
3.4.3. Phát hiện đối tượng chuyển động sử dụng thuật toán trừ nền dựa trên
phương pháp Gaussian hỗn hợp .............................................................. 41
Chương 4. THEO DÕI VÀ VẼ QUỸ ĐẠO CHUYỂN ĐỘNG ............................... 42
4.1. Giải thuật theo dõi và vẽ quỹ đạo chuyển động ................................................. 42
4.2. Phân tích giải thuật ............................................................................................ 43
4.2.1 Khối rút trích mơ hình đối tượng ............................................................... 43
4.2.2 So khớp đối tượng ..................................................................................... 44

4.2.3 Thêm mới đối tượng .................................................................................. 45
4.2.4 Cập nhật đối tượng và tâm hiệu chỉnh ..................................................... 46
4.2.5 Ước lượng đối tượng hoặc loại bỏ đối tượng mất dấu ............................ 46
4.2.6 Dự đốn vị trí của đối tượng..................................................................... 47
4.2.7 Lưu tâm và vẽ quỹ đạo chuyển động ........................................................ 47
4.3. Vai trò của bộ lọc Kalman trong theo dõi và vẽ quỹ đạo chuyển động của đối
tượng ......................................................................................................................... 47
4.4. Kết quả mô phỏng .............................................................................................. 49
4.4.1. Trong vùng quan sát của camera chỉ có một đối tượng chuyển động ...... 50
4.4.2. Trong vùng quan sát của camera có nhiều đối tượng chuyển động không
giao nhau .................................................................................................. 56

ix


4.4.3. Trong vùng quan sát của camera có các đối tượng chuyển động bị che
khuất hoặc giao nhau ............................................................................... 63
Chương 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN .............................................. 68
5.1. Kết luận .............................................................................................................. 68
5.2. Hướng phát triển ................................................................................................ 68
Tài liệu tham khảo ..................................................................................................... 70

x


DANH SÁCH CÁC CHỮ VIẾT TẮT

Chữ viết tắt

Diễn giải


CCTV

Closed-circuit television – Truyền hình kép kín

HDD

Hard Disk Drive - Ổ đĩa cứng

RGB

Red Green Blue - Đỏ, xanh lá cây, xanh dương

HSV

Hue Saturation Value – Màu sắc, độ bảo hòa, giá trị

BLOB

Binary Large Object - Đối tượng nhị phân lớn

xi


DANH SÁCH CÁC HÌNH
Hình 2.1: Lân cận các điểm ảnh của tọa độ (x,y) ....................................................... 9
Hình 2.2: Mơ hình màu RGB ................................................................................... 12
Hình 2.3: Mơ hình màu HSV ................................................................................... 12
Hình 2.4: Mơ hình cấu trúc của video ...................................................................... 13
Hình 2.5: Chuỗi ảnh ................................................................................................. 14

Hình 2.6: Cách thức hoạt động của lọc trung vị ...................................................... 16
Hình 2.7: Minh họa hiệu ứng giãn nở của thao tác Hit ............................................ 17
Hình 2.8: Minh họa hiệu ứng xói mịn của thao tác Fit ........................................... 18
Hình 2.9: Ảnh đầu vào và ảnh đầu ra của thuật tốn Grass – Fire ........................... 19
Hình 2.10: Vectơ dịch chuyển d ............................................................................. 21
Hình 2.11: Minh họa thuật tốn cập nhập vị trí khi hai đối tượng giao nhau .......... 25
Hình 2.12: Chu trình bộ lọc Kalman ........................................................................ 26
Hình 3.1: Sơ đồ khối của q trình phân tích video giám sát .................................. 29
Hình 3.2: Minh họa kết quả so sánh sự khác biệt .................................................... 31
Hình 3.3: Sơ đồ xử lý trong bộ phát hiện chuyển động bằng phương phát trừ nền..32
Hình 3.4: Bóng ma trong phương pháp trừ nền ....................................................... 35
Hình 3.5: Sơ đồ khối phát hiện chuyển động ........................................................... 37

xii


Hình 3.6: Phát hiện chuyển động bằng phương pháp trừ nền với kết quả với chưa
được xử lý ................................................................................................ 38
Hình 3.7: Phát hiện chuyển động bằng phương pháp trừ nền sử dụng bộ lọc Median
với cửa sổ [5 5] và loại bỏ các vùng có kích thước nhỏ hơn 100 ............ 38
Hình 3.8: Phát hiện chuyển động bằng phương pháp trừ nền sử dụng bộ lọc Median
với cửa sổ [3 3] và loại bỏ các vùng có kích thước nhỏ hơn 500 ............ 39
Hình 3.9: Phát hiện chuyển động bằng phương pháp trừ nền sử dụng bộ lọc Median
với cửa sổ [3 3] và loại bỏ các vùng có kích thước nhỏ hơn 1000 .......... 39
Hình 3.10: Phát hiện chuyển động bằng phương pháp trừ nền sử dụng bộ lọc
Median với cửa sổ [5 5] và loại bỏ các vùng có kích thước nhỏ hơn 1400 ... 39
Hình 3.11: Phát hiện chuyển động bằng phương pháp trừ nền (nền có chứa đối
tượng) sử dụng bộ lọc Median với cửa sổ [5 5] và loại bỏ các vùng có
kích thước nhỏ hơn 1400 ......................................................................... 40
Hình 3.12: Phát hiện chuyển động sử dụng thuật toán trừ nền dựa trên phương pháp

Gaussian hỗn hợp..................................................................................... 41
Hình 4.1: Giải thuật theo dõi và vẽ quỹ đạo chuyển động ....................................... 42
Hình 4.2: Ảnh thật và ảnh rút trích đối tượng khi chưa xuất hiện đối tượng chuyển
động (khung hình thứ 4 của đoạn video motnguoi.avi) ........................... 50
Hình 4.3: Ảnh thật và ảnh rút trích đối tượng khi xuất hiện đối tượng chuyển động
nhưng chưa được gán nhãn (khung hình thứ 38 của đoạn video motnguoi.avi) ...... 51
Hình 4.4: Ảnh thật và ảnh rút trích đối tượng của một đối tượng chuyển động
(khung hình thứ 107 của đoạn video motnguoi.avi) ................................ 51

xiii


Hình 4.5: Ảnh thật và ảnh rút trích đối tượng của một đối tượng chuyển động
(khung hình thứ 328 của đoạn video motnguoi.avi) ................................ 52
Hình 4.6: Ảnh thật và ảnh rút trích đối tượng của một đối tượng chuyển động
(khung hình thứ 524 của đoạn video motnguoi.avi) ................................ 52
Hình 4.7: Ảnh thật và ảnh rút trích đối tượng của một đối tượng chuyển động
(khung hình thứ 633 của đoạn video motnguoi.avi) ................................ 52
Hình 4.8: Ảnh thật và ảnh rút trích đối tượng khi đối tượng chuyển động ra khỏi
vùng quan sát (khung hình thứ 784 của đoạn video motnguoi.avi) ........ 53
Hình 4.9: Quỹ đạo chuyển động của một đối tượng trong đoạn video
motnguoi.avi ............................................................................................ 55
Hình 4.10: Ảnh thật và ảnh rút trích đối tượng của hai đối tượng chuyển động
khơng giao nhau (khung hình thứ 66 của đoạn video hainguoi.avi) ....... 56
Hình 4.11: Ảnh thật và ảnh rút trích đối tượng của hai đối tượng chuyển động
không giao nhau (khung hình thứ 231 của đoạn video hainguoi.avi) ..... 57
Hình 4.12: Ảnh thật và ảnh rút trích đối tượng của hai đối tượng chuyển động
khơng giao nhau (khung hình thứ 389 của đoạn video hainguoi.avi) ..... 57
Hình 4.13: Ảnh thật và ảnh rút trích đối tượng của hai đối tượng chuyển động
khơng giao nhau (khung hình thứ 545 của đoạn video hainguoi.avi) ..... 57

Hình 4.14: Quỹ đạo chuyển động của hai đối tượng khơng giao nhau trong đoạn
video hainguoi.avi.................................................................................... 58
Hình 4.15: Ảnh thật và ảnh rút trích đối tượng của ba đối tượng chuyển động khơng
giao nhau (khung hình thứ 40 của đoạn video banguoi.avi) ................... 60

xiv


Hình 4.16: Ảnh thật và ảnh rút trích đối tượng của ba đối tượng chuyển động khơng
giao nhau (khung hình thứ 125 của đoạn video banguoi.avi) ................. 60
Hình 4.17: Ảnh thật và ảnh rút trích đối tượng của 3 đối tượng chuyển động khơng
giao nhau (khung hình thứ 227 của đoạn video banguoi.avi) ................. 60
Hình 4.18: Quỹ đạo chuyển động của ba đối tượng không giao nhau trong đoạn
video banguoi.avi ..................................................................................... 61
Hình 4.19: Ảnh thật và ảnh rút trích đối tượng của người và xe chuyển động không
giao nhau (khung hình thứ 220 của đoạn video nguoivaxe.avi) .............. 62
Hình 4.20: Ảnh thật và ảnh rút trích đối tượng của người và xe chuyển động khơng
giao nhau (khung hình thứ 303 của đoạn video nguoivaxe.avi) .............. 62
Hình 4.21: Ảnh thật và ảnh rút trích đối tượng của người và xe chuyển động khơng
giao nhau (khung hình thứ 452 của đoạn video nguoivaxe.avi) .............. 62
Hình 4.22: Quỹ đạo chuyển động của người và xe trong đoạn video
nguoivaxe.avi ........................................................................................... 63
Hình 4.23: Ảnh thật và ảnh rút trích đối tượng của hai đối tượng chuyển động vừa
mới giao nhau (khung hình thứ 309 của đoạn video giaonhau.avi) ........ 64
Hình 4.24: Ảnh thật và ảnh rút trích đối tượng của hai đối tượng chuyển động vừa
mới giao nhau (khung hình thứ 449 của đoạn video giaonhau.avi) ........ 64
Hình 4.25: Ảnh thật và ảnh rút trích đối tượng của hai đối tượng chuyển động vừa
mới giao nhau (khung hình thứ 629 của đoạn video giaonhau.avi) ........ 64
Hình 4.26: Ảnh thật và ảnh rút trích đối tượng của hai đối tượng giao nhau hợp
thành một đối tượng (khung hình thứ 470 của đoạn video giaonhau.avi) ..... 65


xv


Hình 4.27: Ảnh thật và ảnh rút trích đối tượng của hai đối tượng chuyển động được
tách ra từ một đối tượng giao nhau trước đó (khung hình thứ 530 của
đoạn video giaonhau.avi) ......................................................................... 66
Hình 4.28: Quỹ đạo chuyển động của các đối tượng giao nhau trong đoạn video
giaonhau.avi ............................................................................................. 66

xvi


Chương 1

TỔNG QUAN
1.1.

Tổng quan về đề tài và các kết quả nghiên cứu trong, ngoài nước.
Vào những năm 1960, việc xử lý ảnh số đã ra đời như nén ảnh, nhận dạng…

và gần đây nhất cùng với sự ra đời của nhiều trang thiết bị hiện đại thì xử lý video
đã mang lại nhiều tiện ích cho cuộc sống. Ngày nay, việc nghiên cứu ảnh số và
video số đã khá phổ biến ở các nước tiên tiến nhưng ở nước ta lĩnh vực này cũng
còn tương đối mới mẽ. Khi năng lực tính tốn của máy tính ngày càng trở nên mạnh
mẽ hơn, máy tính có thể xử lý được các hình ảnh, các đoạn video thì xử lý ảnh cịn
được gọi là thị giác máy tính.
Phát hiện, theo dõi và vẽ quỹ đạo của các đối tượng chuyển động trong video
đã được ứng dụng rộng rãi trong giám sát, an ninh và vấn đề quan sát trong khoa
học tự nhiên và trong các lĩnh vực khác. Video giám sát cho mục đích an ninh là

một trong những ứng dụng chính. Phát hiện, theo dõi và vẽ quỹ đạo chuyển động
của các đối tượng được ưu tiên cao ở những nơi tơn giáo, các tịa nhà mua sắm, tịa
án, trạm xe lửa và sân bay. Nhiều ứng dụng khác bao gồm quân sự, thiên văn học,
luật giao thông đường bộ, robot, ảnh y khoa.
Việc phân tích video giám sát về cơ bản bao gồm 3 bước chính:


Phát hiện chuyển động: trong thị giác máy tính là cơng việc phân đoạn ảnh

để tách các đối tượng chuyển động ra khỏi nền. Phát hiện chuyển động là hướng
nghiên cứu dành được rất nhiều sự quan tâm vì khả năng ứng dụng của nó. Phát
hiện chuyển động sử dụng kỹ thuật trừ nền là phương pháp khá phổ biến và đã được
nghiên cứu trong [1], [2], [3], [10], [11], [12], [20]… Kỹ thuật này địi hỏi ảnh nền
tham chiếu có cùng đơ ̣ sáng với ảnh video cầ n xử lý. Sự khác biê ̣t về đô ̣ sáng giữa
ảnh nề n và ảnh video cầ n xử lý dẫn đế n toàn bộ khung ảnh video bị xem là vùng
chuyển động nên không thể phát hiện được đối tượng chuyển động. Các trường hơ ̣p
đố i tươ ̣ng đứng yên trong ảnh video nhưng không có trong ảnh nề n hoă ̣c đố i tươ ̣ng

1


đứng yên trong ảnh nề n nhưng không có trong ảnh video đề u bi ̣nhâ ̣n diê ̣n sai là đối
tượng chuyển động. Kỹ thuật trừ ảnh hiện tại và ảnh trước đó để phát hiện đối
tượng chuyển động đã đươ ̣c nghiên cứu trong [2], [3], [21]. Tuy nhiên kết quả thu
được cũng kém chính xác đối với trường hợp có đối tượng xuất hiện sau đó đứng
yên trong các khung hình đang xét hoặc đối tượng đứng yên trong ảnh nền di
chuyển ra khỏi ảnh nền thì tại vị trí đó sẽ ln bị nhận diện sai là đối tượng chuyển
động. Phương pháp Gaussian hỗn hợp dựa vào lý thú t xác xuất để xây dựng mơ
hình nền dùng trong phát hiện đối tượng chuyển động đã đươ ̣c nghiên cứu trong [2],
[13], [22]. Phương pháp dòng quang học dựa vào các vectơ chuyển động để phát

hiện đối tượng chuyển động đã đươ ̣c nghiên cứu trong [3], [11], [23].
 Theo dõi đối tượng: là ước lượng chuyển động của đối tượng trong mặt
phẳng ảnh khi nó chuyển động quanh cảnh, các chỉ số đối tượng thích hợp được gán
cho các đối tượng được theo dõi qua các khung ảnh của video giám sát. Có nhiều
phương pháp được áp dụng để theo dõi đối tượng như: Mean Shift, Cam Shift, bộ
lọc Kalman đã được nghiên cứu trong [1], [2], [3],[12] trong đó bộ lọc Kalman
được sử dụng phổ biến nhất.
 Vẽ quỹ đạo chuyển động: là lưu lại tâm của các đối tượng được theo dõi
trong từng khung ảnh của video giám sát, khi xử lý xong toàn bộ video ta sẽ thu
được quỹ đạo chuyển động để phân tích hành vi của chúng.
Từ tình hình nghiên cứu như trên, với mong muốn giúp các hệ thống giám sát
đạt hiệu quả cao hơn như chỉ rút trích các đối tượng chuyển động trong từng ảnh mà
không cần quan tâm đến nền và cuối cùng là vẽ được quỹ đạo của các đối tượng
chuyển động cần quan tâm để ta có thể phân tích hành vi của chúng nên tôi thực
hiện đề tài “Phát hiện vẽ quỹ đạo chuyển động trong xử lý ảnh dùng bộ lọc
Kalman”.
1.2.

Mục tiêu nghiên cứu
Xây dựng các chương trình mơ phỏng có khả năng phát hiện chuyển động,

theo dõi và vẽ quỹ đạo của các đối tượng chuyển động được theo dõi qua các khung
hình trong video giám sát do camere tĩnh thu được trong điều kiện ánh sáng ít thay
đổi.

2


Nhiệm vụ và giới hạn của đề tài


1.3.

1.3.1. Nhiệm vụ của đề tài
-

Phát hiện tất cả các đối tượng chuyển động trong video mà không phân biệt là
người, vật hay xe cộ….

-

Theo dõi các đối tượng chuyển động cần quan tâm.

-

Vẽ quỹ đạo chuyển động của các đối tượng được theo dõi.

1.3.2. Giới hạn của đề tài
Các video được quay bởi camera tĩnh trong điều kiện ánh sáng ít thay đổi.
Độ chính xác ở mức tương đối do kết quả cuối cùng là sự tổng hợp của nhiều
khâu xư lý như phát hiện đối tượng chuyển động, theo dõi đối tượng cần quan tâm
và vẽ quỹ đạo chuyển động của chúng.
Xử lý các khung hình có độ phân giải vừa phải để đảm thời gian xử lý không
quá lâu.
Đề tài chỉ xây dựng chương trình mơ phỏng trên máy tính không thi công phần
cứng.
1.4.

Phương pháp nghiên cứu
Sử dụng phương pháp phân tích và tổng hợp lý thuyết, cụ thể là tìm hiểu các tài


liệu có liên quan đến đề tài để đưa ra những nhận định và rút ra được nội dung cần
trình bày trong luận văn. Tìm hiểu các kết quả nghiên cứu đã công bố trong nước và
quốc tế.
Sử dụng phương pháp mơ hình hóa. Dựa vào mơ hình thuật tốn trừ nền,
phương pháp Gaussian hỗn hợp và bộ lọc Kalman… để phát hiện, theo dõi và vẽ
quỹ đạo chuyển động của đối tượng. Người nghiên cứu sử dụng các hàm có sẵn
dành cho xử lý ảnh kết hợp với ngơn ngữ lập trình C để xây dựng các chương trình
mơ phỏng trên phần mềm Matlab.
Sử dụng phương pháp quan sát, phân tích, tổng kết kinh nghiệm. Sau khi xây
dựng và chạy các chương trình mơ phỏng, người nghiên cứu tiến hành phân tích các
kết quả thu được và điều chỉnh lại các thông số hoặc cải tiến chương trình mơ
phỏng để thu được kết quả mơ phỏng tốt nhất.
Tổng hợp viết báo cáo.

3


1.5.

Ý nghĩa thực tiễn của luận văn
Nghiên cứu về phát hiện, theo dõi đối tượng chuyển động để từ đó vẽ quỹ đạo

chuyển động của chúng trong vùng quan sát là những bước quan trọng trong phân
tích video giám sát do camera tĩnh thu được và có ứng dụng quan trọng trong thực
tiễn.
Hiện nay, việc nghiên cứu về xử lí video số ở nước ta đang được tiến hành với
các đề tài về giám sát giao thông và theo vết đối tượng bằng lưới ... Đồng thời việc
nghiên cứu thành cơng đề tài này sẽ góp phần kiểm chứng phương pháp phát hiện
chuyển động bằng phương pháp trừ nền kết hợp phương pháp mơ hình Gaussian
hỗn hợp và kỹ thuật theo dõi đối tượng bằng các thuật toán của bộ lọc Kalman để

thu được sản phẩm cuối cùng là quỹ đạo chuyển động của các đối tượng trong video
giám sát.
Kết quả nghiên cứu của đề tài là dữ liệu đầu vào của các cơng trình nghiên cứu
khác như kết hợp với phương pháp phân lớp đối tượng và nhận dạng khn mặt ta
có thể theo dõi được các đối tượng là người mà ta cần giám sát trong một số trường
hợp cần thiết.
Đề tài góp phần tạo nền tảng cho các ứng dụng trong lĩnh vực thị giác máy
tính. Đề tài có thể được ứng dụng ngay vào lĩnh vực giám sát an ninh để quan sát
các đối tượng ra vào cơ quan, dựa vào quỹ đạo chuyển động có thể biết được đối
tượng vào đường nào và ra đường nào, hoặc ứng dụng vào lĩnh vực sản xuất để đo
đếm hàng hóa, sản phẩm.
1.6.

Cấu trúc của luận văn
Với mục tiêu cần nghiên cứu như trên thì các chương tiếp theo của luận văn có

nội dụng như sau:
Chương 2: Cơ sở lý thuyết
Chương 3: Phát hiện chuyển động
Chương 4: Theo dõi và vẽ quỹ đạo chuyển động
Chương 5: Kết luận và hướng phát triển

4


Chương 2

CƠ SỞ LÝ THUYẾT
2.1 Tổng quan về hệ thống camera quan sát
Camera quan sát hay camera giám sát, camera an ninh (Closed-circuit

television - CCTV), là việc sử dụng các máy quay video để truyền tín hiệu đến một
nơi cụ thể, trên một số màn hình giới hạn. Nó khác với truyền hình phát sóng trong
đó các tín hiệu được truyền không công khai. Những thiết bị cơ bản của một bộ
camera quan sát là: Camera quan sát, ổ cứng HDD (giúp lưu trữ dữ liệu cho hoạt
động của camera quan sát), dây nguồn và dây tín hiệu, màn hình và các phụ kiện
khác.
2.1.1 Cấu tạo chung của hệ thống camera quan sát
2.1.1.1

Camera

Là bộ phận chính của hệ thống camera quan sát, nó có vai trị quan trọng
nhất. Chức năng thu nhận và ghi lại hình ảnh diễn ra xung quanh nó. Tùy theo từng
điều kiện mà có thể lắp đặt các loại camera sao cho phù hợp như camera màu –
quan sát hiện tượng trong điều kiện lí tưởng, camera quay qt có thể chụp lại hình
ảnh một cách nhanh nhạy, camera hồng ngoại chụp ảnh trong điều kiện ánh sáng
yếu và camera ip (hay còn gọi là camera mạng): được kết nối trực tiếp vào mạng,
tín hiệu hình ảnh và điều khiển được truyền qua mạng. Với camera ip người dùng
có thể điều khiển và giám sát ở bất cứ đâu thông qua mạng internet, khi lắp đặt
camera ip người ta thường sử dụng dây mạng, ngoài ra dịng camera ip cịn có loại
sử dụng WIFI, khi lắp đặt camera không cần sử dụng dây (nhưng vẫn phải có dây
nguồn). Loại camera WIFI này có tính ổn định và an tồn khơng cao.
2.1.1.2

Đầu ghi hình

Đầu ghi hình là thiết bị giúp lưu trữ và kết nối các thiết bị camera quan sát
cũng như các thiết bị khác bên ngoài. Đây là một thành phần quan trọng khi chúng
ta muốn lắp đặt camera để giám sát được sử dụng như bộ não của toàn hệ thống. Dù
camera quan sát chất lượng có tốt thế nào mà ta sử dụng đầu ghi không hợp tiêu

chuẩn hoặc không tốt cũng ảnh hưởng lớn đến chất lượng hình ảnh của camera giám

5


sát. Ngồi ra chúng ta có thể chú ý thêm một số chức năng quan trọng khác của đầu
ghi hình như:
- Đầu ghi hình giúp kết nối internet: người sử dụng có thể truy cập đầu ghi
thơng qua mạng internet.
- Audio: người sử dụng có thể dùng đầu ghi như là công cụ truyền âm thanh.
- Cổng RS485: hỗ trợ điều khiển PTZ.
- Hệ thống báo động: người sử dụng có thể tạo 1 hệ thống báo động nhỏ bằng
cách sử dụng đầu ghi.
2.1.1.3

Ổ cứng HDD

Điều dễ hiểu cũng như các thiết bị ổ cứng ở máy tính, ổ cứng dùng cho đầu
ghi cũng được sử dụng với mục đích làm kho lưu trữ dữ liệu quan sát được từ
camera truyền về. Ổ cứng được lắp trong đầu ghi có thể từ 1 đến 3 chiếc tùy theo
mức độ hỗ trợ của đầu ghi và tùy theo dung lượng ổ cứng.
2.1.1.4

Dây nguồn và dây tín hiệu

Dây nguồn giúp duy trì hoạt động của các camera quan sát ở các vị trí. Nếu
hệ thống lớn, kết cấu địa hình đơn giản có thể sử dụng nguồn tổng cho hệ thống
camera. Tuy nhiên nếu hệ thống cần quan sát liên tục chúng ta nên dùng nguồn rời
để đảm bảo mức độ ổn định cho toàn hệ thống và tránh ảnh hưởng đến chất lượng
của toàn hệ thống khi lỗi hỏng một thiết bị nào đó.

Dây tín hiệu giúp truyền tín hiệu quan sát ổn định. Với camera tương tự
thường sử dụng là cáp đồng trục. Tuy nhiên cũng phải nói rõ với hệ thống có
khoảng cách lớn dù dây tín hiệu có tốt như thế nào vẫn cần có bộ khuyếch đại tín
hiệu để tránh nhiễu tín hiệu truyền về cũng như giảm được các tín hiệu nhiễu sóng,
mất hoặc mờ hình ảnh camera quan sát.
2.1.2 Ứng dụng của hệ thống camera quan sát
Thông thường hệ thống camera thường được áp dụng trong những cơng trình
lớn. Tuy nhiên, trong các cơng trình nhà thơng minh thì hệ thống camera chống
trộm cũng đặc biệt hữu dụng.
Ngân hàng, kho, siêu thị, trạm xăng dầu.
Các khu chung cư, khách sạn, văn phòng, bệnh viện, khu vực buôn bán.
Bãi đỗ xe, hành lang cửa ra vào, thang máy.

6


2.1.3 Hoạt động của hệ thống camera quan sát
Camera sẽ được bố trí tại những nơi dễ quan sát, tại đây camera sẽ liên tục
thu nhận và truyền thông tin về tại trung tâm điều khiển. Tồn bộ hình ảnh này được
lưu trữ trong bộ nhớ và hiển thị trên các màn hình quan sát.
Hệ thống CCTV của hệ thống camera quan sát cho phép bảo vệ, nhân viên
an ninh có thể quan sát được để khi có bất kì sự cố nào có thể nắm bắt kịp thời, hoặc
có thể làm bằng chứng quan trọng trước pháp luật. Ngày nay, hệ thống hiện đại này
giúp cho việc lưu trữ xem lại cũng như sao lưu các tài liệu cực kì dễ dàng. Khơng
những thế có thể thao tác từ xa kịp thời khiến người sử dụng có thể chủ động hơn
nhiều.
2.2 Các vấn đề liên quan đến ảnh số
2.2.1 Điểm ảnh
Gốc của ảnh (ảnh tự nhiên) là ảnh liên tục về không gian và độ sáng. Để xử
lý bằng máy tính, ảnh cần phải được số hóa. Số hóa ảnh là sự biến đổi gần đúng một

ảnh liên tục thành một tập điểm phù hợp với ảnh thật về vị trí (khơng gian) và độ
sáng (mức xám). Khoảng cách giữa các điểm ảnh đó được thiết lập sao cho mắt
người không phân biệt được ranh giới giữa chúng. Mỗi một điểm như vậy gọi là
điểm ảnh (PEL: Picture Element) hay gọi tắt là pixel. Trong khuôn khổ ảnh hai
chiều, mỗi pixel ứng với cặp tọa độ (x, y).
Định nghĩa: Điểm ảnh là một phần tử của ảnh số tại toạ độ (x, y) với độ xám
hoặc màu nhất định. Kích thước và khoảng cách giữa các điểm ảnh đó được chọn
thích hợp sao cho mắt người cảm nhận sự liên tục về không gian và mức xám (hoặc
màu) của ảnh số gần như ảnh thật. Mỗi phần tử trong ma trận được gọi là một phần
tử ảnh.
2.2.2 Mức xám của ảnh
Một điểm ảnh có hai đặc trưng cơ bản là vị trí (x, y) của điểm ảnh và độ xám
của nó. Dưới đây chúng ta xem xét một số khái niệm và thuật ngữ thường dùng
trong xử lý ảnh:

7


-

Định nghĩa: Mức xám của điểm ảnh là cường độ sáng của nó được gán bằng giá

trị số tại điểm đó.
-

Các thang giá trị mức xám thơng thường: 16, 32, 64, 128, 256 (Mức 256 là mức

phổ dụng. Lý do: từ kỹ thuật máy tính dùng 1 byte (8 bit) để biểu diễn mức xám:
Mức xám dùng 1 byte biểu diễn: 28=256 mức, tức là từ 0 đến 255).
-


Ảnh đen trắng: là ảnh có hai màu đen, trắng (khơng chứa màu khác) với mức

xám ở các điểm ảnh có thể khác nhau.
-

Ảnh nhị phân: ảnh chỉ có 2 mức đen trắng phân biệt tức dùng 1 bit mô tả 21

mức khác nhau. Nói cách khác: mỗi điểm ảnh của ảnh nhị phân chỉ có thể là 0 hoặc
1.
-

Ảnh màu: trong khuôn khổ lý thuyết ba màu (Red, Blue, Green) để tạo nên thế

giới màu, người ta thường dùng 3 byte để mơ tả mức màu, khi đó các giá trị màu:
28*3=224≈ 16,7 triệu màu.
2.2.3 Định nghĩa ảnh số
Ảnh số là tập hợp các điểm ảnh với mức xám phù hợp dùng để mô tả ảnh gần
với ảnh thật.
Ảnh số trong không gian rời rạc thu được từ ảnh tương tự trong khơng gian
liên tục thơng qua q trình số hóa. Q trình số hóa có thể hiểu đơn giản như sau:
-

Ảnh tương tự được chia thành M hàng và N cột.

-

Giao của hàng và cột gọi là pixel.

-


Giá trị biên độ của pixel tại tọa độ nguyên (m,n) là s(m,n): là trung bình độ sáng

trong pixel đó. s(m,n) ≤ L (L số mức xám dùng để biểu diễn ảnh).
2.2.4 Quan hệ giữa các điểm ảnh
Một ảnh số giả sử được biểu diễn bằng hàm f(x, y). Tập con các điểm ảnh là S;
cặp điểm ảnh có quan hệ với nhau ký hiệu là p, q. Chúng ta nêu một số các khái
niệm sau.
a) Các lân cận của điểm ảnh:
-

Giả sử có điểm ảnh p tại toạ độ (x, y). p có 4 điểm lân cận gần nhất theo chiều

đứng và ngang (có thể coi như lân cận 4 hướng chính: Đông, Tây, Nam, Bắc).

8


{(x-1, y); (x, y-1); (x, y+1); (x+1, y)} = N4(p)
trong đó: số 1 là giá trị logic; N4(p) tập 4 điểm lân cận của p.

Nam

Đông

y
Bắc

x


Tây

(x -1, y-1)

(x, y-1)

(x+1, y-1)

(x -1, y)

(x, y)

(x+1, y)

(x-1, y+1)

(x, y+1)

(x+1, y+1)

Hình 2.1: Lân cận các điểm ảnh của tọa độ (x,y) [7].
-

Các lân cận chéo: Các điểm lân cận chéo NP(p) (Có thể coi lân cận chéo là 4

hướng: Đông-Nam, Đông-Bắc, Tây-Nam, Tây-Bắc)
Np(p) = { (x+1, y+1); (x+1, y-1); (x-1, y+1); (x-1, y-1)}
-

Tập kết hợp: N8(p) = N4(p) + NP(p) là tập hợp 8 lân cận của điểm ảnh p.


-

Chú ý: Nếu (x, y) nằm ở biên (mép) ảnh; một số điểm sẽ nằm ngoài ảnh.
b) Các mối liên kết điểm ảnh.
Các mối liên kết được sử dụng để xác định giới hạn (Boundaries) của đối

tượng vật thể hoặc xác định vùng trong một ảnh. Một liên kết được đặc trưng bởi
tính liền kề giữa các điểm và mức xám của chúng.
Giả sử V là tập các giá trị mức xám. Một ảnh có các giá trị cường độ sáng từ
thang mức xám từ 32 đến 64 được mô tả như sau:
V={32, 33, … , 63, 64}.
Có 3 loại liên kết.
-

Liên kết 4: Hai điểm ảnh p và q được nói là liên kết 4 với các giá trị cường độ

sáng V nếu q nằm trong một các lân cận của p, tức q thuộc N4(p)
-

Liên kết 8: Hai điểm ảnh p và q nằm trong một các lân cận 8 của p, tức q thuộc

N8(p)

9


-

Liên kết m (liên kết hỗn hợp): Hai điểm ảnh p và q với các giá trị cường độ


sáng V được gọi là liên kết m nếu q thuộc N4(p) hoặc q thuộc NP(p).
c) Đo khoảng cách giữa các điểm ảnh.
Định nghĩa: Khoảng cách D(p, q) giữa hai điểm ảnh p tọa độ (x, y), q tọa độ
(s, t) là hàm khoảng cách (Distance) hoặc Metric nếu:
1. D(p, q) ≥ 0 (Với D(p, q) = 0 nếu và chỉ nếu p = q)
2. D(p, q) = D(q, p)
3. D(p, z) ≤ D(p, q) + D(q, z); z là một điểm ảnh khác.
Khoảng cách Euclide: Khoảng cách Euclide giữa hai điểm ảnh p(x, y) và
q(s,t) được định nghĩa như sau [7]:
De(p, q) = [(x - s)2 + (y - t)2]1/2

(2.1)

Khoảng cách khối: Khoảng cách D4(p, q) được gọi là khoảng cách khối đồ
thị (City- Block Distance) và được xác định như sau [7]:
D4(p, q) = | x - s | + | y - t |

(2.2)

Giá trị khoảng cách giữa các điểm ảnh r: giá trị bán kính r giữa điểm ảnh từ
tâm điểm ảnh đến tâm điểm ảnh q khác.
Khoảng cách D8(p, q) còn gọi là khoảng cách bàn cờ (Chess-Board Distance)
giữa điểm ảnh p, q được xác định như sau [7]:
D8(p, q) = max (| x - s | , | y - t |)

(2.3)

2.2.5 Phân loại ảnh số
Người ta thường chia ảnh số ra làm 3 loại chính:

-

Ảnh nhị phân: ảnh được biểu diễn bởi một ma trận hai chiều thuộc kiểu logical.

Mỗi điểm ảnh chỉ có thể nhận một trong hai giá trị là 0 (đen) hoặc 1 (trắng) (còn gọi
là ảnh đen trắng).
-

Ảnh grayscale (ảnh đa mức xám): mỗi ảnh được biểu diễn bởi một ma trận hai

chiều, trong đó giá trị của mỗi phần tử cho biết độ sáng (hay mức xám) của điểm
ảnh đó. Ma trận này có thể là một trong các kiểu uint 8, uint 16 hoặc double, ảnh
xám có một đặc trưng là lược đồ xám (histogram).

10


-

Ảnh RGB: cịn gọi là ảnh “ truecolor” do tính trung thực của nó. Ảnh được biểu

diễn bởi một ma trận ba kích thước m x n x 3 chiều với m x n là kích thước ảnh theo
pixel. Ma trận này định nghĩa các thành phần màu red, green, blue cho mỗi điểm
ảnh, các phần tử của nó có thể thuộc kiểu uint 8, uint 16 hoặc double.
Như vậy ảnh màu là ảnh mang thông tin về đối tượng đầy đủ nhất so với ảnh
đen trắng và ảnh đa cấp xám. Tuy nhiên, tất cả cách biểu diễn này đều chỉ là sự mô
phỏng hệ màu trong tự nhiên. Thực tế thì một màu được phân biệt qua 3 thuộc tính
là độ chói (Itensity), sắc thái màu (Hue) và độ bão hòa (Saturation). Tuy nhiên với
khả năng cảm nhận của mắt người thì cách biểu diễn ảnh dưới dạng cấu trúc 3 màu
RGB chất lượng ảnh thu được là có thể chấp nhận được.

2.2.6 Màu sắc
Màu sắc được tạo ra bởi các ánh sáng với các bước sóng khác nhau, mắt người
bao gồm ba loại tế bào cảm nhận màu có thể nhìn được bảy triệu màu nhưng thực
chất chúng ta chỉ có thể cảm nhận sự khác biệt vài ngàn màu. Một màu có thể được
biểu diễn bởi ba thuộc tính: Sắc thái màu, độ bão hịa, và độ chói.
Trong xử lý ảnh và đồ họa, mơ hình màu là một chỉ số kỹ thuật của một hệ tọa
độ màu 3 chiều có thể dùng để biểu diễn tất cả các màu. Ví dụ như mơ hình màu
RGB (Red, Green, Blue): là một đơn vị tập các màu thành phần sắp xếp theo hình
lập phương của hệ trục tọa độ Đề các.
Mục đích của mơ hình màu là cho phép biểu diễn một phần các màu nhìn thấy
được bằng các chỉ số kỹ thuật quy ước. Sau đây, ta xem xét một số mơ hình hay
được sử dụng nhất.


Mơ hình màu RGB

Màu đỏ, lục – xanh lá cây, lam – xanh da trời (RGB) được sử dụng phổ biến
nhất trong hiển thị. Các màu gốc này được tổ hợp với nhau theo một tỷ lệ để tái tạo
màu sắc, hệ màu này sử dụng phối màu cộng. Tập hợp các màu được sắp xếp theo
khối lập phương đơn vị. Đường chéo chính của khối lập phương thể hiện các màu
được phối bởi ba màu gốc với tỷ lệ tương đương nhau ứng với các mức độ xám từ
đen là (0,0,0) đến trắng (1,1,1).

11


Hình 2.2: Mơ hình màu RGB [6].


Mơ hình màu HSV (Hue, Saturation, Value)


Mơ hình màu RGB có thể hiển thị được tất cả các màu cần thiết, tuy vậy rất
khó khắn để con người có thể phối màu trên hệ màu này. Để phối màu dễ dàng hơn
Smith định nghĩa mơ hình màu HSV dựa trên cơ sở nền tảng trực giác về tông màu,
sắc độ và sắc thái mỹ thuật.
Hệ thống tọa độ có dạng hình trụ và tập màu của khơng gian bên trong mơ
hình màu được xác định là hình nón như hình 2.3

Hình 2.3: Mơ hình màu HSV [6].
Sắc màu (hue) hoặc H được đo bởi góc quanh trục đứng với màu đỏ là 0o, màu
lục là 120o, màu lam là 240o. Các màu bù nằm ở vị trí đối diện với những màu gốc.
S lấy giá trị từ 0 trên đường trục tâm (trục V) đến 1 trên các mặt bên của hình chóp
6 cạnh. Sự bão hòa được hiểu là mức độ tươi của màu, các màu xám từ đen đến

12


trắng có S là 0. Giá trị V được hiểu là độ sáng của màu, V là 0 thì là màu đen, V là
1 thì là màu có độ sáng tối đa.
Chúng ta có thể chuyển đổi qua lại giữa hai mơ hình màu RGB và HSV.
2.3 Các vấn đề liên quan đến video số
2.3.1 Cấu trúc của video
Video được cấu thành từ một tập liên tiếp các khung hình (frame), cịn được
gọi là ảnh, ghi nhận lại các hình ảnh quan sát được của các sự kiện xảy ra trong một
khoảng thời gian, cả hai dạng tín hiệu video thơng dụng là: tín hiệu tuần tự và tín
hiệu video số. Trong luận văn này, hình ảnh thu được từ camera là tín hiệu số và bỏ
qua phần tín hiệu âm thanh của video.
Mơ hình cấu trúc một video bao gồm các thành phần sau:

Hình 2.4: Mơ hình cấu trúc của video [4]

-

Frame - khung hình là thành phần cơ bản trong chuỗi video. Mỗi khung hình

tương ứng với một ảnh trong thế giới thực tại một thời điểm xác định.
-

Shot là một dãy các khung hình liên tiếp được camera ghi nhận khơng có sự

ngắt qng nào xảy ra. Shot là một đơn vị cơ bản để xây dựng phân tích nội dung
video.
-

Các shot liên tiếp nhau được kết hợp lại thành một scene (cảnh) dựa trên nội

dung.
-

Tất cả các scene tạo thành một video.

13