báo cáo đồ án môn học thị giác máy tính đề tài 14 phát hiện và theo vết đối tượng chuyển động

Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (3.72 MB, 16 trang )

Trang 1<div class="page_container" data-page="1">

ĐẠI HỌC BÁCH KHOA HÀ NỘI

TRƯỜNG CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG

BÁO CÁO ĐỒ ÁN MƠN HỌCThị giác máy tính

Đề tài 14: Phát hiện và theo vết đối tượng chuyển động

Giảng viên hướng dẫn: PGS. TS. Nguyễn Thị Hoàng Lan

</div>Trang 2<div class="page_container" data-page="2">

Mục lục

L i nói đầầuờ...2

I.M c đích, u cầầu c a bài t p l nụủậ ớ ...3

II.S đồầ chung vêầ theo vêết đồếi tơượng chuy n đ ngểộ ...3

1.Sơ đồ chung...3

2.Phương pháp phát hiện đối tượng chuyển động...4

2.1. Luồng quang học (optical flow)...4

2.2 Phát hiện sự thay đổi của các điểm ảnh (Change Detection)...5

3.Các phương pháp phân loại đối tượng...6

3.1.Biểu diễn mơ hình (Model Representations)...6

3.2.Trích chọn đặc trưng (Model Features)...6

4.Theo vết đối tượng...7

5.Phân loại...7

III.Thu t toán mean-shifậ...7

1.Một số khái niệm...7

1.1 Tiếp cận dựa trên mơ hình...7

1.2 Tiếp cận dựa trên miền...7

1.3 Tiếp cận dựa trên đường viền...8

1.4 Tiếp cận dựa trên đặc trưng...8

2.Ý tưởng thuật toán...9

3.Cơ chế thuật tốn...9

</div>Trang 3<div class="page_container" data-page="3">

Lời nói đầu

Ở bài tập lớn lần này, nhóm chúng em chọn chủ đề “Phát hiện và theo vếtđối tượng chuyển động” để phát hiện và theo vết một đối tượng từ video – cụthể là quả bóng golf nhằm truy vết cũng như có thể vẽ được quỹ đạo đi của vậtthể đã định trước. Qua bài tập lớn, nhóm chúng em đã có thể hiểu rõ hơn về bàihọc cũng như biết cách ứng dụng những lý thuyết sách vở bài giảng vào thực tế.Báo cáo gồm các nội dung chính:

- Sơ đồ chung về theo vết đối tượng chuyển động- Phương pháp phát hiện đối tượng chuyển động- Các phương pháp phân loại đối tượng- Thuật toán Meanshift

- Cài đặt ứng dụng- Kịch bản kiểm thử

Chúng em xin được gửi lời cảm ơn chân thành tới cơ Nguyễn Thị HồngLan đã hướng dẫn, chỉ bảo và đôn đốc chúng em trong suốt quá trình thực hiệnđồ án này, từ đó giúp chúng em hồn thành mơn học một cách tốt nhất.

Do thời gian nghiên cứu và triển khai, trình độ hiện tại của nhóm có hạnnên chắc chắn trong q trình thực hiện đề tài khơng tránh khỏi những sai lầm,thiếu sót cả về nội dung lẫn hình thức. Chúng em rất mong nhận được sự thơngcảm, góp ý và tận tình chỉ bảo của cơ.

</div>Trang 4<div class="page_container" data-page="4">

I.Mục đích, u cầu của bài tập lớn

-

Mục đích: Phát hiện và theo vết đối tượng chuyển động (Motion object

Detection and Tracking)

-

u cầu:

o

Tìm hiểu mơ hình chung về theo vết đối tượng chuyển động

o

Tìm hiểu thuật toán Mean-shift để theo vết đối tượng chuyển động

o

Cài đặt ứng dụng thuật toán Mean-shift.

o

Xây dựng kịch bản thử nghiệm tình huống phù hợp ứng dụng và nhậnxét.

1. Sơ đồ chung

</div>Trang 5<div class="page_container" data-page="5">

2.Phương pháp phát hiện đối tượng chuyển động2.1. Luồng quang học (optical flow)

- Tìm vector hướng chuyển động của các điểm ảnh trong 2 khung hình liêntiếp.

</div>Trang 6<div class="page_container" data-page="6">

2.2 Phát hiện sự thay đổi của các điểm ảnh (Change Detection)

- Là việc xác định các thay đổi trong trạng thái của pixel thông qua việckiểm tra giá trị của chúng giữa các khung hình.

</div>Trang 7<div class="page_container" data-page="7">

3.Các phương pháp phân loại đối tượng3.1.Biểu diễn mơ hình (Model Representations)

Đối tượng chuyển động sẽ được thể hiện dưới dạng mơ hình. Phương phápnày áp dụng với các đổi tượng có thể thay đổi hình của bản thân trong qtrình chuyển động.

3.2.Trích chọn đặc trưng (Model Features)

- Mỗi đối tượng sẽ có nhưng đặc trưng riêng nhờ vào đó ta có thể phân biệtđược đối tượng này với đối tượng khác.

- Một số đặc điểm của hình ảnh như sau:o Hình dạng

o Màu sắco Kết cấu

</div>Trang 8<div class="page_container" data-page="8">

4.Theo vết đối tượng

- Sau khi xác định được đối tượng cần theo vết và mơ hình hóa đối tượng tacần ước tính chuyển động của đối tượng thông qua tốc độ từ đó có thể dựdốn được vị trí tiếp theo của đối tượng.

- Sau khi vị trí của đối tượng đã gần đúng, ta có thể sử dụng mơ hình trựcquan của đối tượng để xác định vị trí chính xác của mục tiêu.

5.Phân loại

- Theo dõi 1 đối tượng: Chỉ theo dõi 1 đối tượng duy nhất. Đối tượng theo dõiđược xác định thủ công bằng việc vẽ hộp giới hạn trong khung hình đầu tiên.- Theo dõi nhiều đối tượng: Theo dõi cùng lúc nhiều đối tượng có trong video.

Các đối tượng được phát hiện theo dõi dựa trên đặc trưng chung.

1.1 Tiếp cận dựa trên mơ hình

- Cách tiếp cận dựa trên mơ hình bao gồm việc tạo mơ hình hình họccấu trúc của đối tượng.

- Các ràng buộc trên việc mơ hình được cho phép biến dạng như thếnào có thể được kết hợp vào quá trình so khớp.

- Vấn đề với cách tiếp cận này là quá trình khởi tạo tự động thì khó vàchi phí tính tốn cao do độ phức tạp của mơ hình.

1.2 Tiếp cận dựa trên miền

- Cách tiếp cận dựa trên miền bao gồm việc kết hợp một miền với mỗiđối tượng đang được theo vết.

</div>Trang 9<div class="page_container" data-page="9">

- Miền được theo vết qua thời gian bằng phép đo độ tương tự

- Lợi ích của cách tiếp cận này là khởi tạo khá dễ dàng, chỉ có vị trí vàkích thước của cửa sổ cần được định nghĩa.

1.3 Tiếp cận dựa trên đường viền

- Cách tiếp cận dựa trên đường viền bao gồm tìm đường viền bao củamột đối tượng và sau đó cố gắng làm khớp đường viền với các đốitượng trong các frame sau.

- Nơi khớp nhất sẽ là đường viền hiện tại, mơ hình sẽ cập nhật đườngviền hiện tại để phản ánh hình dáng của đối tượng trong frame hiệntại.

- Q trình này được lặp lại với mơ hình đường viền được cập nhật. - Với mơ hình là nó yêu cầu sự khởi tạo chính xác, và điều này thì khó

để thực hiện tự động.

1.4 Tiếp cận dựa trên đặc trưng

- Tiếp cận dựa trên đặc trưng chỉ theo vết một tập các đặc trưng của đốitượng.

- Ví dụ như chỉ theo vết các điểm ở góc của đối tượng, vị trí của đốitượng trong frame sau sẽ được tìm thấy bằng cách tìm các điểm gócmà khớp với các điểm của mơ hình nhất.

- Khuyết điểm của phương pháp này là chất lượng theo vết phụ thuộcnhiều vào việc chọn các đặc trưng. Các đặc trưng phải được chọn saocho chúng cung cấp sự nhận diện duy nhất cho đối tượng.

</div>Trang 10<div class="page_container" data-page="10">

2.Ý tưởng thuật toán

- Thuật toán dùng để theo vết đối tượng chuyển động khi đối tượng đó cóthể thể hiện qua biểu đồ tần suất (histogram)

- Thuật tốn mơ hình hóa vật thể qua sự phân bố màu sắc.- Vd:

o Đối với những vật thể bị thay đổi hình dạng khi chuyển động (vídụ người đi bộ), khó có thể bắt được chuyển động một cách rõràng.

o Vì vậy để thuật tốn sẽ dựa vào sự mơ hình hố với sự phân bố vềmàu sắc.

- Theo dõi chuyển động của một cụm các đối tượng nổi bật

- Chọn phân bố đặc điểm để đại diện cho một đối tượng trong video (ví dụ:mật độ màu sắc + họa tiết)

- Sử dụng mean shift trên phân phối các đặc điểm được tạo bởi đối tượng- Cuối cùng tính tốn phân phối của đặc điểm đã chọn qua khung video

o Bắt đầu từ vị trí hiện tại, mean shift tìm đỉnh hoặc đặc điểm mớicủa phân bố đối tượng, mà (có thể là) tập trung vào đối tượng tạora màu sắc và kết cấu ngay từ đầu.

o Bằng cách này, thuật toán sẽ theo dõi chuyển động của khung đốitượng theo từng khung

3.Cơ chế thuật tốn

- Lựa chọn vùng có đối tượng cần theo dõi (tracking) được gọi là ROI

</div>Trang 11<div class="page_container" data-page="11">

- Với vùng ROI đã được chọn, chuyển đổi sang Histogram, từ đây có đượcbiểu đồ phân bố các pixels trên từng khu vực sáng tối, trong đó trục tung(chiều dọc) biểu thị số lượng pixel đang có ở khu vực đó, trục hồnh làdải sáng. Với mỗi frame tiếp theo, đối tượng được theo dõi sẽ là vùng cóphân bố các pixels gần với phân bố trên vùng ROI tại frame đầu tiên nhất

</div>Trang 12<div class="page_container" data-page="12">

IV.Cài đặt ứng dụng

1.Mơi trường lập trình

- Mơi trường cài đặt:

1. CPU: Intel(R) Core(TM) i7-8550U CPU @ 1.80GHz( 8 CPUs), ~ 2.0GHz

2. RAM: 16GB3. SSD: 200GB4. HDD: 1TB

5. OS: Window 10 Enterprise 64-bit- Ngơn ngữ lập trình : Python 3.9.10

2.Chức năng chính

- Điều chỉnh các tham số như: bán kính quả golf, kích thước vùng ROI, … đểphát hiện quả bóng golf (tìm vật có hình cầu, bán kính như đã chọn) rồi theovết chuyển động. Từ đó đưa ra quỹ đạo chuyển động.

- Đầu vào:

o Đường dẫn ảnh.o Bán kính hình cầu.o Kích thước vùng ROI.- Đầu ra:

o Video theo vết quả bóng golf kèm theo FPS.o Quỹ đạo chuyển động.

- Mô tả chi tiết:

o B1: Tách từng frame trong video, tìm kiếm trong từng frame cho đếnkhi tìm thấy hình cầu có kích thước được nhập từ đầu vào.

o B2: Sau khi tìm thấy quả bóng golf, ta sử dụng chính frame đó để xácđịnh vị trí quả bóng golf và vùng ROI có kích thước như đầu vào. Kếthợp thêm các tham số cần thiết cho thuật toán Mean-shift là:

Điều kiện dừng: tốc độ theo vết tối đa, số lần lặp để kiểm trađối tượng đã dừng chuyển động chưa.

Vector dữ liệu biểu đồ histogram.

</div>Trang 13<div class="page_container" data-page="13">

o B3: Trong các frame tiếp theo, sử dụng thuật tốn Mean-shift để tímvị trí mới của quả golf. Sử dụng sai số tối thiểu trung bình bìnhphương để xác định.

3.Quy trình triển khai

Để sử dụng phần mềm, ta cần thực hiện như sau:- Cách 1: Khởi động phần mềm bằng cách mở file:

</div>Trang 14<div class="page_container" data-page="14">

nh th i đi m bắết đầầu và kêết thúc khi b che trong quá trính chuy n đ ng.

2.Kịch bản 2

Nội dung: Thay đổi vùng ROI.

Kết quả: Tùy theo kích thước vùng ROI được chọn mà đối tượng có thể theo vết được hoặc khơng. Nếu kích thước vùng ROI q nhỏ hoặc quá lớn sẽ không theo vết đúng đối tượng được chọn.

nh th i đi m bắết đầầu và kêết thúc khi ch n kích thc vùng ROI h p lý (100x100).

</div>Trang 15<div class="page_container" data-page="15">

nh th i đi m bắết đầầu và kêết thúc khi ch n kích thc vùng ROI quá nh (30x30).

</div>Trang 16<div class="page_container" data-page="16">