ĐẠI HỌC ĐÀ NẴNG
TRƯỜNG ĐẠI HỌC BÁCH KHOA

TRẦN NGỌC TUẤN

NGHIÊN CỨU KỸ THUẬT GHÉP ẢNH PANORAMA TỪ
NHIỀU ĐỐI TƯỢNG ẢNH

C
C
R
UT.L

D

Chuyên ngành: KHOA HỌC MÁY TÍNH
Mã số: 8480101

TĨM TẮT LUẬN VĂN THẠC SĨ KỸ THUẬT

Đà Nẵng – Năm 2021


Cơng trình được hồn thành tại
ĐẠI HỌC ĐÀ NẴNG

Người hướng dẫn khoa học: TS. TRẦN THẾ VŨ

Phản biện 1: TS. NGUYỄN VĂN HIỆU
Phản biện 2: TS. TRỊNH CÔNG DUY

C
C
R
UT.L

D

Luận văn sẽ được bảo vệ trước Hội đồng chấm Luận văn tốt nghiệp
thạc sĩ kỹ thuật họp tại trường Đại học Bách khoa vào ngày 23 tháng
01 năm 2021

Có thể tìm hiểu luận văn tại:
- Trung tâm Học liệu và truyền thông, Trường ĐH Bách khoa Đại
học Đà Nẵng
- Thư viên Khoa Công Nghệ Thông, Trường ĐH Bách khoa-ĐHĐN


1

MỞ ĐẦU

1. LÝ DO CHỌN ĐỀ TÀI
Ghép ảnh là một trong những chủ đề lâu đời nhất và được sử
dụng rộng rãi nhất trong thị giác máy tính và đồ họa. Trong những
năm gần đây, thuật toán ghép đã được áp dụng trong nhiều lĩnh vực
(ví dụ: xử lý hình ảnh, thị giác máy tính và đa phương tiện) và liên
kết chặt chẽ với cuộc sống hàng ngày của mọi người, như xây dựng
một bức ảnh toàn cảnh đẹp với các ứng dụng trên điện thoại thông
minh, tạo ra tầm nhìn rộng, video giám sát và hỗ trợ xe tự lái. Nhiều
ứng dụng nổi tiếng, chẳng hạn như Adobe Photoshop, AutoStitch,


C
C
R
UT.L

PTGui và Image Composite Editor (ICE) có chức năng ghép nhiều
hình ảnh chồng chéo để tạo ra một tấm ảnh panorama với góc nhìn
rộng.

D

Các thuật tốn dùng để sắp xếp hình ảnh và ghép chúng vào
một hình ảnh ghép lớn liền mạch là một trong những thuật toán lâu
đời nhất và được sử dụng rộng rãi nhất trong thị giác máy tính. Căn
chỉnh tốc độ khung ảnh được sử dụng trong mọi máy quay có tính
năng ổn định hình ảnh. Các thuật toán ghép ảnh tạo ra các bức ảnh
ghép có độ phân giải cao được sử dụng để tạo ra các bản đồ kỹ thuật
số và ảnh vệ tinh ngày nay. Hầu hết các máy ảnh kỹ thuật số hiện
đang được bán trên thị trường đều được tích hợp chức năng này, và
có thể được sử dụng để tạo ra một bức ảnh panorama với góc siêu
rộng.
Vì lý do trên tôi quyết định chọn đề tài “Nghiên cứu kỹ thuật
ghép ảnh panorama từ nhiều đối tượng ảnh”.


2

2. MỤC TIÊU VÀ NHIỆM VỤ NGHIÊN CỨU
2.1. Mục tiêu

Nghiên cứu các phương pháp cắt ghép hình ảnh mới nhất từ đó
đưa ra các giải pháp ứng dụng để ghép ảnh panorama.
2.2. Nhiệm vụ
- Nghiên cứu đặc trưng của ảnh số và các phương pháp phân
tích đối sánh ảnh.
- Nghiên cứu các thuật toán và các phương pháp ghép ảnh.
- Xây dựng chương trình demo ứng dụng để ghép ảnh
panorama
3. ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU
3.1. Đối tượng nghiên cứu

C
C
R
UT.L

- Các hình ảnh kỹ thuật số chất lượng cao.

- Các thuật toán và kỹ thuật nhận dạng, căn chỉnh hình ảnh

D

- Các phương pháp trích chọn hình ảnh.
- Các phương pháp ghép ảnh.
3.2 Phạm vi nghiên cứu

Nghiên cứu các thuật toán ghép ảnh và phương pháp ghép ảnh.
4. PHƯƠNG PHÁP NGHIÊN CỨU
4.1. Phương nghiên cứu tài liệu
- Tìm hiểu các bài báo trong và ngoài nước về ghép ảnh.

- Tìm hiểu các thuật tốn ghép ảnh.
- Tìm hiểu các phương pháp ghép ảnh để xây dựng ứng dụng.
4.2. Phương pháp nghiên cứu thực nghiệm
- Xây dựng chương trình demo dựa trên giải pháp đề xuất
- Thực nghiệm từ dữ liệu đầu vào là các hình ảnh có góc nhìn
gần giống nhau.


3

- Kiểm tra kết quả xuất ra hình ảnh panrama với góc nhìn
rộng.
5. BỐ CỤC LUẬN VĂN
MỤC LỤC
MỞ ĐẦU
CHƯƠNG 1: NGHIÊN CỨU TỔNG QUAN
1.1. TỔNG QUAN VỀ ẢNH SỐ
1.2. MỘT SỐ VẤN ĐỀ TRONG XỬ LÝ ẢNH
1.3. CÁC ĐẶC TRƯNG CỦA ẢNH SỐ
1.4. ĐỐI SÁNH ẢNH
CHƯƠNG 2: CĂN CHỈNH VÀ CẮT GHÉP HÌNH ẢNH
2.1. TỔNG QUAN VỀ CĂN CHỈNH VÀ CẮT GHÉP HÌNH ẢNH.

C
C
R
UT.L

2.2. MƠ HÌNH CHUYỂN ĐỘNG.
2.3. THUẬT TỐN GHÉP ẢNH.


D

CHƯƠNG 3: THỬ NGHIỆM VÀ ĐÁNH GIÁ
3.1. DỮ LIỆU VÀ CÔNG CỤ THỰC NGHIỆM
3.2. THỰC NGHIỆM VÀ KẾT QUẢ
KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
TÀI LIỆU THAM KHẢO


4

CHƯƠNG 1. NGHIÊN CỨU TỔNG QUAN
1.1.

TỔNG QUAN VỀ ẢNH SỐ

1.1.1 Ảnh số.
Ảnh số là tập hợp hữu hạn các điểm ảnh với mức xám phù
hợp dùng để mô tả gần nhất với ảnh thật.
Ảnh số tạo bởi 1 mảng 2 chiều có các phần tử ảnh cùng kích
thước gọi là điểm ảnh (pixel).
1.1.2 Điểm ảnh.
Điểm ảnh (Pixel) là một phần tử của ảnh số tại tọa độ (x, y)
với độ xám hoặc màu nhất định. Kích thước và khoảng cách giữa các
điểm ảnh đó được chọn thích hợp sao cho mắt người cảm nhận được

C
C
R

UT.L

sự liên tục về không gian và mức xám (hoặc màu) của ảnh số gần
như ảnh thật. Mỗi phần tử trong ma trận được gọi là một phần tử ảnh.

D

1.1.3 Mức xám của ảnh.

Là kết quả của sự biến đổi tương ứng một giá trị độ sáng của
một điểm ảnh với một giá trị nguyên dương.
1.1.4 Lược đồ mức xám.
Lược đồ mức xám (Histogram) hay còn gọi là lược đồ xám
của một ảnh là một hàm cung cấp tần suất xuất hiện của mỗi mức
xám (grey level).

1.1.5 Độ phân giải của ảnh.
Độ phân giải (Resolution) của ảnh là mật độ điểm ảnh
được ấn định trên một ảnh số được hiển thị.


5

1.2.

MỘT SỐ VẤN ĐỀ TRONG XỬ LÝ ẢNH

1.2.1. Phân tích ảnh.
Phân tích ảnh liên quan đến việc xác định các độ đo định
lượng của một ảnh để đưa ra một mô tả đầy đủ về ảnh. Các kỹ thuật

được sử dụng nhiều nhất là các kỹ thuật phát hiện biên của ảnh.
1.2.2. Nhận dạng ảnh.
Nhận dạng ảnh là quá trình liên quan đến các mô tả đối tượng
mà người ta muốn đặc tả nó. Có hai kiểu mơ tả đối tượng:
- Mô tả tham số (nhận dạng theo tham số).
- Mô tả theo cấu trúc (nhận dạng theo cấu trúc).
1.2.3. Nén ảnh
Dữ liệu ảnh cũng như các dữ liệu khác cần phải lưu trữ hay

C
C
R
UT.L

truyền đi trên mạng.

Phân loại phương pháp nén bao gồm:

D

- Dựa vào nguyên lý nén:

- Dựa vào cách thức thực hiện nén:
- Dựa vào lý thuyết mã hóa:
1.2.4. Biến đổi ảnh
Thuật ngữ biến đổi ảnh thường được dùng để nói tới một lớp
các ma trận đơn vị và các kỹ thuật dùng để biến đổi ảnh.
1.2.5. Biểu diễn ảnh
Trong biểu diễn ảnh, người ta thường dùng các phần tử đặc
trưng của ảnh là pixel. Các mô hình biểu diễn ảnh cho thấy một mơ

tả logic hay định lượng các tính chất của hàm này.
1.3.

CÁC ĐẶC TRƯNG CỦA ẢNH SỐ

1.3.1. Đặc trưng toàn cục và cục bộ
- Đặc trưng toàn cục: ảnh được biểu diễn bằng một véc tơ
đặc trưng mơ tả thơng tin trong tồn bộ ảnh.


6

- Đặc trưng cục bộ: ảnh được biểu diễn dựa trên cấu trúc cục
bộ của nó bởi một tập các mơ tả đặc trưng cục bộ được trích chọn từ
một tập hợp các vùng hình ảnh.
1.3.2. Đặc trưng màu sắc
Là một đặc trưng nổi bật và được sử dụng phổ biến nhất
trong các ứng dụng xử lý ảnh. Mỗi một điểm ảnh (thơng tin màu sắc)
có thể biểu diễn trong không gian màu sắc 3 chiều.
1.3.3. Đặc trưng kết cấu
Kết cấu cung cấp thông tin về sự sắp xếp về mặt không gian
của màu sắc và cường độ một ảnh. Kết cấu được đặc trưng bởi sự
phân bố không gian của những mức cường độ trong một khu vực lân
cận với nhau. Kết cấu gồm các kết cấu gốc hay nhiều kết cấu gộp lại

C
C
R
UT.L


đôi khi gọi là texel.

1.3.4. Đặc trưng hình dạng

D

Hình dạng của một ảnh hay một vùng là một đặc trưng quan
trọng trong việc xác định và phân biệt ảnh trong nhận dạng mẫu.. Có
hai kiểu đặc trưng hình dạng chính thường được sử dụng:
- Những đặc trưng dựa trên biên: chỉ sử dụng đường bao
ngoài của hình dạng.
- Những đặc trưng vùng: sử dung tồn bộ vùng của hình
dạng.
1.3.5. Đặc trưng cục bộ bất biến
Là những điểm đặc trưng không thay đổi khi xoay ảnh, co
giãn ảnh hay thay đổi cường độ sáng của ảnh.
- SIFT: Là viết tắt của cụn từ Scale-Invariant Feature
Transform, là một trong những thuật toán nổi tiếng nhất hiện nay
dùng để phát hiện và mô tả các đặc trưng ảnh số.


7

- SURF: Là viết tắt của cụm từ Speeded Up Robust Features,
Được phát triển dựa trên thuật toán SIFT nhưng được cải tiến để cho
tốc độ xử lý nhanh hơn giải thuật SIFT.
1.4.

ĐỐI SÁNH ẢNH


1.4.1. Giới thiệu
Đối sánh hai ảnh là tìm ra những vùng giống nhau trên hai
ảnh. Thơng thường, để đối sánh ảnh cần so sánh các phần tử cơ bản
tạo nên nó, thay vì đối sánh từng pixel một dẫn đến dữ liệu đầu vào
quá lớn thì ta sẽ giảm dữ liệu đầu vào bằng cách đưa vào các đặc
trưng của cả hai ảnh rồi tiến hành đối sánh trên các đặc trưng đó.
1.4.2. Các phương pháp đối sánh ảnh
1.4.2.1 Đối sánh ảnh theo vùng

C
C
R
UT.L

Phương pháp này còn được gọi là phương pháp tương quan
hay đối sánh mẫu. Phương pháp này kết hợp giữa đối sánh đặc trưng

D

và đối sánh thành phần. Cường độ xám của ảnh được sử dụng làm cơ
sở cho việc đối sánh ảnh.

1.4.2.2. Đối sánh ảnh theo đặc trưng
Phương pháp đối sánh dựa trên đặc trưng sử dụng sự biến đổi
đột ngột về các giá trị mức xám tương ứng với các đặc trưng của ảnh
làm cơ sở để đối sánh như cạnh, góc, hoặc điểm đặc trưng của ảnh.
Kỹ thuật đối sánh dựa vào đặc trưng của ảnh về cơ bản gồm 3 bước
chính:
- Chọn các điểm đặc trưng riêng biệt của ảnh (cạnh, góc,
điểm) trong mỗi ảnh riêng biệt.

- Xây dựng danh sách các cặp điểm đặc trưng tương ứng dựa
trên độ tương đồng.
- Tiến hành đối sánh và trả về kết quả tập các điểm tương
đồng phù hợp với mô hình đối tượng.


8

CHƯƠNG 2: CĂN CHỈNH VÀ CẮT GHÉP HÌNH
ẢNH
2.1.

TỔNG QUAN VỀ CĂN CHỈNH VÀ CẮT GHÉP HÌNH

ẢNH
Các thuật tốn ghép ảnh dùng để sắp xếp hình ảnh và ghép
chúng vào một hình ảnh ghép lớn liền mạch từ một chuỗi các hình
ảnh bằng cách thực hiện song song các lệnh thơng qua ba giai đoạn.
Trong giai đoạn đầu, các mối quan hệ tương ứng giữa hình ảnh gốc
được thiết lập bằng cách hiệu chỉnh trước các thông số bên trong và
bên ngồi của máy ảnh hoặc ước tính mơ hình chuyển động dựa trên
pixel bằng cách tính tốn luồng quang học, sự tương ứng trên mỗi

C
C
R
UT.L

pixel, hoặc đối sánh đặc điểm thưa thớt. Bước tiếp theo, sau khi thực
hiện các phép biến đổi và đăng ký ước tính giữa các hình ảnh, mặt


D

phẳng bảo vệ được xác định bằng cách chọn mặt phẳng hình ảnh.
Cuối cùng, các hình ảnh đã căn chỉnh được hợp nhất với nhau
trên một canvas lớn bằng cách trộn các pixel tương ứng giống nhau
trong các vùng chồng chéo giữa các hình ảnh và giữ nguyên các
pixel trong các vùng khơng chồng chéo
2.2.

MƠ HÌNH CHUYỂN ĐỘNG
Trước khi có thể đăng ký và căn chỉnh hình ảnh, chúng ta

cần thiết lập các mối quan hệ toán học ánh xạ tọa độ pixel từ hình
ảnh này sang hình ảnh khác. Có thể có nhiều mơ hình chuyển động
có tham số như vậy, từ biến đổi 2D đơn giản, đến mơ hình phối cảnh
phẳng, xoay camera 3D, biến dạng ống kính và ánh xạ tới bề mặt phi
phẳng.


9

2.2.1. Chuyển động 2D
2.2.1.1. Quay và tịnh tiến
2.2.1.2. Quay theo tỷ lệ
2.2.1.3. Biến đổi Affine
2.2.1.4. Xạ ảnh
2.2.1.5. Thứ bậc của các phép biến đổi 2D
2.2.2. Biến đổi 3D
Các phép biến đổi tọa độ 3D có thể được biểu thị bằng cách sử

dụng ma trận biến đổi 4 × 4, với các phép tương đương 3D đối với
phép tịnh tiến, phép biến đổi rigid body (Euclide) và phép biến đổi
affine, và phép đồng phân homography.
2.2.2.1. Ảnh xoay toàn cảnh

C
C
R
UT.L

2.2.2.2. Tham số hố phép quay 3D
2.3.

THUẬT TỐN GHÉP ẢNH

D

2.3.1 Phương pháp dựa trên Pixel

2.3.1.1. Phương pháp dựa trên phép chiếu đa dạng
Peleg và cộng sự đã xây dựng các hình ghép bằng cách trích
xuất các dải căn chỉnh từ các bản gốc và ghép lại với nhau. Hướng
của dòng quang là trực giao với trục của các dải được chọn và tất cả
các hình ảnh được chiếu lên một đường bao của các mặt phẳng hình
ảnh, ghép ảnh được thực hiện bằng cách chiếu các dải mỏng từ hình
ảnh lên đa tạp.
2.3.1.2. Phương pháp dựa trên miền Gradient
Lillian Levin và các cộng sự đã xây dựng một số phương pháp
ghép khác nhau dựa trên phương pháp ghép ảnh miền gradient
(GIST). Chúng giảm thiểu số đo sự khác biệt giữa các đạo hàm của

hình ảnh được ghép với các đạo hàm của hình ảnh đầu vào, các hình
ảnh được đăng ký, căn chỉnh và hòa trộn trong miền gradient.


10

2.3.1.3. Phương pháp dựa trên đồ thị
Mike Uyttendaele và cộng sự đã xây dựng một biểu đồ để
ghép các hình ảnh khi một số đối tượng di chuyển qua các vùng
chồng chéo.
2.3.1.4. Phương pháp dựa trên độ sâu (depth-based)
Phương pháp dựa trên độ sâu kết hợp mơ hình chiếu camera
và phương pháp ước tính độ sâu, và quan điểm ghép ảo trùng với
một trong hai đầu vào. Để tổng hợp các vùng không chồng chéo,
màu được phân đoạn, độ sâu được truyền tới các phân đoạn màu liền
kề và kết nối mặt ngoài mượt mà được giữ nguyên trong các khung
hình được ghép nối.
2.3.2 Phương pháp dựa trên tính năng

C
C
R
UT.L

Lowe đã trình bày một bộ mơ tả tính năng thưa thớt được gọi
là biến đổi đặc trưng bất biến theo tỷ lệ (SIFT). SIFT chủ yếu bao

D

gồm bốn giai đoạn: Dị tìm cực trị trong khơng gian đo, lọc và trích

xuất các điểm đặc biệt, gán định hướng cho các điểm đặc trưng và bộ
mô tả điểm đặc trưng.
Theo nhiều vấn đề và sự phát triển trong lĩnh vực ghép ảnh,
chúng ta chủ yếu nhóm và phân loại các phương pháp cắt ghép dựa
trên đặc điểm thành biến đổi đơn tồn cục và biến đổi kết hợp cục
bộ.

Hình 2.1. Phân loại đường ghép dựa trên đặc điểm


11

2.3.2.1. Các phương pháp biến đổi đơn toàn cục
Các phương pháp biến đổi toàn cục làm biến dạng và căn
chỉnh các hình ảnh bằng cách áp dụng các mơ hình biến đổi giống
nhau.
Brown và Lowe đã đề xuất một phương pháp tiếp cận cột
mốc (milestone approach), sử dụng các kỹ thuật nhận dạng đối tượng
dựa trên các đặc điểm bất biến cục bộ để đối sánh hình ảnh.
Để đáp ứng các ứng dụng phức tạp hơn và giải quyết vấn đề
căn chỉnh các hình ảnh chứa nhiều mặt phẳng trong các vùng chồng
lấn, Gao và cộng sự đã trình bày một mơ hình biến đổi đồng nhất kép
và một hình ảnh được chia thành hai mặt phẳng chính, mỗi mặt
phẳng sẽ tương ứng với một phép biến đổi đồng nhất ước tính. Hơn

C
C
R
UT.L


nữa, một hình ảnh được chia thành nhiều mặt phẳng, với mỗi mặt
phẳng tương ứng với một phép biến đổi affine.

D

2.3.2.2. Các phương pháp biến nạp lai cục bộ

Hình 2.2. Biến dạng và căn chỉnh hình ảnh dựa trên lưới
2.3.3 Phương pháp tạo ảnh Panorama
2.3.2.2. Trích chọn điểm đặc trưng:


12

Khái niệm “Điểm đặc trưng cục bộ bất biến SIFT” (ScaleInvariant Feature Transform): đã được David G. Lowe đưa ra hồi
năm 2004.
Ảnh đầu vào

Quét các vùng ảnh
sai
sai
Xác định có phải
là điểm cực trị?

C
C
R
UT.L
đúng


D

Kiểm tra, lựa
chọn điểm nổi
bật?

đúng
Xác định hướng cho
các điểm nổi bật

Mơ tả điểm nổi bật

Xuất kết
quả

Hình 2.3. Thuật toán SIFT


13

 Định vị điểm nổi bật
 Xác định hướng cho các điểm nổi bật
 Mô tả các điểm nổi bật
Các phép xử lý trên đây đã thực hiện dị tìm và gán tọa độ,
kích thước, và hướng cho mỗi điểm nổi bật. Các tham số đó yêu cầu
một hệ thống tọa độ cục bộ 2D có thể lặp lại được để mô tả vùng ảnh
cục bộ và nhờ vậy tạo ra sự bất biến đối với các tham số đó. Bước
này sẽ tính tốn một bộ mơ tả cho mơt vùng ảnh cục bộ mà có tính
đặc trưng cao (bất biến với các thay đổi khác nhau về độ sáng, thu –
phóng ảnh, xoay).

Cách tiếp cận này dựa trên một mơ hình thị giác sinh học, cụ
thể là mơ hình noron phức tạp trong hệ thống não bộ. Các noron sẽ

C
C
R
UT.L

tương ứng với một gradient tại một hướng và tần số khơng gian cụ
thể, nhưng vị trí của gradient trên võng mạc được phép trượt trên

D

một phạm vi nhỏ của khung nhìn.

2.3.2.3. Tạo ảnh Panorama:

Trong bài tốn tạo ảnh Panorama, ma trận Homography được
tính từ tập các cặp điểm nổi bật tương ứng của hai ảnh ban đầu đã
được so sánh đối chiếu ở bước hai. Khi có bốn cặp điểm nổi bật
tương ứng khơng thẳng hàng, phương trình Ah=0 theo phương pháp
DLT chuẩn hóa đã trình bày ở phần trên. Trong đó, A là ma trận có
kích thước 8 ×9. Từ đó, ta xác đinh được ma trận h.
Với ma trận Homography được tính từ bốn cặp điểm ngẫu
nhiên, ta có d là khoảng cách đo mức độ gần nhau của các cặp điểm
đã được so sánh đối chiếu. Với cặp điểm nổi bật tương đồng (x,x^')
và d(a ⃗,b ⃗ ) là khoảng cách của hai vector, ta có công thức khoảng
cách như sau:
d=d(x ⃗,H(x^' ) ⃗ )+d((x^' ) ⃗,Hx ⃗ )


(2.34)


14

Thuật toán chi tiết:
Ma trận ảnh đầu vào

Tạo i=1, ddistance
i=i+1

đúng

Chọn 4 cặp điểm nổi
bật tương đồng ngẫu
nhiên

C
C
R
UT.L

D

Kiểm tra tính thẳng
hàng?
sai
Tính ma trận
Homography


Tính d < ddistance?

đúng
Xuất kết quả

Hình 2.4. Thuật tốn tạo Panorama

sai


15

2.4.

KẾT LUẬN VÀ SO SÁNH

C
C
R
UT.L

D

Bảng 2.2. So sánh các phương pháp trực tiếp


16

C
C

R
UT.L

Bảng 2.3. So sánh các phương pháp dựa trên tính năng khác nhau

D

Bảng 2.3 cho thấy sự so sánh chi tiết của các phương pháp này. Các
phương pháp dựa trên đặc trưng ban đầu làm biến dạng và căn chỉnh
các hình ảnh bằng phương pháp biến đổi (đồng nhất hoặc liên kết).
Chúng không phân biệt giữa các vùng chồng chéo và khơng chồng
chéo, dẫn đến biến dạng và tạo bóng mờ, đồng thời làm cong hình
ảnh bằng cách áp dụng các phép biến đổi khác nhau thành chồng
chéo và không chồng chéo, đồng thời hoạt động tốt trên các hình ảnh
hạn chế. Hơn nữa, các phương pháp khác tập trung vào việc tối ưu
hóa đường cắt nối, và cũng thu được kết quả tốt hơn, mặc dù cùng
với các phép tính phức tạp. Cuối cùng, các phương pháp tối ưu hóa
căn chỉnh dựa trên lưới được giới thiệu để giải quyết các tập dữ liệu
đầy thách thức, và một số phương pháp thuộc các danh mục khác


17

cũng áp dụng các phương pháp này. Các phương pháp này thiết kế
các ràng buộc trước khác nhau để tối ưu hóa sự liên kết, mặc dù vẫn
khơng thể tránh được sự biến dạng cục bộ do mối quan hệ kết nối
giữa các ràng buộc khác nhau.

D


C
C
R
UT.L


18

CHƯƠNG 3: THỬ NGHIỆM VÀ ĐÁNH GIÁ

3.1.

ĐẶC TẢ CHƯƠNG TRÌNH
Mục tiêu của chương trình là thực hiện một bản demo ghép

hình ảnh tự động dựa trên đặc trưng. Khi nhập hai hình ảnh với các
trường chồng chéo, chúng ta sẽ có được kết quả là một bức tranh
tồn cảnh liền mạch rộng.
Chương trình sử dụng biến đổi các tính năng bất biến theo tỷ
lệ (SIFT) để trích xuất các đặc trưng cục bộ của các hình ảnh đầu
vào. Sau đó, sử dụng thuật toán K láng giềng gần nhất để phù hợp
với các đặc điểm này. Chương trình sẽ sử dụng sự đồng thuận của
mẫu ngẫu nhiên (Ransac) để tính toán ma trận đồng nhất, và được sử

C
C
R
UT.L

dụng để làm cong hình ảnh. Cuối cùng, sử dụng một ma trận có trọng

số làm mặt nạ để trộn hình ảnh
3.2.

D

LỰA CHỌN CƠNG CỤ

3.2.1. Ngơn ngữ Python
3.2.2. Cấu trúc chương trình
3.3.

CÁC BƯỚC TRIỂN KHAI

3.3.1 Đăng ký hình ảnh
Trước khi chúng ta có thể đăng ký và căn chỉnh hình ảnh,
trước tiên ta phải xác định mơ hình chuyển động thích hợp liên quan
đến tọa độ pixel trong một hình ảnh với tọa độ pixel trong một hình
ảnh khác.
Sau đó, chúng ta nên tìm các thơng số mơ hình bằng phương
pháp bình phương tối thiểu và sử dụng mơ hình cho độ vênh của hình
ảnh. trước tiên chúng ta trích xuất các tính năng và sau đó so khớp
chúng lại với nhau, thường sử dụng kỹ thuật mạnh mẽ như Ransac để


19

tính tốn một tập hợp các phần tử nội tại tốt. Và cuối cùng chúng ta
tính tốn ma trận đồng nhất.
Các bước để đăng ký dựa trên hình ảnh nổi bật. Ta sẽ sử
dụng Hình 3.1 làm hình ảnh thử nghiệm.


C
C
R
UT.L

Hình 3.1. Hình thử nghiệm
Bước 1: Trích xuất điểm đặc trưng. Chúng ta sử dụng SIFT để triển
khai trích xuất các đặc trưng.

D

Hình 3.2. Hình ảnh đánh dấu các keypoint


20

Bước 2: Đối sánh các điểm đặc trưng

Hình 3.3. Ảnh được đối sánh
3.3.2 Trộn ảnh

C
C
R
UT.L

Sau khi chúng ta có được ma trận Homography, nó có thể

D


được áp dụng cho hình ảnh nguồn để điều chỉnh độ cong vênh. Một
cách khả thi là sử dụng hàm cv2.warpPerspective trong OpenCV.
Nhưng nếu chúng ta sử dụng cách này, chúng ta khơng thể có được
hình ảnh panorama hồn hảo và liền mạch. (Như Hình 34 cho thấy)

Hình 3.4. Ảnh panorama ghép thơ


21

Hình 3.5. Cửa sổ làm mịn của phiên bản bên trái

C
C
R
UT.L

D

Hình 3.6. Cửa sổ làm mịn của phiên bản bên phải
Kết quả cuối cùng của ảnh panorama được hình thành như sau:

Hình 3.7. Ảnh kết quả cuối cùng


22

3.4.


ĐÁNH GIÁ
Dựa vào kết quả chương trình chúng ta có thể thấy được

rằng để có thể ghép ảnh panorama thì phải đảm bảo nội dung của hai
ảnh phải tương tự nhau từ 10% tới 20% trở lên
Hai ảnh có vị trí chụp khác nhau thì vẫn có thể tìm được các
điểm đặc trưng tương đồng và tính tốn được ma trận homography
Giữa hai ảnh cần phải có ít nhất là 4 điểm đặc trưng tương
đồng để có thể đủ điều kiện để thực hiện thuật tốn RANSAC, từ đó
tìm ra ma trận homography. Và để khắc phục được vấn đề này thì ta
cần phải tăng ngưỡng sử dụng trong đối sánh ảnh để có nhiều điểm
tương đồng hơn. Số điểm tương đồng giữa hai ảnh càng lớn thì ảnh
kết quả nhận được sẽ càng chính xác hơn.

C
C
R
UT.L

Từ các trường hợp đã thử nghiệm như trên, chúng ta có thể kết
luận rằng bước thu nhận ảnh đầu vào đóng vai trị quan trọng và

D

quyết định đến kết quả đầu ra của ảnh ghép

Hình 3.8. Tập dữ liệu thực nghiệm


23


Ghép ảnh đã và đang được nghiên cứu trong nhiều thập kỷ
và nhiều phương pháp đã được đưa ra, nhưng hầu hết các phương
pháp chỉ hoạt động tốt trên các tập dữ liệu chuẩn (tức là đường cơ sở
tự nhiên và ít hoặc khơng có thị sai) và một số phương pháp cố gắng
giải quyết các tập dữ liệu khó khăn hơn (ví dụ: đường cơ sở rộng và
thị sai lớn) bằng cách đưa ra các thuật toán phức tạp hơn. Trong khi
đó, hầu hết các ứng dụng thực tế trong cuộc sống hàng ngày lại thích
hợp với những giải pháp đơn giản nhất ví dụ như các thiết bị phức
tạp được kết hợp với các thuật toán đơn giản như cân chỉnh máy ảnh.
Nhiều nghiên cứu đã chỉ ra rằng các bộ dữ liệu thực tế được ghép nối
phức tạp hơn và các phương pháp hiện tại vẫn là chưa đủ.

D

C
C
R
UT.L