Lọc nhiễu dữ liệu cảm biến độ sâu
Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (3.79 MB, 82 trang )
I H C QU C GIA TP. H CHÍ MINH
I H C BÁCH KHOA
----------------------------------
NGUY N NG C L
L C NHI U D
LI U C M BI
Chuyên ngành: KHOA H C MÁY TÍNH
Mã s : 60.48.01
LU
TP. H CHÍ MINH
SÂU
C HOÀN THÀNH T I
I H C BÁCH KHOA
Cán b
HCM
ng d n khoa h c : TS. Lê Ng c Minh .....................................
Cán b ch m nh n xét 1 : TS. Nguy n Anh Tu n .....................................
Cán b ch m nh n xét 2 : TS. Lê Thành Sách ...........................................
Lu
cb ov t
HCM ngày 22 tháng 07
2013
ih
Thành ph n H
1. TS. Tr
m:
...............................
2. TS. Nguy n Anh Tu n .........................
3. TS. Lê Thành Sách ...............................
4. TS. Hu
ng Nguyên ...................
5. TS. Lê Thanh Vân ................................
Xác nh n c a Ch t ch H
chuyên ngành sau khi lu
CH T CH H
ng Khoa qu n lý
c s a ch a (n u có).
NG
NG KHOA
i
I H C QU C GIA TP.HCM
I H C BÁCH KHOA
C NG HÒA XÃ H I CH
c l p - T do - H nh phúc
T NAM
NHI M V LU
...................................... MSHV: 09070448 .................
16/10/1983 ....................................
Tây Ninh................
..................................
: 60.48.01 ...................
Chuyên ngành: Khoa
I.
TÀI:
L C NHI U D
LI U C M BI
SÂU ...........................................................
II. NHI M V VÀ N I DUNG:
D li
u ra c a thi t b Kinect là t
c khi t o mơ hình b m t 3D c
m 3D b nhi u, nên c n l c nhi u
ng ...........................................................
III. NGÀY GIAO NHI M V : 02/07/2012..................................................................
IV. NGÀY HOÀN THÀNH NHI M V : 30/11/2012 ..................................................
V. CÁN B
NG D N: TS. LÊ NG C MINH ........................................................
Tp. HCM, ngày tháng
CÁN B
NG D N
CH NHI M B
(H tên và ch ký)
(H tên và ch ký)
NG KHOA
(H tên và ch ký)
ii
O
L IC
Lu
không th
và t
c th c mà không c n s
u ki n t t nh t c a nhi
i dành cho Tôi.
u tiên, Tôi xin g i l i c
Minh, Th
c nh
ng d n tôi
th c hi
nc
quan tâm trong su t q trình
u ki
ng t
n b n bè Tơi và t t c m
ni
Sau cùng, luôn là c n thi t c
c
Tơi có th hồn thành t t lu
gian c
luôn h tr và
n TS. Lê Ng c
c,
l p trong nghiên c u, t o m
ng viên, giúp
n nh
bên c nh Tôi.
iii
i
.
TĨM T T LU
tài lu
ti
mơ t
m
c nhi u d li
c l y m u t m t b m t.
c th c hi n tr c
l c nhi u,
s d ng k t h p k thu t Moving Least Squares (MLS) v i k thu t Non-Local
trong vi c x
m
thu
c tính hay vùng khơng
c tính.
Thi t b c m bi
d li
sâu Kinect for XBox c a
c s d ng cho vi c l y
m m u c a b m t th c t .
L c nhi u d li u
c ti n x lý cho vi c t o mơ
hình 3D.
iv
ABSTRACT
This Thesis describes a method to denoise data directly from point cloud is sampled
from a surface. The denoising method, using associate Moving Least Squares
(MLS) with Non-Local techniques for deal with points whether they belong to a
feature region or non feature region.
Depth Kinect sensor for XBox of Microsoft used to catch point sampled surface in
real
Denoising point cloud data as a preprocessing step in 3D model reconstruction.
v
L
ng, ngo i tr các k t qu tham kh o t
ng lu
c trình bày trong lu
chính Tơi th c hi
m t b ng c p
n n i dung nào c a lu
ng này ho
ng khác.
vi
cn
l y
M CL C
NHI M V LU
L IC
............................................................................... ii
................................................................................................................ iii
TÓM T T LU
.................................................................................................iv
ABSTRACT ..................................................................................................................... v
L
...........................................................................................................vi
DANH M C B NG .......................................................................................................ix
DANH M C HÌNH ......................................................................................................... x
I THI U .................................................................................................. 1
1.1
ng l c ............................................................................................................. 1
1.2
M c tiêu .............................................................................................................. 2
1.3
ng ti p c n ................................................................................................... 3
1.4
K t c u lu
................................................................................................. 4
NG QUAN ................................................................................................ 5
2.1
Kinect.................................................................................................................. 5
2.2.
M t s thu t ng ................................................................................................. 7
2.2
m (Point Clouds) ........................................................................... 8
2.3
Point Cloud Library (PCL) ................................................................................. 8
2.3.1
M ts
n module C++: ...................................................................... 9
2.3.2
B l c (filter) ............................................................................................... 9
2.3.3
Nh
m (Point Features) ....................................................... 10
2.3.4
ng Normal ..................................................................................... 11
2.3.5
PFH (Point Feature Histogram) ................................................................. 12
2.3.6
FPFH (Fast Point Feature Histogram) ....................................................... 13
LÝ THUY T ................................................................................... 15
3.1
Kho ng cách Euclidean .................................................................................... 15
3.2
Phân tích thành ph n chính - Principal Component Analysis (PCA) .............. 15
3.3
Random Sample Concensus (RANSAC) ........................................................ 16
3.4
Kd-tree .............................................................................................................. 16
U LIÊN QUAN ...................................................................... 18
4.1
Mesh-Independent Surface Interpolation [7].................................................... 18
vii
4.2
Curve Reconstruction from Unorganized Points [9] ........................................ 20
4.3
Point set surfaces [13] ...................................................................................... 20
4.4
Robust moving Least-squares Fitting with Sharp Features [26] ...................... 21
4.5
Similarity-based denoising of point-sampled surface [24]............................... 22
4.6 Adaptive feature-preserving non-local denoising of static and time-varying
range data [17] ............................................................................................................ 22
4.7 Efficient Spatio-Temporal Hole Filling Strategy for Kinect Depth Maps
[14] 23
4.8
Adaptive Spatio-Temporal Filter For Low-Cost Camera Depth Maps [15] .... 24
NG .................................................................................. 26
5.1
Thu th p d li u ................................................................................................ 26
5.2
Filtering ............................................................................................................ 27
5.3
S phân chia (Segmentation) ............................................................................ 28
NHI U .................................................................. 30
6.1.
......................................................................................... 30
6.2.
nhi
xu t .......................................................................... 31
T QU VÀ K T LU N......................................................................... 40
7.1
D li u là DOUBLE-TORUS2........................................................................ 40
7.1.1
Tìm tham s k ............................................................................................ 42
7.1.2
Áp d ng thu t toán MLS cho d li u DOUBLE-TORUS2....................... 43
7.1.3
Áp d ng thu t toán MSL và Non-Local cho d li u Double-Torus2. ....... 46
7.2
D li
c l y t thi t b quét Kinect ........................................................... 55
7.2.1
Áp d ng thu t toán MLS .......................................................................... 56
7.2.2
Áp d ng gi i thu t MLS và NON-LOCAL ............................................... 57
7.3
Th o lu n .......................................................................................................... 63
7.4 K t lu n ................................................................................................................. 63
TÀI LI U THAM KH O.............................................................................................. 65
viii
DANH M C B NG
B ng 6-1: B ng bi n thiên Gaussian Kernel ................................................................ 39
B ng 7-1: B ng s li u ch n tham s k. ...................................................................... 42
B ng 7-2: B ng s li u Double-Torus2, MLS ............................................................. 43
B ng 7-3: B ng s li u Double-Torus2, MLS và Non-Local, bán kính 1.5 ................ 49
B ng 7-4: B ng s li u nh
m thu
c tính Double-Torus2, MLS và
Non-Local, bán kính 1.5............................................................................................... 50
B ng 7-5: B ng s li u Double-Torus2, MLS và Non-Local, bán kính 2 .................. 52
B ng 7-6: B ng s li u nh
m thu
c tính Double-Torus2, MLS và
Non-Local, bán kính 2.................................................................................................. 53
ix
DANH M C HÌNH
Hình 2-1: L y d li
Hình 2-
sâu c a Kinect ....................................................................... 7
Class c a PCL ..................................................................................... 9
Hình 2-3: B l c PassThrough ..................................................................................... 10
Hình 2-
m ............................................................................ 11
Hình 2-
m 3D ....................................................................................... 11
Hình 2-6: Tính normal c a d li
Hình 2-
m...................................................................... 11
ng b m t normal ............................................................................ 12
Hình 2-8: Hàng xóm xung quanh t ng c
m ......................................................... 12
Hình 2-
c tính....................................................................................... 14
Hình 2-
m ...................................................................... 14
Hình 2-11: Hàng xóm c a nh ng hàng xóm ................................................................ 14
Hình 4-1: Tìm m t ph ng ............................................................................................. 18
Hình 4-2: Tìm m t ph ng Hr t
.............................................................................. 19
Hình 4-3: Chi u c a r trên S ........................................................................................ 19
Hình 4-4: M i quan h gi a ri v i r và ri v i q ............................................................ 20
Hình 4-5: Chi u lên b m t g n c nh ........................................................................... 21
Hình 4-6: B m t m n t ng ph
c xây d ng ........................................................ 21
Hình 4-7: Non-Local trên nh ...................................................................................... 23
Hình 4-
kh i c a chi
Hình 5-
thu
Hình 5-2:
Hình 5-3:
y ch tr ng .............................................. 24
ng .................................................................. 26
m d li u l
c t thi t b Kinect ..................................... 27
cl cv
.......................... 28
x
Hình 5-4: M t ph n c a hình h p sau ti n trình phân chia .......................................... 29
Hình 6-1: Tính kho ng cách t
Hình 6-
n m t ph
m. ............................... 31
thu t tốn kh nhi u .......................................................................... 32
Hình 6-3: Giá tr
c a pixel trong nh ........................................................... 35
Hình 6-4: Minh h a b l c Non-Local cho nh ........................................................... 36
Hình 6-5: Chi u c a m
m lên m t ph ng ............................................................. 36
Hình 6-6: Chi u c
m hàng xóm ..................................................................... 37
Hình 6-
th hàm ex và e-x...................................................................................... 38
Hình 6-
th Gaussian Kernel ................................................................................ 39
Hình 7-1: L
i Double-Torus2 .................................................................................... 40
Hình 7-2: D li
m Double-Torus2 ....................................................................... 40
Hình 7-3: T o m u nhi u trong 2D .............................................................................. 41
Hình 7-4: T o m u nhi u trong 3D .............................................................................. 41
Hình 7-5: Mơ hình Double-Torus2 nhi
c thêm vào ........................................... 42
Hình 7-6: Radius = 0.8, th i gian 1403ms ................................................................... 44
Hình 7-7: Radius = 1, th i gian 1555ms ...................................................................... 44
Hình 7-8: Radius = 1.5, th i gian 2049ms ................................................................... 45
Hình 7-9: Radius = 2, th i gian 1839ms ...................................................................... 45
Hình 7-10: Radius = 2.5, th i gian 2555ms ................................................................. 45
Hình 7-11: Radius = 3, th i gian 3266ms .................................................................... 45
Hình 7-12 : Bán kính tìm normal vector 0.7 ................................................................ 46
Hình 7-13: Bán kính tìm normal vector 1 .................................................................... 46
Hình 7-14: Bán kính tìm normal vector 1.5 ................................................................. 47
Hình 7-15: Bán kính tìm normal vector 2 ................................................................... 47
Hình 7-16: tolerance 0.5 eps_angle 30........................................................................ 47
xi
Hình 7-17: tolerance 0.7 eps_angle 30......................................................................... 47
Hình 7-18: tolerance 1 eps_angle 30............................................................................ 48
Hình 7-19: tolerance 2 eps_angle 30............................................................................ 48
Hình 7-20: bán kính 1.5, tolerance 0.7. ........................................................................ 49
Hình 7-21: h = 2, bán kính 1.5. .................................................................................... 50
Hình 7-22: h = 3, bán kính 1.5. .................................................................................... 51
Hình 7-23: h = 5, bán kính 1.5. .................................................................................... 51
Hình 7-24: h = 10, bán kính 1.5. .................................................................................. 51
Hình 7-25: bán kính 2, tolerance 0.7. ........................................................................... 52
Hình 7-26: h = 2, bán kính 2. ....................................................................................... 53
Hình 7-27: h = 3, bán kính 2. ....................................................................................... 54
Hình 7-28: h = 5, bán kính 2. ....................................................................................... 54
Hình 7-29: h = 10, bán kính 2. ..................................................................................... 54
Hình 7-30: C nh c a h
c quét b i Kinect .......................................................... 55
Hình 7-31: Góc c a h
c qt b i Kinect ............................................................ 55
Hình 7-32: Radius = 0.01, c nh, MLS. ........................................................................ 56
Hình 7-33: Radius = 0.02, c nh, MLS. ........................................................................ 56
Hình 7-34: Radius = 0.03, c nh, MLS. ........................................................................ 56
Hình 7-35: Radius = 0.01, góc, MLS. .......................................................................... 57
Hình 7-36: Radius = 0.02, góc, MLS. .......................................................................... 57
Hình 7-37: Radius = 0.03, góc, MLS. .......................................................................... 57
Hình 7-
c tính c nh, s c m 4, s hàng xóm 8. .................................................. 58
Hình 7-39: h = 5, c m 4, hàng xóm 8, c nh. ................................................................ 58
Hình 7-40: h =10, c m 4, hàng xóm 8, c nh. ............................................................... 58
Hình 7-
c tính c nh, s c m 7, s hàng xóm 8. .................................................. 59
xii
Hình 7-42: h = 5, c m 7, hàng xóm 8, c nh. ................................................................ 59
Hình 7-43: h = 10, c m 7, hàng xóm 8, c nh. .............................................................. 59
Hình 7-
c tính góc, s c m 4, s hàng xóm 8. .................................................... 60
Hình 7-45: h = 5, bán kính 0.02, s c m 4, s hàng xóm 8, góc ................................. 60
Hình 7-46: h = 10, bán kính 0.02, s c m 4, s hàng xóm 8, góc ............................... 61
Hình 7-
c tính góc, s c m7, s hàng xóm 8. ..................................................... 61
Hình 7-48: h = 5, bán kính 0.02, s c m 7, s hàng xóm 8, góc. ................................ 62
Hình 7-49: h = 10, bán kính 0.02, s c m 7, s hàng xóm 8, góc. .............................. 62
xiii
I THI U
. Trình bày
Moving Least
Squares)
1.1
Non-Local denoising).
ng l c
u cơng ngh hi
i khác, máy quét b m t 3D
n phát tri n. Nh ng thi t b quét
c p ch y u là thi t b c m bi n Time-of-
Flight và Structured Light
c nhi u s quan tâm g
công ngh , phát tri n g
.
các thi t b r
vi c b t gi nh ng c nh v t l
máy quét
nhi u giai
v i các chi ti t t
c áp d ng thành công cho nhi u m
ng th i cho phép
Trong nhi
th p
tin c y và t
nhi u
nh n d ng c
c
ng
c g m:
nh
c r t
i. Bên c
hi phí
h a h n Kinect s t o ra nhi
i quan tâm tìm hi u.
Tùy thu c vào lo i thi t b c m bi n mà d li
nhau. Vi
c s cho d li
ng c a thi t b c m bi n sinh ra nhi
g
m (point clouds). Lu
bi u di n
thu t ng
c, các
khác nhau. Các
h a máy tính, robot... Thi t b c m bi n Kinect for Xbox
nhi u s chú ý nh vào kh
i v i nh ng
u ra khác
m d li
c bi t t p trung vào t p d li u
c
m không c u trúc . Thu t ng không c u trúc
không có thơng tin liên thơng có s n gi
thi t b c m bi
m m u. Bên c
l y d li u Kinect là m t thi t b c m bi n d a trên k
thu t Structed Light
ms
c dùng trong x lý nhi u
c a lu
nl
d li u th hi n không t
m c a m t b m t t thi t b quét mi n 3D, v n t n t i
n xu t hi n trong k t qu
1
c. Nh ng b t
ng có th x
ph thu c vào nhi u
ng: các thu c
tính c a b m t quét, các thi t b thu th p, kho ng cách gi a các thi t b quét và b m t
và các
d
u ki n ánh sáng
n d li
ch là nh ng cái n i b c nh t. V i m t s
c s b nhi u (noise) hay t o ra nh ng kho ng tr ng c a d li u
c quét.
iv im ts
b m
c c n s chính xác
t k m t thu t toán xây d ng l i m t
m b o hình d ng hay c u trúc c a m t b m t g c là m t vi c khó. M t
c chung trong vi c xây d ng l i b m t 3D là vi c t o ra m t
nhiên
chia tam giác r t nh y c m v i nhi u.
thu t tốn tam giác, nó là c n thi t
trong d li u,
c g i là
nhi u ho c làm m n
i tam giác. Tuy
s d ng m t s
lo i b ho c l c l i nhi u xu t hi n ng u nhiên
nhi
denoising).
y, d li u c
c lo i
c khi th c hi n b t k x lý hình h c ti p theo
uc n
thi t.
1.2 M c tiêu
i thi u
ph
c lu
t p trung vào nh ng thi t b c m bi n thu
m bao g m t
c th hi
i
d ng công th
V i S là m t b m
ng, P = {p1
b m
m m u 3D
thi t b c m bi
mm
Trên d li u th c t ,
là
cg
cl ym ut
m 3D, c a m t b m t S
sâu v n cịn b nhi u, c n m
iv im
c tính hình h c c a b m t S.
ng có c u trúc ph c t p thì m t thách th c l n
phân bi t nhi u t các c u trúc t t, mà c u trúc t
i
cong cao.
2
i
c
nhi u, sao cho v n gi
u là l m ch m, nh p nhơ (ví d
hay
là t
p m u P có th b nhi u.
V it
t
pn},
th hi n trong các b m t
), ho c t các b m t có góc, c nh
Nó v n cịn m t v
c tính b m t
khó là
lo i b nhi u khơng th tránh kh i trong khi v n gi
b nc
khơng có x lý thích h p
ng.
c bi t,
c tính t t là
c cung c p.
u ra
c l c nhi u
c ti n x lý cho các
x lý ti p theo trong vi c t o mơ hình b m t c
ng.
Cu i cùng, ph m vi c a lu
và góc
c
1.3
ng ti p c n
ng b m t n u
ng là hình h p v i thu c tính c nh
quét b i thi t b Kinect.
Nhi u cách ti p c
m g m có:
gi i quy t v
ng n i suy hay x p x m t b m t m n
Squares (MLS)
a trên phép chi
c gi i thi u b i Levin (1998) [7]
Mederos (2003)
(2009)
lo i b nhi u b m t trên d li u
r
east
c nhi
i bi
n
u ng d ng và m r ng tiêu bi
kh nhi
m. Fleishman (2005) và Oztireli
cung c p m t phép chi u m nh lên b m t MLS: Robust Moving
Least Square (RMLS) và Robust Implicit Moving Least Square (RIMLS); áp d ng k
thu t th ng kê Mark Pauly (2004)
trong
xu t m t k thu t
m d li u,
ng kê Bayesian
bài báo [19] hay Schall (2005) l c nhi
c
m
m trên b m t b ng cách di chuy n
likelihood trong c m ch a chúng; m
nhi u
ng không ch c ch n
c s d ng trong
xác
nh v trí
n nh ng v trí c
i
ng ti p c n khác là t nh ng thu t toán l c
c nghiên c u và ng d ng trong 2D s
c chuy
i sang 3D tiêu bi u
t bài báo l c nhi u cho nh (bilateral filtering) c a tác gi Tomasi và Manduchi
(1998)
c Shachar Fleishman m r ng và ng d ng trong l c nhi u trên
i [25] hay
i thi u m
i v i d li u
chuy
li
i trong vi c lo i b nhi u
i theo th i gian.
i t thu t toán kh nhi u không c c b cho nh trong bài báo
[3].
3
V i m c tiêu kh nhi
P
xu t
cl
m sao cho v n gi
c tính v n có c
ng t
Moving Least Squares và t
bài báo c a tác gi Oliver Schall.
ng.
xu t này có s k t h p gi a
: Th nh
MLS, th
không c c b cho l c nhi u nh c a tác gi Buades (2005) [3].
1.4 K t c u lu
Lu
m các
I THI U
NG QUAN
Trình bày v thi t b Kinect, m t s thu t ng
nv
Point Cloud Library (PCL)
có
c s hi u bi t rõ rà
tìm hi
ng ti p c n
l c nhi u d li u,
v
c
LÝ THUY T
Gi i thi u m t s lý thuy
lu
n c n thi
có
c s d ng trong
U LIÊN QUAN
Trình bày t ng quan v
c m bi
sâu.
n bài toán l c nhi u d li u thi t b
NG
có th
ng c n kh o sát ra kh i c nh v
nhi u.
ng s
NHI U
nhi
nhi u cho d li u
T QU VÀ K T LU N
trình bày k t qu th c nghi m gi
pháp Moving Least Squares (MLS). T k t qu
qu
ra k t lu n v
4
xu
c và nh ng nh n xét trên k t
xu t.
. T NG QUAN
u b ng vi c mô t t ng quát thi t b Kinect, bên c
cách tính nh ng thu
x
m.
2.1
c
Kinect
Thi t b c m bi n Kinect
Thi t b c m ng Microsoft Kinect
game vào cu i
c phát hành cho Microsoft Xbox 360 video
Thi t b này
b ng cách di chuy n
i dùng
video
c a mình trong m t cách t nhiên
game mà không c n dùng b t k phím
cho phép
u khi n nào. Ngồi ra, c m bi n Kinect v i
n bi
i dùng tìm nh
tivi, th
Bên c nh nh ng thành công trong công nghi
i chi phí th p cho m t thi t
b Kinect, nhi u nhà nghiên c u và các sinh viên, h
máy tính, k thu
tri n nh ng cách m
n t và ng d
c khoa h c
n d ng công ngh c m bi
phát
c hi n nhi u công vi c khác nhau.
C m bi n Kinect bao g m m t camera màu, m t c m bi
c
t o b i Microsoft hay cịn g i là RGB-D camera. Cơng ngh c m bi n theo chi u sâu
c t o b i cơng ty PrimeSense Israel, chi ti
bí m
ng d a trên n n t
5
c ti t l v n còn là
ph n chi u
h ng ngo i (infrared (IR) projector) c a thi t b
liên t c vào m i b m
mm
camera h ng ngo i (IR camera). C m bi n Kinect dùng v
nh
m sáng và t i
c thu gi b i b ph n
i c a nh
m
tính kho ng cách t i m i v trí pixel.
Thơng s k thu t:
Góc nhìn
Góc nhìn ngang : 57o (1.3m - 3.8m)
ng: 43o
Góc
Ph m vi nghiên v t lý: ± 27o
Ph m vi c m bi
sâu: 1.2m - 3.5m
Dòng d li u
T
d li u: x p x 30 frames/sec
C m bi
sâu: 320x240 pixels 16-
sâu
RGB Camera: 640x480 pixels 32-bit màu
Audio: 16-bit @ 16 kHz
H th ng theo
i, bao g
Theo dõi 20 kh
i, 33ms th i gian tr l i
Kh
n LIVE Avatars
H th ng Audio
Trò chuy n nhóm tr c ti p và trị chuy n trong game (yêu c u là thành viên Xbox
LIVE Gold)
H th ng lo i b ti ng v ng: nh n d ng l
ng nhi u gi ng nói
K t n i thi t b
C ng USB và ngu n bên ngoài
6
IR Projector
IR Sensor
Hình 2-1: L y d li
sâu c a Kinect
2.2. M t s thu t ng
Occlusion
Nh ng ph n c a th c th
c th y b i IR camera m
c chi u b i IR
projector
Shadow
Nh ng ph n c a th c th
c chi u b
c
b t gi b i IR camera
Nhi u (Noise)
Nhi u (noise): l
cách 3 m. Ta s khơng l
sâu). Ví d n
c t t c các
7
t m t ph ng t i m t kho ng
u có giá tr là 3 m mà s có giá tr
xung quanh 3 m theo phân b Gaussian v i m
l ch chu n nh
l ch
chu
Outliers (big errors)
M t outliers là m
ch quá nhi u so v i nh ng phép khác. Chúng là
nh
cb m tc cb .
2.2
m (Point Clouds)
c nhi u d li u 3 chi u (3D)
m 3D
hi n th gi
c t o ra t thi t b
m 3D là m t t
m 3 chi u không liên thông th
c thu gi b i thi t b c m bi n Kinect. Th hi n
m 3D có t
thu c tính khác
(x, y, z),
nc am i
n có th ch a các
ng normal vector.
c sinh ra t nh ng
(depth map).
sâu (depth image) hay b
sâu là m t ma tr n pixels, m i pixel ch a m t giá tr
sâu chính là kho ng cách t b m t c
camera, s
c chuy
M
u và
m 3D,
c s d ng
m
ng
sâu
sâu trong
ng trong th gi i th
n
i sang th hi n 3D.
m là m t c u trúc d li u
m
c g i là
cs d
th hi n m t t p h p các
bi u di n d li u ba chi u. Trong m t
c bi u di n v i t
hình h c X, Y, và Z c a m t
b m t m u. Khi có thêm thơng tin màu s c,
tr thành
m 4D.
2.3 Point Cloud Library (PCL)
Point Cloud Library (PCL) là
mi n phí
i và trong nghiên c u,
m n-D. PCL
Linux, và Android
Do d li
nên t
n mã ngu n m
h tr trên nhi u h
cc
c vi t trong ngôn ng C++,
c s d ng trong x lý hình h c 3D
Windows, MacOS,
ng s d ng.
n và ph i th c hi n các tính tốn hình h c ph c t p
x lý ch
p l nh Streaming SIMD Extensions (SSE) cho
8
vi c tính tốn nhanh trên nh ng CPU hi
i. Bên c nh PCL cung c p OpenMP và
n Intel Threading Building Blocks (TBB) trong vi c x lý song song. Truy n
gi li u gi a các module (ví d
t tốn) s d ng Boost shared pointers. [23]
Hình 2-2
2.3.1 M t s
Class c a PCL
n module C++:
libpcl_features: ch a các c u trúc d li u và các k thu t
t d li
m. Ví d
ng d c tính 3D
cong (curvatures), nh
m biên
(boundary points), Point Fea
libpcl_surface: g m nh ng k thu t xây d ng l i b m t
hulls, Moving Least Squares, ...
libpcl_filters: g m nh ng k thu t l c nhi
p con c
a m t s
m, hay lo i b nh ng ph n c
extraction, projections,
...
libpcl_io: x lý vi
c ghi d li u (files: PCD, PLY)
libpcl_segmentation: nh ng x lý l
n d li u g m có cluster extraction,
Sample Consensus model fitting, polygonal prism extraction, ...
libpcl_registration: nh ng
li u Iterative
Closest Point (ICP), non linear optimizations, ...
2.3.2 B l c (filter)
Gi i h n ph m vi (PassThrough)
9
L
m n m ngoài ph
c ch
nh
Gi m m u (Voxel Grid)
li
c th hi
id
nh ng h p (box) hay cịn g
tồn b chi m gi
i 3D. M i ph n t c
ch
i 3D là
m d li u. M i voxel mà hoàn
c l y thay th b i tâm c a nh
m bên trong nó.
Lo i b Outliers (StatisticalOutlierRemoval / RadiusOutlierRemoval)
Lo i ra i m d a trên m
th t so v i m
m c c b c a chúng. Lo i b
m có
m trung bình c a tồn b
Hình 2-3: B l c PassThrough
2.3.3 Nh
m (Point Features)
Vi c th hi n Point Features
c mơ t
t vector mà nó mơ t
h c c c b xung quanh m
Công th c c a m t th hi
là t p k
thơng tin hình
c xem xét.
t tính cho m
m pq
m pq
c th hi
V i n th hi n vector k t qu có n chi u.
10
c truy v n và Pk
Hình 22.3.4
ng Normal
Nh ng v
s lý d li
m
c nhi m v
chính.
V
n có 2 cách ti p c n trong vi
th ng là t d li
ng normal c a b m t: cách truy n
m xây d ng mơ hình b m
i (meshing)
ng normal t
c d li u l n,
ng ti p c n này t n chi phí cao trong vi c xây d
dùng vi c x p x
Hình 2-5:
m truy v n pq, m t t
cl ym
m.
m
m truy v n pq, Pk
ng
nh Pk có 2 cách sau:
m truy v n pq. vi
nh k hàng xóm g n nh t c
nh các hàng xóm c
ng th 2 là
Hình 2-6: Tính normal c a d li
m là hàng xóm c
m t x p x normal c a b m t t
m
i. M
ng normal tr c ti p t
m 3D
V i Pk là t
n dùng k thu t chia
m truy v n (k search)
m truy v n trong bán kính r (r search)
m hàng xóm cho m
m truy v n pq. V
11
ng normal b
nh các h s k ho
ch ra
