Phát hiện bất thường từ video sử dụng kỹ thuật học sâu luận văn

Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (3.82 MB, 61 trang )

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI
──────── * ───────

LUẬN VĂN THẠC SĨ
Phát hiện bất thường từ video sử dụng kỹ
thuật học sâu

sa
sa ng
sa ng ki
sa ng ki en
sa ng ki en kinh
sa ng ki en kinh ng
sa ng ki en kinh
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh ng hi em
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem

Giảng viên hướng dẫn: TS. Nguyễn Thị Oanh
PGS.TS. Trần Thị Thanh Hải
Viện:

Công nghệ thông tin và Truyền thông

HÀ NỘI 04-2022

Mangh■■ng
Ln
123doc
Th■a
thu■n
l■icam
s■
tr■
h■u
k■t
s■
nghi■m
t■im■t
d■ng
là
s■website
mang
kho
m■i
1. th■
m■

l■i
d■n
CH■P
vi■n
nh■ng
cho
■■u
kh■ng
ng■■i
NH■N
quy■n
chia dùng,
l■
CÁC
s■l■i
v■i
và■I■U
t■t
cơng
h■n
mua
nh■t
2.000.000
ngh■
bán
KHO■N
cho
tàihi■n
ng■■i
li■u

TH■A
tài
th■
hàng
li■u
dùng.
hi■n
THU■N
■■u
■ t■t
Khi
■■i,
Vi■t
c■
khách
b■n
l■nh
Nam.
Chào
online
hàng
v■c:
Tác
m■ng
tr■
khơng
tài
phong
thành
b■n

chính
khác
chun
■■n
thành
tíngì
d■ng,
v■i
so
nghi■p,
viên
123doc.
v■i
cơng
c■a
b■n
hồn
ngh■
123doc
g■c.
h■o,
thơng
B■n
và■■
n■p
có
tin,
cao
th■
ti■n

ngo■i
tính
phóng
vào
ng■,...Khách
trách
tài
to,kho■n
nhi■m
thu nh■
c■a
■■i
hàng
tùy123doc,
v■i
ý.
cót■ng
th■b■n
d■
ng■■i
dàng
s■ dùng.
■■■c
tra c■u
M■c
h■■ng
tàitiêu
li■u
nh■ng
hàng

m■t■■u
quy■n
cáchc■a
chính
l■i123doc.net
sau
xác,n■p
nhanh
ti■n
tr■
chóng.
trên
thành
website
th■ vi■n tài li■u online l■n nh■t Vi■t Nam, cung c■p nh■ng tài li■u ■■c khơng th■ tìm th■y trên th■ tr■■ng ngo■i tr■ 123doc.net.
Nhi■u event thú v■, event ki■m ti■n thi■t th■c. 123doc luôn luôn t■o c■ h■i gia t■ng thu nh■p online cho t■t c■ các thành viên c■a website.

Mangh■n
Ln
Th■a
Xu■t
Sau
Nhi■u
123doc
khi
h■■ng
phát
thu■n
l■i
event

cam
s■
nh■n
m■t
tr■
t■
h■u
k■t
s■
thú
nghi■m
t■i
ýxác
n■m
t■■ng
m■t
d■ng
v■,
là
s■
nh■n
website
ra
mang
event
kho
m■i
■■i,
1.
t■o

t■
th■
m■
l■i
c■ng
ki■m
■■ng
d■n
123doc
CH■P
vi■n
nh■ng
cho
■■u
■■ng
ti■n
h■
kh■ng
ng■■i
NH■N
■ã
quy■n
th■ng
thi■t
chia
t■ng
ki■m
dùng,
l■
CÁC

s■
th■c.
s■
l■i
b■■c
v■i
ti■n
vàchuy■n
■I■U
t■t
cơng
h■n
mua
123doc
online
kh■ng
nh■t
2.000.000
ngh■
bán
KHO■N
sang
b■ng
ln
cho
tài
■■nh
hi■n
ng■■i
li■u

ph■n
ln
tài
TH■A
tài
v■
th■
li■u
hàng
t■o
li■u
thơng
dùng.
tríhi■n
THU■N
hi■u
c■
c■a
■■u
■ tin
t■t
h■i
Khi
■■i,
qu■
mình
Vi■t
xác
c■
khách

gia
b■n
nh■t,
minh
trong
l■nh
Nam.
t■ng
Chào
online
hàng
uy
tài
v■c:
l■nh
thu
Tác
m■ng
tín
kho■n
tr■
nh■p
khơng
tài
phong
v■c
cao
thành
b■n
chính

email
nh■t.
tài
online
khác
chun
■■n
li■u
thành
tínb■n
Mong
gì
cho
d■ng,
và
v■i
so
nghi■p,
viên
kinh
■ã
t■t
123doc.
123doc.net!
v■i
mu■n
cơng
■■ng
c■a
c■

doanh
b■n
các
hồn
mang
ngh■
123doc
ký
g■c.
online.
thành
v■i
h■o,
Chúng
l■i
thơng
B■n
và
123doc.netLink
cho
viên
Tính
■■
n■p
có
tơi
tin,
c■ng
c■a
cao

th■
■■n
cung
ti■n
ngo■i
tính
website.
phóng
■■ng
th■i
vào
c■p
ng■,...Khách
trách
xác
tài
■i■m
D■ch
xã
to,kho■n
th■c
nhi■m
h■i
thutháng
V■
nh■
m■t
s■
c■a
(nh■

■■i
hàng
■■■c
tùy
ngu■n
5/2014;
123doc,
v■i
■■■c
ý.
cóg■i
t■ng
th■
tài
123doc
v■
mơ
ngun
b■n
d■
ng■■i
■■a
t■
dàng
s■
v■■t
d■■i
tri
dùng.
■■■c

ch■
tra
th■c
m■c
■ây)
email
c■u
M■c
h■■ng
q
100.000
cho
tài
b■n
tiêu
báu,
li■u
b■n,
nh■ng
■ã
hàng
phong
m■t
l■■t
tùy
■■ng
■■u
quy■n
cách
truy

thu■c
phú,
ky,
c■a
c■p
chính
■a
l■i
b■n
vào
123doc.net
m■i
d■ng,
sau
xác,
các
vuingày,
n■p
lịng
“■i■u
nhanh
giàu
ti■n
s■
■■ng
tr■
giá
Kho■n
chóng.
h■u

trên
thành
tr■
nh■p
2.000.000
website
■■ng
Th■a
th■
email
vi■n
th■i
Thu■n
c■a
thành
mong
tài v■
li■u
mình
viên
mu■n
S■
online
và
■■ng
D■ng
click
t■o
l■n
ký,

D■ch
■i■u
vào
nh■t
l■t
link
ki■n
V■”
vào
Vi■t
123doc
top
sau
cho
Nam,
200
■ây
cho
■ã
cung
các
các
(sau
g■iwebsite
c■p
users
■âynh■ng
■■■c
cóph■
thêm

tài
bi■n
g■i
thu
li■u
t■t
nh■t
nh■p.
■■c
T■it■i
khơng
t■ng
Chính
Vi■tth■i
th■
Nam,
vì v■y
■i■m,
tìm
t■123doc.net
th■y
l■chúng
tìm
trên
ki■m
tơi
th■
racóthu■c
■■i
tr■■ng

th■nh■m
c■p
top
ngo■i
3nh■t
■áp
Google.
tr■
■KTTSDDV
■ng
123doc.net.
Nh■n
nhu c■u
■■■c
theo
chiaquy■t
danh
s■ tài
hi■u
...li■udo
ch■t
c■ng
l■■ng
■■ng
vàbình
ki■mch■n
ti■n là
online.
website ki■m ti■n online hi■u qu■ và uy tín nh■t.

Lnh■n
123doc
Sau
Th■a
Xu■t
khi
h■■ng
phát
thu■n
cam
nh■n
m■t
t■k■t
s■
t■i
ýxác
n■m
t■■ng
d■ng
là
s■
nh■n
website
ra
mang
■■i,
1.
t■o
t■l■i
c■ng

■■ng
d■n
123doc
CH■P
nh■ng
■■u
■■ng
h■
NH■N
■ã
quy■n
th■ng
chia
t■ng
ki■m
CÁC
s■s■
l■i
b■■c
ti■n
vàchuy■n
■I■U
t■t
mua
online
kh■ng
nh■t
bán
KHO■N
sang

b■ng
cho
tài
■■nh
ng■■i
li■u
ph■n
tài
TH■A
v■
li■u
hàng
thơng
dùng.
tríTHU■N
hi■u
c■a
■■u
tin
Khi
qu■
mình
Vi■t
xác
khách
nh■t,
minh
trong
Nam.
Chào

hàng
uy
tài
l■nh
Tác
m■ng
tín
kho■n
tr■
phong
v■c
cao
thành
b■n
email
nh■t.
tàichun
■■n
li■u
thành
b■n
Mong
và
v■i
nghi■p,
viên
kinh
■ã
123doc.
123doc.net!

mu■n
■■ng
c■a
doanh
hồn
mang
123doc
kýonline.
v■i
h■o,
Chúng
l■ivà
123doc.netLink
cho
Tính
■■
n■p
tơi
c■ng
cao
■■n
cung
ti■n
tính
■■ng
th■i
vào
c■p
trách
xác

tài
■i■m
D■ch
xãkho■n
th■c
nhi■m
h■itháng
V■
m■t
s■
c■a
(nh■
■■i
■■■c
ngu■n
5/2014;
123doc,
v■i
■■■c
g■i
t■ng
tài
123doc
v■
mơ
ngun
b■n
ng■■i
■■a
t■s■

v■■t
d■■i
tri
dùng.
■■■c
ch■
th■c
m■c
■ây)
email
M■c
h■■ng
q
100.000
cho
b■n
tiêu
báu,
b■n,
nh■ng
■ã
hàng
phong
l■■t
tùy
■■ng
■■u
quy■n
truy
thu■c

phú,
ky,
c■a
c■p
■a
l■i
b■n
vào
123doc.net
m■i
d■ng,
sau
các
vuingày,
n■p
lịng
“■i■u
giàu
ti■n
s■
■■ng
tr■
giá
Kho■n
h■u
trên
thành
tr■
nh■p
2.000.000

website
■■ng
Th■a
th■
email
vi■n
th■i
Thu■n
c■a
thành
mong
tài v■
li■u
mình
viên
mu■n
S■
online
và
■■ng
D■ng
click
t■o
l■n
ký,
D■ch
■i■u
vào
nh■t
l■t

link
ki■n
V■”
vào
Vi■t
123doc
top
sau
cho
Nam,
200
■ây
cho
■ã
cung
các
các
(sau
g■iwebsite
c■p
users
■âynh■ng
■■■c
cóph■
thêm
tài
bi■n
g■i
thu
li■u

t■t
nh■t
nh■p.
■■c
T■it■i
khơng
t■ng
Chính
Vi■tth■i
th■
Nam,
vì v■y
■i■m,
tìm
t■123doc.net
th■y
l■chúng
tìm
trên
ki■m
tơi
th■
racóthu■c
■■i
tr■■ng
th■nh■m
c■p
top
ngo■i
3nh■t

■áp
Google.
tr■
■KTTSDDV
■ng
123doc.net.
Nh■n
nhu c■u
■■■c
theo
chiaquy■t
danh
s■ tài
hi■u
...li■udo
ch■t
c■ng
l■■ng
■■ng
vàbình
ki■mch■n
ti■n là
online.
website ki■m ti■n online hi■u qu■ và uy tín nh■t.
Lnh■n
Th■a
Xu■t
Sau
Nhi■u
123doc

Mang
khi
h■■ng
phát
thu■n
l■i
event
cam
s■
nh■n
m■t
tr■
t■
h■u
k■t
s■
thú
nghi■m
t■i
ýxác
n■m
t■■ng
m■t
d■ng
v■,
là
s■
nh■n
website
ra

mang
event
kho
m■i
■■i,
1.
t■o
t■
th■
m■
l■i
c■ng
ki■m
■■ng
d■n
123doc
CH■P
vi■n
nh■ng
cho
■■u
■■ng
ti■n
h■
kh■ng
ng■■i
NH■N
■ã
quy■n
th■ng

thi■t
chia
t■ng
ki■m
dùng,
l■
CÁC
s■
th■c.
s■
l■i
b■■c
v■i
ti■n
vàchuy■n
■I■U
t■t
cơng
h■n
mua
123doc
online
kh■ng
nh■t
2.000.000
ngh■
bán
KHO■N
sang
b■ng

ln
cho
tài
■■nh
hi■n
ng■■i
li■u
ph■n
ln
tài
TH■A
tài
v■
th■
li■u
hàng
t■o
li■u
thơng
dùng.
tríhi■n
THU■N
hi■u
c■
c■a
■■u
■ tin
t■t
h■i
Khi

■■i,
qu■
mình
Vi■t
xác
c■
khách
gia
b■n
nh■t,
minh
trong
l■nh
Nam.
t■ng
Chào
online
hàng
uy
tài
v■c:
l■nh
thu
Tác
m■ng
tín
kho■n
tr■
nh■p
khơng

tài
phong
v■c
cao
thành
b■n
chính
email
nh■t.
tài
online
khác
chun
■■n
li■u
thành
tínb■n
Mong
gì
cho
d■ng,
và
v■i
so
nghi■p,
viên
kinh
■ã
t■t
123doc.

123doc.net!
v■i
mu■n
cơng
■■ng
c■a
c■
doanh
b■n
các
hồn
mang
ngh■
123doc
ký
g■c.
online.
thành
v■i
h■o,
Chúng
l■i
thơng
B■n
và
123doc.netLink
cho
viên
Tính
■■

n■p
có
tơi
tin,
c■ng
c■a
cao
th■
■■n
cung
ti■n
ngo■i
tính
website.
phóng
■■ng
th■i
vào
c■p
ng■,...Khách
trách
xác
tài
■i■m
D■ch
xã
to,kho■n
th■c
nhi■m
h■i

thutháng
V■
nh■
m■t
s■
c■a
(nh■
■■i
hàng
■■■c
tùy
ngu■n
5/2014;
123doc,
v■i
■■■c
ý.
cóg■i
t■ng
th■
tài
123doc
v■
mơ
ngun
b■n
d■
ng■■i
■■a
t■

dàng
s■
v■■t
d■■i
tri
dùng.
■■■c
ch■
tra
th■c
m■c
■ây)
email
c■u
M■c
h■■ng
q
100.000
cho
tài
b■n
tiêu
báu,
li■u
b■n,
nh■ng
■ã
hàng
phong
m■t

l■■t
tùy
■■ng
■■u
quy■n
cách
truy
thu■c
phú,
ky,
c■a
c■p
chính
■a
l■i
b■n
vào
123doc.net
m■i
d■ng,
sau
xác,
các
vuingày,
n■p
lịng
“■i■u
nhanh
giàu
ti■n

s■
■■ng
tr■
giá
Kho■n
chóng.
h■u
trên
thành
tr■
nh■p
2.000.000
website
■■ng
Th■a
th■
email
vi■n
th■i
Thu■n
c■a
thành
mong
tài v■
li■u
mình
viên
mu■n
S■
online

và
■■ng
D■ng
click
t■o
l■n
ký,
D■ch
■i■u
vào
nh■t
l■t
link
ki■n
V■”
vào
Vi■t
123doc
top
sau
cho
Nam,
200
■ây
cho
■ã
cung
các
các
(sau

g■iwebsite
c■p
users
■âynh■ng
■■■c
cóph■
thêm
tài
bi■n
g■i
thu
li■u
t■t
nh■t
nh■p.
■■c
T■it■i
khơng
t■ng
Chính
Vi■tth■i
th■
Nam,
vì v■y
■i■m,
tìm
t■123doc.net
th■y
l■chúng
tìm

trên
ki■m
tơi
th■
racóthu■c
■■i
tr■■ng
th■nh■m
c■p
top
ngo■i
3nh■t
■áp
Google.
tr■
■KTTSDDV
■ng
123doc.net.
Nh■n
nhu c■u
■■■c
theo
chiaquy■t
danh
s■ tài
hi■u
...li■udo
ch■t
c■ng
l■■ng

■■ng
vàbình
ki■mch■n
ti■n là
online.
website ki■m ti■n online hi■u qu■ và uy tín nh■t.
u■t phát
Nhi■u
Mang
Ln
123doc
Th■a
Xu■t
Sau
khi
h■n
h■■ng
phát
thu■n
l■i
event
s■
cam
nh■n
t■
m■t
tr■
t■
h■u
ýk■t

s■
thú
nghi■m
t■i
ýt■■ng
xác
n■m
t■■ng
m■t
d■ng
v■,
là
s■
nh■n
website
ra
mang
event
t■o
kho
m■i
■■i,
1.
t■o
t■
c■ng
th■
m■
l■i
c■ng

ki■m
■■ng
d■n
123doc
CH■P
vi■n
nh■ng
cho
■■ng
■■u
■■ng
ti■n
h■
kh■ng
ng■■i
NH■N
■ã
quy■n
th■ng
thi■t
chia
ki■m
t■ng
ki■m
dùng,
l■
CÁC
s■
th■c.
ti■n

s■
l■i
b■■c
v■i
ti■n
vàchuy■n
■I■U
t■t
cơng
online
h■n
mua
123doc
online
kh■ng
nh■t
2.000.000
ngh■
bán
KHO■N
b■ng
sang
b■ng
ln
cho
tài
■■nh
hi■n
tài
ng■■i

li■u
ph■n
ln
tài
TH■A
li■u
tài
v■
th■
li■u
hàng
t■o
li■u
thơng
dùng.
trí
hi■u
hi■n
THU■N
hi■u
c■
c■a
■■u
■ tin
qu■
t■t
h■i
Khi
■■i,
qu■

mình
Vi■t
xác
c■
khách
gia
nh■t,
b■n
nh■t,
minh
trong
l■nh
Nam.
t■ng
Chào
online
uy
hàng
uy
tài
v■c:
l■nh
thu
Tác
tín
m■ng
tín
kho■n
tr■
cao

nh■p
khơng
tài
phong
v■c
cao
thành
b■n
chính
nh■t.
email
nh■t.
tài
online
khác
chun
■■n
li■u
thành
tín
Mong
b■n
Mong
gì
cho
d■ng,
và
v■i
so
nghi■p,

viên
kinh
■ã
mu■n
t■t
123doc.
123doc.net!
v■i
mu■n
cơng
■■ng
c■a
c■
doanh
b■n
mang
các
hồn
mang
ngh■
123doc
ký
g■c.
online.
thành
v■i
l■i
h■o,
Chúng
l■i

thơng
B■n
cho
và
123doc.netLink
cho
viên
Tính
■■
n■p
có
c■ng
tơi
tin,
c■ng
c■a
cao
th■
■■n
cung
ti■n
ngo■i
■■ng
tính
website.
phóng
■■ng
th■i
vào
c■p

ng■,...Khách
trách
xác
xã
tài
■i■m
D■ch
xã
to,h■i
kho■n
th■c
nhi■m
h■i
thum■t
tháng
V■
nh■
m■t
s■
c■a
(nh■
■■i
hàng
ngu■n
■■■c
tùy
ngu■n
5/2014;
123doc,
v■i

■■■c
ý.
cótài
g■i
t■ng
th■
tài
123doc
ngun
v■
mơ
ngun
b■n
d■
ng■■i
■■a
t■
dàng
s■
v■■t
tri
d■■i
tri
dùng.
■■■c
ch■
th■c
tra
th■c
m■c

■ây)
email
c■u
q
M■c
h■■ng
q
100.000
cho
tài
báu,
b■n
tiêu
báu,
li■u
b■n,
nh■ng
phong
■ã
hàng
phong
m■t
l■■t
tùy
■■ng
■■u
phú,
quy■n
cách
truy

thu■c
phú,
ky,
c■a
c■p
■a
chính
■a
l■i
b■n
vào
d■ng,
123doc.net
m■i
d■ng,
sau
xác,
các
vuingày,
n■p
giàu
lịng
“■i■u
nhanh
giàu
ti■n
giá
s■
■■ng
tr■

giá
Kho■n
chóng.
h■u
tr■
trên
thành
tr■
nh■p
■■ng
2.000.000
website
■■ng
Th■a
th■
email
th■i
vi■n
th■i
Thu■n
mong
c■a
thành
mong
tài v■
li■u
mình
mu■n
viên
mu■n

S■
online
và
■■ng
D■ng
t■o
click
t■o
l■n
■i■u
ký,
D■ch
■i■u
vào
nh■t
l■t
link
ki■n
ki■n
V■”
vào
Vi■t
123doc
cho
top
sau
cho
Nam,
cho
200

■ây
cho
■ã
cung
các
các
các
(sau
g■i
users
website
c■p
users
■âynh■ng
có
■■■c
cóph■
thêm
thêm
tài
bi■n
g■i
thu
thu
li■u
t■t
nh■p.
nh■t
nh■p.
■■c

T■it■i
Chính
khơng
t■ng
Chính
Vi■tth■i
vìth■
Nam,
vìv■y
v■y
■i■m,
tìm
123doc.net
t■123doc.net
th■y
l■chúng
tìm
trên
ki■m
tơi
ra
th■
racó
■■i
thu■c
■■i
tr■■ng
th■
nh■m
nh■m

c■p
top
ngo■i
■áp
3nh■t
■áp
Google.
■ng
tr■
■KTTSDDV
■ng
123doc.net.
nhu
Nh■n
nhuc■u
c■u
■■■c
chia
theo
chias■
quy■t
danh
s■tàitài
hi■u
li■u
...li■uch■t
do
ch■t
c■ng
l■■ng

l■■ng
■■ng
vàvàki■m
bình
ki■mch■n
ti■n
ti■nonline.
là
online.
website ki■m ti■n online hi■u qu■ và uy tín nh■t.

Nhi■u
Mang
Ln
123doc
Th■a
Xu■t
Sau
khi
h■n
h■■ng
phát
thu■n
l■i
event
s■
cam
nh■n
m■t
tr■

t■
h■u
k■t
s■
thú
nghi■m
t■i
ýxác
n■m
t■■ng
m■t
d■ng
v■,
là
s■
nh■n
website
ra
mang
event
kho
m■i
■■i,
1.
t■o
t■
th■
m■
l■i
c■ng

ki■m
■■ng
d■n
123doc
CH■P
vi■n
nh■ng
cho
■■u
■■ng
ti■n
h■
kh■ng
ng■■i
NH■N
■ã
quy■n
th■ng
thi■t
chia
t■ng
ki■m
dùng,
l■
CÁC
s■
th■c.
s■
l■i
b■■c

v■i
ti■n
vàchuy■n
■I■U
t■t
cơng
h■n
mua
123doc
online
kh■ng
nh■t
2.000.000
ngh■
bán
KHO■N
sang
b■ng
ln
cho
tài
■■nh
hi■n
ng■■i
li■u
ph■n
ln
tài
TH■A
tài

v■
th■
li■u
hàng
t■o
li■u
thơng
dùng.
tríhi■n
THU■N
hi■u
c■
c■a
■■u
■ tin
t■t
h■i
Khi
■■i,
qu■
mình
Vi■t
xác
c■
khách
gia
b■n
nh■t,
minh
trong

l■nh
Nam.
t■ng
Chào
online
hàng
uy
tài
v■c:
l■nh
thu
Tác
m■ng
tín
kho■n
tr■
nh■p
khơng
tài
phong
v■c
cao
thành
b■n
chính
email
nh■t.
tài
online
khác

chun
■■n
li■u
thành
tínb■n
Mong
gì
cho
d■ng,
và
v■i
so
nghi■p,
viên
kinh
■ã
t■t
123doc.
123doc.net!
v■i
mu■n
cơng
■■ng
c■a
c■
doanh
b■n
các
hồn
mang

ngh■
123doc
ký
g■c.
online.
thành
v■i
h■o,
Chúng
l■i
thơng
B■n
và
123doc.netLink
cho
viên
Tính
■■
n■p
có
tơi
tin,
c■ng
c■a
cao
th■
■■n
cung
ti■n
ngo■i

tính
website.
phóng
■■ng
th■i
vào
c■p
ng■,...Khách
trách
xác
tài
■i■m
D■ch
xã
to,kho■n
th■c
nhi■m
h■i
thutháng
V■
nh■
m■t
s■
c■a
(nh■
■■i
hàng
■■■c
tùy
ngu■n

5/2014;
123doc,
v■i
■■■c
ý.
cóg■i
t■ng
th■
tài
123doc
v■
mơ
ngun
b■n
d■
ng■■i
■■a
t■
dàng
s■
v■■t
d■■i
tri
dùng.
■■■c
ch■
tra
th■c
m■c
■ây)

email
c■u
M■c
h■■ng
q
100.000
cho
tài
b■n
tiêu
báu,
li■u
b■n,
nh■ng
■ã
hàng
phong
m■t
l■■t
tùy
■■ng
■■u
quy■n
cách
truy
thu■c
phú,
ky,
c■a
c■p

chính
■a
l■i
b■n
vào
123doc.net
m■i
d■ng,
sau
xác,
các
vuingày,
n■p
lịng
“■i■u
nhanh
giàu
ti■n
s■
■■ng
tr■
giá
Kho■n
chóng.
h■u
trên
thành
tr■
nh■p
2.000.000

link
ki■n
V■”
vào
Vi■t
123doc
top
sau
cho
Nam,
200
■ây
cho
■ã
cung
các
các
(sau
g■iwebsite
c■p
users
■âynh■ng
■■■c
cóph■
thêm
tài
bi■n
g■i
thu
li■u

Họ và tên tác giả luận văn : Hắc Tiến Thành
Đề tài luận văn: Phát hiện bất thường từ video sử dụng kỹ thuật học sâu
Chuyên ngành: Khoa học máy tính
Mã số SV: 20202415M

Tác giả, Người hướng dẫn khoa học và Hội đồng chấm luận văn xác nhận
với các nội dung sau:

sa
sa ng
sa ng ki
sa ng ki en
sa ng ki en kinh
sa ng ki en kinh ng
sa ng ki en kinh
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh ng hi em

sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh ng hi em
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
ng ki en kinh
em
ki en kinh ng nghi hiem
en ki
em
ki nh ng hiem
nh ng hi
ng hiemem
hi
em

tác giả đã sửa chữa, bổ sung luận văn theo biên bản họp Hội đồng ngày 28/04/2022
1. Bổ sung so sánh với các kết quả thực nghiệm mới nhất trong [1], [2], [3] trong
phần 4.3.2 trang 48
2. Sửa lại thông tin bài báo [4] đã được công bố ở hội nghị CVPR trong Tài liệu
tham khảo trang 57
3. Bổ sung các khái niệm khi làm việc với video: đoạn, clip, phân đoạn, gói
(bags), và thể hiện (instance) (phần 1.2.1 trang 15-16)
4. Bổ sung minh họa cơ chế chú ý cho clip trong một video (phần 4.3.2 trang 5354)
5. Bổ sung nội dung làm rõ giới hạn của các kỹ thuật sử dụng trong luận văn
(phần 1.4.2 trang 21)
6. Sửa lại câu văn để thể hiện đầy đủ ý (phần 3.1.1 trang 31, Tóm tắt luận văn)
7. Bổ sung tham chiếu cho Hình 10 trang 26 và Hình 11 trang 27
8. Sửa nội dung trình bày lý thuyết mạng Long Short Term Memory (phần 2.3
trang 25)

2

sa
sa ng
sa ng ki
sa ng ki en
sa ng ki en kinh
sa ng ki en kinh ng
sa ng ki en kinh
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh

em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh ng hi em
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh ng hi em
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
ng ki en kinh
em

ki en kinh ng nghi hiem
en ki
em
ki nh ng hiem
nh ng hi
ng hiemem
hi
em

9. Bổ sung nội dung phần 3.1 theo hướng từ tổng quát đến việc việc áp dụng
CSDL UCF-Crime chỉ là một trường hợp đánh giá phương pháp (phần 3.1

trang 30)

10. Bổ sung đánh số trang

11. Bổ sung giải thích cơ chế chú ý (phần 3.2.1 trang 37)

12. Sửa lại một số đoạn in nghiêng về chữ thẳng (phần 3.2.2 trang 38)

13. Sửa lại bỏ nền, sửa kích thước phơng chữ hợp lý Hình 16 trang 31, Hình 20
trang 37, Hình 19 trang 36, Hình 21 trang 38.

14. Bổ sung bảng tổng hợp các tham số thực nghiệm (phần 4.3.1 trang 44)

Ngày

Giáo viên hướng dẫn
tháng
năm

Tác giả luận văn

CHỦ TỊCH HỘI ĐỒNG

3

LỜI CẢM ƠN
Đầu tiên, em xin gửi lời cảm ơn chân thành đến TS. Nguyễn Thị Oanh và PGS.TS
Trần Thị Thanh Hải đã hướng dẫn ân cần, tận tình, và kiên nhẫn với em và tạo
động lực cho em trong khoảng thời gian thực hiện luận văn thạc sĩ này.
Em xin chân thành cảm ơn Viện Nghiên cứu Quốc tế MICA đã cho em một môi
trường thuận lợi để học tập và nghiên cứu. Em xin cảm ơn đến tất cả các thầy cơ
Viện Cơng nghệ thơng tin nói riêng và các thầy cô Trường Đại học Bách khoa Hà
Nội nói chung trong suốt thời gian học trên giảng đường đã truyền đạt cho em
những kiến thức cần thiết.
Cuối cùng, em xin gửi lời cảm ơn đến gia đình đã ln quan tâm, ủng hộ hết lịng
về vật chất và tinh thần trong suốt thời gian qua cũng như tất cả các bạn cùng lớp
đã đồng hành trong suốt thời gian học và làm việc.
Do thời gian và kiến thức có hạn nên khơng luận văn khơng tránh khỏi những thiếu
bạn.

sa
sa ng
sa ng ki
sa ng ki en
sa ng ki en kinh
sa ng ki en kinh ng
sa ng ki en kinh

sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh ng hi em
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh ng hi em
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem

sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
ng ki en kinh
em
ki en kinh ng nghi hiem
en ki
em
ki nh ng hiem
nh ng hi
ng hiemem
hi
em

sót nhất định, em rất mong nhận được sự đóng góp quý báu của thầy cô và các
Hà Nội, ngày .... tháng .... năm 2022
Học viên

4

TÓM TẮT NỘI DUNG LUẬN VĂN
Luận văn này tập trung giải quyết bài toán phát hiện bất thường từ video giám sát
an ninh liên quan đến một hoặc nhiều người. Đây là một bài tốn có tính ứng dụng
thực tiễn cao trong các hệ thống camera giám sát, đang ngày càng được sử dụng
đường phố, ngã tư, ngân hàng, trung tâm mua sắm, v.v nhằm tăng tính an tồn nơi
cơng cộng. Tuy nhiên, bài tốn này có rất nhiều thách thức do sự đa dạng của bất
thường cũng như sự mất cân bằng dữ liệu và thường không được gán nhãn phân
đoạn chính xác về mặt thời gian. Luận văn giải quyết bài toán phát hiện bất thường
dựa trên phân lớp nhị phân với các kỹ thuật học sâu dựa trên huấn luyện dữ liệu

nhãn yếu. Phương pháp đề xuất trong luận văn gồm các bước chính sau. Đầu tiên
mạng nơ-ron tích chập 3 chiều (C3D – 3D convolutional neural network) được áp
dụng để trích chọn các đặc trưng khơng gian và thời gian từ một chuỗi video. Sau
đó, học đa thể hiện (MIL) được nghiên cứu và ứng dụng để giải quyết vấn đề gán
nhãn yếu của dữ liệu. Cuối cùng, cơ chế chú ý (attention mechanism) và kỹ thuật
phân cụm (K-means) được áp dụng để khai thác các thông tin tương quan giữa các
sa
sa ng
sa ng ki
sa ng ki en
sa ng ki en kinh
sa ng ki en kinh ng
sa ng ki en kinh
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh ng hi em
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem

sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh ng hi em
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
ng ki en kinh
em
ki en kinh ng nghi hiem
en ki
em
ki nh ng hiem
nh ng hi
ng hiemem
hi
em

phân đoạn trong cùng một video. K-means giúp tạo nhãn giả cho các phân đoạn
trong video, khắc phục cho vấn đề nhãn yếu – chỉ có nhãn ở mức độ video mà
khơng có nhãn của các khung hình trong video. Phương pháp đề xuất được đánh

giá thực nghiệm trên CSDL UCF-Crime gồm 1900 video với 13 sự kiện bất thường
và các hoạt động bình thường được ghi lại bằng camera giám sát. Kết quả thực
nghiệm cho thấy cơ chế chú ý cho phép cải thiện khả năng phát hiện bất thường
của hệ thống tổng thể so với việc chỉ thực hiện trích chọn đặc trưng và học đa thể
hiện.
Hà Nội, ngày .... tháng .... năm 2022
HỌC VIÊN

5

MỤC LỤC
LỜI CẢM ƠN ...............................................................................................................4
TÓM TẮT NỘI DUNG LUẬN VĂN ............................................................................5
MỤC LỤC ....................................................................................................................6
DANH MỤC HÌNH ẢNH .............................................................................................8
DANH MỤC BẢNG ................................................................................................... 10
DANH MỤC TỪ VIẾT TẮT VÀ THUẬT NGỮ ........................................................ 11
CHƯƠNG 1: TỔNG QUAN BÀI TOÁN PHÁT HIỆN CÁC SỰ KIỆN BẤT THƯỜNG
TỪ VIDEO ................................................................................................................. 12
1.1.

Một số khái niệm ........................................................................................... 12

1.1.1.

Khái niệm bất thường trong phân tích dữ liệu ......................................... 12

1.1.2.

Các kiểu bất thường ............................................................................... 13

1.2.

Phát hiện bất thường từ video ........................................................................ 14
Định nghĩa bài toán ................................................................................ 14

1.2.2.

Khung làm việc tổng quát của một hệ thống phát hiện bất thường ..........16

1.2.3.

Một số vấn đề thường gặp của phát hiện bất thường ............................... 17
sa
sa ng
sa ng ki
sa ng ki en
sa ng ki en kinh
sa ng ki en kinh ng
sa ng ki en kinh
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em

sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh ng hi em
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh ng hi em
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
ng ki en kinh
em
ki en kinh ng nghi hiem
en ki
em
ki nh ng hiem

nh ng hi
ng hiemem
hi
em

1.2.1.

1.3.

Một số kỹ thuật phát hiện bất thường từ video dựa trên học sâu ..................... 19

1.4.

Mục tiêu, phạm vi của luận văn và phương pháp nghiên cứu ......................... 21

1.4.1.

Mục tiêu của luận văn ............................................................................ 21

1.4.2.

Phạm vi nghiên cứu của luận văn ........................................................... 21

1.4.3.

Phương pháp nghiên cứu đề xuất và các đóng góp khoa học ................... 21

1.5.

Bố cục luận văn ............................................................................................. 22

CHƯƠNG 2: CƠ SỞ LÝ THUYẾT ............................................................................ 23
2.1.

Giới thiệu chung về mạng nơ-ron tích chập ................................................... 23

2.2.

Mạng nơ-ron tích chập ba chiều .................................................................... 24

2.3.

Mạng Long Short Term Memory ................................................................... 25

2.4.

Cơ chế chú ý trong kiến trúc giải mã-mã hóa ................................................. 26

2.5.

Một số nghiên cứu về bài toán phát hiện bất thường dựa trên nhãn yếu .......... 27

CHƯƠNG 3: MƠ HÌNH PHÁT HIỆN BẤT THƯỜNG .............................................. 30
3.1.

Mơ hình C3D kết hợp học đa thể hiện ........................................................... 30

3.1.1 Mơ hình kiến trúc mạng C3D ..................................................................... 31
3.1.2 Mơ hình Deep MIL Ranking....................................................................... 32
3.1.3.

Xử lý vấn đề lấy mẫu trên video ............................................................. 34
6

3.1.4.
3.2.

Nhận xét ................................................................................................ 35

Giải pháp cải tiến đề xuất .............................................................................. 36

3.2.1.

Sử dụng cơ chế chú ý dựa trên clip (clip attention) ................................. 36

3.2.2.

Sử dụng thuật toán phân cụm để tạo nhãn giả (pseudo label) .................. 37

CHƯƠNG 4: THỰC NGHIỆM ................................................................................... 40
4.1.

Dữ liệu thực nghiệm ...................................................................................... 40

4.2.

Độ đo hiệu năng ............................................................................................ 43

4.3.

Triển khai thực nghiệm ................................................................................. 43

4.3.1

Huấn luyện các mơ hình ......................................................................... 43

4.3.2.

Kết quả thực nghiệm .............................................................................. 47

CHƯƠNG 5: KẾT LUẬN ........................................................................................... 55
5.1.

Kết quả đạt được ........................................................................................... 55

5.2.

Định hướng phát triển của đề tài .................................................................... 55

sa
sa ng
sa ng ki
sa ng ki en
sa ng ki en kinh
sa ng ki en kinh ng
sa ng ki en kinh
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em

sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh ng hi em
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh ng hi em
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem

ng ki en kinh
em
ki en kinh ng nghi hiem
en ki
em
ki nh ng hiem
nh ng hi
ng hiemem
hi
em

Tài liệu tham khảo ....................................................................................................... 57

7

DANH MỤC HÌNH ẢNH
Hình 1: Một ví dụ đơn giản về sự bất thường trong bộ dữ liệu 2 chiều [5].................... 12
Hình 2: Sự khác biệt giữa nhiễu và bất thường [6] ....................................................... 13
Hình 3: Minh họa hệ thống phát hiện bất thường ......................................................... 15
Hình 4: Minh họa gói (bag) và thể hiện (instance) [4] .................................................. 15
Hình 5: Minh họa phân đoạn trong một video [4] ........................................................ 16
Hình 6: Khung làm việc tổng quát của một hệ thống phát hiện bất thường ................... 17
Hình 7: So sánh thuật các tốn trên học sâu và các thuật toán truyền thống [7] ............ 20
Hình 8 : Kiến trúc chung của mạng nơ-ron tích chập ................................................... 23
Hình 9 : Phép tốn tích chập 3 chiều [12] .................................................................... 25
Hình 10: Kiến trúc mạng LSTM [16] ...........................................................................26
Hình 11: Kiến trúc mã hóa – giải mã với cơ chế chú ý [17]..........................................27
Hình 12: Sơ đồ luồng phát hiện bất thường trong [4] ................................................... 28
Hình 13: Tổng quan mơ hình trong [1] ........................................................................ 28

Hình 14: Phương pháp đề xuất trong [2] ......................................................................29
Hình 15: Phương pháp đề xuất trong [3] ......................................................................29
sa
sa ng
sa ng ki
sa ng ki en
sa ng ki en kinh
sa ng ki en kinh ng
sa ng ki en kinh
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh ng hi em
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh

em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh ng hi em
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
ng ki en kinh
em
ki en kinh ng nghi hiem
en ki
em
ki nh ng hiem
nh ng hi
ng hiemem
hi
em

Hình 16 : Khung hình tổng quát của phát hiện bất sự kiện bất thường trong [4] ...........31
Hình 17 : Kiến trúc mạng C3D [12] .............................................................................31
Hình 18 : Số lượng tham số trong các tầng của model C3D ......................................... 32
Hình 19: Mơ hình đề xuất sử dụng cơ chế chú ý dựa trên clip ......................................36
Hình 20: Cơ chế chú ý dựa trên clip.............................................................................37
Hình 21: Mơ hình cải tiến sử dụng cơ chế chú ý và thuật tốn K-means ....................... 38
Hình 22: Các sự kiện bất thường khác nhau từ các video huấn luyện và video kiểm thử

trong tập bộ dữ liệu UCF-Crime .................................................................................. 40
Hình 23: Kích thước của các video trong tập dữ liệu kiểm thử ..................................... 42
Hình 24: Tỉ lệ bất thường trong các video trong tập dữ liệu kiểm thử ........................... 42
Hình 25: Giá trị hàm mất mát theo lơ trong mơ hình C3D-MIL ................................... 44
Hình 26: Giá trị hàm mất mát theo lơ trong mơ hình C3D-ATT-MIL........................... 45
Hình 27: Giá trị hàm mất mát tổng hợp (MIL_Loss + MSE_Loss + Kmeans_Loss) theo
lơ trong mơ hình C3D-ATT-CLT-MIL ........................................................................ 45
Hình 28: Giá trị hàm mất mát thành phần MIL_Loss theo lô trong mơ hình C3D-ATTCLT-MIL .................................................................................................................... 46
Hình 29: Giá trị hàm mất mát thành phần MSE_Loss theo lơ trong mơ hình C3D-ATTCLT-MIL .................................................................................................................... 46
8

Hình 30: Giá trị hàm mất mát thành phần KMeans_Loss theo lơ trong mơ hình C3DATT-CLT-MIL ...........................................................................................................47
Hình 31: So sánh đường cong ROC mức khung hình ................................................... 49
Hình 32: So sánh đường cong ROC mức clip 16-khung hình ....................................... 50
Hình 33: So sánh độ chính xác AUC (%) mức khung hình theo từng lớp bất thường của
các thực nghiệm ..........................................................................................................50
Hình 34: So sánh kết quả dự đoán bất thường của các thực nghiệm tại video Vandalism036
.................................................................................................................................... 51
Hình 35: So sánh kết quả dự đoán bất thường của các thực nghiệm tại video Robbery048
.................................................................................................................................... 51
Hình 36: So sánh kết quả dự đoán bất thường của các thực nghiệm tại video Assault006
.................................................................................................................................... 52
Hình 37: So sánh kết quả dự đốn bất thường của các thực nghiệm tại video Abuse030
.................................................................................................................................... 52
Hình 38: So sánh kết quả dự đoán bất thường của các thực nghiệm tại video Assault006
.................................................................................................................................... 53
sa
sa ng
sa ng ki

sa ng ki en
sa ng ki en kinh
sa ng ki en kinh ng
sa ng ki en kinh
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh ng hi em
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem

sa ng ki en kinh ng hi em
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
ng ki en kinh
em
ki en kinh ng nghi hiem
en ki
em
ki nh ng hiem
nh ng hi
ng hiemem
hi
em

Hình 39: Minh họa một phân đoạn gồm có 4 clip và trọng số cho mỗi clip .................. 53

9

DANH MỤC BẢNG
Bảng 1: Số lượng video của từng lớp trong tập dữ liệu huấn luyện............................... 41
Bảng 2: Thống kê số khung hình bình thường và bất thường trong tập dữ liệu đánh giá
.................................................................................................................................... 43
Bảng 3: Bảng tổng hợp các tham số lựa chọn trong hàm mất mát trình bày trong chương
3 .................................................................................................................................. 44
Bảng 4: Các kết quả thực nghiệm trên bộ dữ liệu UCF-Crime ..................................... 48

sa
sa ng
sa ng ki
sa ng ki en
sa ng ki en kinh
sa ng ki en kinh ng
sa ng ki en kinh
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh ng hi em
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em

sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh ng hi em
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
ng ki en kinh
em
ki en kinh ng nghi hiem
en ki
em
ki nh ng hiem
nh ng hi
ng hiemem
hi
em

Bảng 5: Minh họa cách tính trọng số cho clip trong cơ chế chú ý ................................. 54

10

DAD

C3D

GPU
Graphical Processing Unit
Bộ xử lý đồ họa

ReLU
Rectified Linear Unit
Đơn vị tuyến tính chỉnh lưu

FC
Fully-connected
(Tầng) kết nối đầy đủ

PCA
Principal Component Analysis Phép phân tích thành phần chính
sa
sa ng
sa ng ki
sa ng ki en
sa ng ki en kinh
sa ng ki en kinh ng
sa ng ki en kinh
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh

em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh ng hi em
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh ng hi em
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
ng ki en kinh
em
ki en kinh ng nghi hiem
en ki
em

ki nh ng hiem
nh ng hi
ng hiemem
hi
em

DANH MỤC TỪ VIẾT TẮT VÀ THUẬT NGỮ

Từ viết tắt, Từ đầy đủ
Ý nghĩa

thuật ngữ

CNN
Convolutional Neural Network Mạng nơ-ron tích chập

MIL
Multiple Instance Learning
Học đa thể hiện

LSTM
Long short term memory
Bộ nhớ dài-ngắn hạn

RNN
Recurrent Neural Network
Mạng thần kinh hồi quy

DTD
Dense Trajectory Descriptor

Bộ mơ tả dựa trên lộ trình chuyển

động theo phương pháp lấy mẫu dày

Deep Anomaly Detection
Phương pháp học sâu cho phát hiện

bất thường

3-Dimensional Convolutional Mạng nơ-ron tích chập 3 chiều

Network

11

CHƯƠNG 1: TỔNG QUAN BÀI TOÁN PHÁT HIỆN CÁC SỰ KIỆN BẤT
THƯỜNG TỪ VIDEO

1.1.

Một số khái niệm

1.1.1. Khái niệm bất thường trong phân tích dữ liệu
Trong phân tích dữ liệu, bất thường là các mẫu ngoại lệ, hiếm gặp và có sự sai
khác đáng kể so với phần lớn các mẫu bình thường cịn lại. Có nhiều ngun nhân
gây ra bất thường tuỳ thuộc vào ứng dụng và ngữ cảnh xem xét. Ví dụ, trong cuộc
sống hằng ngày, đa số các hoạt động của các nhân, tập thể hay hệ thống là bình
thường. Ngược lại, các hoạt động có tính chất gây hại như gian lận thẻ tín dụng,
xâm nhập mạng, khủng bố hoặc phá vỡ một hệ thống là bất thường. Hình 1 minh

họa một số bất thường trong tập dữ liệu 2 chiều đơn giản. Tập dữ liệu gồm các số
lượng lớn các mẫu bình thường nằm trong hai vùng N1 và N2 trong khi các điểm

sa
sa ng
sa ng ki
sa ng ki en
sa ng ki en kinh
sa ng ki en kinh ng
sa ng ki en kinh
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh ng hi em
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem

sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh ng hi em
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
ng ki en kinh
em
ki en kinh ng nghi hiem
en ki
em
ki nh ng hiem
nh ng hi
ng hiemem
hi
em

còn lại O1, O2, O3 nằm cách xa các vùng khác là các bất thường.

Hình 1: Một ví dụ đơn giản về sự bất thường trong bộ dữ liệu 2 chiều [5]
Bất thường có liên quan đến nhiễu, nhưng khác với nhiễu. Hình 2 minh hoạ sự
khác biệt giữa nhiễu và bất thường [4]. Cả hai hình 2(a) và 2(b) đều có hai vùng
dữ liệu chính giống hệt nhau. Tuy nhiên, trong hình 2(a), một điểm dữ liệu (điểm

A) rất khác so với dữ liệu còn lại, và được coi là điểm dữ liệu bất thường. Trong
12

hình 2(b), điểm dữ liệu A nằm trong một vùng dữ liệu thưa thớt, được coi như
nhiễu dữ liệu.

Hình 2: Sự khác biệt giữa nhiễu và bất thường [6]

1.1.2. Các kiểu bất thường

-

sa
sa ng
sa ng ki
sa ng ki en
sa ng ki en kinh
sa ng ki en kinh ng
sa ng ki en kinh
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem

sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh ng hi em
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh ng hi em
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
ng ki en kinh
em
ki en kinh ng nghi hiem
en ki
em
ki nh ng hiem
nh ng hi

ng hiemem
hi
em

Các bất thường có thể được phân làm 3 loại sau:
Loại 1: Bất thường điểm: Nếu một mẫu dữ liệu tách biệt với phần cịn lại
của dữ liệu, mẫu dữ liệu đó được gọi là điểm bất thường. Đây là loại bất
thường đơn giản nhất và là trọng tâm của phần lớn các nghiên cứu về phát
hiện bất thường. Ví dụ trong ứng dụng phát hiện gian lận thẻ tín dụng. Tập
dữ liệu tương ứng với các giao dịch của một thẻ thanh tốn. Giả sử rằng dữ
liệu chỉ có một đặc trưng là lượng tiền giao dịch. Một giao dịch với một số
tiền cao hơn hẳn so với khoảng tiền tiêu dùng bình thường của một cá nhân
sẽ là một bất thường điểm.
-

Loại 2: Bất thường ngữ cảnh: Một mẫu dữ liệu là bất thường trong một
ngữ cảnh cụ thể nhưng là bình thường trong các ngữ cảnh khác, thì nó được
gọi là bất thường ngữ cảnh. Ví dụ hành động đi xe đạp trên một con đường
là một hành động bất thường nếu con đường đó là đường dành cho người
đi bộ. Nếu là đường dành cho người đi xe đạp thì hành động đi xe đạp là
hành động bình thường.

13

-

Loại 3: Bất thường tập thể: Nếu một tập các mẫu dữ liệu bất bất thường
đối với toàn bộ tập dữ liệu, thì được gọi là bất thường tập thể. Các mẫu dữ
liệu riêng lẻ trong một bất thường tập thể có thể khơng phải là bất thường,

nhưng sự xuất hiện cùng nhau của chúng có thể là bất thường tập thể. Ví dụ
trong trường hợp người dân đi biểu tình, nếu một vài người đi bộ là bình
thường, trong khi nhiều người đi bộ cùng nhau để biểu tình lại là bất thường.

1.2.

Phát hiện bất thường từ video

1.2.1. Định nghĩa bài toán
Phát hiện bất thường là phát hiện ra các mẫu bất thường trong một tập dữ liệu. Cụ
thể là xác định đặc điểm khác biệt nổi bật của những bất thường so với các phần
lớn các mẫu bình thường trong dữ liệu. Đặc điểm của dữ liệu có thể rất khác nhau
tuỳ thuộc vào miền ứng dụng. Trong khuôn khổ của luận văn thạc sĩ này, em quan
tâm nghiên cứu và giải quyết bài toán phát hiện bất thường từ video thu được
từ camera giám sát an ninh.
sa
sa ng
sa ng ki
sa ng ki en
sa ng ki en kinh
sa ng ki en kinh ng
sa ng ki en kinh
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh

em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh ng hi em
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh ng hi em
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
ng ki en kinh
em
ki en kinh ng nghi hiem
en ki
em

ki nh ng hiem
nh ng hi
ng hiemem
hi
em

Trong một mạng camera giám sát an ninh nơi công cộng, tùy theo từng môi trường
giám sát cụ thể, nhưng một số bất thường sau luôn cần phải được phát hiện và cảnh
báo kịp thời cho những bên liên quan: đánh nhau, tụ tập, trộm cướp tại cây ATM,
phóng xe q tốc độ hoặc khơng đúng làn đường quy định, v.v. Nói chung, các bất
thường thường hiếm gặp so với các sự kiện bình thường. Để tránh tốn thời gian và
công sức, việc phát triển các giải thuật thông minh để phát hiện tự động bất thường
là một nhu cầu cấp thiết.
Đối với dữ liệu đầu vào là video, hệ thống phát hiện bất thường cần chỉ đoạn video
nào có chứa sự kiện bất thường, tức là thời điểm bắt đầu và kết thúc của sự kiện.
Nếu có thể chỉ ra đó là loại bất thường nào trong số các loại bất thường đã được
định nghĩa từ trước. Việc phát hiện bất thường có thể coi là hiểu video ở cấp độ
thô, lọc ra những bất thường từ sự kiện bình thường. Mỗi khi một sự kiện bất
thường được phát hiện, nó có thể tiếp tục được phân loại vào các nhóm bất thường
cụ thể dựa trên các kỹ thuật phân lớp.

14

Hình 3: Minh họa hệ thống phát hiện bất thường
Hình 3 minh họa hệ thống phát hiện bất thường. Đầu vào của hệ thống là luồng
video đến liên tục và đầu ra là bất thường nếu có. Do các sự kiện bất thường trong
thế giới thực thường khá phức tạp và đa dạng. Vì vậy, rất khó có thể liệt kê tất cả
các bất thường có thể xảy ra. Mong muốn khi thiết kế các hệ thống phân loại sự
kiện bất thường / bình thường là khơng u cầu phải có thơng tin / hiểu biết trước

về bất thường. Nói cách khác, việc phát hiện bất thường phải được thực hiện với
độ tin cậy của dự đoán.

sa
sa ng
sa ng ki
sa ng ki en
sa ng ki en kinh
sa ng ki en kinh ng
sa ng ki en kinh
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh ng hi em
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem

sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh ng hi em
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
ng ki en kinh
em
ki en kinh ng nghi hiem
en ki
em
ki nh ng hiem
nh ng hi
ng hiemem
hi
em

ít chỉ dẫn nhất có thể (minimum supervision). Đầu ra của hệ thống gồm nhãn và

Hình 4: Minh họa gói (bag) và thể hiện (instance) [4]
Gói (bag) là một tập hợp các mẫu có cùng nhãn, thể hiện là một mẫu trong gói.
Gói và thể hiện được minh họa trong Hình 4.

15

Hình 5: Minh họa phân đoạn trong một video [4]
Phân đoạn là một chuỗi các khung hình liền nhau trong một video được minh họa
như Hình 5.
Một clip là một chuỗi 16 khung hình liên tiếp nhau trong một video.
Một video có nhãn yếu là video chỉ biết có nhãn bình thường hoặc bất thường mà
khơng biết chính xác thời điểm xảy ra bất thường trong video đó.
1.2.2. Khung làm việc tổng quát của một hệ thống phát hiện bất thường
Một hệ thống phát hiện thông thường được thực hiện thơng qua 2 pha như hình 4:
Pha huấn luyện: Xác định tham số của mơ hình phát hiện, nhận dạng sử
dụng bộ dữ liệu huấn luyện.
-

sa
sa ng
sa ng ki
sa ng ki en
sa ng ki en kinh
sa ng ki en kinh ng
sa ng ki en kinh
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh

em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh ng hi em
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh ng hi em
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
ng ki en kinh
em
ki en kinh ng nghi hiem
en ki
em

ki nh ng hiem
nh ng hi
ng hiemem
hi
em

-

Pha nhận dạng: Thực hiện phân lớp dữ liệu mới sử dụng mơ hình đã được
huấn luyện ở pha trên.

Trong cả hai pha đều đòi hỏi một số phép xử lý cơ bản như sau:
-

Tiền xử lý dữ liệu: Chuyển đổi dữ liệu đầu vào sang định dạng chuẩn của
mô hình.

-

Trích chọn đặc trưng: Từ dữ liệu đã được tiền xử lý, thực hiện trích rút các
đặc trưng biểu diễn video. Các đặc trưng này có thể được thiết kế bằng tay
hoặc được học bởi kỹ thuật học sâu.

-

Huấn luyện bộ phân lớp: Sử dụng các đặc trưng được trích chọn để làm dữ
liệu đầu vào cho việc huấn luyện bộ phân lớp. Đối với học máy truyền
thống, bộ phân lớp và bộ trích chọn đặc trưng thường làm việc độc lập trong
khi trong các mơ hình học sâu, chúng thường được tích hợp vào một mơ
hình hợp nhất.

16

-

Nhận dạng: Dữ liệu cần nhận dạng cũng được chuyển qua các bước tiền xử
lý, trích chọn đặc trưng, sau đó dùng bộ phân lớp đã được huấn luyện để dự
đoán nhãn của lớp.

sa
sa ng
sa ng ki
sa ng ki en
sa ng ki en kinh
sa ng ki en kinh ng
sa ng ki en kinh
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem

sa ng ki en kinh ng hi em
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh ng hi em
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
ng ki en kinh
em
ki en kinh ng nghi hiem
en ki
em
ki nh ng hiem
nh ng hi
ng hiemem
hi
em

Hình 6: Khung làm việc tổng quát của một hệ thống phát hiện bất thường

1.2.3. Một số vấn đề thường gặp của phát hiện bất thường
Giả định về bất thường: Bất thường được phát hiện dựa trên giả định rằng bất kỳ
sự kiện nào sai khác so với các mẫu bình thường đã được học từ trước sẽ được coi
là sự kiện bất thường. Tuy nhiên, giả định này có thể khơng đúng vì rất khó hoặc
khơng thể định nghĩa một sự kiện bình thường (rất khó để đưa ra tất cả các sự kiện
bình thường). Theo [9], ở mức độ trừu tượng, sự bất thường được định nghĩa là
một mẫu không phù hợp với dự kiến hành vi bình thường. Do đó, một cách tiếp
cận phát hiện bất thường đơn giản là xác định vùng biểu thị hành vi bình thường
và cảnh báo mọi quan sát trong dữ liệu không thuộc về khu vực bình thường này
là bất thường. Tuy nhiên một số yếu tố làm cho cách tiếp cận này gặp phải các
thách thức:
-

Cách xác định một khu vực bình thường bao gồm mọi hành vi bình thường
có thể là rất khó khăn. Ngồi ra, ranh giới giữa hành vi bình thường và bất
thường thường khơng chính xác. Trong thực tế, cùng một hành vi nhưng
tùy theo từng điều kiện có thể là hành vi bình thường hoặc bất thường. Do
17

đó, một quan sát bất thường nằm gần ranh giới có thể thực sự là bình thường,
và ngược lại.
-

Khi các bất thường là kết quả của các hành động cố ý, các tác nhân gây ra
bất thường thường tự thích nghi để làm cho các quan sát bất thường xuất
hiện bình thường. Điều này làm cho nhiệm vụ xác định hành vi bình thường

trở nên khó khăn hơn. Do đó, việc sử dụng cả dữ liệu bình thường và bất
thường để huấn luyện hệ thống có thể giúp một hệ thống phát hiện bất
thường học tốt hơn.

Gán nhãn yếu dữ liệu: Như đã trình bày ở phần trên, một hệ thống nhận dạng bất
thường nói chung đều phải sử dụng dữ liệu đã gán nhãn để huấn luyện các tham
số của mơ hình (học có giám sát – supervised learning). Thông thường, mỗi mẫu
sẽ được gán về một nhãn thuộc một lớp cụ thể nào đó. Đối với bài tốn phân lớp
nhị phân (bất thường / bình thường), các đoạn video sẽ được gán hai nhãn là bất
thường hoặc bình thường.
sa
sa ng
sa ng ki
sa ng ki en
sa ng ki en kinh
sa ng ki en kinh ng
sa ng ki en kinh
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem

Do sự hiếm gặp của các mẫu bất thường, cũng như việc gán nhãn đòi hỏi nhiều
thời gian và cơng sức, trong thực tế có nhiều tình huống người gán nhãn chỉ thực
hiện gán nhãn thô. Nghĩa là họ gán nhãn “bất thường” cho một video dài chỉ chứa
một sự kiện bất thường xảy ra thời gian ngắn, hầu hết thời gian còn lại của video
chứa các hoạt động bình thường. Việc gán nhãn như vậy được coi là gán nhãn yếu.
Một video có thể xem như một gói (bag) gồm nhiều đoạn nhỏ (instances). Cả video
là coi bất thường (positive) nếu ít nhất một thể hiện trong video đó là bất thường
(positive). Ngược lại, video là bình thường (negative) nếu tất cả các thể hiện của
nó là bình thường (negative).
Phân loại phát hiện bất thường dựa trên nhãn dữ liệu: Dựa trên mức độ chi tiết
về nhãn của bộ dữ liệu, các kỹ thuật phát hiện bất thường thường phân thành 3 loại
sau:
-

Phát hiện bất thường có giám sát: giả định có sẵn một tập dữ liệu được gán
nhãn cho các lớp bình thường và các lớp bất thường. Cách tiếp cận điển
hình trong các trường hợp này là xây dựng một mơ hình dự đốn cho các
lớp bình thường và bất thường. Vấn đề chính nảy sinh trong phát hiện bất
18

thường có giám sát, có được chính xác nhãn, đặc biệt đối với lớp dị thường
là rất khó.
-

Phát hiện bất thường bán giám sát: giả sử rằng dữ liệu đào tạo được gán
nhãn chỉ cho các trường hợp lớp bình thường. Việc phát hiện bất thường là
phát hiện ra các mẫu ngoại lệ vi phạm mơ hình học được từ các mẫu dữ liệu
bình thường.

-

Phát hiện bất thường khơng giám sát: không yêu cầu gán nhãn dữ liệu đào
tạo. Phát hiện không giám sát thường dựa trên các kỹ thuật phân cụm dữ
liệu.

1.3.

Một số kỹ thuật phát hiện bất thường từ video dựa trên học sâu

Như đã phân tích ở phần trên, có hai cách tiếp cận để phát hiện bất thường. Cách
tiếp cận dựa trên học máy truyền thống thực hiện trích chọn các đặc trưng đã được
thiết kế từ trước sau đó đưa vào một giải thuật phân lớp hoặc hồi quy để dự đoán
nhãn của dữ liệu. Cách tiếp cận này thường phù hợp với các ứng dụng khi đặc điểm
sa
sa ng
sa ng ki
sa ng ki en
sa ng ki en kinh
sa ng ki en kinh ng
sa ng ki en kinh
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh

em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh ng hi em
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh ng hi em
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
ng ki en kinh
em
ki en kinh ng nghi hiem
en ki
em

ki nh ng hiem
nh ng hi
ng hiemem
hi
em

bất thường được xác định một cách rõ ràng và làm trên dữ liệu nhỏ. Trong thời
gian gần đây, các kỹ thuật học sâu đã đạt được những kết quả ấn tượng trên nhiều
bài toán khác nhau, nhất là khả năng tự học đặc trưng và khái quát hoá cao trên tập
dữ liệu lớn. Hình 7 đã cho thấy khi tập dữ liệu càng lớn, hiệu suất của các mạng
học sâu càng tốt hơn so với các phương pháp truyền thống sử dụng đặc trưng được
trích chọn bằng tay (hand-crafted features). Vì vậy, trong khn khổ của luận văn,
em sẽ tìm hiểu và trình bày một số kỹ thuật học sâu được đề xuất cho bài báo phát
hiện bất thường từ video. Đây cũng là cơ sở để em triển khai và cải tiến một kỹ
thuật học sâu đã có cho bài toán này.

19

Hình 7: So sánh thuật các tốn trên học sâu và các thuật tốn truyền thống [7]
Mặc dù có rất nhiều cơng trình nghiên cứu về nhận dạng hoạt động của người từ
video, số nghiên cứu về phát hiện bất thường chưa nhiều. Datta và cộng sự [8] đề
xuất phát hiện bạo lực của con người bằng cách khai thác chuyển động và định
hướng tay chân của con người. Kooij và cộng sự [9] sử dụng dữ liệu video và âm
sa
sa ng
sa ng ki
sa ng ki en
sa ng ki en kinh
sa ng ki en kinh ng

sa ng ki en kinh
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh ng hi em
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh ng hi em
sa ng ki en kinh
em

sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
ng ki en kinh
em
ki en kinh ng nghi hiem
en ki
em
ki nh ng hiem
nh ng hi
ng hiemem
hi
em

thanh để phát hiện các hành động gây hấn trong các video giám sát. Cui và cộng
sự [10] đề xuất mô tả luồng chuyển động nhằm phát hiện bạo lực trong video đám
đông. Simonyan và cộng sự [11] đưa ra một kiến trúc 2 luồng (luồng khơng gian
và luồng thời gian) sau đó kết hợp 2 luồng với nhau. Tuy nhiên, kiến trúc mạng
này yêu cầu tính tốn nhiều. Tran và cộng sự [12] sử dụng mạng C3D, đạt được sự
cân bằng giữa hiệu quả và đơn giản. Nhóm tác giả đưa ra phương pháp tách biệt
ngữ cảnh và hành động trong video rồi kết hợp chúng lại dựa trên kiến trúc mạng
C3D. Phương pháp tiếp cận dựa trên mã hóa thưa [13], [14] được coi là phương
pháp đại diện đạt được kết quả nổi trội cho bài toán phát hiện bất thường. Các
phương pháp này giả định rằng chỉ một phần nhỏ ban đầu của một video chứa các
sự kiện thông thường và do đó phần ban đầu được sử dụng để xây dựng từ điển sự
kiện bình thường. Sau đó, ý tưởng chính để phát hiện bất thường là các sự kiện bất
thường khơng thể tái cấu trúc chính xác từ từ điển sự kiện bình thường.

20

1.4.

Mục tiêu, phạm vi của luận văn và phương pháp nghiên cứu

1.4.1. Mục tiêu của luận văn
Mục tiêu của luận văn là nghiên cứu và phát triển một phương pháp phát hiện
bất thường từ video thu được từ camera giám sát. Phương pháp có khả năng
giải quyết một số vấn đề của gán nhãn yếu dữ liệu.
1.4.2. Phạm vi nghiên cứu của luận văn
-

Các bất thường: một số bất thường gặp phải từ camera giám sát liên quan
đến một người hoặc nhiều người như đánh nhau, trộm cắp, sự cố giao thông,
cháy nhà, …

-

Dữ liệu: là các video thu được từ camera giám sát an ninh công cộng, được
cung cấp bởi cộng đồng nghiên cứu. Video được gán nhãn yếu, được phân
định rõ tập huấn luyện và tập đánh giá để xác định định lượng hiệu năng
của phương pháp đề xuất.

sa
sa ng
sa ng ki
sa ng ki en
sa ng ki en kinh
sa ng ki en kinh ng

sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
ng ki en kinh
em
ki en kinh ng nghi hiem
en ki
em
ki nh ng hiem
nh ng hi
ng hiemem
hi
em

1.4.3. Phương pháp nghiên cứu đề xuất và các đóng góp khoa học
Kỹ thuật nền tảng: Để đạt được mục tiêu đề ra, phương pháp nghiên cứu của em
là thực hiện tìm hiểu và phân tích hiệu quả của các nghiên cứu và dữ liệu về bất
thường đã có. Từ đó, em lựa chọn kỹ thuật được đề xuất bởi Sultani và các cộng
sự [4] để tìm hiểu sâu và cải tiến do phương pháp này đạt được sự cân bằng giữa
hiệu quả và đơn giản. Phương pháp này sử dụng mơ hình học sâu C3D đã được
huấn luyện từ trước như một bộ trích chọn đặc trưng từ video. Sau đó, để giải quyết
vấn đề gán nhãn yếu, các tác giả áp dụng phương pháp học đa thể hiện (MIL).
Đề xuất cải tiến: Phương pháp của Sultani và các cộng sự đã đạt được những kết
quả nhất định trong việc phát hiện bất thường từ video gán nhãn yếu. Tuy nhiên,
phương pháp này trích chọn đặc trưng dựa trên mơ hình C3D. Mặc dù mơ hình này
đã được thiết kế để trích đặc trưng khơng gian và thời gian của các khung hình liên
tiếp dựa trên phép tốn tích chập 3D, chúng chưa quan tâm đến sự tương quan dài
hạn giữa các đoạn clip trong tồn bộ video xem xét. Bên cạnh đó các nhãn bất
thường có thể có nhiễu. Vì thế, trong luận văn của mình, em đề xuất 02 cải tiến mơ

hình gốc của Sultani và công sự:
21

-

Cải tiến 1: Thay thế mô đun bộ lọc trung bình sau mơ đun trích chọn đặc
trưng C3D bằng mơ đun dựa vào cơ chế chú ý vào tổng thể của hệ thống
(mơ hình C3D-ATT-MIL).

-

Cải tiến 2: Để giảm nhiễu nhãn bất thường, em áp dụng thêm giải thuật phân
cụm các đặc trưng trong mỗi phân đoạn trong cùng một video và tạo nhãn
giả cho chúng.

Mơ hình đề xuất sẽ được so sánh với phương pháp gốc trên CSDL UCF-Crime
được dùng chung của cộng đồng nghiên cứu.

1.5.

Bố cục luận văn

Trong chương 2 tiếp theo, em sẽ trình bày các lý thuyết cơ bản về mạng học sâu,
mạng nơ-ron tích chập 3 chiều C3D, mạng Long Short Term Memory (LSTM) và
cơ chế chú ý trong kiến trúc giải mã–mã hóa. Sau đó em sẽ trình bày các tìm hiểu
về học đa thể hiện, các nghiên cứu và đưa ra giải pháp cải tiến đề xuất trong chương
3. Chương 4 em sẽ trình bày chi tiết thực nghiệm và đánh giá mơ hình. Trong
sa
sa ng

sa ng ki
sa ng ki en
sa ng ki en kinh
sa ng ki en kinh ng
sa ng ki en kinh
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh ng hi em
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em

sa ng ki en kinh ng nghi hiem
sa ng ki en kinh ng hi em
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
ng ki en kinh
em
ki en kinh ng nghi hiem
en ki
em
ki nh ng hiem
nh ng hi
ng hiemem
hi
em

chương 5, em tóm lược các kết quả đạt được và phân tích các hạn chế còn tồn tại,
đồng thời đưa ra các hướng mở rộng, phát triển thêm của đề tài trong tương lai.

22

CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
2.1.

Giới thiệu chung về mạng nơ-ron tích chập

Mạng nơ-ron nhân tạo (artificial neural network):
Mạng nơ-ron nhân tạo, Artificial Neural Network (ANN) là một mơ hình xử lý
thông tin phỏng theo cách thức xử lý thông tin của các hệ nơ-ron sinh học. Nó
đƣợc tạo nên từ một số lượng lớn các phần tử (nơ-ron) kết nối với nhau thông qua
các liên kết (trọng số liên kết) làm việc nhƣ một thể thống nhất để giải quyết một
vấn đề cụ thể nào đó. Một mạng nơ-ron nhân tạo được cấu hình cho một ứng dụng
cụ thể (nhận dạng mẫu, phân loại dữ liệu, ...) thông qua một quá trình học từ tập
các mẫu huấn luyện. Về bản chất học chính là q trình hiệu chỉnh trọng số liên
kết giữa các nơ-ron.
Cấu trúc của một mạng nơ-ron tích chập:

sa
sa ng
sa ng ki
sa ng ki en
sa ng ki en kinh
sa ng ki en kinh ng
sa ng ki en kinh
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em

sa ng ki en kinh ng nghi hiem
sa ng ki en kinh ng hi em
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh ng hi em
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
ng ki en kinh
em
ki en kinh ng nghi hiem
en ki
em
ki nh ng hiem
nh ng hi
ng hiemem
hi

em

Mạng nơ-ron tích chập có cấu trúc:

Hình 8 : Kiến trúc chung của mạng nơ-ron tích chập
Một mạng nơ-ron tích chập thường được cấu thành từ các tầng:
-

Tầng tích chập (convolution layer)

-

Tầng pooling

-

Tầng liên kết đầy đủ (FC)

a)

Tầng tích chập (Convolution layer)

23

Tầng tích chập để trích xuất các đặc trưng từ một hình ảnh / video đầu vào. Tầng
này kết nối mối quan hệ giữa các điểm ảnh bằng cách học các đặc trưng của ảnh
đầu vào sử dụng các bộ lọc 1 chiều, 2 chiều hoặc 3 chiều. Tầng tích chập chứa các
tham số:
-

Filters: số lượng bộ lọc sử dụng trong một tầng tích chập.

-

Kernel_size: kích thước bộ lọc tích chập.

-

Stride: khoảng cách giữa 2 bộ lọc tích chập liên tiếp.

-

Padding: có thể bao quanh dữ liệu bằng các số 0 nhằm giữ nguyên kích
thước đầu.

Simonyan và cộng sự [11] đã chỉ ra cách chọn kích thước kernel_size hợp lý để
giảm số lượng tham số của mạng.
ReLU (Rectified Linear Unit): Là một tốn tử phi tuyến có cơng thức: 𝑓 (𝑥 ) =
max(0, 𝑥). Mục đích của phép tốn này là đưa vào các giá trị phi tuyến. Có các
hàm phi tuyến tính khác như tanh hoặc sigmoid cũng có thể được sử dụng thay cho
ReLU. Hầu hết các nhà khoa học dữ liệu sử dụng ReLU vì ReLU hiệu suất thông
sa
sa ng
sa ng ki
sa ng ki en
sa ng ki en kinh
sa ng ki en kinh ng
sa ng ki en kinh
sa ng ki en kinh ng nghi hiem

sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh ng hi em
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh ng hi em
sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
sa ng ki en kinh

em
sa ng ki en kinh ng nghi hiem
ng ki en kinh
em
ki en kinh ng nghi hiem
en ki
em
ki nh ng hiem
nh ng hi
ng hiemem
hi
em

minh tốt hơn hai loại khác, một thực nghiệm trên mạng 4-layer tích chập nơ-ron
network sử dụng ReLu đạt tới tỉ lệ 25% lỗi huấn luyện nhanh hơn 6 lần trong một
mạng tương đương sử dụng tanh nơ-ron [15].
b) Tầng Pooling
Tầng Pooling được sử dụng để giảm kích thước khơng gian giúp tăng hiệu suất
tính tốn và giảm số lượng tham số. Có nhiều loại phép toán pooling được sử dụng:
-

Max pooling: Lấy giá trị lớn nhất

-

Average pooling: Lấy giá trị trung bình

-

Sum pooling: Lấy tổng các giá trị

c) Tầng liên kết đầy đủ
Là một tầng trong mạng nơ-ron. “Liên kết đầy đủ” nghĩa là mỗi nơ-ron ở tầng
trước sẽ được liên kết với tồn bộ nơ-ron ở tầng phía sau.
2.2.

Mạng nơ-ron tích chập ba chiều

Các mạng cơ sở CNN ban đầu được thiết kế cho ảnh đầu vào là các tín hiệu 2
chiều. Khi làm việc với video là các tín hiệu 3 chiều, một số cải tiến mạng CNN
24

cho dữ liệu 3D đã được đề xuất. Trong số đó, có mạng tích chập 3 chiều sử dụng
tốn tử tích chập 3D.
Mạng tích chập 3 chiều rất phù hợp với việc học đặc trưng khơng-thời gian. So với
mạng tích chập 2 chiều, mạng tích chập 3 chiều có khả năng mơ hình hóa thơng
tin tạm thời tốt hơn nhờ tầng tích chập 3 chiều và tầng pooling 3 chiều. Mạng tích
chập 3 chiều được biểu diễn theo khơng-thời gian, trong khi mạng tích chập 2 chiều
chỉ biểu diễn theo khơng gian.

Hình 9 : Phép tốn tích chập 3 chiều [12]

sa
sa ng
sa ng ki
sa ng ki en
sa ng ki en kinh
sa ng ki en kinh ng
sa ng ki en kinh

sa ng ki en kinh
em
sa ng ki en kinh ng nghi hiem
ng ki en kinh
em
ki en kinh ng nghi hiem
en ki
em
ki nh ng hiem
nh ng hi
ng hiemem
hi
em

Trong mạng 2D Convnets, thông tin về thời gian hoàn toàn mất do đầu vào của
mạng là ảnh và đầu ra cũng là ảnh. Đối với mạng 2D Convnets sử dụng đầu vào
nhiều khung hình và đầu ra là ảnh, thông tin về thời gian cũng bị mất sau tầng tích
chập thứ ba. Mạng 3D Convnets sử dụng đầu vào là clip và đầu ra là clip có thể
giữ lại thơng tin về thời gian. Vì vậy trong luận văn, em sẽ tìm hiểu và thử nghiệm
kỹ thuật mạng nơ-ron tích chập 3 chiều kết hợp kỹ thuật học đa thể hiện (MIL).

2.3.

Mạng Long Short Term Memory

Mạng bộ nhớ dài-ngắn (Long Short Term Memory networks), thường được gọi là
LSTM - là một dạng đặc biệt của RNN (Recurrent Neural Network). Nếu đầu vào
là một chuỗi đủ dài, mạng RNN đơn giản sẽ gặp khó khăn trong việc chuyển tải
thông tin từ các bước đầu tiên do gặp phải vấn đề độ dốc biến mất. LSTM thiết kế
các cổng có thể điều chỉnh luồng thơng tin nhằm khắc phục trí nhớ ngắn hạn của

mạng RNN đơn giản. Mạng LSTM bao gồm bốn tầng trong nhân tương tác với
nhau theo thời gian, được mô tả như trong Hình 10.

25

Phát hiện bất thường từ video sử dụng kỹ thuật học sâu luận văn

Tài liệu liên quan

Tài liệu bạn tìm kiếm đã sẵn sàng tải về