Mạng truyền thẳng và
học có giám sát
1. Mạng Perceptron đơn.
2. Mạng nơ ron truyền thẳng nhiều
lớp.
3. Giới thiệu một số mạng truyền
thẳng khác.
Mạng Perceptron đơn

Mô hình neuron

Kiến trúc mạng Perceptron

Quy tắc học Perceptron
Mô hình một neuron
∑
.
.
.
x
1
x
2
x
R
b
1
f
w
1,1
w

1,2
w
1,R
a
n
0
n
a
1
-1



<
≥
===
00
01
)lim()(
n
n
nhardnfa
bwxwxwxn
RR
++++=
,12,121,11

bwxn
R
i

ii
+=⇒
∑
=1
,1
.
Perceptron (tiếp)

Perceptron phân lớp đầu vào thành 2 vùng
như hình vẽ.
Ví dụ minh họa
x
1
x
2
x
1
AND x
2
0 0 0
0 1 0
1 0 0
1 1 1
x
1
x
2
1
1
1

0
L = W.x + b
∑
W
f
x
1
x
2
b
1
w
1,1
w
2,1
a
n
[ ]
005.1.
2
2
=+






b







=
2
2
W
3
−=
b
Kiến trúc mạng Perceptron

Mạng Perceptron có 1 lớp gồm S Perceptron
neurons kết nối với R đầu vào thống qua tập
trọng số w
i,j.
∑
∑
∑
f
f
f
.
.
.
.
.
.

x
1
x
2
x
R
n
1
n
2
n
S
a
1
a
2
a
S
.
.
.
w
1,1
w
S,R
w
2,1
w
S,1
w

1,R
w
2,R
∑
=
+=
R
j
ijjii
bxwn
1
,
.
)(
ii
nfa
=
Si , ,2,1
=
)(
ii
nfa
=
Si , ,2,1
=
b
2
b
1
b

S
Quy tắc học Perceptron
ebbbb
oldoldnew
+=∇+=
Toldoldnew
xeWWWW .
+=∇+=
ate
−=
Ví dụ minh họa
∑
f
n
1
w
1,1
w
1,2
a
x
2
x
1
b
0=b
]8.01[
0
−=W
]21[

=
x
1=t
Lần 1:
a = hardlim(x
1
.w
1,1
+x
2
.w
1,2
+b) = hardlim(1x1 + (-0.8).2 + 0) = hardlim(-0.6) =0
e = t – a = 1 – 0 = 1
W
new
= W
old
+ e.x = [1 -0.8] + [1 2] = [2 1.2]
b
new
= b
old
+ e = 0 + 1 = 1
Lần 2: …
Bài tập
∑
∑
f
f

x
1
1
w
1,1
w
2,1
w
2,2
w
1,2
b
1
b
2
1
x
2
a
1
a
2
n
2
n
1













=






=
0
0
,
2
1
22
tX













=






=
0
0
,
1
1
11
tX













=






−
=
1
0
,
1
2
33
tX













=






=
1
0
,
0
2
44
tX












=







−
=
0
1
,
2
1
55
tX












=







−
=
0
1
,
1
2
66
tX












=







−
−
=
1
1
,
1
1
77
tX












=






−

−
=
1
1
,
2
2
88
tX






=
11
01
)0(W






=
1
1
)0(b
Mạng ADLINE (Adaptive linear

neural)

Mô hình một nơ ron ADLINE
∑
.
.
.
x
1
x
2
x
R
f
1
n
a
nnfa
==
)(
n
a
1
1
0
∑
=
+=
R
i

ii
bwxn
1
,1
.
b
w
1,R
w
1,2
w
1,1
a= purelin(n)
ADLINE (tiếp)

Một nơ ron ADLINE có thể phân đầu vào
thành 2 lớp.
Mạng ADLINE
∑
=
+=
R
j
ijjii
bxwn
1
,
.
∑
∑

∑
f
f
f
.
.
.
.
.
.
x
1
x
2
x
R
n
1
n
2
n
S
a
1
a
2
a
S
.
.

.
w
1,1
w
S,R
w
2,1
w
S,1
w
1,R
w
2,R
iii
nnfa == )(
Si ,2,1
=
1
1
1
∑
∑
∑
f
f
f
.
.
.
.

.
.
x
1
x
2
x
R
n
1
n
2
n
S
a
1
a
2
a
S
.
.
.
w
1,1
w
S,R
w
2,1
w

S,1
w
1,R
w
2,R
b
2
b
1
b
S
LMS (Least Mean Square error)


Sai số trung bình bình phường (mean square error)

LMS là giải thuật học có giám sát → dữ liệu huấn luyện.
},{}, ,,{},,{
2211 QQ
txtxtx
∑∑
==
−==
Q
k
Q
k
kakt
Q
ke

Q
mse
1
2
1
2
))()((
1
)(
1
•
Giải thuật LMS là điều chỉnh trọng số và bias của mạng
ADALINE sao cho sai số trung bình bình phương là nhỏ
nhất.
LMS (tiếp)
jj
j
w
ke
ke
w
ke
w
,1,1
2
,1
)(
).(.2
)(
∂

∂
=
∂
∂
=∇
Rj , ,2,1
=
)(
)])(.[(
))()(()(
,1
1
,1
,1,1
kx
w
bkxw
w
kakt
w
ke
j
j
R
i
ii
jj
−=
∂
+−∂

=
∂
−∂
=
∂
∂
∑
=
b
ke
ke
b
ke
b
∂
∂
=
∂
∂
=∇
)(
).(.2
)(
2
1
)])(.[(
))()(()(
1
,1
−=

∂
+−∂
=
∂
−∂
=
∂
∂
∑
=
b
bkxw
b
kakt
b
ke
R
i
ii
LMS (tiếp)
)().(.2)()()()1(
,1,1,1,1
kxkekwkwkwkw
jjjjj
αα
+=∇−=+
)(.2)()()()1( kekbkbkbkb
αα
+=∇−=+
α là tốc độ học (learning rate). 0<α<1

Ví dụ minh họa
∑
f
w
1,1
w
1,2
x
2
x
1
b
1
n
a






=






−
=







=






−
=






=






−
=







=






= 1,
1
1
0,
2
2
1,
2
1
0,
2
2
44332211
tXtXtXtX
0.0)0( =b
[ ]
[ ]

5.0,5.0)0(
2,11,1
== wwW
20.05.025.02
1
=+×+×=a
220)0(
11
−=−=−=⇒ ate
2.0=
α
1.12)2(2.025.0)0(2)0()1(
11,11,1
−=×−××+=×××+= xeww
α
1.12)2(2.025.0)0(2)0()1(
22,12,1
−=×−××+=×××+= xeww
α
8.0)2(2.020)0(2)0()1( −=−××+=××+= ebb
α
1.12)2(2.025.0)0(2)0()1(
11,11,1
−=×−××+=×××+= xeww
α
1.12)2(2.025.0)0(2)0()1(
22,12,1
−=×−××+=×××+= xeww
α
Ví dụ minh họa (tiếp)

3.0)8.0()1.1()2()1.1(1
2
=−+−×−+−×=a
7.03.01)1(
22
=−=−=⇒
ate
52.07.02.028.0)1(2)1()2( −=××+−=××+= ebb
α
82.017.02.021.1)1(2)1()2(
11,11,1
−=×××+−=×××+=
xeww
α
66.1)2(7.02.021.1)1(2)1()2(
22,12,1
−=−×××+−=×××+= xeww
α
Ví dụ minh họa (tiếp)
2.2)52.0()66.1(2)82.0()2(
3
−=−+−×+−×−=a
2.2)2.2(0)2(
33
=−−=−=⇒
ate
36.02.22.0252.0)2(2)2()3( =××+−=××+= ebb
α
58.2)2(2.22.0282.0)2(2)2()3(
11,11,1

−=−×××+−=×××+=
xeww
α
1.022.22.0266.1)2(2)2()3(
22,12,1
=×××+−=×××+= xeww
α
Ví dụ minh họa (tiếp)
04.336.01.01)58.2()1(
4
=+×+−×−=
a
04.204.31)3(
44
−=−=−=⇒
ate
456.0)04.2(2.0236.0)3(2)3()4( −=−××+=××+= ebb
α
764.1)1()04.2(2.0258.2)3(2)3()4(
11,11,1
−=−×−××+−=×××+=
xeww
α
716.01)04.2(2.021.0)3(2)3()4(
22,12,1
−=×−××+=×××+= xeww
α
Mạng nơ ron truyền thẳng
nhiều lớp
∑

∑
x
1
x
2
w
2,2
w
2,1
w
1,1
w
1,2
f
1
f
1
∑
f
2
w
3,1
w
3,2
w
3,2
1
1
b
1

b
2
1
b
3
a
2
a
1
n
1
n
2
n
3
a
3
122,111,11
bxwxwn ++=
222,211,22
bxwxwn ++=
)(
111
nfa
=
)(
212
nfa
=
322,311,33

bawawn ++=
)(
323
nfa
=
Hàm truyền

Hàm truyền của lớp ẩn thướng là sigmoid hoặc
tangent sigmoid.

Hàm truyền của lớp ra thường là linear, sigmoid
hoặc tangent sigmoid.
nn
nn
ee
ee
a
−
−
+
−
=
n
e
a
−
+
=
1
1

Giải thuật lan truyền ngược
Back propagation algorithm

Giải thuật lan truyền ngược là luật học có giám sát
→ cần có dữ liệu huấn luyện.
},{}, ,,{},,{
2211 QQ
txtxtx

Giải thuật lan truyền ngược điều chỉnh trọng số và
bias của các nơ ron trong mạng để cực tiểu hóa sai
số trung bình bình phương.
∑∑
==
−==
Q
k
Q
k
kakt
Q
ke
Q
mse
1
2
1
2
))()((
1

)(
1
Giải thuật lan truyền ngược
(tiếp)
∑
∑
x
1
x
2
w
2,2
w
2,1
w
1,1
w
1,2
f
1
f
1
∑
f
2
w
3,1
w
3,2
w

3,2
1
1
b
1
b
2
1
b
3
a
2
a
1
n
1
n
2
n
3
a
3
[ ]
)(
)(
).( 2)(
)(
))()((
)( 2)(
)(

)(
.)()1(
1,3
3
1,3
1,3
3
1,3
1,3
2
1,31,3
kw
ka
kekw
kw
kakt
kekw
kw
ke
kwkw
∂
∂
+=
∂
−∂
−=
∂
∂
−=+
ααα

[ ]
)(
)(
)( 2)(
)(
))()((
).( 2)(
)(
)(
.)()1(
2,3
3
2,3
2,3
3
2,3
2,3
2
2,32,3
kw
ka
kekw
kw
kakt
kekw
kw
ke
kwkw
∂
∂

+=
∂
−∂
−=
∂
∂
−=+
ααα
Giải thuật lan truyền ngược
(tiếp)
)()).((
)(
))().()().((
)).((
)(
)(
.
)(
)(
)(
)(
13
'
2
1,3
32,321,31
3
'
2
1,3

3
3
3
1,3
3
kaknf
kw
bkwkakwka
knf
kw
kn
kn
ka
kw
ka
=
∂
++∂
=
∂
∂
∂
∂
=
∂
∂
[ ]
)(
)(
).( 2)(

)(
)()(
).( 2)(
)(
)(
.)()1(
3
3
3
3
3
3
3
2
33
kb
ka
kekb
kb
kakt
kekb
kb
ke
kbkb
∂
∂
+=
∂
−∂
−=

∂
∂
−=+
ααα
)()).((
)(
))().()().((
)).((
)(
)(
.
)(
)(
)(
)(
23
'
2
2,3
32,321,31
3
'
2
2,3
3
3
3
2,3
3
kaknf

kw
bkwkakwka
knf
kw
kn
kn
ka
kw
ka
=
∂
++∂
=
∂
∂
∂
∂
=
∂
∂
))((
)(
))().()().((
)).((
)(
)(
.
)(
)(
)(

)(
3
'
2
3
32,321,31
3
'
2
3
3
3
3
3
3
knf
kb
bkwkakwka
knf
kb
kn
kn
ka
kb
ka
=
∂
++∂
=
∂

∂
∂
∂
=
∂
∂
Giải thuật lan truyền ngược
(tiếp)
[ ]
)(
)(
).( 2)(
)(
)()(
).( 2)(
)(
)(
.)()1(
1
3
1
1
3
1
1
2
11
kb
ka
kekb

kb
kakt
kekb
kb
ke
kbkb
∂
∂
+=
∂
−∂
−=
∂
∂
−=+
ααα
[ ]
)(
)(
).( 2)(
)(
)()(
).( 2)(
)(
)(
.)()1(
1,1
3
1,1
1,1

3
1,1
1,1
2
1,11,1
kw
ka
kekw
kw
kakt
kekw
kw
ke
kwkw
∂
∂
+=
∂
−∂
−=
∂
∂
−=+
ααα
[ ]
)(
)(
).( 2)(
)(
)()(

).( 2)(
)(
)(
.)()1(
2,1
3
2,1
2,1
3
2,1
2,1
2
2,12,1
kw
ka
kekw
kw
kakt
kekw
kw
ke
kwkw
∂
∂
+=
∂
−∂
−=
∂
∂

−=+
ααα
[ ]
)(
)(
).( 2)(
)(
)()(
).( 2)(
)(
)(
.)()1(
1,2
3
1,2
1,2
3
1,2
1,2
2
1,21,2
kw
ka
kekw
kw
kakt
kekw
kw
ke
kwkw

∂
∂
+=
∂
−∂
−=
∂
∂
−=+
ααα
[ ]
)(
)(
).( 2)(
)(
)()(
).( 2)(
)(
)(
.)()1(
2,2
3
2,2
2,2
3
2,2
2,2
2
2,22,2
kw

ka
kekw
kw
kakt
kekw
kw
ke
kwkw
∂
∂
+=
∂
−∂
−=
∂
∂
−=+
ααα
[ ]
)(
)(
).( 2)(
)(
)()(
).( 2)(
)(
)(
.)()1(
2
3

2
2
3
2
2
2
22
kb
ka
kekb
kb
kakt
kekb
kb
ke
kbkb
∂
∂
+=
∂
−∂
−=
∂
∂
−=+
ααα