Chương 4: NHẬN DẠNG MÔ HÌNH CÓ THAM SỐ



© Huỳnh Thái Hoàng – Bộ môn Điều khiển Tự động

1

Chương 5

CÁC PHƯƠNG PHÁP ƯỚC LƯỢNG THAM SỐ


Chương 5: CÁC PHƯƠNG PHÁP ƯỚC LƯỢNG THAM SỐ
5.1. Nguyên tắc ước lượng tham số
5.2. Phương pháp sai số dự báo
5.3. Phương pháp hợp lý cực đại
5.4. Phương pháp tương quan
5.5. Thuật toán lặp ước lượng tham số
5.6. Thuật toán đệ qui ước lượng tham số

5.1 NGUYÊN TẮC ƯỚC LƯỢNG THAM SỐ

Giả sử chúng ta đã chọn được cấu trúc mô hình thích hợp với hệ thống cần
nhậ
n dạng và đưa ra bộ dự báo
),(
ˆ

θ
ky
, đồng thời đã thu thập được N mẫu dữ
liệu:

{ }
)(),(,),1(),1( NyNuyuZ
N
…=

(5.1)
Vấn đề đặt ra là xác định tham số
N
θ
ˆ
dựa vào thông tin chứa trong Z
N
.

Nguyên tắc ước lượng tham số là dựa vào Z
k
chúng ta có thể tính được sai
số dự báo:

),(
ˆ
)(),(
θθ
kykyk −=
ε

(5.2)
Ta cần xác định tham số
N
θ
ˆ
sao cho
sai số dự báo càng nhỏ càng tốt
.


−
Phương pháp sai số dự báo: ước lượng tham số sao cho
sai số dự báo tối
thiểu
.

−
Phương pháp tương quan: ước lượng tham số sao cho
tương quan giữa
sai số dự báo và dữ liệu quá khứ bằng 0
.


5.2 PHƯƠNG PHÁP SAI SỐ DỰ BÁO

5.2.1 Nguyên tắc ước lượng sai số dự báo

Nguyên tắc ước lượng thông số theo phương pháp sai số dự báo là tối thiểu hóa
sai số dự báo. Tổng quát hóa nguyên tắc trên, ta có thuật toán sau đây:




Chương 4: NHẬN DẠNG MÔ HÌNH CÓ THAM SỐ



©
Huỳnh Thái Hoàng – Bộ môn Điều khiển Tự động

2
1. Chọn cấu trúc mô hình và rút ra bộ dự báo:

),(),(
ˆ
1−
=
k
Zgky
θθ
(5.3)
Bộ dự báo có thể tuyến tính hay phi tuyến; có thể là mạng thần kinh nhân
tạo, hệ mờ, chuổi wavelet,…

2. Từ dữ liệu quan sát và bộ dự báo
),(
ˆ
θ
ky
, thành lập chuổi sai số dự báo:


),(
ˆ
)(),(
θθ
kykyk −=
ε
, k =1, 2, …, N (5.4)

3. Lọc sai số dự báo bằng bộ lọc tuyến tính L(q), nếu cần.
),()(),(
θθ
kqLk
F
εε
= (5.5)

4. Chọn tiêu chuẩn đánh giá sai số dự báo:

()
∑
=
=
N
k
F
N
N
k
N
ZV

1
),(
1
),(
θθ ε
l (5.6)
trong đó
l
(.) là hàm xác định dương.

5. Tìm tham số
θ
tối thiểu hóa tiêu chuẩn đánh giá:

),(minarg
ˆ
N
NN
ZV
θθ
θ
= (5.7)



Tất cả các phương pháp ước lượng tham số dựa vào biểu thức (5.7) gọi
chung là
phương pháp sai số dự báo
(Prediction Error Method – PEM).
Tùy thuộc vào cách chọn:

- chuẩn
l
(.)
- bộ lọc L(.)
- cấu trúc mô hình
- cách giải bài toán tối ưu hóa (5.7)
mà ta có các phương pháp nhận dạng cụ thể khác nhau.

5.2.2 Bộ lọc tuyến tính


− Bộ lọc L(q) có thể dùng để lọc nhiễu tần số cao hay các thành phần trôi tần
số thấp.

− Nếu bộ dự báo
tuyến tính bất biến
và y và u là các đại lượng vô hướng
thì kết quả lọc sai số dự báo
ε
tương đương với lọc dữ liệu y và u trước, sau đó
mới đưa dữ liệu đã lọc vào bộ dự báo.

− Bộ dự báo cho hệ tuyến tính bất biến là (xem chương 4):
)(),(),()()],(1[),(
ˆ
11
kuqGqHkyqHky
θθθθ
−−
+−=

(5.8)
Sai số dự báo:



Chương 4: NHẬN DẠNG MÔ HÌNH CÓ THAM SỐ



©
Huỳnh Thái Hoàng – Bộ môn Điều khiển Tự động

3
)](),()()[,(),(
1
kuqGkyqHk
θθθ
−=
−
ε
(5.9)
Sai số dự báo sau khi qua bộ lọc:

)](),()()[,()(),(
1
kuqGkyqHqLk
F
θθθ
−=
−

ε


)](),()([)],()([
11
kuqGkyqHqL
θθ
−=
−−
(5.10)


Biểu thức (5.10) cho thấy ảnh hưởng của bộ lọc sai số dự báo tương đương
với việc đổi mô hình nhiễu từ ),(
θ
qH
sang
),()(),(
1
θθ
qHqLqH
−
=
.
⇒
Khi mô tả và phân tích các phương pháp nhận dạng, ta thường giới hạn trong
trường hợp
L
(
q

)
≡
1.

5.2.3 Tiêu chuẩn ước lượng tham số

Thường chuẩn ước lượng tham số được chọn là chuẩn toàn phương:

∑
=
=
N
k
F
N
N
k
N
ZV
1
2
),(
1
),(
θθ ε
(5.11)
Chuẩn toàn phương có thuận lợi là tính toán và phân tích dễ dàng, tuy nhiên
cũng có thể chọn các chuẩn khác như:

Chuẩn l

1
:

∑
=
=
N
k
F
N
N
k
N
ZV
1
),(
1
),(
θθ ε
(5.12)
Chuẩn l
∞
:

),(max),(
1
θθ
kZV
F
Nk

N
N
ε
≤≤
=
(5.13)

Chuẩn ước lượng tham số cũng có thể là chuẩn biến đổi theo thời gian:

∑
=
=
N
k
F
N
N
kkNZV
1
)),((),(),(
θθ εβ
l (5.14)

•
Biểu diễn tiêu chuẩn sai số dự báo toàn phương cho hệ tuyến tính bất biến
trong miền tần số:

Xét hệ tuyến tính bất biến tổng quát:

)()()()()( keqHkuqGky +=

(5.15)
Bộ dự báo cho hệ tuyến tính bất biến là:

)(),(),()()],(1[),(
ˆ
11
kuqGqHkyqHky
θθθθ
−−
+−=
(5.16)
Sai số dự báo:

)](),()()[,(),(
1
kuqGkyqHk
θθθ
−=
−
ε
(5.17)




Chương 4: NHẬN DẠNG MÔ HÌNH CÓ THAM SỐ



© Huỳnh Thái Hoàng – Bộ môn Điều khiển Tự động


4
Biến đổi DFT của ),(
θ
k
ε
là:

∑
=
−
=
N
k
kj
lN
l
ek
N
E
1
),(
1
),(
ω
εω θθ
(5.18)
trong đó
N
l

l
π
ω
2
=
, l = 0, 1,…, N –1.

Theo định lý Parseval, ta có:

∑∑
−
==
=
1
0
2
1
2
),(),(
N
l
lN
N
k
Ek
θθ ωε
(5.19)
Thay (5.19) vào (5.11) ta được:

∑

−
=
=
1
0
2
),(
1
),(
N
l
lN
N
N
E
N
ZV
θθ ω
(5.20)

Mặt khác, do (5.17) nên theo định lý 2.1 (Ljung 1999, page 31) ta có:

{ }
)(
~
)(),()(),(),(
1
lN
j
lN

RkuqGkyDFTeHE
l
ωω
ω
+−=
−
−
θθθ


{ }
[]
)(
~
)(),()(),(
1
lNlN
j
RkuqGDFTYeH
l
ωω
ω
+−=
−
−
θθ


{ }
[ ]

)(
~
)()(),()(),(
1
lNlNlN
j
lN
j
RRUeGYeH
ll
ωωωω
ωω
++−=
−−
−
θθ


[ ]
)(),()(),(
1
lN
j
lN
j
UeGYeH
ll
ωω
ωω
θθ

−−
−
−≈


⎥
⎦
⎤
⎢
⎣
⎡
−=
−−
−
),(
)(
)(
)(),(
1
θθ
ll
j
lN
lN
lN
j
eG
U
Y
UeH

ωω
ω
ω
ω


⎥
⎦
⎤
⎢
⎣
⎡
−=
−−−
−
),()(
ˆ
ˆ
)(),(
1
θθ
lll
jj
lN
j
eGeGUeH
ωωω
ω
(5.21)
Đặt:

2
2
),(
)(
),(
θ
θ
ω
ω
ω
j
N
eH
U
Q
−
=
(5.22)

Thay (5.21) vào (5.20) ta được:

∑
−
=
−−
⎥
⎦
⎤
⎢
⎣

⎡
−≈
1
0
2
),(),()(
ˆ
ˆ
1
),(
N
l
l
jj
N
N
QeGeG
N
ZV
ll
θθθ ω
ωω

⇒
∫
−
−−
⎥
⎦
⎤

⎢
⎣
⎡
−≈
π
π
ωω
ωω
π
dQeGeGZV
jjN
N
),(),()(
ˆ
ˆ
2
1
),(
2
θθθ
(5.23)

Biểu thức (5.23)

có thể xem như là một cách khác để trơn hóa đặc tính tần
số thực nghiệm
)(
ˆ
ˆ
ω

j
eG
−
. Điều này chứng tỏ phương pháp phân tích phổ và
phương pháp sai số dự báo có tương quan với nhau.




Chương 4: NHẬN DẠNG MÔ HÌNH CÓ THAM SỐ



©
Huỳnh Thái Hoàng – Bộ môn Điều khiển Tự động

5
5.2.4 Mô hình hồi qui tuyến tính và phương pháp bình phương tối thiểu

Ở chương 4 chúng ta đã thấy cấu trúc hồi qui tuyến tính rất hữu ích trong
việc mô tả hệ tuyến tính và hệ phi tuyến. Tổng quát, bộ dự báo hồi qui tuyến
tính có dạng:
)()(),(
ˆ
kkky
T
μ
+=
θϕθ
(5.24)

Sai số dự báo là:

)()()(),(
ˆ
)(),( kkkykykyk
T
με
−−=−=
θϕθθ
(5.25)

•

Tiêu chuẩn bình phương tối thiểu:

[ ]
∑∑
==
−−==
N
k
T
N
k
N
N
kkky
N
k
N

ZV
1
2
1
2
)()()(
1
),(
1
),(
με θϕθθ
(5.26)

Do V
N
có dạng toàn phương nên chúng ta có thể tìm cực tiểu bằng cách cho
đạo hàm bậc 1 theo tham số bằng 0.

{}
0),(
=
N
N
ZV
d
d
θ
θ

⇒


()
0)()()(
1
1
2
=
⎭
⎬
⎫
⎩
⎨
⎧
−−
∑
=
N
k
T
kkky
Nd
d
μθϕ
θ

⇒
( )
0)()()()(
2
1

=−−−
∑
=
N
k
T
kkkyk
N
μθϕϕ

⇒
[]
∑∑
==
=−
N
k
T
N
k
kkkkyk
11
)()()()()(
θϕϕϕ μ

⇒
[]
⎥
⎦
⎤

⎢
⎣
⎡
−
⎥
⎦
⎤
⎢
⎣
⎡
=
∑∑
=
−
=
N
k
N
k
TLS
N
kkykkk
1
1
1
)()()()()(
ˆ
μϕϕϕθ
(5.27)



•
Tính chất của ước lượng bình phương tối thiểu:
Giả sử ngõ ra của hệ thống thực cho bởi:

)()()()(
00
kvkkky
T
++=
μθϕ
(5.28)
Thay (5.28) vào (5. 27) ta được:

[]
⎥
⎦
⎤
⎢
⎣
⎡
+
⎥
⎦
⎤
⎢
⎣
⎡
=
∑∑

=
−
=
N
k
T
N
k
TLS
N
kvkkkk
1
00
1
1
)()()()()(
ˆ
θϕϕϕϕθ


⎥
⎦
⎤
⎢
⎣
⎡
⎥
⎦
⎤
⎢

⎣
⎡
+=
∑∑
=
−
=
N
k
N
k
TLS
N
kvkkk
1
0
1
1
0
)()()()(
ˆ
ϕϕϕθθ




Chương 4: NHẬN DẠNG MÔ HÌNH CÓ THAM SỐ




© Huỳnh Thái Hoàng – Bộ môn Điều khiển Tự động

6

⎥
⎦
⎤
⎢
⎣
⎡
⎥
⎦
⎤
⎢
⎣
⎡
=−
∑∑
=
−
=
N
k
N
k
TLS
N
kvk
N
kk

N
1
0
1
1
0
)()(
1
)()(
1
ˆ
ϕϕϕθθ


*1*
0
)(
ˆ
lim fR
LS
N
N
−
∞→
=−
θθ
(5.29)
trong đó:

)()()()(

1
lim
1
*
kkEkk
N
R
T
N
k
T
N
ϕϕϕϕ
=
⎥
⎦
⎤
⎢
⎣
⎡
=
∑
=
∞→
(5.30)

)()()()(
1
lim
0

1
0
*
kvkEkvk
N
f
N
t
N
ϕϕ
=
⎥
⎦
⎤
⎢
⎣
⎡
=
∑
=
∞→
(5.31)


Như vậy điều kiện để ước lượng bình phương tối thiểu là
ước lượng vững
,
nghĩa là
LS
N

θ
ˆ
hội tụ đến tham số của hệ thống là:
− R
*
không suy biến.
− f
*
= 0: điều này xảy ra khi
{ }
)(
0
kv là chuổi của các biến ngẫu nhiên độc
lập có trung bình bằng 0 (nhiễu trắng) hoặc tín hiệu vào
{ }
)(ku là chuổi độc lập
với chuổi
{}
)(
0
kv
có trung bình bằng 0 và vector hồi qui không chứa tín hiệu ra
trong quá khứ (n
a
= 0).

•
Tiêu chuẩn bình phương tối thiểu có trọng số:

[ ]

∑
=
−−=
N
k
TN
N
kkkykNZV
1
2
)()()(),(),(
μβ θϕθ
(5.32)

Tương tự như trên, tham số ước lượng xác định bởi biểu thức:

[]
⎥
⎦
⎤
⎢
⎣
⎡
−
⎥
⎦
⎤
⎢
⎣
⎡

=
∑∑
=
−
=
N
k
N
k
TLS
N
kkykkNkkkN
1
1
1
)()()(),()()(),(
ˆ
μββ ϕϕϕθ
(5.33)

5.3 PHƯƠNG PHÁP HỢP LÝ CỰC ĐẠI (Maximum Likelihood Method)

5.3.1 Bộ ước lượng và nguyên tắc hợp lý cực đại

− Lĩnh vực suy luận thống kê, cũng như nhận dạng hệ thống và ước lượng
tham số liên quan đến bài toán rút ra thông tin từ dữ kiện quan sát mà bản thân
các dữ kiện quan sát này có thể không tin cậy.
− Dữ kiện quan sát có thể mô tả là thể hiện của biến ngẫu nhiên.
− Giả sử dữ kiện quan sát có thể biểu diễn bằng biến ngẫu nhiên:


{ }
)(,),2(,)1( Nyyy
N
…
=
y
(5.34)
có hàm mật độ xác suất là:



Chương 4: NHẬN DẠNG MÔ HÌNH CÓ THAM SỐ



© Huỳnh Thái Hoàng – Bộ môn Điều khiển Tự động

7

);(),,,;(
21
N
N
fxxxf x
y
θθ
=… (5.35)
tức là:

∫

∈
=∈
A
NNN
N
dfAP
x
y
xxy );()(
θ
(5.36)
trong đó
θ
là vector tham số mô tả tính chất của biến quan sát được.

− Giả sử vector tham số
θ
chưa biết và mục đích của việc quan sát biến y
N

là để ước lượng
θ
, điều này có thể thực hiện được bằng bộ ước lượng
)(
ˆ
N
y
θ
.
Nếu giá trị quan sát được của

N
y là
N
*
y thì giá trị tham số ước lượng là
)(
ˆˆ
N
*
y
θθ
=
∗
.
− Có thể có nhiều bộ ước lượng khác nhau.
− Bộ ước lượng hợp lý cực đại: là bộ ước lượng sao cho cực đại hóa xác
suất sự kiện quan sát.
Vì: );(~)(
**
NNN
fP yyy
y
θ
= (5.37)
Nên bộ ước lượng hợp lý cực đại xác định bởi:


);(maxarg)(
ˆ
**

NNML
f
yy
y
θθ
θ
=
(5.38)

Thí dụ: Giả sử y(i), i = 1, 2, …, N là các biến ngẫu nhiên độc lập có phân bố
chuẩn với giá trị trung bình là
θ
0
(chưa biết) và phương sai là
λ
i
(đã biết). Bài
toán đặt ra là ước lượng
θ
0
từ các giá trị quan sát.

• Cách thường dùng để ước lượng
θ
0
là lấy trung bình mẫu:

∑
=
=

N
i
SM
iy
N
1
)(
1
ˆ
θ
(5.39)

• Cách khác để ước lượng
θ
0
là dùng phương pháp hợp lý cực đại.
Vì hàm mật độ xác suất của các biến ngẫu nhiên có phân bố chuẩn là:

⎥
⎦
⎤
⎢
⎣
⎡
−
−
i
i
i
x

λ
θ
πλ
2
)(
exp
2
1
2
(5.40)
và do các biến ngẫu nhiên độc lập nhau nên:

∏
=
⎥
⎦
⎤
⎢
⎣
⎡
−
−=
N
i
i
i
i
N
y
x

xf
1
2
2
)(
exp
2
1
);(
λ
θ
πλ
θ
(5.41)

Vì vậy hàm hợp lý cho bởi );(
N
y
yf
θ
. Vì cực đại hóa hàm hợp lý tương
đương với cực đại hóa logarithm của nó nên:



Chương 4: NHẬN DẠNG MÔ HÌNH CÓ THAM SỐ



© Huỳnh Thái Hoàng – Bộ môn Điều khiển Tự động


8

),(logmaxarg)(
ˆ
N
y
NML
yfy
θθ
θ
=


⎭
⎬
⎫
⎩
⎨
⎧
−
−−−=
∑∑
==
N
i
N
i
i
i

iyN
11
2
])([
2
1
log
2
1
2log
2
maxarg
λ
θ
λπ
θ
(5.42)
Biểu thức trên đạt cực đại khi:

min
])([
2
1
1
2
→
−
∑
=
N

i
i
iy
λ
θ

⇒
0
])([
1
=
−
∑
=
N
i
i
iy
λ
θ

⇒
∑
∑
=
=
=
N
i
i

N
i
i
NML
iy
y
1
1
)(
)/1(
1
)(
ˆ
λ
λ
θ
(5.43)
Để ý rằng nếu phương sai của tất cả các biến ngẫu nhiên đều bằng nhau thì
công thức (5.43) và công thức (5.39) cho kết quả ước lượng như nhau.

5.3.2 Phương pháp hợp lý cực đại ước lượng tham số hệ thống động

Mô hình xác suất của hệ thống động:

);,(),(
ˆ
1
θθ
−
=

k
Zkgky

),(
ˆ
)(),(
θθ
kykyk −=
ε
độc lập và (5.44)
có hàm mật độ xác suất là
);,(
θ
kxf
e


Hàm hợp lý cho mô hình xác suất của hệ thống động (xem bổ đề 5.1, Ljung
1999, trang163):

()
()
∏∏
==
−
=−=
N
t
e
N

k
k
e
N
y
kkfkZkgkyfyf
11
1
,),,(,),,,()();(
θθθθθ
ε
(5.45)
Cực đại hóa hàm (5.45) tương đương cực đại hóa hàm:

()
∑
=
=
N
k
e
N
y
kkf
N
yf
N
1
,),,(log
1

);(log
1
θθθ
ε
(5.46)
Định nghĩa:

( )
θθθ
,),,(log),,( kkfk
e
εε
−=
l
(5.47)
Ta có thể viết:

∑
=
=
N
k
ML
kk
N
1
),),,((
1
minarg
ˆ

θθ
θ
ε
l
θ
(5.48)


Biểu thức trên cho thấy
phương pháp hợp lý cực đại là một trường hợp
riêng của phương pháp sai số dự báo.