Chương 5: Tính hội tụ và phân bố tiệm cận của tham số



© Huỳnh Thái Hồng – Bộ mơn Điều khiển Tự động

1

Chương 6
TÍNH HỘI TỤ VÀ PHÂN BỐ TIỆM CẬN
CỦA THAM SỐ ƯỚC LƯNG


Chương 6: TÍNH HỘI TỤ VÀ PHÂN BỐ TIỆM CẬN CỦA THAM SỐ ƯỚC
LƯNG
6.1. Giới thiệu
6.2. Tính hội tụ của tham số ước lượng
6.3. Phân bố tiệm cận của tham số ước lượng

6.1 GIỚI THIỆU

Chương 4 đã đề cập đến các loại cấu trúc mô hình, chương 5 đã trình bày
về các phương pháp ước lượng tham số và các thuật toán ước ước lượng tham
số. Về nguyên tắc, chúng ta đã ước lượng được tham số
N
θ
ˆ
của mô hình
),(

ˆ
θky
từ tập dữ liệu
N
Z
. Vấn đề đặt ra là:
1.
?
ˆ
→
N
θ
khi
∞→N

2. Phân bố xác suất của biến ngẫu nhiên
)
ˆ
(
*
θθ
−
N
?
Chương 6 trình bày cơ sở lý thuyết để trả lời các câu hỏi trên.

6.2 TÍNH HỘI TỤ CỦA THAM SỐ ƯỚC LƯNG

Chỉ xét tính hội tụ của tham số mô hình tuyến tính bất biến.


)(),()(),()( keqHkuqGky θθ +=

(6.1)


6.2.1 Điều kiện đối với tập dữ liệu
Cho tập dữ liệu:

{ }
)(),(,),1(),1(
NuNyuyZ
N
…
=

(6.2)

khi
∞→
N
ta có tập
∞
Z
.
Dữ liệu
N
Z
có thể tạo ra từ thí nghiệm thu thập dữ liệu vòng hở hoặc
vòng kín
. Sơ đồ khối thí nghiệm thu thập dữ liệu như hình 6.1. Chú ý rằng

nếu thí nghiệm vòng hở thì hàm truyền của khối chỉnh đònh bằng 0.




Chương 5: Tính hội tụ và phân bố tiệm cận của tham số



© Huỳnh Thái Hồng – Bộ mơn Điều khiển Tự động

2


Hình 6.1: Sơ đồ khối thí nghiệm thu thập dữ liệu

Điều kiện D1:
Tập dữ liệu
∞
Z
là tập dữ liệu sao cho tồn tại các bộ lọc
{}
)(
)(
ld
i
k
,
4,1=i
,

)(ky
và
)(ku
có thể biểu diễn dưới dạng:

∑∑
∞
=
∞
=
−+−=
1
0
)2(
1
)1(
)()()()()(
l
k
l
k
lkeldlkrldky

(6.3)


∑∑
∞
=
∞

=
−+−=
1
0
)4(
1
)3(
)()()()()(
l
t
l
k
lkeldlkrldku

(6.4)

trong đó:
1.
{}
)(kr
là chuỗi tín hiệu vào bên ngoài, tiền đònh, bò chặn.
2.
{}
)(
0
ke
là chuỗi biến ngẫu nhiên độc lập có trung bình bằng 0 và
moment đến bậc
δ
+

4

)0(
>
δ
bò chặn.
3. Các bộ lọc
{}
∞
=1
)(
)(
l
i
k
ld
ổn đònh đều (
4,1=i
,
,...2,1=k
)
4. Các tín hiệu
{}
)(ky
,
{ }
)(ku
liên kết gần dừng.

•

Nhắc lại các khái niệm:
1. Moment bậc k
của biến ngẫu nhiên
X
có hàm mật độ phân bố xác
suất
)(
xf
X
là kỳ vọng của đại lượng ngẫu nhiên
k
aX
)(
−
. Nếu
EXa
=
ta gọi
đó là moment trung tâm, ký hiệu là
k
μ
; nếu
0
=
a
ta gọi đó là moment gốc,
ký hiệu là
k
v
.


∫
+∞
∞−
−= dxxfax
X
k
k
)()(
μ

(6.5)

2. Xét họ các bộ lọc
∑
∞
=
−
=
1
)()(
l
l
qlgqG
αα
,
A
∈
α
. Họ bộ lọc

)(qG
α
được
gọi là ổn đònh đều
nếu
)()( lglg ≤
α
,
A∈∀
α
và
∞≤
∑
∞
=
1
)(
l
lg
.
Hệ thống cần
nhận dạng

Chỉnh đònh
u
(
k
)
y
(

k
)
e
0
(
k
)
r
(
k
)
y
0
=const


Chương 5: Tính hội tụ và phân bố tiệm cận của tham số



©
Huỳnh Thái Hồng – Bộ mơn Điều khiển Tự động

3
3. Hai tín hiệu
{}
)(ky
và
{ }
)(ku

được gọi là liên kết gần dừng nếu
{}
)(
ky
,
{}
)(
ku
là các tín hiệu gần dừng, đồng thời tồn tại:

)()()(
ττ
−= kukyER
yu
,
τ
∀

(6.6)


Giả thiết S1:
Tập dữ liệu
∞
Z
được tạo ra do hệ thống thật:

)()()()()( :
000
keqHkuqGky

+=S

(6.7)

trong đó
{}
)(
0
ke
là chuỗi các biến ngẫu nhiên độc lập có trung bình bằng 0,
phương sai là
0
λ
và moment bò chặn đến bậc
δ
+
4
,
0
>
δ
;
)(
0
qH
là bộ lọc
ổn đònh, khả đảo và monic
.

Cho cấu trúc mô hình tuyến tính bất biến:


{ }
M
M
DqHqG
∈
θθθ
),(),,(:

(6.8)

Bộ dự báo của mô hình tuyến tính khi tham số
θ đã xác đònh là (xem
chương 4):

)()()()()](1[)(
ˆ
11
kuqGqHkyqHky
−−
+−=
(6.9)
Đặt:
[]
[ ]
)(1)()()()()(
11
qHqGqHqWqWqW
yu
−−

−==

(6.10)


⎥
⎦
⎤
⎢
⎣
⎡
=
)(
)(
)(
ky
ku
kz

(6.11)

Có thể viết lại bộ dự báo như sau:
)()()(
ˆ
kzqWky = (6.12)

Ký hiệu:

{
);(),(|),(

0
ωω
jj
T
eGeGDD =∈=
θθ
M
MS


}
πωπ
ωω
≤≤−=
);(),(
0
jj
eHeH
θ

(6.13)

Nếu
∅≠),(
MS
T
D
thì
MS
∈



Bổ đề:
Nếu giả thiết S1 thỏa mãn, và tín hiệu vào được chọn như sau:

)()()()( krkyqFku +−=

(6.14)

sao cho có trễ trong
0
G
hoặc
F
, các bộ lọc:

)()]()(1[
0
1
0
qGqFqG
−
+
,
)()]()(1[
0
1
0
qHqFqG
−

+


)()]()(1)[(
0
1
0
qGqFqGqF
−
+
,
)()]()(1)[(
0
1
0
qHqFqGqF
−
+

ổn đònh, và
{}
)(kw
gần dừng thì điều kiện D1 thỏa mãn.

Thông tin trong tập dữ liệu:


Chương 5: Tính hội tụ và phân bố tiệm cận của tham số




© Huỳnh Thái Hồng – Bộ mơn Điều khiển Tự động

4

•
Tập dữ liệu gần dừng
∞
Z
được gọi là
đủ giàu thông tin đối với tập hợp
mô hình
*
M
nếu cho hai mô hình
)(
1
qW
và
)(
2
qW
bất kỳ thuộc
*
M
:

0)]())()([(
2
21

=− tzqWqWE

(6.15)

thì
)()(
21
ωω
jj
eWeW ≡
tại hầu hết mọi tần số
ω
.


•
Tập dữ liệu gần dừng
∞
Z
được gọi là
giàu thông tin
nếu tập dữ liệu
này đủ giàu thông tin đối với tập hợp mô hình
*
L
chứa tất cả các mô hình
tuyến tính bất biến.

Đònh lý 6.1:
(Đònh lý 8.1, [Ljung,1999])

Tính giàu thông tin của tập dữ liệu
thực nghiệm

Tập dữ liệu gần dừng
∞
Z
giàu thông tin nếu ma trận phổ
)(
ω
z
Φ
của tín
hiệu
T
kykukz
)]( )([)(
=
xác đònh dương tại hầu hết tất cả các tần số
ω
.

Trong đó:

⎥
⎦
⎤
⎢
⎣
⎡
ΦΦ

ΦΦ
=Φ
)()(
)()(
)(
ωω
ωω
ω
yyu
uyu
z

(6.16)


∑
+∞
−∞=
−
=Φ
τ
ωτ
τω
j
uu
eR )()(

(6.17)



∑
+∞
−∞=
−
=Φ
τ
ωτ
τω
j
yy
eR )()(

(6.18)


∑
+∞
−∞=
−
=Φ
τ
ωτ
τω
j
uyuy
eR )()(

(6.19)



∑
=
∞→
−=−=
N
k
N
u
kukEu
N
kukuER
1
)()(
1
lim)()()(
τττ

(6.20)


∑
=
∞→
−=−=
N
k
N
y
kykEy
N

kykyER
1
)()(
1
lim)()()(
τττ

(6.21)


∑
=
∞→
−=−=
N
k
N
uy
kykEu
N
kykuER
1
)()(
1
lim)()()(
τττ

(6.22)




Chương 5: Tính hội tụ và phân bố tiệm cận của tham số



© Huỳnh Thái Hồng – Bộ mơn Điều khiển Tự động

5
6.2.2 Tính hội tụ của tham số ước lượng theo phương pháp sai số dự báo
Tham số ước lượng theo phương pháp sai số dự báo là:

),(minarg
ˆ
N
N
D
N
ZV
θθ
θ
M
∈
=

(6.23)

trong đó:
∑
=
=

N
k
N
N
k
N
ZV
1
2
),(
1
),(
θθ ε

(6.24)


Đặt:
∑
=
∞→
==
N
k
N
kE
N
kEV
1
22

)],([
1
lim)],([)(
θθθ εε

(6.25)

Bổ đề:
Xét cấu trúc mô hình tuyến tính bất biến ổn đònh đều
M
. Nếu tập dữ
liệu thực nghiệm
∞
Z
thỏa mãn giả thiết D1 thì
0|)(),(|sup →−
∈
θθ
θ
VZV
N
N
D
M

với xác suất bằng 1 khi
∞→N
.

Đònh lý 6.2:

(Đònh lý 8.2, [Ljung,1999])
Tính hội tụ của tham số ước lượng
trong trường hợp cấu trúc mô hình tuyến tính bất biến và tiêu chuẩn ước lượng
dạng toàn phương

Cho
N
θ
ˆ
xác đònh bởi (6.23) và (6.24), trong đó
),(
θ
k
ε
được đònh nghóa
từ cấu trúc mô hình tuyến tính bất biến ổn đònh đều
M
. Nếu tập dữ liệu thực
nghiệm thỏa mãn giả thiết D1 thì:

CN
D→
θ
ˆ
với xác suất bằng 1 khi
∞→N

(6.26)

trong đó:


⎭
⎬
⎫
⎩
⎨
⎧
′
=∈==
∈
′
∈
)(min)(|)(minarg
θθθθ
θθ
VVDVD
DD
C
MM
M

(6.27)


Nếu tập hợp
D
C
chỉ có một phần tử
∗
θ

,
)(minarg
θθ
θ
V
D
M
∈
∗
=
thì (6.26) được
viết lại là:

∗
→
θθ
N
ˆ
với xác suất bằng 1 khi
∞→N

(6.28)


Chú ý:
Các kết quả trên có thể mở rộng cho trường hợp tiêu chuẩn ước lượng
tổng quát:

∑
=

=
N
k
N
N
kl
N
ZV
1
)),,((
1
),(
θθθ ε

(6.29)

và cấu trúc mô hình phi tuyến, biến đổi theo thời gian:

),,(),(
ˆ
θθ
kZgky
k
=

(6.30)

Kết quả tổng quát:



)]),,(([minarg
ˆ
θθθ
θ
klE
D
N
ε
M
∈
→
với xác suất bằng 1 khi
∞→N



Chương 5: Tính hội tụ và phân bố tiệm cận của tham số



© Huỳnh Thái Hồng – Bộ mơn Điều khiển Tự động

6
6.2.3 Tính vững và tính nhận dạng được của tham số ước lượng theo
phương pháp sai số dự báo
Ở mục trước ta đã rút ra kết luận khi điều kiện D1 thỏa mãn thì
∗
→
θθ
N

ˆ

với xác suất bằng 1 khi
∞→N
. Vấn đề đặt ra là
0
θθ
=
∗
? (với
0
θ
là tham số
“thật” của hệ thống). Nếu
0
θθ
=
∗
thì ước lượng
N
θ
ˆ
được gọi là
ước lượng
vững
.

Đònh lý 6.3:
(Đònh lý 8.3, [Ljung,1999])
Tính vững của ước lượng trong trường

hợp S
∈
M

và tiêu chuẩn ước lượng dạng toàn phương

Giả thiết:

•
tập dữ liệu
∞
Z
thỏa mãn giả thiết D1 và S1,

•

M
là cấu trúc mô hình tuyến tính ổn đònh đều sao cho
S

∈

M
,

•

∞
Z
đủ giàu thông tin đối với

M
.

•
Nếu tín hiệu vào có chứa thành phần hồi tiếp từ ngõ ra thì giả thiết có
một khâu trể trong bộ chỉnh đònh hoặc trong cả
)(
0
qG
và
),(
θ
qG
.
Kết luận:

),(
MS
TC
DD =

(6.31)

trong đó:

⎭
⎬
⎫
⎩
⎨

⎧
′
=∈==
∈
′
∈
)(min)(|)(minarg
θθθθ
θθ
VVDVD
DD
C
MM
M
,
)],([)(
2
θθ
kEV
ε
=


{
);(),(|),(
0
ωω
jj
T
eGeGDD =∈=

θθ
M
MS


}
πωπ
ωω
≤≤−= );(),(
0
jj
eHeH
θ

Ngoài ra nếu cấu trúc mô hình nhận dạng được toàn cục tại
),(
0
MS
T
D∈
θ
thì:

{ }
0
θ
=
C
D



Kết hợp đònh lý 6.2 và đònh lý 6.3, ta rút ra kết luận hàm truyền nhận
dạng được thỏa mãn:

⎩
⎨
⎧
→
→
)()
ˆ
,(
)()
ˆ
,(
0
0
ωω
ωω
j
N
j
j
N
j
eHeH
eGeG
θ
θ
với xác suất bằng 1 khi

∞→N




Chương 5: Tính hội tụ và phân bố tiệm cận của tham số



© Huỳnh Thái Hồng – Bộ mơn Điều khiển Tự động

7
Đònh lý 6.4:
(Đònh lý 8.4, [Ljung,1999])
Tính vững của ước lượng trong trường
hợp tập hợp mô hình chỉ có thể mô tả chính xác hàm truyền G, không thể mô
tả chính xác bộ lọc H

và tiêu chuẩn ước lượng dạng toàn phương

Giả thiết:

•
tập dữ liệu
∞
Z
thỏa mãn giả thiết D1 và S1,

•


M
là cấu trúc mô hình tuyến tính ổn đònh đều sao cho

♦
G
và
H
được tham số hóa độc lập:

⎥
⎦
⎤
⎢
⎣
⎡
=
η
ρ
θ

),(),(
ρθ
qGqG =

),(),(
ηθ
qHqH =


♦


tập hợp
{ }
∅≠∀==
ω
ωω
,)(),(|),(
0
jj
G
eGeGMSD
ρρ


•

∞
Z
đủ giàu thông tin đối với
M
.

•
hệ thống hoạt động vòng hở, tức là
{ }
)(tu
và
{ }
)(
0

te
độc lập.

•

⎥
⎦
⎤
⎢
⎣
⎡
=
Ν
Ν
Ν
η
ρ
θ
ˆ
ˆ
ˆ
là vector tham số lượng được bằng phương pháp sai số dự
báo (công thức (6.23) và (6.24)).
Kết luận:

),(
ˆ
MS
GN
D

→
ρ
với xác suất bằng 1 khi
∞→
N

(6.32)

hay viết cách khác:

)()
ˆ
,(
0
ωω
j
N
j
eGeG =
ρ
với xác suất bằng 1 khi
∞→
N


Đònh lý 6.5:
(Đònh lý 8.5, [Ljung,1999])
Tính vững của ước lượng trong trường
hợp S
∈

M

và tiêu chuẩn ước lượng tổng quát
)(
ε
l
Giả thiết:

•

)(
x
l là hàm khả vi hai lần sao cho:

0))((
0
=
′
keE
l


xx ∀>≥
′′
,0)(
δ
l


•

Các giả thiết của đònh lý 6.3 đều thỏa mãn.
Kết luận:

),(
MS
TC
DD
=

(6.33)

trong đó:

⎭
⎬
⎫
⎩
⎨
⎧
′
=∈==
∈
′
∈
)(min)(|)(minarg
θθθθ
θθ
VVDVD
DD
C

MM
M
,
))],(([)(
θθ
tEV
ε
l
=


{
);(),(|),(
0
ωω
jj
T
eGeGDD
=∈=
θθ
M
MS


}
πωπ
ωω
≤≤−= );(),(
0
jj

eHeH
θ