BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC QUY NHƠN

LÊ HOÀI THANH

MỘT SỐ LỚP
PHƯƠNG TRÌNH HÀM XUẤT HIỆN
TRONG LÝ THUYẾT THÔNG TIN

LUẬN VĂN THẠC SĨ TOÁN HỌC

Bình Định - 2012


BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC QUY NHƠN

LÊ HOÀI THANH

MỘT SỐ LỚP
PHƯƠNG TRÌNH HÀM XUẤT HIỆN
TRONG LÝ THUYẾT THÔNG TIN

Chuyên ngành: Phương pháp toán sơ cấp
Mã số: 60.46.01.13

LUẬN VĂN THẠC SĨ TOÁN HỌC

NGƯỜI HƯỚNG DẪN KHOA HỌC:
GS.TSKH. NGUYỄN VĂN MẬU

Bình Định - 2012


i

Mục lục
Mở đầu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

ii

Chương 1. Các kiến thức bổ trợ từ lý thuyết thông tin . . . . . . .

1

1.1. Một số tính chất đặc trưng của hàm số và các phương trình hàm cơ
bản . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2. Một số yếu tố của lý thuyết xác suất . . . . . . . . . . . . . . . . . . . . . . . . . . .

7

1.3. Khái quát về thông tin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

9

Chương 2. Phương trình hàm trong lý thuyết thông tin . . . . .

13

2.1. Khái niệm Entropy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .


13

2.2. Kí hiệu, kí hiệu cơ bản và sơ bộ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

14

2.3. Entropy Shannon và một số khái quát của nó . . . . . . . . . . . . . . . . .

19

2.4. Phương trình hàm dạng tổng (SFE) và khái quát . . . . . . . . . . . . .

24

2.5. Lý thuyết trộn của thông tin - Độ đo ghép . . . . . . . . . . . . . . . . . . . .

29

Chương 3. Một số bài toán liên quan và áp dụng . . . . . . . . . . .

33

3.1. Entropy của đại lượng ngẫu nhiên rời rạc . . . . . . . . . . . . . . . . . . . . .

33

3.2. Entropy của đại lượng ngẫu nhiên liên tục . . . . . . . . . . . . . . . . . . . .

37


3.3. Entropy của một số phân phối thường gặp . . . . . . . . . . . . . . . . . . . .

39

3.4. Độ đo Shannon liên tục và thông tin ghép Shannon-Wiener . . .

41

3.5. Lý thuyết chơi bạc . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

43

3.6. Entropy ghép đệ quy kiểu nhân tính . . . . . . . . . . . . . . . . . . . . . . . . . .

45

Kết luận . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

47

Tài liệu tham khảo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

49


ii

Mở đầu
Phương trình hàm là một trong những lĩnh vực nghiên cứu quan trọng
của giải tích toán học và có nhiều ứng dụng trong các lĩnh vực toán học

khác nhau cũng như trong thực tiễn. Gần đây, nhiều vấn đề trong lý thuyết
thông tin gắn với các hệ thức ràng buộc dưới dạng hàm số. Lớp các phương
trình hàm vì thế cũng xuất hiện ngày càng nhiều hơn, cần có sự khảo sát
chuyên biệt. Trên tinh thần đó luận văn "Một số lớp phương trình hàm xuất
hiện trong lý thuyết thông tin" là rất cần thiết cho việc tìm hiểu và khảo sát
chúng.
Mục đích của luận văn là bước đầu tìm hiểu, khảo sát một số lớp phương
trình hàm xuất hiện trong lý thuyết thông tin, bước đầu tiếp cận một số áp
dụng của nó.
Luận văn được thực hiện và hoàn thành tại trường Đại học Quy Nhơn,
dưới sự hướng dẫn của GS. TSKH. Nguyễn Văn Mậu. Nhân dịp này tôi xin
bày tỏ lòng biết ơn trân trọng và sâu sắc với GS. TSKH. Nguyễn Văn Mậu,
người thầy đã định hướng nghiên cứu, quan tâm và tạo mọi điều kiện thuận
lợi, cùng những lời động viên khích lệ tôi trong suốt quá trình học tập và
nghiên cứu.
Tôi xin trân trọng cảm ơn Ban chủ nhiệm khoa Toán, Phòng Sau đại học
và các thầy cô giáo, bạn bè học viên cùng gia đình đã động viên, giúp đỡ tôi
trong suốt quá trình viết và chỉnh sửa luận văn này.
Mặc dù đã rất cố gắng, song luận văn không thể tránh khỏi những hạn
chế và thiếu sót. Tôi mong nhận được những đóng góp ý kiến từ các thầy cô
giáo và các bạn để luận văn được hoàn thiện hơn. Tôi xin trân trọng cảm ơn!


Chương 1
Các kiến thức bổ trợ từ lý thuyết
thông tin

Chương này trình bày một số kiến thức cơ bản về hàm số, xác suất và lý
thuyết thông tin.


1.1. Một số tính chất đặc trưng của hàm số và các
phương trình hàm cơ bản
1.1.1. Một số tính chất cơ bản của hàm số
Trong phần này ta xét hàm số f (x) với tập xác định Df ⊆ R và tập giá
trị Rf ⊆ R.
Định nghĩa 1.1 (Hàm số liên tục). Cho hàm số f (x) xác định trong khoảng
(a, b). Ta nói hàm số f (x) liên tục tại x0 ∈ (a, b) nếu lim f (x) = f (x0 ).
x→x0

Tính chất 1.1.
• f (x) liên tục tại x0 ∈ D
⇔ ∀ {xn } ⊂ D, xn = x0 : lim xn = x0 ⇒ lim f (xn ) = f (x0 ) .
n→∞

n→∞

• Tổng, hiệu, tích, thương (mẫu số khác 0) của hai hàm số liên tục tại x0
là những hàm số liên tục tại x0 .


2

• Nếu f (x) là hàm số liên tục thì hàm số f (λx), ∀λ ∈ R cũng là hàm số
liên tục.
• Nếu g(x) liên tục tại x0 và hàm f (u) liên tục tại u0 = g(x0 ) thì hàm
hợp f (g(x)) liên tục tại x0 .
• Nếu hàm số f (x) là đơn ánh, liên tục trên một khoảng nào đó thì nó
đơn điệu thực sự trên khoảng đó.
• Nếu hàm f : R → R liên tục và cộng tính thì f (x) = kx, k ∈ R tùy ý.
Tính chất 1.2 (Phương trình hàm Cauchy).

• Nếu hàm f : R+ → R+ liên tục và nhân tính thì f (x) = xα , ∀α ∈ R.
• Nếu hàm số f (x) liên tục trên R và
f(

x+y
f (x) + f (y)
)=
, ∀ x, y ∈ R
2
2

thì hàm f có dạng tuyến tính, nghĩa là
f (x) = ax + b, ∀x ∈ R; ∀a, b ∈ R.
Định nghĩa 1.2 (Hàm số khả vi).
a) Cho hàm số f (x), x0 ∈ Df . Ta nói f (x) khả vi tại x0 khi và chỉ khi tồn tại
f (x0 − ∆x) − f (x0 )
giới hạn hữu hạn lim
. Giới hạn đó kí hiệu là f (x0 )
∆x→0
∆x
và được gọi là đạo hàm của hàm f (x) tại x0 .
b) Hàm số f (x) được gọi là khả vi trên tập D ⊆ Df ⇔ f (x) khả vi tại mọi
điểm thuộc D ⇔ f (x) có đạo hàm tại mọi điểm thuộc D.
Định nghĩa 1.3 (Hàm số khả tích). Hàm số mà tích phân Riemann (Lơbe)
của nó trên một tập hợp tồn tại gọi là hàm khả tích theo nghĩa Riemann
(Lơbe) trên tập hợp đó.
Nhận xét 1.1.


3


• Điều kiện cần và đủ để một hàm số là khả tích theo nghĩa Riemann trên
đoạn [a, b] là nó bị chặn và tập hợp các điểm gián đoạn của nó có độ đo
Lơbe bằng không.
• Để cho một hàm số là khả tích theo nghĩa Lơbe thì nó phải là hàm đo
được. Điều ngược lại cũng đúng nếu hàm số đó bị chặn. Mọi hàm khả
tích theo nghĩa Rieman đều khả tích theo nghĩa Lơbe.
Định nghĩa 1.4 (Hàm số tuần hoàn và phản tuần).
a) Hàm số f (x) được gọi là hàm tuần hoàn cộng tính chu kỳ a (a > 0) trên
M nếu M ⊂ D(f ) và
∀x ∈ M ⇒ x ± a ∈ M
f (x + a) = f (x), ∀x ∈ M.
Nếu tồn tại số dương T nhỏ nhất trong các số a ở trên thì T được gọi là
chu kỳ cơ sở của hàm số f (x).
b) Hàm số f (x) được gọi là hàm phản tuần hoàn cộng tính chu kỳ b (b > 0)
trên M nếu M ⊂ D(f ) và
∀x ∈ M ⇒ x ± b ∈ M
f (x + b) = −f (x), ∀x ∈ M.
Nếu tồn tại số dương T nhỏ nhất trong các số b ở trên thì T được gọi là
chu kỳ cơ sở của hàm số f (x).
c) Hàm số f (x) được gọi là hàm tuần hoàn nhân tính chu kỳ a (a ∈
/ {0; −1; 1})
trên M nếu M ⊂ D(f ) và
∀x ∈ M ⇒ a±1 x ∈ M
f (ax) = f (x), ∀x ∈ M.
d) Hàm số f (x) được gọi là hàm phản tuần hoàn nhân tính chu kỳ a (a ∈
/
{0; −1; 1}) trên M nếu M ⊂ D(f ) và
∀x ∈ M ⇒ a±1 x ∈ D
f (ax) = −f (x), ∀x ∈ M.



4

Nhận xét 1.2. Mối quan hệ giữa các hàm tuần hoàn cộng tính và nhân
tính.
Nếu f (x) là hàm số tuần hoàn cộng tính chu kỳ (a > 0) trên R thì
g(t) = f (ln t), (t > 0)
là hàm nhân tính chu kỳ ea trên R+ . Ngược lại, nếu f (x) là hàm tuần hoàn
nhân tính chu kỳ a (0 < a = 1) trên R+ thì g(t) = f (et ) là hàm tuần hoàn
cộng tính chu kỳ lna trên R.

1.1.2. Một số phương trình hàm cơ bản
Phần này sẽ trình bày một số phương trình hàm cơ bản cũng như phương
pháp tìm nghiệm các phương trình hàm cơ bản đó.
Bài toán 1.(Phương trình hàm Cauchy). Tìm hàm f (x) xác định trên R
thỏa mãn các điều kiện sau

 f (x + y) = f (x) + f (y), ∀x, y ∈ R
f (x) liên tục tại x = x0 ∈ R
 f (1) = α, (α = 0)
Giải. Giả sử tồn tại hàm số f (x) thỏa mãn yêu cầu bài ra.
Cho x = y = 0 ta được f (0) = f (0) + f (0) ⇔ f (0) = 0.
Cho y = −x ta được f (0) = f (x) + f (−x) ⇒ f (x) = f (−x), ∀x ∈ R
Vậy hàm f (x) là hàm số lẻ nên ta chỉ cần xác định biểu thức của f (x) với
x > 0.
Cho y = x suy ra f (2x) = 2f (x). Giả sử f (kx) = kf (x), (k ∈ N∗ ). Ta có:
f ((k + 1) x) = f (kx + x) = f (kx) + f (x) = kf (x) + f (x) = (k + 1) f (x) .
Theo nguyên lý quy nạp ta được f (nx) = nf (x), ∀x ∈ R, n ∈ N∗
Với n ∈ Z− suy ra −n ∈ N∗ , ta có

f (nx) = f ((−n)(−x)) = −nf (−x) = −n(−f (x)) = nf (x) (do f (x) là hàm
số lẻ).
Suy ra f (nx) = nf (x),n ∈ Z− . Kết hợp với f (0x) = f (0) = 0 = 0f (x) ta
được
f (nx) = nf (x), ∀x ∈ R; n ∈ Z.


5

Với m ∈ Z∗ , ta có
f (x) = f m

x
x
x
1
= mf
⇒f
= f (x)
m
m
m
m

Với r ∈ Q, tồn tại m ∈ Z; sao cho r =
f (rx) = f

m
n.


Từ các kết quả trên ta có

n
x
n
x = nf
= f (x) = rf (x) , ∀r ∈ Q
m
m
m

Cho x = 1 ta được f (r) = rf (1) = αr, ∀r ∈ Q. Với ∀m ∈ R, ta có
f (x) = f (x + x0 − m + m − x0 ) = f (x − m + x0 ) + f (m) − f (x0 )
Từ giả thiết hàm số liên tục tại x = x0 ta có
lim f (x) = lim [f (x − m + x0 ) + f (m) − f (x0 )]

x→m

x→m

= lim f (x − m + x0 ) + f (m) − f (x0 )
x→m

= f (x0 ) + f (m) − f (x0 ) = f (m)
Vậy f (x) liên tục tại mọi điểm m ∈ R. Nói cách khác f (x) liên tục trên R.
Với ∀x ∈ R, tồn tại dãy số (rn ) ⊂ Q sao cho rn → x khi n → +∞. Khi đó vì
f (x) liên tục trên R nên ta có
f (x) = lim f (rn ) = lim αrn = αr
n→+∞


n→+∞

Thử lại, dễ thấy hàm số f (x) = αx thỏa mãn yêu cầu của đề bài.
Bài toán 2. (Phương trình hàm Cauchy dạng mũ). Xác định các hàm f (x)
liên tục trên R thỏa mãn điều kiện sau
f (x + y) = f (x)f (y), ∀x, y ∈ R.

(1.1)

Giải. Dễ thấy f ≡ 01 là một nghiệm của (1.1).
Xét trường hợp f ≡ 02 , khi đó tồn tại x0 ∈ R sao cho f (x0 ) = 0. Theo
(1.1) thì f (x0 ) = f (x + (x0 − x)) = f (x)f (x0 − x) = 0, ∀x ∈ R. Suy ra
f (x) = 0, ∀x ∈ R, mặt khác
f (x) = f

x x
x
+
= f
2 2
2

2

> 0, ∀x ∈ R


6

Đặt ln f (x) = g(x) ⇒ f (x) = eg(x) . Khi đó g(x) là hàm liên tục trên R và

g(x + y) = ln f (x + y) = ln[f (x)f (y)]
= ln f (x) + ln f (y) = g(x) + g(y), ∀x, y ∈ R
Theo Bài toán 1 thì g(x) = bx, b ∈ R tùy ý, suy ra f (x) = ebx = ax với a > 0.
Kết luận, nghiệm của bài toán là f (x) ≡ 0 hoặc f (x) = ax với a > 0.
Tổng quát. Đặc trưng hàm của một số hàm số sơ cấp
Như ta đã biết phương trình hàm là một phương trình thông thường mà
nghiệm của nó là một hàm số. Để giải quyết tốt vấn đề này ta cần phân biệt
tính chất hàm với đặc trưng hàm.
1. Hàm số tuyến tính f (x) = ax, a = 0.
Đặc trưng của hàm tuyến tính là f (x + y) = f (x) + f (y), ∀x, y ∈ R.
2. Hàm số bậc nhất f (x) = ax + b, a = 0, b = 0.
f (x) + f (y)
x+y
)=
, ∀ x, y ∈ R.
Đặc trưng của hàm bậc nhất là f (
2
2
3. Hàm số lũy thừa f (x) = xm , x > 0.
Đặc trưng của hàm lũy thừa là f (xy) = f (x).f (y), ∀x, y ∈ R, x, y > 0.
4. Hàm số mũ f (x) = ax , 0 < a = 1.
Đặc trưng của hàm số mũ là f (x + y) = f (x).f (y), ∀x, y ∈ R.
5. Hàm số logarit f (x) = loga |x| , 0 < a = 1, ∀x ∈ R.
Đặc trưng hàm logarit là f (xy) = f (x) + f (y), ∀x, y ∈ R.
6. Hàm số f (x) = cos x.
Đặc trưng hàm cosx là f (x + y) + f (x − y) = 2f (x).f (y), ∀x, y ∈ R.
π
7. Hàm số f (x) = tan x, (x = + kπ).
2
f (x) + f (y)

Đặc trưng hàm tanx là f (x + y) =
,
1 − f (x).f (y)
(2k + 1)π
π
π
x+y =
, x = + kπ, y = + kπ.
2
2
2
8. Hàm số lượng giác ngược f (x) = arcsin x.
√
Đặc trưng hàm arcsin x là f (x) + f (y) = f (x 1 − y 2 + y 1 − x2 ),
∀x, y ∈ [−1; 1] .


7

9. Hàm số lượng giác ngược f (x) = arccos x.
√
Đặc trưng hàm arccos x là f (x) + f (y) = g(xy − 1 − x2 . 1 − y 2 ),
∀x, y ∈ [−1; 1]
10. Hàm số lượng giác ngược f (x) = arctan x.
Đặc trưng hàm arctan x là f (x) + f (y) = f (

x+y
), ∀x, y : xy = 1.
1 − xy


11. Hàm số lượng giác ngược f (x) = arccotx.
Đặc trưng hàm arccotx là f (x) + f (y) = f (

xy − 1
), ∀x, y : x + y = 0.
x+y

1.2. Một số yếu tố của lý thuyết xác suất
Phần này nêu một số khái niệm trong lý thuyết xác suất
Định nghĩa 1.5 (Không gian mẫu). Là tập (hay không gian) tất cả các kết
quả có thể có của một thí nghiệm. Thường được kí hiệu là E hay S. Nếu không
gian mẫu là rời rạc thì E có thể được biểu diễn bằng E = {e1 , e2 , ..., en }
Định nghĩa 1.6 (Biến cố, biến cố cơ bản). Mỗi tập con của E (không gian
mẫu) được gọi là một biến cố, đặc biệt mỗi phần tử của E được gọi là một
biến cố cơ bản.
Định nghĩa 1.7 (Biến ngẫu nhiên rời rạc). Một biến ngẫu nhiên rời rạc x
được định nghĩa bằng cách gán một số thực xi tới mỗi biến cố cơ bản ei của
không gian mẫu rời rạc E. Xác suất của xi được định nghĩa là xác suất của
biến cố cơ bản tương ứng và được kí hiệu là p(xi ).
Định nghĩa 1.8 (Trị trung bình (kỳ vọng), phương sai ).
• Trị trung bình và phương sai của biến ngẫu nhiên rời rạc x lần lượt được
kí hiệu và định nghĩa như sau
E (x) = x =

xi p (xi )
i

2

Var(x) = E (x − x)


2

(xi − x) p (xi ) = E(x2 ) − x2

=
i

2

trong đó E(x ) là trị kỳ vọng của x2 .


8

• Tổng quát, trị kỳ vọng của một hàm của x, chẳng hạn f (x), được định
nghĩa bằng
E (f (x)) =
(f (xi ))p (xi )
i

Định nghĩa 1.9 (Xác suất đồng thời, xác suất có điều kiện).
• Một cặp biến ngẫu nhiên (x, y) liên kết với một phép thử tạo thành một
biến ngẫu nhiên nối. Nếu x, y là rời rạc, sự phân bố xác suất nối hay
xác suất đồng thời được định nghĩa là
pij = P (x = xi , y = yi )
• Xác suất của y trong điều kiện đã biết x được gọi là xác suất có điều
kiện và được định nghĩa là
p (yj |xi ) =


p (xi , yj )
p (xi )

trong đó xác suất lề p(xi ) được giả thiết là khác không.
• Các xác suất lề được định nghĩa như sau:
p (xi ) =

p (xi , yi )
j

p (yj ) =

p (xi , yi )
i

Định nghĩa 1.10 (Sự độc lập).
• Hai biến ngẫu nhiên x và y được gọi là độc lập nếu
p(xi , yj ) = p(xi )p(yj ), ∀i, j ∈ I.
• Chúng ta thấy nếu hai biến x và y độc lập thì
p (yj |xi ) =

p (xi , yj ) p (xi ) p (yj )
=
= p (yj )
p (xi )
p (xi )

có nghĩa là xác suất yj trong điều kiện có xi xảy ra hay không xảy ra
đều như nhau, không thay đổi, và ngược lại.



9

• Cũng từ sự độc lập chúng ta suy ra một kết quả mà hay được sử dụng
sau này
E(xy) = E(x)E(y) = xy
Định nghĩa 1.11 (Sự tương quan).
• Sự tương quan C giữa hai biến x và y được định nghĩa là trị kỳ vọng
của (x − x)(y − y):
C(x, y) = E((x − x)(y − y))
= E(xy) − xy
• Trong trường hợp x và y là độc lập chúng ta suy ra C(x, y) = 0. Tuy
nhiên điều ngược lại thì không đúng.

1.3. Khái quát về thông tin
1.3.1. Thông tin
• Thông tin là một khái niệm trừu tượng, phi vật chất và rất khó được
định nghĩa chính xác. Hai định nghĩa về thông tin.
1. Thông tin là sự cảm hiểu của con người về thế giới xung quanh
thông qua sự tiếp xúc với nó.
2. Thông tin là một hệ thống những tin báo và mệnh lệnh giúp loại
trừ sự không chắc chắn trong trạng thái của nơi nhận tin. Nói ngắn
gọn, thông tin là cái mà loại trừ sự không chắc chắn.
• Định nghĩa đầu chưa nói lên được bản chất của thông tin. Định nghĩa
thứ hai nói rõ hơn về bản chất của thông tin và được dùng để định lượng
thông tin trong kỹ thuật.
• Thông tin là một hiện tượng vật lý, nó thường tồn tại và được truyền
đi dưới một dạng vật chất nào đó.
• Những dạng vật chất dùng để mang thông tin được gọi là tín hiệu.



10

• Lý thuyết tín hiệu nghiên cứu các dạng tín hiệu và cách truyền thông
tin đi xa với chi phí thấp, một ngành mà có quan hệ gần gũi với LTTT.
• Thông tin là một quá trình ngẫu nhiên.
• Tín hiệu mang tin tức cũng là tín hiệu ngẫu nhiên và mô hình toán học
của nó là các quá trình ngẫu nhiên thực hay phức.
• Và LTTT là lý thuyết ngẫu nhiên của tin tức, có nghĩa là nó xét đến
tính bất ngờ của tin tức đối với nơi nhận tin.
• Khái niệm thông tin thường đi kèm với một hệ thống truyền tin.

1.3.2. Sự truyền tin
Là sự dịch chuyển thông tin từ điểm này đến điểm khác trong một môi
trường xác định.

1.3.3. Nguồn tin
• Là một tập hợp các tin mà hệ thống truyền tin dùng để lập các bảng
tin hay thông báo để truyền tin.
• Bảng tin chính là dãy tin được bên phát truyền đi.
• Thông tin có thể thuộc nhiều loại như
1. một dãy kí tự như trong điện tín của các hệ thống gởi điện tín;
2. một hàm theo chỉ một biến thời gian f (t) như trong radio và điện
thoại;
3. một hàm của thời gian và các biến khác như trong tivi trắng đen
– ở đây thông tin có thể được nghĩ như là một hàm f (x, y, t) của
toạ độ hai chiều và thời gian biểu diễn cường độ ánh sáng tại điểm
(x, y) trên màn hình và thời gian t;
4. một vài hàm của một vài biến như trong trường hợp tivi màu –
ở đây thông tin bao gồm ba hàm f (x, y, t), g(x, y, t), h(x, y, t) biểu

diễn cường độ ánh sáng của các ba thành phần màu cơ bản (xanh
lá cây, đỏ, xanh dương)


11

• Thông tin trước khi được truyền đi, tuỳ theo yêu cầu có thể được mã
hoá để nén, chống nhiễu, bảo mật, ...

1.3.4. Kênh tin
• Là nơi hình thành và truyền (hoặc lưu trữ) tín hiệu mang tin đồng thời
ở đấy xảy ra các tạp nhiễu phá hủy tin tức.
• Trong lý thuyết thông tin kênh là một khái niệm trừu tượng đại biểu
cho hỗn hợp tín hiệu và tạp nhiễu.
• Môi trường truyền tin thường rất đa dạng
1. môi trường không khí, tin được truyền dưới dạng âm thanh và tiếng
nói, ngoài ra cũng có thể bằng lửa hay bằng ánh sáng;
2. môi trường tầng điện ly trong khí quyển nơi mà thường xuyên xảy
ra sự truyền tin giữa các vệ tinh nhân tạo với các trạm rada ở dưới
mặt đất;
3. đường truyền điện thoại nơi xảy ra sự truyền tín hiệu mang tin là
dòng điện hay đường truyền cáp quang qua biển trong đó tín hiệu
mang tin là sóng ánh sáng v.v. . .

1.3.5. Nhiễu
• Cho dù môi trường nào cũng có nhiễu. Nhiễu rất phong phú và đa dạng
và thường đi kèm với môi trường truyền tin tương ứng.
• Chẳng hạn nếu truyền dưới dạng sóng điện từ mà có đi qua các vùng
của trái đất có từ trường mạnh thì tín hiệu mang tin thường bị ảnh
hưởng ít nhiều bởi từ trường này. Nên có thể coi từ trường này là một

loại nhiễu.
• Nếu truyền dưới dạng âm thanh trong không khí thì tiếng ồn xung
quanh có thể coi là một loại nhiễu.
• Nhiễu có nhiều loại chẳng hạn nhiễu cộng, nhiễu nhân.


12

• Nhiễu cộng là loại nhiễu mà tín hiệu mang tin bị tín hiệu nhiễu “cộng”
thêm vào.
• Nhiễu nhân là loại nhiễu mà tín hiệu mang tin bị tín hiệu nhiễu “nhân”
lên.

1.3.6. Nơi nhận tin
• Là nơi tiếp nhận thông tin từ kênh truyền và cố gắng khôi phục lại
thành thông tin ban đầu như bên phát đã phát đi.
• Tin đến được nơi nhận thường không giống như tin ban đầu vì có sự
tác động của nhiễu. Vì vậy nơi nhận phải thực hiện việc phát hiện sai
và sửa sai.
• Nơi nhận còn có thể phải thực hiện việc giải nén hay giải mã thông tin
đã được mã hoá bảo mật nếu như bên phát đã thực hiện việc nén hay
bảo mật thông tin trước khi truyền


13

Chương 2
Phương trình hàm trong lý thuyết
thông tin
2.1. Khái niệm Entropy

Entropy là một từ liên kết với thông tin, được đề xuất bởi Von Neumann
(hình thành cùng với Boltzmann, Gibbs, và Shannon) giới thiệu trong lĩnh
vực vật lý. Entropy của một phân phối xác suất có thể giải thích không chỉ
là độ đo của đại lượng bất định mà còn là độ đo của thông tin. Thực tế là
lượng thông tin chúng ta nhận được khi quan sát kết quả của một phép thử
có thể xem như bằng với lượng bất định liên quan đến kết quả thử nghiệm
trước khi thực hiện nó. Ta sẽ dùng từ entropy để biểu diễn một độ đo của
độ bất định.
Định nghĩa đầu tiên về khái niệm entropy được cho trong tính tổng quát
của nó bởi Shannon, gọi là entropy Shannon, là
n

Hn (P ) = −

pi log pi ,

(SE)

i=1
n

với P = (p1 , p2 , . . . , pn ), 0 ≤ pi ≤ 1,

pi = 1, n ≥ 2, n ∈ Z+ , được suy ra từ

i=1

những công bố của các tiên đề khác nhau.



14

2.2. Kí hiệu, kí hiệu cơ bản và sơ bộ
n

Cho Γn =

P = (p1 , p2 , . . . , pn ); pi ≥ 0,

pi = 1 là tập hợp tất cả các phân
i=1

phối xác suất không âm, rời rạc, đầy đủ với độ dài n (n ≥ 2); Γ0n =
n

P = (p1 , p2 , . . . , pn ); pi > 0,

pi = 1

là phần trong của Γn (n ≥ 2); ∆n =

i=1

Γn hoặc Γ0n ; I = [0, 1], I0 = (0, 1), I1 = I hoặc I0 ; 0. log 0 = 0; 0β = 0; 0. log 00 =
0; logarit với cơ số 2;
s(x) = −x log x−(1−x) log(1−x)

với x ∈ I1 , hàm Shannon,

s(x, y) = − log y − (1 − x) log(1 − y)


với x, y ∈ I1 ,

sβ (x) =

1
21−β

−1

(xβ + (1 − x)β − 1)

(SF)

với x ∈ I, β = 0,

sL (x) = xL(x) + (1 − x)L(1 − x),
s(x, y, z) = x(a1 log x + b1 log y + c1 log z) + y(a2 log y + b2 log z) + c2 z log z
Với P ∈ ∆n , Q ∈ ∆m định nghĩa tích P ∗ Q = (pi qj ) ∈ ∆mn (i =
1, 2, . . . , n, j = 1, 2, . . . , m); và một dãy ánh xạ µn : ∆kn → R (n ≥ 2, k ∈
Z∗+ , k ≥ 1) được gọi là một độ đo thông tin.

2.2.1. Tính chất, định đề và tiên đề
Để xác định được lượng thông tin, ta áp dụng cách tiếp cận tiên đề (toán
học) của Shannon. Tiên đề mô tả đặc điểm của độ đo thông tin tổng quát
và của entropy Shannon đặc biệt được thực hiện bằng cách sáng suốt lựa
chọn các thuộc tính (đại số và giải tích) thỏa mãn chúng. Điều này dẫn đến
việc nghiên cứu nhiều phương trình hàm. Ngoài phương trình hàm Cauchy,
có hai dạng phương trình hàm đóng vai trò nổi bật. Một gọi là phương trình



15

cơ bản của thông tin
f (x) + (1 − x) f

y
1−x

= f (y) + (1 − y) f

x
1−y

,

(FEI)

với x, y ∈ [0, 1) với x + y ∈ I, và những tổng quát của nó, và loại kia được
xem như phương trình dạng tổng
n

m

n

f (xi yj ) =
i=1 j=1

m


f (xi ) +
i=1

f (yj ),

(SFE)

j=1

với (xi ) ∈ ∆n , (yj ) ∈ ∆m , và sự biến thiên của nó. Những phương trình này
sẽ được nghiên cứu trong phần tiếp theo, chỉ ra kết nối chặt chẽ giữa hai loại
phương trình hàm.

2.2.2. Tính chất quan trọng - Nguyên lý cơ bản
a) Tính đại số
n - đối xứng
µn (P1 , P2 , . . . , Pk ) = µn (Pα(1) , Pα(2) , . . . , Pα(k) ), trong đó Pj ∈ ∆n (j = 1, 2, . . . , k)
và α là một hoán vị trong {1, 2, . . . , k}.
Mở rộng (k = 1)
µn+1 (p1 , p2 , . . . , pn , 0) = µn+1 (p1 , p2 , . . . , pn ) với tất cả (pi ) ∈ Γn ; nghĩa là
cộng một kết quả với xác suất bằng 0 không làm thay đổi lượng tin kỳ vọng.

b) Cộng tính
(m, n) - Cộng tính, cộng tính dưới, và cộng tính mạnh
Xét một phép thử P với kết quả có thể ci (i = 1, 2, . . . , n) của xác suất
pi = p(ci ) và phép thử khác Q với kết quả có thể cj (j = 1, 2, . . . , m) của xác
suất qj = p(cj ); biểu diễn bởi P ∗ Q sự tổ hợp của hai phép thử với ci ∩ cj ,
(i = 1, 2, . . . , n; j = 1, 2, . . . , m) là các kết quả có thể. Điều kỳ vọng tự nhiên
là hai phép thử độc lập, tin kỳ vọng từ sự biểu diễn của hai phép thử bằng



16

với tổng các tin kỳ vọng của mỗi phép thử. Nghĩa là,
µmn (P (1) ∗ Q(1) ||P (2) ∗ Q(2) ||...P (k) ∗ Q(k) )
= µm (Q(1) ||Q(2) ||...Q(k) ) + µn (P (1) ||P (2) ||...P (k) )
với P (1) , P (2) , . . . , P (k) ∈ ∆n , Q(1) , Q(2) , . . . , Q(k) ∈ ∆m , P (i) ∗ Q(j) ∈ ∆mn .
Gọi là (m, n) - cộng tính
Trong trường hợp tổng quát, ta không thể kỳ vọng thêm thông tin từ sự
liên kết của hai phép thử hơn tổng của thông tin mà có thể thu được từ mỗi
phép thử. Cho k = 1, gọi là cộng tính dưới và được biểu diễn bởi
µmn (P ∗ Q) ≤ µn (P ) + µm (Q)
với P ∈ ∆n , Q ∈ ∆m .
(m, n) - Cộng tính mạnh
µmn (p1 q11 , p1 q12 , . . . , p1 q1n , p2 q21 , . . . , p2 q2n , . . . , pm qm1 , . . . , pm qmn )
m

= µm (p1 , p2 , . . . , pm ) +

pj µn (qj1 , qj2 , . . . , qjn )
j=1

với (pi ) ∈ ∆m , (qjk )nk=1 ∈ ∆n , j = 1, 2, . . . , m
n - Đệ quy và phân nhánh



p11 , p12 , . . . , p1n
 p21 , p22 , . . . , p2n 


 = µn−1 
µn 
.



..
pk1 , pk2 , . . . , pkn

p11 + p12 , p13 , . . . , p1n
p21 + p22 , p23 , . . . , p2n
..
.
pk1 + pk2 , pk3 , . . . , pkn


p11 , p12
 p21 , p22 
,
+ ϕn−1 
..


.
pk1 , pk2







với Pi = (pi1 , pi2 , . . . , pin ) ∈ ∆n (i = 1, 2, . . . , k), và hàm ϕn−1 : I12 → R.
Trong trường hợp đặc biệt (k = 1), dãy µn được gọi là đệ quy cho bởi
µn (p1 , p2 , . . . , pn ) = µn−1 (p1 + p2 , p3 , . . . , pn ) + ϕn−1 (p1 , p2 )
với tất cả P = (p1 , p2 , . . . , pn ) ∈ ∆n và một số hàm ϕn−1 : I12 → R.


17

Một dạng đặc biệt của ϕn−1 dùng trong nhiều cách xây dựng là ϕn−1 (p1 , p2 ) =
p1
p2
(p1 + p2 )µ2
,
với p1 + p2 > 0
p1 + p2 p1 + p 2
c) Tính chuẩn tắc
1 1
,
2 2

Trong trường hợp k = 1, µ2

= 1.

d) Sự biểu diễn
Tính chất tổng
Một dãy độ đo µn : ∆kn → R (k ≥ 1) được gọi là có tính chất tổng với điều
kiện tồn tại một hàm f : I1n → R sao cho

n

µn (P1 ||P2 ||...Pk ) =

f (p1i , p2i , . . . , pki )
i=1

với mọi Pj = (pj1 , pj2 , . . . , pjn ) ∈ ∆n (j = 1, 2, . . . , k) và mọi n ≥ 2, hàm f
được gọi là một hàm tổng quát của dãy µn
Khi k = 1 sự biểu diễn là
n

µn (P ) =

với P ∈ ∆n ,

f (pi )
i=1

và khi k = 2, tính chất tổng là
n

µn (P ||Q) =

với P, Q ∈ ∆n .

f (pi , qi )
i=1

Tựa tuyến tính

Với trường hợp k = 1, tồn tại một hàm liên tục, đơn điệu ngặt ψ : R+ → R+
thỏa
n

µ (P ) = ψ

−1

pj ψ (− log pj )
j=1

với pj > 0 và P ∈ Γ0n .
e) Tính đều


18

Ta minh họa tính đều cho trường hợp k = 1. µn (p1 , p2 , . . . , pn ) là hàm liên
tục trên ∆n .
Định nghĩa
f (p) = µ2 (p, 1 − p)
với p ∈ I1 .
(2.1)
f được gọi là hàm thông tin Shannon. Những tính đều thường dùng là:
• f là khả tích Lơbe trên I1 ,
• f đo được,
• f liên tục tại 0,
• f liên tục trên I1 ,
• lim+ µ2 (p, 1 − p) = 0 (nhỏ nhất trong các xác suất nhỏ), nó trình bày
p→0


trực quan rằng ta thu được rất ít thông tin ra khỏi một phép thử với
hai kết quả có thể, một trong số đó là gần như chắc chắn và kết quả kia
gần như không thể,
1
• f tăng hoặc giảm trên (0, ),
2
• 0 ≤ f (p) ≤ k, p ∈ I1 , k là hằng số,
• f bị chặn trên một khoảng hay bị chặn trên một tập có độ đo dương
• f là khả vi, v.v...


19

2.2.3. Biểu diễn của độ đo thông tin
Những độ đo thông tin được biết đến là
n

Hn (P ) = −

pi log pi

(entropy Shannon),

(SE)

(sai số Kerridge),

(KI)


(phân kì có hướng),

(dd)

i=1

In (P ||Q) = −
Dn (P ||Q) =
GDn (P ||Q||R) =
Hnα (P )

pi log qi
pi
pi log
qi
qi
pi log
ri
a

pi

, α = 1, α > 0 (entropy bậc α), (2.2)

i=1
n

1
21−β


(gdd)

n

1
=
log
1−α

Hnβ (P ) =

(phân kì có hướng tổng quát),

−1

Hn (P, W ) = −

pβi − 1, β = 1 (entropy bậc β)

(2.3)

i=1

wi pi log pi

(lượng entropy),

(2.4)

v.v.., với P, Q, R ∈ ∆n , W = (w1 , . . . , wn ), wi ≥ 0.

Có nhiều tính chất đại số được phân chia trong các độ đo này. Dễ dàng
kiểm tra rằng tất các độ đo này là đối xứng; bốn độ đo đầu là cộng tính và
đệ quy, ba độ đo sau là không cộng tính; tất cả chúng đều có tính chất tổng
ngoại trừ entropy bậc α.

2.3. Entropy Shannon và một số khái quát của nó
Entropy Shannon thỏa mãn bất đẳng thức, gọi là bất đẳng thức Shannon,
n

−

n

pi log pi ≤ −
i=1

pi log qi ,

(SI)

i=1

P = (pi ), Q = (qi ) ∈ ∆n .
Ta sẽ chỉ ra rằng tính đối xứng và đệ quy dẫn đến phương trình cơ bản
của thông tin (FEI), tính cộng tính và biểu diễn tổng dẫn đến phương trình
hàm dạng tổng (SFE). Trước tiên ta khảo sát (FEI).


20


2.3.1. Phương trình cơ bản của thông tin - Mô tả tiên đề
Cho µn : ∆n → R, n ≥ 2, là dãy độ đo thông tin. Shannon dùng định đề
µn là n - đối xứng, µn liên tục tại mỗi biến, µ2 ( 12 , 21 ) = 1, µn ( n1 , n1 , . . . , n1 ) ≤
1
1
, . . . , n+1
), và
µn+1 ( n+1
µn (p1 , p2 , . . . , pm−1 , pm q1 , . . . , pm qn−m+1 )
= µm (p1 , p2 , . . . , pm ) + pm µn−m+1 (q1 , q2 , . . . , qn−m+1 )

(2.5)

để mô tả (SE).
Định lý 2.1. Giả sử µn trên Γn là n - đối xứng, hàm f được cho bởi (2.1)
là hàm liên tục với p ∈ [0, 1], µ2 ( 12 , 21 ) = 1, và µn là n - đệ quy,
µn (p1 , p2 , . . . , pn ) = µn−1 (p1 + p2 , p3 , . . . , pn )
p2
p1
,
+ (p1 + p2 )µ2
p1 + p 2 p1 + p2

,

(2.6)

với P = (pi ) ∈ Γn , p1 + p2 > 0. Khi đó µn (P ) = Hn (P ).
Chứng minh. (1) Cách chứng minh của Faddeev gồm có các bước sau.
Hàm L : Z∗+ → R định nghĩa bởi

L(n) = µn

1 1
1
, ,...,
, n ≥ 1,
n n
n

(i) thỏa mãn (L) (gọi là hàm số học cộng tính đầy đủ), và
(ii) lim (L(n + 1) − L(n)) = 0.
n→∞

Cả (i) và (ii) với L(2) = 1 kéo theo L(n) = log n. Ta sẽ mở rộng hàm µn .
Dùng tính đối xứng và đệ quy (2.6), cho p ∈ I,
µ3 (p, 1 − p, 0) = µ2 (1, 0) + µ2 (p, 1 − p)
= µ2 (p, 0, 1 − p)
= µ2 (p, 1 − p) + pµ2 (1, 0).
Vậy µ2 (1, 0) = 0 và µ3 (p, 1 − p, 0) = µ2 (p, 1 − p). Hơn thế nữa
µn+1 (p1 , . . . , pn , 0) = µn+1 (p1 , 0, p2 , . . . , pn )
= µn (p1 , p2 , . . . , pn ) + p1 µ2 (1, 0)
= µn (p1 , p2 , . . . , pn );


21

m
là một
n
số hữu tỉ, m ≤ n. Ta áp dụng (2,n) - cộng tính mạnh dùng tính đối xứng và

tính mở rộng,


Do đó, µn có thể mở rộng, µn cũng là cộng tính mạnh. Đặt r =





m 1
m
m
1
m 1
1


, 0, . . . , 0, . , . . . , . , 0, . . . , 0 
µ2n  1 −
,..., 1 −
.
n n−m
n n−m
n m
n m


m lần

(n−m) lần



= µ2

(n−m) lần

m lần



 1

m m
m
1


1− ,
+ 1−
µn 
,...,
, 0, . . . , 0
n n
n
n−m
n − m

(n−m) lần




m lần




1
1
m 

µn 
,
.
.
.
,
,
0,
.
.
.
,
0

n m
m

+

m lần


= µ2 1 −

(n−m) lần

m m
m
,
+ 1−
µn−m
n n
n

1
1
,...,
n−m
n−m

+

m
µm
n

1
1
,...,
.
m

m

Từ đây
m
m
,1 −
n
n
1
1
1
m
1
= µn
,...,
− µm
,...,
n
n
n
m
m
m
1
1
− 1−
,...,
µn−m
n
n−m

n−m
m
m
= log n − log m − 1 −
log (n − m)
n
n
= −r log r − (1 − r) log (1 − r)
với r hữu tỉ trong I1 .

f (r) = µ2

Khi đó f là hàm liên tục, f (x) = s(x), hàm Shannon (SF).
Tiếp theo ta áp dụng tính đệ quy trong (2.6) để thu được µn (P ) = Hn (P ).
Chứng minh. (2) Bây giờ ta đưa ra một cách chứng minh đơn giản của
định lý liên quan đến (FEI), nhưng trước tiên ta có cơ sở của (FEI).