1

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG
---------------------------

TRẦN THANH GIẢNG

XÂY DỰNG HỆ THỐNG DỰ ĐOÁN
THUÊ BAO RỜI MẠNG CỦA MOBIFONE
DỰA VÀO MẠNG NƠ RON

LUẬN VĂN THẠC SĨ KỸ THUẬT

TP. HỒ CHÍ MINH – NĂM 2016


2

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG
---------------------------

TRẦN THANH GIẢNG

LỜI CAM ĐOAN

XÂY DỰNG HỆ THỐNG DỰ ĐOÁN
THUÊ
BAO RỜI MẠNG CỦA MOBIFONE
Tôi cam đoan đây là công trình nghiên cứu của riêng tôi.
DỰA VÀO MẠNG NƠ RON

Các số liệu, kết quả trình bày trong luận văn là trung thực và chưa từng được

NGÀNH:
HỆ THỐNG THÔNG TIN
ai công bố trong bấtCHUYÊN
kỳ công trình
nào khác.
MÃ SỐ: 60.48.01.04

Tp. HCM, 20 tháng 06 năm 2016
Học viên thực hiện luận văn

LUẬN VĂN THẠC SĨ KỸ THUẬT
Trần Thanh Giảng

NGƯỜI HƯỚNG DẪN KHOA HỌC:
PGS.TS. DƯƠNG TUẤN ANH

TP. HỒ CHÍ MINH – NĂM 2016


3

LỜI CẢM ƠN

Tôi xin bày tỏ lòng biết ơn sâu sắc đến PGS.TS Dương Tuấn Anh đã hướng
dẫn nhiệt tình, tận tâm trong suốt quá trình giúp tôi thực hiện luận văn này. Thầy đã
giúp cho tôi định hướng, phương pháp nghiên cứu, các tài liệu bổ ích và đặt biệt là
kinh nghiệm quý giá.
Tôi xin chân thành cảm ơn Học Viện Công Nghệ Bưu Chính Viễn Thông đã

tạo điều kiện và đặc biệt gửi lời cám ơn sâu sắc tới các Thầy, các Cô đã tận tụy
hướng dẫn, giúp đỡ và truyền dạy những kiến thức quý báu, bổ ích cho trong suốt
khóa học, để tôi áp dụng vào công việc trong lĩnh vực công nghệ thông tin, cũng
như hoàn thành luận văn này.
Cảm ơn các bạn học viên của lớp Cao học Hệ thống thông tin 2014-2016 đã
gắn bó, đoàn kết cùng nhau chia sẻ những kinh nghiệm, và giúp đỡ tôi trong quá
trình học tập cũng như trong suốt quá trình thực hiện luận văn.
Tp. HCM, 20 tháng 06 năm 2016
Học viên thực hiện luận văn

Trần Thanh Giảng


4

MỤC LỤC

DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT

Viết tắt

Tiếng Anh

SPSS

Statistical

Tiếng Việt
Product


and Phần mềm SPSS

Services Solutions
CDR

Call Detail Recording

Chi tiết cuộc gọi

Mạng Nơ ron

Neuron Network

Mạng Nơ ron

KPDL

Data Mining

Khai phá dữ liệu

MLP

MultiLayer Perceptron

Mạng Nơ ron đa lớp truyền thẳng

CSDL

Database


Cơ sở dữ liệu


5
DANH SÁCH HÌNH VẼ

DANH SÁCHBẢNG


6

MỞ ĐẦU

Nền kinh tế của thế giới đã chuyển qua giai đoạn kinh tế tri thức, trong đó thông
tin đóng một vai trò quan trọng. Tất cả các thông tin khách hàng, thông tin giao
dịch… đều được số hóa và lưu trữ trong các hệ thống thông tin của các công ty và
tổ chức. Thông tin được chiết lọc ra từ các dữ liệu trên đóng một vai trò quan trọng
trong việc các lãnh đạo đưa ra các hoạch định chiến lược của tổ chức, hay đơn giản
chỉ là những điều chỉnh chuyên môn nghiệp vụ sao cho đạt hiệu quả hơn.
Dữ liệu từ các hoạt động kinh tế được lưu trữ ngày một phong phú, đa dạng về
nội dung, hình thức và đầy đủ về mặt dung lượng. Đó cũng là một ưu thế cho việc
chiết lọc, khai phá các dữ liệu thô để đưa ra các thông tin hữu ích, nhưng cũng là
một thách thức lớn đặt ra: làm thế nào để xử lý dữ liệu lớn, phức tạp như vậy, hay
sự phong phú của dữ liệu về nội dung và hình thức cũng khiến chúng ta bối rối
trong việc quyết định bỏ loại dữ liệu gì, lấy dữ liệu gì.
Ngành viễn thông không dây (cùng với điện thoại di động không dây) ra đời
những năm đầu của thập niên 90 thế kỷ 20 đã mở ra một cuộc cách mạng mạnh mẽ
trong việc liên lạc nói riêng, và cách thức chúng ta giao tiếp, truyền thông nói
chung. Và thực sự từ năm 2000 đến nay, với sự tiến bộ rất nhanh của thiết bị mạng

viễn thông cho phép truyền dữ liệu với tốt độ cao hơn; tiến bộ về công nghệ thông
tin và sản xuất các thiết bị điện thoại di động cho phép người ta có thể làm rất nhiều
thứ trên điện thoại di động thay vì chỉ có nhắn tin và gọi điện đơn thuần.
Sự phát triển của ngành viễn thông, công nghệ thông tin (gọi chung là ngành
ICT) đã mở ra một cuộc cạnh tranh khốc liệt giữa các nhà sản xuất thiết bị di động


7
cầm tay – smartphone; giữa các nhà cung cấp dịch vụ thông tin di động. Mỗi nhà
mạng đều có những chiến lược để: phát triển giành giật khách hàng, cung cấp các
dịch vụ tốt hấp dẫn và đặc biệt là giữ khách hàng.
Một trong những yếu tố quan trọng để giữ khách hàng là cần biết đặc tính của
tất cả các khách hàng (thuộc tính), ví dụ khách hàng thuộc độ tuổi nào, giới tính,
thói quen sử dụng dịch vụ (sử dụng cước bao nhiêu, thường sử dụng dịch vụ gì…).
Từ những thuộc tính đó còn cần phải xem lại trong dữ liệu lịch sử khách hàng là
khách hàng nào đã rời mạng. Từ đó có thể rút ra được những kết luận về tính chất
của khách hàng đã rời mạng trong quá khứ, tính chất này được cụ thể hóa bằng mô
hình dự đoán thuê bao rời mạng. Khi biết được thuê bao nào rời mạng thì các nhà
mạng có thể có những tác động đến khách hàng để hạn chế các thuê bao đó rời
mạng.


8

CHƯƠNG 1 - TỔNG QUAN

1.1

Tổng quan vấn đề cần nghiên cứu
Từ khi mạng điện thoại không dây ra đời, khách hàng sử dụng một số thuê bao


để liên lạc thì thói quen sử dụng dịch vụ của họ cũng mang tính cá nhân, do đó việc
nghiên cứu thói quen sử dụng dịch vụ càng được các công ty viễn thông chú trọng
hơn. Hiện nay, trên thế giới có rất nhiều công trình để giải quyết bài toán dự đoán
thuê bao rời mạng điện thoại di động không dây. Hầu hết các công trình đều sử
dụng công nghệ khai phá dữ liệu khai phá dữ liệu là “cây quyết định” (Decision
Tree), hoặc “kỹ thuật mạng nơ ron” (Neural Network Techniques).
Dựa vào nghiên cứu thị trường (Berson, Smith & Thearling, năm 2000) [2], tỉ lệ
rời mạng của công ty điện thoại di động là khoảng 2% mỗi tháng. Như vậy mỗi năm
là khoảng 25% (một phần tư). Trong khi đó, tỉ lệ rời mạng ở châu Á là khoảng 48%
(theo nghiên cứu của Mattersion, 2001). Nghiên cứu này chỉ rõ, việc tiên đoán các
thuê bao rời mạng cũng là một phần quan trọng của công tác quản lý quan hệ khách
hàng (CRM - Customer Relationship Management).
Tại châu Á, bài báo “Applying data mining to telecom churn management” của
các tác giả tại Đài Loan (Shin-Yuan Hung, David C. Yen, Hsiu-Yu Wang, năm
2006) đã đề ra mô hình tiên đoán thuê bao rời mạng dựa vào thông tin tổng quan
của khách hàng, thông tin tính cước, trạng thái hợp đồng dịch vụ, chi tiết cuộc gọi
và lịch sử thay đổi dịch vụ của khách hàng [3].
Trong bài báo “A Neural Network based Approach for Predicting Customer
Churn in Cellular Network Services” [4] của đồng tác giả Anuj Sharma và Kumar
Panigrahi tại Viện quản lý công nghệ Ấn Độ năm 2011 cũng chỉ rõ việc sử dụng kỹ
thuật mạng nơ ron là một cách tiếp cận cơ bản trong việc dự đoán khách hàng di
động rời mạng. Bài báo cũng chỉ rõ, tỉ lệ dự đoán đúng khách hàng rời mạng là
khoảng 92%.
Bài báo “Predicting Customer Churn in Telecom Industry using Multilayer
Perceptron Neural Networks Modeling and Analysis” của các tác giả Omar Adwan,


9
Hossam Faris, Khalid Jaradat, Osama Harfoushi, Nazeeh Ghatasheh năm 2014 một

lần nữa khẳng định dùng mạng nơ ron đa tầng (3 tầng) để xây dựng mô hình bài
toán tiên đoán thuê bao rời mạng [5].
Trong luận văn này sẽ tiến hành nghiên cứu những lý thuyết về khai phá dữ liệu
(bao gồm mạng nơ ron và cây quyết định), nghiên cứu các thuộc tính của khách
hàng MobiFone trong quá khứ, xây dựng tập thuộc tính khách hàng trong quá khứ,
từ tập dữ liệu thuê bao trong quá khứ này xây dựng mô hình dự đoán thuê bao nào
đó rời mạng hay không, sau đó dựa vào các tập dữ liệu thuê bao rời mạng khác
cũng trong quá khứ để xác định độ chính xác của mô hình và quyết định việc áp
dụng có áp dụng mô hình trong thực tế hay không?
Đây là một vấn đề áp dụng các kỹ thuật khai phá dữ liệu vào việc phục vụ các
mục đích kinh doanh nên đề tài có ý nghĩa thực tiễn. Cách tiếp cận vấn đề và việc
xây dựng mô hình dự đoán là rất quan trọng, quyết định việc nghiên cứu của đề tài
có hữu ích hay khôngCác công trình nghiên cứu liên quan.
1.2

Lý do chọn đề tài
Việc sử dụng các kiến thức lý thuyết về khai phá dữ liệu (Data Mining) vào việc

khai phá, chắt lọc dữ liệu để rút ra các kết luận định hướng các hoạt động kinh
doanh trong ngành viễn thông đã được áp dụng nhiều ở các công ty viễn thông trên
thế giới; các công ty viễn thông cũng đã đổ nhiều công sức và tiền bạc vào vấn đề
này. Theo tìm hiểu của chúng tôi thì tại Việt Nam, các công ty viễn thông, nhà cung
cấp dịch vụ viễn thông (truyền hình, thông tin di động, Internet…) lớn chưa có một
công ty nào thực hiện một hệ thống dự đoán thuê bao (khách hàng) rời mạng (rời bỏ
dịch vụ) mà công ty đó cung cấp.
Xuất phát từ việc đó, chúng tôi mạnh dạn nghiên cứu đề tài “Xây dựng hệ thống
dự đoán thuê bao rời mạng MobiFone dựa vào mạng nơ ron”. Tất nhiên hệ thống dự
đoán này có thể áp dụng cho bất kỳ công ty viễn thông nào có hệ thống khách hàng,
miễn là có những thay đổi cách tiếp cận khách hàng cho phù hợp, nhưng với nguồn
dữ liệu có được khảo sát từ mạng điện thoại di động MobiFone thì chúng tôi xây

dựng hệ thống này dựa trên những dữ liệu khách hàng thực tế thu thập được từ công
ty MobiFone.


10
1.3

Những kết quả đạt được của luận văn
Luận văn này bao gồm 4 chương.
Chương 1: Tổng quan vấn đề cần nghiên cứu
Chương này tìm hiểu tổng quan về vấn đề mà luận văn này cần nghiên cứu, các

công trình có liên quan, và phát biểu bài toán.
Chương 2: Các cơ sở lý luận
Các cơ sở lý luận – lý thuyết liên quan để giải quyết luận văn bao gồm: các kiến
thức về khai phá dữ liệu (data mining), mạng nơ ron, mạng nơ ron đa lớp truyền
thẳng, các thuật toán xây dựng mạng nơ ron, mô hình để giải bài toán dự đoán.
Chương 3: Khảo sát cơ sở dữ liệu thuê bao của Mobifone
Chương 4: Hiện thực, đánh giá, kết luận và các hướng nghiên cứu trong tương
lai


11

CHƯƠNG 2 -CƠ SỞ LÝ LUẬN
Để giải quyết bài toán xây dựng mô hình dự đoán thuê bao rời mạng thì chúng
tôi cần các kiến thức tổng quan và chuyên sâu về khai phá dữ liệu (data mining),
các kỹ thuật khai phá dữ liệu, mà trong luận văn hướng đến là kỹ thuật phân lớp
dùng mạng nơ ron, kỹ thuật lựa chọn thuộc tính. Chương này khảo sát tất cả các
kiến thức liên quan đến cách thức giải bài toán.

2.1

Giới thiệu về khai phá dữ liệu (Data Mining)

2.1.1 Khai phá dữ liệu là gì?
Khai phá dữ liệu (KPDL) được định nghĩa như là một quá trình chắt lọc hay
khai phá tri thức từ một lượng lớn dữ liệu. Một ví dụ hay được sử dụng là là việc
khai thác vàng từ đá và cát, Dataming được ví như công việc "Đãi cát tìm vàng"
trong một tập hợp lớn các dữ liệu cho trước. Thuật ngữ Dataming ám chỉ việc tìm
kiếm một tập hợp nhỏ có giá trị từ một số lượng lớn các dữ liệu thô. Có nhiều thuật
ngữ hiện được dùng cũng có nghĩa tương tự với từ Datamining như Knowledge
Mining (khai phá tri thức), knowledge extraction(chắt lọc tri thức), data/patern
analysis(phân tích dữ liệu/mẫu), data archaeoloogy (khảo cổ dữ liệu),
datadredging(nạo vét dữ liệu),...[6].
Định nghĩa: Khai phá dữ liệu là một tập hợp các kỹ thuật được sử dụng để tự
động khai thác và tìm ra các mối quan hệ lẫn nhau của dữ liệu trong một tập hợp dữ
liệu khổng lồ và phức tạp, đồng thời cũng tìm ra các mẫu tiềm ẩn trong tập dữ liệu
đó.
Nói một cách đơn giản, KPDL liên quan đến việc “tách” hoặc “dò” tri thức từ
một lượng lớn của dữ liệu, khai phá tri thức từ dữ liệu, tách tri thức, phân tích
mẫu/dữ liệu....
Quá trình khai phá gồm những bước tuần tự như sau:
1. Làm sạch dữ liệu (loại bỏ những dữ liệu thừa và không có thông tin)
2. Tích hợp dữ liệu (khi nhiều nguồn dữ liệu được kết hợp)
3. Lựa chọn dữ liệu (lựa chọn những dữ liệu thích hợp cho việc phân tích được

thực hiện lấy từ CSDL)


12

4. Chuyển đổi dữ liệu (nơi dữ liệu được chuyển đổi hoặc hợp nhất thành một

thể thích hợp phù hợp cho việc khai phá bằng cách thực hiện các hoạt động
tóm tắt hoặc tích hợp)
5. Khai phá dữ liệu (là tiến trình quan trọng với những phương thức thông minh

được áp dụng cho việc tách những mẫu dữ liệu)
6. Định giá mẫu (Xác định những mẫu thực sự có ích miêu tả dữ liệu dựa trên

một vài đơn vị đo lường sự có ích)
7. Miêu tả tri thức (khi việc miêu tả mô hình và dữ liệu thu được được sử dụng

trong việc khai phá tri thức cho người dùng)
Hình 2.1 dưới đây minh họa các bước trong khai phá dữ liệu và phát hiện tri thức.

Hình 2.1: Các bước trong Data Mining & KDD ([6])

2.1.2 Mô hình khai phá dữ liệu
Kiến trúc của một hệ thống KPDL điển hình chứa các thành phần sau:


13
 CSDL, kho dữ liệu, web hoặc những hệ thống thông tin khác
 Máy chủ CSDL hoặc kho dữ liệu
 Dựa trên cơ sở tri thức
 Cách thức KPDL
 Module đánh giá mô hình
 Giao diện người sử dụng

Hình 2.2 dưới đây minh họa mô hình khai phá dữ liệu.

User Interface

Pattern Evaluation

Knowledge Base
Data Mining Engine

Database or Data Warehouse Server

Data cleaning, integration and selection

Database

Data Warehouse

World Wide Web Other Info Repositories

Hình 2.2: Mô hình khai phá dữ liệu


14

2.1.3 Các kỹ thuật khai phá dữ liệu
Theo nguyên lý, khi sử dụng phương thức KPDL để giải quyết một vấn đề cụ
thể, cần phải hình dung ra loại vấn đề là gì, có thể tổng kết thành hai loại chính,
cũng liên quan đến các đối tượng của khai phá dữ liệu:
 KPDL dự đoán (predictive method): là đưa ra các dự đoán đựa vào

các suy diễn trên dữ liệu hiện thời. KPDL dự đoán bao gồm các kỹ
thuật phân lớp (classification), hồi quy (regression)..

 KPDL mô tả (descriptive method): có nhiệm vụ mô tả về các tính

chất hoặc đặc tính chung của dữ liệu trong CSDL hiện có. Bao
gồm các kỹ thuật: phân cụm (clustering), phân tích luật kết hợp
(association rules), mẫu tuần tự (sequential patterns)...

2.1.3.1 Phân lớp
Phân lớp là quá trình xây dựng một mô hình để mô tả dữ liệu được phân chia
như thế nào, nói cách khác, phân lớp là quá trình xây dựng một mô hình bằng các
gán các đối tượng dữ liệu (thuộc tính) vào các lớp đã xác định.
Tiến trình phân lớp dựa trên 4 thành phần cơ bản:
 Lớp (class)
 Dự đoán (predictors)
 Tập dữ liệu được đào tạo (Training dataset)
 Tập dữ liệu kiểm thử (Testing dataset)

Đặc trưng của tiến trình phân loại gồm những điểm sau:
 Input: tập dữ liệu đào tạo chứa những đối tượng với thuộctính của

nó, với một số thuộc tính đã được gán nhãn;
 Output: mô hình(classifier) được gán bởi những nhãn cụ thể cho

mỗi đối tượng (phân lớp các đối tượng từng các thư mục), dựa trên
những thuộc tính khác;
 Mô hình sử dụng để dự đoán những lớp mới, những đối tượng

chưa biết.
Tập dữ liệu kiểm thử cũng dùng dể xác định độ chính xác của mô hình.



15
Khi một mô hình phân loại được xây dựng, nó sẽ phải so sánh với những mô
hình khác để lựa chọn mô hình tốt nhất. Liên quan đến việc so sánh giữa các mô
hình phân loại (mô hình phân lớp), sẽ có một số thành phần cần được tính đến.
 Khả năng dự đoán (predictive accuracy)
 Tốc độ (speed)
 Độ mạnh mẽ (robustness)
 Độ mềm dẻo (scalability)
 Tính dễ diễn giải (interpreability)
 Độ đơn giản (simplicity).

2.1.3.2 Phân cụm
Nói đến phân cụm, nghĩa là nói đến chia một tập dữ liệu thành một vài cụm
(cluster), dựa trên việc xác định những đặc điểm chung.
 Các đối tượng thuộc1 cụm là tương tự nhau.
 Đối tượng ở cụm này sẽ ít tương tự với đối tượng ở cụm khác.

Phân cụm dữ liệu được sử dụng nhiều trong các ứng dụng về phân đoạn thị
trường, khân khúc khách hàng, nhận dạng mẫu, phân loại trang web…

2.1.3.3 Luật kết hợp
Luật kết hợp là tiến trình xác định những luật phụ thuộc giữa những nhóm khác
nhau của hiện tượng. Khai phá luật kết hợp dựa trên hai bước:
 Tìm tất cả các tập mục phổ biến, được xác định qua tính hỗ trợ và

thỏa mãn độ hỗ trợ cực tiểu;
 Sinh ra các luật kết hợp từ các mục phổ biến, các luật phải thỏa

mãn độhỗ trợ cực tiểu và độ tin cậy cực tiểu.
Phương pháp này được sử dụng hiệu quả trong các lĩnh vực như quảng cáo có

chủ đích, phân tích quyết định, quản lý kinh doanh...

2.1.3.4 Mẫu tuần tự
Mẫu tuần tự là xác định những mẫu mà sự xuất hiện của chúng trong CSDL thỏa
mãn ngưỡng tối thiểu. Luật tuần tự được sinh ra từ mẫu tuần tự, biểu diễn mối quan


16
hệ giữa hai loạt sự kiện, loạt sự kiện này sẽ xảy ra sau loạt sự kiện kia, tuần tự theo
thời gian, thể hiện tri thức tiềm ẩn của dữ liệu tuần tự [6].
Khai thác mẫu tuần tự được ứng dụng trong nhiều lĩnh vực như: phân tích thị
trường, phân tích mẫu truy cập web, dự đoán nhu cầu mua sắm của khách hàng..

2.1.3.5 Hồi quy
Phương pháp hồi quy là học một hàm ánh xạ một mục dữ liệu và một biến dự
báo giá trị thực. Phân tích hồi quy sẽ xác định được định lượng quan hệ giữa các
biến, và quảng bá giá trị một biến phụ thuộc vào giá trị của những biến khác.
Phương pháp hồi quy khác với phân lớp dự liệu là hồi quy dùng để dự đoán những
giá trị liên lục, còn phân lớp dữ liệu là dự đoán các giá trị rời rạc.
Các ứng dụng của phương thức hồi quy:
 Kinh tế
 Dự báo thời tiết.

2.1.4 Ứng dụng của khai phá dữ liệu
Với mỗi phương thức riêng biệt, rất nhiều ứng dụng thành công sử dụng KPDL
trong cuộc sống thực, sau đây là một số lĩnh vực mà áp dụng thành công kỹ thuật
KPDL:
 Lĩnh vực tài chính và ngân hàng
 Những chiến lược bán hàng
 Chăm sóc sức khỏe và y tế

 Viễn thông:

•

Phát hiện gian lận trong cuộc gọi;

•

Xác định các hồ sơ khách hàng trung thành;

•

Xác định các nhântố ảnh hưởng đến hành vi khách hàngliên
quan

đến các kiểu gọi điện thoại;
•

Xác định các rủi rotrong việc sử dụng đầu tư các công nghệ
mới;

•

Xác định những sự khác nhau giữa các dịch vụ và sản phẩm


17
giữa
các đốithủ cạnh tranh.
2.2


Giới thiệu về mạng Nơ ron

2.2.1 Mạng nơron là gì?
2.2.1.1 Nơ ron sinh học và nơ ron nhân tạo
Nơ ron sinh học
Qua quá trình nghiên cứu về bộ não, người ta thấy rằng: bộ não con người bao
gồm khoảng 1011 nơ rontham gia vào khoảng 1015 kết nối trên các đường truyền.
Mỗi đường truyền này dài khoảng hơn một mét. Các nơ roncó nhiều đặc điểm
chung với các tế bào khác trong cơ thể, ngoài ra chúng còn có những khả năng mà
các tế bào khác không có được, đó là khả năng nhận, xử lý và truyền các tín hiệu
điện hóa trên các đường mòn nơ ron, các con đường này tạo nên hệ thống giao tiếp
của bộ não [7].
Nơ ron nhân tạo
Một nơ ronlà một đơn vị xử lý thông tin và là thành phần cơ bản của một mạng
nơ ron. Cấu trúc của một nơ ronđược mô tả trên hình 2.3.
Inputs
X1
Weights
W1
Output
X2

W2

Wx
Xx

Hình 2.3:Mô hình mạng Nơ ron nhân tạo


Các thành phần cơ bản của một nơ ronnhân tạo bao gồm:


18
 Tập các đầu vào: Là các tín hiệu vào (input signals) của nơ ron, các tín hiệu này
thường được đưa vào dưới dạng một nơ ronN chiều.
 Tập các liên kết: Mỗi liên kết được thể hiện bởi một trọng số (gọi là trọng số liên
kết – Synaptic weight). Trọng số liên kết giữa tín hiệu vào thứ j với neural thường
được kí hiệu là w. Thông thường, các trọng số này được khởi tạo một cách ngẫu
nhiên ở thời điểm khởi tạo mạng và được cập nhật liên tục trong quá trình học
mạng.
 Hàm tổng (Summing function): Thường dùng để tính tổng của tích các đầu vào với
trọng số liên kết của nó.
 Ngưỡng (còn gọi là một độ lệch - bias): Ngưỡng này thường được đưa vào như một
thành phần của hàm truyền.
 Hàm truyền (Transfer function) : Hàm này được dùng để giới hạn phạm vi đầu ra
của mỗi nơ ron. Nó nhận đầu vào là kết quả của hàm tổng và ngưỡng đã cho. Thông
thường, phạm vi đầu ra của mỗi nơ ronđược giới hạn trong đoạn [0,1] hoặc [-1, 1].
Các hàm truyền rất đa dạng, có thể là các hàm tuyến tính hoặc phi tuyến. Việc lựa
chọn hàm truyền nào là tuỳ thuộc vào từng bài toán và kinh nghiệm của người thiết
kế mạng.
 Đầu ra: Là tín hiệu đầu ra của một nơ ron, với mỗi nơ ronsẽ có tối đa là một đầu ra.

2.2.1.2 Mạng nơ ron nhân tạo là gi?
Định nghĩa: Mạng nơ ron nhân tạo, Artificial Neural Network (ANN) gọi tắt là
mạng nơ ron, neural network, là một mô hình xử lý thông tin phỏng theo cách thức
xử lý thông tin của các hệ nơ ronsinh học. Nó được tạo lên từ một số lượng lớn các
phần tử (gọi là phần tử xử lý hay neural) kết nối với nhau thông qua các liên kết
(gọi là trọng số liên kết) làm việc như một thể thống nhất để giải quyết một vấn đề
cụ thể nào đó [8][9].

Một mạng nơ ronnhân tạo được cấu hình cho một ứng dụng cụ thể (nhận dạng
mẫu, phân loại dữ liệu, ...) thông qua một quá trình học từ tập các mẫu huấn luyện.
Về bản chất học chính là quá trình hiệu chỉnh trọng số liên kết giữa các nơ ron.


19

2.2.1.3 Các kiểu mô hình mạng nơ ron
Tự kết hợp (autoassociative): là mạng có các neural đầu vào cũng là các nơ ronđầu
ra. Mạng Hopfield là một kiểu mạng tự kết hợp. Hình 2.1 dưới đây là mô hình của
mạng tự kết hợp.

Output

Inputs

Hình 2.4: Mô hìnhmạng tự kết hợp

Kết hợp khác kiểu (heteroassociative): là mạng có tập nơ ronđầu vào và đầu ra riêng
biệt. Perceptron, các mạng Perceptron nhiều tầng (MLP: MultiLayer Perceptron),
mạng Kohonen, … thuộc loại này. Hình 2.5 là mô hình của mạng kết hơp khác
kiểu.

Output

Inputs


20
Hình 2.5: Mô hình mạngkết hợp kháckiểu


Ngoài ra tùy thuộc vào mạng có các kết nối ngược (feedback connections) từ các nơ
ronđầu ra tới các neural đầu vào hay không, người ta chia ra làm 2 loại kiến trúc mạng.
Kiến trúc truyền thẳng (feedforward architechture): là kiểu kiến trúc mạng
không có các kết nối ngược trở lại từ các nơ ronđầu ra về các nơ ronđầu vào; mạng
không lưu lại các giá trị output trước và các trạng thái kích hoạt của neural. Các
mạng nơ rontruyền thẳng cho phép tín hiệu di chuyển theo một đường duy nhất; từ
đầu vào tới đầu ra, đầu ra của một tầng bất kì sẽ không ảnh hưởng tới tầng đó. Các
mạng kiểu Perceptron là mạng truyền thẳng như hình 2.6.
Tầng vào

Tầng vào
Tầng vào

Hình 2.6:Mô hình mạng truyềnthẳng


21

Nơ ron vào

Nơ ron ẩn

Nơ ron ra

Hình 2.7: Mô hìnhmạng phảnhồi

Kiến trúc phản hồi (Feedback architecture): là kiểu kiến trúc mạng có các kết
nối từ nơ ron đầu ra tới neural đầu vào. Mạng lưu lại các trạng thái trước đó, và
trạng thái tiếp theo không chỉ phụ thuộc vào các tín hiệu đầu vào mà còn phụ thuộc

vào các trạng thái trước đó của mạng. Mạng Hopfield thuộc loại này. Hình 2.7 là
mô tả của mạng có kiến trúc phản hồi.

2.2.2Mạng nơ ron đa lớp truyền thẳng
Mô hình mạng nơ ronđược sử dụng rộng rãi nhất là mô hình mạng nhiều tầng
(đa lớp) truyền thẳng (MLP: Multi Layer Perceptron). Một mạng MLP tổng quát là
mạng có n (n≥2) tầng (thông thường tầng đầu vào không được tính đến): trong đó
gồm một tầng đầu ra (tầng thứ n) và (n-1) tầng ẩn. Hình 2.8 mô tả mạng nơ ron đa
lớp truyền thẳng [1][8][9].


22

Nơ ron vào

.
.
.

.
.
.

Nơ ron ẩn

...
...
...
...
...

...

.
.
.

Nơ ron ra

.
.
.

Hình 2.8: Mô hìnhmạng MLP tổng quát

Kiến trúc của một mạng MLP tổng quát có thể mô tả như sau:
 Đầu vào là các vector () trong không gian p chiều, đầu ra là các vector ())
trong không gian q chiều. Đối với các bài toán phân loại, p chính là kích
thước của mẫu đầu vào, q chính là số lớp cần phân loại. Xét ví dụ trong
bài toán nhận dạng chữ số: với mỗi mẫu ta lưu tọa độ (x,y) của 8 điểm
trên chữ số đó, và nhiệm vụ của mạng là phân loại các mẫu này vào một
trong 10 lớp tương ứng với 10 chữ số 0, 1, …, 9. Khi đó p là kích thước
mẫu và bằng 8 x 2= 16; q là số lớp và bằng 10.
 Mỗi nơ ron thuộc tầng sau liên kết với tất cả các nơ ron thuộc tầng liền
trước nó.
 Đầu ra của nơ ron tầng trước là đầu vào của nơ ron thuộc tầng liền sau
nó.
Hoạt động của mạng MLP như sau: tại tầng đầu vào các nơ ron nhận tín hiệu
vào xử lý (tính tổng trọng số, gửi tới hàm truyền) rồi cho ra kết quả (là kết quả của
hàm truyền); kết quả này sẽ được truyền tới các nơ ron thuộc tầng ẩn thứ nhất; các
nơ ron tại đây tiếp nhận như là tín hiệu đầu vào, xử lý và gửi kết quả đến tầng ẩn

thứ 2;…; quá trình tiếp tục cho đến khi các nơ ron thuộc tầng ra cho kết quả.


23

2.2.3Thuật toán mạng perceptron nhiều lớp
Mạng perceptron nhiều lớp (Multilayer Perceptron –MLP) còn được gọi là mạng
truyền thẳng nhiều lớp là sự mở rộng của mô hình mạng perceptron với sự bổ sung
thêm những lớp ẩn và các nơ-ron trong các lớp ẩn này có hàm chuyển (hàm kích
hoạt) dạng phi tuyến. Mạng MLP có một lớp ẩn là mạng nơ-ron nhân tạo được sử
dụng phổ biến nhất, nó có thể xấp xỉ các hàm liên tục được định nghĩa trên một
miền có giới hạn cũng như những hàm là tập hợp hữu hạn của các điểm rời rạc.
Thuật toán học theo phương pháp lan truyền ngược sai số
Thuật toán học theo phương pháp lan truyền ngược sai số do Rumelhart và các cộng
sự đề xuất [6] là một trong số những kết quả nghiên cứu quan trọng nhất đối với sự
phát triển của mạng nơ-ron nhân tạo. Thuật toán này được áp dụng cho mạng truyền
thẳng nhiều lớp trong đó các nơ-ron có thể sử dụng các hàm chuyển là các hàm liên
tục có các dạng khác nhau.
Thuật toán sử dụng một tập các mẫu gồm các cặp đầu vào - đầu ra để luyện
mạng. Với mỗi cặp đầu vào - đầu ra (x(k),d(k)) thuật toán lan truyền ngược sai số thực
hiện hai giai đoạn sau:
• Giai đoạn thứ nhất, mẫu đầu vào x(k) được truyền từ lớp vào tới lớp ra, và ta có kết
quả đầu ra tính toán được là y(k). Giai đoạn tiếp theo, tín hiệu lỗi được tính toán từ
sự khác nhau giữa đầu ra quan sát được d(k) với đầu ra tính toán y(k) sẽ được lan
truyền ngược lại từ lớp ra đến các lớp trước để điều chỉnh các trọng số của mạng.
Để làm ví dụ ta xét mạng truyền thẳng có một lớp ẩn dưới đây, đối với các mạng có
kích thước lớn hơn thì thao tác cũng tương tự.
Mạng nơ-ron được xét có m nơ-ron ở lớp vào, l nơ-ron trong lớp ẩn và n nơ-ron ở lớp ra.
Đường kẻ liền thể hiện luồng tín hiệu được truyền từ đầu vào tới đầu ra còn các đường kẻ
nét đứt thể hiện luồng tín hiệu lỗi được truyền ngược trở lại từ đầu ra.

Chúng ta xét một cặp đầu vào - đầu ra để luyện mạng (x,d), để đơn giản chúng ta bỏ
ký hiệu mũ k thể hiện số thứ tự của cặp mẫu này trong bộ mẫu dùng để luyện mạng.
Khi đưa vào đầu vào x, nơ-ron thứ q trong lớp ẩn sẽ nhận tín hiệu vào của mạng là:


24
(2.1)
nơ-ron q ở lớp ẩn sẽ tính toán và tạo kết quả ở đầu ra của nó là:

(2.2)
Do đó tín hiệu vào của nơ-ron thứ i trên lớp ra sẽ là:

(2.3)
Và cuối cùng, đầu ra của nơ-ron i trên lớp ra sẽ là:

(2.4)
Công thức trên cho biết quá trình lan truyền tín hiệu từ đầu vào qua lớp ẩn
tới đầu ra. Tiếp theo chúng ta xét tín hiệu lỗi được lan truyền ngược lại từ lớp ra.
Trước hết, đối với mỗi cặp giá trị vào – ra chúng ta xây dựng một hàm giá như sau:
(2.5)
Như vậy với một tập gồm p mẫu học, chúng ta lần lượt xây dựng được p hàm
giá như vậy. Việc học của mạng hay nhiệm vụ của giải thuật thực chất là tìm kiếm
tập trọng số W trong không gian RM(M là số trọng số có trong mạng) để lần lượt tối
thiểu hoá các hàm giá như vậy. Điều đáng chú ý là việc tối thiểu hoá được tiến hành
liên tiếp nhau và theo chu kỳ đối với các hàm giá.
Để tối thiểu hoá các hàm giá như vậy, giải thuật lan truyền ngược sai số sử
dụng phương pháp giảm gradient để điều chỉnh các trọng số liên kết giữa các nơron. Bản chất của phương pháp này là khi sai số E được vẽ như hàm của tham số
gây ra sai số sẽ phải có một cực tiểu tại bộ giá trị nào đó của tham số. Khi quan sát
độ dốc của đường cong, chúng ta quyết định phải thay đổi tham số thế nào để có thể
tiến gần đến cực tiểu cần tìm kiếm hơn. Trong hình vẽ dưới đây, giá trị của trọng số

phải giảm nếu đạo hàm dE/dW là dương.


25
Bằng biểu thức, chúng ta có thể biểu diễn phương pháp giảm gradient như sau:
Δw= w(new) – w(old) = -η.∂E/∂w
(2.6)
Ở đây η là hằng số dương xác định tốc độ giảm giá trị của w, còn dấu âm chỉ
chiều giảm gradient.
Áp dụng phương pháp giảm gradient đối với các trọng số liên kết giữa các
nơron trong lớp ẩn tới các nơ-ron của lớp ra ta có:

(2.7)
Do hàm sai số E là một hàm phức tạp và là hàm gián tiếp của trọng số wiq (công
thức 2.5). Sử dụng nguyên tắc tính đạo hàm của hàm gián tiếp cho ta có:

(2.8)
Trong đó δoi là tín hiệu sai số và chỉ số oi có nghĩa là nút thứ i trong trên lớp ra.
Tín hiệu sai số được tính như sau:

(2.9)
Trong đó là tín hiệu vào của nơ-ron thứ i trên lớp ra và g’() = ∂g(neti)/∂net.
Kết quả này tương tự luật học delta áp dụng cho mạng perceptron một lớp với đầu
vào bây giờ là đầu ra zqcủa lớp ẩn.
Để điều chỉnh trọng số của các liên kết giữa lớp vào tới lớp ẩn ta cũng sử
dụng phương pháp giảm gradient và lấy đạo hàm theo các biến trung gian như đã áp
ở trên. Xét liên kết giữa nơ-ron thứ j ở lớp vào và nơ-ron thứ q trên lớp ra:

(2.10)