TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI

LUẬN VĂN THẠC SĨ
Xây dựng mơ hình học sâu FGNN gợi ý
thơng tin tuyển dụng
LÊ VĂN SÂM


Ngành Công nghệ Thông tin

Giảng viên hướng dẫn:

PGS. TS. Phạm Văn Hải

Viện:

Công nghệ thông tin và Truyền thông

HÀ NỘI, 5/2021


CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM
Độc lập – Tự do – Hạnh phúc

BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ
Họ và tên tác giả luận văn: Lê Văn Sâm
Đề tài luận văn: Xây dựng mơ hình học sâu FGNN gợi ý thông tin tuyển
dụng
Chuyên ngành: Công nghệ Thông tin
Mã số SV: CB190148

Tác giả, Người hướng dẫn khoa học và Hội đồng chấm luận văn xác
nhận tác giả đã sửa chữa, bổ sung luận văn theo biên bản họp Hội đồng ngày
24/04/2021 với các nội dung sau:
1.

Giản lược nội dung Chương 2 của luận văn
- Tinh chỉnh, định dạng và lược bớt nội dung trong Chương 2: Cơ
sở lý thuyết của luận văn. Chỉnh sửa hầu hết nội dung của
Chương 2
- Không sử dụng tham chiếu khi chỉ nhắc đến tên của các mơ hình
tham khảo.

2.

Bổ sung phần thiết kế cơ sở dữ liệu trong Chương 4 của luận văn
- Bổ sung mơ tả nội dung chính trong Chương 4, tại dòng 3, 4, 5
trang 41 của luận văn.
- Bổ sung lược đồ quan hệ tổng thể của trang tin và cung cấp các
đặc tả chung về chức năng của từng bảng quan hệ trong Mục
4.1.3, trang 43, 44 của luận văn.

3.

Bổ sung nội dung mô tả việc tích hợp mơ hình FGNN vào ứng dụng
trang tin tuyển dụng, và q trình thực nghiệm thực tế của mơ hình
trong Chương 5 của luận văn
- Bổ sung mơ tả nội dung chính trong Chương 5, tại dịng 2, 3, 4,
5, 6 trang 48 của luận văn.
- Mô tả việc thu thập dữ liệu nhấp trên trang tin để xây dựng bộ dữ
liệu tin tuyển dụng cho dự đoán tỷ lệ nhấp, chi tiết thực hiện tại

Mục 5.2 trang 53 của luận văn.


-

-

Mơ tả chức năng tìm kiếm, lọc tin trên trang, đưa ra ví dụ, chi tiết
thực hiện tại Mục 5.2.1 trang 53, 54 của luận văn
Mô tả chức năng hiển thị chi tiết tin và việc đưa ra các gợi ý tin,
đưa ra ví dụ mẫu, chi tiết thực hiện tại Mục 5.2.2 trang 54, 55 của
luận văn.
Mô tả chức năng báo cáo thống kê, đưa ra ví dụ mẫu, chi tiết thực
hiện tại Mục 5.2.3 trang 56 của luận văn.

4.

Giản lược nội dung các tài liệu tham khảo
- Giản lược số lượng tài liệu tham khảo từ 165 tài liệu xuống còn
40 tài liệu.
- Giản lược từ 13 trang (từ trang 56 đến trang 69) xuống 3 trang (từ
trang 59 đến trang 61)

5.

Định dạng, căn chỉnh lại bản luận văn sau khi cập nhật các nội dung
chỉnh sửa.

Ngày 15 tháng 05 năm 2021.
Giáo viên hướng dẫn


Tác giả luận văn

PGS.TS. Phạm Văn Hải

Lê Văn Sâm

CHỦ TỊCH HỘI ĐỒNG

TS. Trần Việt Trung

Mẫu 1c


Lời cam đoan
Tôi xin cam đoan đề tài “Xây dựng mơ hình học sâu FGNN gợi ý thơng tin tuyển
dụng” là do tơi tìm hiểu, nghiên cứu và trình bày. Kiến thức trình bày trong luận
văn là sự tổng hợp của cá nhân, từ các kiến thức thầy hướng dẫn tổng hợp, từ các
nguồn tài liệu tham khảo, từ mạng internet và từ các cá nhân khác. Kết quả nghiên
cứu trong luận văn do tôi đề xuất và chưa từng cơng bố tại bất kỳ cơng trình nào.
Trong q trình làm luận văn, tơi có tham khảo các tài liệu có liên quan và đã ghi
rõ nguồn tài liệu.
Nếu sai, tơi xin chịu mọi hình thức kỷ luật theo quy định.

Hà Nội, ngày 15 tháng 05 năm 2021
Học viên

Lê Văn Sâm



Lời cảm ơn
Trong q trình nghiên cứu và hồn thiện luận văn tốt nghiệp, tôi đã nhận được
nhiều sự quan tâm, giúp đỡ từ q thầy cơ, gia đình và bạn bè.
Trước tiên, tôi xin chân thành cảm ơn các thầy, các cô ở viện Công nghệ thông tin
và Truyền thông - Trường Đại học Bách Khoa Hà Nội đã tận tình giảng dạy trong
thời gian tơi học tập ở trường.
Tơi xin bày tỏ lịng biết ơn sâu sắc tới PGS. TS. Phạm Văn Hải, thầy đã trực tiếp
hướng dẫn, và tận tình chỉ bảo tơi tìm ra hướng nghiên cứu, tiếp cận thực tế để tơi
có thể hồn thiện luận văn tốt nghiệp của mình.
Cuối cùng, tơi xin cảm ơn gia đình và bạn bè đã ln ủng hộ, giúp đỡ tôi trong thời
gian học tập, nghiên cứu và thực hiện luận văn tốt nghiệp.
Mặc dù đã cố gắng hồn thiện luận văn tốt nghiệp, nhưng chắc chắn khơng tránh
khỏi những sai sót. Vì vậy, tơi rất hoan ngênh và chân thành cảm ơn các ý kiến
đóng góp của q thầy cơ và bạn đọc.
Tóm tắt nội dung luận văn
Các nghiên cứu gần đây về gợi ý việc làm dựa trên học máy thường tập trung vào
phân tích nội dung trong hồ sơ người lao động, hành vi người dùng trong hệ thống
và mô tả của tin tuyển dụng. Việc đưa ra được các gợi ý tin việc làm phù hợp phụ
thuộc hồn tồn vào các thơng tin này. Luận văn “Xây dựng mơ hình học sâu
FGNN gợi ý thơng tin tuyển dụng” được thực hiện với mục đích giải quyết vấn đề
trên. Mơ hình FGNN được xây dựng với nhiệm vụ mơ hình hóa các tương tác đặc
trưng của tin tuyển dụng, và đưa ra dự đoán tỷ lệ nhấp, dựa vào đó để gợi ý tin có
độ phù hợp cao với nhu cầu và khả năng của người dùng, việc gợi ý hồn tồn
khơng u cầu thơng tin về hồ sơ người dùng. Tiếp đó, xây dựng một trang tin tự
động tổng hợp tin tuyển dụng, với hạt nhân là mơ hình FGNN gợi ý tin, đồng thời
cung cấp báo cáo thống kê về tin việc làm.
Mô hình FGNN được xây dựng trên ngơn ngữ lập trình Python, sử dụng thư viện
TensorFlow, được cài đặt và sử dụng như một dịch vụ. Trang tin tuyển dụng được
xây dựng trên nền tảng ASP.NET Core, có chức năng tự động tổng hợp các tin từ
một số trang tin việc làm uy tín, chức năng báo cáo thống kê và chức năng gợi ý

tin thông qua việc sử dụng kết quả gợi ý từ mơ hình FGNN. Thực nghiệm mơ hình
với hai bộ dữ liệu đánh giá là Avazu và Criteo, cùng với hai phương pháp đánh giá
AUC và Logloss, mơ hình đề xuất FGNN cho thấy kết quả tốt hơn so với các mơ
hình tiên tiến được đề xuất gần đây như LR, FM, AFM, DeepCross, NFM, DCN,
xDeepFM và Fi-GNN.
HỌC VIÊN
Ký và ghi rõ họ tên

Lê Văn Sâm


MỤC LỤC
DANH MỤC THUẬT NGỮ ............................................................................. viii
DANH MỤC HÌNH ẢNH ................................................................................... xi
DANH MỤC BẢNG BIỂU ................................................................................ xii
CHƯƠNG 1. GIỚI THIỆU ................................................................................. 1
1.1

Lý do chọn đề tài ........................................................................................ 1

1.2

Tính cấp thiết của đề tài ............................................................................. 1

1.3

Mục đích nghiên cứu .................................................................................. 3

1.4


Đối tượng và phạm vi nghiên cứu .............................................................. 3

1.5

Ý nghĩa khoa học và thực tiễn.................................................................... 3

1.6

Nội dung của luận văn ............................................................................... 4

CHƯƠNG 2. CƠ SỞ LÝ THUYẾT.................................................................... 5
2.1

2.2

2.3

Cơ bản về mạng nơ ron .............................................................................. 5
2.1.1

Nơ ron thần kinh ......................................................................... 5

2.1.2

Mạng nơ ron nhân tạo ................................................................. 5

Đồ thị mạng nơ ron .................................................................................... 7
2.2.1

Đồ thị mạng nơ ron là gì ............................................................. 7


2.2.2

Các biến thể của đồ thị mạng nơ ron .......................................... 8

2.2.3

Các ứng dụng của đồ thị mạng nơ ron ...................................... 19

2.2.4

Một số vấn đề mở...................................................................... 28

Dự đoán CTR qua tương tác đặc trưng .................................................... 29
2.3.1

Nhúng đặc trưng........................................................................ 29

2.3.2

Tương tác đặc trưng .................................................................. 29

2.3.3

Xác định hàm mất mát .............................................................. 30

2.4

Đồ thị mạng nơ ron cho dự đoán CTR ..................................................... 30


2.5

Tổng kết chương ...................................................................................... 31

CHƯƠNG 3. MƠ HÌNH HỌC SÂU FGNN GỢI Ý TIN TUYỂN DỤNG .... 32
3.1

Tổng quan................................................................................................. 32

3.2

Lớp nhúng ................................................................................................ 33

3.3

Lớp tự chú ý nhiều đầu ............................................................................ 33

3.4

Lớp FGNN ............................................................................................... 34
3.4.1

Đồ thị đặc trưng ........................................................................ 34


3.5

3.4.2

Mơ hình FGNN ......................................................................... 34


3.4.3

Lớp tính điểm chú ý .................................................................. 37

3.4.4

Huấn luyện ................................................................................ 37

Phân tích mơ hình..................................................................................... 37
3.5.1

So sánh với các mơ hình CTR trước đây .................................. 37

3.5.2

So sánh với các mơ hình GNN trước đây ................................. 38

3.6

Mơ hình đề xuất FGNN gợi ý tin tuyển dụng .......................................... 38

3.7

Tổng kết chương ...................................................................................... 41

CHƯƠNG 4. ỨNG DỤNG MƠ HÌNH HỌC SÂU FGNN: CASE STUDY GỢI
Ý TIN TRÊN TRANG TIN TUYỂN DỤNG ................................................... 42
4.1


4.2

4.3

Kiến trúc hệ thống .................................................................................... 42
4.1.1

Phân tích, đặc tả chức năng nghiệp vụ ...................................... 42

4.1.2

Thiết kế hệ thống....................................................................... 42

4.1.3

Thiết kế cơ sở dữ liệu ................................................................ 44

Mô tả trang tổng hợp tin tuyển dụng ........................................................ 45
4.2.1

Trang chủ .................................................................................. 45

4.2.2

Trang tìm việc ........................................................................... 46

4.2.3

Trang thống kê .......................................................................... 47


Tổng kết chương ...................................................................................... 48

CHƯƠNG 5. THỰC NGHIỆM ........................................................................ 49
5.1

5.2

5.3

Thực nghiệm trên bộ dữ liệu đánh giá Avazu và Criteo .......................... 49
5.1.1

Cài đặt thử nghiệm .................................................................... 49

5.1.2

So sánh mơ hình ........................................................................ 53

Tích hợp mơ hình học sâu FGNN vào trang tin tuyển dụng .................... 54
5.2.1

Trang danh sách tin việc làm .................................................... 54

5.2.2

Trang hiển thị chi tiết tin việc làm ............................................ 55

5.2.3

Trang báo cáo thống kê ............................................................. 57


Tổng kết chương ...................................................................................... 57

CHƯƠNG 6. KẾT LUẬN .................................................................................. 58
6.1

Kết quả đạt được ...................................................................................... 58

6.2

Định hướng phát triển .............................................................................. 58

TÀI LIỆU THAM KHẢO ................................................................................. 60
PHỤ LỤC ............................................................................................................ 63


DANH MỤC THUẬT NGỮ
TT

Viết tắt

Dạng đầy đủ

Diễn giải

1

AI

Artificial Intelligence


Trí tuệ nhân tạo

2

CMCN 4.0

Cách mạng công nghiệp 4.0

3

FGNN

Feature Interactions with Tương tác tính năng qua đồ
Graph Neural Network
thị mạng nơ ron

4

CTR

Click-Through Rate

Tỷ lệ nhấp

5

FM

Factorization Machine


Máy hệ số hóa

6

FFM

Field-aware
Machine

7

PITF

Pairwise Interaction Tensor
Máy tenxơ tương tác cặp
Factorization

8

DNN

Deep Neural Network

Mạng nơ ron sâu

9

NFM


Neural
Machine

Máy hệ số hóa nơ ron

10

DCN

Deep & Cross Network

Mạng sâu & chéo

11

CIN

Compressed
Network

Mạng tương tác nén

12

GNN

Graph Neural Network

Đồ thị mạng nơ ron


13

RNN

Recurrent Neural Network

Mạng nơ ron hồi quy

14

LSTM

Long Short-Term Memory

Bộ nhớ dài-ngắn hạn

15

GRU

Gated Recurrent Unit

Nút hồi quy cổng

16

DGP

Dense Graph Propagation


Lan truyền đồ thị dày đặc

17

HAN

Heterogeneous-Graph
Attention Network

Mạng đồ thị chú ý không
đồng nhất

18

G2S

Graph-to-Sequence

Đồ thị thành chuỗi

19

r-GCN

Relational
Graph Mạng đồ thị quan hệ tích
Convolutional Network
chập

20


DCRNN

Diffusion
Convolutional Mạng nơ ron tích chập hồi
Recurrent Neural Network quy khuếch tán

21

STGCN

Spatio-Temporal
Graph Đồ thị tích chập Khơng gianConvolutional Networks
Thời gian

22

Seq2seq

Sequence to Sequence

Chuỗi thành chuỗi

23

CNN

Convolutional
Network


Mạng nơ ron tích chập

24

S-RNN

Structural Recurrent Neural Mạng nơ ron hồi quy có cấu
Network
trúc

25

ST-GCN

Spatial-Temporal
Graph Đồ thị tích chập Khơng gianConvolutional Network
Thời gian*

Factorization Máy hệ số hóa nhận biết
trường

Factorization

Interaction

Neural


26


GAT

Graph Attention Networks

Đồ thị mạng chú ý

27

GGNN

Gated
Graph
Networks

Đồ thị mạng nơ ron cổng

28

AGCN

Adaptive
Graph Đồ thị mạng tích chập thích
Convolution Network
ứng

29

GGP

Graph Gaussian Processes


Đồ thị quy trình Gaussian

30

DCNN

Diffusion-Convolutional
Neural Network

Mạng nơ ron khuếch tán-hội
tụ

31

DGCN

Dual Graph Convolutional Đồ thị mạng nơ ron tích chập
Network
kép

32

PPMI

Positive Pointwise Mutual Thông tin tương hỗ theo
Information
điểm dương

33


GCNN

Geodesic
Convolutional Mạng nơ ron tích chập trắc
Neural Network
địa

34

ACNN

Anisotropic Convolutional Mạng nơ ron tích chập dị
Neural Network
hướng

35

SACNN

Structure-Aware
Convolutional
Network

36

S-LSTM

Sentence LSTM


LSTM câu

37

JKN

Jump Knowledge Network

Mạng tri thức nhảy

38

VGAE

Variational Graph Auto- Trình mã hóa tự động đồ thị
Encoder
biến thiên

39

ARGA

Adversarially Regularized Trình mã hóa tự động đồ thì
Graph Auto-encoder
phân hóa đối nghịch

40

GAN


Generative
Network

41

OOKB

Out-Of-Knowledge-Base

Ngoài cơ sở tri thức

42

KBC

Knowledge
Completion

Base

Hoàn thiện cơ sở tri thức

43

VQA

Visual
Answearing

Question


44

RoI

Regions of Interest

45

NMT

Neural Machine Translation Dịch máy thần kinh

46

DAG

Directed Acyclic Graph

47

JMEE

Jointly Multiple
Extraction

48

ARM


Abstract
Representation

49

RL

Reinforcement Learning

Neural

Neural

Adversarial

Mạng nơ ron tích chập nhận
biết cấu trúc

Mạng đối kháng tự sinh

Trả lời câu hỏi trực quan
Khu vực quan tâm
Đồ thị Acyclic có hướng

Events Khai thác nhiều sự kiện
chung
Meaning

Trình bày ý nghĩa trừu tượng
Học tăng cường



GCPN

Graph Convolutional Policy Đồ thị mạng chính sách tích
Network
chập

51

NP-hard

(Nondeterministic
Polynomial time)-hard

52

TSP

Traveling
Problem

53

MST

Minimum Spanning Trees

Bao trùm tối thiểu


54

QAP

Quadric
Problem

Bài toán gán bậc hai

55

LINE

Large-scale
Information Mạng nhúng thông tin quy
Network Embedding
mô lớn

56

NLP

Natural
Processing

57

SaaS

Software as a Service


Phần mềm như một dịch vụ

58

GSNN

Graph
Search
Network

Đồ thị mạng nơ ron tìm kiếm

59

ML-ZSL

Multi-Label
Learning

60

SPG

Superpoint Graph

50

Các bài tốn khó về (thuật
tốn bất định trong thời gian

đa thức)

Salesman Bài toán nhân viên bán hàng
di chuyển
Assigment

Language

Neural
Zero-Shot

Xử lý ngôn ngữ tự nhiên

Học Zero-Shot đa nhãn
Đồ thị siêu điểm


DANH MỤC HÌNH ẢNH
Hình 2.1: Nơ ron thần kinh sinh học [23] .............................................................. 5
Hình 2.2: Một mạng nơ ron đơn giản [23] ............................................................. 6
Hình 2.3: Loại đồ thị [24] ...................................................................................... 9
Hình 2.4: Loại lan truyền [24] ............................................................................. 10
Hình 2.5: Phương pháp huấn luyện [24] .............................................................. 17
Hình 2.6: Biểu diễn đồ thị các đối tượng vật lý [24] ........................................... 21
Hình 2.7: Biểu diễn phân tử trong đồ thị [24] ...................................................... 21
Hình 2.8: Biểu diễn hình ảnh trong đồ thị [24] .................................................... 23
Hình 2.9: Biểu diễn văn bản trong đồ thị [24] ..................................................... 24
Hình 2.10: Biểu diễn mạng xã hội trong đồ thị [24] ............................................ 26
Hình 2.11: Mơ hình tự sinh [24] .......................................................................... 27
Hình 3.1: Mơ hình đề xuất FGNN gợi ý tin tuyển dụng ...................................... 32

Hình 3.2: Chi tiết mơ hình FGNN........................................................................ 35
Hình 4.1: Kiến trúc hệ thống ................................................................................ 43
Hình 4.2: Hoạt động tổng hợp tin tự động ........................................................... 43
Hình 4.3: Lược đồ quan hệ tổng thể của trang tin ............................................... 44
Hình 4.4: Mẫu thiết kế - Trang chủ ...................................................................... 45
Hình 4.5: Mẫu thiết kế - Thông tin công ty ......................................................... 46
Hình 4.6: Mẫu thiết kế - Trang tìm việc .............................................................. 47
Hình 4.7: Mẫu thiết kế - Trang thống kê.............................................................. 47
Hình 5.1: AUC [17].............................................................................................. 51
Hình 5.2: Dự đốn theo thứ tự tăng dần với hồi quy logistic [17] ....................... 51
Hình 5.3: Đồ thị hàm chi phí [18] ........................................................................ 52
Hình 5.4: Trang danh sách tin việc làm ............................................................... 55
Hình 5.5: Trang chi tiết một tin việc làm với các gợi ý tin đề xuất ..................... 56
Hình 5.6: Biểu đồ các vị trí tuyển dụng trong tháng ............................................ 57
Hình 5.7: Biểu đồ các chỉ tiêu tuyển dụng trong tháng ....................................... 57


DANH MỤC BẢNG BIỂU
Bảng 1.1: Kết quả thực nghiệm trên 2 bộ dữ liệu Avazu và Criteo ....................... 3
Bảng 2.1: Sự khác nhau của các biến thể đồ thị mạng nơ ron [24] ..................... 10
Bảng 2.2: Ứng dụng của đồ thị mạng nơ ron [24] ............................................... 19
Bảng 3.1: Thống kê các trường trong bộ dữ liệu tin tuyển dụng ......................... 39
Bảng 3.2: Các tham số huấn luyện của mơ hình FGNN ...................................... 40
Bảng 5.1: Số liệu thống kê 2 bộ dữ liệu đánh giá Avazu và Criteo ..................... 49
Bảng 5.2: Mô tả các trường trong bộ dữ liệu Avazu ........................................... 49
Bảng 5.3: Mô tả các trường trong bộ dữ liệu Criteo ............................................ 50
Bảng 5.4: Các tham số cấu hình huấn luyện Avazu và Criteo ............................. 52
Bảng 5.5: Bảng so sánh kết quả thực nghiệm các mơ hình ................................. 54



CHƯƠNG 1. GIỚI THIỆU
1.1 Lý do chọn đề tài
Trí tuệ nhân tạo hay AI là một nhánh của khoa học máy tính với mục tiêu là
tạo ra các thiết bị và các hệ thống thơng minh, chúng có khả năng thực hiện các
nhiệm vụ phức tạp thường địi hỏi trí thông minh của con người, nhưng theo cách
tương đương hoặc vượt khả năng của con người. Với sự phát triển mạnh mẽ của
cuộc cách mạng công nghiệp 4.0 (CMCN 4.0), ngày nay việc ứng dụng trí tuệ nhân
tạo đã trở nên phổ biến, AI được áp dụng vào các lĩnh vực trong đời sống xã hội
nhiều hơn như kinh doanh, tài chính, y tế, giáo dục… Đúng như phát biểu chỉ đạo
của Phó Thủ tướng Vũ Đức Đam tại Ngày hội Trí tuệ nhân tạo Việt Nam 2019:
“AI khơng cịn là câu chuyện khoa học mà là vấn đề kinh tế - xã hội để đưa Việt
Nam phát triển” [1].
Thị trường lao động ở nước ta những năm gần đây khá sôi nổi do nhu cầu
việc và nhu cầu tuyển dụng đều ở ngưỡng cao: nhiều người lao động không tìm
được việc làm phù hợp, trong khi các doanh nghiệp cũng khó tuyển dụng được đủ
số lao động cần thiết. Giải quyết nhu cầu việc làm và nhu cầu tuyển dụng là thách
thức rất lớn, đặc biệt là trong cuộc CMCN 4.0 hiện nay. Các nghiên cứu gần đây
về gợi ý việc làm dựa trên học máy thường tập trung vào phân tích nội dung trong
hồ sơ người lao động và mô tả của tin tuyển dụng như: hệ gợi ý việc làm được cá
nhân hóa trên LinkedIn [2], hệ gợi ý việc làm dựa trên kỹ thuật học máy và khai
phá dữ liệu [3], gợi ý việc làm dựa trên học máy với lịch sử chuyển việc [4] và gợi
ý việc làm dựa trên kỹ năng ứng viên [5]. Hướng nghiên cứu được trình bày trong
[6] địi hỏi phải xây dựng một đồ thị gồm các tin việc làm được kết nối bởi nhiều
cạnh dựa trên nội dung tin và hành vi người dùng trong hệ thống. Nhìn chung, các
hướng nghiên cứu này đều địi hỏi phải có thơng tin về hồ sơ hay hành vi người
dùng cụ thể trong hệ thống mới có thể đưa ra được các gợi ý về việc làm.
Luận văn “Xây dựng mơ hình học sâu FGNN gợi ý thông tin tuyển dụng”
được thực hiện với mục đích giải quyết vấn đề đó. Mơ hình học sâu FGNN được
xây dựng với nhiệm vụ mơ hình hóa các tương tác đặc trưng của tin tuyển dụng,
đưa ra dự đoán tỷ lệ nhấp (CTR), và dựa vào đó để gợi ý các tin tuyển dụng có độ

phù hợp cao với nhu cầu và khả năng của người dùng, việc gợi ý hồn tồn khơng
u cầu thơng tin về hồ sơ người dùng. Tiếp đó, xây dựng một website tổng hợp
tin tuyển dụng tự động, với hạt nhân là mơ hình FGNN để gợi ý tin và đồng thời
cung cấp các báo cáo thống kê về tin tuyển dụng. Chức năng tổng hợp tin tuyển
dụng tự động giúp người lao động có nhiều cơ hội việc làm hơn, lựa chọn việc làm
cũng thuận tiện hơn. Chức năng gợi ý tin tuyển dụng giúp người dùng dễ dàng tìm
được các tin phù hợp với nguyện vọng và khả năng. Chức năng báo cáo thống kê
cho phép theo dõi xu hướng việc làm của thị trường, giúp cá nhân và tổ chức đưa
ra các quyết định chiến lược cho nhu cầu tìm việc cũng như tuyển dụng lao động.
1.2 Tính cấp thiết của đề tài

1


Tỷ lệ nhấp (CTR) là hệ số thể hiện tần suất nội dung trên trang web được mọi
người nhìn thấy và nhấp chuột vào đó. Với tin tuyển dụng, CTR thường cung cấp
thông tin về chất lượng của việc đặt tên tiêu đề tin, CTR cao thường ứng với tiêu
đề có mức lương và vị trí hấp dẫn, cịn CTR thấp thường do cách lựa chọn từ, viết
tắt trong tiêu đề của tin. Sử dụng dự đoán CTR trong việc đưa ra gợi ý tin tuyển
dụng là một hướng đi mới chưa được thực hiện. Hơn nữa, để đưa ra một dự đốn
CTR chính xác, việc mơ hình hóa các các tương tác tinh vi của các trường tính
năng khác nhau là đặc biệt quan trọng. Thông thường trong dự đốn CTR, các
trường tính năng thường được chuyển sang tập hợp rời rạc các véc tơ mã hóa onehot, sau đó được gắn vào tập hợp dày đặc các véc tơ giá trị thực để mơ hình hóa
các tương tác đặc trưng.
Factorization Machine (FM) [7] là một mơ hình học có giám sát nổi tiếng, sử
dụng các tích trong để mơ hình hóa các tương tác bậc-hai của các tính năng và thể
hiện thành tập véc tơ đặc trưng. Field-aware Factorization Machine (FFM) [8], có
nguồn gốc từ một biến thể của FM là Pairwise Interaction Tensor Factorization
(PITF) [9], nghiên cứu các trường tính năng sâu hơn và giới thiệu phương pháp
nhúng nhận biết trường. Tuy nhiên các mơ hình FM này chỉ có thể mơ hình hóa

các tương tác bậc-hai và khả năng biểu diễn bị giới hạn bởi việc mơ hình hóa tuyến
tính. Gần đây đã có nhiều mơ hình học sâu được đề xuất để học các tương tác bậccao, chúng đều tn theo một mơ hình chung: đầu tiên, các đặc trưng đa trường ở
dạng thô và rời rạc được ánh xạ vào tập dày đặc các véc tơ nhúng trường; sau đó,
được ghép lại để đưa vào các mạng nơ ron sâu (DNN) hoặc các mạng thiết kết đặc
biệt khác để học các tương tác đặc trưng bậc-cao. Ví dụ các mơ hình như Neural
Factorization Machine (NFM) [10], Wide & Deep [11] và DeepFM [12] đều sử
dụng DNN cho việc mơ hình hóa các tương tác. Tuy nhiên cách học các tương tác
đặc trưng bậc-cao này khơng rõ ràng và thiếu các giải thích tốt về mơ hình. Một số
mơ hình đề xuất các mạng thiết kế đặc biệt để học các tương tác bậc-cao một cách
rõ ràng như Deep & Cross Network (DCN) [13] và Compressed Interaction
Network (CIN) [14]. Mặc dù các mơ hình được nhắc tới đều tiên tiến, tuy nhiên
chúng đều cần một sự kết nối của các trường tính năng để mơ hình hóa các tương
tác. Để việc mơ hình hóa linh hoạt và rõ ràng với các tính năng phức tạp hơn, ta
cần phải có một sự kết hợp phức tạp và có cấu trúc tốt hơn.
Trong luận văn, mơ hình FGNN đã được đề xuất để giải quyết vấn đề này.
Đây là một mơ hình học sâu xây dựng cho dự đoán CTR, dựa trên đồ thị mạng nơ
ron để mơ hình hóa các tương tác đặc trưng. Bằng cách biểu diễn các đặc trưng đa
trường trong cấu trúc đồ thị: mỗi nút ứng với một trường đặc trưng, và nút tương
tác với nhau qua cạnh, việc mơ hình hóa tương tác đặc trưng được chuyển đổi
thành việc mơ hình hóa tương tác nút trên đồ thị. Trong mơ hình đề xuất: Ban đầu,
các đặc trưng đa trường ở dạng thô và rời rạc được ánh xạ vào tập dày đặc véc tơ
nhúng trường và được biểu diễn thành một đồ thị đặc trưng; tiếp đó, đồ thị đặc
trưng được đưa vào mơ hình đề xuất FGNN để mơ hình hóa các tương tác nút; và
cuối cùng, sử dụng lớp tính điểm chú ý ở đầu ra của FGNN để tính giá trị CTR.
Bằng sức mạnh biểu diễn của đồ thị, mơ hình đề xuất khơng chỉ mơ hình hóa các
tương tác đặc trưng linh hoạt mà cịn giải thích mơ hình cho dự đốn CTR rõ ràng.
2


1.3 Mục đích nghiên cứu

Mục đích nghiên cứu là xây dựng mơ hình học sâu FGNN cho dự đốn CTR,
sau đó xây dựng website tổng hợp tin tuyển dụng tự động, với hạt nhân là mơ hình
đề xuất để gợi ý tin và đồng thời cung cấp các báo cáo thống kê về tin tuyển dụng
cho người dùng.
Với mơ hình đề xuất FGNN, thực nghiệm với hai bộ dữ liệu đánh giá là
Avazu [15] và Criteo [16], cùng với hai phương pháp đánh giá AUC [17] và
Logloss [18], cho thấy kết quả mơ hình đề xuất tốt hơn các mơ hình tiên tiến được
đề xuất gần đây như LR [19], FM [7], AFM [20], DeepCross [21], NFM [10], DCN
[13], xDeepFM [14] và Fi-GNN [22].
Bảng 1.1: Kết quả thực nghiệm trên 2 bộ dữ liệu Avazu và Criteo

Model

Avazu
AUC

Logloss

Criteo
AUC

Logloss

LR [19]

0.7494 0.3996 0.7826 0.4682

FM [7]

0.7638 0.3887 0.7842 0.4687


AFM [20]

0.7650 0.3885 0.7944 0.4572

DeepCross [21]

0.7576 0.3921 0.8015 0.4501

NFM [10]

0.7640 0.3895 0.7963 0.4550

DCN [13]
xDeepFM [14]
Fi-GNN [22]
FGNN [đề xuất]

0.7600
0.7690
0.7694
0.7744

0.3899
0.3860
0.3856
0.3839

0.7913
0.8015

0.8038
0.8056

0.4579
0.4505
0.4472
0.4457

Với việc xây dựng website tổng hợp tin tuyển dụng tự động, sử dụng hạt nhân
là mơ hình FGNN để gợi ý tin và cung cấp các báo cáo thống kê về tin tuyển dụng.
1.4 Đối tượng và phạm vi nghiên cứu
Luận văn tập trung vào nghiên cứu việc mơ hình hóa các tương tác đặc trưng
giữa các trường dữ liệu thơng qua cấu trúc đồ thị, sau đó tập trung vào dữ liệu tin
tuyển dụng để áp dụng mơ hình và xây dựng ứng dụng thực tiễn.
1.5 Ý nghĩa khoa học và thực tiễn
Về ý nghĩa khoa học, luận văn đã đề xuất được mơ hình học sâu mới FGNN,
cho phép mơ hình hóa các tương tác phức tạp giữa các trường tính năng trên cấu
trúc đồ thị theo cách linh hoạt và rõ ràng. Thực nghiệm mô hình với hai bộ dữ liệu
đánh giá Avazu và Criteo cho thấy kết quả tốt hơn các mơ hình tiên tiến được đề
xuất gần đây. Mơ hình FGNN có thể được sử dụng để làm tham chiếu cho các
nghiên cứu theo hướng này.

3


Về ý nghĩa thực tiễn, luận văn đã xây dựng được website tổng hợp tin tuyển
dụng tự động, có chức năng gợi ý tin tuyển dụng sử dụng mơ hình FGNN và cung
cấp các báo cáo thống kê về tin tuyển dụng.
1.6 Nội dung của luận văn
Luận văn được chia thành 6 chương chính như sau:

Chương 1: Giới thiệu
Từ nhu cầu giải quyết bài toán việc làm, xây dựng một trang tin tuyển dụng
có chức năng tự động tổng hợp tin, chức năng gợi ý tin tuyển dụng bằng mô hình
học sâu theo hướng nghiên cứu mới và chức năng báo cáo thống kê tin tuyển dụng.
Chương 2: Cơ sở lý thuyết
Tìm hiểu cơ sở lý thuyết, các cơng trình nghiên cứu gần đây để đề xuất hướng
nghiên cứu và xây dựng mơ hình học sâu FGNN mới.
Chương 3: Mơ hình học sâu FGNN gợi ý tin tuyển dụng
Trình bày tổng quan và chi tiết về các lớp trong mô hình học sâu FGNN.
Đồng thời trình bày về chỉnh sửa tùy biến mơ hình cho miền dữ liệu tin tuyển dụng.
Chương 4: Ứng dụng mơ hình học sâu FGNN: Case study gợi ý tin trên trang
tin tuyển dụng.
Trình bày kiến trúc thiết kế tổng thể, thiết kế cơ sở dữ liệu, các biểu đồ phân
tích thiết kế hệ thống và cách thức tích hợp mơ hình FGNN vào hệ thống.
Chương 5: Thực nghiệm
Trình bày cách thức thực nghiệm, kết quả thực nghiệm mơ hình FGNN và
các mơ hình tiên tiến được đề xuất gần đây trên hai bộ dữ liệu Avazu và Criteo,
sau đó so sánh và đánh giá sự vượt trội của mơ hình FGNN so với các mơ hình
trước đây. Tiếp đó trình bày việc việc ứng dụng và tích hợp mơ hình FGNN vào
gợi ý tin trên trang tin tuyển dụng.
Chương 6: Kết luận
Nêu ra các ưu nhược điểm của hệ thống hiện tại và định hướng phát triển
trong tương lai
Tài liệu tham khảo
Phụ lục

4


CHƯƠNG 2. CƠ SỞ LÝ THUYẾT

2.1 Cơ bản về mạng nơ ron
Phần này sẽ giới thiệu về mạng nơ ron nhân tạo: đặc trưng, cơ chế hoạt động.
Các định nghĩa, ví dụ và hình ảnh đều được trích dẫn từ tài liệu tham khảo [23].
2.1.1

Nơ ron thần kinh

Hình 2.1: Nơ ron thần kinh sinh học [23]

Nơ ron là tế bào thần kinh có khả năng cảm ứng, phát sinh xung thần kinh và
dẫn truyền xung điện này. Đây là đơn vị cơ bản cấu tạo hệ thần kinh của hầu hết
các loài động vật và là thành phần quan trọng bậc nhất của não, chức năng cơ bản
của chúng là liên kết với nhau để tạo nên hệ thống thần kinh trong cơ thể sống.
Các nhà khoa học ước tính, ngay từ khi sinh ra, bộ não con người đã có khoảng
100 tỷ nơ ron.
Cấu tạo của một nơ ron được thể hiện như Hình 2.1, gồm có 3 thành phần
chính: sợi nhánh (dendrite), thân nơ ron (soma) và sợi trục (axon)
- Sợi nhánh (dendrite): là các dây thần kinh nhận tín hiệu từ những nơ ron
khác. Các tín hiệu này là các xung thần kinh được chuyển qua khe hở tiếp
hợp (synaptic gap) thơng qua các q trình hóa học.
- Thân nơ ron (hay nhân nơ ron – soma) có nhiệm vụ tổng hợp các tín hiệu
nhận được thành một tín hiệu để truyền tới sợi trục.
- Sợi trục (soma) được phân nhánh và nối với sợi nhánh của các nơ ron khác
thông qua khe hở tiếp hợp.
2.1.2 Mạng nơ ron nhân tạo
Mạng nơ ron nhân tạo hay mạng nơ ron là một hệ thống xử lý thông tin được
phát triển như là sự khái qt hóa các mơ hình tốn học về nhận thức của con người
hoặc sinh học thần kinh, với các giả định:
1. Nơ ron là các phần tử thực hiện nhiệm vụ xử lý thông tin.
2. Tín hiệu trao đổi giữa các nơ ron được truyền qua các liên kết kết nối.

3. Mỗi liên kết có một trọng số tương ứng, trong một mạng nơ ron điển hình,
giá trị này sẽ được nhân với tín hiệu truyền đi.
4. Mỗi nơ ron sử dụng một hàm kích hoạt cho các tín hiệu đầu vào (đã lấy tỉ
lệ theo trọng số) để xác định đầu ra.
5


Mạng nơ ron có ba đặc trưng: Kiến trúc mạng (cịn gọi là mơ hình kết nối),
q trình huấn luyện (cịn gọi là việc học, thuật tốn, là phương pháp xác định bộ
trọng số của các kết nối), và hàm kích hoạt.
Mạng nơ ron bao gồm số lượng lớn các phần tử xử lý đơn giản được gọi là
nơ ron, đơn vị, tế bào hay nút; chúng được kết nối thơng qua các đường dẫn giao
tiếp có hướng và có trọng số. Các mạng được ứng dụng để giải quyết rất nhiều vấn
đề như lưu trữ và truy xuất dữ liệu, các mẫu để đưa ra được các khuôn mẫu, gộp
nhóm các mẫu tương đồng, hoặc tìm ra các giải pháp để giải quyết các vấn đề tối
ưu hóa bị hạn chế.
Mỗi nơ ron có một trạng thái nội bộ được gọi là mức độ kích hoạt, đây là một
hàm tính các đầu vào mà nó nhận được. Thơng thường, một nơ ron sẽ gửi mức
kích hoạt của nó dưới dạng tín hiệu đến một số nơ ron khác. Lưu ý rằng, tại một
thời điểm, một nơ ron chỉ có thể gửi đi một tín hiệu, dù tín hiệu đó được truyền tới
nhiều nơ ron khác.

Hình 2.2: Một mạng nơ ron đơn giản [23]

Giả sử ta có một mạng nơ ron đơn giản, thể hiện ở Hình 2.2 như sau: một nơ
ron 𝑌 nhận tín hiệu từ các nơ ron 𝑋1 , 𝑋2 và 𝑋3 với các mức kích hoạt (tín hiệu đầu
ra) tương ứng là 𝑥1 , 𝑥2 và 𝑥3 ; trọng số các kết nối của các nơ ron 𝑋1 , 𝑋2 và 𝑋3 tới
𝑌 lần lượt là là 𝑤1 , 𝑤2 và 𝑤3 . Đầu vào mạng của 𝑌 sẽ là tổng của các tín hiệu có
trọng số từ các nơ ron 𝑋1 , 𝑋2 và 𝑋3 ; được tính theo cơng thức:
𝑦𝑖𝑛 = 𝑤1 𝑥1 + 𝑤2 𝑥2 + 𝑤3 𝑥3


PT 2.1

Mức kích hoạt 𝑦 của nơ ron 𝑌 được tính bằng một số hàm đầu vào của mạng
𝑦 = 𝑓(𝑦𝑖𝑛 ), ví dụ sử dụng hàm sigmoid:
1
PT 2.2
1 + 𝑒 −𝑥
Đầu ra của được kết nối với các nơ ron 𝑍1 và 𝑍2 , với trọng số tương ứng 𝑣1 ,
𝑣2 ; nơ ron 𝑌 sẽ gửi tín hiệu 𝑦 tới các đơn vị này. Tuy nhiên, giá trị nơ ron 𝑍1 và 𝑍2
nhận được sẽ khác nhau, bởi vì tín hiệu được lấy tỉ lệ theo trọng số tương ứng là
𝑣1 và 𝑣2 . Trong một mạng cơ bản, mức kích hoạt 𝑧1 và 𝑧2 của nơ ron 𝑍1 và 𝑍2 có
thể phụ thuộc vào nhiều nơ ron đầu vào, chứ không chỉ một nơ ron 𝑌.
𝑓 (𝑥 ) =

6


2.2 Đồ thị mạng nơ ron
Phần này sẽ giới thiệu về đồ thị mạng nơ ron: các khái niệm, các biến thể và
ứng dụng của của đồ thị mạng nơ ron. Các định nghĩa, ví dụ và hình ảnh đều được
trích dẫn từ tài liệu tham khảo [24].
2.2.1

Đồ thị mạng nơ ron là gì

Đồ thị là một cấu trúc dữ liệu dùng để biểu diễn đối tượng và mối quan hệ
giữa chúng thông qua các nút và các cạnh. Việc phân tích đồ thị bằng học máy
ngày càng được nghiên cứu rộng rãi nhờ sức mạnh biểu diễn của đồ thị. Đồ thị có
thể được ứng dụng vào nhiều lĩnh vực như: mạng xã hội, các hệ thống vật lý, mạng

tương tác protein-protein, đồ thị tri thức và nhiều lĩnh vực nghiên cứu khác. Đồ thị
mạng nơ ron (GNN) là phương pháp dựa trên học sâu hoạt động trên miền đồ thị,
đang được áp dụng rộng rãi vào hướng nghiên cứu phân tích đồ thị: phân loại nút,
dự đốn liên kết và phân cụm.
GNN được đề xuất lần đầu trong tài liệu [25] về việc mở rộng các mạng nơ
ron để xử lý dữ liệu thông qua việc biểu diễn trong miền đồ thị. Trong một đồ thị,
mỗi nút được xác định thông qua các đặc trưng và các nút liên quan. Mục tiêu của
GNN là học trạng thái nhúng 𝐡𝑣 ∈ ℝ𝑠 nơi chứa thông tin về lân cận của nút; 𝐡𝑣 là
một véc tơ 𝑠-chiều của nút 𝑣 và được dùng để tạo nhãn của nút ở đầu ra là 𝐨𝑣 . Giả
sử 𝑓 là hàm chuyển tiếp cục bộ, được sử dụng trên tất cả các nút và cho phép cập
nhật trạng thái nút thông qua vùng đầu vào lân cận; 𝑔 là hàm đầu ra cục bộ, mơ tả
cách thức tạo đầu ra. Khi đó, 𝐡𝑣 và 𝐨𝑣 được định nghĩa như sau:
𝐡𝑣 = 𝑓(𝐱 𝑣 , 𝐱 𝑐𝑜[𝑣] , 𝐡𝑛𝑒[𝑣] , 𝐱 𝑛𝑒[𝑣] )

PT 2.3

𝐨𝑣 = 𝑔(𝐡𝑣 , 𝐱 𝑣 )

PT 2.4

trong đó 𝐱 𝑣 , 𝐱 𝑐𝑜[𝑣] , 𝐡𝑛𝑒[𝑣] , 𝐱 𝑛𝑒[𝑣] tương ứng là đặc trưng của nút 𝑣, đặc trưng cạnh
của nút 𝑣, trạng thái và đặc trưng của nút trong vùng lân cận của 𝑣.
Giả sử 𝐇, 𝐎, 𝐗 và 𝐗 𝑁 tương ứng là các véc tơ tạo ra bằng cách xếp chồng tất
cả trạng thái, tất cả đầu ra, tất cả đặc trưng và tất cả các đặc trưng nút, ta có:
𝐇 = 𝐹(𝐇, 𝐗)

PT 2.5

𝐎 = 𝐺(𝐇, 𝐗 𝑁 )


PT 2.6

trong đó, 𝐹 là hàm chuyển tiếp tồn cục và 𝐺 là hàm đầu ra toàn cục, tương ứng
là các phiên bản xếp chồng của 𝑓 và 𝑔 với tất cả các nút trong đồ thị. Giá trị của
𝐇 là điểm cố định với PT 2.5, và được xác định duy nhất với giả thiết rằng 𝐹 là
một ánh xạ rút gọn.
Theo đề xuất của Banach trong định lý về điểm cố định, trạng thái được xác
định như sau:
H𝑡+1 = 𝐹(H𝑡 , 𝐗)

PT 2.7

7


trong đó, H𝑡 thể hiện bước lặp thứ-𝑡 của 𝐇. Hệ động ở PT 2.7 hội tụ nhanh theo
cấp số nhân cho nghiệm của PT 2.5 với bất kỳ giá trị khởi tạo 𝐇(0) nào. Lưu ý
rằng các tính tốn của 𝑓 và 𝑔 có thể được diễn giải như là mạng nơ ron cho trước.
Khi đã có được khung cho GNN, việc tiếp theo là học các tham số của 𝑓 và
𝑔 như thế nào. Với mục thông tin mục tiêu (𝐭 𝑣 với một nút cụ thể) để giám sát, sự
mất mát có thể được tính như sau:

loss = ∑𝑝𝑖=1(𝐭 𝑖 − 𝐨𝑖 )

PT 2.8

với 𝑝 là số lượng các nút giám sát. Thuật toán học dựa trên chiến lược xuống dốc
(giảm gradient – gradien-descent) và được thực hiện theo các bước sau đây:
-


-

Trạng thái của 𝐡𝑡𝑣 được cập nhật trong các bước lặp thông qua PT 2.3 cho
đến một thời điểm 𝑇. Chúng tiệm cận nghiệm điểm cố định của PT 2.5:
𝐇(T) ≈ 𝐇.
Độ dốc của trọng số 𝐖 được tính từ sự mất mát
Trọng số 𝐖 được cập nhật dựa theo độ dốc của bước trước đó

Giới hạn của GNN
Qua các kết quả thực nghiệm, có thể thấy GNN mạnh trong việc mơ hình hóa
dữ liệu có cấu trúc, tuy nhiên vẫn cịn một vài giới hạn với GNN nguyên bản.
Thứ nhất, việc cập nhật trạng thái ẩn của các nút lặp đi lặp lại tại điểm cố
định là không hiệu quả. Nếu nới lỏng giả định về điểm cố định, một mơ hình nhiều
lớp GNN có thể biểu diễn ổn định các nút và lân cận của nó.
Thứ hai, GNN sử dụng cùng bộ tham số trong các vòng lặp trong khi hầu hết
các mạng nơ ron sử dụng các bộ tham số khác nhau giữa các lớp, việc này như một
phương pháp trích xuất tính năng phân cấp. Thêm nữa, cập nhật trạng thái ẩn của
nút là một q trình tuần tự có thể hưởng lợi từ nhân RNN như là GRU và LSTM.
Thứ ba, một số đặc trưng thông tin trên các cạnh khơng thể được mơ hình
hóa hiệu quả trên GNN ngun bản, ví dụ như: các cạnh trên đồ thị tri thức có kiểu
của quan hệ, hay như việc truyền thơng điệp qua các cạnh phải khác nhau tùy theo
kiểu của chúng. Ngoài ra, cách học trạng thái ẩn của các cạnh cũng quan trọng.
Cuối cùng, nếu tập trung vào việc biểu diễn các nút thì sử dụng các điểm cố
định là khơng phù hợp, bởi vì việc phân phối thể hiện với điểm cố định sẽ tốt hơn
về mặt giá trị và ít thơng tin hơn cho việc phân biệt nút.
2.2.2 Các biến thể của đồ thị mạng nơ ron
Có nhiều biến thể của GNN, trong phần này sẽ chia thành 3 nhóm chính: theo
loại đồ thị, theo loại lan truyền và theo phương pháp huấn luyện.

8



Hình 2.3: Loại đồ thị [24]

2.2.2.1. Loại đồ thị
Trong nguyên bản GNN [25], đồ thị đầu vào bao gồm các nút với nhãn thông
tin và các cạnh vô hướng, đây là dạng đơn giản nhất. Tuy nhiên còn nhiều biến thể
của đồ thị như mơ tả trong Hình 2.3.
Directed Graphs (Đồ thị có hướng). Cạnh vơ hướng có thể được hiểu như là
hai cạnh có hướng thể hiện mối liên hệ giữa hai nút. Tuy nhiên, cạnh có hướng có
thể chứa nhiều thơng tin hơn cạnh vơ hướng. Ví dụ, trong đồ thị tri thức, cạnh bắt
đầu từ thực thể đầu (lớp cha) và kết thúc ở thực thể cuối (lớp con), điều này gợi ý
rằng xử lý tiến trình nên bắt đầu từ các lớp cha và lan truyền tới các lớp con khác
nhau. DGP [35] sử dụng hai loại ma trận có trọng số là 𝐖𝑝 và 𝐖𝑐 , ứng với lớp cha
và lớp con, để kết hợp nhiều cấu trúc thông tin rõ ràng hơnHeterogeneous Graphs
(Đồ thị khơng đồng nhất). Đây là loại đồ thị có nhiều loại nút, cách đơn giản nhất
để xử lý loại đồ thị này là chuyển đổi kiểu của từng nút thành một véc tơ đặc trưng
one-hot bằng cách kết nối với đặc trưng nguyên bản. GraphInception đưa ra ý
tưởng về siêu đường dẫn vào trong bước lan truyền trên đồ thị khơng đồng nhất,
với mục đích nhóm các lân cận theo loại nút và khoảng cách; mơ hình coi mỗi một
nhóm lân cận như là một đồ thị con không đồng nhất, thực hiện việc lan truyền
trên các đồ thị con và nối kết quả lại để biểu diễn tập các nút. Mạng đồ thị chú ý
không đồng nhất (HAN) cho phép tận dụng bậc của nút và bậc ngữ nghĩa chú ý,
mơ hình có khả năng xem xét đồng thời tầm quan trọng của nút và siêu đường dẫn.
Graph with Edge Information (Đồ thị với thông tin cạnh). Với loại đồ thị
này, mỗi cạnh có thêm thơng tin như là trọng số hoặc kiểu của cạnh, và có hai cách
để xử lý đồ thị:
- Thứ nhất, chuyển đổi đồ nó thành đồ thị hai nhánh: cạnh nguyên bản vừa
trở thành nút và đồng thời cũng được chia thành hai cạnh mới, tức là có hai cạnh
giữa nút cạnh và nút đầu/cuối. Trình mã hóa của G2S sử dụng hàm tổng hợp lân

1
cận sau: 𝐡𝑡𝑣 = 𝜌(|𝒩 | ∑𝑢 ∈ 𝒩𝑣 𝐖𝑟 (𝐫𝑣𝑡 ⨀ 𝐡𝑡−1
𝑢 ) + 𝐛𝑟 ), trong đó 𝐖𝑟 và 𝐛𝑟 là tham số
𝑣

lan truyền cho các loại cạnh (các quan hệ).
- Thứ hai, sử dụng các ma trận trọng số trong bước lan truyền trên nhiều loại
cạnh. Khi số lượng của các quan hệ rất lớn, r-GCN giới thiệu hai phân hoạch để
giảm tham số trong việc mơ hình hóa các quan hệ: phân hoạch cơ bản và phân
hoạch khối-đường chéo.
9


▪ Với phân hoạch cơ bản, 𝐖𝑟 = ∑𝐵1 a𝑟𝑏 𝑽𝑣 , mỗi 𝐖𝑟 là sự kết hợp tuyến
tính của các phép biến đổi cơ sở 𝑽𝑏 ∈ ℝ𝑑𝑖𝑛 ×𝑑𝑜𝑢𝑡 với các hệ số a𝑟𝑏 .
▪ Với phân hoạch khối-đường chéo, r-GCN xác định 𝐖𝑟 thông qua lấy
tổng trực tiếp trên một tập các ma trận chiều thấp.
Dynamic Graph (Đồ thị động). Là biến thể đồ thị với cấu trúc đồ thị tĩnh và
tín hiệu đầu vào động. Để thu được cả hai loại thông tin, DCRNN và STGCN trước
tiên thu thập thơng tin khơng gian bằng GNN, sau đó đưa các kết quả vào một mơ
hình tuần tự như Sec2sec hay CNN. Các mơ hình S-RNN và ST-GCN thì khác
hẳn, chúng thu thập không gian và các thông điệp tạm thời cùng một lúc, rồi mở
rộng cấu trúc đồ thị tĩnh với các kết nối theo thời gian để có thể sử dụng GNN
truyền thống trên các đồ thị mở rộng.
2.2.2.2. Loại lan truyền

Hình 2.4: Loại lan truyền [24]

Bước lan truyền và bước đầu ra có vai trị hết sức quan trọng trong các mơ
hình để thu được trạng thái ẩn của các nút (hoặc các cạnh). Hình 2.4 thể hiện các

biến thể đồ thị theo loại lan truyền và Bảng 2.1 bên dưới so sánh một số biến thể
của GNN. Như bảng so sánh, có một số thay đổi trong bước lan truyền từ GNN
nguyên bản, nhưng thiết lập mạng nơ ron chuyển tiếp đơn giản ở đầu ra vẫn được
tuân thủ; các biến thể sử dụng các trình tổng hợp khác nhau để tập hợp thơng tin
từ các lân cận của mỗi nút và các trình cập nhật đặc thù để cập nhật trạng thái ẩn
của các nút.
Bảng 2.1: Sự khác nhau của các biến thể đồ thị mạng nơ ron [24]
Tên Loại

Spectral
Methods

Cheb
Net
1storder

Trình tổng hợp

𝐾

𝐍𝑘 = 𝐓𝑘 ( ̃𝐋)𝑋

𝐇=∑
𝑘=0

𝐍0 = 𝐗
1

Trình cập nhật


1

𝐍1 = 𝐃−2 𝐀𝐃−2 𝐗

𝐍 𝑘 𝚯𝑘

𝐇 = 𝐍0 Θ0 + 𝐍1 Θ1

10


Non-spectral Methods
Gated GNN
Graph Attention Networks

Single
Param

𝐍 = (𝐈𝑁 + 𝐃−2 𝐀𝐃−2 ) 𝐗

GCN

̃𝐃
̃ −2 𝐀
̃ −2 𝐗
𝐍= 𝐃

Neural
FPs


𝐡𝑡𝒩𝑣 = 𝐡𝑡−1
+∑
𝑣

1

1

1

1

𝐇 = 𝐍𝚯
𝐇 = 𝐍𝚯

𝒩𝑣

𝐡𝑡−1
𝑘

𝑘=1

𝒩

𝐡𝑡𝑣 = 𝜎(𝐡𝑡𝒩𝑣 𝐖𝐿 𝑣 )

Node classification:

DCNN


𝐍 = 𝐏∗𝐗
Graph classification:

𝐇 = 𝑓(𝐖 𝑐 ⨀ 𝐍)

𝐍 = 1𝑇𝑁 𝐏 ∗ 𝐗/N

Graph
SAGE

𝐡𝑡𝒩𝑣 = AGGREGATE𝑡 ({𝐡𝑡−1
𝑢 , ∀𝑢 ∈ 𝒩𝑣 })

𝐡𝑡𝑣 = 𝜎(𝐖𝑡 · [𝐡𝑡−1
∥ 𝐡𝑡𝒩𝑣 ])
𝑣
𝐳𝑣𝑡 = 𝜎(𝐖 𝑧 𝐡𝑡𝒩𝑣 + 𝐔 𝑧 h𝑡−1
𝑣 )

GGNN

𝐡𝑡𝒩𝑣 = ∑

𝑘 ∈ 𝒩𝑣

𝐡𝑡−1
+𝐛
𝑘

𝐫𝑖𝑡 = 𝜎(𝐖 𝑟 𝐡𝑡𝒩𝑣 + 𝐔 𝑟 h𝑡−1

𝑣 )
̃𝑡𝑣 = tanh (𝐖𝐡𝑡𝒩 + 𝐔(r𝑡𝑣 ⨀ h𝑡−1 ))
𝐡
𝑣
𝑣
̃𝑡𝑣
𝐡𝑡𝑣 = (1 − z𝑣𝑡 )⨀h𝑡−1
+ z𝑣𝑡 ⨀ 𝐡
𝑣

𝛼𝑣𝑘 =

exp(LeakyReLU(𝐚𝑇 [𝐖𝐡𝑣 ∥ 𝐖𝐡𝑘 ]))
∑𝑗 ∈ 𝒩 exp(LeakyReLU(𝐚𝑇 [𝐖𝐡𝑣 ∥ 𝐖𝐡𝑗 ]))
𝑣

𝐡𝑡𝒩𝑣 = 𝜎(∑

𝑘 ∈ 𝒩𝑣

GAT

𝛼𝑣𝑘 𝐖𝐡𝑘 )

Multi-head concatenation:
𝑀
𝑚
𝐡𝑡𝒩𝑣 =
𝛼𝑣𝑘
𝐖 𝑚 𝐡𝑘 )

∥ 𝜎(∑
𝑘 ∈ 𝒩𝑣
𝑚=1
Multi-head average:
𝑀
1
𝑚
𝐡𝑡𝒩𝑣 = 𝜎( ∑
∑
𝛼𝑣𝑘
𝐖 𝑚 𝐡𝑘 )
𝑀
𝑚=1
𝑘 ∈ 𝒩𝑣

𝐡𝑡𝑣 = 𝐡𝑡𝒩𝑣

𝐢𝑡𝑣 = 𝜎(𝐖 𝑖 𝐱 𝑡𝑣 + 𝐔 𝑖 h𝑡𝒩𝑣 + 𝐛𝑖 )

Graph LSTM

Tree
LSTM
(child
sum)

𝑡
𝐟𝑣𝑘
= 𝜎(𝐖𝑓 𝐱 𝑡𝑣 + 𝐔 𝑓 h𝑡−1
+ 𝐛𝑓 )

𝑘

𝐡𝑡𝒩𝑣

= ∑

𝐡𝑡−1
𝑘

𝑘 ∈ 𝒩𝑣

𝐨𝑡𝑣 = 𝜎(𝐖 𝑜 𝐱 𝑡𝑣 + 𝐔 𝑜 h𝑡𝒩𝑣 + 𝐛𝑜 )
𝐮𝑡𝑣 = tanh(𝐖 𝑢 𝐱 𝑡𝑣 + 𝐔 𝑢 h𝑡𝒩𝑣 + 𝐛𝑢 )
𝑡
𝐜𝑣𝑡 = i𝑡𝑣 ⨀u𝑡𝑣 + ∑ 𝐟𝑣𝑘
⨀𝐜𝑘𝑡−1
𝑘 ∈ 𝒩𝑣

𝐡𝑡𝑣 = 𝐨𝑡𝑣 ⨀ tanh(𝐜𝑣𝑡 )
𝐡𝑡𝑖
𝒩𝑣

Tree
LSTM
(N-ary)

𝑡𝑓

𝐾


=∑
𝑙=1
𝐾

𝐡𝒩𝑣 𝑘 = ∑
𝐡𝑡𝑜
𝒩𝑣
𝐡𝑡𝑢
𝒩𝑣

𝐔𝑙𝑖 h𝑡−1
𝑣𝑙
𝑓

𝑙=1
𝐾

=∑
𝑙=1
𝐾

=∑
𝑙=1

𝐔𝑘𝑙 h𝑡−1
𝑣𝑙

𝐔𝑙𝑜 h𝑡−1
𝑣𝑙


𝑖
𝐢𝑡𝑣 = 𝜎(𝐖 𝑖 𝐱 𝑡𝑣 + h𝑡𝑖
𝒩𝑣 + 𝐛 )
𝑡𝑓

𝑡
𝐟𝑣𝑘
= 𝜎(𝐖𝑓 𝐱 𝑡𝑣 + h𝒩𝑣𝑘 + 𝐛 𝑓 )
𝑜
𝐨𝑡𝑣 = 𝜎(𝐖 𝑜 𝐱 𝑡𝑣 + h𝑡𝑜
𝒩𝑣 + 𝐛 )
𝑢
𝐮𝑡𝑣 = tanh(𝐖 𝑢 𝐱 𝑡𝑣 + h𝑡𝑢
𝒩𝑣 + 𝐛 )
𝐾

𝐜𝑣𝑡
𝐔𝑙𝑢 h𝑡−1
𝑣𝑙

=

i𝑡𝑣 ⨀u𝑡𝑣

𝑡
𝑡−1
+ ∑ 𝐟𝑣𝑙
⨀ 𝐜𝑣𝑙
𝑙=1


𝐡𝑡𝑣 = 𝐨𝑡𝑣 ⨀ tanh(𝐜𝑣𝑡 )

11


𝑖
𝐢𝑡𝑣 = 𝜎(𝐖 𝑖 𝐱 𝑡𝑣 + h𝑡𝑖
𝒩𝑣 + 𝐛 )
𝑡−1
𝑖
𝐡𝑡𝑖
𝒩𝑣 = ∑ 𝐔𝑚(𝑣,𝑘) h𝑘

𝑓

𝑡
𝐟𝑣𝑘
= 𝜎(𝐖𝑓 𝐱 𝑡𝑣 + 𝐔𝑚(𝑣,𝑘) h𝑡−1
+ 𝐛𝑓 )
𝑘

𝑘 ∈ 𝒩𝑣

Graph
LSTM

𝐡𝑡𝑜
𝒩𝑣

𝑜

𝐨𝑡𝑣 = 𝜎(𝐖 𝑜 𝐱 𝑡𝑣 + h𝑡𝑜
𝒩𝑣 + 𝐛 )

𝑜
= ∑ 𝐔𝑚(𝑣,𝑘)
h𝑡−1
𝑘

𝑢
𝐮𝑡𝑣 = tanh(𝐖 𝑢 𝐱 𝑡𝑣 + h𝑡𝑢
𝒩𝑣 + 𝐛 )

𝑘 ∈ 𝒩𝑣

𝑡
𝐜𝑣𝑡 = i𝑡𝑣 ⨀ u𝑡𝑣 + ∑ 𝐟𝑣𝑘
⨀ 𝐜𝑘𝑡−1

𝑡−1
𝑢
𝐡𝑡𝑢
𝒩𝑣 = ∑ 𝐔𝑚(𝑣,𝑘) h𝑘

𝑘 ∈ 𝒩𝑣

𝑘 ∈ 𝒩𝑣

𝐡𝑡𝑣

=


𝐨𝑡𝑣 ⨀

tanh(𝐜𝑣𝑡 )

Convolution (Tích chập). Việc tổng qt hóa tích chập trên miền đồ thị ngày
càng được nghiên cứu rộng rãi, có hai hướng là phương pháp quang phổ và phương
pháp không quang phổ.
- Phương pháp quang phổ hoạt động với một biểu diễn quang phổ cho đồ thị.
▪ Spectral Network sử dụng phép tốn tích chập được xác định trong miền
Fourier qua tính giá trị phân hoạch riêng của đồ thị Laplacian, như là tích của
một tín hiệu 𝐱 ∈ ℝ𝑁 (sự vơ hướng của nút) với bộ lọc 𝐠 𝜃 = diag(𝜃), tham số
qua 𝜃 ∈ ℝ𝑁 : 𝐠 𝜃 ⋆ 𝐱 = 𝐔𝐠 𝜃 (𝚲)𝐔 𝑇 𝐱, rong đó 𝐔 là ma trận véc tơ riêng của đồ
1

1

thị Laplcian đã được chuẩn hóa 𝐋 = 𝐈𝑁 − 𝐃−2 𝐀𝐃−2 = 𝐔𝚲𝐔 𝑇 (𝐃 là bậc ma trận
và 𝐀 là ma trận kề của đồ thị), với một ma trận đường chéo của các giá trị riêng
𝚲. Phép tốn có khả năng tính tốn mạnh và tạo ra các bộ lọc cục bộ không
định vị.
▪ ChebNet gợi ý rằng 𝐠 𝜃 (𝚲) có thể được lấy xấp xỉ qua đa thức Chebyshev
𝐓𝑘 (x) mở rộng bằng việc rút ngắn tới bậc thứ 𝐾. Phép toán: 𝐠 𝜃 ⋆ 𝐱 ≈
2
̃
̃
∑𝐾
𝐋 − 𝐈𝑁 . λ𝑚𝑎𝑥 ứng với giá trị riêng lớn nhất của
𝑘=0 𝜃𝑘 𝐓𝑘 ( 𝐋)𝐱, với 𝐋 =
λ𝑚𝑎𝑥


𝐾

𝐋. 𝜃 ∈ ℝ là một véc tơ của hệ số Chebyshev. Đa thức Chebyshev được xác
định như sau: 𝐓𝑘 (x) = 𝟐𝐱𝐓𝑘−1 (x) − 𝐓𝑘−2 (x) với 𝐓0 (x) = 1 và 𝐓1 (x) = x. Đa
thức Chebyshev được xác định như sau: 𝐓𝑘 (x) = 𝟐𝐱𝐓𝑘−1 (x) − 𝐓𝑘−2 (x) với
𝐓0 (x) = 1 và 𝐓1 (x) = x.
Có thể thấy rằng, phép tốn là 𝐾-định vị vì nó là một đa thức bậc-𝐾 trong
Laplacian. ChebNet [48] được đều xuất sử dụng tích chập 𝐾-định vị này để
định nghĩa một mạng nơ ron tích chập mà có thể bỏ qua phần tính véc tở riêng
trong Laplacian.
▪ GCN giới hạn phép tốn tích chập theo cạnh với 𝐾 = 1 để giảm bớt
vấn đề khớp trên những cấu trúc vùng lân cận với đồ thị phân bố nút rộng. Tính
xấp xỉ 𝜆𝑚𝑎𝑥 = 2 và phương trình trở thành: 𝐠 𝜃′ ⋆ 𝐱 ≈ 𝜃 ′ 0 𝐱 + 𝜃 ′ 1 (𝐋 − 𝐈𝑁 )𝐱 =
1

1

𝜃 ′ 0 𝐱 − 𝜃 ′ 1 𝑫−2 𝐀𝑫−2 𝐱, với hai tham số là 𝜃′ 0 và 𝜃′ 1 . Sau khi hạn chế số lượng
tham số với 𝜃 = 𝜃 ′ 0 = −𝜃 ′1 , thu được biểu thức: 𝐠 𝜃 ⋆ 𝐱 ≈ 𝜃 (𝐈𝑁 +
1

1

𝑫−2 𝐀𝑫−2 ) 𝐱. Chú ý rằng việc xếp chồng các tốn tử có thể dẫn đến sự khơng
ổn định về số lượng và phân rã/triệt tiêu gradient.

12



1

1

Mơ hình cũng giới thiệu thủ thuật tái chuẩn hóa: 𝐈𝑁 + 𝐃−2 𝐀𝐃−2 →
1

1

1

1

̃ −2 𝐀
̃𝐃
̃ −2 , với 𝐀
̃ = 𝐀 + 𝐈𝑁 và 𝐃
̃ 𝑖𝑖 = ∑𝑗 𝐀
̃ 𝑖𝑗 . Cuối cùng, khái quát định nghĩa
𝐃
về tín hiệu 𝐗 ∈ ℝ𝑁×𝐶 với 𝐶 kênh đầu vào, 𝐹 bộ lọc cho bản đồ đặc trưng: 𝐙 =
̃ −2 𝐀
̃𝐃
̃ −2 𝐗Θ, trong đó, Θ ∈ ℝ𝑁×𝐹 là ma trận của các tham số bộ lọc và 𝐙 ∈
𝐃
ℝ𝑁×𝐹 là ma trận tích chập tín hiệu.
Tất cả các mơ hình trên đều sử dụng cấu trúc đồ thị gốc để biểu thị quan hệ
giữa các nút, tuy nhiên, có nhiều mối quan hệ ngầm giữa các nút. Mơ hình
AGCN được đề xuất để học các quan hệ ngầm này: học một đồ thị Laplacian
thặng dư rồi thêm vào ma trận Laplacian nguyên bản, và nó đã chứng minh

được sự hiệu quả trong một số bộ dữ liệu có cấu trúc đồ thị. Mơ hình GGP được
trình bày để giải quyết vấn đề của học bán giám sát, nó cho thấy sự tương đồng
giữa các mơ hình và các phương pháp lọc quang phổ.
Tuy nhiên, với tất cả các phương pháp quang phổ đã đề cập, các bộ lọc học
được phụ thuộc vào cơ sở riêng Laplacian, tức là phụ thuộc vào cấu trúc đồ thị.
Đây là hạn chế vì một mơ hình được huấn luyện trên một cấu trúc cụ thể không
thể được ứng dụng trực tiếp vào đồ thị có cấu trúc khác.
- Phương pháp khơng quang phổ xác định các tích chập trực tiếp trên đồ thị,
thao tác trên các lân cận gần. Thách thức lớn của nó là việc xác định phép tốn tích
chập với kích thước vùng lân cận khác nhau và duy trì tính bất biến của CNN.
▪ Neural FPs sử dụng các ma trận trọng số khác nhau với các nút có bậc
|𝒩 |
|𝒩 |
|𝒩 |
khác nhau: 𝐱 = 𝐡𝑡−1
+ ∑𝑖=1𝑣 𝐡𝑡−1
và 𝐡𝑡𝑣 = 𝜎(𝐱𝐖𝑡 𝑣 ), trong đó 𝐖𝑡 𝑣 là ma
𝑣
𝑖
trận trọng số với các nút có bậc |𝒩𝑣 | tại lớp 𝑡. Nhược điểm của phương pháp
này là nó khơng thể ứng dụng vào đồ thị lớn có nhiều bậc hơn.
▪ DCNN đề xuất việc các ma trận chuyển tiếp được dùng để xác định vùng
lân cận cho các nút của nó.
Để phân loại nút: 𝐇 = 𝑓(𝐖 𝑐 ⨀ 𝐏 ∗ 𝐗), trong đó 𝐗 là một 𝑁 × 𝐹 tensor của
các đặc trưng đầu vào, 𝑁 là số lượng các nút, 𝐹 là số lượng các đặc trưng; 𝐏∗
là một 𝑁 × 𝐾 × 𝑁 tensor chứa tập hàm mũ {𝐏, 𝐏2 , … , 𝐏𝐾 } của ma trận 𝐏; và
𝐏 là ma trận chuyển tiếp chuẩn hóa bậc từ đồ thị ma trận kề 𝐀. Mỗi một thực
thể được chuyển thành một thể hiện tích chập khuếch tán, đó là một ma trận
𝐾 × 𝐹 được xác định bằng 𝐾 bước của việc khuếch tán đồ thị trên 𝐹 đặc trưng.
Và sau đó chúng sẽ được xác định bằng một ma trận trọng số 𝐾 × 𝐹 và một

hàm kích hoạt phi tuyến 𝑓. Cuối cùng, 𝐇 có kích thước 𝑁 × 𝐾 × 𝐹 biểu thị sự
khuếch tán của mối nút trong đồ thị.
Để phân loại đồ thị, DCNN đơn giản lấy trung bình của các đại diện nút, 𝐇 =
𝑓(𝐖 𝑐 ⨀ 1𝑇𝑁 𝐏∗ 𝐗/N) và 1𝑁 ở đây là một véc tơ 𝑁 × 1 của nút. DCNN có thể
được dùng vào việc phân loại cạnh, đó là nhiệm vụ yêu cầu chuyển đổi cạnh
sang nút và tăng ma trận kề.
▪ DGCN được đề xuất để cùng xem xét tính nhất quán cục bộ và nhất qn
tồn cục trên đồ thị. Nó sử dụng hai mạng nơ ron tích chập để lấy tính nhất
qn cục bộ/tồn cục và dùng tính mất mát khơng giám sát để tập hợp lại. Mạng
13