ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH
TRƯỜNG ĐẠI HỌC BÁCH KHOA
--------------------

TRẦN HỮU TUÂN

TỐI ƯU TỐC ĐỘ DỮ LIỆU TRONG HỆ THỐNG MISO
CÓ SỰ HỖ TRỢ CỦA BỀ MẶT PHẢN XẠ THÔNG MINH
DÙNG HỌC SÂU TĂNG CƯỜNG

Chuyên ngành: Kỹ Thuật Viễn Thơng
Mã số: 8520208

LUẬN VĂN THẠC SĨ

TP. HỒ CHÍ MINH, tháng 07 năm 2023


CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI
TRƯỜNG ĐẠI HỌC BÁCH KHOA –ĐHQG -HCM
Cán bộ hướng dẫn khoa học : PGS.TS. Hà Hoàng Kha
(Ghi rõ họ, tên, học hàm, học vị và chữ ký)

Cán bộ chấm nhận xét 1 : PGS.TS. Đỗ Hồng Tuấn
(Ghi rõ họ, tên, học hàm, học vị và chữ ký)

Cán bộ chấm nhận xét 2 : TS. Nguyễn Đình Long
(Ghi rõ họ, tên, học hàm, học vị và chữ ký)

Luận văn thạc sĩ được bảo vệ tại Trường Đại học Bách Khoa, ĐHQG Tp. HCM
ngày 6 tháng 7 năm 2023

Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm:
(Ghi rõ họ, tên, học hàm, học vị của Hội đồng chấm bảo vệ luận văn thạc sĩ)
1. Chủ tịch hội đồng: GS.TS Lê Tiến Thường
2. Thư ký: TS. Huỳnh Phú Minh Cường
3. Phản biện 1: PGS. TS Đỗ Hồng Tuấn
4. Phản biện 2: TS. Nguyễn Đình Long
5. Ủy viên: TS. Huỳnh Thế Thiện
Xác nhận của Chủ tịch Hội đồng đánh giá LV và Trưởng Khoa quản lý chuyên
ngành sau khi luận văn đã được sửa chữa (nếu có).
CHỦ TỊCH HỘI ĐỒNG

TRƯỞNG KHOA ĐIỆN – ĐIỆN TỬ


ĐẠI HỌC QUỐC GIA TP.HCM
TRƯỜNG ĐẠI HỌC BÁCH KHOA

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM
Độc lập - Tự do - Hạnh phúc

NHIỆM VỤ LUẬN VĂN THẠC SĨ
Họ tên học viên: Trần Hữu Tuân ....................................................... MSHV: 2170794 ................
Ngày, tháng, năm sinh: 03/07/1998 .................................................. Nơi sinh: Lâm Đồng ...........
Chuyên ngành: Kỹ Thuật Viễn Thông ............................................... Mã số : 8520208..............

I. TÊN ĐỀ TÀI:
Tối ưu tốc độ dữ liệu trong hệ thống MISO có sự hỗ trợ của bề mặt phản xạ thơng minh dùng
học sâu tăng cường (Rate optimization for intelligent reflecting surface aided MISO systems
using deep reinforcement learning)


II. NHIỆM VỤ VÀ NỘI DUNG:
- Nghiên cứu mơ hình hệ thống thơng tin di động đa người dùng MISO có sự hỗ trợ của bề mặt
phản xạ thơng minh.
- Giới thiệu mơ hình toán và lời giải cho vấn đề tối ưu tốc độ dữ liệu cho hệ thống MISO có hỗ
trợ bởi bề mặt phản xạ thông minh.
- Phát triển và mô phỏng giải thuật ứng dụng học sâu tăng cường nhằm tối ưu tốc độ dữ liệu
trong hệ thống MISO có sử dụng bề mặt phản xạ thông minh.

III. NGÀY GIAO NHIỆM VỤ : 05/09/2022
IV. NGÀY HOÀN THÀNH NHIỆM VỤ: 12/06/2023
V. CÁN BỘ HƯỚNG DẪN: PSG.TS.Hà Hoàng Kha .................................................................
Tp. HCM, ngày . . . . tháng .. 09. . năm 2022
CÁN BỘ HƯỚNG DẪN
(Họ tên và chữ ký)

CHỦ NHIỆM BỘ MÔN ĐÀO TẠO
(Họ tên và chữ ký)

TRƯỞNG KHOA ĐIỆN – ĐIỆN TỬ
(Họ tên và chữ ký)


Lời cảm ơn

LỜI CẢM ƠN
Trước tiên, em xin gửi lời cảm ơn chân thành đến thầy PGS. TS Hà Hoàng Kha,
người Thầy hướng dẫn em thực hiện luận văn này. Thầy đã truyền đạt kiến thức, kinh
nghiệm quý báu cũng như cung cấp các tài liệu cần thiết và giải đáp những thắc mắc
mà em gặp phải trong suốt cả quá trình làm luận văn. Sự tận tình và quan tâm của Thầy
chính là nguồn cảm hứng để em cố gắng nghiên cứu và học tập kể cả sau khi kết thúc

quá trình làm luận văn. Một lần nữa, từ tận con tim mình, em xin tỏ lịng biết ơn sâu sắc
nhất gửi đến Thầy.

Tiếp theo, em xin gửi lời cảm ơn chân thành đến các thầy cô ở Bộ môn Viễn
Thông, Khoa Điện - Điện tử, trường Đại học Bách Khoa Tp. Hồ Chí Minh. Tuy khơng
trực tiếp hướng dẫn em, nhưng những kiến thức mà thầy cô đã giảng dạy cho em trong
suốt những năm qua là cơ sở, nền tảng vững chắc giúp em có đủ khả năng để thực hiện
luận văn này.

Cuối cùng, em xin gửi lời cảm ơn chân thành đến gia đình, những người đã luôn
bên cạnh, ủng hộ em về cả vật chất lẫn tinh thần để em hoàn thành luận văn này

Tp. Hồ Chí Minh, tháng 6 năm 2023.

Trần Hữu Tuân

i


Luận văn thạc sĩ

Thực hiện: Trần Hữu Tuân

TÓM TẮT LUẬN VĂN
Những năm gần đây, đặc biệt là trong và sau khi đại dịch Covid-19, thế giới
chứng kiến sự tăng trưởng vượt bậc của nhu cầu sử dụng các dịch vụ và ứng dụng di
động khơng dây. Từ đó, mạng di động thế hệ thứ 6 (6G) đang từng bước trở thành
tâm điểm của các nguồn lực đầu tư và nghiên cứu. Một trong số công nghệ mới đáng
chú ý trong 6G đó là bề mặt phản xạ thơng minh (IRS). Tuy chỉ mới được phát triển
trong khoảng năm năm gần đây, IRS đã đạt được nhiều thành tựu đáng kể trong việc

cải thiện hiệu suất và chất lượng của các hệ thống truyền thông. Bên cạnh những ưu
điểm, IRS cũng đặc ra một số thách thức nhất định và một trong số đó là vấn đề tối
ưu cho các hệ thống có IRS. Bên cạnh đó, các giải thuật máy học, học sâu hay trí tuệ
nhân tạo đang trở thành xu hướng, được áp dụng trong nhiều lĩnh vực và hỗ trợ con
người rất nhiều trong việc giải quyết các vấn đề phức tạp. Tổng hợp lại, luận văn
được xác định chủ đề nghiên cứu là: “Tối ưu tốc độ dữ liệu của hệ thống MISO có sử
dụng bề mặt phản xạ thông minh dùng học sâu tăng cường”.
Trước tiên, luận văn giới thiệu tổng quan về tình hình tăng trưởng của lưu lượng
dữ liệu di động và đôi nét về cơng nghệ 6G; sau đó đề cập đến IRS và về học sâu tăng
cường (DRL) từ đó xác định đề tài nghiên cứu. Sau đó, luận văn trình bày cơ sở lý
thuyết nền tảng được sử dụng trong luận văn, bao gồm một số khái niệm và công
nghệ như IRS, DRL, giải thuật DDPG, một số lý thuyết cơ sở, ... và các kiến thức
toán cần thiết. Trên cơ sở đó luận văn giải quyết vấn đề tối ưu tổng tốc độ dữ liệu
trong hệ thống MISO đa người dùng có sử dụng bề mặt phản xạ bằng khơng chỉ
phương pháp giải tối ưu truyền thống mà còn là theo phương pháp ứng dụng học sâu
tăng cường. Đối với cả hai phương pháp, mơ hình tốn học, giải thuật lập trình,
phương pháp đề xuất và kết quả mơ phỏng đều được cung cấp đầy đủ. Thông qua các
kết quả mô phỏng, một số so sánh và nhận xét cũng sẽ được nêu lên để đánh giá khả
năng cũng như chất lượng kết quả của cả hai phương pháp khi cùng áp dụng để giải
quyết vấn đề đã đặt ra. Cuối cùng, luận văn tổng hợp lại những công việc đã hoàn
thành và đề ra hướng phát triển sau này.

ii


Luận văn thạc sĩ

Thực hiện: Trần Hữu Tuân

ABSTRACT

In recent years, especially during and after the Covid-19 pandemic, the world has
witnessed a dramatic growth in demand for wireless mobile services and applications,
which requires communication technology to be innovated and developed. The 6th
generation mobile network (6G) is gradually becoming the focus of investment and
research. With standards far beyond 5G, 6G networks promise to bring many
breakthroughs and applications in the future. One of these new technologies in 6G
networks is the intelligent reflective surface (IRS). Although only developed in the
last five years, the IRS has shown effects in improving the performance and quality
of communication systems. Along with the advantages, the IRS also identifies some
challenges that need to be solved, one of them is the optimization problems for the
system with the IRS. In recent years, applying machine learning, deep learning or
artificial intelligence algorithms is becoming a trend, which being applied in many
fields and helping a lot in solving complex problems. Altogether, the thesis is
determined to research with the topic "Rate optimization for intelligent reflecting
surface aided MISO systems using deep reinforcement learning".
First, this thesis introduces an overview of the development of mobile data traffic
and some features of 6G technology; then mentioned the IRS and deep reinforcement
learning (DRL) from which to define the research topic. Then, the thesis presents the
theoretical foundation, including some concepts and technologies such as IRS, DRL,
DDPG algorithm, some basic theories, etc and mathematics background. Next, the
thesis solves the problem of optimizing the total data rate in the multi-user MISO
system using the reflective surface by both approaches, according to the traditional
optimal solution method and the other method using reinforcement deep learning. For
the two methods, mathematical models, programming algorithms, proposed solutions
and simulation results are provided. Through simulation results, some comparisons
and comments will also be performed to evaluate the ability and quality of results of
both methods. Finally, the thesis summarizes the works done and proposes future
research.

iii



Luận văn thạc sĩ

Thực hiện: Trần Hữu Tuân

LỜI CAM ĐOAN
Tôi tên là Trần Hữu Tuân, học viên Thạc sĩ chuyên ngành Kỹ thuật Điện tử Viễn Thơng, khóa 2021, tại Đại học Quốc gia Thành phố Hồ Chí Minh – Trường Đại
học Bách Khoa. Tôi xin cam đoan những nội dung sau đây đều là sự thật:
• Cơng trình nghiên cứu này hồn tồn do chính tơi thực hiện;
• Các tài liệu và trích dẫn trong luận văn này được tham khảo từ các nguồn
thực tế, có uy tín và độ chính xác cao;
• Các số liệu và kết quả của cơng trình này được tơi thực một các độc lập và
trung thực.

TP. Hồ Chí Minh, tháng 06 năm 2023.

Trần Hữu Tuân

iv


Luận văn thạc sĩ

Thực hiện: Trần Hữu Tuân

MỤC LỤC
CHƯƠNG 1. GIỚI THIỆU CHUNG ................................................................................ 1
1.1.


ĐẶT VẤN ĐỀ ............................................................................................................ 1

1.1.1.

Tốc độ tăng trưởng của dịch vụ dữ liệu di động trên mạng viễn thông ......... 1

1.1.2.

Công nghệ truyền thông không dây thế hệ thứ 6 ........................................... 4

1.2.

LÝ DO CHỌN ĐỀ TÀI ................................................................................................ 8

1.3.

MỤC TIÊU CỦA LUẬN VĂN ....................................................................................... 8

1.4.

PHƯƠNG PHÁP VÀ PHẠM VI NGHIÊN CỨU ................................................................. 9

1.4.1.

Phạm vi và đối tượng nghiên cứu .................................................................. 9

1.4.2.

Phương pháp nghiên cứu ............................................................................... 9


1.5.

BỐ CỤC CỦA LUẬN VĂN ........................................................................................ 10

CHƯƠNG 2. CƠ SỞ LÝ THUYẾT................................................................................. 11
2.1.

KÊNH TRUYỀN TRONG HỆ THỐNG VIỄN THÔNG...................................................... 11

2.2.

BỀ MẶT PHẢN XẠ THÔNG MINH ............................................................................. 12

2.3.

HỌC SÂU TĂNG CƯỜNG – DEEP REINFORCEMENT LEARNING ................................. 17

2.3.1.

Tổng quát về học sâu tăng cường ................................................................ 17

2.3.2.

Các thuật ngữ cơ bản trong học tăng cường ................................................ 18

2.3.3.

Các đặc điểm chính của học sâu tăng cường ............................................... 19

2.4.


GIẢI THUẬT DEEP DETERMINISTIC POLICY GRADIENT ......................................... 21

2.4.1.

Giới thiệu chung về DDPG .......................................................................... 21

2.4.2.

Chi tiết giải thuật.......................................................................................... 21

2.5.

KẾT LUẬN CHƯƠNG............................................................................................... 25

CHƯƠNG 3. TỐI ƯU TỐC ĐỘ DỮ LIỆU TRONG HỆ THỐNG MISO ĐA NGƯỜI
DÙNG CÓ SỰ HỖ TRỢ CỦA IRS .................................................................................. 26
3.1.

GIỚI THIỆU VẤN ĐỀ TỐI ƯU TỐC ĐỘ DỮ LIỆU TRONG HỆ MISO-IRS....................... 26

3.2.

MÔ TẢ VẤN ĐỀ ...................................................................................................... 28

3.3.

PHƯƠNG ÁN TIẾP CẬN SỬ DỤNG LỜI GIẢI TOÁN TỐI ƯU .......................................... 29

3.3.1.


Bài toán con số 1 .......................................................................................... 30

3.3.2.

Bài toán con số 2 .......................................................................................... 33

3.4.

PHƯƠNG ÁN TIẾP CẬN SỬ DỤNG DEEP REINFORCEMENT LEARNING ...................... 40

v


Luận văn thạc sĩ
3.4.1.
3.5.

Thực hiện: Trần Hữu Tuân

Triển khai giải thuật DDPG ......................................................................... 41

KẾT LUẬN CHƯƠNG............................................................................................... 46

CHƯƠNG 4. MÔ PHỎNG VÀ KẾT QUẢ ..................................................................... 47
4.1.

XÂY DỰNG MÔI TRƯỜNG ....................................................................................... 47

4.2.


KẾT QUẢ VÀ NHẬN XÉT ......................................................................................... 49

4.3.

KẾT LUẬN CHƯƠNG............................................................................................... 56

CHƯƠNG 5. KẾT LUẬN CHUNG VÀ HƯỚNG PHÁT TRIỂN ................................ 58
5.1.

KẾT LUẬN CHUNG ................................................................................................. 58

5.2.

HƯỚNG PHÁT TRIỂN .............................................................................................. 59

TAI LIỆU THAM KHẢO ................................................................................................. 60

vi


Luận văn thạc sĩ

Thực hiện: Trần Hữu Tuân

DANH SÁCH HÌNH MINH HỌA
Hình 1-1: Số lượng th bao di động tồn cầu [1] ................................................................ 1
Hình 1-2: Tỷ lệ thuê bao di động theo vùng và theo cơng nghệ [1] ...................................... 2
Hình 1-3: Tốc độ phát triển của mạng viễn thông 5G [2]...................................................... 3
Hình 1-4: Các tiêu chuẩn của cơng nghệ 6G [3].................................................................... 5

Hình 1-5: Các yếu tố chính cấu thành nên cơng nghệ mạng 6G [2] ...................................... 6
Hình 2-1: Minh họa cấu tạo một bề mặt phản xạ thông minh [6]........................................ 13
Hình 2-2: Cấu tạo vật lý của các phần tử phản xạ [6].......................................................... 14
Hình 2-3: Minh họa hệ thống thơng viễn thơng có hỗ trợ của IRS ..................................... 15
Hình 2-4: Minh họa một hệ thống MISO đa người dùng có hỗ trợ bởi IRS ....................... 16
Hình 2-5: Tương tác giữa Agent và Environment trong reinforcement learning [7] .......... 19
Hình 3-1: Mơ tả trực quan bằng hình ảnh của mơ hình tốn ............................................... 28
Hình 4-1: Đường cong huấn luyện ở kênh thứ 10 (trái) và thứ 5000 (phải)........................ 49
Hình 4-2: Đường cong huấn luyện ở kênh thứ 10.000 ........................................................ 49
Hình 4-3: Đường cong huấn luyện trung bình ..................................................................... 50
Hình 4-4: Sum rate của hai phương pháp khi 𝑀 = 4, 𝐾 = 4, 𝑃𝑡 = 0𝑑𝐵𝑚 ......................... 51
Hình 4-5: Sum rate của hai phương pháp khi 𝑀 = 8, 𝑁 = 32, 𝐾 = 8 ................................ 53
Hình 4-6: Sum rate của phương pháp dùng DRL khi thay đổi M, N, K.............................. 55
Hình 4-7: Sum rate của hai phương pháp khi thay đổi M, N, K .......................................... 55

vii


Luận văn thạc sĩ

Thực hiện: Trần Hữu Tuân

DANH SÁCH BẢNG SỐ LIỆU
Bảng 2-1: Tổng hợp một số giải thuật DRL tiêu biểu [8] .................................................... 20
Bảng 4-1: Sum rate khi tính trung bình của 50 kênh ........................................................... 51
Bảng 4-2: Sum rate khi tính trung bình của 50 kênh khi cơng suất phát thay đổi ............... 52
Bảng 4-3: Tổng hợp kết quả mô phỏng ............................................................................... 54

viii



Luận văn thạc sĩ

Thực hiện: Trần Hữu Tuân

CHƯƠNG 1.

GIỚI THIỆU CHUNG

Chương này trình bày những vấn đề nền tảng làm cơ sở và động lực nghiên cứu
cho luận văn. Cụ thể, Phần 1.1 đề cập quá trình tăng trưởng thực tế của nhu cầu sử
dụng dữ liệu di động hiện nay và những tiềm năng của công nghệ truyền thông khơng
dây thế hệ thứ 6; từ đó hình thành nên động lực nghiên cứu cho luận văn ở Phần 1.2.
Tiếp theo, mục tiêu của luận văn được trình bày trong Phần 1.3 và cuối cùng, Phần
1.4 mô tả đối tượng và phạm vi nghiên cứu của luận văn.

1.1.

Đặt vấn đề

1.1.1. Tốc độ tăng trưởng của dịch vụ dữ liệu di động trên
mạng viễn thơng

Hình 1-1: Số lượng th bao di động toàn cầu [1]

Đã hơn 2 năm từ khi thế giới đón nhận cú sốc về đại dịch Covid-19, thời điểm
hiện tại các hoạt động sinh hoạt và sản xuất kinh doanh đã phần nào trở lại nhịp độ
1



Luận văn thạc sĩ

Thực hiện: Trần Hữu Tuân

bình thường. Tuy nhiên đại dịch đã thay đổi rất nhiều thói quen của con người, một
trong số là sự gia tăng của nhu cầu được kết nối không dây tốc độ cao nhằm cung cấp
cho con người các giải pháp giúp thực hiện làm việc và giao tiếp từ xa.
Cũng vì động lực lớn như vậy mà chính những ảnh hưởng của đại dịch đã thúc
đẩy ngành công nghệ viễn thông phá triển. Các thống kê vẫn cho thấy rằng nhu cầu
kết nối vào mạng di động của người dùng là rất lớn và không ngừng phát triển.
Theo báo cáo hằng năm của Ericsson, đối tác hàng đầu thế giới trong cung cấp
thiết bị lõi các mạng viễn thơng di động, thì tới nữa đầu năm 2022, thế giới có tổng
khoảng 8,2 tỷ thuê bao di động, trong đó phần lớn vẫn là các thuê bao công nghệ 4G,
tỷ trọng thuê bao 5G chỉ chiếm khoảng 8% tương ứng 660 triệu thuê bao. Nhưng
mạng 5G được dự báo là sẽ có sự phát triển cực kỳ mạnh mẽ và Ericsson ước tính
rằng đến năm 2027 tổng số thuê bao mạng 5G đạt 4.4 tỷ thuê bao trên tổng số 8.9 tỷ
thuê bao trên tồn thế giới, tương ứng đạt 49%.

Hình 1-2: Tỷ lệ thuê bao di động theo vùng và theo công nghệ [1]

Tốc độ phát triển phụ thuộc rất nhiều vào trình độ khoa học, cơng nghệ từng khu
vực. Ta có thể thấy rằng, xét trong năm 2020, trong khi mạng 4G thể hiện sự thống
trị ở hầu hết các khu vực khảo sát thì ở những khu vực chậm tiến như châu Phi HạSahara hay Trung Đông và Bắc Phi, mạng 2G và 3G vẫn còn chiếm đa số. Đến năm
2026, ta sẽ thấy mạng 5G sẽ xâm nhập và phát triển ở mọi khu vực trên thế giới, với
2


Luận văn thạc sĩ

Thực hiện: Trần Hữu Tuân


mức độ phổ biến tăng dần theo các khu vực từ trái sang phải như trên biểu đồ. Trong
đó, Bắc Mĩ, Hội đồng Hợp tác Vùng Vịnh, Tây Âu và Đông Bắc Á và các khu vực
tiên phong trong việc thương mại hóa 5G.
Như vậy, với tốc độ này, có thể khẳng định rằng mạng 5G cho thấy một sự phát
triển nhanh chưa từng có khi so với các cơng nghệ mạng di động trước đây. Điều này
là minh chứng cho sự phù hợp của công nghệ 5G với các yêu cầu thực tế của xã hội
hiện đại.

Hình 1-3: Tốc độ phát triển của mạng viễn thông 5G [2]

Sự phát triển nhanh này cho thấy nhiều triển vọng và nhiều cơ hội trong phát triển
kinh tế và công nghệ. Tuy nhiên, cơ hội bao giờ cũng đi kèm với thách thức, ở thời
điểm hiện tại có thể nói Việt Nam vẫn đi theo kịp nhịp độ của công nghệ truyền thông
không dây thế hệ thứ 5. Nhưng nếu khơng chuẩn bị và có quá trình nghiên cứu trước,
chỉ trong hơn 5 năm tới, công nghệ truyền thông không dây thế hệ thứ 6 (6G) sẽ lại
bùng nổ như cách mà mạng 5G đã và đang càn quét mọi lĩnh vực của đời sống. Do
đó, trong vài năm gần đây, các nhà nghiên cứu trên khắp thế giới đã đặt những viên
gạch đầu tiên để tìm hiểu và phát triển các cơng nghệ lõi về công nghệ truyền thông
không dây thế hệ thứ 6 (hay 6G). Và vì vậy, để khơng tránh bị lỡ nhịp như các quốc

3


Luận văn thạc sĩ

Thực hiện: Trần Hữu Tuân

gia khu vực châu Phi trong kỷ nguyên 5G, chúng ta, những nhà nghiên cứu Việt Nam
cũng đã bắt đầu hướng sự chú ý của mình vào lĩnh vực nghiên cứu này.


1.1.2. Cơng nghệ truyền thông không dây thế hệ thứ 6
Truyền thông không dây thế hệ thứ 5 (5G) đã, đang và sẽ đem đến nhiều tiện ích
cho cuộc sống, 5G nhanh chóng trở thành nhân tố chính trong thúc đẩy q trình số
hóa nền kinh tế và xã hội, đẩy nhanh sự phát triển của các cơng nghệ tự động hóa và
tích hợp trí tuệ nhân tạo. Tuy nhiên, vì các yêu cầu về kỹ thuật và nhu cầu của con
người ngày một tăng nhanh và một lúc nào đó sẽ vực khả năng đáp ứng của cơng
nghệ 5G. Do đó, trong vài năm gần đây, các nhà nghiên cưu đã bắt đầu tìm hiểu về
cơng nghệ truyền thơng khơng dây thế hệ thứ 6 (hay 6G). Dự kiến, 6G sẽ ra mắt vào
năm 2030 theo chu trình 10 năm của các thế hệ di động [2].
Các tiêu chuẩn của mạng 6G:
•

Tốc độ dữ liệu đỉnh của 6G phải đạt ít nhất 1 Tbps.

•

Hiệu suất phổ và hiệu suất năng lượng tăng 2 lần so với 5G.

•

Độ trễ giảm từ 1 ms đến 0.1 ms.

•

Độ tin cậy tăng từ 10-5 đến 10-7.
Đó cũng là những yêu cầu của một số ứng dụng như extended reality (XR), Brain

- Computer Interactions (BCI), Connected Robotics and Autonomous Systems
(CRAS), Blockchain and Distributed Ledger Technologies (DLT).

Sự so sánh các tiêu chuẩn của 6G so với 5G được thể hiện qua biểu đồ mạng nhện
ở bên dưới.

4


Luận văn thạc sĩ

Thực hiện: Trần Hữu Tuân

Hình 1-4: Các tiêu chuẩn của công nghệ 6G [3]

Hiện nay, nhiều công nghệ, giải pháp đã và đang được nghiên cứu để đáp ứng
các tiêu chuẩn của 6G . Ta điểm qua một vài công nghệ và đặc điểm nổi bật trong
kiến trúc của mạng 6G có thể được kể đến như sau:
Air Interface:
Công nghệ 6G sẽ tập trung vào dải tần terahertz đồng nghĩa việc các băng thơng
cực rộng sẽ có thể được sử dụng từ đó đặt ra các thử thách về phương pháp tương tác
hiệu quả với dải tần này. Trong các phổ tần số mới này, sự cân bằng giữa hiệu suất
phổ, hiệu suất công suất và vùng phủ sóng sẽ đóng một vai trị quan trọng trong việc
phát triển kênh liên lạc. Điều này dẫn đến các u cầu mới trong thiết kế các mơ hình
giao diện vơ tuyến mới, nơi mà các mơ hình hệ thống đơn sóng mang (single-carrier)
được chú trọng hơn.

5


Luận văn thạc sĩ

Thực hiện: Trần Hữu Tuân


Hình 1-5: Các yếu tố chính cấu thành nên cơng nghệ mạng 6G [2]

Nhiều nhà nghiên cứu đã đề xuất các phương án sử dụng các mơ hình mạng đa
truy cập khơng trực giao non-orthogonal multiple access (NOMA) cho các hệ thống
mạng di động B5G/6G. Trong NOMA, tất cả người dùng được phép truy cập toàn bộ
tài nguyên (băng tần) một cách đồng thời. Một số nghiên cứu khác lại đề xuất các mơ
hình đa truy cập phân chia theo tỷ lệ - rate-splitting multiple access - (RSMA) như
một công nghệ truy cập mới cho các hệ thống truyền thông 6G.
Băng Tần:
Trong 6G, ý tưởng sử dụng các băng tần này hiện đang không được sử dụng cho
bất kỳ kênh truyền thông vô tuyến nào đề xuất, tức là sử dụng đồng thời dải mmWave,
THz và phổ ánh sáng khả kiến. Tuy nhiên, vấn đề mới phát sinh là đối với dải tần cao
tín hiệu bị suy giảm rất nhanh theo khoảng cách truyền đi. Ví dụ, một BS 3G hoặc
4G có thể có phạm vi phủ sóng khoảng vài kilomet trong khi phạm vi phủ sóng của
BS 5G hoặc 6G có thể bị giới hạn chỉ trong vài trăm mét. Để giải quyết vấn đề này
trong truyền tin dùng mmWave và THz, ý tưởng được sử dụng là sử dụng các công
nghệ MIMO và Beamforming tân tiến hơn.

6


Luận văn thạc sĩ

Thực hiện: Trần Hữu Tuân

Artifcial intelligence/machine learning (Artificial Intelligence, AI):
AI cung cấp "trí khơn" và tính tự động cho các hệ thống, cũng là điều mà 6G
hướng đến. Do đó AI có thể được xem là một trong những cơng nghệ thiết yếu và có
giá trị cao trong tương lai của mạng không dây. Khi được huấn luyện tốt, các mơ hình

sẽ có khả năng ra quyết định (việc có thể rất phức tạp đối với con người) một cách
nhanh và chính xác.
Advanced beamforming:
Bề mặt phản xạ thông minh (Intelligent Reflecting Surfaces, IRS).
IRS sử dụng các phần tử phản xạ thụ động để phản xạ lại tín hiệu một cách "thông
minh" nhằm cải thiện nhiều yếu tố như tốc độ dữ liệu, hiệu suất phổ, hiệu suất năng
lượng,... Chi tiết về công nghệ IRS sẽ được nêu rõ trong chương 2. Ngồi IRS cịn
một số các cơng nghệ khác cũng được đề cập như:
Massive MIMO không - tế bào (Cell-Free Massive MIMO) - nhược điểm của
mạng không dây theo cấu trúc tế bào là tín hiệu của những thiết bị nằm ở rìa của tế
bào khá yếu, và vì thế, thay vì để mỗi tế bào có một trạm gốc phục vụ, người ta bỏ đi
dạng tế bào và cho toàn bộ trạm gốc phục vụ tất cả thiết bị trong khu vực ấy.
Orbital angular momentum (OAM) aided MIMO: Orbital angular momentum
là đặc tính mới của sóng điện từ (EW) được phát hiện vào những năm 1990 được tạm
dịch là mô men động lượng quỹ đạo (OAM). Khám phá này hứa hẹn việc truyền
nhiều luồng dữ liệu trên cùng một kênh khơng gian. Bởi vì các trạng thái OAM là vô
hạn về mặt lý thuyết và tồn tại tính trực giao tự nhiên giữa các trạng thái OAM khác
nhau. Nên khi áp dụng kỹ thuật OAM ta có thể nâng cao hiệu suất phổ và khả năng
truyền tải mà không cần sử dụng thêm tài nguyên (tức là tần số, thời gian và công
suất) khi so sánh với việc đơn thuần thực hiện đa truy cập trong khơng gian. Do đó
mà OAM có tiềm năng lớn cho các ứng dụng trong mạng không dây 6G.

7


Luận văn thạc sĩ

Thực hiện: Trần Hữu Tuân

Tính đồng bộ với các cơng nghệ trước đó:

Tính đồng bộ giữa mạng 6G và các cơng nghệ trước đó vừa là u cầu vừa là
thách thức khi triển khai mạng 6G. Lý do là bởi vì kết hợp q nhiều cơng nghệ tân
tiến sẽ khiến khoảng cách giữa 6G và các công nghệ truyền thống trở nên khó có thể
lấp đầy. Cần đảm bảo người dùng có thể dễ dàng chuyển đổi từ kết nối 6G xuống các
mức thấp hơn 5G/4G và kể cả là 2G khi cần thiết. Không những thế, để phát huy tối
đa sức mạnh của 6G cũng cần đảm bảo 6G không làm ảnh hưởng đến khả năng kết
nối của các chuẩn không dây khác như WiFi, Bluetooth, Ultra – Wide Band, Visible
light communication (VLC), … Các yêu cầu này không chỉ giúp người dùng dễ dàng
tiếp nhận và tạo môi trường tương tác thân thiện mà con giúp các bên triển khai dịch
vụ viễn thông tiếp kiệm chi phí và giảm thời gian chuyển đổi dịch vụ cung cấp từ
4G/5G sang 6G.

1.2.

Lý do chọn đề tài

Những phân tích ở các phần trên đã cho thấy tầm quan trọng của việc nghiên cứu
về 6G và các công nghệ tiềm năng. Trong đó tơi đặc biệt có hứng thú với bề mặt phản
xạ thông minh và việc ứng dụng AI, machine learning/Deep learning và hệ thống
mạng viễn thông. Với tinh thần này, luận văn xác định đề tài nghiên cứu là "Tối ưu
tốc độ dữ liệu trong hệ thống MISO có sự hỗ trợ của bề mặt phản xạ thông minh
dùng học sâu tăng cường".

1.3.

Mục tiêu của luận văn

Luận văn dự kiến đạt được những mục tiêu sau:
• Cung cấp cái nhìn tổng quan về truyền thơng khơng dây 6G; công nghệ
IRS và về học sâu tăng cường deep reinforcement learning.

• Đưa mơ hình tốn, đề xuất phương án và mơ phỏng kết quả của bài tốn
tối ưu tổng tốc độ dữ liệu trong hệ thống MISO đa người dùng có sự hỗ trợ
của IRS theo phương án lời giải tối ưu truyền thống.
8


Luận văn thạc sĩ

Thực hiện: Trần Hữu Tuân

• Đề xuất giải thuật, lập trình và mơ phỏng cùng bài tốn trên theo hướng
tiếp cận bằng phương pháp sử dụng học sâu tăng cường.
• So sánh, đối chiếu, nhận xét kết quả mô phỏng nhằm đánh giá khả năng
cũng như chất lượng của lời giải theo phương pháp học sâu tăng cường và
lời giải tối ưu truyền thống.

1.4.

Phương pháp và phạm vi nghiên cứu

1.4.1. Phạm vi và đối tượng nghiên cứu
Luận văn tập trung nghiên cứu hệ thống MISO đa người dùng có sự hỗ trợ của
IRS. Trong đó nhấn mạnh vào vấn đề tối ưu tổng tốc độ dữ liệu, phương án tiếp cận
xoay quanh phương pháp dùng lời giải tối ưu và ứng dụng giải thuật lập trình học sâu
tăng cường. Phạm vi được giới hạn trong điều kiện trạng thái thông tin kênh truyền
(CSI) đã được biết tại trạm phát, các thành phần phần cứng là lý tưởng và IRS khơng
suy hao và có thể tạo độ lệch pha liên tục.

1.4.2. Phương pháp nghiên cứu
Các nghiên cứu trong luận văn này được phát triển tiếp nối từ một số cơng trình

trước đây. Cụ thể, tác giả xem xét các bài toán được nêu ra trong các nghiên cứu này,
phân tích ưu nhược điểm và tìm hiểu những khía cạnh chưa được khai thác. Từ đó,
tác giả xây dựng một số mơ hình khác, đề xuất các phương pháp mới phù hợp hoặc
kết hợp các phương pháp đã có để tạo tiền đề so sánh và nhận xét. Do hạn chế chi phí
và nguồn lực, luận văn sẽ chỉ thực hiện các mơ phỏng trên máy tính làm căn cứ để
đánh giá và so sánh các giải thuật, tác giả tự thấy đây sẽ là một hạn chế lớn của luận
văn.

9


Luận văn thạc sĩ

1.5.

Thực hiện: Trần Hữu Tuân

Bố cục của luận văn

Luận văn sẽ bao gồm các chương có thứ tự và nội dung chính như sau:
• Chương 1: Trình bày những vấn đề cơ bản làm nền tảng cho động lực nghiên
cứu của luận văn.
• Chương 2: Trình bày các lý thuyết và khái niệm cơ bản của hệ thống MISOIRS, về học sâu tăng cường và về giải thuật DDPG.
• Chương 3: Giải quyết bài tốn tối ưu tổng tốc độ dữ liệu trong hệ MISO-IRS
bằng phương pháp giải tốn tơi ưu truyền thống cũng như bằng phương pháp
áp dụng giải thuật DDPG.
• Chương 4: Trình bày q trình mơ phỏng, kết quả thu được cũng như nhận xét
và đánh giá về hai phương pháp đã thực hiện ở chương 3.
• Chương 5: Tổng kết lại các vấn đề đã được đề cập trong luận văn và đề xuất
các hướng phát triển cho luận văn.


10


Luận văn thạc sĩ

Thực hiện: Trần Hữu Tuân

CHƯƠNG 2.

CƠ SỞ LÝ THUYẾT

Chương này đề cập đến một số lý thuyết cơ bản để giải quyết các bài toán được
đặt ra ở các chương sau. Cụ thể, Phần 2.1 mô tả các loại kênh truyền trong hệ thống
viễn thông. Tiếp theo, Phần 2.2 giới thiệu sơ lược về bề mặt phản xạ thơng minh sau
đó, Phần 2.3 trình bày các lý thuyết cơ bản về học sâu tăng cường và cuối cùng Phần
2.4 sẽ giới thiệu giải thuật Deep Deterministic Policy Gradient.

2.1.

Kênh truyền trong hệ thống viễn thông

Kênh truyền giữa bên phát và bên thu được chia làm hai loại: line-of-sight
(LoS) và non-line-of-sight (NLoS) [4].
Kênh truyền LoS là trường hợp khi bên phát và bên thu "thấy" nhau. Ngoài ra,
giả định rằng ta đang ở trong một không gian tự do (free space), tức khơng có vật thể
khác có thể phản xạ hay tán xạ lại tín hiệu. Khi xét trường hợp MISO: bên phát gồm
một anten truyền tín hiệu đến một dãy gồm M anten tuyến tính đồng nhất (uniform
linear array, ULA), tức M anten thẳng hàng và hai anten kề nhau cách nhau một
khoảng ∆ = 𝜆𝑑𝐻. Trong thực tế, thông thường khoảng cách giữa bên phát và bên thu

lớn hơn nhiều so với kích thước của dãy anten (far-field), nên ta có thể xem khoảng
cách từ bên phát đến mọi anten thu xấp xỉ bằng nhau. Tuy sóng phát ra lan truyền với
dạng cầu, nhưng khi tiếp cận các anten thu, nó hầu như là phẳng. Những giả sử này
cho phép ta tính độ lệch pha của tín hiệu khi đến các anten dễ dàng hơn. Cụ thể, lấy
anten đầu tiên làm chuẩn với góc tới 𝜑, độ lệch pha giữa nó và anten thứ m là
2𝜋 (𝑚 − 1) ∆ 𝑠𝑖𝑛(𝜑)/𝜆. Từ quan sát trên, ta dễ dàng tìm được vector kênh truyền
LoS MISO 𝑔 ∈ ℂ𝑀×1 như sau:
𝑇

𝒈 = √𝛽[1𝑒 −𝑗2π𝑑𝐻 sin 𝜙 … 1𝑒 −𝑗2π𝑑𝐻 (𝑀−1) sin 𝜙 ]
trong đó 𝛽 là độ lợi kênh truyền [4].

11

(2.1)


Luận văn thạc sĩ

Thực hiện: Trần Hữu Tuân

Kênh truyền NLoS, ngược lại, là trường hợp khi bên phát và bên thu không thấy
nhau, tức không tồn tại đường truyền LoS. Tuy nhiên, mơi trường truyền dẫn có rất
nhiều vật thể có thể tán xạ lại tín hiệu và ta chỉ xét các tín hiệu được tán xạ một lần.
Xét trường hợp cả bên phát và bên thu chỉ có 1 anten. Giả sử tín hiệu từ bên phát đến
bên thu theo L đường, mỗi đường có thể xem là LoS với quãng đường di , 𝑖 =
1, . . . , 𝐿. Đáp ứng kênh truyền là tổng theo L đường này [4]:
𝐿

𝒈 = ∑ √𝛼𝑖 𝑒 −𝑗2𝜋


𝑑𝑖 −𝑑
𝜆

(2.2)

𝑖=1

Giả sử các độ lợi và độ dịch pha theo L đường này là các biến ngẫu nhiên độc lập
và có phân bố giống nhau (independent and identically distributed, i.i.d) Khi L đủ
lớn, theo định luật giới hạn trung tâm, 𝑔 sẽ có phân bố Gaussian [4]:
𝒈 ∼ 𝒞 𝒩 (0, 𝛽)

(2.3)

Mơ hình này cịn được gọi là Rayleigh fading bởi |𝑔| có phân bố Rayleigh và
|𝑔|2 có phân bố mũ. Khái quát lên với trường hợp MISO khi bên phát có M anten ta
có

[4]:
𝒈 ∼ 𝒞 𝒩 (0, 𝛽Ι𝑀 )

(2.4)

Trên thực tế, kênh truyền LoS và NLoS có thể cùng tồn tại giữa bên thu và bên
phát, trong trường hợp đó ta có kênh truyền Rician và được biểu diễn như sau:

𝐆= √

𝒦

1
𝐆𝑳𝒐𝑺 + √
𝐆𝑵𝑳𝒐𝑺
1+𝒦
1+𝒦

(2.5)

trong đo 𝒦 được gọi là hệ số Rician [4].

2.2.

Bề mặt phản xạ thông minh

Massive MIMO là một công nghệ tiêu biểu của truyền thông không dây 5G. Với
công nghệ này, các trạm gốc được trang bị một mảng gồm ít nhất 64 anten nhằm định

12


Luận văn thạc sĩ

Thực hiện: Trần Hữu Tuân

hướng chùm tia tín hiệu (beamforming) đến bất kì vị trí nào trong tế bào một cách
chính xác và cho phép ghép kênh không gian (spatial multiplexing) giữa các thiết bị
đầu cuối. Mặc dù giúp cải thiện đáng kể hiệu năng của hệ thống, Massive MIMO vẫn
có một số nhược điểm lớn như chi phí phần cứng cao, tiêu hao nhiều năng lượng.
Điều này càng thể hiện rõ khi Massive MIMO hoạt động ở băng mmWave hay
terahertz, cần sự hỗ trợ của các chuỗi RF (radio frequency) và các tiến trình xử lý tín

hiệu phức tạp. Hơn nữa, việc có q nhiều thành phần hoạt động như relay, remote
radio head cũng gây ra can nhiễu trầm trọng [5].
Trong những nỗ lực tìm kiếm các phương pháp cải thiện hiệu suất phổ và năng
lượng, đồng thời hạ thấp chi phí của hệ thống, trong thời gian gần đây, người ta đặc
biệt chú ý đến bề mặt phản xạ thông minh (IRS). Về cơ bản, IRS là một bề mặt hai
chiều gồm các phần tử thụ động, chi phí thấp có khả năng tạo ra một độ dịch pha trên
sóng tới, từ đó thay đổi cách thức lan truyền của sóng phản xạ. Cần lưu ý rằng, IRS
không phải là thành phần của bên phát hay bên thu, mà là một thành phần điều khiển
được của môi trường truyền dẫn với nhiệm vụ duy nhất là phản xạ lại tín hiệu đến
một cách "thụ động"; do đó cơng suất tiêu thụ của IRS là khơng đáng kể và có thể bỏ
qua. Hiện nay, việc sử dụng siêu vật liệu (metamaterial) để chế tạo IRS giúp điều
chỉnh được độ dịch pha ngay trong thời gian thực.

Hình 2-1: Minh họa cấu tạo một bề mặt phản xạ thông minh [6]

13


Luận văn thạc sĩ

Thực hiện: Trần Hữu Tuân

Về mặt cấu tạo, bề mặt phản xạ thông minh là một bề mặt 2 chiều, tập hợp một
lượng lớn các phần tử phản xạ nữa bước sóng (sub-wavelength reflecting) – có thể
hiểu chúng là các anten siêu nhỏ có hình dáng như các miếng chip. Mỗi phần tử phản
xạ được kết nối với một chip có thể điều chỉnh để thay đổi trở kháng tải của nó như
một varactor. Chúng ta có kiểm soát điện áp phân cực của các varactor dẫn đến trở
kháng tải có thể điều chỉnh liên tục và tạo ra sự dịch chuyển pha liên tục.
Ngồi ra có thể mắc thêm biến trở để thay đổi biên độ hệ số phản xạ, từ đó, chúng
ta dễ dàng kiểm soát hệ số phản xạ (gồm cả biên độ và pha) của từng phần tử phản

xạ riêng lẻ.

Hình 2-2: Cấu tạo vật lý của các phần tử phản xạ [6]

Những đặc điểm riêng biệt này khiến cho truyền thơng có sự hỗ trợ của RIS trở
thành công nghệ độc đáo, khắc phục các điểm yếu còn tồn đọng của hệ thống thơng
tin liên lạc truyền thống.
IRS có khả năng cung cấp các chức năng như: mở rộng vùng phủ sóng, khử nhiễu,
đảm bảo độ tin cậy, tăng sự bảo mật, tối ưu hóa kênh truyền, nâng cao hiệu suất phổ,
tiết kiệm năng lượng, đáp ứng các yêu cầu về tốc độ truyền dữ liệu của người dùng
và chất lượng dịch vụ, góp phần nâng cao hiệu năng chung của tồn bộ hệ thống
truyền thông không dây. Các kịch bản ứng dụng của RIS khá đa dạng, từ hệ thống
Wi-Fi chia sẻ phương tiện đến vùng mmWave và THz, thậm chí cả truyền thông
quang học, bao phủ dải tần băng thông rộng, v.v…

14