áp dụng giải thuật học kết hợp trong học máy cho dự báo phụ tải điện
Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (7.41 MB, 101 trang )
<span class="text_page_counter">Trang 1</span><div class="page_container" data-page="1">
<b>LUẬN VĂN THẠC sĩ</b>
THÀNH PHỐHỒ CHÍ MINH, NĂM 2024
</div><span class="text_page_counter">Trang 2</span><div class="page_container" data-page="2">Cơng trình được hồn thànhtại Trường Đại học Cơng nghiệp TP. Hồ Chí Minh.
Người hướng dẫn khoa học: TS.<b> TrầnThanh Ngọc</b>
Luận văn thạc sĩđược bảo vệ tại Hội đồng chấm bảo vệ Luận văn thạc sĩ Trường Đại
học Cơng nghiệp thành phố HồChí Minh ngày 23 tháng 3 năm 2024
Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm:
1. PGS.TS. Châu Minh Thuyên - Chủ tịch Hội đồng
2. PGS.TS. Nguyễn Hùng - Phản biện 1
3. PGS.TS. Nguyễn VănNhờ Phản biện 2
4. TS. Nguyễn Thanh Thuận - ủy viên
5. TS. Lê Văn Đại - Thư ký
</div><span class="text_page_counter">Trang 3</span><div class="page_container" data-page="3">BỘ CÔNG THƯƠNG <b>CỘNG HỊA XÃHỘI CHỦ NGHĨA VIỆTNAMTRƯỜNG ĐẠI HỌCCƠNG NGHIỆP Độc lập -Tự do - Hạnhphúc</b>
<b>THÀNH PHỐ HỊ CHÍMINH</b>
<b>NHIỆM VỤ LUẬN VĂN THẠC sĩ</b>
Họ têntác giả:<b> Nguyễn Đức Trọng</b>
Ngày, tháng, năm sinh:
Ảp dụng giải thuật học kết hợp trong học máy cho dự báo phụ tải điện.
<b>NHIỆM VỤVÀ NỘI DUNG:</b>
- Nghiên cứu ứngdụng giải thuậthọc kết hợp.
- Nghiên cứu ngơn ngữ lập trình python,ứngdụng vào chuỗi thời gian.
- Nghiên cứu giải thuật lập trình và xây dựng mơ hình dự báo phụ tải cho 5 bang:
New South Wales, Queensland, South Australia, Tasmania và Victoriacủanước úc.
<b>II. NGÀY GIAO NHIỆM VỤ: </b>TheoQĐ số 880/QĐ-ĐHCN ngày 13/4/2022.
<b>III. NGÀYHOÀN THÀNH NHIỆM VỤ:</b>
<b>IV. NGƯỜI HƯỚNG DẪN KHOA HỌC: TS.TrầnThanh Ngọc</b>
<b>NGƯỜI HƯỚNG DẪN</b>
<i>(Họtên và chữ ký)</i>
<i>Tp. Hồ ChíMinh,ngày ...tháng... năm ..</i>
<b>CHỦ NHIỆM Bộ MÔN ĐÀO TẠO</b>
<i>(Họtên và chữ ký)</i>
<i>(Họtên và chữ ký)</i>
</div><span class="text_page_counter">Trang 4</span><div class="page_container" data-page="4"><b>LỜI CẢM ƠN</b>
Tác giảxin chân thànhcảm ơn TS. TrầnThanh Ngọctrong suốt thời gian qua đãluôn
quantâm giúp đỡ và hướng dẫn tận tình để giúp tácgiảhồn thànhluận văn này. Tácgiả cũng xin chânthành cảm ơn các thầy, cô trong khoa Điện, Trường Đại Học Công
Nghiệp Tp. HCM đãgiúp đỡnhiệt tình và tạo mọi điều kiện giúp tác giảhồn thành luận văn. Do thời gian cịn hạn chế,bản luận văn này chắc chắn khó tránh khỏi thiếu
sót, rất mong được sự góp ý chân thành, thắng thắn của các thầy, cô và các bạn để
luận văn được hoànthiện hơn.
Một lần nữa, tác giảxin chân thành cảm ơn!
</div><span class="text_page_counter">Trang 5</span><div class="page_container" data-page="5"><b>TĨM TẤT LUẬN VĂN THẠC sĩ</b>
Điện đóng một vai trò quan trọng trong cơ sở hạ tầng công nghiệp của các quốc gia,
các công ty điện lực đang cố gắng giám sát và kiểm soát cơ sở hạ tầng để cải thiện việc quản lý và lập kế hoạch năng lượng. Dự báo chính xác là một nhiệm vụ quan
trọng để cung cấp năng lượng an toàn, ổn định và hiệu quả. Nghiên cứu này khảo sát
về các mơ hình của giải thuật học kết hợp trong máy học để phân tích hiệu suất củachúng cho dự báo phụ tải. Các mơ hình được trình bày làXGBoost, LightGBM và
Catboost. Dữ liệu phụ tải điện của 5 bang: New South Wales, Queensland, South Australia, Tasmania và Victoria của nước úc được sử dụng để kiểm tra và so sánh các mơ hình được trình bày. Sai số tuyệt đối trung bình (MAE), sai số bình phương
trung bình (MSE) và sai số phần trămtuyệt đối trung bình (MAPE) được sử dụng để
đánhgiá hiệu suất của các mơ hình.
</div><span class="text_page_counter">Trang 6</span><div class="page_container" data-page="6">Electricity plays a crucial role in the industrial infrastructure of nations, and power
companies are striving to monitor and control the infrastructure to enhance energy management and planning. Accurate forecasting is a critical task to provide safe, stable, and efficient energy. This research survey models of ensemble learning algorithms in machine learning to analyze their performance for load forecasting. Thepresented models include XGBoost, LightGBM, and Catboost. Load data from 5
states in Australia: New South Wales, Queensland, South Australia, Tasmania, andVictoria, is used to test and compare the presented models. Mean Absolute Error
(MAE), Mean Squared Error (MSE), and Mean Absolute Percentage Error (MAPE)
are employed to evaluate the performanceof the models.
</div><span class="text_page_counter">Trang 7</span><div class="page_container" data-page="7"><b>LỜI CAM ĐOAN</b>
Tôi xin cam đoan đây là cơng trình nghiên cứu của bản thân tôi. Các kết quả nghiên
cứu và các kết luận trong luận văn là trung thực, không sao chép từ bất kỳ một nguồn
nàovàdưới bất kỳ hình thứcnào.Việctham khảo các nguồntài liệu (nếucó) đãđượcthực hiện trích dẫn và ghi nguồn tài liệu tham khảo đúng quy định.
<b>NguyễnĐức Trọng</b>
</div><span class="text_page_counter">Trang 8</span><div class="page_container" data-page="8">DANH MỤC BẢNG BIỂU...viii
DANH MỤC TỪ VIẾT TẮT...XMỞ ĐẨU...1
1. Đặtvấn đề...1
2. Mục tiêu nghiên cứu...1
3. Đốitượng và phạm vi nghiên cứu...1
4. Cáchtiếpcận và phương pháp nghiên cứu...1
5. Y nghĩa thực tiễn của đề tài...2
CHƯƠNG 1 TỔNGQUAN VỀ Dự BÁOPHỤ TẢI ĐIỆN...3
1.1 Tổng quan về dự báo phụ tải...3
1.1.1 Khái niệm... 3
1.1.2 Đặc điểm...3
1.1.3 Phân loại dự báo phụ tải...4
1.2 Các phương pháp dự báo... 6
1.2.1 Phương phápngoại suy... 6
1.2.2 Phương pháp hồi quy...7
1.2.3 Phương pháp mạng nơron nhân tạo...8
1.2.4 Phương pháp Prophet...10
1.2.5 Phương pháp GradientBoost...11
1.3 Sai số trong dự báo phụ tải...12
1.3.1 Sai số tuyệt đối trung bình MAE(Mean Absolute Error)...12
1.3.2 Sai số bình phươngtrung bình MSE (Mean SquaredError)...13
</div><span class="text_page_counter">Trang 9</span><div class="page_container" data-page="9">1.3.3 Sai số phần trăm tuyệt đối trung bình MAPE (Mean Absolute Percent
1.4 Giớithiệu về Python vàGoogle Colaboratory...14
1.4.1 Python...14
1.4.2 Google Colaboratory...15
CHƯƠNG 2 GIẢI THUẬT HỌC KẾT HỢP TRONG HỌC MÁY...17
2.1 Giói thiệu về Ensemble learning...17
2.2 Mơ hình XGBoost, LightGBM, và CatBoost... 21
2.2.1 Mơ hình XGBoost...21
2.2.2 Mơ hình LightGBM...27
2.2.3 Mơ hìnhCatBoost...33
2.3 Mơ hình học máy đối sánh...39
2.3.1 Mơ hình Multilayer Perceptron...39
2.3.2 Mơ hình Convolutional Neural Network...41
CHƯƠNG 3 ÁP dụng giải <small>thuật học kết hợp cho </small>Dự BÁOPHỤ TẢI...43
3.1 Mục tiêu thực hiện...43
3.2 Dữ liệu dùng trong dự báo...43
3.3 Xây dựng mơ hình dự báo trên Google Colaboratory...45
3.3.1 Xử lý dữ liệu...45
3.3.2 Xây dựng mơhình...47
3.3.3 Dự báo và kiểm tra sai số...48
CHƯƠNG 4 KẾT QUẢ Dự BÁO PHỤ TẢI...49
4.1 Kết quả dựbáo mộtngày...49
4.2 Kết quả dựbáo mộttuần...60
</div><span class="text_page_counter">Trang 10</span><div class="page_container" data-page="10"><b>DANH MỤC HỈNH ẢNH</b>
Hình 1.1 Các loạidự báo phụ tải điện liên quan đến các khoảng thời gian khác nhau
và các lĩnh vực hoạt động tương ứng...5
Hình 1.2 Cấu tạo của mạng no ron nhân tạo...9
Hình 2.1 Mơ tảtổng qtvề Ensemble learning...17
Hình 2.2 Mơ hình phương pháp Stacking...18
Hình 2.3 Mơ hình phương pháp Blending...19
Hình 2.4 Mơ hình phương pháp Bagging...20
Hình 2.5 Mơ hình phương pháp Boosting...20
Hình 2.6 Minh họa sự khácnhau giữa 2 co chế level-wise và leaf-wise...28
Hình 2.7 Một mạng MLP với 2 lớp ẩn...40
Hình 2.8 Cấu trúc của một mạng CNN...42
Hình 3.1 Các bang và vùng lãnh thổ của nước úc...44
Hình 3.2 Lưu đồ giải thuậtchung của 3 mơ hìnhXGBoost, LightGBM và CatBoostHình 4.1 Kết quả dự báo phụ tải một ngày bang New South Wales...49
Hình4.2 Kết quả dự báo phụ tải một ngày bang Queensland...51
Hình 4.3 Kết quả dự báo phụ tải một ngày bang South Australia...53
Hình4.4 Kết quả dự báo phụ tải một ngày bang Tasmania...55
Hình 4.5 Kết quả dự báo phụ tải một ngày bang Victoria...57
Hình 4.6 Kết quả dự báo phụ tải một tuần bang New South Wales... 61
Hình4.7 Kết quả dự báo phụ tải một tuần bang Queensland...63
Hình 4.8 Kết quả dự báo phụ tải một tuần bang South Australia...65
Hình 4.9 Kết quả dự báo phụ tải một tuần bang Tasmania...67
Hình4.10 Kết quả dự báo phụ tải một tuần bang Victoria...69
Hình4.11 Kết quả dự báo phụ tải mộtthángbang New South Wales...73
Hình 4.12 Kết quả dự báo phụ tải mộtthángbang Queensland...75
Hình 4.13 Kết quả dự báo phụ tải mộtthángbang South Australia...77
Hình4.14 Kết quả dự báo phụ tải mộtthángbang Tasmania...79
Hình 4.15 Kết quả dự báo phụ tải mộtthángbang Victoria... 81
</div><span class="text_page_counter">Trang 11</span><div class="page_container" data-page="11">hình CatBoost...36
Bảng 3.1 Bảng tóm tắt dữ liệu phụ tải 5 bang củanướcúc (MW)...44
Bảng3.2 Kích thước dữliệu dùng cho q trình huấn luyện và kiểm tra mơ hìnhtrong các trường hợp dựbáo...46
Bảng 4.1 Kết quảđánh giá sai số và thời gian dựbáo cácmơhình bang New SouthWales...50
Bảng 4.2 Kết quảđánh giá sai số và thời gian dựbáo cácmơhình bang Queensland
... ...Ĩ....58
Bảng 4.7 Bảng tổng hợp kết quảsai số MSE của các mơ hình (dự báo một ngày)..59 Bảng 4.8 Bảng tổng hợp kết quảsai số MAE của các mơ hình(dự báo một ngày) .59 Bảng 4.9 Bảng tổng hợp thời gian dự báo củacác mơhình(dự báo một ngày)... 59Bảng 4.10 Kết quả đánh giásai số và thời gian dự báo các mơhình bangNew SouthWales... 62
Bảng 4.11 Kết quả đánh giásai số và thời gian dự báo các mơhìnhbang
Bảng 4.14 Kết quả đánh giásai số và thời gian dự báo các mơhình bangVictoria 70
Bảng 4.15 Bảng tổng hợp kết quảsai sốMAPEcủa cácmơ hình (dựbáo mộttuần)
Bảng 4.16Bảng tổng hợp kết quảsai sốMSE của các mơ hình(dự báo mộttuần).71 Bảng 4.17 Bảng tổng hợp kết quảsai sốMAE của các mơ hình(dự báo một tuần) 71 Bảng 4.18Bảng tổng hợp thời gian dự báo của các mơ hình(dự báo một tuần).... 71
</div><span class="text_page_counter">Trang 12</span><div class="page_container" data-page="12">Bảng 4.19 Kết quả đánh giásai số và thời gian dự báo các mơhình bang New SouthWales...74
Bảng 4.20 Kết quả đánh giásai số và thời gian dự báo các mơhìnhbang
Bảng 4.23 Kết quả đánh giá sai số và thời gian dự báo các mơhình bangVictoria 82
Bảng 4.24Bảng tổng hợp kết quảsai sốMAPEcủa cácmơ hình (dựbáo một tháng)
</div><span class="text_page_counter">Trang 13</span><div class="page_container" data-page="13">Artificial Neural Network (Mạng nơ-ron nhân tạo)
Categorical Boosting
Convolutional Neural Network(Mạngnơ-ron tíchchập)
Central ProcessingUnit (Đon vị xử lý trung tâm)
Electrical Energy Demand (Nhu cầu năng lượng điện)
Gradient Boosting Decision Tree
Graphics Processing Unit (Đon vị xử lý đồ họa)
Institute of Electrical and ElectronicsEngineers
Light Gradient Boosting Machine (Máy tăng cường độ dốc nhẹ)
Long Short-Term Memory (Mạng trí nhớ dài-ngắn hạn)
Long-Term Load Forecasting(Dự báo phụ tải dài hạn)
Luận văn Thạc sĩ
Mean Absolute Error
Mean absolute percentage error
Machine Learning (Học máy)
Multilayer PerceptronMean SquaredError
Medium-Term Load Forecasting (Dự báo phụ tải trung hạn)
Neural Network (Mạng noron)
</div><span class="text_page_counter">Trang 14</span><div class="page_container" data-page="14"><b>NSW</b> New South Wales
<b>QLD</b> Queensland
<b>SA</b> SouthAustralia
<b>STLF</b> Short-Term Load Forecasting (Dự báo phụ tải ngắn hạn)
<b>SVM</b> Support Vector Machine(Máy vector hỗ trỡ)
<b>TP. HCM</b> Thành pho Ho Chi Minh
<b>TPU</b> Tensor Processing Unit (Đon vị xử lý Tensor)
<b>VIC</b> Victoria
<b>VSTLF</b> Very Short-Term Load Forecasting (Dự báo phụ tải rất ngắn hạn)
<b>XGBoost</b> Extreme Gradient Boosting (Tăng cường độ dốc cực đại)
</div><span class="text_page_counter">Trang 15</span><div class="page_container" data-page="15"><b>MỞ ĐẨU</b>
<b>1. Đặt vấn đề</b>
Trong nhữngnăm gần đây, các mơ hình học kết hợp như XGBoost, LightGBM và
CatBoostđã được áp dụng rộngrãi vàocác bài toán dựbáo chuỗi thời gian và đãchothấy hiệu suất ấn tượng trong nhiều lĩnh vực. Vì vậy, trong đề tài này tác giả thực hiện áp dụng các mơ hình học kết hợp vào bài tốn dự báo phụ tải. Các mơ hình này được đánh giábằng cách so sánh với các mơ hình dự báo truyền thống như MLP và
CNN. Sai số đánh giá của các dự báo cùng thời gian chạy chưong trình được phân tích để đánh giá hiệu quả củacác mơ hình được đề xuất. Tập dữ liệu về lượng điện tiêu thụ từ các bang New South Wales, Queensland, South Australia, Tasmania và
Victoria, úc đã được sử dụng trong nghiên cứu này, qua việc khảo sátnhiều trườnghợp khác nhau nhằm làm tăng độ tin cậy của kết quả nghiên cứu.
<b>2.Mụctiêu nghiên cứu</b>
- Tìm hiểu giải thuật học kết hợptrong học máy.
- Xây dựng mơ hình dự báo phụ tải cho 5 bang: New South Wales, Queensland,South Australia, Tasmania và Victoria của nước ứcbằng giải thuậthọc kết hợp.
<b>3. Đối tượng và phạmvi nghiên cứu</b>
Đốitượng: Nghiên cứu các giải thuật học kết hợp để giải bài toán dự báo phụ tải và thiết kế mơ hình dự báo phụ tải.
<i>Phạm vi nghiên cứu:</i>
- Tập trung nghiêncứu phụ tải điện 5 bang của nước úc. số liệu dự báo là điện năng tiêu thụ theo giờ, ngày, tháng 5 bang: New South Wales, Queensland, South Australia, Tasmania và Victoria của nước ức.
- Sử dụngcông cụ Google Colaboratory để thiết kế mơ hình dự báo phụ tải.
<b>4. Cách tiếp cận và phươngpháp nghiên cứu</b>
<i>Cách tiếp cận</i>
</div><span class="text_page_counter">Trang 16</span><div class="page_container" data-page="16">- Tham khảo, nghiên cứucác bài báo ứng dụng giải thuậthọc kếthợptronghọc máyđể giảibài toán dự báo phụ tải.
- Sử dụng phần mềm để thiết kế chương trình dự báo phụ tải.
- Phân tích và tổng hợp thuyếtvề ngơn ngữ lập trình python, giải thuậthọc kết hợp trong học máy cho dự báo phụ tải điện.
- Thu thập dữ liệu phụ tải điện tại khu vực 5 bang: New South Wales, Queensland,South Australia, Tasmania và Victoria của nước úc.
- Xây dựng các mơ hình để dự báo phụ tải.
- Thống kê phân tích các kết quả và đưarakết luận.
<b>5. Ý nghĩathực tiễn của đề tài</b>
Kết quả nghiêncứu giúpphân tích và sosánh ưu điểm, nhược điểm, độ chính xáccủa
các giải thuật học kết hợp (XGBoost, Catboost và LightGBM). ứngdụng chúng vàodự báo phụ tải điện.
</div><span class="text_page_counter">Trang 17</span><div class="page_container" data-page="17"><b>CHƯƠNG 1 TỔNG QUAN VỀ Dự BÁO PHỤ TÁI ĐIỆN</b>
<b>1.1 Tổng quan về dự báo phụ tải</b>
"Dự báo phụ tải điện" là quá trìnhướclượng hoặcdự đoán về lượng điện cần thiết để
phục vụ một hệthốngđiện trongtươnglai. Việc này rất quan trọng để quảnlývà điều phối nguồn cung cấpđiện, đảm bảo rằnghệthống có đủ năng lực để đáp ứng nhu cầungười tiêu dùng mà không gây ra tìnhtrạng q tải hoặc lãng phí tài ngun.
Dự báo phụ tải điện là q trình dự đốn lượng điện năng mà mộthệ thống điện cần
cung cấp để đáp ứng nhu cầu sử dụng của người tiêu dùng trong tương lai. Sau đâylàmột số đặc điểm quan trọngcủa việc dự báo phụ tải điện:
- Thiên hướng thời gian: dự báo phụ tải thường liên quan đến việc dự đoán lượng
điện tiêu thụ trong tương lai theo các khoảng thời gian như giờ, ngày, tháng hoặc
năm. Cácmơ hình dự báo thường phải xácđịnh được xu hướng và biến động theo
thời gian.
- Yeu tố ảnh hưởng: dự báo phụ tải phải xem xét nhiềuyếu tố ảnh hưởng, bao gồm
các yếu tố thời tiết (nhiệt độ, độ ẩm, gió), các sự kiện đặc biệt (ngày lễ, sự kiệnthể thao), kế hoạch cơng nghiệp và thậm chí làsự kiện dựbáo (như các sự cố về năng lượng).
- Tính mùa vụ: phụ tải điện thường biến động theo mùa, với mức tiêu thụ thường
tăng cao vào mùa hè hoặcmùa đông tùy thuộc vào vùng địa lý.
</div><span class="text_page_counter">Trang 18</span><div class="page_container" data-page="18">- Tính đối xứng: dựbáo phảixem xét tính đối xứngcủa phụ tải, tức là sự biến độnggiữa các khu vực hoặc đối tượng khác nhau, như hộ gia đình, doanh nghiệp và cơng nghiệp.
- Tính biến động cao: phụ tải có thể có biến động lớn theo thời gian. Các mơ hìnhdự báo cần phải cókhảnăng ứng phó với sự không chắc chắn và biến động.
- Sử dụng dữ liệu lịch sử: mơ hình dự báo thường dựa trên dữ liệu lịch sử về phụ tải
để hiểu và dự đoán xu hướng và biến động tư ong lai.
- Sử dụng mơ hình học máy: các mơ hình học máy, như mạngnơ-ron, máy vectorhỗtrợ (SVM), và cây quyếtđịnh, thường được sử dụng để dự báo phụ tải, đặc biệtlà khi có sự phức tạp và khơng gian đặctrưng lớn.
- Đánh giá độ chính xác: các mơ hìnhdự báothường đượcđánh giá dựa trên các chỉ số đánh giá như sai số tuyệt đối trung bình (MAE), sai số tuyệt đối trọng số (WMAE), hoặc Root Mean Squared Error (RMSE).
Dự báo phụ tải điện có vai trị quan trọng để giúp quản lý và lên kế hoạch sử dụngnguồn năng lượng một cách hiệu quả và đảmbảo rằng hệthốngđiện có thể đáp ứng
đúng nhu cầu của người tiêu dùng.
Dự báo phụ tải điện được chiathành bốn loại, liên quan đến miền thời gian dự báo.
Dự báo phụ tải dài hạn (LTLF), dự báo phụ tải trung hạn (MTLF), dự báo phụ tảingắn hạn (STLF) và dự báo phụ tải rất ngắn hạn (VSTLF)[1], được thể hiện trong
Hình 1.1.
</div><span class="text_page_counter">Trang 19</span><div class="page_container" data-page="19"><b>Các loại dự báo phụ tảiđiện</b>
Mua năng lượng
•— Lập kếhoạch truyền tải vàphân phối —••— Vận hành và bảo trì —•
thuật cho quản lý hệ thống điện, giúp các tổ chức năng và doanh nghiệp lập kếhoạch đầu tư, xây dựng,và vận hành cơ sở hạ tầng điện.
- Dự báo phụ tải trung hạn: đề cập đến các khoảngthời gian từ mộttháng đến một năm, thường bao gồm việc lập kế hoạch bảo trì lưới điện, xem xét giáđiện cũng
như lậplịch trình sử dụng nhiên liệu.
- Dự báo phụ tải ngắn hạn: dự báo trong các khung thời gian từ vài phút, giờ hoặc
ngày, là một yếutốquan trọng trong hoạt động hàng ngày vàlậpkế hoạch của một công ty điện lực và thành phần quan trọng của hệ thống quản lý năng lượng. Có hiệu quả trong việc giảm chi phí tài chính và rủi ro hoạt động, tác động trực tiếp đến tiết kiệm.
- Dự báo phụ tải rấtngắn hạn: dựbáotải trong khung thời gian từ vài phút đến một
giờ. Mục tiêu chính của dự báo phụ tải rấtngắn hạn là cung cấpthông tin ngay lậptức để quản lý và duy trì ổn định hệthống điệntrong thời gian gần.
</div><span class="text_page_counter">Trang 20</span><div class="page_container" data-page="20"><b>1.2Các phương pháp dự báo</b>
Một số phương pháp dựbáo phụ tải điện:
- Phương phápngoại suy.- Phương pháp hồi quy.
- Phương pháp mạng nơron nhântạo;
- Phương pháp Prophet.
- Phương pháp Gradient boost.
<i>1.2.1 Phươngpháp ngoại suy</i>
Ngoại suy làphương pháptận dụng kiến thức hiện có để suy đốn thơng tin chưabiếtthơng qua việc áp dụng mơ hình tốn học hoặc phân tích thống kê. Đây là phương
pháp thường được áp dụng rộng rãi trong các lĩnh vực như khoa học, kinh tế học,
thống kê và nghiên cứu xã hội để mởrộngkiến thức và dự đoán các giátrị mới.
Các đặc điểm của phương phápngoại suy bao gồm:
- Dựa trên dữ liệu đã biết: Phương pháp ngoại suy sử dụng thông tin từ các dữ liệu đã biết để suy ragiátrị của dữliệu chưa biết.
- Sử dụng mơ hình tốn học hoặc thống kê: Phương pháp này sử dụng các phươngpháp toán học hoặc phương pháp thống kê để suy ragiátrị của dữ liệu chưa biết.
- Độ chính xác phụ thuộc vào chất lượng dữ liệu đã biết: Độ chính xác của phươngphápngoại suy phụ thuộc vào chất lượng của dữ liệu đã biết. Neu dữ liệu đãbiết
khơng chính xác hoặc khơng đầy đủ, thì phương pháp ngoại suy cũng sẽ khơng
- Thường được sử dụng khi khơng códữ liệu chính xác hoặc đầy đủ: Phương phápngoại suy được sử dụng khi không có đủ dữ liệu để suy ragiátrị chính xác của dữ
liệu chưa biết, hoặckhi dữ liệu không biết không thể sử dụng được thu thập được.
Phương pháp ngoại suy thựchiện dự báo dựa trên số liệu trong quá khứ để phản ánh
</div><span class="text_page_counter">Trang 21</span><div class="page_container" data-page="21">^=/(/+1)+^ <sub>(1-1)</sub>
Trong đó:
- YDB là dự báo điện năng, công suất của năm tới (tháng,tuần,ngày, giờ);
- t là năm (tháng, tuần, ngày, giờ) hiện tại;
- f(t+l) là hàm số được xây dựngtừ số liệu quá khứ củađiện năng, công suất.
Số liệu phụ tải điện quá khứ sử dụng cho phương phápngoại suy:
- Đối với dự báo nhu cầu phụ tải điện năm: Các số liệu thống kê về công suất, điện
năng tiêu thụ trong ít nhất05 năm trước gần nhất;
- Đối với dựbáonhu cầu phụ tải điện tháng: Cácsố liệu thốngkê về công suất, điện
năng tiêu thụ của tháng cùng kỳ năm trước và ítnhất03 tháng trước gần nhất;
- Đối với dự báonhu cầu phụ tải điện tuần: Các số liệu thống kê về công suất, điện
năng tiêu thụ trong ít nhất04 tuần trước gần nhất;
- Đối với dự báonhu cầu phụ tải điện ngày: Các số liệu thống kê về công suất, điện
năng tiêu thụ trong ít nhất 07 ngày trước. Trườnghợp ngàylễ, tết phải sử dụngcác
số liệu của các ngày lễ, tết năm trước;
- Đối với dự báo nhu cầu phụ tải điện giờ: Các số liệu thống kê về cơng suất, điện
năng tiêu thụ trong ít nhất 48 giờcùng kỳ tuần trước.
Phương pháp này nhằm xác định mối tương quan giữanhu cầu tiêu thụ điện (bao gồm công suất và điện năng) của phụ tải với các yếu tố ảnh hưởng quan trọng như tăng
trưởng kinh tế, giá điện, thời tiết, tỷ giá, vàcác yếu tốkhác[3]. Mối tương quan này được thể hiện thông qua hai loại phương trình như sau:
• Phươngtrình dạng tuyến tính:
<small>Ỉ=1</small>
</div><span class="text_page_counter">Trang 22</span><div class="page_container" data-page="22">Trong đó:
- n làsố thống kê quá khứ (số năm,tháng, tuần, ngày);
- ao, ai là các hệ số;
- Xi là số liệu quá khứ của các yếu tố ảnh hưởng quan trọng (tăng trưởng kinh tế,
giá điện, thời tiết,...);
- Y là hàm số điện năng, cơng suất của năm (tháng, tuần, ngày, giờ).
• Phương trình dạng phi tuyến:
- Y là hàm số điện năng, công suất của năm (tháng, tuần, ngày, giờ).
Dạng phương trình 2 có thể chuyển đổi thành dạng phương trình 1 bằng cách lấy
logarit ở cả hai bên. Quá trình lựa chọn hàm hồi quy được thực hiện dựa trên so sánh các hệ số tương quan. Neu hệ số tương quan củamột dạng phươngtrình lớn hơn, thì dạng phương trình đó sẽ được chọn làm hàm hồi quy. Việcnày giúp đưa ra một mơ
hình hồi quy phù hợp với dữ liệu và mối quan hệ giữa các biến.
Mạngnơ-ron nhân tạo (ANN), hay còn được gọi là mạng nơ-ron mô phỏng, là một lĩnhvựcquantrọng của học máyvà trung tâm của thuật toán học sâu.Tên và cấu trúc của mạng nơ-ron nhân tạo lấy cảm hứng từ cách bộ não con người hoạt động, mô
phỏngcáchcác tếbào thần kinh sinh học truyền tín hiệu cho nhau.[4]
</div><span class="text_page_counter">Trang 23</span><div class="page_container" data-page="23">Mạng nơ-ron nhân tạo có cấu tạo nhiều lópnút, baogồm lóp đầuvào, một hoặcnhiều
lớp ẩn và lóp đầu ra. Mỗi nút, hoặc nơ-ron nhân tạo, kết nối với các nút khác có trọngsốcùng ngưỡng liên quan. Chúng phối hợp, gửitínhiệuđen nhau để cùnggiải quyết
vấn đề.
Một mạng nơ ron nhântạo cơ bản thường có cấu trúc 3 lớp nhưsau:
- Lóp đầu vào: thơng tin cần xử lýđược đưa vào mạng nơ-ronnhân tạo qua lóp đầu
vào. Nút đầuvào tiếp nhận, phânloại, phân tích dữ liệu và sau đó chuyển dữ liệu
sang lóp tiếp theo.
- Lópẩn: dữ liệuchuyểntừ lóp đầu vào sang lớp ẩn, hoặc từ lóp ẩn nàysang lóp ẩn
khác. Mạng nơ-ron nhântạo có thể cómột hoặc nhiều lóp ẩn. Mỗi lóp ẩn phântích
dữ liệu đầura từ lóp trước, xử lý dữliệu đó sâu hơn và chuyển dữ liệu sang lớp tiếp theo.
- Lóp đầu ra: lóp đầu ra trảkết quả cuối cùng của tất cả dữ liệu được xửlý trước đó
bởi mạng nơ-ron nhântạo. Lóp này có thể có mộthoặc nhiều nút.
Hình 1.2 Cấutạo củamạng nơ rơnnhântạo
</div><span class="text_page_counter">Trang 24</span><div class="page_container" data-page="24"><i>1.2.4 Ph ương ph áp Prophet</i>
Prophet làmột mơ hình dự báo, được thiết kế đặc biệt để dự đoán các chuỗithời gian
có đặc điểm mơ hình mùa vụ mạnh và chịu ảnh hưởng từ cácngày lễ hoặc sự kiện
đặc biệt. [5]
Mơ hình dự báo của Prophet bao gồm ba thành phần chính:
- Xu hướng: mơhình xu hướng để theo dõi sự biến động không chu kỳ của dữ liệu theothời gian.
- Mùa vụ: mơ hình mùa vụ đểxác định vàdự đốn các biến độngcó chu kỳ, chẳng
hạn như các mơ hình hàngngày hoặc hàngtuần.
- Ngày lễ: mơ hình ngày lễ để xử lý các biến động liên quan đến ngày lễ hoặc sự
Prophet cho phép phân rã các chuỗi thời gian thành các thành phần riêng biệt, giúp hiểu rõ hơn về xu hướng, mùavụ vàảnh hưởng của ngày lễ.
ứng dụng: dự báo doanh số bán hàng, dự đoán lưu lượng truy cập trang vveb, dự báo
nhu cầu nguồn nhân lực, áp dụng trong các lĩnhvực kinh tế,y tế, quảng cáo và nhiều
ngữ cảnh khác.
</div><span class="text_page_counter">Trang 25</span><div class="page_container" data-page="25">Prophet đã trở thành một công cụ mạnh mẽ cho các chuyên gia dự báo thời gian và
người làm nghiên cứu, giúp họ dự đoán mơ hình trong các tình huống có tính chấtmùavụ và biến động nhiều.
Phương pháp Gradient Boosting là một kỹ thuật học máy mạnh mẽ được sử dụng
trong các bài toán học máy và thống kê để xây dựng mơ hình dự đốn có hiệu suất
cao. Ýtưởng chính của Gradient Boosting là kết hợp các mơ hình yếu (weak learners)
để tạo thành một mơ hình mạnh (strong learner). Thơng thường, mơ hình yếu trong
Gradient Boosting là cây quyết định.[5]
Sau đây làmột số giải thích về phương pháp Gradient Boosting:
- Yếu tố học: Gradient Boosting sử dụng một chuỗi các mô hình yếu để xây dựng
một mơ hình mạnh. Mỗi mơ hình yếu được huấn luyện để chỉnh sửa và cải thiện các dự đốn của mơ hình trước đó.
- Hàm mất mát (loss function): mục tiêu của Gradient Boosting là tối thiểu hóahàmmất mát, là việc đo lườngcủa sự chênh lệch giữa dự đoán và giátrị thực tế. Hàm
mấtmát đượcchọn dựa trên bài tốn cụ thể, ví dụnhư hàm bình phương mất mát cho bài tốn dự đoán giátrị số hoặc entropy chéo (cross-entropy) cho bài toán phân
- Suy giảm độ doc (gradient descent): trong mỗi bước, Gradient Boostingđiều chỉnh mơ hình bằng cách sử dụng phương pháp gradient descent. Nó tínhtốn đạo hàm
của hàmmất mát liên quanđến dự đốn hiệntại,và sau đó điều chỉnhdự đoán theo
hướng giảm độ dốccủa hàm mấtmát.
- Quá trìnhtổnghợp(boosting process): mỗi mơ hình yếu đượcthêm vào chuỗitheo
một tỷlệ nhỏ. Việc này giúpgiảm thiểu việc quá mức đàotạo và làm cho mơ hình
hội tụ một cách ổn định hơn.
- Chính quy hóa(regularization): để tránh tình trạng q mức đào tạo, các kỹ thuật chính quy hóa thường được áp dụng trong quá trình huấn luyện, như việc giảm
</div><span class="text_page_counter">Trang 26</span><div class="page_container" data-page="26">mức độ quá mức của các mơ hình yếu hoặc sử dụng các ràng buộc trên trọng số của chúng.
Phương pháp Gradient Boosting nổi tiếng với các biến thể như Gradient Boosted
Trees (GBT), XGBoost, LightGBM và CatBoost, mỗi thuật toán mang lại những cải
tiến và tốiưu hóacụ thể để làm choq trình huấn luyện mơhìnhvà dự đoán trở nên hiệu quả hơn.
<b>1.3Sai số trongdựbáo phụ tải</b>
Trong ngữ cảnh của dự báo phụ tải trong ngành điện, sai số (hoặc độ lệch) thường được sử dụng để mơ tả sự chênh lệch giữa giátrị dự đốn và giá trị thực tế của phụ
tải điện. Có nhiều loại sai số khácnhau cóthể được sử dụng để đánh giáchất lượng
của mơ hình dự báo.
Sai số tuyệt đối trung bình là mộtđộ đo đánh giá sự chênh lệch giữa giátrị dự đốnvàgiátrị thựctế trong dựbáo. MAEđược tính bằng cách lấy trung bình cộng của cácgiátrị tuyệt đối của các sai số. [6]
Cơng thức tính MAE như sau:
- n làsố lượng mẫu tính tốn.
MAE đo lường sự trung bình của tất cả các sai số tuyệt đối và không bị ảnh hưởng
bởi việc sai số cóxu hướng lớn hơn ởmột số điểm dữliệu cụ thể. Nên MAE thường
</div><span class="text_page_counter">Trang 27</span><div class="page_container" data-page="27">được sử dụng nhiều trong trườnghợp cần xử lý cácgiátrị ngoại lệ. Giá trị MAE càng
nhỏ, mơ hình dự báo càng chính xác.
MAE có một nhược điểm là khi đánh sai số trên những khoảng thời gian khác nhau
có mức chênh lệch phụ tải lớn. MAE sẽ khơng thể hiện rõ mức độ chính xác củadự báo.
Sai số bình phươngtrung bình (MSE Mean Squared Error)là một phươngphápphổ
biến được sử dụng để đánh giá hiệu suất của mơ hình hồi quy trong dự đốn. MSE
đượctính bằng cách lấy trungbình của bình phương của tất cả các sai số giữa giátrịdự đoán và giátrị thực tế trên tất cả cácmẫu dữ liệu.[6]
Cơng thức tính MSE như sau:
- n làsố lượng mẫu tính tốn.
MSE đo lường sự chênh lệch giữa giá trị dự đoán và giátrị thực tế. Bằng cáchbình
phương sai số, MSE tăng cường ảnh hưởng của các sai số lớn,nghĩalà nó tăngtrọnglượng đối với những sai số có độ lớn cao hơn.
MSE có thể nhạy cảm với các giátrị ngoại lệ hoặc sai số lớn, vì bình phương là một hàm tăng cường độ lớn. Nếu cóngoại lệ trong dữ liệu, sai số MSE có thể bị lệch và không phản ánh đúng chấtlượng của mô hình.
</div><span class="text_page_counter">Trang 28</span><div class="page_container" data-page="28"><i>1.3.3Sai số phần trăm tuyệt đốitrungbình MAPE (Mean Absolute Percent </i>
Sai so phần trăm tuyệt đối trung bình (MAPE Mean Absolute PercentError) là một phương pháp thống kê thường được sử dụng để đánh giá hiệu suất của mơ hình dự đốn trong các bài tốn dự đốn giá trị. MAPE đo lường tỷ lệ trungbình của sai số
tuyệt đối so với giátrị thựctế, được biểu diễn dưới dạng phần trăm.
Cơng thức tính MAPE như sau:
- 7? làsố lượng mẫu tính tốn.
MAPE có thể gặp vấn đề khi giá trị thực tế gần bằng 0, vì khi đó mẫu số có thể trở
nên vô hạn. Để tránh vấn đề này, một số biến thể của MAPE, chẳng hạn như
Symmetric Mean Absolute Percentage Error (SMAPE), cóthể được sửdụng.
Ưu điểm củaMAPE bao gồm việc biểu thị sai số dưới dạng phần trăm, giúp hiểu rõ
hơn về độ lớn của sai số đối với giá trị thực tế. Tuy nhiên, nhược điểm của MAPE
bao gồm độ nhạy cảm đối với giátrị thực tế gần bằng0 và không phản ánhtốt khi giá
</div><span class="text_page_counter">Trang 29</span><div class="page_container" data-page="29">viết, cú pháp ngắn gọn, khôngyêu cầu nhiều dấu ngoặc, giúp hạn chế nhầm lẫn và
tăng khả năng hiểu mã nguồn của người đọc. Ngôn ngữnày không chỉ hỗ trợ những
người mới học lập trình mà cịn là lựa chọn phổ biến cho các lập trình viên chuyênnghiệp. Do đó, Python trỏ thành một lựa chọn lý tưởng cho nhiều mục đích khác nhau, bao gồm phân tích dữ liệu, trítuệ nhân tạo, pháttriển web, vànhiều lĩnh vực
Mộttrong những yếu tố làm nổi bật Python là sự hỗ trợ từ cộng đồng lớn, cộng đồng
này không chỉ cung cấp sự giúp đỡ thông quacác diễn đàn và tài liệu, mà cịn đónggóp vào sự pháttriển của ngơn ngữ bằng cách tham gia vào việc xây dựng thư việnvà framework.
Python cũng nổi tiếng với hệ sinh thái thư viện lớn, đa dạng, có nhiều thư viện cho mọi lĩnh vực, từ khoa học dữ liệu (như NumPy, pandas) đến phát triển web (nhưDjango, Flask), và từ trí tuệ nhân tạo (như TensorFlow, PyTorch)đến xử lý ngôn ngữtự nhiên và nhiều lĩnh vựckhác.
Khả năng tưong thích với nền tảng là một điểm mạnh khác của Python. Mã nguồn Python có thể chạy trên nhiều hệ điều hành khác nhau, bao gồm Windows, macOS,vàLinux mà khơng cần thay đổinhiều, nó giúp cho mãnguồn có tính di độngvà linhhoạt.
Trongthựctế, Python đãtrởthànhmộttrong những ngơnngữlập trình phổ biếnnhất
và được sử dụng rộng rãi trên toàn thế giới nhờ việc dễ học, đa nhiệm, và khả năng tích hợp caocủa nó.
</div><span class="text_page_counter">Trang 30</span><div class="page_container" data-page="30">- Miễn phí và sử dụng trực tuyến: Colab là dịch vụ miễn phí và đượctích hợp trực
tuyến với Google Drive. Người dùng có thể truy cập Colab thơng qua trình duyệtweb và thực hiện cơng việc mà không cần cài đặt bất kỳ phần mềm nào.
- Hỗ trợ phần cứng: được cung cấp CPU tốc độ cao, GPU và TPƯ miễn phí, giúp
tăngtốc quá trình huấn luyện mơ hình học máy.
- Sử dụng Notebooks: Colab sử dụng định dạng tệp gọi là "notebooks", trong đó
người dùng có thể viết và thực thi mã Python theo từng khối, giúp tạo ra một quytrình làm việc tương tự như Jupyter Notebooks.
- Chiasẻ trực tuyến: người dùng cóthể chia sẻ notebooks của mình với người khácthơng qua qua liên kết, họ có thể xem hoặc chỉnh sửa (nếu người dùng chia sẻ quyền) trongtrình duyệt của họ.
- Lưu trữ trên Google Drive: Colab notebooks được lưu trữ trực tiếp trong Google
Drive, giúp dễ dàng duyệt, quản lý vàchia sẻ.
- Hỗ trợ nhiều thư viện và framework: Colab hỗ trợ nhiều thư viện và framework
phổ biến trong cộng đồng học máy nhưTensorFlow, PyTorch, OpenCV, và nhiều thư viện khác.
Những đặc điểm trên giúp Colab trở thành một cơng cụ linh hoạt, tiện ích và dễ sửdụng cho nhiều mục đích, từ họctập đến nghiên cứu và triển khai dự án học máy.
Để có thể chạy cácmơhình trongbài luận văn, cần cài đặt các thư viện cầnthiết trênGoogle Colab:
<small>from xgboostimportXGBRegressorfromlightgbm import LGBMRegressor</small>
<small>from catboostimport CatBoostRegressor</small>
</div><span class="text_page_counter">Trang 31</span><div class="page_container" data-page="31"><b>CHƯƠNG 2 GIẢI THUẬT HỌC KẾT HỢP TRONG HỌC MẤY</b>
Trong chương này, tác giả sẽ trình bày tóm tắt về khái niệm Ensemble learning, cũngnhư chi tiết về các mơhình Ensemble learning đượcsửdụng trong nghiên cứu nàylà
XGBoost, LightGBM, và CatBoost. Đồng thời tácgiả cũngsẽ giới thiệu 02 giải thuật
học máy phổ biến để đối sánh là giải t huật MLP và CNN.
<b>2.1 Giới thiệu vềEnsemblelearning</b>
Ensemblelearning,hayHọckếthợp,làmộtkỹthuật trong lĩnh vực học máy mà nhiều mơhình được kếthợp để tạo ramột mơhình mạnh mẽ hơn và có khảnăng tổng hợp
thông tin từ nhiều nguồn khác nhau. Y tưởng cơbản của Ensemble learning là việc
kếthợp dự đoán từ nhiều mơ hình có thểgiúp giảm sai số dự đốn và tăng khả năng
tổng hợpthơngtin.[7]
Ở mức độ cơbản, Ensemble learning có 3 kỹ thuật là:
- Max Voting (bầu chọn tối đa): là một phương pháp đơn giản để kết hợp các dự
đốn từnhiều mơ hình học máy trong quá trình phân loại. Ytưởngcơbản của Max Voting là cho phép mỗi mơ hình "bầu chọn"cho lớp dự đốncủamình và lớp được chọn là lớp đượcbầu chọn nhiều nhất (tức là có số phiếu cao nhất). Max Votingthích hợp cho các bài tốn phân loại, và nó hoạt động tốtkhi các mơ hìnhcon có
hiệu suất tốt và đa dạng đủ để tạo ra các dự đốn chính xác trong các tình huống
khác nhau.
</div><span class="text_page_counter">Trang 32</span><div class="page_container" data-page="32">- Averaging: là một phương pháp mạnh mẽ để kết hợp các dự đốn từnhiều mơ hình
khác nhau đểtạo ramộtdự đốn cuối cùng. Bằng cách tính trung bình củacác dự đốn từ các mơ hình, Averaging giúpgiảm thiểu ảnh hưởng của nhiễu và q mức đào tạo từ một mơ hình cụ thể.
- Weighted Average: làmột phương pháp mở rộng của Averaging,các mơ hình được
gán trọng sốcho mỗi dự đốn trước khi tính tốn trung bình. Trọng số này có thể
đượcgán chomỗi mơ hìnhdựa trên độ tin cậy hoặc hiệu suất của mơ hình đó. Kỹthuật này giúp tối ưu hóa hiệu suất củakết quả cuối cùng bằng cách tận dụng sức
mạnh của mỗi mơ hình một cách hiệu quả.
Tiếp theo là các phương pháp ở mứcđộ nâng cao. Các kỹ thuậtnâng cao thường tập
trung vào việc tối ưu hóaviệc kếthợp các mơhình đểđạt đượchiệu suất dự đốn tốt
- Stacking: là một kỹ thuậttrong học máy, nhiều mơ hình "cấp thấp" được đào tạo
đểtạo ra các dự đốn, sau đó một mơ hình "cấp cao" được sử dụng để kếthợp cácdự đoán này thành dự đoán cuối cùng. Mơ hình cấp cao có thể được xem nhưmột mơ hình học từ dự đốncủa các mơ hình cấp thấp. Việc này giúp cân bằng giữa sự
đa dạng và tính mạnh mẽcủa các mơhình cấp thấp.
Hình 2.2 Mơ hình phương pháp Stacking
</div><span class="text_page_counter">Trang 33</span><div class="page_container" data-page="33">- Blending: là phương pháp giúp kết hợp các dự đoán từ các mơ hình cơ sở để tạo
radự đốn cuối cùng. TrongBlending, tập dữ liệu huấn luyện được chia thành hai
phần: một phần được sử dụng để huấn luyện các mơ hình cơ sở và phần cịn lại
được sử dụng để tạo radữ liệu huấn luyện chomơ hình meta. Blending giống vớiStacking nhưng có điểm khác biệt là khơng sử dụng tồnbộ tập dữ liệu huấn luyệnđểtạo radữ liệu cho mơ hình meta, màchỉ sử dụng một phần của nó.
Hình 2.3 Mơ hình phương pháp Blending
- Bagging(BootstrapAggregating): làmộtphươngphápnhằm tăng cường hiệu suất
của mơ hình bằng cách sửdụng nhiều mơ hình đồng thời. Phương pháp này được
giới thiệu bởi Leo Breiman vào năm 1996. Y tưởng chính của Bagging là tạo ra
nhiều mơ hình khác nhau bằng cách huấn luyện trên các tập dữ liệu con được rút
ratừ tập dữ liệu huấn luyện. Mỗi tập dữ liệu con được sử dụng để huấn luyện một mơhình cơ sở riêngbiệt, và sau đó các dự đốn từ các mơ hình này được kết hợp lại với nhau để tạo ra dự đoán cuối cùng.
</div><span class="text_page_counter">Trang 34</span><div class="page_container" data-page="34">Hình 2.4 Mơ hình phương pháp Bagging
Boosting: các mơ hình đượcxây dựng theo chuỗi, với mỗi mơ hình cố gắng sửa lỗi của mơ hình trước đó. Cáctrọng số được áp dụng cho các điểm dữ liệu để tập trung vào những điểm dữ liệu được phân loại sai. Các mơ hình sau cùng được kếthợp đểtạo radự đốn cuối cùng. Boosting thường tạo ra cácmơ hình có hiệu suất
cao và tổng quát hóa tốt trên dữ liệu kiểm tra. AdaBoostvàGradient Boosting là hai thuật tốn Boosting phổ biến.
Hình 2.5 Mơhình phương pháp Boosting
</div><span class="text_page_counter">Trang 35</span><div class="page_container" data-page="35"><b>2.2 Mơ hìnhXGBoost, LightGBM, vàCatBoost</b>
<i>2.2.1 Mơ h ình XGBoost</i>
XGBoost là mộtthuật tốn học máy thuộc họ các thuật toán tăng cuờng (Boosting),
được phát triển bởi Tianqi Chen. Được đánh giá cao trong cộng đồng học máy và
thường được sử dụng trong các cuộc thi khoa học dữ liệu do khả năng mạnh mẽ và hiệu quả của nó trong việc xử lý nhiều loại dữ liệu.
Boosting làmộtkỹ thuậthọc máy mà mô hình được xây dựngtừ nhiều mơ hìnhyếu,
và mỗi mơ hình yếu đều tậptrung vào việc sửa nhữnglỗi của mơ hình trước đó. Kết quả là,mỗi mơ hình mói cố gắngcải thiện sai sốcủa mơ hình kết hợp.
Lý thuyết của thuật tốn như sau, giả sửrằng có mộttập huấn luyện có N mẫu:
A' ={.v1..v2.r,....A-„} (2-1)
Với thơng số đầu raxác định là:
Nhưvậy trong thuật tốn XGBoost, ở vịng lặp đầu tiên, mộtcây học tập đượctạo ra
đểước lượng các giátrị đầu rafi(X). Sự khác biệt giữa cácước lượng này và giá trị
chính xác y được gọi là phần dư, biểu thị cho sai số củamơ hình. Đẻ giảm phần dư,
cây học tập thứ hai đượcxác định để ước lượng phần dư đó (khơng phải giá trị y).Tiếp tục quy trình này, cây học tập thứ hai ước lượng phần dư G1(X), từ đó cây học
tập thứ ba ước lượng phần dư G2(X), và tiếp tục như vậy. Kết quả cuối cùng là tổng của các ước lượng Vfn(X). Để cải thiện hiệu suất của mơ hình XGBoost, một hàm
mất mát được thêm vào vói dạng sau đây:
</div><span class="text_page_counter">Trang 36</span><div class="page_container" data-page="36">các tham số của mơ hình học máy và ngăn chặn hiện tượng quá mức đào tạo. Kinh nghiệm cho thấy việcsử dụng hàm mục tiêu được chuẩn hóa như trong cơng thức (2- 3) sẽ thúc đẩy việc chọn mơ hình cóxu hướng sử dụng các hàm đon giản và dễ dự đốn. Mơhình đon giản hơn cóthể giúptránh hiệntượng quá khớp hiệu quả hơn. Do dựa vào mơhình học tập dạng cây, giá trị dự đốn cuối cùng sẽ là:
y,° = gf„ (Xi) = yỉ-1 + ft (X;) (2-6)
Giá trị regularization Q(fn) cóthể sử dụng cơng thức sau đểxác định:
Trong đó Ỵ là độ phức tạp của các lá trongcây quyết định; T là số là trong cây quyếtđịnh; p là hệ số phóng đại hàm phạt; w làvectơ điểm số cho các lá. Khi đó phân tíchbậc2 Taylorsẽ được sử dụng trong hàm mất mát ởthuật tốn XGBoost thay thế chophân tích bậcnhất được sử dụng trongthuật toán Gradient Tree Boosting.
Neu giả sử hàm tối ưu cho quá trình học là hàm MSE, thì hàm mục tiêu cóthể được viết thành:
<small>J-°=ề i=l</small>
Trong cơng thức (2-8),các hằng số đã được loạibỏ q() là hàm số dùng để gán dữ liệu
</div><span class="text_page_counter">Trang 37</span><div class="page_container" data-page="37">mất mát có thể được xác định bằng tổng củacác giá trị mất mát chotừng lá, vì mỗi mẫu chỉ tương ứng với một lácho nên hàm mất mátcó thể được xác định bằng tổng các giátrị mấtmát của từnglá. Do đó, cơng thức (2-8) được viết lại như sau:
Khi đó, bài tốn tối ưu của hàm mất mátcóthể chuyển thành bài tốn tìm giátrị nhỏ
nhất của hàm bậc2. Nói cách khác, sau khi phân chia một nút nhất định trong cây ra
quyết định, sự thay đổi hiệu suất của mơhình có thể đánh giá dựa trên hàm mấtmát.
Neu hiệu suất của mơ hình đượccải thiện sau khi thực hiện sự phân chia nút này, thì
sự phân chia đó sẽ được chấp nhận. Ngược lại, nếu không, việctách nút sẽ dừng lại.
<i>2.2.7.7 CáchXGBoost hoạt động</i>
XGBoost sử dụng cây quyếtđịnh làm mơ hình yếu cơbản. Quy trình hoạt động củaXGBoost có thể được tóm tắtqua các bước như sau:
1. Khởi tạo mơ hình: bắtđầu với mộtcây quyết định đơn giản.
2. Tính tốn giá trị dự đốn: tính tốn giá trị dự đoán của mỗi điểm dữ liệu bằng
cách thêm dự đoán của cây quyếtđịnh hiệntại vào dự đoán của các câytrước đó.
3. Tính tốn độ lỗi (residuals): tính toán độ lỗi giữa giá trị dự đoán và giá trị thực
4. Xây dựng cây mới: xây dựng một cằy quyết định mới để dự đoán độ lỗi, được
gọi làcây học. Cây này được thêm vào cây quyết định trước đó.
5. Tính tốn trọng số: mỗi cây có mộttrọng số để kiểm sốt đóng góp của nó vàogiá trị dự đoán cuối cùng. Trọng số này được nhân với giá trị dự đoán của cây
trước khi thêm vào giátrị tổng của mơ hình.
6. Lặp lại: q trìnhtừ bước2 đến bước 5 đượclặp lại nhiều lần đểtạo ramộtchuỗi
các cây quyết định.
</div><span class="text_page_counter">Trang 38</span><div class="page_container" data-page="38"><i>2.2.ỉ. 2 Một số siêu tham sổ quan trọngcủamơhình XGBoost</i>
Việc điều chỉnh các siêu tham số làq trìnhtối ưu hóa các siêu tham số của mơ hìnhhọcmáy để đạt được hiệu suất tốtnhất trong quá trình huấn luyện. Mục tiêu là tìm ra
các giá trị siêu tham số mà khi áp dụng cho mô hình, nó sẽ cho ra kết quả dự đốn
chính xác và tổng quát nhất.
Một số siêu tham số quan trọng của mơ hình XGBoost:
- Learning_rate (eta): siêu tham số này kiểm soát độ lớn củabướcdi chuyển khi cậpnhật trọng số. Giúp giảm nguy co quá mức đào tạo, nhưng yêu cầu số lượng cây
(n estimators) cao hon.
- N_estimators: số lượng cây quyết định đượctạo trong quá trình đào tạo. Tăng giátrị này để mơ hình học mạnh hon, nhưng cũng làm tăng thời gian đàotạo.
- Max_depth: số lượng tối đa các nútmà mỗi cây con cóthểcó. Giảm nguyco quámứcđàotạo, nhưng làm tăng thời gian đàotạo.
- Min_child_weight: đặtgiới hạn tối thiểu cho tổng trọngsố của tất cả các mẫu trongmột nút lá, giúp giảm quá mức đàotạo.
- Subsample: phần trăm mẫu được sử dụng để đàotạo mỗi cây.
- Colsample_bytree: phầntrămcác tính năng được sử dụng để đào tạo mỗicây, giúp
giảm quá mức đàotạo và làm tăng tính đa dạng.
Bảng 2.1 bên dưới trình bày giá trị mặc định và khoảng giátrị cài đặtcác siêu tham sốcủa mơ hìnhXGBoost.
Bảng 2.1 Bảng giátrị mặc định và khoảng giátrị cài đặt các siêu tham số của mô
</div><span class="text_page_counter">Trang 39</span><div class="page_container" data-page="39">Việc tinh chỉnh siêu tham số phụ thuộc vào dữ liệu cụ thể và yêu cầu quá trình thử
nghiệm nhiều lần đểxác định giátrị tối ưu cho từng tình huống.
Hiệu suất cao: XGBoost thường đạt đượchiệu suất tốt trên nhiều bài tốn học máy.
Chính quy hóa mạnh mẽ: có thể kiểm sốt độ phức tạp của mơ hình để tránh tình
trạng quá mức đàotạo.
Hỗ trợđặc trưng phân loại: cókhảnăngxử lýtrựctiếp đặc trưngphân loại màkhơng
cần chuyển đổi chúng.
Xử lý tốt các bộ dữ liệu lớn: cóthể xử lý các tập dữ liệu lớn và hiệu quảtrong việc tối ưu hóa.
Mặc dù XGBoost là một thuật tốn mạnh mẽ và linh hoạt, nhưng cũng có một số
nhược điểm:
- Dễ quá mức đào tạo (overfitting): XGBoost có thể dễ dàng quá mức đào tạo, khi
có nhiều cây và các siêu tham số không được điều chỉnh đúng.
- Đòi hỏi nhiều thời gian đào tạo: với số lượng cây lớn vàcác siêu tham số đầy đủ,XGBoost có thể cần nhiều thời gian để đào tạo trên các tậpdữ liệu lớn.
- Khódiễn giải: do sự phứctạpcủa mơ hình và số lượng cây,việc diễn giải mơ hìnhXGBoost có thể trở nên khá khó khăn so với cácmơ hình đơn giản hơn như hồi quy tuyến tính.
- Yêu cầu hiểu biết vềsiêu tham số: để tận dụng hết sức mạnh của XGBoost,người
sử dụng cầncó kiến thức vững về các siêu tham số và cáchtinh chỉnhchúng. Việc
tinh chỉnh siêu tham sốkhơng chính xác cóthể dẫn đến kết quả khơng tốt.
</div><span class="text_page_counter">Trang 40</span><div class="page_container" data-page="40"><i>2.2.ỉ. 5 Ví dụ mơ hỉnh XGBoost</i>
Đe xây dựng một ví dụ đơn giản về mơ hình XGBoost để dự báo con số tiếp theo trong một dãy số 10 số ngẫu nhiên, tác giảtạo mộtdãy số ngẫunhiên và sử dụng mơ
hình để dự đốn số tiếp theo. Sau là một ví dụ bằng Python:
<small># cài đặt thư viện cần thiết </small>
<small>import xgboost as xgbimportnumpyas np</small>
<small># Tạo dãy sốngẫunhiên gồm 10 số</small>
<small>random_sequence =np.random.randint(1, 100,10) </small>
<small># Chuẩn bịdữ liệu huấn luyện</small>
<small>’max_depth':6, # số lưọngtối đacác nút trong mỗicây</small>
<small>'learning_rate’: 0.1, #Tốc độhọc của mơ hình</small>
<small># Tạo đốitưọng DMatrix cho XGBoost</small>
<small># Huấn luyện mơ hình XGBoost.</small>
<small>num_round =50# số lưọng vịng lặp (cây) huấnluyện</small>
<small># Dụ đốnsố tiếp theo trong dãy số </small>
<small>next_number =</small>
<small>print (f’’Con sốtiếptheo trong dãy số: {next_number [ 0] :.2f}’’)</small>
</div>
