HỌC VIỆN NGÂN HÀNG
KHOA HỆ THỐNG THƠNG TIN QUẢN LÝ

O'

KHĨA LUẬN TỐT NGHIỆP

XÂY DỰNG QUY TRÌNH TÍCH HỢP DỮ LIỆU ETL
VÀ XUẤT BÁO CÁO CHO HỆ THỐNG E-BANKING
TẠI NGÂN HÀNG THƯƠNG MẠI CỔ PHẦN CÔNG THƯƠNG
VIỆT NAM

Sinh viên thực hiện:

Trương Thị Mai Quỳnh

Lớp:

HTTTTA

Khóa học:

K20

Mã sinh viên:

20A4040125

Hệ:

Đại học chính quy

Giảng viên hưỡng dẫn:

ThS.Ngô Thùy Linh

Hà Nội, tháng 5 năm 2021


XÁC NHẬN CỦA ĐƠN VỊ THỰC TẬP
NGÂN HÀNG NHÀ NƯỚC VIỆT NAM CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM
Việt lập
Nam - Tự do - Hạnh phúc
HỌC VIỆN NGÂN HÀNG Cộng hòa xã hội chù nghĩaĐộc
Dộc lập - 1 ự do — Hạnh phúc
ʃ-

XÉT VÀ XÁC NHAN CỦA DON VỊ THựC TAP

BẢN GIẢI
TRÌNH CHỈNH SỬA KHĨA LUẬN TỐT NGHIỆP
42~5⅛A

Av CÕNG TYN>⅛
Sf CO^PHAN
f
Thì Ntu Qtuinf1
∖steξi⅞A,τ⅛
Họ và tên sinh
VAviên:

ETC Z Trương Thị Mai Quỳnh
∖¾s
Γ ,√⅜. f
Mã sinh viên:Mft-SV:
20A4040125
.i'!A >(^ OCJJS

1.
2.
3. Lớp: K20HTTTA
thơng tin quản lý
Nội dung đã chỉnh sửa Ngành: Hệ thống
Ghi chú
Lớp: RJcrlilIA
của quy
sinhtrình
viên tích hợp dữ (ghi
vị trí
sửa:cáo cho hệ
4. Tên đề tài: Xây dựng
liệu rõ
ETL
và chỉnh
xuất báo
Khoa:
Hệ
thống
(hơng
tin
qn

lý
______dịng,
mục,
trang)
thống E-banking tại Ngân hàng TMCP Công Thương Việt Nam Các nội
sửa thiện
lại têntheo
đề tài
từ của
Tên
đềđồng:
tài tại ________________________
trang bìa,
1. Xem lại tên đề tài dungChỉnh
đã hồn
kếtthay
luận
Hội
Trường: Học viện Ngân hàng

“Q trình” thành quy trình

Dịng 2, mục lời cam đoan,

Đã hồn ihành quả trình thực tập lại Cóng ty CO phần hệ thống cơng nghệ

mở đầu, chương 1, trang iii,

ETC từ ngày 26/01/2021 đến ngây 31/05/2021. Trong thời gian thực tập, sinh viên


xiv,dược
trang
dã thè hiện
năng7lực vá hồn thành cơng việc được giao ờ

/'-ll√(Xjftu' Rlru ɑttlj oh

2. Bổ sung các từ viết

niửc:các từ viết tắt ETL,
Bổ sung

tắt (ETL, ERP, CRM,

ERP,

SCM, HRM,KDL,...)

HRM,KDL

CRM,

STT từ 14-20, Danh mục

SCM, viết tắt, trang ix

Xác nhận Ciia đon vị thực tập
(Ký ghi rõ họ tèn và dóng dấu)

Trương Thị Mai Quỳnh - K20HTTTA


i


6. Kiến nghị khác (nếu có):

Gi
(Ký ghi rõ h

HỊHHIỊ
∣i I lĩ

Hà Nội, ngày 06 tháng 03 năm 2021
Sinh viên
(Ký ghi rõ h HI lĩ

Trương Thị Mai Quỳnh

Trương Thị Mai Quỳnh - K20HTTTA

ii


LỜI CẢM ƠN
Để hoàn thành đề tài này, em xin gửi lời cảm ơn chân thành đến toàn bộ
giảng viên Học viện Ngân hàng, và đặc biệt là các thầy cô khoa Hệ thống thông tin
quản lý đã dạy dỗ, truyền đạt những kiến thức quý báu cho em trong suốt bốn năm
học tập tại trường và tạo điều kiện thuận lợi nhất cho chúng em trong suốt thời gian
học tập tại trường và trong thời gian hoàn thành báo cáo thực tập.
Đặc biệt, em xin bày tỏ lòng biết ơn chân thành tới ThS. Ngô Thùy Linh Giảng viên Khoa Hệ thống Thông tin Quản lý - Học viện Ngân hàng đã trực tiếp

định hướng, tận tâm hướng dẫn và giúp đỡ em rất nhiều trong suốt quá trình hồn
thành khóa luận.
Em cũng xin chân thành cảm ơn ban lãnh đạo Công ty cổ phần hệ thống công
nghệ ETC đã cho phép và tạo điều kiện thuận lợi giúp em có thể hồn thành tốt
cơng việc thực tập tại công ty. Đặc biệt em xin gửi lời cảm ơn tới chị Hoàng Thị
Lan và các anh chị đội ETL của phịng DWH đã tận tình chỉ bảo cho em những kiến
thức mới và thực tế giúp em hoàn thành bài viết khố luận một cách tốt nhất.
Khóa luận là q trình cố gắng khơng ngừng nghỉ và được sự giúp đỡ tận tình,
động viên khích lệ của thầy cơ, bạn bè và người thân. Qua đây, Em xin gửi lời cảm
ơn chân thành đến những người đã giúp đỡ em, ở bên động viên, khích lệ em lúc
khó khăn nhất.
Tuy nhiên, do cịn nhiều thiếu sót về kinh nghiệm và hạn chế về kiến thức nên
khóa luận sẽ khơng tránh khỏi được những thiếu sót. Vì vậy, em rất mong nhận
được sự quan tâm, những ý kiến đóng góp của thầy cơ và các bạn để bài khóa luận
của em có thể hồn thiện hơn.
Em xin chân thành cảm ơn!
Sinh viên thực hiện

Trương Thị Mai Quỳnh

Trương Thị Mai Quỳnh - K20HTTTA

iii


LỜI CAM ĐOAN
Em xin cam đoan: Khóa luận tốt nghiệp với đề tài “Xây dựng quy trình tích
hợp dữ liệu ETL và xuất báo cáo cho hệ thống E-banking tại Ngân hàng TMCP
Cơng Thương Việt Nam”. Trong tồn bộ nội dung của đề tài, những điều em trình
bày có tham khảo từ nhiều tài liệu và đều được trích dẫn rõ ràng.

Em xin chịu mọi trách nhiệm về bài nghiên cứu của mình!
Hà Nội, ngày tháng 5 năm 2021
Người cam đoan

Trương Thị Mai Quỳnh

Trương Thị Mai Quỳnh - K20HTTTA

iv


NHẬN XÉT (Của cơ quan thực tập)
về các mặt: Ý thức chấp hành nội quy, thái độ làm việc của sinh viên tại nơi
thực tập; Tiến độ, kết quả thực hiện cơng việc được giao; Tính thực tiễn và ứng
dụng của đề tài.

Hà Nội, ngày tháng 5 năm 2021
Người nhận xét

(Ký tên, đóng dấu)

Trương Thị Mai Quỳnh - K20HTTTA

iii


NHẬN XÉT (Của giáo viên hướng dẫn)
về các mặt: Mục đích của đề tài; Tính thời sự và ứng dụng của đề tài; Bố cục
và hình thức trình bầy đề tài; Ket quả thực hiện đề tài; Ý thức, thái độ của sinh viên
trong quá trình thực hiện đề tài.


Hà Nội, ngày tháng 5 năm 2021
Giáo viên hướng dẫn
(Ký tên)

Trương Thị Mai Quỳnh - K20HTTTA

iv


MỤC LỤC
LỜI CẢM ƠN.........................................................................................................i
LỜI CAM ĐOAN..................................................................................................iv
NHẬN XÉT...........................................................................................................iii
MỤC LỤC..............................................................................................................v
DANH MỤC VIẾT TẮT....................................................................................viii
DANH MỤC BẢNG BIỂU VÀ HÌNH ẢNH..................................................... viii
LỜI MỞ ĐẦU..................................................................................................... xiii
CHƯƠNG I: KHÁI QUÁT VỀ NGÂN HÀNG VIETINBANK............................... 1
1.1.

Giới thiệu ngân hàng Vietinbank................................................................. 1

1.2.

Giá trị cốt lõi và triết lý kinh doanh............................................................. 2

1.3.

Lịch sử hình thành và phát triển................................................................... 2


1.4.

Sơ đồ bộ máy tổ chức.................................................................................. 3

1.5.

Tổng quan về bài toán.................................................................................. 5

1.5.1.

Giới thiệu bài tốn................................................................................ 5

1.5.2.

Thực trạng cơng tác quản lý dữ liệu trên hệ thống E-banking tại ngân
hàng VietinBank.............................................................................................. 7

1.5.3.

Lý do lựa chọn bài toán........................................................................ 9

1.5.4.

Ý nghĩa thực tế của bài toán.................................................................. 9

1.6.

Kết luận chương 1........................................................................................ 9


CHƯƠNG II: TỔNG QUAN VỀ KHO DỮ LIỆU............................................ 10
2.1.

Định nghĩa kho dữ liệu.............................................................................. 10

2.2.

Đặc điểm kho dữ liệu................................................................................ 10

2.3.

Kiến trúc Kho dữ liệu................................................................................ 14

2.3.1.

Kiến trúc kho dữ liệu căn bản............................................................. 14

2.3.2.

Kiến trúc kho dữ liệu với staging area................................................ 15

2.3.3.

Kiến trúc kho dữ liệu với staging area và data marts..........................16

2.3.4.

Cách tiếp cận kho dữ liệu................................................................... 17

Trương Thị Mai Quỳnh - K20HTTTA


v


2.4.

Thành phần của kho dữ liệu...................................................................... 19

2.5.

Tổ chức dữ liệu logic trong DWH............................................................. 21

2.5.1.

Lược đồ kho dữ liệu........................................................................... 21

2.5.1.1.

Lược đồ hình sao......................................................................... 21

2.5.1.2.

Lược đồ hình bơng tuyết.............................................................. 22

2.5.1.3.

Lược đồ chịm sao....................................................................... 23

2.5.2.


Mơ hình dữ liệu đa chiều.................................................................... 23

2.5.3.

Cấu trúc bảng fact............................................................................... 28

2.5.4.

Cấu trúc bảng dimension.................................................................... 29

2.6.

ETL TRONG DATAWAREHOUSE.......................................................... 29

2.6.1.

Khái niệm ETL................................................................................... 29

2.6.2.

Cách thức hoạt động của ETL............................................................ 30

2.6.2.1.

Giai đoạn trích xuất dữ liệu......................................................... 30

2.6.2.2.

Giai đoạn chuyển đổi dữ liệu....................................................... 31


2.6.2.3.

Giai đoạn tải dữ liệu.................................................................... 32

2.7.

Kết luận chương 2..................................................................................... 33

CHƯƠNG III: XÂY DỰNG QUÁ TRÌNH ETL PHỤC VỤ CHO HỆ THỐNG
E-BANKING........................................................................................................34
3.1.

Kiến trúc ETL tổng thể của hệ thống E-banking.......................................34

3.1.1.

Quá trình tải dữ liệu từ Source system tới Staging and ODS..............34

3.1.2.

Quá trình tải dữ liệu từ ODS tới DWH............................................... 35

3.1.3.

Quá trình tải dữ liệu từ DWH tới DM................................................ 35

3.1.4.

Quá trình chạy job và thông báo lỗi.................................................... 36


3.1.5.

Các kiểu xử lý load dữ liệu................................................................. 38

3.1.5.1.

Quá trình xử lý SCD type 1........................................................ 38

3.1.5.2.

Quá trình xử lý SCD type 2........................................................ 39

3.2.
3.2.1.

Nền tảng sử dụng....................................................................................... 41
Hệ quản trị cơ sở dữ liệu Oracle......................................................... 41

Trương Thị Mai Quỳnh - K20HTTTA

vi


3.2.2.

IBM InfoSphere DANH
DataStage
.................................................................
41
MỤC

VIẾT TẮT

3.3.

Thiết kế Kho dữ liệu.................................................................................. 42

3.3.1.

Cấu trúc các bảng tại tầng STG.......................................................... 42

3.3.2.

Cấu trúc các bảng tại tầng ODS.......................................................... 44

3.3.3.

Cấu trúc các bảng tại tầng DWH........................................................ 46

3.3.4.

Cấu trúc các bảng tại tầng DM........................................................... 46

3.4.

Xây dựng quá trình ETL cho phân hệ E-banking...................................... 47

3.4.1.

Xây dựng ETL tại tầng STG............................................................... 47


3.4.2.

Xây dựng ETL tại tầng ODS.............................................................. 50

3.4.3.

Xây dựng ETL tại tầng DWH............................................................. 52

3.4.4.

Xây dựng ETL tại tầng DWH-DTM................................................... 55

3.4.4.1.

Quá trình ETL tại các bảng LGN TYP DIM, IB VTGE DIM, IB
TRNS TIER DIM...................................................................................... 56

3.4.4.2.

Quá trình ETL tại bảng IB_USER_ DIMENSION.....................59

3.4.4.3.

Quá trình ETL tại bảng IB_TRNS_DTL_FACT.........................63

3.5.

Thiết kế sequence job............................................................................... 63

3.6.


Demo dữ liệu tại các tầng......................................................................... 65

3.6.1. Dữ liệu tầng STG................................................................................ 65
3.6.2. Dữ liệu tầng ODS............................................................................... 66
3.6.3. Dữ liệu tầng DWH.............................................................................. 67
3.6.4. Dữ liệu tầng DM.................................................................................68
3.7.

Kết luận chương 3..................................................................................... 69

CHƯƠNG IV: XÂY DỰNG BÁO CÁO CHO HỆ THỐNG E-BANKING ... 70
KẾT LUẬN........................................................................................................... 73
TÀI LIỆU THAM KHẢO...................................................................................74

STT

Thuật ngữ/Chữ viết tắt

Giải thích

1

DW, DWH

Data Warehouse

EDW

Enterprise Data Warehouse


2
3

Trương STG
Thị Mai Quỳnh - K20HTTTA

Staging

vii


4

SMS

Dịch vụ tin nhắn điện thoại

5

E-banking

Electronic- banking

6

DTM, DM

Data mart


7

ODS

Operational Data Store

8

CSDL

Cơ sở dữ liệu

9

SCD

Slowly changing dimension

10

NHTM

Ngân hàng thương mại

11

TMCP

Thương mại cổ phần


12

BI

Business intelligence

13

RDMS

Cơ sở dữ liệu quan hệ

14

ETL

Extract tranform load

15

ERP

Enterprise resource planning

16

CRM

Customer relationship management


17

SCM

Supply chain management

18

HRM

Human resource management

19

KDL

Khai phá dữ liệu

20

TMCP

Thương mại cổ phần công thương


Trương Thị Mai Quỳnh - K20HTTTA

viii



DANH MỤC BẢNG BIỂU VÀ HÌNH ẢNH
Hình 1.1. Sơ đồ bộ máy tổ chức ngân hàng Vietinbank............................................4
Hình 2.1. Tính hướng chủ đề của DWH.................................................................11
Hình 2.2. Tính tích hợp trong DWH.......................................................................12
Hình 2.3. Tính ổn định, khơng biến động của DWH...............................................13
Hình 2.4. Tính thời gian cụ thể của DWH............................................................14
Hình 2.5. Kiến trúc kho dữ liệu cơ bản.................................................................14
Hình 2.6. Kiến trúc kho dữ liệu với staging area..................................................15
Hình 2.7. Kiến trúc kho dữ liệu với staging area và data marts............................16
Hình 2.8. Cách tiếp cận Bottom-up.........................................................................17
Hình 2.9. Cách tiếp cận Top-down..........................................................................18
Hình 2.10. Kiến trúc DWH.....................................................................................19
Hình 2.11. Lược đồ hình sao..................................................................................21
Hình 2.12. Lược đồ hình sao..................................................................................22
Hình 2.13. Lược đồ chịm sao.................................................................................23
Hình 2.14. Hình ảnh cube 3 chiều thể hiện số lượng bán hàng theo 3 chiều Location,
Time, Item............................................................................................................... 24
Hình 2.15. Phân cấp dimension..............................................................................24
Hình 2.16. Hình ảnh cắt lớp chiều time..................................................................25
Hình 2.17. Thao tác roll up chiều locations bằng cách tổng hợp dữ liệu từ cấp thành
phố đến quốc gia.....................................................................................................26
Hình 2.18. Thao tác drill down chiều Time từ quý sang cấp chi tiết hơn là tháng .. 26
Hình 2.19. Thao tác slice chiều time với tiêu chí là Quý 1.....................................27
Hình 2.20. Thao tác dice cắt cube thành khối con theo các tiêu chí........................27
Hình 2.21. Thao tác pivot.......................................................................................28
Hình 3.1. Kiến trúc ETL trong hệ thống E-banking................................................34
Hình 3.2. Minh họa quá trình load dữ liệu vào Staging area...................................35
Hình 3.3. Sơ đồ tải dữ liệu tại EDW.......................................................................37
Trương Thị Mai Quỳnh - K20HTTTA


ix


Hình 3.4. Sơ đồ xử lý SCD type 1..........................................................................39
Hình 3.5. Sơ đồ xử lý SCD type 2..........................................................................40
Hình 3.6. Giao diện IBM InfoSphere DataStage.....................................................42
Hình 3.7. Các bảng trên hệ thống nguồn.................................................................43
Hình 3.8. Các bảng tại tầng STG............................................................................44
Hình 3.9. Các bảng tại tầng ODS............................................................................45
Hình 3.10. Các bảng tại tầng DWH........................................................................46
Hình 3.11. Các bảng tại tầng DM...........................................................................47
Hình 3.12. Demo đẩy dữ liệu từ Source lên STG...................................................48
Hình 3.13. Cấu hình thơng tin tại Unstructured Data stage.....................................49
Hình 3.14. Mapping bảng BLENTERPRISE tại transformer stage..............................49
Hình 3.15. Cấu hình thơng tin tại Oracle connector................................................50
Hình 3.16. Demo đẩy dữ liệu từ STG sang ODS....................................................50
Hình 3.17. Cấu hình thơng tin kết nối tới bảng dữ liệu tại STG..............................51
Hình 3.18. Mapping bảng IBS_BLENTERPRISE tại transformer stage................51
Hình 3.19. Cấu hình thơng tin connect tại Oracle connector...................................51
Hình 3.20. Demo đẩy dữ liệu từ ODS lên DWH.....................................................52
Hình 3.21. Cấu hình thơng tin tại Oracle connector................................................52
Hình 3.22. Mapping bảng IFS_IB_IDV_REF_USR tại transformer stage.............53
Hình 3.23. Cấu hình Oracle connect kết nối load dữ liệu tại bảng
IB_IDV_REF_USR................................................................................................53
Hình 3.24. Hình ảnh job chạy cho bảng IB_IDV_REF_USR_HIST......................54
Hình 3.25. Dữ liệu ban đầu.....................................................................................54
Hình 3.26. Dữ liệu sau khi bị thay đổi....................................................................55
Hình 3.27. Hình ảnh job sau khi cập nhật lại dữ liệu bảng nguồn...........................55
Hình 3.28. Dữ bảng đích sau khi thay đổi dữ liệu...................................................55
Hình 3.29. Minh họa dữ liệu file mapping bảng IB_VTGE_DIM..........................56


Trương Thị Mai Quỳnh - K20HTTTA

x


Hình 3.30. Demo đẩy dữ liệu cho bảng LGN TYP DIM, IB VTGE DIM, IB TRNS
TIER DIM..............................................................................................................57
Hình 3.31. Cấu hình thơng tin trên Unstructured Data stage...................................57
Hình 3.32. Mapping bảng IB_VTGE_DIM tại transformer stage...........................58
Hình 3.33. Cấu hình thơng tin trên Surrogate key stage..........................................58
Hình 3.34. Cấu hình thơng tin bảng IB_VTGE_DIM trên Oracle connector..........59
Hình 3.35. Mơ hình ánh xạ dữ liệu tại bảng IB_USER_ DIMENSION..................60
Hình 3.36. Demo quá trình đẩy dữ liệu thành cơng vào bảng IB_USER_
DIMENSION..........................................................................................................61
Hình 3.37. Minh họa 1 thiết kế job cho bảng bảng IB_USER_ DIMENSION.......61
Hình 3.38. Minh họa 2 thiết kế job cho bảng bảng IB_USER_ DIMENSION.......62
Hình 3.39. Minh họa 3 thiết kế job cho bảng bảng IB_USER_ DIMENSION.......62
Hình 3.40. Dữ liệu ban đầu trên bảng IB_IDV_REF_USR....................................62
Hình 3.41. Dữ liệu sau khi thay đổi cột GLOB_BRNCH_CD................................62
Hình 3.42. Dữ liệu ban đầu trên bảng đích IB_USER_ DIMENSION...................63
Hình 3.43. Dữ liệu sau khi cập nhật lại tại bảng IB_USER_ DIMENSION...........63
Hình 3.44. Demo đẩy dữ liệu thành cơng tại bảng IB_TRNS_DTL_FACT............63
Hình 3.45. Demo sequence job...............................................................................64
Hình 3.46. Thơng báo gửi gmail chạy lỗi................................................................64
Hình 3.47. Thơng báo gửi gmail chạy thành cơng..................................................65
Hình 3.48. Dữ liệu bảng IBS_CUSSESSIONLOG.................................................65
Hình 3.49. Dữ liệu bảng IBS_BLENTERPRISE....................................................65
Hình 3.50. Dữ liệu bảng IBS_BLCUSTOMER......................................................66
Hình 3.51. Dữ liệu bảng IFS_IB_IDV_REF_USR.................................................66

Hình 3.52. Dữ liệu bảng IFS_IB_IDV_REF_USR_HIST.......................................66
Hình 3.53. Dữ liệu bảng IFS_IB_CUS_NON_IDV_MSTR...................................66
Hình 3.54. Dữ liệu bảng IFS_USR_LGN_DTL......................................................67
Hình 3.55. Dữ liệu bảng IB_IDV_REF_USR.........................................................67

Trương Thị Mai Quỳnh - K20HTTTA

xi


Hình 3.56. Dữ liệu bảng IB_IDV_REF_USR_HIST..............................................67
Hình 3.57. Dữ liệu bảng IB_CUS_NON_IDV_MSTR...........................................67
Hình 3.58. Dữ liệu bảng USR_LGN_DTL.............................................................68
Hình 3.59. Dữ liệu bảng VTG_DIM.......................................................................68
Hình 3.60. Dữ liệu bảng LGN_TYP_DIM..............................................................68
Hình 3.61. Dữ liệu bảng IB_TRNS_TIER_DIM....................................................68
Hình 3.62. Dữ liệu bảng IB_USER_DIMENSION.................................................69
Hình 3.63. Dữ liệu bảng IB_TRNS_DTL_FACT...................................................69
Hình 4.1. Báo cáo phân tích theo thời gian gắn bó với ngân hàng..........................71
Hình 4.2. Báo cáo giá trị giao dịch trong quý 1......................................................72

Trương Thị Mai Quỳnh - K20HTTTA

xii


LỜI MỞ ĐẦU
Ngày nay, dưới sự phát triển nhanh chóng của mạng internet và sự gia tăng
không ngừng nghỉ của những công nghệ mới ngày càng hiện đại và các hệ thống
thông tin mới. Để nắm bắt xu thế này các doanh nghiệp, tổ chức ngày càng chú

trọng việc đầu tư, cải thiện hệ thống thơng tin của mình bằng cách áp dụng các công
nghệ mới. Trước sự cạnh tranh khốc liệt trên thị trường để đáp ứng với sự thay đổi
liên tục của thị trường thì áp dụng cơng nghệ là cách để doanh nghiệp có thể tạo lợi
thế cạnh tranh, cải thiện, đa dạng các sản phẩm, dịch vụ, tăng hiệu suất doanh
nghiệp. Tuy nhiên không phải doanh nghiệp nào cũng có thể có CSDL tác nghiệp
duy nhất xử lý mọi hoạt động của doanh nghiệp. Các doanh nghiệp thường sử dụng
nhiều hệ thống thông tin, phần mềm để xử lý một hoạt động nghiệp vụ nào đó như
ERP, CRM, SCM, HRM,.. .Dan tới dữ liệu bị phân tán trên nhiều hệ thống, không
đồng nhất về cấu trúc, có thể xảy ra hiện tượng thơng tin silo. Đồng thời khối lượng
dữ liệu ngày càng lớn tại mỗi hệ thống thì việc xây dựng một CSDL tích hợp mọi
dữ liệu của doanh nghiệp là điều rất cần thiết cho việc báo cáo.
Trong suốt quá trình hoạt động của một tổ chức, doanh nghiệp có rất nhiều
quyết định địi hỏi các nhà quản trị phải đưa ra chính xác, kịp thời để thúc đẩy sự
phát triển của tổ chức, doanh nghiệp đó. Quan trọng doanh nghiệp cần khai thác
như thế nào để có thể khai phá tối đa giá trị mà dữ liệu mang lại. Từ thực tiễn này,
xu hướng tất yếu của việc xây dựng một kho dữ liệu giúp bao qt tồn bộ thực
trạng của doanh nghiệp, tích hợp dữ liệu từ nhiều nguồn, thuận tiện trong việc tổng
hợp phân tích dữ liệu. Ngân hàng Vietinbank cũng đang có mong muốn giải quyết được
các bất cập về cơ sở dữ liệu hiện tại để có thể có được một kho dữ liệu để có thể phân tích
hệ thống E-banking từ đó đưa ra các quyết định. Chính vì vậy đề tài “Xây dựng quy trình
tích hợp dữ liệu ETL và xuất báo cáo cho hệ thống E-banking tại Ngân hàng TMCP Công
Thương Việt Nam” được chọn.

Trương Thị Mai Quỳnh - K20HTTTA

xiii


Bố cục của đề tài được chia thành 4 chương sau:
Chương 1: Khái quát về ngân hàng Vietinbank

Trong chương 1 sẽ giới thiệu qua về ngân hàng Vietinbank, cơ cấu tổ chức
của ngân hàng, chiến lược, mục tiêu phát triển của ngân hàng. Và giới thiệu về bài
toán, thực trạng quản lý dữ liệu và lý do lựa chọn bài toán.
Chương 2: Tổng quan về kho dữ liệu
Trong chương 2 của khóa luận sẽ giới thiệu tổng quan về lý thuyết cơ bản
của Data warehouse, các khái niệm, đặc điểm, kiến trúc của DWH, cách tổ chức dữ
liệu và các lý thuyết cơ bản về ETL.
Chương 3: Xây dựng quy trình ETL cho phân hệ E-banking
Trong chương 3 của khóa luận sẽ trình bày kiến trúc tổng quan của dự án,
cách trích xuất, chuyển đổi, tải dữ liệu được áp dụng vào dự án, quy trình ETL và
gửi gmail thơng báo lỗi và cách xử lý SCD trong dự án.
Chương 4: Xây dựng báo cáo phục vụ việc phân tích hệ thống E-banking
Trong chương 4 của khóa luận sẽ trình bày các báo cáo được xuất ra từ dữ
liệu được tải lên Data mart thơng qua q trình ETL.

Trương Thị Mai Quỳnh - K20HTTTA

xiv


CHƯƠNG I: KHÁI QUÁT VỀ NGÂN HÀNG VIETINBANK
1.1.

Giới thiệu ngân hàng Vietinbank

Ngân hàng TMCP Công Thương Việt Nam, (tên tiếng Anh: VietNam Joint
stock Commercial Bank for Industry and Trade), tên giao dịch VietinBank, là một
trong những ngân hàng thương mại Nhà nước lớn nhất Việt Nam. Vietinbank chính
thức được thành lập và đi vào hoạt động vào ngày 26/3/1988, trên cơ sở tách ra từ
Ngân hàng Nhà nước Việt Nam theo Nghị định số 53/HĐBT của Hội đồng Bộ

trưởng [1].
Hiện nay, Vietinbank là một trong 4 ngân hàng thuộc sở hữu của nhà nước,
hay còn gọi là “Big 4”. Trải qua hơn 30 năm xây dựng và phát triển, ngân hàng giữ
vị trí quan trọng trong ngành ngân hàng Việt Nam. Với hệ thống mạng lưới trải
rộng khắp trên đất nước ta gồm 1 sở giao dịch chính tại trung tâm Hà Nội, 151 Chi
nhánh lớn nhỏ khác và hơn 1000 phịng giao dịch [1].
Hoạt động chính của ngân hàng Vietinbank là thực hiện các giao dịch ngân
hàng bao gồm huy động và nhận tiền gửi ngắn hạn, trung hạn và dài hạn từ các tổ
chức và cá nhân. Cho vay ngắn hạn, trung hạn và dài hạn đối với các tổ chức và cá
nhân trên cơ sở tính chất và khả năng nguồn vốn của Ngân hàng. Thanh toán giữa
các tổ chức và cá nhân và thực hiện các giao dịch ngoại tệ, các dịch vụ tài trợ
thương mại quốc tế. Ngồi ra cịn có các hoạt động như: Chiết khấu thương phiếu,
trái phiếu, các giấy tờ có giá khác và các dịch vụ ngân hàng khác được Ngân hàng
Nhà nước Việt Nam cho phép [1].
Thông tin tổng quan về ngân hàng Vietinbank
- Tên đăng ký tiếng Việt: Ngân hàng thương mại cổ phần công thương Việt
Nam
- Tên đăng ký tiếng Anh: VietNam Joint stock Commercial Bank for Industry
and
Trade
- Tên giao dịch: VietinBank

- Địa chỉ hội sở chính: 108 Trần Hưng Đạo, Quận Hoàn Kiếm, Thành phố Hà
Trương Thị Mai Quỳnh - K20HTTTA

1


- Số điện thoại: (84-24) 3942 1030
- Số fax: (84-24) 3942 1032

- Website: www.vietinbank.vn
1.2.

Giá trị cốt lõi và triết lý kinh doanh

❖ Giá trị cốt lõi:
o Khách hàng là trung tâm: "Lấy nhu cầu của khách hàng là mục tiêu phục
vụ của Ngân hàng. Lắng nghe tiếng nói của khách hàng và chia sẻ với các
bên liên quan để đưa ra giải pháp tư vấn, đáp ứng nhu cầu của khách hàng.
Đồng thời, đảm bảo an toàn cho khách hàng nội bộ, khách hàng bên ngoài."
o Đổi mới sáng tạo "Luôn thể hiện sự sáng tạo trong mọi hoạt động; liên tục
đổi mới có sự kế thừa để tạo ra những giá trị tốt nhất cho hệ thống, khách
hàng và đóng góp vào sự phát triển của đất nước."
o Chính trực "VietinBank luôn nhất quán trong suy nghĩ và hành động đảm
bảo sự tuân thủ, kỷ luật, kỷ cương, trung thực, minh bạch và giữ vững đạo
đức nghề nghiệp."
o Tôn trọng "Thể hiện thái độ và hành động lắng nghe, chia sẻ, quan tâm, ghi
nhận đối với khách hàng, đối tác, cổ đông, lãnh đạo, đồng nghiệp và tôn
trọng bản thân."
o Trách nhiệm "Thể hiện tinh thần, thái độ và hành động của toàn hệ thống,
của từng bộ phận, từng cán bộ VietinBank có trách nhiệm cao đối với khách
hàng, đối tác, cổ đông, lãnh đạo, đồng nghiệp và cho chính thưong hiệu của
VietinBank. Thực hiện tốt trách nhiệm VietinBank với cộng đồng, xã hội là
trách nhiệm, vai trò, vinh dự, và tự hào của VietinBank."
❖ Triết lý kinh doanh
o An

toàn, hiệu quả và bền vững

o Trung thành, tận tuỵ, đồn kết, đổi mới, trí tuệ, kỷ cưong

o Sự thành công của khách hàng là sự thành công của VietinBank
1.3.

Lịch sử hình thành và phát triển

Lịch sử hình thành ngân hàng Vietinbank được chia thành 4 giai đoạn:
- Giai đoạn I: Từ tháng 7/1988 - 2000
Trương Thị Mai Quỳnh - K20HTTTA

2


Đây là giai đoạn thực hiện việc xây dựng và chuyển đổi từ hệ thống ngân hàng
một cấp thành hệ thống ngân hàng hai cấp. Ngân hàng Cơng Thương hình thành và
chính thức đi vào hoạt động trên thị trường [1].
- Giai đoạn II: Từ năm 2001 - 2008
Vietinbank hiện thành công đề án tái cơ cấu hệ thống ngân hàng về xử lý nợ, mơ
hình tổ chức, cơ chế chính sách và hoạt động kinh doanh. Hoạt động bài bàn và
chuyên nghiệp hơn, với quy mô ngày càng mở rộng [1].
- Giai đoạn III: Từ năm 2009 - 2013
Vietinbank thực hiện thành cơng cổ phần hóa, đổi mới mạnh mẽ, phát triển đột
phá các mặt hoạt động ngân hàng [1].
- Giai đoạn IV: Từ năm 2014 đến nay
Đây là giai đoạn đạt được nhiều thành tựu đáng kể của ngân hàng. Đầu tiên là
việc ứng dụng thành công các thành tựu về khoa học, công nghệ và tiến bộ của các
ngành tài chính trên thế giới. Tập trung xây dựng và thực thi quản trị theo chiến
lược, đột phá về cơng nghệ.Tồn bộ các hoạt động của ngân hàng được đổi mới
theo hướng tích cực hơn. Nhờ vậy mà kết quả kinh doanh cũng tăng trưởng đáng tự
hào, gắn với bảo đảm hiệu quả bền vững. Mang lại cho Vietinbank nhiều thành
cơng, ngày càng uy tín và chiếm trọn lòng tin của khách hàng [1].

1.4.

Sơ đồ bộ máy tổ chức

Trương Thị Mai Quỳnh - K20HTTTA

3


ĐẠI HỘI ĐĨNG CĨ ĐĨNG

Khối
Nhân sự

Khối
Cỗng nghê
thơng tin

Khoi
Vộn hành

Khối
Marketing
& Trun
thõng

Khối
Tàl chinh

Khối

Pháp chế
& Tn
thủ

Các
phịng
ban khác

Cơng ty
con

Hình 1.1. Sơ đồ bộ máy tổ chức ngân hàng Vietinbank
❖ Chức năng nhiệm vụ các phịng ban
- Đại hội đồng cổ đơng: là cơ quan có thẩm quyền cao nhất của Vietinbank.
Đại hội đồng cổ đơng có trách nhiệm phải thơng qua các báo cáo, quyết định
tăng, giảm vốn điều lệ và phương án phát hành trái phiếu, quyết định đầu tư
mua, bán tài sản,....
- Hội đồng quản trị: là cơ quan quản trị của Vietinbank có tồn quyền nhân
dnah Vietinbank để quyết định, thực hiện các quyền và nghĩa vụ liên quan
đến mục đích, quyền lợi của Vietinbank, trừ các vấn đề thuộc thẩm quyền
của Đại hội đồng cổ đông

Trương Thị Mai Quỳnh - K20HTTTA

4


- Ban kiểm sốt: có trách nhiệm giám sát hoạt động và tuân thủ theo quy định
của pháp luật và Điều lệ đối với Hội đồng quản trị, Tổng giám đốc trong việc
quản lý và điều hành Vietinbank, chịu trách nhiệm trước Đại hội đồng cổ

đông trong việc thực hiện quyền và nhiệm vụ được giao. Các công việc của
bna kiểm soát như ban hành quy định nội bộ, thẩm định báo cáo tài chính
năm, đánh giá tính hợp lý, hợp pháp, trung thực trong công tác quản lý, xem
xét sổ kế toán và các tài liệu liên quan đến hoạt động kinh doanh,....
- Ban điều hành: bao gồm tổng giám đốc, các phó giám đốc, kế tốn trưởng
của Vietinbank được Hội đồng quản trị bổ nhiệm. Ban điều hành chịu trách
nhiệm trong việc tổ chức, quản trị và hoạt động tại Vietinbank, lặp kế hoạch
chi tiết cho năm tài chính tiếp theo, lập các báo cáo kiểm tra, kiểm soát nội
bộ, tuyển dụng người lao động, quyết định mức lưong, thiết lập, duy trì và
phát triển kiểm tra, kiểm soát nội bộ hợp lý và hoạt động hiểu quả
- Văn phịng hội đồng ban quản trị: có chức năng thực hiện các công việc, văn
thư, thư ký thuộc HĐQT, ghi chép biên bản và lưu trữ các nghị quyết, quyết
định của Đại hội đồng cổ đông
1.5.

Tổng quan về bài toán

1.5.1.

Giới thiệu bài toán

Trong giai đoạn hiện nay, các ngân hàng thưong mại (NHTM) đã có những
bước phát triển vượt bậc, góp phần vào sự phát triển của ngành Ngân hàng và toàn
bộ nền kinh tế đất nước. Tuy nhiên, trước những thách thức và yêu cầu ngày càng
cao của phát triển kinh tế - xã hội, hội nhập quốc tế ngày càng sâu rộng, trong bối
cảnh môi trường kinh doanh ngày càng cạnh tranh và thay đổi nhanh chóng; áp lực
cạnh tranh cao đến từ các tổ chức phi ngân hàng, các tác động khó lường của đại
dịch COVID-19; sự phát triển mạnh mẽ của khoa học công nghệ;... đã đặt ra những
thách thức cho các NHTM trong nước. Vì vậy, để nâng cao năng lực của mình trước
sức ép cạnh tranh, các NHTM trong nước khơng chỉ hồn thiện những nghiệp vụ

truyền thống, mà còn phải thay đổi cơng nghệ, đa dạng hóa các các sản phẩm, dịch
vụ,.

Trương Thị Mai Quỳnh - K20HTTTA

5


Đối với ngành ngân hàng tài chính, là một tổ chức cung ứng dịch vụ tài
chính cho hầu hết các chủ thể trong nền kinh tế, một trong những ngành sở hữu khối
lượng dữ liệu lớn. Với đặc thù của ngành ngân hàng được phép thu thập dữ liệu
khách hàng và thông tin giao dịch của khách hàng (nên cơ sở khách hàng rộng lớn,
bao quát mọi mặt tài chính của nền kinh tế). Và mỗi ngân hàng xây dựng một cơ sở
dữ liệu khổng lồ, từ dữ liệu có cấu trúc (như lịch sử giao dịch, hồ sơ khách hàng) tới
những dữ liệu phi cấu trúc (như hoạt động của khách hàng trên website, ứng dụng
mobile banking hay trên mạng xã hội).
Khi công nghệ số được sử dụng rộng rãi, khả năng kiếm lợi nhuận từ dữ liệu
của các NHTM tăng lên đáng kể. Dữ liệu đang trở thành tài sản quý giá nhất trong
mọi doanh nghiệp trên thế giới. Để tận dụng và phát huy tối đa giá trị sức mạnh dữ
liệu, nâng cao năng lực cạnh tranh của mình ngân hàng VietinBank đã triển khai Dự
án kho dữ liệu doanh nghiệp - EDW với công ty ETC và Tech Mahindra để có thể
sử dụng các nguồn dữ liệu một cách có hiệu quả nhằm phục vụ cho công tác quản
trị điều hành, quản trị rủi ro, hỗ trợ ra quyết định và hoạch định chiến lược kinh
doanh. Đồng thời với kho dữ liệu doanh nghiệp tất cả dữ liệu trong toàn bộ ngân
hàng VietinBank được thống nhất, nhất quán, đồng thời cung cấp các báo cáo với
tính chính xác cao nhất. Đây là dự án kho dữ liệu doanh nghiệp được cho là lớn
nhất trong ngành Ngân hàng Việt Nam, với quy mô gần 40 terabyte dữ liệu (gấp 40
lần so với 1 hệ thống core banking bình thường). Tổng chi phí đầu tư cho dự án lên
đến 5,6 triệu USD (khoảng 122 tỷ đồng).
Vì đây là một dự án rất lớn tích hợp với gần 20 hệ thống nghiệp vụ ngân

hàng khác nhau tại VietinBank bao gồm các hệ thống như HRMS, E-Banking,
Creadit card, phân tích tín dụng (Credit analysis), phân tích rủi ro tín dụng (Credit
risk analysis), chuyển tiền (Remittance), Treasury,... Tại đây em được tham gia
vào phân hệ E-Banking. Đây là một trong những phân hệ rất quan trọng đối với
ngân hàng VietinBank, liên quan trực tiếp đến thông tin khách hàng, lịch sử giao
dịch, lịch sử sử dụng các sản phẩm, dịch vụ. Với E-banking người dùng có thể sử
dụng các dịch vụ ngân hàng trực tuyến mà không cần đến quầy giao dịch thơng qua
nền tảng mạng internet và viễn thơng. Chính bởi vậy E-banking mang lại những giá
trị mới cho khách hàng, tiết kiệm thời gian, chi phí, tiện lợi thực hiện các giao dịch
Trương Thị Mai Quỳnh - K20HTTTA

6