Tải bản đầy đủ (.pdf) (46 trang)

(TIỂU LUẬN) đồ án cơ sở các ỨNG DỤNG KHOA học dữ LIỆU (DATA SCIENCE APPLICATIONS)

Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (828.54 KB, 46 trang )

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC NGUYỄN TẤT THÀNH
KHOA CÔNG NGHỆ THÔNG TIN

ĐỒ ÁN CƠ SỞ

CÁC ỨNG DỤNG KHOA HỌC DỮ LIỆU
(DATA SCIENCE APPLICATIONS)

Giảng viên hướng dẫn: PHẠM ĐÌNH TÀI
Sinh viên thực hiện:
CHU DỖN ĐỨC
MSSV:
2000003917
Chun ngành:
Khoa học dữ liệu
Mơn học:
Đồ án cơ sở Khoa học Dữ liệu
Khóa:
2022

Tp.HCM, 22 tháng 9 năm 2022

i


BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC NGUYỄN TẤT THÀNH
KHOA CÔNG NGHỆ THÔNG TIN



ĐỒ ÁN CƠ SỞ

CÁC ỨNG DỤNG KHOA HỌC DỮ LIỆU
(DATA SCIENCE APPLICATIONS)

Giảng viên hướng dẫn: PHẠM ĐÌNH TÀI
Sinh viên thực hiện:
CHU DỖN ĐỨC
MSSV:
2000003917
Chun ngành:
Khoa học dữ liệu
Mơn học:
Đồ án cơ sở Khoa học Dữ liệu
Khóa:
2022

Tp.HCM, 22 tháng 9 năm 2022

ii


Trường Đại học Nguyễn Tất Thành
Khoa Công Nghệ Thông Tin
🙜 🙜 🙜 🙜

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM
Độc lập – Tự do – Hạnh phúc
🙜 🙜 🙜 🙜


NHIỆM VỤ ĐỒ ÁN CƠ SỞ
(Sinh viên phải đóng tờ này vào báo cáo)

Họ và tên: Chu Doãn Đức

MSSV: 2000003917

` Email:

SĐT: 09080482772

Chuyên ngành: Khoa học dữ liệu

Lớp: 20DTH1D

Tên đề tài: Các ứng dụng khoa học dữ liệu (Data Science Applications)
Giáo viên hướng dẫn: Phạm Đình Tài
Thời gian thực hiện:

20 / 06 /2021 đến 20 / 09 /2021

Nhiệm vụ/nội dung (mô tả chi tiết nội dung, yêu cầu, phương pháp… ):
MÔ TẢ ĐỀ TÀI:

- Data Science được định nghĩa là tất cả những gì về thu thập, khai thác và phân tích
dữ liệu để tìm ra insight giá trị. Sau đó trực quan hóa các Insight cho các bên liên
quan, để chuyển hóa Insight thành hành động. Đây là lĩnh vực đa ngành sử dụng
các phương pháp và quy trình khoa học để rút ra insight từ dữ liệu.
NỘI DUNG VÀ PHƯƠNG PHÁP:

-

Tìm hiểu về data Science trong kỷ nguyên số, vai trò và tầm quan trọng của Data Science

-

Các ứng dụng Data Science trong lĩnh vực ngân hàng, tài chính, sản xuất, giao thơng vận
tải, chăm sóc sức khỏe …

U CẦU:
-

Tìm hiểu về data Science, trình bày các ứng dụng chủ yếu của data Science trong
đời sống hiện nay.

Nội dung và yêu cầu đã được thông qua Bộ môn.
TP.HCM, ngày 27 tháng 06 năm 2022
TRƯỞNG BỘ MÔN

GIÁO VIÊN HƯỚNG DẪN

(Ký và ghi rõ họ tên)

(Ký và ghi rõ họ tên)

ThS. Vương Xn Chí

ThS. Phạm Đình Tài
iii



LỜI CẢM ƠN
Đầu tiên, em xin gửi lời cảm ơn chân thành đến Trường Đại học Nguyễn Tất Thành đã
đưa môn học “đồ án cơ sở Khoa học dữ liệu” vào trương trình giảng dạy. Đặc biệt, em
xin gửi lời cảm ơn sâu sắc đến giảng viên bộ môn – Thầy Phạm Đình Tài trực tiếp hướng
dẫn, dạy dỗ, truyền đạt những kiến thức quý báu cho em trong suốt thời gian học tập vừa
qua. Trong thời gian tham gia lớp học của thầy, em đã có thêm cho mình nhiều kiến thức
bổ ích, tinh thần học tập hiệu quả, nghiêm túc và đã cho em chắc chắn được hoạch định
trong tương lai của mình.
“Đồ án cơ sở Khoa học dữ liệu” là môn học thú vị, vô cùng bổ ích và có tính thực tế cao.
Đảm bảo cung cấp đủ kiến thức, gắn liền với nhu cầu thực tiễn của sinh viên nói chung
và riêng bản thân em nói riêng. Tuy nhiên, do vốn kiến thức còn nhiều hạn chế và khả
năng tiếp thu thực tế còn nhiều bỡ ngỡ và hạn hẹp. Mặc dù em đã cố gắng hết sức nhưng
chắc chắn bài báo cáo của em khó có thể tránh khỏi những thiếu sót và nhiều chỗ cịn
chưa chính xác, kính mong các thầy/cơ chấm bài xem xét và góp ý để bài tiểu luận của
em được hồn thiệt hơn.
Kính chúc thầy có nhiều sức khỏe, hạnh phúc, thành công trên con đường giảng dạy.
Em xin chân thành cảm ơn!

iv


LỜI MỞ ĐẦU
Cách đây khoảng một thập niên, hình ảnh những chiệc máy tính bàn cồng kềnh thường
gắn liền với góc làm việc của mỗi người mõi dữ liệu được lưu trên ổ cứng của máy tính
hoặc đĩa CD. Thế nhưng hiện nay với thời đại công nghệ số dữ liệu của mọi cá nhân hay
tổ chức được lưu trữ hoặc xuất hiện trên các phương tiện số như điện toán đám mây,
mạng xã hội, website, thiết bị di động và các thiết bị cảm biến. Chính sự bùng nổ của dữ
liệu lớn (Big Data) địi hỏi phải có những phương pháp khoa học và công nghệ hiện đại
để khai thác và ứng dụng trong nhiều lĩnh vực khác nhau. Việc hiểu rõ bản chất của dữ

liệu Big giúp phát triển nhiều lĩnh vực như kinh doanh, thương mại, kỹ thuật, ngân hàng,
y tế, v.v… Chính vì vậy ngành khoa học dữ liệu là một trong những ngành chủ chốt có
ưu thế đi đầu hiện nay.
Những năm gần đây, vai trò của việc ứng dụng khoa học dữ liệu vào đời sống đã ngày
càng lớn mạnh. Từ chỗ chỉ được sử dụng để hỗ trợ một số hoạt động trong văn phịng,
các doanh nghiệp,.... Đã trở nên có vai trị chiến lược trong hầu hết tất cả các ngành nghề
hiện nay. Đặc biệt những ứng dụng trong khoa học dữ liệu đã khiến đời sống ngày càng
dễ dàng và tiền nghi hơn cũng như các doanh nghiệp chú ý hơn tới việc áp dụng nó để
gia tăng ưu thế cạnh tranh và tạo cơ hội cho mình. Hiện nay, trào lưu áp dụng ứng dụng
khoa học dữ liệu không chỉ giới hạn trong các ngành nghề lớn, những nghiên cứu tầm cỡ
đa quốc gia mà còn lan rộng trong tất cả các tiên nghi đời sống.
Tuy nhiên việc ứng dụng khoa học dữ liệu vào đời sống không phải đơn giản ngay cả với
những doanh nghiệp lớn, dồi dào về nguồn lực, nhân lực và kinh nghiệm. Một ứng dụng
thành công trong doanh nghiệp này cũng chưa chắc thành công tương tự trong doanh
nghiệp khác. Vì vậy, hơm nay nhóm em sẽ tìm hiểu về “các ứng dụng Khoa học dữ liệu”
để có cái nhìn sâu hơn, thực tế hơn về việc ứng dụng khoa học dữ liệu vào các ngành
nghề cũng như đời sống. Vì thời gian thực hiện khơng nhiều cũng như cịn yếu kém về
mặt kiến thức chun ngành nên chắc chắn cịn nhiều thiếu sót, mong được thầy hướng
dẫn thêm. Trân trọng cảm ơn thầy/cô!
v


PHẦN NHẬN XÉT + CHẤM ĐIỂM CỦA GIẢNG VIÊN

.......................................................................................................
.......................................................................................................
.......................................................................................................
.......................................................................................................
.......................................................................................................
.......................................................................................................

.......................................................................................................
.......................................................................................................
.......................................................................................................
.......................................................................................................
.......................................................................................................
.......................................................................................................
Điểm giáo viên hướng dẫn:.....................................................................

.......................................................................................................
Điểm giảng viên chấm vòng 2:.................................................................

.......................................................................................................
.......................................................................................................
.......................................................................................................
Giáo viên chấm vòng 2

TPHCM, Ngày …… tháng …… năm
Giáo viên hướng dẫn

vi


vii


MỤC LỤC
CHƯƠNG 1: GIỚI THIỆU VỀ KHOA HỌC DỮ LIỆU..................................................1
1.1 – KHOA HỌC DỮ LIỆU LÀ GÌ?..............................................................................1
1.2 – TẠI SAO KHOA HỌC DỮ LIỆU LẠI QUAN TRỌNG?.......................................3
1.3 – LỊCH SỬ VÀ TƯƠNG LAI CỦA KHOA HỌC DỮ LIỆU?...................................4

1.3.1 – Lịch sử:.................................................................................................................4
1.3.2 – Tương lai:.............................................................................................................. 4
1.4 – KHOA HỌC DỮ LIỆU CĨ CƠNG DỤNG GÌ?......................................................4
1.4.1 – Phân tích mơ tả:.....................................................................................................5
1.4.2 – Phân tích chuẩn đốn:...........................................................................................5
1.4.3 – Phân tích dự đốn:.................................................................................................5
1.4.4 – Phân tích đề xuất:..................................................................................................6
1.5 – KHOA HỌC DỮ LIỆU MANG TỚI CHO DOANH NGHIỆP NHỮNG LỢI ÍCH
GÌ?.................................................................................................................................. 6
1.5.1 – Khám phá các mẫu biến đổi tiềm ẩn:.....................................................................6
1.5.2 – Sáng tạo các sản phẩm và giải pháp mới:..............................................................7
1.5.3 – Tối ưu hóa trong thời gian thực:............................................................................7
1.6 – QUY TRÌNH LÀM VIỆC CỦA KHOA HỌC DỮ LIỆU:.......................................8
1.6.1: O – Thu thập dữ liệu (Obtain data):......................................................................10
1.6.2: S – Làm sạch dữ liệu (Scrub data):........................................................................10
1.6.3: E – Khám phá dữ liệu (Explore data):...................................................................10
1.6.4: M – Mơ hình hóa dữ liệu (Model data):................................................................11
1.6.5: N – Diễn giải kết quả (Interpret results):...............................................................11
1.7 – CÁC KỸ THUẬT KHOA HỌC DỮ LIỆU LÀ GÌ?...............................................11
1.7.1 – Phân loại:.............................................................................................................11
1.7.2 – Hồi quy:..............................................................................................................12
1.7.3 – Phân nhóm:.........................................................................................................12
1.7.4 – Nguyên tắc cơ bản đằng sau các kỹ thuật khoa học dữ liệu:................................13
1.8 – SẢN PHẨM DATA (DỮ LIỆU):...........................................................................13
viii


1.8.1 – Mơ hình Data:.....................................................................................................13
1.9 – NHỮNG TỐ CHẤT VÀ KỸ NĂNG CẦN CÓ CỦA NHÀ KHOA HỌC DỮ
LIỆU:............................................................................................................................ 14

1.9.1 – Tố chất:...............................................................................................................14
1.9.2 – Kỹ năng cần có:...................................................................................................16
CHƯƠNG 2: CÁC ỨNG DỤNG CỦA KHOA HỌC DỮ LIỆU....................................19
1.1 – ỨNG DỤNG TRONG Y TẾ:................................................................................19
1.1.1 – Xây dựng hệ thống trợ lý chăm sóc sức khỏe ảo:................................................19
1.1.2 – Nghiên cứu về gen và di truyền:..........................................................................21
1.1.3 – Điều chế thuốc:....................................................................................................21
1.2 – ỨNG DỤNG TRONG TÌM KIẾM THƠNG TIN:................................................22
1.3 – ỨNG DỤNG TRONG LÍNH VỰC QUẢNG CÁO:..............................................22
1.4 – ỨNG DỤNG TRONG THƯƠNG MẠI ĐIỆN TỬ VÀ DỊCH VỤ SỐ:.................23
1.5 – ỨNG DỤNG TRONG TÀI CHÍNH – NGÂN HÀNG:.........................................25
1.5.1 – Ngân hàng:..........................................................................................................26
1.5.2 – Tài chính:.............................................................................................................27
1.6 – ỨNG DỤNG TRONG SẢN XUẤT:.....................................................................28
1.7 – ỨNG DỤNG TRONG GIAO THÔNG VẪN TẢI:...............................................29
CHƯƠNG 3: KẾT LUẬN...............................................................................................32

ix


DANH MỤC CÁC BẢNG BIỂU

x


DANH MỤC CÁC BẢNG HÌNH
Hình 1. 1: Khoa học dữ liệu là gì?.....................................................................................2
Hình 1. 2: Quy trình làm việc của nhà khoa học dữ liệu...................................................8
Hình 1. 3: Kỹ năng giao tiếp tốt......................................................................................15
Hình 1. 4: Thích tìm hiểu và thử cái mới........................................................................16

Hình 1. 5: Kiến thức tốn học.........................................................................................17
Hình 1. 6: Khả năng lập trình phần mềm.........................................................................18

Hình 2. 1: Các ứng dụng hữu ích của Data Science hiện nay.
.................................................................................................................
19
Hình 2. 2: Ứng dụng của khoa học dữ liệu trong y tế......................................................20
Hình 2. 3: Ứng dụng của khoa học dữ liệu trong tìm kiếm thơng tin..............................22
Hình 2. 4: Ứng dụng của khoa học dữ liệu trong quảng cáo...........................................23
Hình 2. 5: Ứng dụng của khoa học dữ liệu trong thương mại điên tử.............................24
Hình 2. 6: Ứng dụng của khoa học dữ liệu trong tài chính - ngân hàng..........................26
Hình 2. 7: Ứng dụng của khoa học dữ liệu trong sản xuất..............................................29
Hình 2. 8: Ứng dụng của khoa học dữ liệu trong vận tải.................................................30

xi


DANH MỤC CÁC BẢNG CHỨ VIẾT TẮT

xii


CHƯƠNG 1: GIỚI THIỆU VỀ KHOA HỌC DỮ LIỆU
1.1 – KHOA HỌC DỮ LIỆU LÀ GÌ?
Hầu hết các ngành khoa học từ xưa đến nay đều giải quyết vấn đề dựa trên lập luận và tri
thức:
 Ngành toán: dựa trên các mệnh đề, công thức, lập luận… để chứng minh bài toán.
 Ngành vật lý: dựa trên các quan sát, thực nghiệm, tính tốn, … kiểm chứng các
giả thiết.
 Ngành hóa học.

 Ta gọi các ngành khoa học này là “knowledge-driven” (dẫn dắt bởi tri thức)
 Với quan điểm như vậy, tất cả những quan sát mà không được chứng minh chặt
chẽ thường được cho là “không khoa học”
 Chẳng hạn: chuồn chuồn bay thấp thì mưa
 Khoa học dữ liệu ≠ Khoa học thơng thường ở quan điểm: tìm tri thức từ dữ liệu
(dẫn dắt bởi dữ liệu – “data-driven”)
- Chúng ta rút ra tri thức bằng việc tìm tịi từ dữ liệu chứ khơng nhất thiết phải chứng
minh nó
- Tất nhiên tri thức tìm ra phải có tính ổn định (ln có cùng kết quả nếu sử dụng cùng
một phương pháp)
Khoa học dữ liệu là lĩnh vực nghiên cứu dữ liệu nhằm khai thác những thông tin chuyên
sâu có ý nghĩa đối với hoạt động kinh doanh. Đây là một phương thức tiếp cận đa ngành,
kết hợp những nguyên tắc và phương pháp thực hành của các lĩnh vực tốn học, thống
kê, trí tuệ nhân tạo và kỹ thuật máy tính để phân tích khối lượng lớn dữ liệu. Nội dung
phân tích này sẽ giúp các nhà khoa học dữ liệu đặt ra và trả lời những câu hỏi như sự
1


kiện gì đã xảy ra, tại sao nó xảy ra, sự kiện gì sẽ xảy ra và có thể sử dụng kết quả thu
được cho mục đích gì.

Hình 1. 1: Khoa học dữ liệu là gì?

Theo cách hiểu đơn giản nhất, Khoa học dữ liệu là ngành khoa học về việc quản trị và
phân tích dữ liệu, trích xuất các giá trị từ dữ liệu nhằm mục đích tìm ra các hiểu biết, các
tri thức hành động, các quyết định dẫn dắt hành động.
Ngành khoa học dữ liệu gồm 3 phần chính:
 Tạo và quản trị dữ liệu.
 Phân tích dữ liệu.
 Chuyển kết quả phân tích thành giá trị của hành động.

Trong đó, việc phân tích và dùng dữ liệu được dựa vào ba nguồn tri thức bao gồm : tốn
học (thống kê tốn học), cơng nghệ thơng tin (máy học) và tri thức từ lĩnh vực ứng dụng
cụ thể.

2


1.2 – VAI TRÒ CỦA NHÀ KHOA HỌC DỮ LIỆU:
Một nhà khoa học dữ liệu phải xử lý cả dữ liệu có cấu trúc và phi cấu trúc. Dữ liệu phi
cấu trúc được thể hiện dưới dạng dữ liệu thô, yêu cầu phải xử lý, làm sạch và tổ chức lại
dữ liệu để tạo ra một cấu trúc có ý nghĩa cho bộ dữ liệu.
Theo đó các nhà Khoa học dữ liệu sẽ nghiên cứu các dữ liệu đã được tổ chức và phân
tích kỹ lưỡng để trích xuất thơng tin bằng cách sử dụng nhiều phương pháp thống kê
khác nhau. Họ sẽ sử dụng các phương pháp thống kê để mơ tả, trực quan hóa và đưa ra
các thơng tin giả thuyết từ dữ liệu đó.
Sau đó các nhà khoa học dữ liệu sẽ sử dụng thuật toán máy học (Machine learning) để
dự đoán các sự kiện sẽ xảy ra và đưa ra quyết định dựa trên các data đó. Những nhà khoa
học dữ liệu sẽ triển khai các mảng lớn công cụ và thực tiễn để nhận ra các mẫu dư thừa
trong dữ liệu. Các công cụ này bao gồm SQL, Hadoop, Weka, R và Python.
Họ thường đóng vai trị nhà tư vấn trong cơng ty, tham gia vào các quá trình ra quyết
định khác nhau và tạo ra các chiến lược. Nhờ vào sự hiểu biết từ dữ liệu, họ hỗ trợ các
công ty đưa ra quyết định kinh doanh thơng minh hơn.
Điển hình như các cơng ty công nghệ như Google, Netflix, và Amazon đang sử dụng
Khoa học dữ liệu, để phát triển hệ thống các đề xuất tích cực cho người dùng. Tương tự,
các cơng ty tài chính khác nhau đang sử dụng các phương pháp phân tích và dự báo để
dự đốn giá cổ phiếu.
Khoa học dữ liệu đã giúp tạo ra một hệ thống thơng minh hơn có thể đưa ra các quyết
định tự trị dựa trên các dữ liệu lịch sử. Thông qua sự đồng hóa với các cơng nghệ mới
nổi như Thị giác máy tính, Xử lý cơng nghệ tự nhiên, Reinforcement Learning (một lĩnh
vực thuộc Machine Learning).

1.3 – TẠI SAO KHOA HỌC DỮ LIỆU LẠI QUAN TRỌNG?
Khoa học dữ liệu quan trọng bởi vì lĩnh vực này kết hợp các công cụ, phương pháp và
công nghệ để rút ra ý nghĩa từ dữ liệu. Các tổ chức hiện đại chìm ngập trong dữ liệu và
hiện có vơ vàn thiết bị có thể tự động thu thập và lưu trữ dữ liệu. Các hệ thống và cổng
3


thanh toán trực tuyến đang dần thu thập nhiều dữ liệu hơn trong những lĩnh vực thương
mại điện tử, y tế, tài chính cũng như mọi khía cạnh khác của đời sống con người. Chúng
ta có sẵn khối lượng đồ sộ dữ liệu dưới dạng văn bản, âm thanh, video và hình ảnh.
Đáng tiếc thay, dữ liệu thơ chẳng có giá trị trừ khi chúng có thể được sử dụng để giải
quyết vấn đề. Các nhà khoa học dữ liệu có thể chuyển đổi dữ liệu thơ thành những đề
xuất có ý nghĩa. Họ có thể phát hiện và giải quyết các vấn đề mà doanh nghiệp cịn
khơng biết là chúng tồn tại. Các tổ chức có thể sử dụng những đề xuất này để khiến
khách hàng hài lòng hơn, tối ưu hóa chuỗi cung ứng hoặc cho ra mắt các sản phẩm mới.
1.4 – LỊCH SỬ VÀ TƯƠNG LAI CỦA KHOA HỌC DỮ LIỆU?
1.4.1 – Lịch sử:
Tuy rằng thuật ngữ khoa học dữ liệu khơng có gì mới, ý nghĩa và hàm ý của thuật ngữ
này đã thay đổi theo thời gian. Thuật ngữ này lần đầu xuất hiện vào khoảng thập niên 60,
trong vai trò là tên gọi khác của thống kê. Đến cuối thập niên 90, các chun gia khoa
học máy tính đã chính thức hóa thuật ngữ này. Một định nghĩa được đề xuất cho khoa
học dữ liệu mô tả lĩnh vực này như một ngành riêng biệt gồm 3 khía cạnh: thiết kế, thu
thập và phân tích dữ liệu. Vẫn phải mất thêm một thập niên nữa thì thuật ngữ này mới
được sử dụng ngồi giới học thuật.
1.4.2 – Tương lai:
Những đột phá về trí tuệ nhân tạo và máy học đã giúp hoạt động xử lý dữ liệu nhanh và
hiệu quả hơn. Nhu cầu trong ngành đã tạo ra một hệ sinh thái các khóa học, bằng cấp và
vị trí việc làm trong lĩnh vực khoa học dữ liệu. Do địi hỏi trình độ chuyên môn và bộ kỹ
năng đa ngành nghề, lĩnh vực khoa học dữ liệu cho thấy sự phát triển mạnh mẽ được dự
kiến trong những thập niên tới.

1.5 – KHOA HỌC DỮ LIỆU CĨ CƠNG DỤNG GÌ?
Khoa học dữ liệu được sử dụng để nghiên cứu giữ liệu theo 4 phương pháp chính:

4


1.5.1 – Phân tích mơ tả:
Phân tích mơ tả xem xét dữ liệu để thu thập thông tin chuyên sâu về những sự kiện đã
hoặc đang xảy ra trong môi trường dữ liệu. Đặc trưng của phương pháp này là sự trực
quan hóa dữ liệu, chẳng hạn như bằng biểu đồ tròn, biểu đồ cột, biểu đồ đường, bảng
hoặc văn bản thuyết minh. Ví dụ: một dịch vụ đặt vé máy bay có thể ghi lại dữ liệu như
số lượng vé được đặt mỗi ngày. Phân tích mơ tả sẽ chỉ ra mức tăng giảm đột biến trong
số lượng vé được đặt và các tháng hoạt động hiệu quả cao của dịch vụ này.
1.5.2 – Phân tích chuẩn đốn:
Phân tích chẩn đốn là một phương pháp phân tích chun sâu hoặc chi tiết dữ liệu để
nắm được nguyên nhân khiến một sự kiện xảy ra. Đặc trưng của phương pháp này là các
kỹ thuật như truy sâu, khám phá dữ liệu, khai thác dữ liệu và đối chiếu. Nhiều thao tác
vận hành và chuyển đổi dữ liệu có thể được thực hiện trên một tập dữ liệu nhất định để
phát hiện ra những mẫu độc đáo trong từng kỹ thuật này. Ví dụ: dịch vụ đặt vé máy bay
có thể sẽ truy sâu vào một tháng hoạt động đặc biệt hiệu quả để hiểu rõ hơn về mức tăng
đột biến trong số lượng vé được đặt. Điều này có thể dẫn tới việc phát hiện ra rằng nhiều
khách hàng ghé thăm một thành phố nhất định để tham dự một sự kiện thể thao hàng
tháng.
1.5.3 – Phân tích dự đốn:
Phân tích dự đốn sử dụng dữ liệu lịch sử để đưa ra các dự báo chính xác về mẫu dữ liệu
có thể xảy ra trong tương lai. Đặc trưng của phương pháp này là các kỹ thuật như máy
học, dự báo, so khớp mẫu và lập mơ hình dự đốn. Trong mỗi kỹ thuật, máy tính được
đào tạo để thiết kế ngược các mối quan hệ nguyên nhân-kết quả trong dữ liệu. Ví dụ: đội
ngũ dịch vụ đặt vé máy bay có thể sử dụng khoa học dữ liệu để dự đoán mẫu đặt vé
trong năm tới vào thời điểm đầu mỗi năm. Chương trình hoặc thuật tốn máy tính có thể

xem xét dữ liệu trong quá khứ và dự đoán mức tăng đột biến trong số lượng vé được đặt
cho các điểm đến nhất định trong tháng 5. Khi đã dự đoán được nhu cầu du lịch trong
tương lai của khách hàng, cơng ty sẽ có thể bắt đầu quảng cáo nhắm mục tiêu cho các
thành phố đó từ tháng 2.
5


1.5.4 – Phân tích đề xuất:
Phân tích đề xuất đưa dữ liệu dự đoán lên một tầm cao mới. Phương pháp này khơng chỉ
dự đốn sự kiện gì sẽ xảy ra mà còn đề xuất một phản ứng tối ưu cho kết quả đó. Nó có
thể phân tích tác động tiềm ẩn của các lựa chọn khác nhau và đề xuất hướng hành động
tốt nhất. Nó sử dụng phân tích đồ thị, mô phỏng, xử lý sự kiện phức tạp, mạng nơ-ron và
công cụ đề xuất từ máy học.
Quay lại ví dụ về dịch vụ đặt vé máy bay, phân tích đề xuất có thể xem xét các chiến
dịch tiếp thị trước đây để tăng tối đa lợi thế của mức tăng đột biến sắp tới trong số lượng
vé được đặt. Nhà khoa học dữ liệu có thể dự đốn kết quả đặt vé cho các mức chi tiêu
tiếp thị khác nhau trên những kênh tiếp thị đa dạng. Những dự báo này sẽ giúp công ty
đặt vé máy bay tự tin hơn khi đưa ra các quyết định tiếp thị.
1.6 – KHOA HỌC DỮ LIỆU MANG TỚI CHO DOANH NGHIỆP NHỮNG LỢI
ÍCH GÌ?
Khoa học dữ liệu đang cách mạng hóa phương thức hoạt động của các cơng ty. Nhiều
doanh nghiệp, bất kể quy mô, đều cần một chiến lược khoa học dữ liệu hiệu quả để thúc
đẩy tăng trưởng và duy trì lợi thế cạnh tranh. Một số lợi ích chính bao gồm:
1.6.1 – Khám phá các mẫu biến đổi tiềm ẩn:
Khoa học dữ liệu cho phép các doanh nghiệp phát hiện ra những mẫu và mối quan hệ
mới có tiềm năng biến đổi tồn bộ tổ chức. Nó có thể hé lộ những thay đổi với chi phí
thấp trong việc quản lý nguồn lực để tạo ra tác động tối đa đến tỷ suất lợi nhuận. Ví dụ:
một công ty thương mại điện tử sử dụng khoa học dữ liệu để phát hiện ra rằng có rất
nhiều truy vấn của khách hàng được tạo sau giờ làm việc. Các cuộc điều tra cho thấy
rằng khách hàng có nhiều khả năng mua hàng hơn nếu họ được phản hồi nhanh chóng

thay vì nhận được câu trả lời trong ngày làm việc tiếp theo. Bằng cách triển khai dịch vụ
khách hàng 24/7, doanh thu của doanh nghiệp đã tăng thêm 30%.

6


1.6.2 – Sáng tạo các sản phẩm và giải pháp mới:
Khoa học dữ liệu có thể hé lộ những lỗ hổng và vấn đề thường bị bỏ sót. Thơng tin
chun sâu hơn về quyết định mua hàng, phản hồi của khách hàng và quy trình kinh
doanh có thể thúc đẩy sự đổi mới sáng tạo trong hoạt động nội bộ cũng như các giải pháp
bên ngồi. Ví dụ: giải pháp thanh toán trực tuyến sử dụng khoa học dữ liệu để đối chiếu
và phân tích đánh giá của khách hàng về cơng ty trên mạng xã hội. Phân tích cho thấy
rằng khách hàng quên mật khẩu trong giai đoạn mua sắm cao điểm và khơng hài lịng
với hệ thống khơi phục mật khẩu hiện tại. Cơng ty có thể sáng tạo ra một giải pháp tốt
hơn và nhận thấy mức độ hài lòng của khách hàng tăng lên đáng kể.
1.6.3 – Tối ưu hóa trong thời gian thực:
Các doanh nghiệp, đặc biệt là những doanh nghiệp quy mô lớn, gặp rất nhiều thách thức
trong việc phản ứng với những điều kiện thay đổi trong thời gian thực. Điều này có thể
gây ra những tổn thất hoặc gián đoạn đáng kể trong hoạt động kinh doanh. Khoa học dữ
liệu có thể hỗ trợ các cơng ty dự đốn thay đổi và phản ứng một cách tối ưu với những
tình huống khác nhau. Ví dụ: một cơng ty vận chuyển bằng xe tải sử dụng khoa học dữ
liệu để giảm thời gian ngừng hoạt động khi xe bị hỏng hóc. Họ xác định được các mẫu
tuyến đường và ca làm việc khiến xe hỏng nhanh hơn và thay đổi lịch trình vận chuyển.
Họ cũng thiết lập một kho phụ tùng thay thế phổ biến cần thay thường xuyên để sửa
chữa xe tải nhanh chóng hơn.

7


1.7 – QUY TRÌNH LÀM VIỆC CỦA KHOA HỌC DỮ LIỆU:


Hình 1. 2: Quy trình làm việc của nhà khoa học dữ liệu.

 Bước 1: Input
Workflow bắt đầu từ một yêu cầu hoặc nhiệm vụ: “Nhu cầu tìm kiếm hình ảnh của
Google: đưa cho máy 1 bức ảnh, trả về những bức ảnh tương tự”
+ Nhu cầu này có thể bắt nguồn từ:
+ Do bộ phận business thu thập phản hồi từ người dùng và đề nghị có thêm tính năng
ABC
+ Hoặc, do chính nhà khoa học dữ liệu khi làm việc với dữ liệu, nghiên cứu đặc tính của
sản phẩm/ cơng ty cũng như kiểu/ lượng data hiện có… thì nảy sinh thêm sáng kiến phát
minh tính năng XYZ.
 Bước 2: Lên kế hoạch
Làm tính năng này có khả thi hay khơng?
+ Sẽ cần loại dữ liệu gì? Ở đâu? Bao nhiêu là đủ? Lấy dữ liệu như thế nào?
+ Cần bao nhiêu resource (nhân lực, thời gian).

8


+ Tính năng này sẽ được gắn vào đâu trong sản phẩm cuối cùng và sẽ giúp ích được gì
cho người dùng.
 Bước 3: Thu thập và làm sạch dữ liệu
+ Để dạy cho máy biết phân biệt chó/mèo, nó càng phải học nhiều hình ảnh càng tốt.
Nên phải đi “gom dữ liệu”.
+ Dữ liệu gom xong sẽ còn lộn xộn và nhiều rác thì phải “làm sạch dữ liệu”.
+ Hình ảnh khơng cần thì loại bỏ; Hình mờ thì làm cho rõ …
+ Đồng bộ hóa dữ liệu.
+ Hình ảnh mang về có kích thước khác nhau, phải đưa hết về cùng kích thước, định
dạng theo mơ hình dữ liệu đã chọn.

+ Nếu dữ liệu chưa đủ phải thu thập thêm.
 Bước 4: Chọn giải pháp
+ Nếu vấn đề đã có sẵn giải pháp
+ Lựa chọn / kết hợp các giải pháp lại, chạy thử nghiệm, kiểm tra thử nghiệm nào tốt
nhất và vì sao, chọn giải pháp để phát triển thêm.
+ Nếu vấn đề chưa có sẵn giải pháp
+ Cần làm nghiên cứu: tìm hiểu xem trước mình đã có ai từng làm về vấn đề này hay
chưa.
+ Sau đó, chọn ra một hoặc một loạt các phương pháp để thử nghiệm.
 Bước 5: Máy học
+ Chạy thử mơ hình và đánh giá hiệu năng
+ Tưởng tượng bạn điều khiển bảng điều khiển với nhiều nút.
+ Thử chỉnh nút này 1 chút, thấy kết quả ra tốt hơn chút xíu thì giữ lại và chỉnh thử nút
khác.
9


+ Nhận diện các yếu tố ảnh hưởng đến kết quả. Điều chỉnh dấu hiệu ưu tiên để ra được
kết quả tốt nhất.
 Bước 6: Output
+ Kết quả gắn vào một sản phẩm lớn có tính ứng dụng
+ Viết bài báo
+ Tổ chức hội thảo.
Quy trình khoa học dữ liệu thường được bắt đầu bởi một vấn đề kinh doanh. Nhà khoa
học dữ liệu sẽ làm việc với các bên liên quan để tìm hiểu nhu cầu của doanh nghiệp. Một
khi vấn đề đã được xác định, nhà khoa học dữ liệu sẽ giải quyết nó bằng cách sử dụng
quy trình khoa học dữ liệu OSEMN:
1.7.1: O – Thu thập dữ liệu (Obtain data):
Dữ liệu có thể tồn tại từ trước, mới được thu thập hoặc là một kho dữ liệu có thể tải
xuống từ Internet. Các nhà khoa học dữ liệu có thể trích xuất dữ liệu từ những cơ sở dữ

liệu nội bộ hoặc bên ngoài, phần mềm CRM của công ty, nhật ký máy chủ web, mạng xã
hội hoặc mua dữ liệu từ các nguồn bên thứ ba đáng tin cậy.
1.7.2: S – Làm sạch dữ liệu (Scrub data):
Làm sạch dữ liệu là quy trình chuẩn hóa dữ liệu dựa theo một định dạng được định
trước. Quy trình này bao gồm xử lý dữ liệu cịn thiếu, sửa lỗi dữ liệu và loại bỏ mọi dữ
liệu ngoại lai. Một số ví dụ về làm sạch dữ liệu:·
Thay đổi toàn bộ các giá trị ngày thành một định dạng tiêu chuẩn phổ biến.
Sửa lỗi chính tả hoặc thừa khoảng trống.
Sửa lỗi tính tốn khơng chính xác hoặc xóa dấu phẩy khỏi các số lớn.
1.7.3: E – Khám phá dữ liệu (Explore data):
Khám phá dữ liệu là thao tác phân tích sơ bộ dữ liệu được sử dụng để lập kế hoạch kỹ
hơn cho các chiến lược mơ hình hóa dữ liệu. Các nhà khoa học dữ liệu nắm được hiểu
10


biết ban đầu về dữ liệu bằng cách sử dụng thống kê mô tả và các công cụ trực quan hóa
dữ liệu. Sau đó họ khám phá dữ liệu để xác định các mẫu thú vị có thể được nghiên cứu
hoặc tận dụng.
1.7.4: M – Mơ hình hóa dữ liệu (Model data):
Phần mềm và các thuật toán máy học được sử dụng để thu thập thông tin chuyên sâu
hơn, dự đoán kết quả và đề xuất hướng hành động tốt nhất. Các kỹ thuật máy học như
liên kết, phân loại và phân nhóm được áp dụng cho tập dữ liệu đào tạo. Mơ hình có thể
được thử nghiệm so với dữ liệu thử nghiệm định trước để đánh giá độ chính xác của kết
quả. Mơ hình dữ liệu có thể được tinh chỉnh nhiều lần để cải thiện kết quả thu được.
1.7.5: N – Diễn giải kết quả (Interpret results):
Các nhà khoa học dữ liệu hợp tác cùng các chuyên gia phân tích và doanh nghiệp để
chuyển đổi thơng tin chi tiết về dữ liệu thành hành động. Họ tạo ra các sơ đồ, đồ thị và
biểu đồ để thể hiện những xu hướng và dự đốn. Tóm tắt dữ liệu giúp các bên liên quan
hiểu rõ và triển khai kết quả một cách hữu hiệu.
1.8 – CÁC KỸ THUẬT KHOA HỌC DỮ LIỆU LÀ GÌ?

Các chuyên gia khoa học dữ liệu sử dụng hệ thống máy tính để giám sát quy trình khoa
học dữ liệu. Những kỹ thuật hàng đầu được sử dụng bởi các nhà khoa học dữ liệu là:
1.8.1 – Phân loại:
Phân loại là kỹ thuật sắp xếp dữ liệu thành các nhóm hoặc danh mục cụ thể. Máy tính
được đào tạo để xác định và sắp xếp dữ liệu. Các tập dữ liệu đã xác định được sử dụng
để xây dựng những thuật toán ra quyết định trong một máy tính có khả năng xử lý và
phân loại dữ liệu một cách nhanh chóng. Ví dụ:
 Phân loại sản phẩm theo phổ biến hoặc không phổ biến.
 Phân loại đơn bảo hiểm theo rủi ro cao hoặc rủi ro thấp.
 Phân loại bình luận trên mạng xã hội thành tích cực, tiêu cực hoặc trung lập.
11


Các chuyên gia khoa học dữ liệu sử dụng hệ thống máy tính để giám sát quy trình khoa
học dữ liệu.
1.8.2 – Hồi quy:
Hồi quy là phương pháp tìm ra mối quan hệ giữa 2 điểm dữ liệu dường như không liên
quan. Mối liên kết này thường được lập mô hình xoay quanh một cơng thức tốn học và
được biểu thị dưới dạng đồ thị hoặc đường cong. Khi giá trị của một điểm dữ liệu đã
được xác định, hồi quy sẽ được sử dụng để dự đoán điểm dữ liệu cịn lại. Ví dụ:
 Tốc độ lây nhiễm của các căn bệnh lây qua đường khơng khí.
 Mối quan hệ giữa mức độ hài lòng của khách hàng và số lượng nhân viên.
 Mối quan hệ giữa số trạm cứu hỏa và số người bị thương do hỏa hoạn tại một địa
điểm cụ thể.
1.8.3 – Phân nhóm:
Phân nhóm là phương pháp gộp các dữ liệu có liên quan chặt chẽ lại với nhau để tìm
kiếm các mẫu và điểm dị thường. Phân nhóm khác với phân loại vì dữ liệu khơng thể
được sắp xếp chính xác vào các hạng mục cố định. Do đó, dữ liệu được nhóm thành các
mối quan hệ có khả năng xảy ra nhất. Thơng qua phân nhóm, các mẫu và mối quan hệ
mới có thể được phát hiện. Ví dụ:

 Nhóm những khách hàng có hành vi mua hàng giống nhau để cải thiện dịch vụ
khách hang.
 Nhóm lưu lượng mạng để xác định mẫu sử dụng hàng ngày và nhanh chóng phát
hiện một cuộc tấn cơng mạng.
 Nhóm các bài viết thành nhiều hạng mục tin tức khác nhau và sử dụng thông tin
này để tìm kiếm tin giả.

12


1.8.4 – Nguyên tắc cơ bản đằng sau các kỹ thuật khoa học dữ liệu:
Mặc dù khác nhau về chi tiết, nhưng những kỹ thuật này có các nguyên tắc cơ bản như
sau:
 Đào tạo một cỗ máy cách phân loại dữ liệu dựa trên một tập dữ liệu đã xác định.
Ví dụ: những từ khóa mẫu được nhập vào máy tính kèm theo giá trị phân loại của
chúng. “Hạnh phúc” là tích cực, cịn “Ghét” là tiêu cực.
 Cung cấp dữ liệu chưa xác định cho máy và cho phép thiết bị phân loại tập dữ liệu
một cách độc lập.
 Cho phép sai lệch về kết quả và xử lý hệ số xác suất của kết quả.
1.9 – SẢN PHẨM DATA (DỮ LIỆU):
 Sản phẩm data được xây dựng dựa trên dữ liệu:
- Tính năng recommendation của Amazon được xây dựng dựa trên dữ liệu của nó: người
dùng muốn mua món đồ gì? Những món đồ nào nên mua kèm?
 Sản phẩm data có thể là một sản phẩm riêng biệt hoặc một phần trong sản phẩm
lớn:
- Facebook có thể tự tag ảnh bạn bè của bạn.
 Sản phẩm data bao gồm nhiều thành phần nhưng mơ hình dữ liệu là cốt lõi của nó
và được xây dựng bằng các thuật tốn học máy.
1.9.1 – Mơ hình Data:
Ví dụ: bạn muốn dùng một chiếc hộp đen để nhận diện lồi vật

 B1: Bạn phải tìm rất nhiều hình ảnh con chó và con mèo
 B2: Cho hộp đen đọc những hình ảnh này
 B3: Dạy cho hộp đen biết đặc điểm nào trên bức hình là của con chó, đặc điểm
nào là của con mèo
13


×