BỘ CÔNG THƯƠNG
TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP THỰC PHẨM TP. HCM
KHOA CƠNG NGHỆ THƠNG TIN

ĐỒ ÁN MƠN HỌC

ĐỀ TÀI: TÌM HIỂU VÀ TRIỂN KHAI PHÂN TÍCH
FILELOG TRÊN WINDOWS SERVER

GVHD: TS. VŨ ĐỨC THỊNH

SINH VIÊN THỰC HIỆN:
TRƯƠNG VĂN LÃM : 2033181038
HUỲNH TẤN TRẠNG : 2033180179

TPHCM, Tháng 5 Năm 2021


Tìm hiểu vả triển khai phân tích FileLog trên Windows Server

LỜI MỞ ĐẦU
Ngày nay, tốc độ phát triển công nghệ thơng tin ngày càng nhanh chóng và lớn
mạnh, với nhu cầu quá lớn từ người sử dụng, dẫn đến các hệ thống máy tính trở nên
phức tạp, khó quản lý, thường xuyên gặp nhiều rắc rối. Nhiều hệ thống không phải ở
cùng một nơi, nằm phân tán. Các hệ điều hành, ứng dụng, dịch vụ được tạo ra bởi rất
nhiều nguồn khác nhau. Lượng dữ liệu khổng lồ không ngừng gia tăng nhưng lại không
tập trung. Vậy nên, chúng ta cần phải ghi lại hoạt động của hệ thống mà ở đây là Log.
Thông thường, các bản ghi được lưu trữ phân tán trên các thiết bị khác nhau. Kiểm tra
log theo phương pháp truyền thống là đăng nhập vào từng hệ thống để tìm kiểm tra, tìm
kiếm lỗi gây mất thời gian, kém hiệu quả. Ngày nay, để giải quyết yêu cầu trên chúng
em đã sử dụng bộ ELK để phân tích log theo thời gian thực giúp quản lý đăng nhập tập

trung, thao tác đơn giản và tăng hiệu quả làm việc. Có thể đáp ứng một khối lượng lớn
dữ liệu gây ra bởi một phân phối lưu trữ và xử lý, tìm kiếm văn bản đầy đủ, đăng nhập
khai thác, thách thức trực quan. Được xây dựng trên phần mềm mã nguồn mở Lucene
tìm kiếm tồn văn bản Elasticsearch, khơng phải chỉ có kích thước khổng lồ của dữ liệu
để hoàn thành việc lập chỉ mục phân phối và thu hồi, mà còn cung cấp các phân tích
tổng hợp số liệu. Logstash đối phó hiệu quả với nhiều nguồn dữ liệu khác nhau từ các
thông tin đăng nhập, bảng điều khiển Kibana phân tích kết quả trực quan.
Và với việc Windows Server 2019 đang ngày càng được sử dụng phổ biến. Chúng
ta có thể ghi lại mọi hoạt động của hệ thống, qua đó có thể mang lại nhiều lợi ích rất cần
thiết. Nhưng mà, việc để triển khai và phân tích được file log đối với nhiều người không
phải là chuyện dễ dàng và không phải người nào cũng có thể làm được đặc biệt là với
Windows Server 2019. Đây là lý do nhóm chúng em chọn đề tài:“Tìm hiểu và triển khai
phân tích filelog trên windows server” làm đồ án môn học.

2


Tìm hiểu vả triển khai phân tích FileLog trên Windows Server

PHIẾU GIAO NHIỆM VỤ

Tuần

Công việc thực hiện

Thực hiện
Trương Văn Lãm

01


02

03

Tập hợp tài liệu, đọc tài liệu liên quan
Tìm hiểu về bộ công cụ ELK ( Elasticsearch

Trương Văn Lãm

+ Logstash + Kibana)

Huỳnh Tấn Trạng

Tìm hiểu về Windows Server, đề xuất mơ

Trương Văn Lãm

hình triển khai

Huỳnh Tấn Trạng

Tìm hiểu về cách lấy file log trong

Trương Văn Lãm

Windows Server

Huỳnh Tấn Trạng

04


05

06

07

Trương Văn Lãm

Triển khai bộ cơng cụ ELK

Huỳnh Tấn Trạng

Xây dựng mơ hình và triển khai hệ thống

Trương Văn Lãm

Viết báo cáo

Huỳnh Tấn Trạng

Giám sát và xử lý những sự cố có khả năng
xảy ra trong hệ thống.

Trương Văn Lãm
Huỳnh Tấn Trạng

Viết báo cáo

08


Huỳnh Tấn Trạng

Trương Văn Lãm

Vận hành thử nghiệm hệ thống

Huỳnh Tấn Trạng

3


Tìm hiểu vả triển khai phân tích FileLog trên Windows Server

BẢN NHẬN XÉT CỦA GVHD
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................


Nhóm em xinh chân thành cảm ơn!
Trân trọng!

TPHCM, Tháng 5 Năm 2021
GIẢNG VIÊN

4


Tìm hiểu vả triển khai phân tích FileLog trên Windows Server

NHẬN XÉT CỦA GIẢNG VIÊN PHẢN BIỆN
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................

Nhóm em xinh chân thành cảm ơn!
Trân trọng!


TPHCM, Tháng 5 Năm 2021
GIẢNG VIÊN

5


Tìm hiểu vả triển khai phân tích FileLog trên Windows Server

LỜI CAM ĐOAN
Chúng tôi cam đoan rằng bài báo cáo đồ án này là do chính chúng tơi thực hiện dưới sự
hướng dẫn của thầy Vũ Đức Thịnh. Các số liệu và kết quả phân tích trong báo cáo là
trung thực.

TPHCM, Tháng 5 Năm 2021
SINH VIÊN THỰC HIỆN
(Kí và ghi rõ họ tên)
Trương Văn Lãm
Huỳnh Tấn Trạng

6


Tìm hiểu vả triển khai phân tích FileLog trên Windows Server

LỜI CẢM ƠN
Để hoàn thành đồ án này, trước hết chúng em xin gửi lời cảm ơn chân thành đến quý
thầy, cô giáo trong khoa Công nghệ Thông Tin trường Đại học Cơng nghiệp thực phẩm
Tp Hồ Chí Minh đã truyền đạt kiến thức và kinh nghiệm quý báu cho chúng em trong
suốt quá trình học tập và rèn luyện tại trường.
Trong quá trình thực hiện đề tài chúng em đã gặp khơng ít khó khăn. Nhưng với sự động

viên giúp đỡ của quý thầy cô, người thân và bạn bè, chúng em cũng đã hoàn thành tốt
đề tài nghiên cứu của mình và có được những kinh nghiệm, kiến thức hữu ích cho bản
thân.
Đặc biệt chúng em xin gởi lời cảm ơn sâu sắc đến thầy Vũ Đức Thịnh, người đã trực
tiếp hướng dẫn và tận tình giúp đỡ chúng em trong suốt thời gian thực hiện đề tài.
Dù đã cố gắng nhưng không thể tránh khỏi những sai sót. Rất mong sự thơng cảm và
đóng góp ý kiến của quý thầy cô và các bạn để đồ án được hồn thiện.
Cuối cùng, xin kính chúc q thầy cơ và các bạn sức khỏe, luôn thành công trong công
việc và cuộc sống.
Chúng em xin chân thành cảm ơn!

TPHCM,Tháng 5 Năm 2021
SINH VIÊN THỰC HIỆN
(Kí và ghi rõ họ tên)
Trương Văn Lãm
Huỳnh Tấn Trạng

7


Tìm hiểu vả triển khai phân tích FileLog trên Windows Server

MỤC LỤC
LỜI MỞ ĐẦU .................................................................................................................2
PHIẾU GIAO NHIỆM VỤ .............................................................................................3
BẢN NHẬN XÉT CỦA GVHD .....................................................................................4
NHẬN XÉT CỦA GIẢNG VIÊN PHẢN BIỆN.............................................................5
LỜI CAM ĐOAN ............................................................................................................6
LỜI CẢM ƠN ..................................................................................................................7
MỤC LỤC .......................................................................................................................8

DANH MỤC HÌNH ẢNH .............................................................................................10
DANH MỤC CHỮ VIẾT TẮT .....................................................................................12
CHƯƠNG 1. CƠ SỞ LÝ THUYẾT ..............................................................................13
1.1. Giới thiệu đề tài ..................................................................................................13
1.1.1. Bối cảnh thực hiện đề tài .............................................................................13
1.1.2. Mục đích thực hiện đề tài ............................................................................13
1.2. Giới thiệu File log ...............................................................................................13
1.2.1. Log FTP .......................................................................................................15
1.2.2. Log Firewall ................................................................................................16
1.3. Giới thiệu về bộ công cụ ELK ............................................................................17
1.3.1. Giới thiệu về Elasticsearch ..........................................................................18
1.3.2. Giới thiệu về Logstash ................................................................................20
1.3.2.1 LogStash hoạt động như thế nào? .....................................................21
1.3.2.2 Input, Filer, Outputs ..........................................................................22
1.3.3. Giới thiệt về Kibana ....................................................................................24
1.3.4. Các công cụ hộ trợ liên quan khác(Beats) ...................................................26
1.3.4.1 FileBeat (Cơng cụ đóng vai trò Shipper)...........................................27
1.3.4.2 Metricbeat ..........................................................................................28
1.4. Cách thức hoạt động của ELK và cơ chế đánh chỉ mục (Lucence) ...................28
1.4.1. Cách thức hoạt động của ELK.....................................................................28
1.4.2. Cơ chế đánh chỉ mục (Lucene) ....................................................................29
1.4.2.1 Giới thiệu về Lucene .........................................................................29
1.4.2.2 Chức năng của Lucene ......................................................................30
CHƯƠNG 2. THỰC NGHIỆM TRIỂN KHAI PHÂN TÍCH LOG TRÊN WINDOWS
SERVER 2019 ...............................................................................................................32
8


Tìm hiểu vả triển khai phân tích FileLog trên Windows Server
2.1. Đề xuất mơ hình .................................................................................................32

2.2. Cài đặt các dịch vụ trên máy chủ (Windows server 2019) .................................33
2.2.1. Cài đặt IIS (web server va fpt server) ..........................................................33
2.2.2. Lấy Log FTP, FireWall ...............................................................................35
2.2.3. Bộ công cụ ELK + FileBeat ........................................................................36
CHƯƠNG 3. KẾT LUẬN .............................................................................................46
3.1. Kết quả đạt được .................................................................................................46
3.2. Tự đánh giá .........................................................................................................46
3.3. Mức độ hoàn thành .............................................................................................46

9


Tìm hiểu vả triển khai phân tích FileLog trên Windows Server

DANH MỤC HÌNH ẢNH
Hình 1.2.1 Biểu tượng tài liệu nhật kí .........................................................................15
Hình 1.2.2 Log FTP trên Windows Server 2019 .........................................................15
Hình 1.2.3 Log FTP trên Windows Server 2019 .........................................................17
Hình 1.3.1 Minh họa cách thức hoạt động của ELK ...................................................18
Hình 1.3.2 Minh họa cách thức hoạt động của ELK ...................................................18
Hình 1.3.3 Minh họa cách thức hoạt động của ELK ...................................................19
Hình 1.3.4 Logo của Logstash ....................................................................................20
Hình 1.3.5 Logo của Logstash ....................................................................................21
Hình 1.3.6 Các đầu vào của Logstash .........................................................................22
Hình 1.3.7 Cấu trúc Filter ...........................................................................................23
Hình 1.3.8 Các đầu ra Output của Logstash ...............................................................24
Hình 1.3.9 Biểu tượng Kibana.....................................................................................25
Hình 1.3.10 Cơ chế hoạt động ELK ............................................................................26
Hình 1.3.11 Cấu trúc Beats .........................................................................................27
Hình 1.3.12 Logo Filebeat...........................................................................................27

Hình 1.3.13 Cấu trúc ELK và FileBeats......................................................................28
Hình 1.3.14 Biểu tượng Metricbeat .............................................................................28
Hình 1.4.1 Cơ chế hoạt động của ELK .......................................................................29
Hình 1.4.2 Lucene ........................................................................................................30
Hình 2.1.1 Mơ hình triển khai .....................................................................................32
Hình 2.2.1 Cài đặt web server .....................................................................................33
Hình 2.2.2 Truy cập web server .................................................................................34
Hình 2.2.3 Cài đặt FTP server ....................................................................................34
Hình 2.2.4 Hiển thị FTP Server...................................................................................35
Hình 2.2.5 Lấy Log FTP ..............................................................................................35
Hình 2.2.6 Lấy Log Firewall .......................................................................................36
10


Tìm hiểu vả triển khai phân tích FileLog trên Windows Server
Hình 2.2.7 Giao diện Kibana ......................................................................................36
Hình 2.2.8 Phân tích log FTP .....................................................................................44

11


Tìm hiểu vả triển khai phân tích FileLog trên Windows Server

DANH MỤC CHỮ VIẾT TẮT

Từ viết tắt

Tên đầy đủ

ELK


Elasticsearch + Logstash + Kibana

FTP

File Tranfer Protocol

TCP

Tranmission Control Protocol

DHCP

Dynamic Host Configuration Protocol

UDP

User Datagram Protocol

JSON

JavaScript Object Notation

URL

Uniform Resource Locator

SFTP

Secure File Tranfer Protocol


12


Tìm hiểu vả triển khai phân tích FileLog trên Windows Server

CHƯƠNG 1. CƠ SỞ LÝ THUYẾT
1.1. Giới thiệu đề tài
1.1.1. Bối cảnh thực hiện đề tài
- Công nghệ ngày càng phát triển, Thế Giới ngày càng có chiều hướng đổ xô vào
lĩnh vực công nghệ thông tin, những thứ nhỏ nhặt nhất trong đời sống đều có sự
nhúng tay của công nghệ và trong mọi lĩnh vực. Đi kèm với đó là sự rị rỉ thơng
tin, và xâm nhập trái phép của các nguồn thơng tin lạ. Do đó chúng ta phải quản
lí tốt các máy chủ web và máy chủ proxy để phát hiện các hoạt động đó. Cụ thể ở
đây là các loại log với các mục đích khác nhau. Vì vậy nên, chúng em đã chọn
một đề tài có liên quan đến việc quản lí trên đó là: “Tìm hiểu và triển khai phân
tích filelog trên windows server” là đồ án mơn học
1.1.2. Mục đích thực hiện đề tài
-

Tìm hiểu và triển khai phân tích, đánh giá được các hoạt động để quản lý các
thông tin, file-log được tạo ra trên máy chủ chứa tất cả các thơng tin nằm ở trên
đó đó

1.2. Giới thiệu File log
-

FileLog là một file dữ liệu của máy tính hay của một máy chủ web hoặc một máy
chủ proxy được tạo ra chứa các thơng tin về thói quen sử dụng, các hoạt động, sự
kiện xảy ra trong một hệ điều hành, ứng dụng ,máy chủ hoặc thiết bị khác.


Chúng ta có thể tóm gọn Filelog như một cuốn nhật ký,ghi chép lại tồn bộ q trình
hoạt động của một hệ thống.
FileLog chứa các thông tin về địa chỉ ip, thông tin người truy cập,dữ liệu truy vấn…
Thông thường filelog được chia thành một trong bốn loại sau :
-

Application Logs: Nhật ký ứng dụng.

-

Event Logs: Nhật ký sự kiện.

-

Security Logs: Nhật ký bảo mật.

-

Systeam Logs: Nhật ký hệ thống.

Cơ chế ghi file log:
13


Tìm hiểu vả triển khai phân tích FileLog trên Windows Server
-

Cơ chế độc lập


o Các ứng dụng sẽ ghi nhật ký vào các thư mục riêng rẽ.
o Làm cho việc theo dõi nhật ký khó khăn.
o Khó sử dụng nhật ký của nhau.
o Khó phát hiện vấn đề, tấn cơng.
-

Cơ chế tập trung

o Các ứng dụng gửi thông báo chung cho một ứng dụng chịu trách nhiệm ghi nhật ký
o Tùy theo mức độ ứng dụng nhật ký sẽ ghi các thông tin phù hợp vào nhật ký.
o Cơ chế tập trung giúp cho quản trị viên dễ dàng phát hiện vẫn đề,việc phân tích log
dễ dàng hơn
Thơng thường trên hệ điều hành FileLog mỗi ứng dụng, dịch vụ sẽ ghi nhật ký ra mỗi
thư mục riêng biệt
Phân tích các file log là một nghệ thuật của việc trích dẫn đầy đủ ý nghĩa thông tin và
đưa ra kết luận về trạng thái an toàn hay nguy hiểm từ các bản ghi thống kê.
Trên Windows nơi chứa các file log mặc định là:
-

%SystemDrive%\inetpub\logs\LogFiles

Tác dụng của FileLog:
-

Log file ghi lại liên tục các thông báo về hoạt động của cả hệ thống hoặc của các
dịch vụ được triển khai trên hệ thống và file tương ứng.

-

Giúp cho việc khắc phục sự cố nhanh hơn khi hệ thống gặp vấn đề.


-

Giúp cho việc phát hiện, dự đốn một vấn đề có thể xảy ra đối với hệ thống

-

Phân tích nguyên nhân gốc rễ của một vấn đề.

14


Tìm hiểu vả triển khai phân tích FileLog trên Windows Server

Hình 1.2.1 Biểu tượng tài liệu nhật kí

1.2.1. Log FTP
FTP (viết tắt của File Transfer Protocol) là giao thức truyền tệp tin khá phổ biến hiện
nay. Thường được dùng đẻ trao đổi tập tin qua mạng lưới truyền thông dùng giao thức
TCP/IP.
Hoạt động của FTP cần có hai máy tính: một máy chủ và một máy khách.

Hình 1.2.2 Log FTP trên Windows Server 2019

15


Tìm hiểu vả triển khai phân tích FileLog trên Windows Server
FTP Log chứa bản ghi của tất cả các kết nối FTP nhưng không bao gồm bất kỳ kết nối
nào được thực hiện qua SFTP ,SSH. Bản thân nhật ký là một tệp văn bản đơn giản có

thể được đọc với bất kỳ trình đọc văn bản thuần túy nào.
1.2.2. Log Firewall
Firewall bản chất được tạo ra là để ngăn chặn các kết nối từ các mạng đáng ngờ. Tường
lửa sẽ kiểm tra địa chỉ nguồn, địa chỉ đích và cổng đich của các kết nối và kiểm soát các
lưu lượng được phép vào mạng.
Nó thường phục vụ hai mục đích:


Bảo vệ mơi trường khỏi các mối de dọa từ các nguồn bên trong và ngoài (internet)



Hoạt động như một tài nguyên điều tra cho các quản trị viên quản lý hệ thống

,những người theo dõi cách thức ,hành vi xâm nhập tường lửa
Để có hiệu quả nhất ,bộ quy tắc tường lửa phải được tăng cường với tính năng ghi nhật
ký
Tính năng ghi nhật ký ghi lại cách tường lửa xử lý lưu lượng, nhận biết được cái mỗi đe
dọa, các xâm nhập bất thường và kịp thời ngăn chặn.
Trên Windows có tích hợp sẵn Windows Filewall log là một tập tin văn bản thơ chúng
ta có thể xem thơng tin nó qua các trình soạn thảo.
Thường Notepad là trình soạn thảo văn bản mặc định của Windows Filewall log
Nơi chưa Filelog Windows Firewall log :
% systemroot% \ system32 \ LogFiles \ Firewall \ pfirewall.log

16


Tìm hiểu vả triển khai phân tích FileLog trên Windows Server


Hình 1.2.3 Log FTP trên Windows Server 2019

1.3. Giới thiệu về bộ công cụ ELK
Các hệ thống lớn với dữ liệu lớn thì việc quản lý và phân loại các log, xem thơng tin các
filelog server ,phân tích log, kiểm sốt lỗi hay các xâm nhậpviệc đó khá là khó khăn.
Nên cần một công cụ giúp quản lý log khá là cần thiết cho một hệ thống từ nhỏ đến lớn.
Hiện nay cũng có khá nhiều cơng cụ để quản lý log, qua tìm hiểu thì bộ cơng cụ ELK
(Elasticsearch+ logstash+Kibana) có nhiều ưu điểm như miễn phí, là một mã nguồn mở
Sau đây là Giới thiệu về Bộ công cụ ELK là gì?

17


Tìm hiểu vả triển khai phân tích FileLog trên Windows Server

Hình 1.3.1 Minh họa cách thức hoạt động của ELK

Bộ công cụ ELK (Elasticsearch + logstash + Kibana) là bộ công cụ với 3 phần mềm đi
chung với nhau, tất cả đều hỗ trợ cho việc quản lý log. Sau đây ta sẽ đi tìm hiểu về lần
lượt các cơng cụ này.
1.3.1. Giới thiệu về Elasticsearch
Elasticsearch là một công cụ tìm kiếm dựa trên mã nguồn mỡ Lucene.Nó hoạt động theo
tìm kiếm dạng phân tán.
Elasticsearch được phát triển bằng Java và là một cơng cụ tìm kiếm phổ biến nhất

Hình 1.3.2 Minh họa cách thức hoạt động của ELK

Elaticsearch có thể đạt được các phản hồi tìm kiếm nhanh vì nó sử dụng lập chỉ mục để
tìm kiếm trên các văn bản.
18



Tìm hiểu vả triển khai phân tích FileLog trên Windows Server
Các tính năng chính:
-

Phân tích thời gian.

-

Phân phối lưu trữ tập tin theo thời gian thực, và từng lĩnh vực được lập chỉ mục.

-

Tài liệu định hướng, tất cả các đối tượng là tất cả các tài liệu.

-

Tính sẵn0 sàng cao, dễ dàng mở rộng, hỗ trợ cluster (Cluster), phân mảnh và nhân
rộng (Shards và bản sao).

-

Giao diện thân thiện, hỗ trợ cho JSO

Các khái niệm cơ bản của Elasticsearch:
-

Document : Là đơn vị nhỏ nhất để lưu trữ dữ liệu trong Elasticsearch. Đây là một
đơn vị lưu trữ thông tin cơ bản trong Elasticsearch, là một JSON object đối với

một số dữ liệu.JSON ( JavaScript Object Notation) là một kiểu định dạng dữ liệu
tuân theo một quy luật nhất định mà hầu hết các ngơn ngữ lập trình hiện nay đều có
thể đọc được

-

Index : Trong Elasticsearch có một cấu trúc tìm kiếm gọi là inverted index, nó được
thiết kế để cho phép tìm kiếm full-text search. Cách thức khá đơn giản, các văn bản
được tách ra thành từng từ có nghĩa sau đó sẽ được map xem thuộc văn bản nào và
khi search sẽ ra kết quả cụ thể.
Có 2 kiểu đánh index và forward index và inverted index.

Bản chất của inverted index là đánh theo keyword: words -> pages
cịn forward đánh theo nội dung page -> words.

Hình 1.3.3 Minh họa cách thức hoạt động của ELK

19


Tìm hiểu vả triển khai phân tích FileLog trên Windows Server
Chúng ta có thể thấy việc đánh theo keyword thì việc tìm kiếm sẽ nhanh hơn việc chúng
ta phải tìm kiếm theo từng page. Elasticsearch sử dụng Apache lucence để quản lý và
tạo inverted index.
-

Shard là một đối tượng của Lucence, là tập hợp con của một Index. Một index có thể
được lưu trên nhiều shard.

Một node bao gồm nhiều Shard, shard chính là đối tượng nhỏ nhât hoạt động ở mức

thấp nhất, đóng vai trị lưu trữ dữ liệu.
-

Node: Nơi lưu trữ dữ liệu, tham gia vào việc đánh mục lục của cluster cũng như thực
hiện việc tìm kiếm. Mỗi node được định danh bằng một unique name.

-

Cluster: Tập hợp các node chứa tất cả các dữ liệu. Mỗi cluster được định danh bằng
một unique name. Mỗi cluster có một node chính (master) được lựa chọn tự động và
có thể thay thế khi gặp sự cố.

1.3.2. Giới thiệu về Logstash
Logstash là một công cụ mã nguồn mở thu thập dữ liệu có khả năng liên hợp theo thời
gian thực. Logstash có thể hợp nhất dữ liệu từ các nguồn khác nhau và chuẩn hóa dữ
liệu ở phần xử lý tiếp theo. Loại bỏ và đồng hóa tất cả dữ liệu đó trong một số use case
cần phân tích và thể hiện trên biểu đồ.

Hình 1.3.4 Logo của Logstash

20


Tìm hiểu vả triển khai phân tích FileLog trên Windows Server
Logstash có 3 thành phần chính cũng chính là 3 bước xử lý chính của logstash đó là:
-INPUT: Nó có thể lấy đầu vào từ TCP/UDP, các file, từ syslog, Microsoft Windows
EventLogs, STDIN và từ nhiều nguồn khác. Chúng ta có thể lấy log từ các ứng dụng
trên mơi trường của chúng ta rồi đẩy chúng tới Logstash.
-FILTER: Khi những log này tới Server Logstash, có một số lượng lớn các bộ lọc mà
cho phép ta có thể chỉnh sửa và chuyển đổi những event này. Ta có thể lấy ra các thông

tin mà ta cần từ những event log.
-OUTPUT: Khi xuất dữ liệu ra, Logstash hỗ trợ rất nhiều các đích tới bao gồm
TCP/UDP, email, các file, HTTP, Nagios và số lượng lớn các dịch vụ mạng. Ta có thể
tích hợp Logstash với các cơng cụ tính tốn số liệu (metric), các công cụ cảnh báo, các
dạng biểu đồ, các cơng nghệ lưu trữ hay ta có thể xây dựng một công cụ trong môi
trường làm việc của chúng ta.

1.3.2.1 LogStash hoạt động như thế nào?

Hình 1.3.5 Logo của Logstash

Đường ống xử lý sự kiện của Logstash có ba giai đoạn: input → filter → output. Các
đầu vào tạo ra các sự kiện, bộ lọc sửa đổi chúng và các đầu ra sẽ chuyển chúng tới nơi
khác. Đầu vào và đầu ra hỗ trợ codec cho phép bạn mã hóa hoặc giải mã dữ liệu khi nó
vào hoặc thốt khỏi đường dẫn mà không phải sử dụng bộ lọc riêng biệt

21


Tìm hiểu vả triển khai phân tích FileLog trên Windows Server
1.3.2.2 Input, Filer, Outputs
Input

Hình 1.3.6 Các đầu vào của Logstash

Chúng ta sử dụng Input để lấy dữ liệu vào Logstash. Một số đầu vào thường được sử
dụng là :
File : đọc từ một tệp trên hệ thống, giống như lệnh UNIX tail -0F
Syslog : nghe trên cổng 514 nổi tiếng cho các thông báo nhật ký hệ thống và phân tích
cú pháp theo định dạng RFC3164.

Redis : đọc từ máy chủ redis, sử dụng cả kênh redis và danh sách redis. Redis thường
được sử dụng như một “broker” trong một mơ hình Logstash tập trung, có hàng đợi các
sự kiện Logstash từ các “shippers” từ xa.
Beats : xử lý các sự kiện do beats gửi.

Filter

22


Tìm hiểu vả triển khai phân tích FileLog trên Windows Server

Hình 1.3.7 Cấu trúc Filter

Filter là thiết bị xử lý trung gian trong đường dẫn Logstash. Chúng ta có thể kết hợp các
bộ lọc với các điều kiện để thực hiện một hành động trên một sự kiện nếu nó đáp ứng
các tiêu chí nhất định. Một số bộ lọc hữu ích bao gồm :
Grok : phân tích cú pháp và cấu trúc văn bản tùy ý - chỉnh sửa định dạng log từ client
gửi về. Grok hiện là cách tốt nhất trong Logstash để phân tích cú pháp dữ liệu nhật ký
khơng được cấu trúc thành một thứ có cấu trúc và có thể truy vấn được. Với 120 mẫu
được tích hợp sẵn trong Logstash, nhiều khả năng chúng ta sẽ tìm thấy một mẫu đáp
ứng nhu cầu của mình.
Mutate : thực hiện các phép biến đổi chung trên các trường sự kiện. Bạn có thể đổi tên,
xóa, thay thế và sửa đổi các trường trong sự kiện của mình.
Drop : xóa hồn tồn sự kiện, ví dụ: debug events.
Clone : tạo bản sao của sự kiện, có thể thêm hoặc xóa các trường.
Geoip : thêm thơng tin về vị trí địa lý của địa chỉ IP (cũng hiển thị biểu đồ tuyệt vời
trong Kibana).

Output


23


Tìm hiểu vả triển khai phân tích FileLog trên Windows Server

Hình 1.3.8 Các đầu ra Output của Logstash

Các đầu ra là pha cuối cùng của đường ống Logstash. Một sự kiện có thể đi qua nhiều
đầu ra, nhưng một khi tất cả xử lý đầu ra đã hoàn tất, sự kiện đã hồn tất việc thực thi
của nó. Một số đầu ra thường được sử dụng bao gồm :
Elasticsearch : gửi dữ liệu sự kiện tới Elasticsearch. Nếu chúng ta đang có kế hoạch để
lưu dữ liệu trong một định dạng hiệu quả, thuận tiện, và dễ dàng truy vấn …
Elasticsearch là con đường để đi.
File : ghi dữ liệu sự kiện vào file trên bộ nhớ.
Graphite : gửi dữ liệu sự kiện tới graphite, một công cụ nguồn mở phổ biến để lưu trữ
và vẽ đồ thị số liệu.
Statsd : gửi dữ liệu sự kiện đến statsd, một dịch vụ lắng nghe và thống kê.

1.3.3. Giới thiệt về Kibana
Kibana được phát triển riêng cho ứng dụng ELK, thực hiển chuyển đổi các truy vấn của
người dùng thành câu truy vấn mà Elasticsearch có thể thực hiện được. Kết quả hiển thị
bằng nhiều cách: theo các dạng biểu đồ.
24


Tìm hiểu vả triển khai phân tích FileLog trên Windows Server

Hình 1.3.9 Biểu tượng Kibana


Quá trình thu thập log diễn ra như sau:
Các Shipper( như logstash-forwarder,…) từ Client đẩy log đến Broker, sau khi xử lý
xong Broker sẽ đưa log vào một hàng đợi trước khi nó được chuyển tiếp đến Logstash.
Logstash xử lý các bản tin log vừa chuyển đến và lưu trữ nó dưới dạng JSON document
vào trong ElasticSearch.
ElasticSearch có nhiệm vụ chính là lưu trữ và tìm kiếm tất cả các dữ liệu.
Sau đó bản tin Log được hiển thị trên Kibana Web Interface.

25