BỘ CÔNG THƯƠNG
TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP THỰC PHẨM TP. HCM
KHOA CƠNG NGHỆ THƠNG TIN

ĐỒ ÁN MƠN HỌC

ĐỀ TÀI: TÌM HIỂU VÀ TRIỂN KHAI PHÂN TÍCH
FILELOG TRÊN WINDOWS SERVER

GVHD: TS. VŨ ĐỨC THỊNH

SINH VIÊN THỰC HIỆN:

TRƯƠNG
VĂN LÃM : 2033181038
HUỲNH TẤN TRẠNG
2033180179

:


Tìm hiểu vả triển khai phân tích FileLog trên Windows Server

LỜI MỞ ĐẦU
Ngày nay, tốc độ phát triển công nghệ thơng tin ngày càng nhanh chóng và lớn
mạnh, với nhu cầu quá lớn từ người sử dụng, dẫn đến các hệ thống máy tính trở nên
phức tạp, khó quản lý, thường xuyên gặp nhiều rắc rối. Nhiều hệ thống không phải ở
cùng một nơi, nằm phân tán. Các hệ điều hành, ứng dụng, dịch vụ được tạo ra bởi rất
nhiều nguồn khác nhau. Lượng dữ liệu khổng lồ không ngừng gia tăng nhưng lại
không tập trung. Vậy nên, chúng ta cần phải ghi lại hoạt động của hệ thống mà ở đây
là Log. Thông thường, các bản ghi được lưu trữ phân tán trên các thiết bị khác nhau.

Kiểm tra log theo phương pháp truyền thống là đăng nhập vào từng hệ thống để tìm
kiểm tra, tìm kiếm lỗi gây mất thời gian, kém hiệu quả. Ngày nay, để giải quyết yêu
cầu trên chúng em đã sử dụng bộ ELK để phân tích log theo thời gian thực giúp quản
lý đăng nhập tập trung, thao tác đơn giản và tăng hiệu quả làm việc. Có thể đáp ứng
một khối lượng lớn dữ liệu gây ra bởi một phân phối lưu trữ và xử lý, tìm kiếm văn
bản đầy đủ, đăng nhập khai thác, thách thức trực quan. Được xây dựng trên phần mềm
mã nguồn mở Lucene tìm kiếm tồn văn bản Elasticsearch, khơng phải chỉ có kích
thước khổng lồ của dữ liệu để hoàn thành việc lập chỉ mục phân phối và thu hồi, mà
cịn cung cấp các phân tích tổng hợp số liệu. Logstash đối phó hiệu quả với nhiều
nguồn dữ liệu khác nhau từ các thông tin đăng nhập, bảng điều khiển Kibana phân tích
kết quả trực quan.
Và với việc Windows Server 2019 đang ngày càng được sử dụng phổ biến.
Chúng ta có thể ghi lại mọi hoạt động của hệ thống, qua đó có thể mang lại nhiều lợi
ích rất cần thiết. Nhưng mà, việc để triển khai và phân tích được file log đối với nhiều
người không phải là chuyện dễ dàng và không phải người nào cũng có thể làm được
đặc biệt là với Windows Server 2019. Đây là lý do nhóm chúng em chọn đề tài:“Tìm
hiểu và triển khai phân tích filelog trên windows server” làm đồ án môn học.

2


Tìm hiểu vả triển khai phân tích FileLog trên Windows Server

PHIẾU GIAO NHIỆM VỤ

Tuần

Công việc thực hiện

Thực hiện

Trương Văn Lãm

01

Tập hợp tài liệu, đọc tài liệu liên quan
Huỳnh Tấn Trạng

02

03

Tìm hiểu về bộ công cụ ELK ( Elasticsearch
+ Logstash + Kibana)

Trương Văn Lãm
Huỳnh Tấn Trạng

Tìm hiểu về Windows Server, đề xuất mơ
hình triển khai

Trương Văn Lãm
Huỳnh Tấn Trạng

Tìm hiểu về cách lấy file log trong

Trương Văn Lãm

Windows Server

Huỳnh Tấn Trạng


04

05

Trương Văn Lãm
Triển khai bộ công cụ ELK
Huỳnh Tấn Trạng
Xây dựng mơ hình và triển khai hệ thống

Trương Văn Lãm

Viết báo cáo

Huỳnh Tấn Trạng

Giám sát và xử lý những sự cố có khả năng
xảy ra trong hệ thống.

Trương Văn Lãm

06

07

Huỳnh Tấn Trạng

Viết báo cáo

3



Tìm hiểu vả triển khai phân tích FileLog trên Windows Server

Trương Văn Lãm
08

Vận hành thử nghiệm hệ thống
Huỳnh Tấn Trạng

BẢN NHẬN XÉT CỦA GVHD
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................


4


Tìm hiểu vả triển khai phân tích FileLog trên Windows Server
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................

Nhóm em xinh chân thành cảm ơn!

5


Tìm hiểu vả triển khai phân tích FileLog trên Windows Server
Trân trọng!


TPHCM, Tháng 5 Năm 2021
GIẢNG VIÊN

NHẬN XÉT CỦA GIẢNG VIÊN PHẢN BIỆN
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
6


Tìm hiểu vả triển khai phân tích FileLog trên Windows Server
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................

.......................................................................................................................................
.......................................................................................................................................
.......................................................................................................................................

Nhóm em xinh chân thành cảm ơn!
Trân trọng!

TPHCM, Tháng 5 Năm 2021
GIẢNG VIÊN

7


Tìm hiểu vả triển khai phân tích FileLog trên Windows Server

LỜI CAM ĐOAN
Chúng tôi cam đoan rằng bài báo cáo đồ án này là do chính chúng tơi thực hiện dưới
sự hướng dẫn của thầy Vũ Đức Thịnh. Các số liệu và kết quả phân tích trong báo cáo
là trung thực.

TPHCM, Tháng 5 Năm 2021
SINH VIÊN THỰC HIỆN
(Kí và ghi rõ họ tên)
Trương Văn Lãm
Huỳnh Tấn Trạng

8


Tìm hiểu vả triển khai phân tích FileLog trên Windows Server


LỜI CẢM ƠN
Để hoàn thành đồ án này, trước hết chúng em xin gửi lời cảm ơn chân thành đến quý
thầy, cô giáo trong khoa Công nghệ Thông Tin trường Đại học Cơng nghiệp thực phẩm
Tp Hồ Chí Minh đã truyền đạt kiến thức và kinh nghiệm quý báu cho chúng em trong
suốt quá trình học tập và rèn luyện tại trường.
Trong quá trình thực hiện đề tài chúng em đã gặp khơng ít khó khăn. Nhưng với sự
động viên giúp đỡ của quý thầy cô, người thân và bạn bè, chúng em cũng đã hoàn
thành tốt đề tài nghiên cứu của mình và có được những kinh nghiệm, kiến thức hữu
ích cho bản thân.
Đặc biệt chúng em xin gởi lời cảm ơn sâu sắc đến thầy Vũ Đức Thịnh, người đã trực
tiếp hướng dẫn và tận tình giúp đỡ chúng em trong suốt thời gian thực hiện đề tài.
Dù đã cố gắng nhưng không thể tránh khỏi những sai sót. Rất mong sự thơng cảm và
đóng góp ý kiến của quý thầy cô và các bạn để đồ án được hồn thiện.
Cuối cùng, xin kính chúc q thầy cơ và các bạn sức khỏe, luôn thành công trong công
việc và cuộc sống.
Chúng em xin chân thành cảm ơn!

TPHCM,Tháng 5 Năm 2021

9


Tìm hiểu vả triển khai phân tích FileLog trên Windows Server
SINH VIÊN THỰC HIỆN
(Kí và ghi rõ họ tên)
Trương Văn Lãm
Huỳnh Tấn Trạng

MỤC LỤC

LỜI MỞ ĐẦU...............................................................................................................2
PHIẾU GIAO NHIỆM VỤ............................................................................................3
BẢN NHẬN XÉT CỦA GVHD....................................................................................4
NHẬN XÉT CỦA GIẢNG VIÊN PHẢN BIỆN............................................................5
LỜI CAM ĐOAN..........................................................................................................6
LỜI CẢM ƠN................................................................................................................ 7
MỤC LỤC..................................................................................................................... 8
DANH MỤC HÌNH ẢNH...........................................................................................10
DANH MỤC CHỮ VIẾT TẮT....................................................................................12
CHƯƠNG 1. CƠ SỞ LÝ THUYẾT............................................................................13
1.1. Giới thiệu đề tài................................................................................................13
1.1.1. Bối cảnh thực hiện đề tài............................................................................13
1.1.2. Mục đích thực hiện đề tài...........................................................................13
1.2. Giới thiệu File log.............................................................................................13
1.2.1. Log FTP.....................................................................................................15
1.2.2. Log Firewall...............................................................................................16
1.3. Giới thiệu về bộ công cụ ELK..........................................................................17
10


Tìm hiểu vả triển khai phân tích FileLog trên Windows Server
1.3.1. Giới thiệu về Elasticsearch.........................................................................18
1.3.2. Giới thiệu về Logstash..............................................................................20
1.3.2.1 LogStash hoạt động như thế nào?....................................................21
1.3.2.2 Input, Filer, Outputs.........................................................................22
1.3.3. Giới thiệt về Kibana...................................................................................24
1.3.4. Các công cụ hộ trợ liên quan khác(Beats)..................................................26
1.3.4.1 FileBeat (Cơng cụ đóng vai trị Shipper)..........................................27
1.3.4.2 Metricbeat........................................................................................28
1.4. Cách thức hoạt động của ELK và cơ chế đánh chỉ mục (Lucence)...................28

1.4.1. Cách thức hoạt động của ELK...................................................................28
1.4.2. Cơ chế đánh chỉ mục (Lucene)..................................................................29
1.4.2.1 Giới thiệu về Lucene........................................................................29
1.4.2.2 Chức năng của Lucene.....................................................................30
CHƯƠNG 2. THỰC NGHIỆM TRIỂN KHAI PHÂN TÍCH LOG TRÊN WINDOWS
SERVER 2019.............................................................................................................32
2.1. Đề xuất mơ hình................................................................................................32
2.2. Cài đặt các dịch vụ trên máy chủ (Windows server 2019)................................33
2.2.1. Cài đặt IIS (web server va fpt server).........................................................33
2.2.2. Lấy Log FTP, FireWall...............................................................................35
2.2.3. Bộ công cụ ELK + FileBeat.......................................................................36
CHƯƠNG 3. KẾT LUẬN...........................................................................................46
3.1. Kết quả đạt được...............................................................................................46
3.2. Tự đánh giá.......................................................................................................46
3.3. Mức độ hoàn thành...........................................................................................46

11


Tìm hiểu vả triển khai phân tích FileLog trên Windows Server

DANH MỤC HÌNH ẢNH
Hình 1.2.1 Biểu tượng tài liệu nhật kí.......................................................................15
Hình 1.2.2 Log FTP trên Windows Server 2019........................................................15
Hình 1.2.3 Log FTP trên Windows Server 2019........................................................17
Hình 1.3.1 Minh họa cách thức hoạt động của ELK.................................................18
Hình 1.3.2 Minh họa cách thức hoạt động của ELK.................................................18
Hình 1.3.3 Minh họa cách thức hoạt động của ELK.................................................19
Hình 1.3.4 Logo của Logstash..................................................................................20
Hình 1.3.5 Logo của Logstash..................................................................................21

Hình 1.3.6 Các đầu vào của Logstash.......................................................................22
Hình 1.3.7 Cấu trúc Filter.........................................................................................23
Hình 1.3.8 Các đầu ra Output của Logstash.............................................................24
Hình 1.3.9 Biểu tượng Kibana...................................................................................25
Hình 1.3.10 Cơ chế hoạt động ELK...........................................................................26
Hình 1.3.11 Cấu trúc Beats.......................................................................................27
Hình 1.3.12 Logo Filebeat.........................................................................................27
Hình 1.3.13 Cấu trúc ELK và FileBeats....................................................................28
Hình 1.3.14 Biểu tượng Metricbeat...........................................................................28
12


Tìm hiểu vả triển khai phân tích FileLog trên Windows Server
Hình 1.4.1 Cơ chế hoạt động của ELK......................................................................29
Hình 1.4.2 Lucene.....................................................................................................30
Hình 2.1.1 Mơ hình triển khai...................................................................................32
Hình 2.2.1 Cài đặt web server...................................................................................33
Hình 2.2.2 Truy cập web server................................................................................34
Hình 2.2.3 Cài đặt FTP server..................................................................................34
Hình 2.2.4 Hiển thị FTP Server.................................................................................35
Hình 2.2.5 Lấy Log FTP............................................................................................35
Hình 2.2.6 Lấy Log Firewall.....................................................................................36
Hình 2.2.7 Giao diện Kibana.....................................................................................36
Hình 2.2.8 Phân tích log FTP....................................................................................44

13


Tìm hiểu vả triển khai phân tích FileLog trên Windows Server


DANH MỤC CHỮ VIẾT TẮT

Từ viết tắt

Tên đầy đủ

ELK

Elasticsearch + Logstash + Kibana

FTP

File Tranfer Protocol

TCP

Tranmission Control Protocol

DHCP

Dynamic Host Configuration Protocol

UDP

User Datagram Protocol

14


Tìm hiểu vả triển khai phân tích FileLog trên Windows Server


JSON

JavaScript Object Notation

URL

Uniform Resource Locator

SFTP

Secure File Tranfer Protocol

15


Tìm hiểu vả triển khai phân tích FileLog trên Windows Server

CHƯƠNG 1. CƠ SỞ LÝ THUYẾT
1.1. Giới thiệu đề tài
1.1.1. Bối cảnh thực hiện đề tài
- Công nghệ ngày càng phát triển, Thế Giới ngày càng có chiều hướng đổ xô vào
lĩnh vực công nghệ thông tin, những thứ nhỏ nhặt nhất trong đời sống đều có sự
nhúng tay của công nghệ và trong mọi lĩnh vực. Đi kèm với đó là sự rị rỉ thơng
tin, và xâm nhập trái phép của các nguồn thơng tin lạ. Do đó chúng ta phải quản
lí tốt các máy chủ web và máy chủ proxy để phát hiện các hoạt động đó. Cụ thể
ở đây là các loại log với các mục đích khác nhau. Vì vậy nên, chúng em đã chọn
một đề tài có liên quan đến việc quản lí trên đó là: “Tìm hiểu và triển khai phân
tích filelog trên windows server” là đồ án mơn học
1.1.2. Mục đích thực hiện đề tài


-

Tìm hiểu và triển khai phân tích, đánh giá được các hoạt động để quản lý các
thông tin, file-log được tạo ra trên máy chủ chứa tất cả các thơng tin nằm ở
trên đó đó

1.2. Giới thiệu File log
-

FileLog là một file dữ liệu của máy tính hay của một máy chủ web hoặc một
máy chủ proxy được tạo ra chứa các thơng tin về thói quen sử dụng, các hoạt
động, sự kiện xảy ra trong một hệ điều hành, ứng dụng ,máy chủ hoặc thiết bị

khác.
Chúng ta có thể tóm gọn Filelog như một cuốn nhật ký,ghi chép lại tồn bộ q trình
hoạt động của một hệ thống.
FileLog chứa các thông tin về địa chỉ ip, thông tin người truy cập,dữ liệu truy vấn…
Thông thường filelog được chia thành một trong bốn loại sau :

-

Application Logs: Nhật ký ứng dụng.
Event Logs: Nhật ký sự kiện.
Security Logs: Nhật ký bảo mật.
16


Tìm hiểu vả triển khai phân tích FileLog trên Windows Server
-


Systeam Logs: Nhật ký hệ thống.

Cơ chế ghi file log:

o
o
o
o
o

Cơ chế độc lập
Các ứng dụng sẽ ghi nhật ký vào các thư mục riêng rẽ.
Làm cho việc theo dõi nhật ký khó khăn.
Khó sử dụng nhật ký của nhau.
Khó phát hiện vấn đề, tấn công.
Cơ chế tập trung
Các ứng dụng gửi thông báo chung cho một ứng dụng chịu trách nhiệm ghi nhật

ký
o Tùy theo mức độ ứng dụng nhật ký sẽ ghi các thông tin phù hợp vào nhật ký.
o Cơ chế tập trung giúp cho quản trị viên dễ dàng phát hiện vẫn đề,việc phân tích
log dễ dàng hơn
Thông thường trên hệ điều hành FileLog mỗi ứng dụng, dịch vụ sẽ ghi nhật ký ra mỗi
thư mục riêng biệt
Phân tích các file log là một nghệ thuật của việc trích dẫn đầy đủ ý nghĩa thơng tin và
đưa ra kết luận về trạng thái an toàn hay nguy hiểm từ các bản ghi thống kê.
Trên Windows nơi chứa các file log mặc định là:
- %SystemDrive%\inetpub\logs\LogFiles
Tác dụng của FileLog:


-

Log file ghi lại liên tục các thông báo về hoạt động của cả hệ thống hoặc của các

-

dịch vụ được triển khai trên hệ thống và file tương ứng.
Giúp cho việc khắc phục sự cố nhanh hơn khi hệ thống gặp vấn đề.
Giúp cho việc phát hiện, dự đoán một vấn đề có thể xảy ra đối với hệ thống
Phân tích nguyên nhân gốc rễ của một vấn đề.

17


Tìm hiểu vả triển khai phân tích FileLog trên Windows Server

Hình 1.2.1 Biểu tượng tài liệu nhật kí

1.2.1. Log FTP
FTP (viết tắt của File Transfer Protocol) là giao thức truyền tệp tin khá phổ biến hiện
nay. Thường được dùng đẻ trao đổi tập tin qua mạng lưới truyền thông dùng giao
thức TCP/IP.
Hoạt động của FTP cần có hai máy tính: một máy chủ và một máy khách.

18


Tìm hiểu vả triển khai phân tích FileLog trên Windows Server


Hình 1.2.2 Log FTP trên Windows Server 2019

FTP Log chứa bản ghi của tất cả các kết nối FTP nhưng không bao gồm bất kỳ kết nối
nào được thực hiện qua SFTP ,SSH. Bản thân nhật ký là một tệp văn bản đơn giản có
thể được đọc với bất kỳ trình đọc văn bản thuần túy nào.
1.2.2. Log Firewall
Firewall bản chất được tạo ra là để ngăn chặn các kết nối từ các mạng đáng ngờ.
Tường lửa sẽ kiểm tra địa chỉ nguồn, địa chỉ đích và cổng đich của các kết nối và kiểm
soát các lưu lượng được phép vào mạng.
Nó thường phục vụ hai mục đích:
Bảo vệ mơi trường khỏi các mối de dọa từ các nguồn bên trong và ngoài (internet)
Hoạt động như một tài nguyên điều tra cho các quản trị viên quản lý hệ thống
,những người theo dõi cách thức ,hành vi xâm nhập tường lửa
Để có hiệu quả nhất ,bộ quy tắc tường lửa phải được tăng cường với tính năng ghi
nhật ký
Tính năng ghi nhật ký ghi lại cách tường lửa xử lý lưu lượng, nhận biết được cái mỗi
đe dọa, các xâm nhập bất thường và kịp thời ngăn chặn.
19


Tìm hiểu vả triển khai phân tích FileLog trên Windows Server
Trên Windows có tích hợp sẵn Windows Filewall log là một tập tin văn bản thơ chúng
ta có thể xem thơng tin nó qua các trình soạn thảo.
Thường Notepad là trình soạn thảo văn bản mặc định của Windows Filewall log
Nơi chưa Filelog Windows Firewall log :
% systemroot% \ system32 \ LogFiles \ Firewall \ pfirewall.log

Hình 1.2.3 Log FTP trên Windows Server 2019

1.3. Giới thiệu về bộ công cụ ELK

Các hệ thống lớn với dữ liệu lớn thì việc quản lý và phân loại các log, xem thông tin
các filelog server ,phân tích log, kiểm sốt lỗi hay các xâm nhậpviệc đó khá là khó
khăn.
Nên cần một cơng cụ giúp quản lý log khá là cần thiết cho một hệ thống từ nhỏ đến
lớn.
Hiện nay cũng có khá nhiều cơng cụ để quản lý log, qua tìm hiểu thì bộ công cụ ELK

20


Tìm hiểu vả triển khai phân tích FileLog trên Windows Server
(Elasticsearch+ logstash+Kibana) có nhiều ưu điểm như miễn phí, là một mã nguồn
mở
Sau đây là Giới thiệu về Bộ công cụ ELK là gì?

Hình 1.3.4 Minh họa cách thức hoạt động của ELK

Bộ công cụ ELK (Elasticsearch + logstash + Kibana) là bộ công cụ với 3 phần mềm đi
chung với nhau, tất cả đều hỗ trợ cho việc quản lý log. Sau đây ta sẽ đi tìm hiểu về lần
lượt các công cụ này.
1.3.1. Giới thiệu về Elasticsearch
Elasticsearch là một cơng cụ tìm kiếm dựa trên mã nguồn mỡ Lucene.Nó hoạt động
theo tìm kiếm dạng phân tán.
Elasticsearch được phát triển bằng Java và là một cơng cụ tìm kiếm phổ biến nhất

Hình 1.3.5 Minh họa cách thức hoạt động của ELK

21



Tìm hiểu vả triển khai phân tích FileLog trên Windows Server

Elaticsearch có thể đạt được các phản hồi tìm kiếm nhanh vì nó sử dụng lập chỉ mục
để tìm kiếm trên các văn bản.
Các tính năng chính:

-

Phân tích thời gian.
Phân phối lưu trữ tập tin theo thời gian thực, và từng lĩnh vực được lập chỉ mục.
Tài liệu định hướng, tất cả các đối tượng là tất cả các tài liệu.
Tính sẵn0 sàng cao, dễ dàng mở rộng, hỗ trợ cluster (Cluster), phân mảnh và nhân

-

rộng (Shards và bản sao).
Giao diện thân thiện, hỗ trợ cho JSO

Các khái niệm cơ bản của Elasticsearch:
- Document : Là đơn vị nhỏ nhất để lưu trữ dữ liệu trong Elasticsearch. Đây là
một đơn vị lưu trữ thông tin cơ bản trong Elasticsearch, là một JSON object đối
với một số dữ liệu.JSON ( JavaScript Object Notation) là một kiểu định dạng dữ
liệu tuân theo một quy luật nhất định mà hầu hết các ngôn ngữ lập trình hiện nay
đều có thể đọc được
-

Index : Trong Elasticsearch có một cấu trúc tìm kiếm gọi là inverted index, nó
được thiết kế để cho phép tìm kiếm full-text search. Cách thức khá đơn giản, các
văn bản được tách ra thành từng từ có nghĩa sau đó sẽ được map xem thuộc văn


bản nào và khi search sẽ ra kết quả cụ thể.
Có 2 kiểu đánh index và forward index và inverted index.
Bản chất của inverted index là đánh theo keyword: words -> pages
còn forward đánh theo nội dung page -> words.

22


Tìm hiểu vả triển khai phân tích FileLog trên Windows Server

Hình 1.3.6 Minh họa cách thức hoạt động của ELK

Chúng ta có thể thấy việc đánh theo keyword thì việc tìm kiếm sẽ nhanh hơn việc
chúng ta phải tìm kiếm theo từng page. Elasticsearch sử dụng Apache lucence để
quản lý và tạo inverted index.

-

Shard là một đối tượng của Lucence, là tập hợp con của một Index. Một index có

thể được lưu trên nhiều shard.
Một node bao gồm nhiều Shard, shard chính là đối tượng nhỏ nhât hoạt động ở mức
thấp nhất, đóng vai trị lưu trữ dữ liệu.
- Node: Nơi lưu trữ dữ liệu, tham gia vào việc đánh mục lục của cluster cũng như
-

thực hiện việc tìm kiếm. Mỗi node được định danh bằng một unique name.
Cluster: Tập hợp các node chứa tất cả các dữ liệu. Mỗi cluster được định danh
bằng một unique name. Mỗi cluster có một node chính (master) được lựa chọn tự
động và có thể thay thế khi gặp sự cố.

1.3.2. Giới thiệu về Logstash

Logstash là một công cụ mã nguồn mở thu thập dữ liệu có khả năng liên hợp theo thời
gian thực. Logstash có thể hợp nhất dữ liệu từ các nguồn khác nhau và chuẩn hóa dữ
liệu ở phần xử lý tiếp theo. Loại bỏ và đồng hóa tất cả dữ liệu đó trong một số use case
cần phân tích và thể hiện trên biểu đồ.

23


Tìm hiểu vả triển khai phân tích FileLog trên Windows Server

Hình 1.3.7 Logo của Logstash

Logstash có 3 thành phần chính cũng chính là 3 bước xử lý chính của logstash đó là:
-INPUT: Nó có thể lấy đầu vào từ TCP/UDP, các file, từ syslog, Microsoft Windows
EventLogs, STDIN và từ nhiều nguồn khác. Chúng ta có thể lấy log từ các ứng dụng
trên môi trường của chúng ta rồi đẩy chúng tới Logstash.
-FILTER: Khi những log này tới Server Logstash, có một số lượng lớn các bộ lọc mà
cho phép ta có thể chỉnh sửa và chuyển đổi những event này. Ta có thể lấy ra các thơng
tin mà ta cần từ những event log.
-OUTPUT: Khi xuất dữ liệu ra, Logstash hỗ trợ rất nhiều các đích tới bao gồm
TCP/UDP, email, các file, HTTP, Nagios và số lượng lớn các dịch vụ mạng. Ta có thể
tích hợp Logstash với các cơng cụ tính tốn số liệu (metric), các cơng cụ cảnh báo, các
dạng biểu đồ, các công nghệ lưu trữ hay ta có thể xây dựng một cơng cụ trong mơi
trường làm việc của chúng ta.
1.3.2.1 LogStash hoạt động như thế nào?

24



Tìm hiểu vả triển khai phân tích FileLog trên Windows Server

Hình 1.3.8 Logo của Logstash

Đường ống xử lý sự kiện của Logstash có ba giai đoạn: input → filter → output. Các
đầu vào tạo ra các sự kiện, bộ lọc sửa đổi chúng và các đầu ra sẽ chuyển chúng tới nơi
khác. Đầu vào và đầu ra hỗ trợ codec cho phép bạn mã hóa hoặc giải mã dữ liệu khi nó
vào hoặc thốt khỏi đường dẫn mà khơng phải sử dụng bộ lọc riêng biệt
1.3.2.2 Input, Filer, Outputs
Input

Hình 1.3.9 Các đầu vào của Logstash

Chúng ta sử dụng Input để lấy dữ liệu vào Logstash. Một số đầu vào thường được sử
dụng là :
File : đọc từ một tệp trên hệ thống, giống như lệnh UNIX tail -0F
25