TRƯỜNG ĐẠI HỌC TÀI NGUYÊN VÀ MÔI TRƯỜNG HÀ NỘI
KHOA CÔNG NGHỆ THÔNG TIN

NGHIÊN CỨU CÔNG NGHỆ ĐIỆN TOÁN ĐÁM MÂY
VÀ XÂY DỰNG ỨNG DỤNG LƯU TRỮ DỮ LIỆU

Hà Nội – Năm 2020


TRƯỜNG ĐẠI HỌC TÀI NGUYÊN VÀ MÔI TRƯỜNG HÀ NỘI
KHOA CÔNG NGHỆ THÔNG TIN

ĐẶNG THỊ OANH

NGHIÊN CỨU CÔNG NGHỆ ĐIỆN TOÁN ĐÁM MÂY
VÀ XÂY DỰNG ỨNG DỤNG LƯU TRỮ DỮ LIỆU

Chuyên ngành
Mã ngành

: Công nghệ thông tin
: 7480201

NGƯỜI HƯỚNG DẪN: ThS. VŨ NGỌC PHAN

Hà Nội – Năm 2020


3

LỜI CẢM ƠN

Đầu tiên, em xin chân thành cảm ơn các thầy cô đã tận tình hướng dẫn,
giảng dạy trong suốt quá trình em học tập, nghiên cứu và rèn luyện tại trường
Đại học Tài Nguyên và Môi Trường Hà Nội. Đặc biệt, em xin chân thành cảm
ơn thầy Th.S.Vũ Ngọc Phan, người đã tận tình hướng dẫn giúp đỡ em hoàn
thành đồ án trong thời gian qua. Cuối cùng, em xin cảm ơn anh Đặng Xuân
Cảnh và các anh chị khác trong công ty Phần mềm Nhân Hòa đã nhiệt tình
giúp đỡ, đóng góp ý kiến giúp em trong quá trình nghiên cứu, tìm hiểu công
nghệ, giải pháp.
Tác giả đồ án tốt nghiệp
(ký và ghi rõ họ tên)

Đặng Thị Oanh


4

MỤC LỤC


5

DANH MỤC BẢNG


6

DANH MỤC HÌNH


7


DANH MỤC CÁC TỪ VIẾT TẮT
Từ viết tắt

Ý nghĩa

DAS

Direct Attached Storage

DB

Database

IOPs

Input-Output operation per second

NAS

Internet Small Computer Systems
Interface.
Network Attached Storage

PCI

Peripheral Component Interconnect

RBD
S3

SAN
VM
LUN
MON
SSD
HDD
XFS
NFS
LAN
CPU
RAM
SDS
OBS
QoS

Rados Block Device
Simple Storage Service
Storage Area Network
VirtualMachine
Local Unit Number
Monitor
Solid-State Drive
Hard Disk Drive
X file system
Network File System
Local Area Network
Central Processing Unit
Random Access Memory
Software Design Specification
Objects

Quality of Service

iSCSI

Tiếng việt
Lưu trữ đính kèm trực
tiếp
Cơ sở dữ liệu
Hoạt động đầu ra đầu vào
mỗi giây
Internet giao diện hệ
thống máy tính nhỏ
Lưu trữ gán mạng
Kết nối thành phần ngoại
vi
Thiết bị khối rados
Thiết bị lưu trữ đơn giản
Khu vực lưu trữ mạng
Máy ảo
Số đơn vị địa phương
Giám sát
Ổ đĩa thể rắn
Trình điều khiển đĩa cứng
Tập tin X
Hệ thống tập tin mạng
Mạng cục bộ
Bộ phận xử lý trung tâm
Bộ nhớ truy cập tạm thời
Đặc tả thiết kế phần mềm
Đối tượng

Chất lượng dịch vụ


8

MỞ ĐẦU
Chúng ta đang sống trong thời kỳ công nghệ 4.0, vì thế yêu cầu về khả
năng lưu dữ liệu rất cần thiết và trở lên cấp bách khi dữ liệu ngày càng lớn, và
các giải pháp truyền thống dần trở nên không đáp ứng kịp. Dữ liệu được lưu
trữ trên các hệ thống được gọi chung là hệ thống lưu trữ - Storage System.
Storage System là sự kết hợp của rất nhiều thành phần từ ứng dụng tới các
thiết bị mạng, các máy chủ, máy chủ lưu trữ, phần cứng lưu trữ, một số tài
nguyên liên quan.
Vấn đề hiện tại phải đối mặt của các doanh nghiệp là mật độ lưu trữ dữ
liệu, nó ảnh hưởng tới khả năng xử lý dữ liệu của doanh nghiệp. Tức càng
nhiều dữ liệu, càng nhiều vấn đề phải xử lý, cần thêm nhiều hơn khả năng đọc
ghi, lưu trữ, nhiều dữ liệu phải xử lý, di chuyển, sắp xếp, tổ chức, sao lưu, lưu
giữ trong thời gian dài.
Xuất phát từ vấn đề trên, em xin tìm hiểu và thực hiện đề tài “Nghiên
cứu công nghệ điện toán đám mây và xây dựng ứng dụng lưu trữ dữ liệu”
với các bước tổng quan từ xây dựng hạ tầng tới phát triển dịch vụ dựa trên hạ
tầng đã có.
Ngoại trừ phần mở đầu, kết luận và kiến nghị, tài liệu tham khảo cấu trúc
đồ án được chia làm 3 chương.
Chương 1: Tổng quan về lưu trữ đám mây và ảo hóa.
Chương 2: Giải pháp lưu trữ toàn diện của Ceph.
Chương 3: Xây dựng và phát triển ứng dụng dựa trên dịch vụ lưu trữ đám
mây riêng.



9

CHƯƠNG 1. TỔNG QUAN VỀ LƯU TRỮ ĐÁM MÂY
VÀ ẢO HÓA
1.1. Giới thiệu chung
Thách thức lớn nhất của các tổ chức, doanh nghiệp hiện tại là sự bùng
nổ dữ liệu, các công việc liên quan tới vấn đề quản lý dữ liệu (tính ràng buộc,
thống nhất), giá thành, thời gian, chi phí đầu tư cho cơ sở vật chất, không
gian, làm mát, năng lượng tiêu thụ, khả năng khai thác dữ liệu, và còn rất
nhiều vấn đề kéo theo.
1.1.1 Tầm quan trọng của dữ liệu và khả năng lưu trữ
Khả năng lưu trữ dữ liệu ảnh hưởng trực tiếp tới khả năng xử lý dữ liệu
của doanh nghiệp, càng nhiều dữ liệu dẫn tới càng nhiều vấn đề phải xử lý,
cần thêm nhiều hơn khả năng đọc ghi, khả năng tổ chức, di chuyển, sắp xếp,
sao lưu giữ trong thời gian dài. Tổ chức lưu trữ dữ liệu kéo theo các vấn đề về
năng lượng tiêu thụ, nơi đặt, không gian, Server, Storage, tài nguyên mạng,
quản lý, kinh phí, nhân viên. Một trong các giải pháp hữu hiệu hiện nay là
chuyển dịch, chuyển đổi dần sang sử dụng các giải pháp dựa trên dịch vụ đám
mây (Cloud service).

Hình 1.1. Quan hệ giữa chi phí và yêu cầu về tài nguyên theo thời gian


10

Cùng với sự tăng trưởng dữ liệu là các yêu cầu về độ tin cậy, sự ràng
buộc, tính toàn vẹn đối với dữ liệu, v.v. Khi có thêm thông tin, ta phải chi trả
thêm cho công tác quản lý, lưu trữ chúng. Khi dữ liệu có thể ảnh hưởng trực
tiếp hoặc gián tiếp tới lợi nhuận, việc cân bằng chi phí quản lý trở nên rất
quan trọng. Vì vậy để hỗ trợ cho sự phát triển kinh tế thì việc giám sát, phân

tích, bảo đảm dữ liệu rất quan trọng. Công việc này sẽ kéo theo các chi phí về
phần cứng, phần mềm, nhân lực, cơ sở vật chất, năng lượng, …v.v. Để cân
bằng tài chính trong các giải pháp liên quan tới dữ liệu, ta cần xem xét hàng
loạt các vấn đề như: Nhân lực, các quy trình, thời gian, chi phí chi trả, cơ sở
vật chất, năng lượng sử dụng, làm mát hệ thống, không gian đặt, máy chủ, hệ
thống lưu trữ, phần cứng mạng, bên cạnh đó là phần mềm, dịch vụ. Cùng với
đó là việc đảm bảo tối ưu chi phí, giảm giá thành, tăng chất lượng dịch vụ,
đảm bảo các các thỏa thuận cung cấp dịch vụ. Việc sử dụng các dịch vụ đám
mây sẽ giảm giá thành, tận dụng tối đa chi phí, tăng chất lượng dịch vụ (QoS).
1.1.2. Cơ hội của các công nghệ mới
Trong mô hình chuyển giao công nghệ truyền thống, khách hàng sẽ mua
hoặc thuê dịch vụ từ nhà cung cấp. Các thông tin về dịch vụ sẽ được chuyển
tới người dùng, người dùng từ đó truy cập tới các ứng dụng doanh nghiệp
đang chạy trên máy chủ nào đó (truy nhập từ xa). Phương pháp truy cập có
thể thông qua mạng, hoặc một đường kết nối riêng tới máy chủ cung cấp dịch
vụ. Máy chủ cung cấp dịch vụ có thể tồn tại dưới dạng ảo hỏa hoặc vật lý, với
các yêu cầu về hệ điều hành, các tham số, cấu hình, công cụ hỗ trợ quản lý tùy
theo yêu cầu người dùng. Dịch vụ được thiết lập dạng chỉ định hoặc chia sẻ,
chúng được gọi là các dịch vụ quản lý và đám mây. Có những mô hình riêng
để cung cấp các dịch vụ khác nhau.


11

1.1.3. Dịch vụ đám mây, ảo hóa, hệ thống lưu trữ dữ liệu.
Các nhà máy thông tin đặt tại một địa điểm cố định sẽ kéo theo các tài
nguyên về năng lượng, làm mát, các kỹ thuật, v.v. Sản phẩm của nhà máy
thông tin là các dịch vụ thông tin và bao gồm cả máy chủ, lưu trữ và mạng
lưới.
Với các hệ thống tính toán đám mây hoặc các nhà cung cấp lưu trữ, chi

phí dịch vụ cung cấp của họ sẽ có giá thành rẻ hơn so với việc tự xây dựng hạ
tầng. Đồng thời cung cấp sự đa dạng các dịch vụ. Điểm mạnh của đám mây
cũng chính là điểm yếu khi tiết kiệm giá thành, tài nguyên sẽ kéo theo các vấn
đề về hiệu năng, độ khả dụng, tính toàn vẹn dữ liệu, khả năng quản lý, và rất
nhiều yếu tố khác ảnh hưởng tới chất lượng dịch vụ.
Khi đánh giá giải pháp đám mây, ta không nên xem đó là một công
nghệ cạnh tranh, thay thế mà ta nên coi nó là giải pháp bổ sung cho sự đa
dạng các dịch vụ, tối ưu tài nguyên sẵn có, bổ sung thêm các nguồn lực cho
dịch vụ.
1.1.4. Dịch vụ đám mây và ảo hóa
Có rất nhiều cách định nghĩa cho đám mây. Ở góc độ cơ bản, tính toán
đám mây là một mô hình, định nghĩa vẫn đang được phát triển. Khái niệm sẽ
khác nhau khi so sánh các công nghệ đám mây khác nhau. Đám mây được
định nghĩa khác nhau qua từng khía cạnh dựa trên quan điểm từng lĩnh vực.
Dưới góc nhìn nhà nghiên cứu, đám mây là làn sóng mới, công nghệ của
tương lai. Với chuyên gia công nghệ thông tin (IT), chúng là giải pháp cho
mọi vấn đề đang gặp phải của doanh nghiệp. Đám mây còn là hình ảnh ẩn dụ
cho các thành phần mạng toàn cầu trong nhiều thế kỷ qua [1].
Một thuộc tính quan trọng trong đám mây là sự trừu tượng hóa các
thành phần phức tạp bên dưới đồng thời cho phép cung cấp dịch vụ linh hoạt,
hiệu quả hơn. Đây cũng là vấn đề gây nhầm lẫn khi nói đến đám mây. Đôi khi
đám mây được nhầm là các công nghệ cũ được đóng gói lại. Chúng ta đã và


12

đang sử dụng dịch vụ đám mây, các sản phẩm dựa trên đám mây, các kỹ thuật
lưu trữ, hoặc một số sản phẩm tương tự nhưng không nhận thấy.
Dịch vụ đám mây và ảo hóa có 5 đặc điểm:
− Khả năng thu hồi và cấp phát tài nguyên linh hoạt.

− Truy nhập qua mạng.
− Có thể thống kê, chi trả theo mức độ sử dụng.
− Khả năng tự phục vụ.
− Chia sẻ tài nguyên.
Dịch vụ đám mây và ảo hóa 4 mô hình dịch vụ:
− Public Cloud: Đám mây công cộng.
− Private Cloud: Đám mây cá nhân.
− Community Cloud: Đám mây cộng đồng.
− Hybrid Cloud: Là sự kết hợp giữa Public Cloud và Private Cloud
Dịch vụ đám mây và ảo hóa 3 mô hình triển khai:
− Hạ tầng như một dịch vụ (Infrastructure as a Service).
− Nền tảng như một dịch vụ (Platform as a Service).
− Phần mềm như một dịch vụ (Software as a Service).
1.2 Nền tảng chung của Đám mây, Ảo hóa, Hệ thống lưu trữ.


13

Hình 1.2. Mô hình tổng quan về lưu trữ đám mây

1.2.1. Cơ bản về máy chủ (Server) và hệ thống lưu trữ
Máy chủ, được gọi là các máy tính đóng vai trò rất quan trọng trong
đám mây, ảo hóa, hệ thống lưu trữ. Về cơ bản, máy chủ sẽ chạy các ứng dụng
chuyên dụng, để hỗ trợ cung cấp các dịch vụ. Các chương trình này chịu trách
nhiệm tạo các tiến trình đọc ghi dữ liệu, các truy cập mạng. Một vai trò khác
của máy chủ trong Đám mây và ảo hóa trung tâm dữ liệu là các hệ thống lưu
trữ dữ liệu, thực hiện các nhiệm vụ với mục đích lưu trữ.
Máy chủ có nhiều loại, tùy theo mức giá sẽ hiệu năng, tính sẵn sàng,
khả năng lưu trữ, năng lượng tiêu thụ khác nhau. Sự đa dạng của chúng
hướng tới giải quyết các vấn đề khác nhau trong giải pháp đám mây. Một loại

máy chủ khác là Máy chủ ảo, chúng được cung cấp dựa trên các hypervisor
(Microsoft Hyper-V, VMware vSphere, or Citrix Xen v.v). Hypervisor được
sử dụng để tạo các máy ảo từ máy chủ vật lý. Các tài nguyên máy chủ, đám
mây sẽ chia sẻ tài nguyên tới các máy ảo.
Máy chủ có nhiều tên khác nhau: Email Server, Database Server,
Application Server, Web Server, Video hoặc File Server, Network Server,
Storage Server, v.v. Cách đặt tên này dựa theo trách nhiệm của chúng. Đây
cũng là vấn đề gây nhầm lẫn khi nói đến máy chủ dịch vụ. Vì một máy chủ
dịch vụ có thể hỗ trợ nhiều dịch vụ khác nhau nên khó có thể đặt tên chuyên
dụng cho nó. Vì vậy để đơn giản phân biệt, ta nên cân nhắc máy chủ có dạng
Storage, Server hoặc một phần của hệ thống mạng, hoặc một nền tảng ứng
dụng. Thuật ngữ "appliance" được sử dụng cho một số loại máy chủ (loại máy
chủ riêng biệt) khi dịch vụ cung cấp được kết hợp dựa trên phần cứng và phần
mềm. Về mặt kỹ thuật, đây không phải một loại máy chủ, một số nhà sản xuất


14

sử dụng thuật ngữ "tin-wrapped software” để tránh sự nhẫm lẫn “appliance”
và “server” [2].

1.2.2. Máy chủ và các kiến trúc I/O
Về cơ bản, các nhà cung cấp sẽ có kiến trúc riêng cho sản phẩm của họ.
Kiến trúc sẽ bao gồm các thành phần CPU, Memory, Bus trong hoặc các chip
truyền thông, cổng I/O, tương tác giữa các cổng giữ kiến trúc với hạ tầng
mạng, các loại thiết bị lưu trữ, v.v. Các máy tính cần thực hiện hoạt động truy
xuất trên các thiết bị khác nhau, và thành phần quan trọng để thực hiện quá
trình vào ra I/O, kết nối mạng là chuẩn kết nối tiêu chuẩn PCI.
PCI là chuẩn chipset sử dụng cho kết nối giữa CPU, Memory với các
thiết bị IO, các thiết bị mở rộng. Có rất nhiều chuẩn PCI định nghĩa bởi PCI

Special Interest Group (PCISIG): PCI Express (PCIe), PCIx, Fibre Channel,
Fibre Channel over Ethernet (FCoE), InfiniBand Architecture (IBA), SAS,
SATA, Universal Serial Bus (USB), và 1394 Firewire.

Hình 1.3. Kiến trúc máy chủ và máy tính
Các thành phần cơ bản trên server:
− Bo mạch chủ.
− Bộ vi xử lý CPU (một hoặc nhiều CPU).


15

− Bộ nhớ RAM.
− Thiết bị ngoại vi (bàn phím, màn hình, v.v).
− Các thiết bị mở rộng bảo gồm jack cắm mạng, v.v.
− Các thiết bị mở rộng sử dụng khe PCI.
1.2.3. Phân cấp lưu trữ
Phân cấp lưu trữ liên quan đến kiến trúc bộ nhớ, các thiết bị mở rộng
bao gồm cả các tài nguyên ảo, tài nguyên đám mây. Máy chủ cần thực hiện
các hoạt động đọc ghi để giao tiếp với các máy chủ khác khác, giao tiếp theo
nhiều phương pháp khác nhau (cục bộ, từ xa, các tài nguyên lưu trữ đám
mây).
Tốc độ truy cập tới các thành phần lớp L1, L2, L3 sẽ khác nhau (từ
nhanh tới chậm, dung lượng từ nhỏ tới lớn). Tốc độ cao nhất đi cùng với giá
thành cao, kém linh hoạt. Tộc độ thấp đi kèm với khả năng lưu trữ lớn, giá
thành vừa phải, độ linh hoạt cao (ứng với bộ nhớ ~ các thiết bị lưu trữ).

Hình 1.4. Tốc độ truy cập tới các tầng.
Các máy ảo (hoặc máy chủ ảo) yêu cầu bộ nhớ, các thiết bị ngoại vi,
thiết bị mở rộng để hoạt động. VM là thành phần phần ảo, sử dụng cấu trúc

dữ liệu riêng, chúng sẽ truy cấp tài nguyên chia sẻ có sẵn từ hệ thống vật lý,


16

các tài nguyên đám mây. Càng nhiều VM sẽ càng đòi hỏi nhiều bộ nhớ. Bên
cạnh đó, các ứng dụng khác nhau sẽ đòi hỏi các tài nguyên khác nhau, ví dụ
như các App, DB, video render, các chương trình phân tích thông số, v.v. sẽ
có yêu cầu khác nhau.
1.2.4.

Truy cập lưu trữ
− Truy cập lưu trữ khối
Truy cập dữ liệu mức Block-based là mức truy cập thấp nhất và cũng
mức cơ bản nhất khi xây dựng thành phần block-base cho tất cả các loại
storage. Vì vậy truy cập dữ liệu mức block-based thích hợp cho tất cả dịch vụ
Đám mây, Ảo hóa, Hệ thống lưu trữ. Tất cả các yêu cầu tới File, Object, hay
File System, Database, v.v, cuối cùng đều xử lý tại mức thấp nhất mức block
(block data), các hoạt động đọc ghi sẽ diễn ra tại đây.

Hình 1.5. SAN, NAS, truy cập NAS song song
− Truy cập lưu trữ file và các hệ thống tập tin.
Hệ thống quản lý tệp của hệ điều hành cung cấp mức trừ tượng hóa,
truy cập lớp File-based trên cục bộ hoặc từ xa. Qua đó tổ chức dữ liệu dưới
dạng các thư mục (Folder hoặc directory) để dễ dàng quản trị.


17

Bảng 1.1. Các giao thức truy cập hệ thống lưu trữ cơ bản

Viết tắt
AFP
CIFS

NFS

Tên giao thức
Apple File Protoco
Common Internet File
System
Network File System

pNFS

Parallel NFS

Ý nghĩa
Giao thức chia sẻ và phục vụ Apple
Giao thức chia sẻ và phục vụ Microsoft
Windows
Giao thức chia sẻ của Unix, Linux,
Window và các hệ điều hành khác
Một tiêu chuẩn khác của NFS để hỗ trợ
truy cập file song song với dung lượng lớn

− Đối tượng và truy cập hệ thống lưu trữ qua API
Lưu trữ dựa trên đối tượng (Object based storage) hoặc lưu trữ nội
dung dựa trên địa chỉ (content-addressable storage - CAS) thay vì truy cập hệ
thống lưu trữ dựa trên File access, Object based storage làm việc với các đối
tượng, qua đó thực hiện việc đọc ghi.


Hình 1.6. Lưu trữ dựa trên đối tượng, file, block


18

Đối với lưu trữ dựa trên block và file, các dữ liệu ứng dụng sẽ tương
ứng với các địa chỉ vật lý đi kèm các siêu dữ liệu. Với OBS, dữ liệu sẽ lưu
dưới dạng đối tượng, trong các đối tượng chứa các thông tin, các siêu dữ liệu
liên quan, dễ dàng cho việc quản lý, tổ chức bằng các siêu dữ liệu. Đối tượng
được định nghĩa bởi các ứng dụng hoặc các trình quản lý đối tượng (trừu
tượng thông tin vật lý). Các hoạt động truy vấn, đọc ghi dữ liệu dựa trên khóa
đối tượng.
1.2.5. Công nghệ đám mây
Có rất nhiều loại hình đám mây (mô hình công cộng, mô hình riêng,
mô hình lai), các mô hình đám mây sẽ có chức năng khác nhau khi nói đến
từng lĩnh vực, từng giải pháp và tùy theo mô hình triển khai. Tính năng đám
mây được xây dựng dựa trên giá thành, chất lượng dịch vụ (QoS), xây dựng
nhằm đáp ứng một hoặc nhiều giải pháp. Một số dịch vụ xây dựng dựa trên hạ
tầng, chúng có thể là dạng chuyên biệt hoặc độc lập, hỗ trợ theo vị trí địa lý,
tích hợp thêm các tính chất bảo mật, khả năng quản trị. Vì vậy, đám mây có
thể là sản phẩm, công nghệ, cũng như mô hình quản trị. Có thể bao trùm
nhiều công nghệ, nhiều hệ thống khác nhau (các hệ thống DAS, SAN, NAS,
v.v) máy chủ, các giao thức truy cập (networking protocol), các phương thức
tổ chức, quản trị, v.v.
Dịch vụ đám mây bao gồm các ứng dụng đặc biệt, chuyên dụng, cung
cấp các tính năng quản trị, sao lưu, khôi phục, bên cạnh đó là các phần mềm
phân tích số liệu, cơ sở dữ liệu, hỗ trợ tính năng chia sẻ tài liệu, các giải pháp
lưu trữ, các phần mềm ảo hóa, …
1.2.6. Ảo hóa hạ tầng

Có rất nhiều khía cạnh khi nói đến ảo hóa. Các công nghệ ảo hóa được
nghiên cứu, phát triển, góp phần nâng cao chất lượng dịch vụ của các nhà
cung cấp. Giải pháp ảo hóa hỗ trợ nâng cao hiệu năng, tối ưu tài nguyên máy


19

chủ, hệ thống lưu trữ. Giảm thiểu năng lượng, chi phí làm mát, không gian,
phương pháp quản trị, tài sử dụng, tái tận dụng, tăng sự đa dạng.

Hình 1.7. Mô hình ảo hóa, lưu trữ cơ bản
Các dịch vụ ảo hóa lưu trữ khác nhau hoạt động tại các vị trí khác nhau,
hỗ trợ các thành phần khác nhau trong đám mây. Một trong những khái niệm
thường nói đến trong ảo hóa lưu trữ là sự tập hợp và giải pháp hồ chứa. Hai
giải pháp trên nhằm củng cố các thành phần LUNs, file system, v.v, các tính
năng, công cụ quản trị, tối ưu khả năng lưu trữ, tăng tính bảo vệ, khả năng
quản trị dữ liệu không đồng nhất trên các giữa các lớp, các thành phần trong
Đám mây.
Hầu hết các giải pháp ảo hóa lưu trữ sử dụng khái niệm, các công nghệ
mang tính chất trừu tượng. Tính trừu tượng và minh bạch trong công nghệ
bao gồm các thiết bị ảo, khả năng tương tác, tính tương thích, tính tương thích
ngược, chuyển đổi công nghệ với khả năng di chuyển dữ liệu hoặc ánh xạ dữ
liệu, hỗ trợ HA BC/DR, các công nghệ sao lưu, ánh xạ dữ liệu nội bộ hoặc từ
xa, các phương thức snapshot, sao lưu và khả năng tổ chức dữ liệu.
1.3. Các hệ thống và dịch vụ lưu trữ
Công nghệ lưu trữ dữ liệu được sử dụng với mục đích lưu trữ, truy cập
nội bộ hoặc từ xa, chia sẻ tài nguyên sử dụng cho ứng dụng, các máy ảo trong


20


hoặc ngoài mạng. Có nhiều loại hệ thống lưu trữ khác nhau phục vụ các yêu
cầu khác nhau. Các hệ thống lưu trữ có thể được tìm thấy trong các hệ thống
SAN, NAS, Cloud system, Server, Workstations, Laptop, v.v. Các loại hệ
thống lưu trữ khác nhau có tính năng, chức năng, mục đích, kiến trúc, giá
thành phục vụ cho từng giải pháp khác nhau. Một số giải pháp tập trung cho
một mục đích, giải pháp riêng, một số khác phục vụ cho một số mục đích
chung.

Hình 1.8. Góc nhìn khái quát về hệ thống lưu trữ
− Các tính chất cơ bản của hệ thống lưu trữ:
+ Có các máy chủ nội bộ hoặc phục vụ từ xa, dang chuyện dụng hoặc
chia sẻ tài nguyên.
+ Hiệu năng dựa trên băng thông, IOPS, thời gian phản hồi, độ trễ.
+ Tính sẵn sàng, bảo đảm cao, bao gồm các tính chất bảo vệ dữ liệu,
các thành phần dự trữ.
+ Khả năng lưu trữ, khả năng mở rộng.
+ Khả năng mở rộng, đáp ứng nhu cầu đọc ghi lớn.
1.3.1. Lớp lưu trữ - Tiered Storage
Mục đích của lớp lưu trữ là định hình các lớp cần có của hệ thống lưu
trữ, các mức hiệu suất, tính sẵn sàng, khả năng lưu trữ, năng lương sử dụng,
khả năng đáp ứng để giải quyết các yêu cầu của ứng dụng. Các thiết bị lưu trữ
có thể là các ổ đĩa SSD, HDD được sử dụng để đáp ứng từng lưu trữ khác


21

nhau. Bên cạnh đó, lớp lưu trữ có định nghĩa khác nhau đối với từng khía
cạnh. Ví dụ, một số cho rằng khái niệm lớp lưu trữ mô tả khả năng lưu trữ,
một số khác cho rằng nó mô tả các hệ thống lưu trữ sử dụng cho hoạt động

kinh doanh, ứng dụng, cung cấp các dịch vụ lưu trữ. Một số phân loại lớp lưu
trữ bằng giá thành và số tiền phải trả cho giải pháp.
Mục đích cơ bản của hệ thống lưu trữ là đảm bảo tính toàn vẹn, tính
ràng buộc dữ liệu. Tất cả các loại công nghệ, bao gồm cả các hệ thống lưu trữ
đều có thể lỗi. Các vấn đề phát sinh từ lỗi phần cứng đến lỗi phần mềm, một
số lỗi phát sinh do tác động con người, hoặc do điều kiện môi trường, các vấn
đề do năng lượng, làm mát, v.v.
− Độ tin cậy, tính sẵn sàng, bảo đảm dịch vụ bao gồm:
+ Bảo đảm trên các các thành phân dự trữ: power, cooling, controller,
disk.
+ Ngăn chặn lỗi: Tự động thay thế, tích hợp các thành phần dự trữ.
+ Tự sửa chữa: Phân tích lỗi, kiểm tra dữ liệu, tái chế, khôi phục.
+ Tính sẵn sàng cao: Nhiều thành phần dự phòng, khả năng nhân bản,
lưu trữ phân tán, tính năng snapshot.
+ Tính liên tục (Business continuance): Chuyển đổi, khởi động lại các
thành phần mà không làm gián đoạn hệ thống
+ Khôi phục sau sự cố: Tự động khôi phục, khởi động lại các dịch vụ
khi gặp lỗi.
+ Hỗ trợ các công cụ quản trị: Giám sát, chuẩn đoán, khắc phục, tự sửa
chữa.
1.3.2. Kiến trúc hệ thống lưu trữ
Khái niệm "Open storage" có nghĩa là hệ thống lưu trữ mở hoặc hệ
thống lưu trữ sử dụng công nghệ mở. Giá trị của hệ thống lưu trữ mở là tích
hợp các công nghệ mới của giải pháp mới, linh hoạt trong lựa chọn giải pháp,


22

khả năng chạy giải pháp trên phần cứng đa dạng, trái ngược với các giải pháp
trọn gói (tính đóng gói cao, khả năng tùy chỉnh thấp). Hai công nghệ thường

thấy là ZFS hoặc Microsoft Windows Storage Server.
Các hệ thống lưu trữ mở bao gồm một phần mềm chuyên dụng hoặc
các công cụ quản trị, chạy trên thiết bị chuyên dụng hoặc trên phần cứng
chuấn x86-based PC server. Một số giải pháp khác cho các hệ thống lưu trữ là
sử dụng các phầm mềm mã nguồn mở, có thể chạy tương thích trên các phần
cứng, tính đa dạng cao.
Các hệ thống lưu trữ thường sử dụng các công nghệ mở, trên các phần
cứng đặc biệt, đó là các Cloud Gateway hoặc các thiết bị chuyên dụng. Một
số trường hợp các thiết bị Cloud Access Gateway, Appliances, Local storage
có thể tích hợp các giải pháp cache, buffer, temporary area, khả năng
snapshot, backup, một số tính năng di chuyển dữ liệu trực tuyến. Rất nhiều
giải pháp đám mây hoặc nhiều nhà cung cấp dịch vụ tận dụng nhiều công
nghệ khác nhau để tạo sự đa dạng trong giải pháp đám mây.
1.3.3. Lưu trữ đám mây - Cloud Storage
Cloud Storage có thể dạng công cộng, riêng, chúng sẽ có kiến trúc
riêng, có thể là một sản phẩm, hoặc giải pháp bao gồm phần cứng, phần mềm,
các thành phần mạng, các cấp dịch vụ. Một số loại dịch vụ Cloud Storage
hoặc giải pháp Cloud tập trung vào các vấn đề cụ thể (File sharing,
backup/restore, archiving, lưu trữ dữ liệu đa phương tiên như ảnh, File nhạc,
video). Một số sản phẩm dịch vụ Cloud khác tối ưu cho các giải pháp bảo
mật, cơ sở dữ liệu, Email, Web hosting, v.v.
Có nhiều cách để truy cập Cloud storage, tùy thuộc vào loại hình dịch
vụ, sản phẩm. Một số truy cập dựa trên NAS file-based interface, hoặc truy
cập qua Gateway, các thiết bị, một số module điều khiển phần mềm. Bên cạnh
đó, Cloud storage cũng cung cấp các giao thức mở rộng, cho phép truy cập
qua các thiết bị Cloud chuyên dụng hoặc các cổng dịch vụ. Dữ liệu lưu trữ


23


trên đám mây được cung cấp, hỗ trợ tính năng như nhân bản, snapshot, tối ưu
băng thông, bảo mật, đo lường các thông số, ghi nhật ký, xuất báo cáo, đáp
ứng theo yêu cầu. Dịch vụ Cloud tận dụng nhiều giải pháp khác nhau để đa
dạng giải pháp cung cấp (điển hình là dịch vụ của Google)
1.3.4. Ảo hóa lưu trữ và lưu trữ ảo
Có nhiều loại hình ảo hóa lưu trữ, bao gồm các khái niệm tập hợp, giải
pháp hồ chứa, tính chất mô phỏng, trừ tượng trên các lớp khác nhau trong hệ
thống vật lý. Bảo đảm tính rõ ràng, thống nhất công nghệ trên hạ tầng vật lý.
Ảo hóa lưu trữ có thể thấy tại nhiều vị trí khác nhau như trong các phần mềm,
ứng dụng của máy chủ, trong các hệ điều hành, trong các thiết bị, cũng như
các hệ thống lưu trữ.
Hệ thống lưu trữ ảo cung cấp tính linh hoạt, khả năng phục hồi, khôi
phục trong phương pháp quản trị, tổ chức dữ liệu, hỗ trợ các công cụ quản trị
tài nguyên. Nhiều loại dịch vụ ảo hóa lưu trữ hoạt động tài nhiều vị trí khác
nhau, hỗ trợ xử lý nhiều tác vụ riêng biệt. Tính năng ảo hóa lưu trữ bao gồm
giải pháp hồ chứa, tạo tập hợp trên cả block- và file-based storage, khả năng
tương tác với tài nguyên vật lý, tài nguyên phần mềm, các hệ thống tệp ảo, di
chuyển dữ liệu trên hoạt động nâng cấp, bảo trì, hỗ trợ tính sẵn sàng cao, hoạt
đông liên tục không gián đoạn, và khôi phục sau sự cố.
Việc thống nhất và tạo hồ hồ chứa trên các LUN, hệ thống tệp, các khối
lưu trữ nhằm tăng cường khả năng quản trị, giám sát, bao gồm đồng nhất dữ
liệu suốt các lớp khác nhau.
− Các vấn đề cần cân nhắc trong ảo hóa lưu trữ:
+ Yêu cầu dịch vụ, ứng dụng.
+ Yêu cầu thống nhất dữ liệu, hỗ trợ các hoạt động quản trị tài nguyên.
+ Nhu cầu mở rộng (hiệu năng, sức chứa, tính sẵn sàng).
+ Vấn đề về chi phí.
+ Một số phương pháp thay thế.



24

+ Tính ổn định giải pháp.
Hệ thống ảo hóa lưu trữ nằm tại nhiều vị trí khác nhau, bao gồm các máy
chủ, thiết bị mạng, tất cả tổng hợp thành hệ thống lưu trữ. Việc chọn lựa các
hệ thống ảo hóa lưu trữ và nơi đặt của chúng sẽ tùy theo thiết kế của hệ thống.
Giải pháp đám mây có thể tiếp cận theo nhiều hướng, có thể kết hợp nhiều
giải pháp, miễn là các giải pháp đó phù hợp với yêu cầu doanh nghiệp.

Hình 1.9. Ảo hóa lưu trữ
1.4. Các giải pháp lưu trữ SAN, DAS, NAS
1.4.1. Hệ thống lưu trữ gán trực tiếp (DAS):
Hệ thống lưu trữ gán trực tiếp ( Direct attached storage – DAS) là cách
lưu trữ mà chúng ta đã quen biết từ lâu, đó là các ổ cứng SCSI gắn bên trong
các máy chủ. Các ứng dụng có thể truy cập vào ổ cứng gắn trong ở mức độ
block-level hay file-level. Thích hợp cho mọi nhu cầu nhỏ đến cao cấp nhất
và khả năng chạy cũng cực nhanh. Một Server với những HDD bên trong,
một client với các HDD bên trong và truy xuất trực tiếp đến HDD của nó thì
đó chính là DAS [4].


25

Hình 1.10. Mô hình DAS
1.4.2. Lưu trữ gán mạng (NAS):
Lưu trữ gán mạng là dạng lưu trữ không phải gắn liền với server như
DAS, mà kết nối từ xa đến server thông qua mạng LAN.

Hình 1.11. Mô hình NAS
Có thể hiểu rằng NAS chính là DAS được đặt trên mạng IP mà các

Server/Client truy xuất từ xa đến nó. Thay vì truy cập đến thiết bị lưu trữ gắn
trong (như DAS), ứng dụng truy cập đến thiết bị lưu trữ gắn trên một thiết bị
lưu trữ khác thông qua network. Các thiết bị NAS thường thấy chính là các
server chạy hệ điều hành Windowns Srorage Server, được thiết kế để tối ưu
cho lưu trữ và có thể dễ dàng mở rộng dung lượng bằng cách cắm thêm thiết
bị lưu trữ ngoài hoặc combine với nhau tạo thành group. Các ứng dụng mà
cần truy cập thiết bị lưu trữ ở mức block-level sẽ không thể truy cập vào NAS
device, trong khi đó Lotus Note hoạt động ở mức file-level nên dùng NAS
được [4].
1.4.3. Mạng vùng lưu trữ Storage Area Network ( SAN ):
Mạng vùng lưu trữ (Storage area network - SAN) hiện có 2 loại chính
dùng 2 kiểu protocol khác nhau, là Fiber Channel và iSCSI. Nếu như NAS
không thể thay thế DAS vì chỉ ở mức file-level access, thì SAN thay thế được
DAS vì nó hỗ trợ block-level access, và là phương án mở rộng cho DAS. Nếu
như SCSI là cách truy cập vào DAS, thì iSCSI mở rộng khả năng của SCSI ra