Đại Học Quốc Gia TP.HCM
Trường Đại Học Công Nghệ Thông Tin
BÀI THU HOẠCH MÔN
TÍNH TOÁN LƯỚI
ĐỀ TÀI:
TÍNH TOÁN LƯỚI VÀ ỨNG DỤNG CHO
BÀI TOÁN KINH TẾ
GVHD: PGS.TS Nguyễn Phi Khứ
Người thực hiện: Bùi Chí Cường
Mã số: CH1101007
Lớp: Cao học khóa 6
TP.HCM – 2013
LỜI CẢM ƠN
Lời đầu tiên, em xin gửi lời chân thành cảm ơn đến Ban Chủ nhiệm trường Đại học
công nghệ thông tin TP HCM đã tạo điều kiện cho em được tiếp cận với bộ môn Tính
toán lưới.
Em xin cảm ơn thầy PGS.TS Nguyễn Phi Khứ đã tận tình truyền đạt kiến thức cho em
cũng những gì thầy đã giúp đỡ, hướng dẫn để em thực hiện bài tiểu luận.
Em cũng xin gửi lời cảm ơn sâu sắc đến quý thầy cô trong Khoa Công nghệ Thông tin
cùng các bạn bè thân hữu đã nhiệt tình đóng góp ý kiến, cũng như động viên để em
hoàn thiện hơn đề tài của mình.
Mặc dù đã rất cố gắng nhưng đề tài khó tránh khỏi những thiếu sót và sai lầm, em
mong thầy cô và bạn bè cho ý kiến để đề tài ngày càng hoàn thiện hơn.
Một lần nữa, em xin chân thành cảm ơn!
Tp. HCM, 15 tháng 7 năm 2013
Bùi Chí Cường
CH1101007
MỤC LỤC
LỜI CẢM ƠN ii
MỤC LỤC iii
DANH MỤC HÌNH ẢNH 5
1 DANH MỤC CÁC TỪ VIẾT TẮT 7
NHIỆM VỤ ĐỀ TÀI 8
TÓM TẮT ĐỀ TÀI 8
CHƯƠNG I : GIỚI THIỆU VỀ TÍNH TOÁN LƯỚI (GRID COMPUTING) 9
1. Định nghĩa 9
2. Mô hình tổng quan về tính toán lưới 10
3. Các thành phần của hệ thống mạng lưới thực tế 17
4. Các giao thức và dịch vụ mạng lưới (Grid Protocols and Services) 19
5. Các dạng Grid - Types of Grids 23
CHƯƠNG II - KIẾN TRÚC HƯỚNG DỊCH VỤ CỦA GRID CHO BÀI TOÁN
KINH TẾ 26
1. Các yêu cầu kinh tế cho hệ thống mạng lưới 26
2. Kiến trúc hệ thống cho việc tính toán kinh tế 27
2.1. Grid Resource Broker (GRB) 29
2.2. GRACE Framework – Leveraging Globus Tool 29
2.3. Grid Open Trading Protocols và Deal Template 31
2.4. GRID Open Trading APIs 32
2.5. Các cơ chế Pricing, Accounting, và Payment 33
CHƯƠNG III - NIMROD-G GRID RESOURCE BROKER VÀ THUẬT GIẢI
ECONOMIC SCHEDULING 36
1. Giới thiệu 36
2. Nimrod-G Resource Broker 37
3. Dịch vụ và người sử dụng cuối 39
4. Kiến trúc 40
5. Nimrod-G Grid Resource Broker 42
5.1. Task Farming Engine (TFE) 43
5.2. The scheduler 44
5.3. Bộ phận điều phối và cơ chế truy cập 44
5.4. Agent (Tác nhân) 44
6. Lập kế hoạch và bài toán tính kinh tế 45
7. Thuật toán lập lịch 47
CHƯƠNG IV - GRIDSIM: MÔ HÌNH GRID VÀ BỘ CÔNG CỤ MÔ PHỎNG 49
1. Giới thiệu 49
2. Kiến trúc hệ thống 50
2.1. SimJava Discrete Event Model 52
2.2. Thực thể Grid Sim 52
2.3. Mô hình ứng dụng 53
2.4. Mô hình giao thức tương tác 54
2.5. Mô hình tài nguyên - Mô phỏng đa nhiệm và đa xử lý 57
2.6. Mô phỏng việc lên lịch trong nguồn tài nguyên chia sẻ thời gian 58
2.7. Mô phỏng việc lên lịch trong nguồn tài nguyên chia sẻ không gian 59
3. Tóm tắt và nhận xét 63
CHƯƠNG V - KẾT LUẬN 65
CHƯƠNG VI - THAM KHẢO 67
BÙI CHÍ CƯỜNG - CH1101007 LỚP CH CNTTQM - K6
DANH MỤC HÌNH ẢNH
Hình 1 - Sự tương tác với các thực thể của Grid 10
Hình 2 - Mô hình tổng quan 11
Hình 3 - Mô hình phân tầng 12
Hình 4 - Các thành phần của hệ thống tính toán lưới 19
Hình 5 - Các giao thức và dịch vụ mạng lưới 20
Hình 6 - Kiến trúc quản lý tài nguyên mạng lưới 22
Hình 7 - Kiến trúc hệ thống cho việc tính toán kinh tế 28
Hình 8 - GRACE Framework 30
Hình 9 - Grid Open Trading Protocols và Deal Template 31
Hình 10 - GRID Open Trading APIs 33
Hình 11 - Các cơ chế Pricing, Accounting, và Payment 34
Hình 12 - Economic Model 37
Hình 13 - Chất lượng dịch vụ dựa trên việc quản lý tài nguyên 38
Hình 14 - Nimrod-G Grid resource broker 38
Hình 15 - Kiến trúc Nimrod-G 41
Hình 16 - Luồng thao tác trong môi trường Nimrod-G runtime 43
Hình 17 - Các bước lập lịch phù hợp trong Nimrod-G broker 48
BÙI CHÍ CƯỜNG - CH1101007 LỚP CH CNTTQM - K6
Hình 18 - Mô hình kiến trúc của GridSim Platform 51
Hình 19 - Sơ đồ dòng chay trong GridSim dựa vào mô phỏng 53
Hình 20 - Mô hình giao tiếp thực thể thông qua thực thể đầu vào và đầu ra 54
Hình 21 - Sơ đồ sự kiện cho việc tương tác giữa tài nguyên 55
Hình 22 - Sơ đồ tương tác giữ tài nguyên chia sẽ không gian và các thực thể khác 57
Hình 23 - Mô hình đa xử lý chia sẽ không gian dựa vào sự phối hợp sự kiện 62
BÙI CHÍ CƯỜNG - CH1101007 LỚP CH CNTTQM - K6
1 DANH MỤC CÁC TỪ VIẾT TẮT
Từ, ngữ danh từ viết tắt Từ, ngữ danh từ đầy đủ
GSI Grid Protocols and Services
GRB Grid Resource Broker
JCA Job Control Agent
GE Grid Explorer
TM Trade Manager
GIS Grid Information Service
GRIS Grid Resource Information
Server
GIIS Grid Index Information Server
TFE Task Farming Engine
DT Deal Template
BÙI CHÍ CƯỜNG - CH1101007 LỚP CH CNTTQM - K6
NHIỆM VỤ ĐỀ TÀI
Đề tài này tìm hiểu các hệ thống tính toán lưới (Grid Computing) và đề xuất cách tối
ưu chi phí của tính toán phân tán cho việc quản lý các nguồn lực và lập kế hoạch ứng
dụng. Nó quy định chính sách về cung cấp và nhu cầu nguồn tài nguyên và khuyến
khích cho các chủ sở hữu nguồn tài nguyên tham gia vào lưới
TÓM TẮT ĐỀ TÀI
Tính toán lưới (Grid Computing), đang phát triển như là hạ tầng cho thế hệ tính toán
tương lai, cho phép chia sẽ, lựa chọn, và tập hợp các nguồn tài nguyên phân tán về mặt
địa lý để giải quyết các vấn đề quy mô lớn trong lĩnh vực khoa học, kỹ thuật và thương
mại.Khi các nguồn tài nguyên trong Grid là không đồng nhất và về mặt phân tán theo
địa lý khác nhau và một loạt các chính sách sử dụng và chi phí cho người sử dụng đa
dạng ở các thời điểm khác nhau và ưu tiên cũng như các mục tiêu với thời gian khác
nhau. Việc quản lý các nguồn tài nguyên và lịch trình của ứng dụng trong một môi
trường lớn và phân tán là một nhiệm vụ phức tạp. Đề tài này đề xuất cách tối ưu chi phí
của tính toán phân tán cho việc quản lý các nguồn lực và lập kế hoạch ứng dụng. Nó
quy định chính sách về cung cấp và nhu cầu nguồn tài nguyên và khuyến khích cho
các chủ sở hữu nguồn tài nguyên tham gia vào lưới
BÙI CHÍ CƯỜNG - CH1101007 LỚP CH CNTTQM - K6
CHƯƠNG I : GIỚI THIỆU VỀ TÍNH TOÁN LƯỚI
(GRID COMPUTING)
1. Định nghĩa
Tính toán mạng lưới là một công nghệ cho phép các tổ chức ảo chia sẻ tài nguyên phân
tán theo một mục đích chung mà không yêu cầu phải có một trung tâm điều khiển tập
trung.
Tổ chức ảo: có thể mở rộng từ những bộ phận nhỏ trong cùng 1 viện cho đến tổ chức
gồm nhiều thành viên nằm rải rác khắp địa cầu. Một số tổ chức ảo như:
1. Đội thiết kế Blended Wing Body của hãng Boeing
2. Bộ phận quản lý sản phẩm Global VPN của hãng Worldcom có mặt trên 28
quốc gia.
3. Phòng kế toán tài vụ của 1 công ty
Tài nguyên: có thể là một tài nguyên tính toán như máy tính cá nhân, máy tính xách
tay, trạm làm việc, máy chủ, nhóm máy tính (cluster), siêu máy tính hoặc có thể là tài
nguyên lưu trữ như ổ đĩa cứng trong máy PC, các thiết bị lưu trữ chuyên dụng như
RAID. Các thiết bị đo lường, dò (sensor) cũng là 1 dạng tài nguyên cần chia sẻ. Thậm
chí băng thông mạng, phần mềm cũng là tài nguyên của một tổ chức ảo.
BÙI CHÍ CƯỜNG - CH1101007 LỚP CH CNTTQM - K6
Hình 1 - Sự tương tác với các thực thể của Grid
2. Mô hình tổng quan về tính toán lưới
Mạng lưới (Grid) là hệ thống phần cứng và phần mềm kết nối mạng máy tính thế hệ
sau, cho phép chia sẻ các tài nguyên tính toán (computing resources) của các máy tính
nối mạng, làm tăng gấp nhiều lần hiệu năng và tốc độ xử lý thông tin. Tính toán mạng
lưới (Grid Computing) là công nghệ nền trong việc hình thành mạng lưới, là nền tảng
phần mềm chạy trên nền các thiết bị phần cứng kết nối mạng truyền thống giúp xây
dựng những ứng dụng mạng lưới có năng lực năng lực tính toán rất mạnh mẽ, có khả
năng chuyển tải những khối lượng dữ liệu khổng lồ, khả năng lưu trữ và truy cập thông
tin trên mạng mà bằng những giải pháp phần mềm và công nghệ mạng Internet truyền
thống chỉ dựa trên nghi thức TCP/IP không thể đạt tới.
BÙI CHÍ CƯỜNG - CH1101007 LỚP CH CNTTQM - K6
Hình 2 - Mô hình tổng quan
Mạng lưới được xây dựng trên nền tảng kiến trúc mở và phần tầng (có thể so sánh với
cấu trúc phân tầng của họ giao thức nền tảng trao đổi thông tin trên mạng Internet là
TCP/IP). Trong mỗi tầng của mạng lưới, các thành phần (component) được chia sẻ các
thuộc tính chung và có thể được bổ xung những tính năng mới mà không ảnh hưởng
đến các tầng khác:
1. Tầng tác chế (Fabric): giúp định vị các tài nguyên mạng lưới
2. Tầng kết nối (Connectivity): giúp kết nối mạng lưới trên các mạng
3. Tầng tài nguyên (Resource): giúp chia sẻ các tài nguyên mạng lưới
4. Tầng kết hợp (Collective): giúp kết hợp và định vị nhiều kiểu tài nguyên.
5. Tầng ứng dụng (Application): giúp kết nối các ứng dụng hướng người dùng để
truy cập và sử dụng tài nguyên mạng lưới.
BÙI CHÍ CƯỜNG - CH1101007 LỚP CH CNTTQM - K6
Hình 3 - Mô hình phân tầng
Chúng ta hãy đi sâu hơn vào mô tả chi tiết kiến trúc phân tầng nói trên của mạng lưới
và so sánh với họ nghi thức TCP/IP nổi tiếng của mạng Internet.
1. Tầng tác chế (Fabric layer):
- Chức năng chính của tầng này là cung cấp các loại tài nguyên chia sẻ, được
phép truy cập của mạng lưới thông qua các giao thức mạng lưới. Các loại tài
nguyên này bao gồm: tài nguyên tính toán, các hệ thống lưu trữ dữ liệu, các
catalog thông tin, các tài nguyên mạng và các đầu cảm biến (sensors).
- Các thành phần ở tầng này được triển khai ở mức cục bộ; các thao tác tài
nguyên đặc biệt diễn ra trên các tài nguyên đặc biệt trong tầng này chính là một
kết quả của các thao tác được chia sẽ ở tầng cao hơn. Như vậy là có một sự ràng
buộc tinh vi, chặt chẽ giữa các chức năng được cài đặt ở lớp nền với các thao tác
chia sẻ được hỗ trợ ở tầng khác.
- Các loại tài nguyên trong tầng này đều bị ràng buộc bởi hai cơ chế :
o Cơ chế quản lý tài nguyên (Resource Management Mechanism): cho phép cung
cấp khả năng điều phối chất lượng dịch vụ.
BÙI CHÍ CƯỜNG - CH1101007 LỚP CH CNTTQM - K6
o Cơ chế thẩm tra (Enquiry Mechanism): cho phép tìm hiểu cấu trúc, tình trạng và
các tính năng của tài nguyên.
o Các phân loại tài nguyên chính trong tầng tác chế:
+ Tài nguyên tính tóan: là các cơ chế bắt buộc tuân thủ khi bắt đầu chạy chương
trình, cho phép kiểm soát, điều khiển việc thi hành các tiến trình.
+ Cơ chế quản lý: cho phép quản lý các loại tài nguyên đã được xác định rõ vị
trí làm cho các tiến trình đạt được lợi ích nhiều hơn .
+ Cơ chế thẩm tra: có khả năng xác định rõ phần cứng , phầm mềm nhờ các
thông tin về tình trạng của hệ thống (tải hiện thời, tình trạng hàng đợi …)
+ Tài nguyên lưu trữ: là cơ chế bắt buộc cho việc lấy về và tải lên các tập tin từ
hệ thống lưu trữ, cho phép đọc một phần của tập tin cũng như cho phép chọn lọc
dữ liệu từ các tập tin ở xa.
+ Cơ chế quản lý: làm cho việc di chuyển tập tin dễ dàng hơn (không gian, băng
thông đĩa, băng thông mạng, tải của CPU …)
+ Cơ chế thẩm tra: xác định tình trạng phần cứng và phần mềm thông qua các
thông tin tải. Thí dụ dung lượng đĩa còn trống, băng thông sử dụng …
+ Các bộ sưu tập: là cơ chế bắt buộc để hiện thực và truy vấn các bộ sưu tập
cũng như các thao tác cập nhật như trong cơ sở dữ liệu quan hệ …
2. Tầng kết nối (Connectivity layer)
- Đây là tầng quan trọng để tạo nên hạt nhân của các giao thức xác thực và truyền
thông bắt buộc của các giao dịch đặc trưng trong hệ thống mạng lưới. Giao thức
truyền thông cho phép chuyển đổi dữ liệu qua lại giữa các loại tài nguyên ở tầng
chế tác. Giao thức xác thực được xây dựng trên các dịch vụ truyền thông để
cung cấp các cơ chế mã hóa và bảo mật trong việc kiểm tra xác thực người dùng
và tài nguyên mạng lưới.
BÙI CHÍ CƯỜNG - CH1101007 LỚP CH CNTTQM - K6
- Truyền thông bao gồm các công đoạn: truyền thông tin, định tuyến và đặt tên.
Những giao thức này tương tự như các giao thức trong TCP/IP: Internet
Protocol (IP) , Transport Protocols (TCP , UDP) và các giao thức tầng ứng dụng
(DNS , OSPF , RSVP …)
- Các vấn đề bảo mật phức tạp trong mạng lưới được giải quyết bằng các giải
pháp xây dựng và nâng cấp từ các chuẩn đã có. Trong truyền thông hiện có rất
nhiều các chuẩn bảo mật được phát triển trong ngữ cảnh Internet. Giải pháp xác
thực trong môi trường mạng lưới các tổ chức ảo bao gồm các đặc điểm sau :
o Cơ chế đăng nhập một lần (Single Sign On): người dùng chỉ cần đăng nhập vào
mạng lưới một lần duy nhất. Sau đó hệ thống phải quản lý người dùng đã xác
thực và cho phép truy cập các tài nguyên được phép trong lớp chế tác mà không
yêu cầu cung cấp các thông tin xác thực nữa.
o Cơ chế ủy quyền (Delegation, Proxy): người dùng có thể ủy quyền lại cho một
chương trình trong một khoảng thời gian xác định truy cập đến các loại tài
nguyên mà anh ta được phép sử dụng. Chương trình này cũng có thể ủy quyền
có điều kiện một phần các tập quyền của nó cho chương trình con khác. Hệ
thống mạng lưới phải hiểu, kiểm soát chặt chẽ và đáp ứng tốt cơ chế ủy quyền
này một cách trong suối đối với chương trình được trao ủy quyền.
o Cơ chế tích hợp đa giải pháp bảo mật địa phương (Integration with various local
security solutions): Đặc điểm của mạng lưới là mỗi site chứa tài nguyên mạng
lưới đều có cơ chế bảo mật tại chỗ không giống nhau (các cơ chế xác thực như
Kerberos, LDAP, Active Directory, username/password, ). Cơ chế bảo mật
mạng lưới phải có khả năng giao tiếp bên trong với các cơ chế bảo mật địa
phương mà không yêu cầu thay thế toàn bộ các giải pháp bảo mật hiện có,
nhưng cần có cơ chế ánh xạ bảo mật trong các môi trường cục bộ khác nhau.
o Cơ chế quan hệ tin tưởng dựa trên người dùng (User-based Trust
Relationships): người dùng có thể sử dụng các loại tài nguyên có được từ sự kết
BÙI CHÍ CƯỜNG - CH1101007 LỚP CH CNTTQM - K6
hợp của nhiều nhà cung cấp khác nhau. Việc kết hợp đó không bắt buộc các nhà
cung cấp tài nguyên phải tác động qua lại lẫn nhau nhựng phải đảm bảo cấu
hình của cơ chế bảo mật hiện có. Ví dụ, xem xét trường hợp một người dùng có
quyền sử dụng hai site A và site B. Khi đó người dùng có quyền dùng site A và
B cùng một lúc mà không cần phải thông qua các quản trị viên của các site A và
B, khi các site này đã được thiết lập cơ chế quan hệ tin tưởng dựa trên người
dùng.
o Giải pháp bảo mật của mạng lưới cũng đồng thời cung cấp khả năng hỗ trợ cơ
chế bảo vệ truyền thông một cách linh hoạt và khả năng hỗ trợ này được cho là
đáng tin cậy hơn giao thức TCP/IP truyền thống trên Internet.
3. Tầng tài nguyên (Resource layer)
- Tầng này được xây dựng trên nền tảng sẵn có của tầng kết nối . Đây là tầng
dùng để xác định các giao thức chính cho các quá trình thương lượng, khởi tạo,
kiểm tra, điều khiển, tính toán và kiểm toán chi phí của các thao tác được chia
sẻ trên các tài nguyên. Những giao thức trong tầng tài nguyên sẽ gọi các chức
năng trong tầng chế tác để truy cập và sử dụng các loại tài nguyên cục bộ.
- Có hai loại giao thức chính trong các giao thức của tầng tài nguyên:
o Giao thức thông tin (Information protocol): cho phép lấy các thông tin về cấu
trúc, tình trạng của một loại tài nguyên nào đó trong mạng lưới.
o Giao thức quản lý (Management protocol): dùng để sắp xếp quản lý thứ tự các
truy cập đến các tài nguyên được chia sẻ.
4. Tầng kết hợp tập thể (Collective layer)
Trong khi tầng tài nguyên chỉ cho phép truy cập đến một loại tài nguyên đơn thì
tầng kết hợp tập thể lại chứa các giao thức và dịch vụ cho phép giao tiếp giữa các
tài nguyên trong mạng lưới. Tầng này bao gồm các dịch vụ chính như sau:
BÙI CHÍ CƯỜNG - CH1101007 LỚP CH CNTTQM - K6
o Các dịch vụ thư mục (Directory Services): cho phép các thành phần tham gia
trong hệ thống mạng lưới tổ chức ảo tìm hiểu sự tồn tại và các thuộc tính của
các loại tài nguyên của họ. Một dịch vụ thư mục cũng cho phép người dùng truy
vấn các thuộc tính của tài nguyên, loại tài nguyên, tính khả dụng …
o Các dịch vụ chứa chấp, lập lịch, môi giới (Co-allocation, Scheduling & Broker
Services): cho phép các thành phần tham gia vào mạng lưới tổ chức ảo gởi yêu
cầu đến một hay nhiều máy chủ cho các mục đích chứa chấp, lập lịch và môi
giới truy cập các tài nguyên tương ứng.
o Các dịch vụ giám sát và dự báo (Monitoring and Diagnostic Services): cho
phép hệ thống hỗ trợ kiểm soát tài nguyên trong mạng lưới các tổ chức ảo.
o Các dịch vụ nhân bản dữ liệu (Data Replication Services): cho phép hỗ trợ việc
quản lý lưu trữ tài nguyên trong mạng lưới tổ chức ảo (kể cả mạng và năng lực
tính toán) tạo điều kiện cho truy cập tài nguyên đến mức cao nhất có thể.
o Các hệ thống lập trình hỗ trợ mạng lưới (Grid-enable Programming Systems):
tương tự như mô hình lập trình giao tiếp ứng dụng (API) thông thường, nhưng
dùng trong môi trường mạng lưới. Hệ thống này cho phép sử dụng các dịch vụ
mạng lưới để xác định các thông tin tài nguyên, thực hiện cơ chế bảo mật mạng
lưới, định vị trí tài nguyên và tất cả những gì có liên quan đến mạng lưới.
o Hệ thống quản lý tải và môi trường cộng tác (Workload Management System &
Collaboration Framework): tương tự như môi trường giải quyết vấn đề PSE
(Problem Solving Environment), hệ thống này cung cấp các đặc tả, cách dùng
và quản lý đa bước, quản lý tính đồng bộ, đa luồng, đa thành phần… trong các
tiến trình tính toán.
o Dịch vụ tìm kiến phần mềm (Software Discovery Service): hỗ trợ tìm kiếm và
lựa chọn phần mềm cài đặt và làm nền tảng cho mạng lưới.
5. Tầng ứng dụng (Application layer)
BÙI CHÍ CƯỜNG - CH1101007 LỚP CH CNTTQM - K6
Đây là tầng cuối cùng trong kiến trúc mạng lưới, bao gồm tất cả các ứng dụng
hướng tới người dùng trong môi trường mạng lưới của các tổ chức ảo. Về nguyên
tắc, người sử dụng có thể tương tác với mạng lưới thông qua tầng ứng dụng một
cách trong suốt mà không nhận biết được sự có mặt của các tầng khác trong mạng
lưới.
3. Các thành phần của hệ thống mạng lưới thực tế
Bốn khía cạnh chính đặc trưng cho một Grid:
- Đa lĩnh vực và riêng biệt: tài nguyên lưới phân tán về địa lý trên nhiều lĩnh vực
và thuộc sở hữu của các tổ chức khác nhau. Sự tự chủ các chủ sở hữu nguồn tài
nguyên cần được tôn trọng với quản lý tài nguyên cục bộ và chính sách sử dụng.
- Tính không đồng nhất: Grid là sự đa dạng của các nguồn tài nguyên không
đồng nhất trong tự nhiên và sẽ bao gồm một phạm vi rộng lớn của công nghệ.
- Khả năng mở rộng: Một lưới có thể phát triển từ một cho đến hàng triệu nguồn
tài nguyên. Điều này đặt ra vấn đề của sự xuống cấp hiệu suất tiềm năng. Do đó,
các ứng dụng đòi hỏi một số lượng lớn các nguồn tài nguyên địa lý nằm phải
được thiết kế để có độ trễ và băng thông lớn.
- Khả năng thích nghi : trong Grid , tài nguyên bị lỗi nhiều hơn là ngoại lệ. Trong
thực tế, với nguồn tài nguyên lớn trong Grid, xác suất của một số tài nguyên bị
lỗi là rất cao. Quản lý nguồn tài nguyên hoặc các ứng dụng phải tùy chỉnh chúng
sao cho phù hợp và sử dụng hiệu quả các tài nguyên sẵn có
Các bước cần thiết để phát triển Grid thực tế bao gồm:
- Sự tích hợp của phần mềm cá nhân và các thành phần phần cứng thành một
nguồn tài nguyên mạng kết hợp (Ví dụ: hình ảnh một hệ thống cluster).
- Việc triển khai:
o Middleware ở mức low-level cung cấp truy cập an toàn và minh bạch cho các
nguồn tài nguyên.
BÙI CHÍ CƯỜNG - CH1101007 LỚP CH CNTTQM - K6
o Middleware ở mức high-level và các công cụ phát triển ứng dụng, tập hợp
nguồn tài nguyên phân tán.
- Sự phát triển và tối ưu hóa các ứng dụng phân tán tận dụng lợi thế nguồn lực và
cơ sở hạ tầng sẵn có.
Một số thành phần của Grid từ tài nguyên hiện có đến các ứng dụng. Kiến trúc tần
của Grid như sau:
1. Grid Fabic:
Tầng này bao gồm tất cả các nguồn lực phân tán trên toàn cầu có thể truy cập từ
bất cứ nơi nào trên Internet. Những nguồn này có thể là các máy tính (chẳng hạn
như máy tính, SMPS, cụm) chạy một loạt các hệ điều hành (chẳng hạn như UNIX
hay Windows) cũng như nguồn tài nguyên. Hệ thống quản lý như LSF (Load
Sharing Facility), Condor, PBS (Portable hàng loạt hệ thống) hoặc SGE (Sun lưới
Engine), thiết bị lưu trữ, cơ sở dữ liệu, và các dụng cụ khoa học đặc biệt chẳng hạn
như một kính thiên văn vô tuyến hoặc cảm biến nhiệt đặc biệt.
2. Core Grid Middleware
Tầng này cung cấp các dịch vụ cốt lõi như quản lý quá trình từ xa, đồng phân bổ
nguồn lực, truy cập lưu trữ, đăng ký thông tin và phát hiện, an ninh, và các khía
cạnh của chất lượng dịch vụ (QoS) như đặt và giao dịch tài nguyên.
3. User-Level Grid Middleware
Tầng này bao gồm các môi trường phát triển ứng dụng, công cụ lập trình, và
môi giới tài nguyên để quản lý nguồn lực và lập kế hoạch các nhiệm vụ ứng dụng
để thực hiện trên nguồn lực toàn cầu.
4. Grid Applications and Portal
Là một giao diện cho phép người dùng sử dụng các ứng dụng lưới, do đó lưới
trở nên ẩn với người dung
BÙI CHÍ CƯỜNG - CH1101007 LỚP CH CNTTQM - K6
Hình 4 - Các thành phần của hệ thống tính toán lưới
4. Các giao thức và dịch vụ mạng lưới (Grid Protocols and
Services)
Dựa trên nền tảng kiến trúc mạng lưới, ta có thể thấy được thành phần chủ đạo của
mạng lưới (bao gồm các dịch vụ và nghi thức đặc trưng) nằm trong các tầng kết nối, tài
nguyên và kết hợp tập thể. Các thành phần này là cốt lõi của công nghệ tính toán mạng
lưới. Đây là hạt nhân của mọi hệ thống mạng lưới, cũng giống như bộ xử lý trung ương
(CPU) của máy tính cá nhân. Có thể liệt kê một số nền tảng chính của công nghệ tính
toán mạng lưới như sau:
- Cơ chế cho phép xác thực và truyền thông an toàn trên mạng máy tính. GSI cung
cấp một số dịch vụ hữu ích cho mạng lưới như khả năng xác thực lẫn nhau, cơ chế
đăng nhập một lần, cơ chế uỷ quyền. Động cơ chủ yếu để phát triển GSI là:
BÙI CHÍ CƯỜNG - CH1101007 LỚP CH CNTTQM - K6
o Nhu cầu của việc truyền thông an toàn (với khả năng xác thực cao và đáng tin cậy)
giữa các thành phần tham gia mạng lưới.
o Nhu cầu hỗ trợ bảo mật khi trao đổi xuyên qua các ranh giới của các tổ chức không
cho phép triển khai cùng một hệ thống bảo mật tập trung.
o Nhu cầu hỗ trợ cơ chế đăng nhập một lần cho các người sử dụng của mạng lưới,
bao gồm cả việc giao uỷ nhiệm thư cho các thanh phần tính toán sử dụng và truy
cập nhiều tài nguyên mạng lưới.
Hình 5 - Các giao thức và dịch vụ mạng lưới
- GSI dựa trên các công nghệ mã khoá công khai (Public Key Infrastructure hay
PKI), Chứng thư X.509 (Certificate), Nghi thức truyền thông bảo mật (Secure
Socket Layer hay SSL). Những chuẩn công nghiệp về bảo mật trên được thêm vào
cơ chế đăng nhập một lần (SSO) và uỷ quyền (Proxy) tạo nên nền tảng bảo mật
vững chắc của mạng lưới.
BÙI CHÍ CƯỜNG - CH1101007 LỚP CH CNTTQM - K6
- Nghi thức chuyển giao dữ liệu dạng tập tin (như FTP) hay dữ liệu (như HTTP) có
hiệu năng cao, an toàn và đáng tin cậy nhất trên mạng Internet hiện nay. GridFTP
được các nhà chuyên môn đánh giá cao vì nó cung cấp các tính năng đặc trưng phù
hợp với kiến trúc mạng lưới:
o Bảo mật theo chuẩn GSI trên các kênh điều khiển và kênh truyền dữ liệu. Đây là
điều kiện tiên quyết của các ứng dụng mạng lưới.
o Tạo lập và quản lý các kênh truyền dữ liệu song song, cho phép tăng tốc độ truyền
dữ liệu tới mức kỷ lục.
o Trao đổi từng phần tập tin dữ liệu, đặc biệt hiệu quả với các tập tin dữ liệu có dung
lượng cực kỳ lớn.
o Trao đổi dữ liệu với sự tham gia của phía thứ ba. Đây là nghi thức cho phép chuyển
tập tin trực tiếp từ máy chủ tới máy chủ khi kênh điều khiển nằm trên máy chủ thứ
ba.
o Xác thực các kênh truyền dữ liệu.
o Tái sử dụng các kênh truyền dữ liệu và dẫn truyền các lệnh điều khiển.
- Cung cấp các công cụ cần thiết để xây dựng một kiến trúc thông tin mạng lưới, dựa
trên nghi thức truy cập dịch vụ thư mục đơn giản (Light Directory Access Protocol
hay LDAP) để truy vấn thông tin mạng lưới từ nhiều thành phần khác nhau, tạo ra
một không gian tên (name space) đồng nhất cho thông tin về các tài nguyên mạng
lưới có thể có của nhiều tổ chức khác nhau. Khả năng truy xuất đồng bộ trên diện
rộng của MDS cung cấp các thông tin về tài nguyên mạng lưới sau:
o Cấu hình chi tiết, tài nguyên bộ nhớ, tốc độ CPU, số lượng máy tính chạy bó song
song, số lượng và kiểu card giao tiếp mạng.
o Thông tin tài nguyên tính toán thời gian thực như mô tả tình trạng mạng với kết nối
điểm-điểm, độ tải của CPU máy chủ tham gia mạng lưới
BÙI CHÍ CƯỜNG - CH1101007 LỚP CH CNTTQM - K6
o Thông tin đặc biệt cho mỗi công việc như là yêu cầu về bộ nhớ, CPU, hay là cấu
trúc phần cứng để chương trình vận hành hiệu quả hơn.[list]
- Cung cấp một phương thức truy vấn tài nguyên đồng nhất trên mạng lưới gồm cấu
hình hiện hữu, khả năng, trạng thái Các tài nguyên này có thể bao gồm:
o Các nút tính toán.
o Các hệ thống lưu trữ dữ liệu.
o Các dụng cụ khoa học.
o Các kết nối mạng.
o Các cơ sở dữ liệu.
- Đây là một thành phần khá quan trọng trong kiến trúc quản lý tài nguyên mạng
lưới, trong đó dịch vụ quản lý tài nguyên toàn cục được đặt trên cùng.
Hình 6 - Kiến trúc quản lý tài nguyên mạng lưới
Hình trên mô tả là tổng quan các thành phần khác nhau của kiến trúc quản lý tài
nguyên mạng lưới cài đặt bằng công cụ nền GLOBUS . Từ đây, ta có thể thấy có ba
thành phần chính trong hệ thống quản lý tài nguyên mạng lưới theo Globus, đó là ngôn
ngữ đặc tả tài nguyên mở rộng (RSL), giao diện với các công cụ quản lý tài nguyên cục
BÙI CHÍ CƯỜNG - CH1101007 LỚP CH CNTTQM - K6
bộ (GRAM), bộ phận phân phối liên hợp (Co-allocator). Cơ chế này cho phép tạo giao
diện chuẩn để truy cập các công cụ quản lý tài nguyên cục bộ, khi một site tham gia
mạng lưới. Một số hệ thống còn có thể cung cấp các dịch vụ phân phối liên hợp, cho
phép kết nối một yêu cầu với nhiều hệ thống GRAM. Ngôn ngữ đặc tả tài nguyên
mạng lưới (Resource specification Language hay RSL): là ngôn ngữ mô tả và truyền
tải các thông tin yêu cầu tài nguyên tính toán, lưu trữ và chuyển tải thông tin, giữa các
thành phần trong kiến trúc quản lý tài nguyên mạng lưới.
5. Các dạng Grid - Types of Grids
Trong thực tế mạng lưới - Grid được cài đặt ở nhiều dạng khác nhau phù hợp với
ứng dụng cụ thể. Một số người phân loại các dạng Grid này dựa và cấu trúc của tổ
chức ảo tham gia vào mạng lưới, trong khi đó người khác lại định nghĩa Grid theo tính
chất của tài nguyên được chia sẻ.
Trong phần này chúng ta sẽ tìm hiểu một số dạng Grid
- Departmental Grids
Departmental grids được triển khai để giải quyết vấn đề cho 1 nhóm người cụ thể trong
1 công ty hay xí nghiệp. Các tài nguyên không chia sẻ cho các nhóm người dùng khác.
Sau đây là các dạng mạng lưới thuộc và lớp này - Departmental Grid
- Cluster Grids:
Mạng lưới nhóm - Cluster grid Sun Microsystems dùng để nói về 1 mạng lưới gồm 1
hoặc nhiều hệ thống kết hợp lại nhằm cung cấp 1 điểm truy xuất đơn cho người dùng.
Mạng lưới này phù hợp với các ứng dụng yêu cầu hiệu năng tính toán và băng thông
lớn.
- Infra Grids:
Infra grid là thuật ngữ được dùng bởi IBM để định nghĩa 1 mạng lưới tối ưu việc sử
dụng tài nguyên trong 1 xí nghiệp.
- Enterprise Grids
BÙI CHÍ CƯỜNG - CH1101007 LỚP CH CNTTQM - K6
Enterprise grids bao gồm các tài nguyên nằm rải rác trong 1 công ty, xí nghiệp và cung
cấp dịch vụ cho tất cả người dùng. Nó bao gồm các dạng sau:
o Enterprise Grids: Một enterprise grid, theo tổ chức Platform Computing, được triển
khai trong các công ty lớn có chi nhánh ở nhiều nơi trên thế giới có nhu cầu chia sẽ
tài nguyên.
o Intra Grids: Theo IBM, tài nguyên chia sẻ trong các nhóm khác nhau của 1 xí
nghiệp tạo thành 1 intra grid. Intra grid có thể chỉ hạn chế trong 1 mạng cục bộ hoặc
các mạng riêng ảo VPN. Thông thường intra grid được bảo vệ bởi hệ thống tường
lửa của công ty.
o Campus Grids: Campus grids, theo Sun Microsystems, cho phép nhiều dự án hoặc
nhiều bộ phận chia sẻ tài nguyên tính toán theo hướng cộng tác. Campus grids có
thể chứa các máy trạm, máy chủ, cũng như các tài nguyên tập trung được quản lý
cục bộ nằm tại các bộ phận khác nhau trong 1 tổ chức, ví dụ như 1 trường đại học.
- Extraprise Grids
Extraprise grids được thiết lập giữa các công ty, các đối tác, và khách hàng. Các tài
nguyên mạng lưới thông thường được chia sẻ thông qua các mạng riêng ảo. Sau đây là
1 số dạng Grid điển hình thuộc loại này:
o Extra Grids: Extra grids, theo IBM, cho phép chia sẻ tài nguyên với các đối tác bên
ngoài. Liên kết giữa các tổ chức này được thiết lập bằng cách dịch vụ tin cậy, như
các mạng riêng hay mạng riêng ảo.
o Partner Grids: Tổ chức Platform Computing định nghĩa Partner Grids là các mạng
lưới giữa các tổ chức, công ty, xí nghiệp trong cùng lĩnh vực mà có nhu cầu cộng
tác nhằm thực hiện dự án chung.
- Global Grids
BÙI CHÍ CƯỜNG - CH1101007 LỚP CH CNTTQM - K6
Là những mạng lưới được phát triển dựa vào mạng Internet công cộng. Nó có thể được
thiết lập bởi các công ty nhằm hỗ trợ việc kinh doanh mua bán thông qua việc cung cấp
các dịch vụ giá trị gia tăng. Một số dạng Grid thuộc loại này bao gồm:
o Global Grids: Global grids, theo Sun, cho phép người dùng khai thác các tài nguyên
bên ngoài. Global grids cung cấp sức mạnh của các tài nguyên phân tán trên khắp
thế giới nhằm phục các công việc tính toán và cộng tác của người dùng.
o Inter Grids: Inter grids, theo IBM, cung cấp khả năng chia sẻ tài nguyên tính toán
và lưu trữ thông qua Web.
o Mạng lưới tính toán - Compute grids được thành lập nhằm mục tiêu duy nhất là
chia sẻ tài nguyên tính toán.
o Desktop Grids: Đây là mạng lưới tập hợp sức mạnh tính toán của các máy tính để
bàn. Do hệ điều hành Windows thống trị họ máy tính này nên các mạng lưới thuộc
dạng này chủ yếu chạy trên nền Windows
o Server Grids: Một số tập đoàn lớn thường có các tài nguyên máy chủ được quản lý
bởi bộ phận IT nằm tại nhiều địa điểm khác nhau. Họ muốn tạo Server Grids để
chia sẻ những tài nguyên đắt giá này. Thông thường các mạng lưới này chạy trên hệ
điều hành Unix/Linux.
o High-Performance/Cluster Grids: Mạng lưới gồm các hệ thống dành riêng cho tính
toán như các siêu máy tính hoặc nhóm máy tính hiệu năng cao (được thiết kế cho
các ứng dụng tính toán lớn).
o Mạng lưới dữ liệu - Data Grids: Tài nguyên chủ yếu được chia sẻ trong mạng lưới
này là dữ liệu. Nó được xây dựng nhằm tối ưu các thao tác hướng dữ liệu như: lưu
trữ, truy xuất, trao đổi.