Architectural Models for Resource Management in the Grid

Slides:



Advertisements
Similar presentations
Nimrod/G GRID Resource Broker and Computational Economy
Advertisements

Nimrod/G GRID Resource Broker and Computational Economy David Abramson, Rajkumar Buyya, Jon Giddy School of Computer Science and Software Engineering Monash.
Đánh giá Quốc gia có Hệ thống cho Việt Nam Các ư u tiên về Giảm nghèo, Phát triển Công bằng và Bền vững Ngày 5 tháng 4 n ă m 2016.
Quản trị Rủi ro thiên tai và Biến đổi khí hậu
Báo cáo Cấu trúc đề thi PISA và Các dạng câu hỏi thi PISA
Sử dụng năng lượng hiệu quả
PHÂN TÍCH THIẾT KẾ HỆ THỐNG
XÂY DỰNG VÀ PHÁT TRIỂN CHƯƠNG TRÌNH ĐÀO TẠO THEO ĐỀ XƯỚNG CDIO
Rainforest Alliance đào tạo cho các nông trại trà ở Việt Nam
PHẦN 1. HỆ ĐIỀU HÀNH WINDOWS. 2 Nội dung trình bày  1.1. Thao tác cơ bản sử dụng máy tính  1.2. Màn hình nền desktop  1.3. Quản lý tệp tin và thư mục.
Qua hàng ngàn năm dựng nước và giữ nước, dân tộc ta đã để lại nhiều bài học vô giá. Nổi bật trong đó là tinh thần đoàn kết, ý thức cộng đồng. Hai truyền.
L/O/G/O NGUYÊN LÝ KẾ TOÁN Nguyễn Hữu Quy (MBA,CPA,APC)
1 ĐỒNG NAI ĐÁNH GIÁ TÌNH HÌNH VÀ ĐỀ XUẤT ÁP DỤNG HIỆU QUẢ MÔ HÌNH KINH TẾ DƯỢC TẠI BỆNH VIỆN ĐA KHOA ĐỒNG NAI NĂM 2017 Học viên: Nhóm 5 _ PP111.
TRƯỜNG ĐẠI HỌC THĂNG LONG
CHÍNH SÁCH VÀ TRIỂN KHAI CHÍNH SÁCH BẢO MẬT
Thực hiện các cuộc họp quan trọng
QUẢN TRỊ THÀNH TÍCH Performance Management
KIẾN TRÚC HƯỚNG DỊCH VỤ - SOA
TÌM HIỂU VỀ WEB SERVICES VÀ XÂY DỰNG MỘT WEB SERVICE
Big Data GV: TS Võ Đình Hiếu Thực hiện: Phạm Công Thiên Lý
Tổng quan về hệ thống máy tính
Tham gia Intel ISEF 2013 và một số kinh nghiệm chia sẻ
Giới thiệu chương trình trách nhiệm xã hội của doanh nghiệp
KHAI PHÁ DỮ LIỆU (DATA MINING)
THÔNG TIN MÔN HỌC Quản trị chuỗi cung ứng (Supply Chain Management): 45 tiết Tài liệu nghiên cứu Quản lý chuỗi cung ứng –Th.S. Nguyễn Kim Anh, Đại học.
THAM VẤN TÂM LÝ Bài Giới Thiệu.
Software testing Kiểm thử phần mềm
BÁO CÁO DỰ ÁN CIBOLA Đo lường mức độ hiệu quả của Media
Chương 6 Thiết kế hệ thống.
Hạ Long – Cát Bà Sáng kiến Liên minh Bui Thi Thu Hien
Module 6 – Managing for Sustainability
Hệ Thống Quản Lý An Toàn Thực Phẩm
Internet & Thương Mại Điện Tử
CHẾ ĐỘ PHÁP LÝ VỀ CÔNG TY CỔ PHẦN
HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG
BÀI GIẢNG CƠ SỞ HỆ THỐNG THÔNG TIN CHƯƠNG 1. GIỚI THIỆU CHUNG VỀ HTTT
Thương mại điện tử HÀ VĂN SANG.
XÂY DỰNG LỢI THẾ CẠNH TRANH THÔNG QUA CHIẾN LƯỢC CẤP KINH DOANH
Phân tích môi trường bên ngoài doanh nghiệp: Nhận diện các:
Công nghệ phần mềm Yêu cầu phần mềm 9/3/
MKTNH Version 3 Giảng viên: ThS. Thái Thị Kim Oanh
Testing là gì Là quá trình thực hiện một chương trình (hay một phần của một chương trình) để tìm ra lỗi Là pha quan trọng trong quá trình phát triển hệ.
BÀI GIẢNG MỘT SỐ CHỦ ĐỀ HIỆN ĐẠI VỀ KHAI PHÁ DỮ LIỆU: KHAI PHÁ QUÁ TRÌNH CHƯƠNG 2. MÔ HÌNH QUY TRÌNH VÀ PHÂN TÍCH QUY TRÌNH THEO MÔ HÌNH PGS. TS. HÀ.
Bài 2: Từ tiêu chuẩn sức khoẻ tới nơi làm việc lành mạnh
Chương 6 Thiết kế hướng đối tượng
TRƯỜNG CAO ĐẲNG TÀI CHÍNH HẢI QUAN KHOA: KINH DOANH QUỐC TẾ
Chương 4 Phân tích kiến trúc (Architecture)
XÂY DỰNG KẾ HOẠCH VÀ CHIẾN LƯỢC MARKETING
LẬP TRÌNH ỨNG DỤNG WINDOW FORM
Quản lý con người Quản lý người làm việc như những cá nhân và theo nhóm.
KỸ NĂNG HỌC TẬP KHOA QUẢN TRỊ KINH DOANH ThS. NGUYỄN HOÀNG SINH
Chapter 16: Chiến lược giá
Giới Thiệu Tiêu Đề I.
ĐỒ ÁN MÔN HỌC AN NINH MẠNG
Trách nhiệm giải trình của doanh nghiệp ở diện rộng
QUYỀN LỰC VÀ MÂU THUẪN TRONG NHÓM
Chương 5: Thiết lập mạng.
Chương 2 Căn bản về Cung và Cầu 1.
Phòng Công nghệ Thông tin
GIỚI THIỆU KHÁI QUÁT VỀ THỊ TRƯỜNG TÀI CHÍNH
QUẢN TRỊ TÍNH ĐA DẠNG THÔNG QUA NHIỀU HOẠT ĐỘNG KINH DOANH
Kế hoạch Quản lý Hóa chất & Tích hợp vào Quy trình Nhà máy và Quản lý
Chương 4 – lớp Liên Kết Dữ Liệu
Giới thiệu : Trong Windows XP trở về sau, tích hợp sẵn 1 công cụ rất hay đó là Group Policy. Group Policy là 1 trong các thành phần của Microsoft Management.
OBJECT-ORIENTED ANALYSIS AND DESIGN WITH UML 2.0
Giảng viên: Lương Tuấn Anh
Giới thiệu : Trong Windows XP trở về sau, tích hợp sẵn 1 công cụ rất hay đó là Group Policy. Group Policy là 1 trong các thành phần của Microsoft Management.
Trường CĐ CNTT HN Việt Hàn
Chương 8 NHỮNG VẤN ĐỀ QUẢN TRỊ CƠ BẢN TRONG THỰC THI CHIẾN LƯỢC
Presentation transcript:

Architectural Models for Resource Management in the Grid Trình bày: Nguyễn Trọng Bảo 00708186 Trần Thế Anh 90907022 GVHD: TS. Phạm Trần Vũ

Outline Introduction Architecture Models Hierarchical Resource Management Abstract Owner (AO) Model Economy/Market Model

Các ứng dụng liên quan đến mô hình hoá, mô phỏng và phân tích trên máy tính Life Sciences Aerospace E-commerce/anything Digital Biology CAD/CAM Military Applications Military Applications _ Military Applications

? Ngoài phạm vi quản lý Phạm vi quản lý PERFORMANCE _ Individual Group 2100 ? PERFORMANCE _ 2100 Phạm vi quản lý Individual Group Department Campus State National Globe Inter Planet Universe Desktop (Single Processor?) Super Computers Local Cluster Enterprise Cluster/Grid Global Cluster/Grid Inter Planet Cluster/Grid ??

Introduction Grid computing là khái niệm về liên kết geographically distributed resources để giải quyết vấn đề quy mô lớn đang trở nên ngày càng phổ biến. Các computational resource (supercomputers, clusters, …), visualisation devices, storage systems và cơ sở dữ liệu, đặc biệt các scientific instrument (như radio telescopes) kết nối ở mức luận lý với nhau và biểu diễn như một single integrated resource đến users _

Introduction Physical resource: computer, disk, database, networks, scientific instruments Logical resource: Executing applications, Complex workflows…

7 User liên hệ với resource broker để gửi yêu cầu thực thi ứng dụng _

Resource Broker liên hệ với một hoặc nhiều Grid Information Server để tìm kiếm các tài nguyên mà user có thể truy cập 8 8

Resource Broker thương lượng với các Resource hoặc các agent của chúng qua middleware services _ 9 9

Introduction Ánh xạ tasks đến resources (scheduling) Sắp xếp ứng dụng và dữ liệu để xử lý Tập hợp kết quả.

Introduction Cần theo dõi tiến trình thực hiện ứng dụng cùng với việc quản lý thay đổi trong grid infrastructure và resource failure. Các resource phân tán, không đồng nhất và chúng thuộc sở hữu của cá nhân / tổ chức khác nhau với các chính sách quản lý tài nguyên, truy cập và tính toán chi phí trên các mô hình cũng khác nhau _ => Resource Management

Grid Resource Management Xác thực Chi tiết mô phỏng (mã nguồn, resources, …) Tìm kiếm tài nguyên Thương lượng cấp phép, chấp nhận sử dụng, chi phí… Resource yêu cầu Schedule Jobs Thực hiện tính toán Quản lý tính toán Truy xuất dữ liệu từ xa Chia sẻ kết quả Tài khoản để sử dụng Domain 1 Domain 2

… … … … … Grid Components Grid Apps. Scientific Engineering Applications and Portals Grid Apps. … Scientific Engineering Collaboration Prob. Solving Env. Web enabled Apps Development Environments and Tools Grid Tools … Languages Libraries Debuggers Monitoring Resource Brokers Web tools Distributed Resources Coupling Services Grid Middleware … Comm. Sign on & Security Information Process Data Access QoS Local Resource Managers Operating Systems Queuing Systems Libraries & App Kernels … TCP/IP & UDP Grid Fabric Networked Resources across Organisations … Computers Clusters Storage Systems Data Sources Scientific Instruments

Outline Introduction Architecture Models Hierarchical Resource Management Abstract Owner (AO) Model Economy/Market Model 14

Architecture Models Các mô hình khác nhau cho grid resource management architecture _ Hierarchical Model Abstract Owner Model Market/Economy Model 15 15

Architecture Models 16 Mô hình Diễn giải Hệ thống Hierarchical Mô hình kiến trúc sử dụng cơ chế lập lịch và quản lý tài nguyên theo cách nhìn tổng quát. Globus, Legion, Ninf, NetSolve Abstract Owner Áp dụng theo order and delivery model, cho việc chia sẻ resource, mà phần lớn bỏ qua cơ sở hạ tầng hiện có để tập trung vào mục tiêu dài hạn. Expected to emerge Economy /Market Áp dụng theo Economic model trong phát hiện và lập lịch tài nguyên, có thể tồn tại và làm việc với hệ thống hiện tại. Nó sử dụng cả hierarchical và abstract owner models. Nimrod/G, JaWS, Myriposa, JavaMarket 16 16

Outline Introduction Architecture Models Hierarchical Resource Management Abstract Owner (AO) Model Economy/Market Model 17

Hierarchical Resource Management Hierarchical model cho grid resource management architecture được đề xuất trong cuộc họp lần thứ hai của Grid Forum (GF2), October 19 - 21, 1999, tại Northwestern University Chicago Campus, thành phố Chicago, Illinois, USA. Cuộc họp lần thứ 23 Open Grid Forum (OGF23), June 2-6, 2008, tại Barcelo Sants Hotel, Barcelona, Spain. 18 18

Hierarchical Resource Management Hierarchical model cho grid resource management architecture gồm hai thành phần chính Passive _ Active _ 19 19

Hierarchical Resource Management Passive Resources Tasks Jobs Schedules 20 20

Hierarchical Resource Management Passive Resources Những cái có thể được sử dụng trong một khoảng thời gian. Có thể hoặc không thể được tái tạo. Có chủ sở hữu, có thể chuyển cho người khác sử dụng. Có thể chia sẻ hoặc độc quyền. Có thể được đặt tên rõ ràng, hoặc được mô tả dạng parametrically. Ví dụ: disk space, network bandwidth, specialized device time, và CPU time. 21 21

Hierarchical Resource Management Passive Tasks Customer of resources. Traditional computational tasks Non-computational tasks 22 22

Hierarchical Resource Management Passive Jobs Các thực thể thứ bậc. Có thể có cấu trúc đệ quy _ Các leaves của cấu trúc này là tasks. Hình thức đơn giản nhất của một job là một single task. 23 23

Hierarchical Resource Management Passive Schedules Thực hiện ánh xạ các task vào các resource theo thời gian _ Các task là các resource consumers thực sự. 24 24

Hierarchical Resource Management jobs Resources Subjob 1 Resource 1 Subjob 1.1 Task A Resource 2 Schedules Task B Resource 3 25 25

Hierarchical Resource Management Active Users Gửi jobs đến Resource Management System để thực hiện. 26 26

27 27

Hierarchical Resource Management Active Job Control Agents: Có nhiệm vụ quản lý một job qua hệ thống. Có thể hoạt động như là một proxy cho user _ Phối hợp giữa các thành phần khác nhau trong resource management system (phối hợp giữa các monitors và schedulers) 28 28

29 29

Hierarchical Resource Management Active Admission Control Agents: Xác định xem hệ thống có thể phục vụ thêm jobs, từ đó xác định từ chối hoặc trì hoãn jobs khi hệ thống ở trạng thái bão hòa. 30 30

31 31

Hierarchical Resource Management Active Information Services : Hoạt động như cơ sở dữ liệu để mô tả các item cần quan tâm đến resource management systems, chẳng hạn như các resources, jobs, schedulers, agents, …. Có thể là LDAP (Lightweight Directory Access Protocol) hoặc là một cơ sở dữ liệu thương mại, …. 32 32

33 33

Hierarchical Resource Management Active Schedulers: Tính toán một hoặc nhiều schedules cho các jobs, tính toán ràng buộc được quy định theo thời gian chạy. Các đơn vị của scheduling là job, có nghĩa là schedulers cố gắng ánh xạ tất cả các task vào trong một job cùng một lúc. 34 34

35 35

Hierarchical Resource Management Active Deployment Agents Thực hiện định lịch bằng việc đàm phán với các domain control agents để có được resource và bắt đầu thực hiện task. 36 36

37 37

Hierarchical Resource Management Active Domain Control Agents Có thể cấp phép resource để sử dụng. Control domain là một agent điều kiển một tập hợp các resource. Có thể gọi là local resource manager. Domain control agents phân biệt với Schedulers, nhưng control domain có thể chứa Schedulers. Một Domain Control Agent có thể cung cấp thông tin trạng thái thông qua một Information Service hoặc thông qua truy vấn trực tiếp. 38 38

39 39

Hierarchical Resource Management Active Monitors: Theo dõi sự tiến trình của job. Monitors chứa trạng thái job từ các task hoặc từ Domain Control Agents nơi các tasks đang chạy. Căn cứ vào trạng thái này, các Monitor có thể thực hiện outcalls đến Job Control Agent và Schedulers để ánh xạ lại vào jobs. 40 40

41 41

Active Components 42 42

Passive Components 43 jobs Resources Subjob 1 Schedules Resource 1 Task A Resource 2 Schedules Task B Resource 3 43 43

User gửi một job cho một Job Control Agent 1 44 44

Admission Control Agent kiểm tra hệ thống có khả năng phục vụ job của user không? 1 45 45

nhờ Grid Information System tư vấn _ 2* 46 46

Admission Control Agent chuyển job đến một Scheduler _ 3 47 47

48 sử dụng Grid Information System để thực hiện Resource Discovery 4

Admission Agent tư vấn với các Domain Control Agents để xác định trạng thái hiện tại và tính sẵn sàng của các Resources 49 49

Scheduler tính toán một tập hợp các ánh xạ và gửi những ánh xạ đó cho một Deployment Agent 5 50 50

Deployment Agent thương lượng với Domain Control Agents để sử dụng các Resource trong Schedule, và đăng ký sử dụng các resource 5 51 51

Deployment Agent phối hợp với các Domain Control Agents thích hợp để bắt đầu Task 6 52 52

Monitor theo dõi tiến trình của job, và sau đó có thể quyết định định lịch lại nếu hiệu suất thấp hơn dự kiến 7 53 53

Outline Introduction Architecture Models Hierarchical Resource Management Abstract Owner (AO) Model Economy/Market Model 54

Mô hình Abstract Owner (AO) Giới thiệu Cấu trúc tổng thể Tài nguyên lưới Đàm phán với một AO Job shop

Mô hình Abstract Owner (AO) Giới thiệu Khi bạn sử dụng dịch vụ Internet của một ISP nào đó: Ai là chủ sở hữu của đường truyền mạng?

Mô hình Abstract Owner (AO) Giới thiệu Bạn không quan tâm ai là chủ sở hữu, và cũng không muốn biết. Bạn chỉ cần biết: Ai là đại diện cung cấp dịch vụ, để ký kết hợp đồng. Làm sao để sử dụng dịch vụ. Chi phí sử dụng dịch vụ. Phương thức thanh toán chi phí.

Mô hình Abstract Owner (AO) Giới thiệu AO là một thực thể đại diện, “sở hữu” grid, để client đàm phán AO có thể là sở hữu chủ của resources AO có thể là “cò” (broker) đại diện cho 1 / nhiều sở hữu chủ liên kết với nhiều AO khác

Mô hình Abstract Owner (AO) Giới thiệu

Mô hình Abstract Owner (AO) Cấu trúc tổng thể Client viewpoint: căn tin Thỏa thuận Đặt hàng resources Nhận resources Order Window Pickup Window Abstract Owner Window: giao diện lập trình truy cập từ xa, theo 1 chuẩn mở nào đó (open standard interface, remotely invoke). CORBA, RMI, RPC … External View of AO model

Mô hình Abstract Owner (AO) Cấu trúc tổng thể Resource: sự kết hợp của phần cứng và/hoặc phần mềm (cpu, hdd, dbms, …), giúp client giải quyết vấn đề. Vấn đề: các tasks, sử dụng các resources cung cấp bởi AO. Task: Data set, message Tiến trình (Process) Tập hợp các tiến trình cần thực thi theo thứ tự nào đó

Mô hình Abstract Owner (AO) Cấu trúc tổng thể Bên trong AO Manager Order Window Pickup Window Sales Rep. Delivery Rep. AO3 AO2 AO1 Resource Manager Order Window Pickup Window AO is Resource Owner Physical Resource

Grid resources - Tài nguyên lưới Mô hình Abstract Owner (AO) Grid resources - Tài nguyên lưới Instruments: Thực thể tồn tại 1 cách logic tại 1 nơi nào đó, trong 1 khoảng thời gian nào đó Tạo ra, tiêu thụ, hoặc biến đổi dữ liệu / thông tin Channels Kênh trao đổi dữ liệu / thông tin giữa 2 hay nhiều instruments. Kết nối với Instrument thông qua Port Complexes Tập hợp của Channels và Instruments.

Grid resources - Tài nguyên lưới Mô hình Abstract Owner (AO) Grid resources - Tài nguyên lưới Instruments được chia nhỏ: Instrument tính toán (compute): processor(s), processors + memory, temp files, software, ... Instrument lưu trữ (archival): nơi lưu trữ dữ liệu / thông tin. Instrument cá nhân (personal): giao diện tương tác với người dùng: terminal, nhận dạng giọng nói, camera … Instrument khác: máy quét, kính hiển vi, kính viễn vọng, cảm biến … đóng vai trò nguồn dữ liệu / nơi tiêu thụ dữ liệu (source / sink) cho grid

Mô hình Abstract Owner (AO) Đàm phán với AO Client muốn sử dụng resources, cần phải đàm phán với AO Tiến trình đàm phán: Client gởi yêu cầu AO trả về thông tin của những resource mà AO có thể cung cấp Client chấp nhận và đặt hàng; hoặc từ chối. Client nhận resource tại Pickup window Client send request and negotiate to AO successful negotiation? Client place order to AO through Order Window AO return resource to Client through Pickup Window Client wait for resource? CANCEL N Y

Mô hình Abstract Owner (AO) Đàm phán với AO Client tạo ra đối tượng chứa những “yêu cầu” về resource Bắt buộc phải có / không có Sao cũng được - không quan tâm Variable name (thời điểm có thể sử dụng, Instrument ObjID, Channel …); cần được cung cấp bởi AO Variable cũng có thể thuộc loại: có thể “thương lượng”

Mô hình Abstract Owner (AO) Đàm phán với AO Client giao tiếp tại Order window: Object chứa yêu cầu, ràng buộc Kiểu đàm phán (negotiation style) Immediate : cần resource ngay Pending: values for negotiating variables Confirmation: chấp nhận giá trị ở pending Cancel pending negotiation Cách client nhận resource (pickup style) từ AO Client thăm dò (polling) AO thông báo bằng signal, interrupt, message … Authorization: ID của client, để tính phí Bid: biểu giá tối đa mà client chấp nhận chi trả Negotiation ID: cookie for negotiation session

Mô hình Abstract Owner (AO) Job shop AO chỉ thực hiện một phần của tiến trình lập lịch tác vụ (job scheduling process). Client phải lo: Nối kết (binding) tasks – resources Theo dõi quá trình thực thi tác vụ Dọn dẹp Job shop: thực thể trừu tượng (tiệm sửa xe, thầu xây dựng …) Estimator: giao tiếp với client; ước tính thời gian hoàn thành, tổng chi phí Executor: Giao tiếp với AO để nhận resource. Lập job queue Thực thi task Thu thập kết quả Trả kết quả về client

Mô hình Abstract Owner (AO) Tổng kết Vẫn còn nhiều thiếu sót Làm cách nào user/AO tìm được một AO thỏa điều kiện về resource cần thiết Kết nối giữa các AO theo sơ đồ hình cây, nhưng môi trường grid có nhiều thay đổi Mô hình mới được đề xuất, cần tương tác tốt với những protocol hiện tại

Outline Introduction Architecture Models Hierarchical Resource Management Abstract Owner (AO) Model Economy/Market Model 70

Mô hình Economy / Market Giới thiệu Môi giới tài nguyên grid (Grid resource broker - GRB) Grid middleware Domain resource manager

Mô hình Economy / Market Giới thiệu Grid resources: Vị trí địa lý khác biệt Thuộc nhiều Administrative Domain khác nhau Mỗi AD sử dụng cơ chế quản lý resource khác nhau Lợi nhuận là động lực thúc đẩy sự tiến bộ Cơ cấu tính chi phí khác biệt (users, thời điểm, số lượng cpu, dung lượng ram …) Mô hình Economy/Market cung cấp công cụ và dịch vụ để: User tối thiểu hóa chi phí trong phạm vi cho phép Provider tối đa hóa lợi nhuận

Mô hình Economy / Market Giới thiệu Mô hình Economy/Market là sự kết hợp của Hierarchical và AO Những thành phần chính của hệ thống quản lý resource: User Applications Grid Resource Broker (Super/Global/Meta Scheduler) Grid Middleware Grid service provider

Mô hình Economy / Market Giới thiệu Grid Information Server(s) Info ? Health Monitor Grid Node N Grid Explorer … Application … Job Control Agent Grid Node 2 Grid Node1 Schedule Advisor Trading Trade Server Charging Alg. Trade Manager Accounting Resource Reservation Other services … Deployment Agent Jobs Resource Allocation Grid User Grid Resource Broker R1 R2 … Rm Grid Resource/Control Domains Grid Middleware

Mô hình Economy / Market Môi giới tài nguyên grid (Grid resource broker – GRB) Grid Information Server(s) Info ? Health Monitor Grid Node N Grid Explorer … Application … Job Control Agent Grid Node 2 Grid Node1 Schedule Advisor Trading Trade Server Charging Alg. Trade Manager Accounting Resource Reservation Other services … Deployment Agent Jobs Resource Allocation Grid User Grid Resource Broker R1 R2 … Rm Grid Resource/Control Domains Grid Middleware

Mô hình Economy / Market Môi giới tài nguyên grid (Grid resource broker – GRB) Lớp phần mềm đóng vai trò trung gian giữa user và grid resources. Sử dụng dịch vụ cung cấp bởi middleware. Chịu trách nhiệm: Tìm kiếm (discovery) resource Lựa chọn (select) resource Kết nối (binding) các resource phần mềm (application), dữ liệu, và phần cứng Khởi thực thi (initiate) các tác vụ tính toán Có khả năng thích nghi (adapt) với những thay đổi của grid resource. “Đại diện” (represent) cho grid, user chỉ thấy 1 resource

Mô hình Economy / Market Môi giới tài nguyên grid (Grid resource broker – GRB) Các thành phần: 1. Job Control Agent (JCA): Quản lý (shepherd) các job trên các system. Lập lịch (schedule generation) Tạo hàng đợi các job Theo dõi tình trạng (status) các job Giao tiếp với clients/users, schedule advisor, và dispatcher. 2. Schedule Advisor (Scheduler): Tìm kiếm (discovery) resource (sử dụng grid explorer) Lựa chọn (select) resource Phân phối (assign) job đến resource theo schedule 1 cách thông minh: Resources được chọn sao cho quyền lợi của user là cao nhất (deadline, chi phí thấp nhất …)

Mô hình Economy / Market Môi giới tài nguyên grid (Grid resource broker – GRB) Các thành phần: 3. Grid Explorer: tìm kiếm (discovery) resource Giao tiếp với máy chủ chứa thông tin về grid Lập danh sách các resource (machines) được authorized Theo dõi tình trạng của resource 4. Trade Manager (TM): thực thi dưới sự điều khiển của schedule advisor, xác định chi phí sử dụng resource Giao tiếp với trade servers, thỏa thuận việc truy xuất resource với chi phí thấp nhất có thể Nếu grid information server cung cấp thông tin, TM có thể tự tính toán chi phí. 5. Deployment Agent: Khởi chạy task trên resource tương ứng, theo lịch định sẵn Cập nhật tình trạng thực thi các task, báo cáo về JCA.

Mô hình Economy / Market Grid middleware services Grid Information Server(s) Info ? Health Monitor Grid Node N Grid Explorer … Application … Job Control Agent Grid Node 2 Grid Node1 Schedule Advisor Trading Trade Server Charging Alg. Trade Manager Accounting Resource Reservation Other services … Deployment Agent Jobs Resource Allocation Grid User Grid Resource Broker R1 R2 … Rm Grid Resource/Control Domains Grid Middleware

Mô hình Economy / Market Grid middleware services Cung cấp các dịch vụ để kết nối (coupling) giữa grid user và resource provider. Các middleware hiện tại (Globus, Legion, …) đã cung cấp: Quản lý tiến trình từ xa (Remote process management) Co-allocation of resources Truy xuất lưu trữ (Storage access) Information (directory) Security, authentication Quality of Service (QoS): đặt chỗ (reservation) resource Resource trading service: trung gian giữa GRB và GSP. GRid Architecture for Computational Economy (GRACE): Trade Manager (client)  Trading Protocols và API Trade Server (provider)

Mô hình Economy / Market Grid middleware services Resource trading service: GRACE protocol for trading GRACE Protocol

Mô hình Economy / Market Grid service provider Grid Information Server(s) Info ? Health Monitor Grid Node N Grid Explorer … Application … Job Control Agent Grid Node 2 Grid Node1 Schedule Advisor Trading Trade Server Charging Alg. Trade Manager Accounting Resource Reservation Other services … Deployment Agent Jobs Resource Allocation Grid User Grid Resource Broker R1 R2 … Rm Grid Resource/Control Domains Grid Middleware

Mô hình Economy / Market Grid service provider Trade Server (TS): Agent “sở hữu” resource Đàm phán với user, bán truy cập đến resource Tối đa hóa tải (utilization) resource, và lợi nhuận cho nhà cung cấp Tham khảo (consult) mô hình tính giá cả cung cấp bởi provider, trong quá trình đàm phán Báo về hệ thống kế toán để thống kê tình trạng sử dụng resource Mô hình / thuật toán giá cả (Pricing model) Bảng giá nhà cung cấp Có nhiều chính sách tính chi phí khác nhau, nhằm tối đa hóa lợi nhuận: theo loại khách hàng, thời điểm, … Thay đổi linh động theo quy luật cung cầu kinh tế

Mô hình Economy / Market Grid service provider Hệ thống kế toán (Accounting system) Ghi lại việc sử dụng resource của client Tính tiền phía client, theo thỏa thuận giữa Resource Broker (TM, user agent) và Trade Server (resource owner agent) - Hệ thống quản lý resource cục bộ (local resource managers) Quản lý, lập lịch các task tính toán, thực thi trên resource tính toán cục bộ (workstations, clusters …) Quản lý truy cập đến thiết bị lưu trữ, databases, và các thiết bị khoa học khác như kính viễn vọng, camera … Mosix, Condor, LSF …

Mô hình Economy / Market Mô hình mua bán Có rất nhiều mô hình để trao đổi mua bán resource. Commodity Market Model (thị trường tự do) Posted Price Model (niêm yết giá khuyến mãi) Bargaining Model (thỏa thuận giá) Tendering/Contract-Net Model (đấu thầu) Auction Model (đấu giá) Bid-based Proportional Resource Sharing Model (chia theo tỉ lệ đặt cọc) Community/Coalition/Bartering Model (cổ đông, góp vốn) Monopoly and Oligopoly (độc quyền / chiếm đa số)

Mô hình Economy / Market Mô hình mua bán Commodity Market Model (thị trường tự do) Giá trọn gói Giá theo cung cầu

Mô hình Economy / Market Mô hình mua bán Posted Price Model (niêm yết giá khuyến mãi): tương tự như trong mô hình thị trường tự do. Nhưng GSP niêm yết thêm những khuyến mãi hấp dẫn

Mô hình Economy / Market Mô hình mua bán Bargaining Model: client và provider thỏa thuận giá cả với nhau

Mô hình Economy / Market Mô hình mua bán Tendering/Contract-Net Model (đấu thầu)

Mô hình Economy / Market Mô hình mua bán Auction Model (đấu giá)

Mô hình Economy / Market Mô hình mua bán Bid-based Proportional Resource Sharing Model (chia sẻ resource theo tỉ lệ đặt cọc)

Mô hình Economy / Market Mô hình mua bán Community/Coalition/Bartering Model (mô hình cổ đông, góp vốn) Client được phép sử dụng resource của tổ chức, theo tỉ lệ đóng góp resource của chính client đó cho tổ chức.

Mô hình Economy / Market Mô hình mua bán Monopoly and Oligopoly : GSP thuộc 2 dạng Độc quyền Chiếm đa số thị phần => Client không có quyền thỏa thuận giá cả, chỉ có thể chấp nhận khung giá khi sử dụng, hoặc không sử dụng gì cả

Mô hình Economy / Market Một vài hệ thống grid áp dụng mô hình E/M

Mô hình Economy / Market Một vài hệ thống grid áp dụng mô hình E/M

Nimrod/G Grid Resource Broker Architecture Grid Middleware Nimrod/G Client Grid Information Server(s) Schedule Advisor Trading Manager Nimrod/G Engine Grid Bookkeeper Grid Explorer GE GIS TM TS RM & TS Grid Dispatcher RM: Local Resource Manager, TS: Trade Server Globus,Legion, Condor-g,, Ninf,etc. G L N Globus enabled node. Ninf enabled node. C Condor enabled node.

Nimrod/G Grid Resource Broker Architecture A global scheduler for managing and steering task farming (parametric simulation) applications on computational grid based on deadline and computational economy. Key Features A single window to manage & control experiment Resource Discovery Trade for Resources Scheduling Steering & data management It allows to study the behaviour of some of the output variables against a range of different input scenarios.

Grid Components - GRM … … … … Grid Apps. Scientific Engineering Applications and Portals Grid Apps. … Scientific Engineering Collaboration Prob. Solving Env. Web enabled Apps Development Environments and Tools Grid Tools … Languages Libraries Debuggers Monitoring Resource Brokers Web tools Distributed Resources Coupling Services Grid Middleware … Comm. Sign on & Security Information Process Data Access QoS Local Resource Managers Operating Systems Queuing Systems Libraries & App Kernels … TCP/IP & UDP Grid Fabric Networked Resources across Organisations … Computers Clusters Storage Systems Data Sources Scientific Instruments

Mô hình Economy / Market Tổng kết Thông tin chi phí nên được cung cấp bởi Grid information server. User agent có thể dễ dàng so sánh, lựa chọn nơi tốt nhất. Có rất nhiều mô hình để trao đổi mua bán resource. Bên trên chỉ đề cập một vài mô hình, bắt chước từ thế giới thật Những hệ thống grid khác nhau có thể lựa chọn những giải pháp khác nhau. Tuy nhiên, nên có một chuẩn chung để các hệ thống có thể giao tiếp với nhau.

Tham khảo 1. Rajkumar Buyya, Steve Chapin, and David DiNucci, Architectural Models for Resource Management in the Grid, USA, 2000 2. Rajkumar Buyya, David Abramson, and Jonathan Giddy, An Economy Driven Resource Management Architecture for Global Computational Power Grids 3. Rajkumar Buyya, David Abramson, Jonathan Giddy, and Heinz Stockinger, Economic Models for Resource Management and Scheduling in Grid Computing 4. David Abramson, Rajkumar Buyya, Jon Giddy. School of Computer Science and Software Engineering. Monash University, Melbourne, Australia. Nimrod/G GRID Resource Broker and Computational Economy 5. Klaus Krauter1, Rajkumar Buyya and Muthucumaru Maheswaran. A taxonomy and survey of grid resource management systems for distributed computing.

Câu hỏi