1、織女星網格與中國國家網格張松 zhangsict.ac中國科學院計算技術研討所2004.12.04 南京目錄計算所織女星網格(VegaGrid) 簡介織女星網格操作系統(Vega GOS)織女星網格技術運用例如織女星網格的未來總結計算所織女星網格(Vega Grid)網格-下一個浪潮?雜志：電腦業趨勢美國雜志科技版于2001年9月發表了一組文章，分析了信息技術40年的開展歷史和今后20年的趨勢，指出網絡計算將極大地改動人們的任務和生活，信息技術的下一波大浪潮將在20042005年度出現，并培育2005-2020 十五年的黃金時代這個大浪潮將極大地改動我們的任務和生活。到2020年，由此產生的互

2、聯網將生長為一個20萬億美圓產值的大工業。 信息市場從2000年的一萬億美圓增長20倍。這一波浪潮的本質特征，就是萬維網World Wide Web升華為網格Great Global Grid。2020年計算機技術將廣泛普及對國民經濟和社會開展的影響時間專家運用早期流行公眾認識廣泛運用大型機-終端客戶機-效力器因特網按需計算網格我們目前所處階段計算機科學與技術開展趨勢共享、協同和集成越來越重要從公眾認識階段到廣泛運用階段普遍但不可見pervasive but invisible, silent好用性大幅加強信息、知識、程序、效力的消費者也是提供者基于開放規范的松耦合構造反壟斷從高性能到高消費率

3、效力評價規范改動網絡效力是主要的運用負載動態復雜、平安可信、環境友好是主要的挑戰網格技術的目的:運用層面的互連互通消除資源孤島計算機計算機因特網網頁網頁Web運用運用網格GGGGreat Global GridHP Web ServicesIBM Web ServicesMicrosof.NetSun ONE計算和數據網格TeraGridIPGGIGASCI GridData Grid信息網格和知識網格Semantic WebKnowledgeManagementOntologyInformationPlatform商業運用網格CDNRTECWeb Service其它方式P2PParasiti

4、c Computing網格按運用方式劃分HP Utility ComputingIBM e-Business on DemandMicrosof.NetSun N1“Gridified InfrastructureIndustrial Perspective on Grids:A Wide Range of ApplicationsFinancialServicesDerivativesAnalysisStatistical AnalysisPortfolio Risk AnalysisManufacturingMechanical/ Electronic DesignProcess Simu

5、lationFiniteElement AnalysisFailure AnalysisLS / BioinformaticsCancer ResearchDrug DiscoveryProtein FoldingProtein SequencingOtherWeb ApplicationsWeather AnalysisCode Breaking/ SimulationAcademicSources: IDC, 2000 and Bear Stearns- Internet 3.0 - 5/01 Analysis by SAIGrid Services Market Opportunity

6、2005Unique by Industry with Common CharacteristicsEnergySeismic AnalysisReservoir AnalysisEntertainmentDigital RenderingMassive Multi-PlayerGamesStreaming Media什么是織女星網格什么是織女星網格？計算所網格研討任務的整體計算所對網格的認識突破性創新時機三大戰略品牌之一研討任務的“傘把織女星網格的研討目的前沿的科學研討和技術創新本質的社會影響和國際影響對產業的本質推進產品、運用、規范、論文、人才織女星Vega Grid效力網格超級效力器 效

7、力網格Service GridSUMA VEGAVersatile Services通用效力通用效力與資源，共性技術 ,支持多種運用類型,支持多種運用方式,兼容多種現有技術,支持多種平臺。 Enabling Intelligence輔助智能自動、自我、 動態、交互 共性智能支持技術 信息、知識、效力的自動消費；設備的自動接入；自我描畫、自我路由；動態功能部署，動態頁面等。Global Uniformity全局一體連通性 、單一系統映像 、互操作性網格中的一切資源都聯成了一個整體，實現了全面的資源共享和協同任務。 Autonomous Control自主控制用戶自主、公開規范、以人為中心 反對鎖

8、定用戶lock-in，吸援用戶自愿參與。要讓用戶自主地運用網格，而不是讓網格控制用戶織女星網格的業務益處降低本錢提高產出功能Functionality低本錢Cost可依賴性Dependability性能Performance用戶為中心User-Centric業務益處:性能客戶端：拓廣運用面麥特考夫定律：(網絡)系統的價值 用戶數2布朗定律：網絡系統的價值 2社區個數效力器端：提高資源利用率麥特考夫：全球計算機利用率1%航空工業：利用率30%，同時每年必需晉級(3億元)自動化：減少人為環節優化：并行、縮短途徑、拓寬瓶頸用戶為中心自主控制：用戶選擇產品，而不是被廠家鎖定(lock-in)商品化趨勢

9、獨立性趨勢程度化趨勢專業化效力：系統可根據用戶需求個性化動態定制運用、界面、平安與隱私戰略、資源共享戰略都可定制定制戰略可動態調整用戶確定定制戰略、系統自動完成定制細節更像Web和電視可依賴性可依賴性經常被用戶簡化為平安可靠包括RAS(可靠性、可用性、可維護性)還包括平安性(Security) 、隱私維護 (Privacy) 、誠信(Trust)由于聯通性，網格的可依賴性面臨更大挑戰網格也具有更高可依賴性的潛力異地冗余(鐵路已有很好的實例)多途徑檢測、監控本錢上述益處(除用戶為中心外)，都可以運用現有技術實現網格的優勢在于低本錢最根本的緣由是開放規范時間本錢降低開發時間部署時間維護時間人力本錢

10、降低知識本錢降低(系統的運用和維護更方便)硬件和軟件本錢降低(獨立性,“無限晉級)網格是不是分布式系統？網格是一種分布式系統網格不同與傳統的分布式系統開放開放規范、開放系統通用通用規范、通用系統非集中控制自主控制效力方式utility computing平臺與根底設備而非處理方案網格是突破性創新運用界面操作系統硬件辦公、上網、游戲事務處置、等等命令行、視窗、WebBasic, C, Java, COMWindows,MacOS, LinuxIBM體系構造Intel/AMD處置器微機/效力器網格運用Office.Net網格界面Task-Based Interface網格操作系統.Net to L

11、ongHorn網格硬件Intel next-generationCPUs for grid網格織女星知識網格織女星信息網格GSML軟件織女星網格操作系統Vega GOS曙光高性能計算機面向網格的超級效力器資源路由器、網格終端織女星織女星網格是計算所的品牌行業1行業2行業3硬件系統運用軟件系統軟件運轉效力硬件部件a垂直方式 IBM Global Service, EDS SAP, Oracle, BEA IBM, Microsoft, Linux Sun, IBM, HP, Dell Intel, Seagate, Ciscob程度方式織女星網格是計算所的品牌c空間方式龍芯曙光織女星硬件系統運用

12、軟件系統軟件運轉效力硬件部件單機站點網格空間層次織女星網格是計算所的傘把織女星網格是計算所的傘把網格計算機的假設干關鍵問題什么是處置器？什么是存儲器？什么是外部設備？什么是公共編碼？什么是指令系統？什么是操作系統？什么是編程言語？什么是數據庫？什么是運用軟件？織女星網格的影響織女星網格團隊整個團隊目前曾經超越200人(不包括超級計算機研討),并且不斷吸收來自全球各地的研討人員.研討方向:網格操作系統(Vega GOS),計算網格,效力網格,信息網格,知識網格等國內開展網格研討最早,影響力最大的團隊之一國內5大網格,計算所織女星團隊承當了其中3個網格的研討和建立China National Gr

13、id, 國家863方案, 徐志偉研討員 China Science Grid, 國家自然科學基金, 李國杰院士China Semantic Grid, 國家973方案, 諸葛海研討員China Education Grid, 中國教育部 Shanghai Grid, 上海市政府織女星網格研討正在引起國際關注2002年10月，李國杰研討員應邀在IEEE Tencon 2002和IWADS 2002國際會議上作網格計算和織女星網格的主題報告。2002年7月，徐志偉研討員應邀在GGF-5上做大會發言，引見了織女星網格，并于2002年12月在HPC Asia 2002做主題報告。諸葛海研討員應邀擔任兩

14、個國際雜志編委，并將為Future Generation of Computer Systems擔任客座編輯“Semantic Grid專輯。徐志偉研討員應邀擔任International Journal on Grid Computing編委。International Journal of Grid ComputingEditorial Board USRuth Aydt (Illinois), Fran Berman (San Diego), Mani Chandy (CalTec), Andrew Chien (San Diego), David Culler (Berkeley),

15、Jack Dongarra (Tennessee), Ian Foster (Argonne, EIC),Jim Gray (Microsoft), Bill Johnston (Livermore), Ken Kennedy (Rice), Carl Kesselman (USC), Miron Livny (Wisconsin), Paul Messina (CalTec), Peter Steenkiste (CMU)EuropeFranck Cappello (France), Jon Crowcroft (UK), Fabrizio Gagliardi (CERN), Tony He

16、y (UK), Peter Kacsuk (Poland, EIC),Domenico Laforenza (Italy), Jarek Nabrzyski (Poland), Alexander Reinefeld (Germany), Ed Seidel (Germany)A/PDavid Abramson (Australia), Satoshi Matsuoka (Japan), Satoshi Sekiguchi (Japan), Zhiwei Xu (China)織女星網格操作系統(Vega GOS)關于網格的各種觀念Grid is evolving, no exact defin

17、ition yetThere are several popular views:The infrastructure viewThe pervasive computing viewThe world-wide computer viewThe utility-computing viewThe integration viewThe Great Global Grid viewOur view: all of the above + opportunity網格技術的本質計算技術的開展史是不斷“虛擬化的歷史。網格的本質是數字空間更高一層的虛擬化，把連在網上的各種資源看成是一臺計算機，即“網絡

18、是一臺計算機地址空間是計算機體系構造的中心內容。它的一大進展發生在60年代，產生了物理地址、有效地址、邏輯地址、虛擬地址、動態尋址技術，從而使得分時系統、交互式系統、現代操作系統變得能夠。網格把資源分成物理資源、邏輯資源和虛擬資源三個層次，不僅數據有地址，各種聯網的實物、知識、運用程序等都對應獨一的地址，大大擴展的信息技術運用的領域并減化了網格編程的難度。StorageApplicationsProcessingOperating SystemDataI/ODistributed Computing Over a Network of Heterogeneous Resources Using

19、 Open StandardsGrid ComputingVega GOS的目的本研制一套網格軟件，可以有效地支持分布在全國各地的多個網格結點，為科學計算和信息效力網格運用用戶提供一個平安、一致、好用的界面，讓他們可以從網絡恣意地方的聯網客戶機方便地運用網格的資源，實現計算、數據、軟件和組合資源的共享Vega Grid 總體思緒GR網頁P客戶端網格端Internet網頁R網頁Q網程G1網程G2網程G5網程G8網格操作系統GOS北京結點GSGR上海結點GSGR西安結點GS效力器物理資源GR網格路由器GS網格交換機社區1社區2虛擬資源映射器有效資源或效力編寫器編寫操作映射操作OGSI關鍵技術難題資

20、源的自主管理和按需共享共享資源的全局視圖聚合計算資源的透明訪問和運用大規模數據資源的虛擬化管理平安的運用環境和共享用權快速高效的運用開發運用的高效穩定運轉人機之間的大規模協同任務根本技術思緒存儲效力器網絡物理層虛擬層 封裝 注冊 映射 訪問控制 元數據 集成引擎有效利用 Vega GOS 1.0體系構造網格軟件1.0 版層次構造網格軟件1.0 版部署構造網格軟件1.0 版軟件包一個緊縮文件 ( All-in-one整體包), 集效果勞端/客戶端/支撐環境, 包括JDK 1.4.1 + patchANT 1.5.xTomcat 4.1.29GT3 Core 3.0.2GOS System Ser

21、vices (Routing, Batch, Data, DDS )GOS API Library測試證書安裝過程 1min , 解緊縮配置過程 BOClass = ?中國國家網格CNGrid中國國家網格方案九五期間863方案重點工程“國家高性能計算環境十五863艱苦專項“高性能計算機及其中心軟件艱苦專項工程周期: 2002年-2005年863方案經費1億人民幣吸引地方政府、運用部門和產業界2-3倍的配套經費CNGrid的總體目的 建立新一代國家信息根底設備實驗床中國國家網格ChinaNationalGrid，簡稱CNGrid，提供高性能計算、資源共享、協同任務的才干。在科學研討、環境資源、制

22、造業、效力業中建立假設干大型行業運用網格。研制面向網格計算，具有良好的運用開發環境的高性能計算機，配備網格結點，促進我國高性能計算機的研討和產業化。在網格體系構造、網格軟件、網格運用技術、網格效力方式、網格平安以及網格管理和運轉機制等方面突破一批關鍵技術在網格技術方面到達世界先進程度，大幅度地提高我國的綜合國力和國際競爭才干CNGrid的研討內容 研制具有每秒4萬億次運算才干、面向網格的高性能計算機建立一個具有5-7萬億次聚合計算才干的高性能計算環境即中國國家網格開發一套具有自主知識產權的網格軟件建立假設干個科學研討、經濟建立、社會開展和國防建立急需的重要運用網格構成假設干網格技術的國家規范，

23、參與制定國際規范運用網格網格軟件網格資源網格系統軟件GOS網格運用開發環境網格運用環境科學研討環境資源制造業效力業高性能計算機數據庫數據運用軟件Internet三個層次的研討任務網格實驗床環境建立 全國各地8個結點主結點中科院計算機網絡信息中心上海超級計算機中心普通結點清華大學北京運用物理所北京中國科學技術大學合肥西安交通大學西安國防科技大學長沙香港大學香港中國國家網格China National Grid HefeiXianChangshaShanghaiHong Kong網格軟件部署與試運轉網格軟件1.0 Alpha版中科院計算所BLAST，DSPBS (Dawning Scalable

24、Portable Batch System)清華大學生物計算門戶CAP3，Clustalw，Genscan香港大學OpenPBS+后端cluster計算才干網格軟件1.0 Beta版中科院計算所，清華大學，香港大學，一切網格結點單位，部分教育網格院校華中科技大學等織女星網格運用例如中科院計算所承當的信息網格工程VEGAServiceSuite工具集方式的效力網格平臺及其根底設備奧運公眾效力/應急聯動行業運用網格:鐵路/水利GIS制造業網格運用電子政務效力組合語義社區中心技術國際規范其它規范規范FLAME 2021 V1InforGridAMGrid v0.8政務可信web效力環境國家規范VEG

25、AGOS網格根底設備人防指揮中心交通指揮中心地震預告中心消防指揮中心通訊市政指揮中心公安指揮中心防汛指揮中心急救指揮中心奧運應急指揮信息網格平臺首都之窗信息平臺詳細實例一“液化了的數據應急指揮系統方案表示圖公 安應急指揮中心現場指揮官公眾醫 療效力FLAME2021交 通消 防效力中介效力管理中心網格門戶奧運信息處置平臺表示圖織女星網格的未來人機社會高性能低本錢信息系統人機社會問題的來源Jim Gray在1999年的圖靈獎獲獎演說中，指出，計算機的研討開發有三個主要的脈絡，即巴貝奇問題如何構造計算機系統、布什問題人機之間有什么關系、如何運用計算機以及圖靈問題機器智能。Vannervar Bus

26、h在1945年發表“As We May Think的經典文章后，布什問題的一個里程碑發生在1960年，利克萊德J.C.R. Licklider在IRE Transactions on Human Factors in Electronics雜志上發表了“Man-Computer Symbiosis人機共生的論文，重點研討了人與電腦的關系，即“電腦的運用方式的科學問題，得出了“人機共生的insight，引導了交互式計算技術。 人機共生的思想要點1、人機要共生。機不只是一個工具，而是人的幫手，人的同伴。現實上，人機共生論文的一個草稿的標題就是人機同伴man-computer partnership

27、。因此，不是人事先編好一個程序，讓機被動地執行一個人們事先想好的算法；而是人機之間經過延續地交互，經過探求trial-and-error，動態地建立處理問題的模型這種協作方式稱為dynamic modeling。2、人機要交互。人機之間必需有即時的、延續的、雙向通訊，使能實時command and control，實現實時協作思索，從而加強發明性。 3、人機要分工。人確定目的和動機、提出假設、問問題、提出判別準那么criteria、思索機理、過程和模型、作出判別和決策。總而言之，人的作用是引導思想過程的思緒guide the general line of thought。而機的作用那么是處置

28、執行瑣碎細節。比如，將假設轉換成可執行的模型，運用數據測試模型；回答以下問題；模擬和執行機理、過程與模型；顯示結果包括文字和圖形方式、靜態和動態方式。 人機社會的思想“人機社會的全稱是“人與計算機組成的開放社會an open society of people and computers。它不僅代表了網絡計算的科學問題，也代表了一種處理這些問題的方式paradigm和領悟insight，稱為“社會計算society computing或“社區計算community computing。歸結起來，人機社會在系統、界面和評價規范三個方面有五個特點，也就是與人機共生的五大區別，多人多機people

29、and computers、開放社會open society、深度交互sophisticated interaction、3A運用any place, any time, and on any device、全生命周期高消費率效力full lifecycle high productivity services。 理想的信息網絡系統我國信息化面臨四大挑戰：1信息化本錢高、普及率低，信息化不能有效地帶動國民經濟和社會的可繼續開展；2數字鴻溝加大，相對貧困加劇，寬廣人民群眾從信息化中獲益不多；3計算機、通訊和信息家電產品市場規模雖大但我國自有技術的奉獻小，市場依然被外國公司控制。4軍民完全隔離建網

30、,呵斥投資的宏大浪費,戰時難以保證網絡平安。 新型信息化道路我國不僅要走以信息化帶開工業化的新型工業化道路，而且在網絡與信息系統建立上要走與以往不同的新型信息化道路。新型信息化道路的特點是：低本錢降低一個數量級惠及群眾(IPV6,易用性)以人為本計算機與網絡圍著人轉資源共享的網格運用知識與資源地址化可管理、平安可信寓軍于民低本錢網絡建立道路A性能1000X，本錢1XB性能100X，本錢0.1XC性能10X，本錢0.01X)D(性能1X,本錢0.001X)15年后按MOORE定律可到達的技術/本錢“界面簡化模型1/本錢性能MOORE定律與我們的努力目的100100010100010010假定：性能正比于晶體管數，本錢正比于芯片面積另辟蹊徑，重點開展低本錢技術我國開展網絡通訊要思索國情，不能采取“美國的今天就是我們的明天的開展戰略，一定要另辟蹊徑。龍芯CPU研制的閱歷闡明我們完全有能夠研制出性能相當外國產品一半而本錢和功耗只需國外1/10的網絡效力器。建立資源共享、按需效力、平安可信、平戰結合，表達中國文化特征，以提高國民素質、促進國民經濟和社會協調開展為主要運用目的的21世紀國家公共網絡根底環境。在此根底上建成世界上最大的新一代信息網絡系統基于IPv6，使我國2020年上網用戶普及率到達50%以上(7-8億人上網)，實現像水電供應一樣的