云計算的探討和應用21234目錄5什么云計算KevinHartig：云是一個龐大的資源池，你按需購置；云是虛擬化的；云可以象自來水，電，煤氣那樣計費。JanPritzker：云計算是用戶友好的網格計算。3農村城市化開展云計算-網格計算的開展4網格計算云計算MPIMAP-Ruduce，Dryad異構資源同構資源不同機構單一機構虛擬組織虛擬機科學計算為主數據處理為主高性能服務器服務器、PC標準化無標準科學界商業應用云計算的使用方式將計算和存儲等資源以效勞的方式提供，用戶按需使用，按用量付費5云計算關鍵特征云計算-關鍵特征按需擴展和使用快速獲得效勞通過互聯網提供自助式效勞按使用量付費6云計算-交付模型PC硬件資源〔PowerPC、x86、ARM〕操作系統Linux、Windows、UNIX 開發環境C、C++、Java、Python、Perl等軟件應用運行庫〔.Net、JRE〕SaaSPaaSIaaS基于互聯網Cloud共享資源7云計算-部署模型公有云：簡單來說，公有云效勞指的是用戶通過互聯網從第三方供給商獲取的云計算效勞。私有云：私有云具備公有云計算環境的許多優點，如靈活性強、以效勞為根底等。社區云：社區云由一群共享利益〔如特定平安需求或共同目標〕的企業管理和使用。混合云：混合云是公有云和私有云的融合，且兩者可互操作。8云計算-架構9101234目錄511虛擬化領域效勞器虛擬化網絡虛擬化應用虛擬化客戶端虛擬化降低系統復雜度，提高資源利用率，動態劃分服務資源，動態部署資源池，統一管理，數據更加安全存儲虛擬化網絡容量的優化，網絡各節點優化交付模式的改變，應用能力的按需提供降低終端成本，滿足客戶動態需求概念：分布式存儲系統是分布式計算環境的根底架構之一，它把分散在網絡中的存儲資源以統一的視點呈現給用戶，簡化了用戶訪問的復雜性，加強了分布系統的可管理性，也為進一步開發分布式應用準備了條件。基于云數據中心的分布式存儲系統構建在大規模效勞器群上，面臨以下幾個挑戰：1〕效勞器等組件的失效將是正常現象，需解決系統的容錯問題；2〕提供海量數據的存儲和快速讀取；3〕多用戶同時訪問文件系統，需解決并發控制和訪問效率問題；4〕效勞器增減頻繁，需解決動態擴展問題；5〕需提供類似傳統文件系統的接口以兼容上層應用開發，支持創立、刪除、翻開、關閉、讀寫文件等常用操作。12GFS的設計理念效勞器DOWN機作為常態文件用塊存儲每個塊固定為64MB通過冗余解決可靠性問題每個塊同時拷貝在3個塊效勞器上主效勞器負責協調訪問和保存元數據簡單化的集中管理定制化的API無數據緩存較大文件塊和流式讀取使得緩存效果不佳13GFS體系結構14 對于并行編程而言，核心的問題是如何把一個大的應用程序分解成假設干可以并行處理的子程序。有兩種可能處理的方法，一種是分割計算，即把應用程序的功能分割成假設干個模塊，由網絡上多臺機器協同完成；另一種是分割數據，即把數據集分割成小塊，由網絡上的多臺計算機分別計算。目的是實現分布式計算，讓幾個物理上獨立的組件作為一個單獨的系統協同工作，這些組件可能指多個CPU，或者網絡中的多臺計算機。15復雜，很難入門如何簡單化Map/Reduce用于大規模數據并行處理數據量大〔超過1TB〕在成百上千個CPU上并行處理用戶只需實現下面接口 map(in_key,in_value)-> (out_key,intermediate_value)list reduce(out_key,intermediate_valuelist)-> out_valuelist16Catinput|grepxxx|sort|uniq–c|cat>output架構17實現原理1819分布式數據庫是對海量數據進行存儲和管理。分布式數據庫是一組結構化的數據集，邏輯上屬于同一系統，而物理上分散在用計算機網絡連接的多個場地上，并統一由一個分布式數據庫管理系統管理。與集中式或分散數據庫相比，分布式數據庫具有可靠性高、模塊擴展容易、響應延遲小、負載均衡、容錯能力強等優點。BigTable的設計理念面向網頁數據的發布、搜索和瀏覽等特定處理的需要，簡化數據管理系統的設計，并提高性能不支持關聯不支持SQL查詢簡化數據的一致性管理網頁數據的管理對一致性要求不高簡化事務管理網頁數據的處理〔搜索、發布〕對事務管理要求不高面向海量數據管理要求設計分割和合并管理機制〔基于元數據〕設計自動伸縮功能〔根據數據量調整資源用量〕20Bigtable根本架構21 在分布式系統中，對共享資源的并行操作可能會引起喪失修改、讀臟數據、不可重復讀等數據不一致問題，這時需要引入同步機制，控制進程的并發操作。2223基本架構組成：客戶端+5個效勞器〔Chubby單元〕；主效勞器機制：5個效勞器〔Chubby單元〕，只有一個主效勞器，租續期內所有的客戶請求都是由主效勞器來處理的；客戶端定位主效勞器：DNS請求。Chubby的設計目標主要有以下幾點。1〕高可用性和高可靠性。這是系統設計的首要目標，在保證這一目標的根底上再考慮系統的吞吐量和存儲能力。2〕高擴展性。將數據存儲在價格較為低廉的RAM，支持大規模用戶訪問文件。3〕支持粗粒度的建議性鎖效勞。提供這種效勞的根本目的是提高系統的性能。4〕效勞信息的直接存儲。可以直接存儲包括元數據、系統參數在內的有關效勞信息，而不需要再維護另一個效勞。5〕支持通報機制。客戶可以及時地了解到事件的發生。6〕支持緩存機制。通過一致性緩存將常用信息保存在客戶端，防止了頻繁地訪問主效勞器。24Chubby客戶端與效勞器端的通信過程251234目錄5云計算商用-開源比照26云計算開源-HadoopHadoop是Apache開源組織的一個分布式計算開源框架，在很多大型網站上都已經得到了應用，如亞馬遜、Facebook和Yahoo等等。Google的開源實現HDFS是GoogleFileSystem〔GFS〕的開源實現;MapReduce是GoogleMapReduce的開源實現;HBase是GoogleBigTable的開源實現。27云計算開源-EucalyptusEucalyptus工程〔ElasticUtilityComputingArchitectureforLinkingYourProgramsToUsefulSystems〕是AmazonEC2的一個開源實現，它與商業效勞接口兼容。和EC2一樣，Eucalyptus依賴于Linux和Xen進行操作系統虛擬化。Eucalyptus是加利福尼亞大學〔SantaBarbara〕為進行云計算研究而開發的28OpenNebula云計算開源-10genMongoDB

10gen既是一個云平臺，又是一個可下載的開放源代碼包，可用于創立您自己的私有云。10gen是類似于AppEngine的一個軟件棧，它提供與AppEngine類似的功能―但有一些不同之處。通過10gen，可以使用Python以及JavaScript和Ruby編程語言開發應用程序。該平臺還使用沙盒概念隔離應用程序，并且使用它們自己的應用效勞器的許多計算機(當然，是在

Linux上構建)提供一個可靠的環境。MongoDB是一個高性能的面向文件的開源數據存儲工程。十分容易部署，管理和使用。可以通過網絡訪問，并且由C++語言編寫。主要包含的功能特性有易存儲對象類型的數據，完全索引支持，查詢支持，復制和故障恢復支持，高效的二進制數據存儲，自動處理碎片提高云層次上的擴展性。高性能，可擴展，適當的功能使這個工程的主要設計目標。29301234目錄5電信云計算總體開展規劃初步構建包含IaaS、PaaS和AaaS的完整效勞體系。IDC信息化應用云服務PaaS開放平臺戰略合作ＳａａＳ／ＡａａＳＰａａＳＩａａＳ商務領航號百彈性存儲服務彈性計算服務切入點產品平臺開展規劃合作廠家IBM微軟微軟IBMHadoopIBMVMWareXen２００９－２０１2SaaS軟件效勞天翼軟件廣場/OneApp移動互聯網云服務內部試驗平臺SCE及開放API災備與恢復彈性大容量數據庫先試點后推廣，初步形成價值鏈；內部應用：以提升性能為目的IaaS先試點再規模開展；內部應用：以提升資源效益為主IT系統整合移動互聯網基礎設施整合外部開放平臺號百整合內部海量數據處理平臺內部應用31321234目錄5亞馬遜云計算AWS-商業應用

33彈性計算云EC2 一部具有無限采集能力的虛擬計算機，用戶能夠用來執行一些處理任務。簡單存儲效勞S3 一個很大的磁盤驅動或一個SAN。簡單數據庫效勞SimpleDB 為復雜的，結構化數據建立的，支持數據的查找、刪除、插入等操作。微軟Azure虛擬化平臺-Xen與KVM

34HadoopHDFS->GFS分布式文件系統

35HadoopHDFS->GFS分布式文件系統(read)

36HadoopHDFS->GFS分布式文件系統(write)

37HadoopHDFS操作命令38HadoopMapReduce->googleMapReduce工作流39SHELL:~>catinput|grepxxx|sort|uniq-c|cat>outputmapReduce：

Input|Map|Shuffle&Sort|Reduce|OutputInput：一個HadoopMapReduce應用通常需要提供一對通過實現合適的接口或抽象類提供的Map和Reduce函數，還應該指明輸入/輸出的位置（路徑）和其他一些運行參數。此外，此階段還會把輸入目錄下的大數據文件切分為若干獨立的數據塊。Map：MapReduce框架把應用作業的輸入看為是一組<key,value>鍵值對，在Map這個階段，框架會調用用戶自定義的Map函數處理每一個<key,value>鍵值對，生成一批新的中間<key,value>鍵值對，這兩組鍵值對的類型可能不同。Shuffle&Sort：為了保證Reduce的輸入是Map排好序的輸出。在Shuffle階段，框架通過HTTP為每個Reduce獲得所有Map輸出中與之相關的<key,value>鍵值對；而在Sort階段，框架將按照key的值對Reduce的輸入進行分組（因為不同map的輸出中可能會有相同的key）。通常Shuffle和Sort兩個階段是同時進行的，Reduce的輸入也是一邊被取回，一邊被合并的。Reduce：此階段會遍歷中間數據，對每一個唯一key，執行用戶自定義的Reduce函數（輸入參數是<key,(listofvalues)>），輸出是新的<key,value>鍵值對。Output：此階段會把Reduce輸出的結果寫入輸出目錄的文件中。這樣，一個典型的MapReduce過程就結束了。HadoopMapReduce->googleMapReduce執行過程40HadoopMapReduce->googleMapReduce并行執行41HadoopMapReduce執行例子監控42://3:50030/jobtracker.jspHadoopZooKeeper->