1、云計算與大數據處理技術今天，隨著IT規模越來越大，數據規模呈幾何級數增長，已經超出了傳統 技術方法所能解決的范疇。為此，人們把目光轉向了剛剛興起的云計算， 希望通 過云計算來實施海量數據處理解決方案，實現以更小的成本來處理更大規模數據 的目標，并成為目前云計算應用所面對的極大挑戰。本課程基本思想如下：1，目前，“云計算”已經不是一個剛剛流行的時髦概念了，在一些傳統IT方法顯得無能為力的場合，云計算正在開始大展拳腳，表現了強大的解決問題的 能力，海量數據存儲與處理正是屬于這種場合。我們如何在云計算分布式環境下 正確設計大數據量數據模型？如何在設計中解決資源、效率、安全性、可靠性等一系列極難平衡的

2、問題？如何通過云計算幫助我們解決在傳統IT技術中看似解決不了的敏感問題？這些都是我們在云計算架構設計中需要深入研究的鍵問題。2，理解問題最好的方法是分析成功案例，本課程分別從多個角度分析在面 對海量數據處理的困難時，不同的應用體系是如何解決問題并獲得成功的。 研究 這些已有的體系不是目的，而是希望學員能夠通過學習這些解決問題的方法和思 路，通過歸納整理深入理解，再根據自己所面對的領域特征，形成解決具體實際 問題的方案。這也是讓云計算在海量數據處理領域真正發揮作用的有效途徑。3，云計算是一種服務，在云計算應用架構設計中，就必須考慮作為服務與 普通的產品設計有哪些不同？需要考慮的產品的服務特征有哪

3、些？如何搭建面 向不同層次、合適的服務平臺？在這個過程中，我們需要考慮哪些問題？有哪些 成功的案例？有些什么解決方案?4，云計算應用最重要的問題是安全問題。安全不是一個后期需要解決的獨 立問題，而是在前期就需要投入巨大精力來考慮的產品策略。可以說，安全性與 可用性是云計算能否順利實施與應用的關鍵點，也是云計算架構設計的關鍵因素。 我們應該如何考慮安全問題？如何解決諸如數據安全、網絡安全、主機安全、數據管理以及災難恢復等一系列問題？如何制定合適的安全性與可用性策略？在 實踐中有什么經驗和教訓？5,為了把傳統數據中心改造為基于云計算的服務系統，虛擬化是一個重要 手段。我們必須深入研究虛擬化技術是如

4、何實現的。虛擬化技術有哪幾個層面的 問題？如何正確應用虛擬化技術來實現把基礎設施向服務轉型？各種虛擬化技 術有些什么優點？有哪些陷阱？如何規劃技術解決方案？如何正確進行云計算 體系結構設計？本課程不是一個泛泛的理論性、 概念性的介紹課程，而是針對問題討論解決 方案的深入課程。教師對于上述領域有深入的理論研究與實踐經驗，在課程中將 會針對這些問題與學員一起進行研究，在關鍵點上還會搭建實驗環境進行實踐研 究，以加深對于這些解決方案的理解。 通過本課程學習，希望推動國內云計算項 目開發上升到一個新水平。云計算與大數據處理技術第一講云計算的概念與現狀1）云計算的概念2 ）云計算發展現狀3 ）云計算實現

5、機制4）云計算的發展環境5）云計算的優勢第二講從Google云計算體系，理解海量數據處理的方法1 ）如何構建海量存儲文件系統？GFS系統架構GFS容錯機制GFS系統管理技術Map Reduce產生背景Map Reduce 編程模型Map Reduce 實現機制Map Reduce案例分析2）如何提供鎖服務解決分布式數據一致性問題？Chubby的設計思路Chubby中的Paxos算法Chubby文件系統3）如何建立規模龐大的高性能表結構？BigTable設計目標BigTable系統架構BigTable服務器BigTable性能優化4）如何建立高可用性和高可擴展性的數據系統？Megastore 設

6、計目標Megastore 數據模型Megastore事務及并發控制Megastore 基本架構Dap per監控系統Dap per關鍵性技術Dapper 工具第三講從Hadoop云計算項目，進一步研究云數據處理方法1) HDFS :高可靠性處理機制及應用Hadoop 項目簡介HDFS體系結構HDFS關鍵運行機制Hadoop vs GoogleHadoop APIHadoop 環境搭建2) HBASE :龐大、極其稀疏的可擴展性數據模型Hbase簡介HBase的運行機制HBase 與 HDFSHBase的對外接口ZooKeeper的數據模型ZooKeeper的讀寫機制ZooKeeper的使用方法

7、第四講從Windows Azure，理解平臺即服務的本質1 )微軟云計算平臺2 )微軟云操作系統Windows Azure3）微軟云關系數據庫SQL Azure4）Azure AppFabric5）Azure Marketplace第五講從Amazon云計算，討論如何提供云服務1）Dynamo基礎存儲架構2）彈性計算云EC23）簡單存儲服務S34）簡單隊列服務SQS5 ）簡單數據庫服務Simple DB6 ）關系數據庫服務RDS7）內容推送服務CloudFront第六講實施云計算的關鍵點：安全策略1）云計算安全是一個必須前期重視的策略2）云計算的特征與安全挑戰3 ）云計算的安全體系與關鍵技術4）基礎架構云安全框架5 ）云計算安全平臺第七講當前數據中心如何向云計算環境轉變？1）VMware 云產品2）云管理平臺vCe nter3）vCloud Service Director4）VMware的網絡和存儲虛擬化5 ）主流商業云計算解決方案比較6）主流開源云計算系統比較7）國內代表性云計算平臺比較第八講基礎設施即服務（IaaS）關鍵實現技術1）IaaS技術體系概述2）服務器虛擬化技術CPU虛擬化內存虛擬化I/O虛擬化3 ）存儲虛擬化技術存儲系統概述存儲設備層的存儲虛擬化塊聚合層的存儲虛擬化文件/記錄層的存儲虛擬