1、云計算環境下的資源管理研究鄒永貴 萬建斌2012-12-18 9:53:40來源：數字通信2012年第04期摘要：首先提出高性能的大規模的云計算資源是實現云計算服務的基本條件，而對龐大的資源如何進行管理和分配，是云計算服務必須解決的后繼問題。其次分析云計算資源管理主要分為數據存儲的資源管理，存儲層，基礎管理層、應用接口層和訪問層構成了云存儲系統的4層結構模型，云安全是存儲技術的重要方面，而云資源調度則包括資源發現、調度組織、調度策略、狀態評估以及對資源的再調度等。最后針對目前亟需解決的信息存儲安全、服務可靠性、大規模隱私泄露以及資源的可移植性和兼容性等問題提出了相應的資源管理技術方法。關鍵詞：

2、云計算，資源管理，云數據存儲，云資源調度0 引言云計算是由大型機構提供的基于互聯網的業務和軟件服務模式，可以為用戶構架具備IT數據處理和服務運營能力的云計算系統，提供彈性、可定制的虛擬機1、虛擬網絡與虛擬集群。在技術進步、需求引領和服務模式創新等因素的共同驅動下，云計算已得到工業界和學術界的普遍認可，已經在現實生活中形成涵蓋移動互聯網、物聯網等在內的新型創意產業，以其低成本和無處不在的應用得到迅速發展，在根本上改變人類的生活。云計算的廣泛應用注定了它必須擁有龐大的資源集群，才能滿足各種各樣的用戶需求，這樣就要面臨一個巨大的問題資源管理2。隨著資源數量的急劇增加，資源存儲和調度的任務也在實時增加

3、，如果不能實時處理好這個問題，那么網絡資源負載將會成為云計算發展的瓶頸，進而導致網絡擁塞、中斷等一系列狀況。鑒于此，只有對虛擬化資源做好管理，使資源合理、高效地分配，才能避免上述問題發生。1 云計算1.1 云計算簡介美國標準化技術委員會NIST的定義是：云計算是一個模型，這個模型可以方便地按需訪問一個可配置的計算資源(例如，網絡、服務器、存儲設備、應用程序以及服務)的公共集，這些資源可以被迅速提供并發布，同時最小化管理成本或服務商的干涉3。在該系統中，計算任務分布在大量計算機構成的資源池上，使各種應用系統能夠根據需要獲取計算資源、存儲空間資源和各種軟件服務資源。目前，公認的云計算服務形式有Sa

4、aS(軟件即服務)、PaaS(平臺即服務)和IaaS(基礎架構即服務)4-5。在此基礎上，國際IT廠商都定制了符合自身特點的云計算項目計劃：Google在2007年10月推出了“消費云”計劃；IBM在2007年8月推出了“藍云”計劃；Amazon在2007年推出了“彈性云”計劃；微軟開發了自身的云計算平臺SCOPE(structured computations optimized for parallel execution)，推出了Midori計劃；SUN推出了N計劃和Black Box計劃；Yahoo以支持開源的方式展開自己的云計算計劃。同時，國內的IT巨頭們也在積極發展云計算項目，包括

5、華為、中興、中國移動以及清華、北大等高校，都在近幾年積極籌建云計算中心，建設云計算平臺。與此同時，包括美國、中國在內的諸多國家政府也已經把云計算納入了國家戰略發展計劃。1.2 云計算的特征云計算的出現代表著計算能力也能作為一種商品通過互聯網傳輸并進行流通，服務商將計算、服務和應用作為一種公共設施提供給用戶。云計算之所以具有這樣的能力，是由以下的幾個核心特征所決定的6。首先是虛擬化資源的集群化和資源池化。在云計算環境中，云計算資源管理中心將分布在世界各地，從個人PC到超級計算機等多種類型的資源集合起來進行調度。其次是以互聯網絡為基礎為用戶提供服務。用戶可以隨時隨地通過網絡使用云計算服務提供的各種

6、計算資源和能力，在基礎架構層面、平臺層面以及具體的應用層面獲得個性化的服務。再次是服務提供的自適應和靈活性。通過云服務，用戶按需獲得一定的虛擬資源和計算能力，而非購買、保存和維護特定的IT硬件或者軟件產品。最后是服務透明化，資源虛擬化。用戶在使用服務時不需要知道云內部資源的具體架構、服務模式和地理位置，只需和服務商交互就可以獲取資源。在云計算中，管理過程和計算過程都在邏輯的虛擬計算資源上完成，不用考慮實際環境中的物理資源的區別，更加易于管理和分配。1.3 身邊的云計算“隨風潛入夜，潤物細無聲”，這句話形象地詮釋了云計算對整個社會的影響。這一技術名詞隨著科技的發展已經滲透到了生活的方方面面。用戶

7、只需接入互聯網，就可以通過電腦、手機等終端設備，在任何地點方便快捷地處理數據和享受服務。對于政府部門，“政府云”可以把海量數據放在云環境中作為無形資產進行統一有效的管理，建立部門間的政務信息化和業務協同的平臺；可以為群眾提供信息公示、稅收、意見咨詢等民生服務。在醫療行業，“醫療云”可以使病歷共享，醫生共享，設施共享，能有效地減少醫院設施和資源的浪費，提高醫療保健的質量，為患者提供更加有效的診療服務。對于商業用戶，云辦公、云會議、云打印、云電腦和云瀏覽器可以幫助企業避免本地建設和維護。管理者可以快速高效地與全球各地團隊及用戶交流合作，員工可以在線辦公，無線打印，快速完成工作并提交。云手機、云電視

8、、云翻譯、云廚房為普通用戶的生活提供了更多的選擇和服務。2 云計算的資源管理從概念上來看，作為一種分布式計算，云計算可以通過互聯網將超大規模的計算能力與資源整合起來，并以可信服務的形式按需提供給用戶。因此，高性能的云計算資源是實現云計算服務的基本條件。而對如此多的資源進行管理和分配，則是云計算服務必須解決的關鍵問題。2.1 云計算資源管理簡介云計算的資源管理工作就是接受用戶的資源請求，并把特定的資源分配給資源的請求者，主要包括數據存儲和資源管理2方面的內容。通常，云計算的數據大都采用分布式來進行管理和存儲，其目的是為了保證云資源數據的高可靠性和高可用性。采用冗余存儲方式保證存儲數據的可靠性，是

9、云存儲和一般性數據存儲的相似之處，可以有效保證數據的安全。但同時，為了滿足眾多用戶的需求，為用戶提供個性化的服務，云計算需要具備高吞吐率的數據存儲技術，而分布式的存儲方式正好滿足了云計算的這一需求。目前，常用的云存儲技術主要包括Hadoop團隊開發的對于GFS的開源實現HDFS和Google公司開發的非開源體系GFS。Interl、雅虎和阿里巴巴等眾多IT廠商都選擇使用HDFS的數據存儲技術。對于數量龐大，分布性強，并且是動態變化的虛擬化資源，云計算采用何種資源調度策略進行組織和調度，解決資源的自動調節和負載均衡等問題，對于充分利用資源，發揮云計算的優勢具有重要的意義。2.2 云存儲管理云存儲

10、是云計算管理的核心技術之一，涉及到云計算內部的機器組織，云存儲的架構、安全、容災、資源模型、分發協議等。通常來說，存儲層、基礎管理層、應用接口層和訪問層構成了云存儲系統的4層結構模型，如圖1所示。云存儲最基礎的部分是存儲層，包括物理存儲設備和連接設備。該層之上是一個存儲設備管理系統，用于實現物理設備的邏輯虛擬化、鏈路管理、狀態監控和故障維護等。基礎管理層是云存儲最核心的部分，使用的技術包括集群、分布式文件系統和網格計算等。該層的主要功能是使多個的存儲設備協同對外提供同一種服務，并為用戶提供更強大高效的數據訪問性能。云存儲最靈活多變的部分是應用接口層，不同的服務商可以根據實際業務類型，開發不同的

11、應用服務接口，提供不同的應用服務。最后，訪問層是提供給用戶來登錄云存儲系統，享受云存儲服務的。不同的服務商提供的云存儲訪問類型和訪問手段也不同。圖1 云存儲的4層模型云存儲的架構方法有通過服務架構和通過軟件或硬件設備架構的這2種，用戶根據自身的需要進行選擇。服務架構的擴展性強，但是受帶寬的限制，異地備份數據的更新有時不一定能滿足實時要求；硬件架構雖然提供了更高的吞吐量，但是要受到摩爾定律的限制；軟件架構不僅具有硬件架構的優勢，并且其價格更為低廉，但是部分管理/安裝過程較為復雜。具體實施的2種常見架構類型包括緊耦合對稱架構(TCS)和松弛耦合架構(LCA)。構建TCS系統是為了解決單一文件性能所

12、面臨的挑戰，很多節點同時伴隨著分布式鎖管理(鎖定文件不同部分的寫操作)和緩存一致性功能；而LCA系統是利用一個數據路徑之外的中央元數據控制服務器實行集中控制。作為云存儲技術的重要方面，“云安全”的實質是通過安全廠商自建的數據中心這個“云”與位于用戶的用戶端相互合作，提供安全和防護措施。對于用戶訪問Web內容進行防護的具體操作流程是用戶在訪問網頁之前，先與“云”取得聯系，通過“云”對互聯網進行掃描，對有害網頁進行標記。如果網頁安全就順利訪問，否則就終止行為。同時，云存儲供應商必須有切實的災難恢復計劃，防止主數據中心發生系統死機。另外，通過高性能、大容量的云存儲系統和遠程數據備份軟件，服務商可以為

13、用戶提供空間租賃和備份業務租賃服務。2.3 云資源調度云計算的資源眾多，資源管理機制也應從邏輯上將這些資源耦合成單個的集成資源后提供給用戶。因此，云計算資源管理的有效性很大程度上取決于資源調度系統。云資源調度，包括資源發現、調度組織、調度策略、狀態評估以及對資源的再調度等。對于云計算資源的調度結構可以分為層次式、集中式、分布式和計算經濟型等。在層次式的調度結構中有中心調度程序，作業被提交到中心調度程序上，然后不同層次的作業獨立請求完成調度工作。這種結構本地和全局的作業調度因地制宜地采用不同的調度策略。在集中式調度模型中，所有的可用系統的相關信息都被集中在該中心機上，所有資源都由中央調度程序進行

14、調度?；诩惺胶蛯哟问降馁Y源管理系統擴展性差，難以應對新型大規模應用的需求。而在分布式系統中，沒有中央調度程序來負責作業的調度工作，僅通過調度程序的交互作用，將作業提交到遠程的工作系統中，這樣，單個組建的失效則無法影響到整個云計算系統，使系統的可靠性和容錯率更高。但是，一個并行程序的其他部分就有可能被分配在不同域的資源上。要做到不同的調度程序同步作業且同步運行，就增加了調度系統的調度難度，難以處理高并發度的資源調度請求和高頻率的資源更新。計算經濟型的調度模型能夠調節自身供求的矛盾，做出的資源調度策略的過程被廣泛地分布在所用的資源擁有者身上，使調度系統做到了以用戶為中心7-8。用戶就能夠根據自

15、己的需求以最小的代價獲得最好的性能。云計算的資源在空間是分布的，而本質則是異構的，且各個管理域和組織都有不同的資源管理策略和訪問代價模型，所以，必須要解決云計算的資源存儲架構問題，完善安全和容錯機制，妥善解決調度策略等問題，才能真正發揮云計算的作用。3 需要解決的問題云計算環境下的云服務、云共享都是虛擬資源共享視角下的相關內容，隨著產業的不斷發展所面臨的問題也越來越多。這些挑戰包括數據存儲的安全性和可靠性亟需提升，用戶對隱私保護的擔憂以及技術標準的定義不統一和跨平臺帶來的資源服務的定制成本。3.1 云環境下信息存儲的安全云環境的安全性包括資源使用和存儲的身份認證、權限管理、通信安全、系統監測等

16、內容。雖然采用了虛擬化技術、監測技術及其他安全措施來保證共享和服務的質量，但安全問題始終是最讓人們擔憂的。而數據安全問題主要源于人們缺乏對安全的認知和資源的控制。因此，服務商必須在安全保障方面對用戶進行相關技術普及和支持，如嚴格的訪問控制、數據備份、防止外部入侵的防火墻技術和防止數據篡改的數據加密技術等。同時，要對用戶進行充分交互，將一部分資源的控制權轉移給用戶，用戶也可以對自己的機密數據進行加密管理。對用戶來說，擁有對資源的部分控制權，可以獲得安全感；對服務商來講，用戶也必須負責數據的安全，一定程度上分攤了服務商對數據安全責任的風險。3.2 云平臺提供服務的可靠性云平臺的可靠性包括系統的可信

17、性、可用性、持續性、故障恢復時間和接入速度等一系列的保障。云服務的可靠性在技術領域備受爭議，Amazon的EC2和S3近幾年多次遭受服務中斷的困擾，Google開發的App Engine、微軟推出的Azure和S等，都出現過不同程度的故障，甚至一度被迫中斷服務?？煽啃灾苯雨P系到用戶使用資源和服務的質量乃至服務商的發展問題。服務商必須針對系統的漏洞和脆弱性，對系統進行脆弱性評估以更有效的開發緩解程序。要在服務進行的同時，不斷進行補丁程序和系統程序等的更新，以便逐步地降低系統風險。脆弱性管理應與發現管理、補丁管理和更新管理整合在一起，實時更新和完善，做到未雨綢繆。對性能方面的問題可將結構和操作系統

18、改善為有效的虛擬中斷服務和I/O頻道，也可以使用閃存(半導體內存，當中斷服務時還可以像硬盤一樣提供信息)來降低I/O中斷服務的次數。服務商要能提供云存儲服務，以便各應用的上下文能以分布式的形式安全、高效地存儲在云中，一旦出現故障，就可以迅速地切換服務端，實現故障對于用戶的透明化，提高系統的可靠性。對用戶來說，可以通過同時使用多個服務商的服務來降低某服務商服務不可靠給自己帶來的影響。3.3 云環境下大規模隱私泄露的危險更廣泛的意義上，云計算實現了資源在不同角色之間的共享和流動，但也給個人身份信息的保護帶來了極大的挑戰。據調查，75%的被調查者(CIO或CEO)都擔心數據的泄露問題。用戶使用云計算

19、功能在線存儲的文檔、影像等文件涉及商業秘密、個人隱私等多重權利。這些文件被存儲于云端也就是服務器端。如果用戶的密碼被盜，則可能發生商業秘密失竊、隱私曝光等大量問題，而相關數據可能會被服務商利用，進行數據分析、數據挖掘甚至于倒賣，造成用戶的損失。因而，在隱私保護問題上：一方面，服務商和用戶在提供服務時需要明確的隱私保護協議，確定數據的保護等級，用相應的技術手段來保護數據隱私；另一方面服務商要盡可能提供完備的技術手段對數據進行保護。比如，在信息處理和存儲之前，將信息的內容和格式分離，對其使用不同的算法進行加密傳輸，不僅降低了信息被截獲的可能性，也增加了信息破解的難度。3.4 跨平臺云資源的可移植性

20、和兼容性隨著越來越多的國家和企業進入云計算領域，面對眾多的操作系統和數據平臺，資源和服務的可移植性和兼容性就顯得越來越重要。IBM，Google，Amazon，Salesforce，微軟和思科等多家巨頭都在推出自己的云計算標準，從而使多家廠商的應用程序都出現了兼容性的難題。目前雖然很多廠商都有云計算相關產品和解決方案推出，但缺乏一個統一的云計算標準，各產品在互操作上也難以兼容。這對用戶在不同的共享模式或類型中使用數據和應用程序造成了極大的限制。因而，制定行業標準，或為與系統和網絡相關的問題尋求行業解決方案的需要也越來越迫切了。標準化的制定包括資源和服務在不同的云間移植、互操作或協作共享時所涉及

21、到的數據或接口標準、協議和格式等。云標準的建立需要政府和企業做出共同的努力。只有采用開放的標準和開源的平臺，以云計算為基礎，建立非專有型的創新合作組織，才能為云計算的快速持續發展提供動力。只有在云計算廣泛的兼容性和可移植標準下，云計算技術才會在生活中得到更廣泛的應用。4 結束語在云計算技術的推動下，網絡、服務器、存儲和應用服務等資源有效聚合，形成共享資源池，實現了資源的動態分配和釋放。而基于云平臺提供的服務實現了計算資源在廣度上超越地域界限，深度上從軟件到平臺的共享，從而避免了大量資源閑置產生的浪費。業界需要針對目前的挑戰，創新技術、創造模式、開放思維，挖掘云計算發展大潮中的機遇，為用戶提供更加方便快捷、安全可靠的云服務，使云計算在社會發展中發揮更大的作用。參考文獻：1懷進鵬，李沁，胡春明.基于虛擬機的虛擬計算環境研