




版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領
文檔簡介
管理信息化VR虛擬現實轉載最具有權威性的虛擬盤終極講義連載[轉載]最具有權威性的虛擬盤終極教程連載[天若有情]說到虛擬盤本身,相信很多的網管兄弟已經熟的不再熟了,現在的網吧,幾乎每個網吧都會使用虛擬盤,但是如何用好虛擬盤,把虛擬盤真正的實力發揮出來呢?據我到全國各地網吧觀察到的情況,其實能達到理想效果的網吧仍然是非常少見的.我本人從2001年開始進入網吧直到現在.弄過的網吧也有幾十家了,現在雖然因為工作太忙,網吧不太去了,但是還管著一大一小兩家網吧,琢磨這些東西也能有點年頭了,有一些小小的心得,丟出來和大家一起探討一下,認為我說的有道理,就給點掌聲,認為我在胡扯,那就丟點爛西瓜臭雞蛋什么的.也許有些觀念和您以前的認知完全相反,也許你完全不能認同我的觀點,沒有關系,大家一起來討論吧!第一篇:<虛擬盤的價值>所有的網吧工具和軟件,都是為網吧管理而服務的,并最終為網吧生意服務.我們網管在使用這些網維軟件,應該時刻都要記得,我們不僅僅要讓網吧能夠正常運轉,最終是要讓網吧的生意變得更好.怎樣讓網吧生意更好,這里的原因和手段太多了,我不是來講網吧經營的,我就僅僅從技術角度來看,咱們網管可以為網吧的生意做些什么:1)穩定(網吧的根本,沒什么可說的)2)快(讓顧客爽)3)多(滿足各種顧客的需求)4)好(游戲優化,更新及時)5)省(給老板省點錢,省錢就是賺錢呀)滿足這5大要素的網吧,基本上技術就到極致了.剩下的就是技術外的問題了.這5大要素當中,我們如何去做呢?我的答案非常簡單,弄好你的虛擬盤,把所有的游戲都放在虛擬盤上,本地的硬盤就只放個系統就可以了.相信很多人要問了,這樣真的可以嗎?速度夠嗎?帶的起嗎?我可以很明確的回答:完全可以!一臺5千元的服務器就可以帶150臺,一臺1萬元的服務器可以帶300臺,一臺2萬的服務器幾乎可以帶上一千臺,不但可以帶的起,而且還比本地硬盤還要快的多的多!這樣的做法有很多的好處,我總結了以下十大優點:1)無人值守自動更新游戲,無需推送到客戶端,無需額外管理2)好的虛擬盤,可以達到幾乎無限的速度,完全突破系統的瓶頸,遠比本地硬盤快的多.到底有多快,我在后面就會說明.3)容量擴展將變的更加簡單,現在1.5T的硬盤也就8xx元,弄2個裝上,代價不過16xx元而已,3T的游戲空間啥游戲不能裝?4)玩家啟動游戲沒有更新過程,完全無需等待5)不會出現因為磁盤空間不足導致的游戲誤刪除,不怕游戲強推6)大幅度減少磁盤掃描現象,E盤掃描可以杜絕7)客戶機方便部署,只需要GHOST系統盤8)只要服務器管理得當,游戲分區不再有病毒問題9)方案同樣適用于所有的無盤,讓無盤只負責C盤和回寫,游戲完全交給虛擬盤來進行管理,既減少了無盤服務器的負載壓力,又方便而易于部署10)其實,弄個好的虛擬盤服務器并不貴,平均攤到每客戶機成本還不到50元,網吧如果舊硬盤不更新的話,硬盤上省下的錢遠不止這點.明白了這些好處,接下來的問題就是如何去用好虛擬盤.我的文章會從以下幾個方面展開:1)一些基礎的知識2)硬盤的基本原理和性能分析3)虛擬盤的性能分析4)虛擬盤的負載能力5)虛擬盤在網吧中的實際應用6)典型案例和推薦方案7)一些問題這個"系統+虛擬盤"的方案,它并不是一個新鮮的概念,曾經有許多人也做過積極的嘗試,有
部分人很成功,而更多的人,因為無法解決高負載情況下的服務器性能問題,而放棄嘗試.問
題在哪里呢?我在后面要講解的,就是這些成功的秘訣.好了言歸正傳,今天繼續開講,先來說一些最基本的東西.第一個問題,網吧怎樣算卡,怎樣算不卡,達到什么樣的條件才不會卡?這個問題看起來非常的白癡,但是真的要是去問問我們的網管,可能問100個人就會有99種說法,仔細想想,這個問題真的那么簡單嗎?其實造成卡的因素非常的多,外網延遲高,內網不穩定,CPU,顯卡太差,內存不足等等.今天我們這里只討論磁盤和虛擬盤的問題,磁盤或者虛擬盤造成的卡,是和寫入或者讀取的速度有關的,在游戲運行過程中,速度降低到多少才會出現較為明顯的停頓呢?這個因不同的游戲而異.但是基本的,我可以提供一個參考數值:1MB/S!啟動游戲時,1MB/S的速度估計會慢的讓人很郁悶,但是對大多數游戲來說,只要進了游戲以后,如果任何時候都能滿足1MB/S的讀寫速度,游戲就可以運行的很流暢.在服務器上觀察客戶機的讀寫,幾乎90%以上的客戶機平時讀寫數據都是0,偶爾讀一點,也是128K,256K這樣
的流量,.不信的話,你可以認真的觀察一下服務器的情況.很多百M內網的網吧里,在虛擬盤服務器上運行游戲,除了啟動略慢一些,游戲過程中依然可以很流暢的.對有盤的網吧來說,在本地運行的游戲要達到1MB/S的標準實在太容易了,所以有盤網吧里硬盤導致的卡是很罕見的,往往是其他的原因才會出現卡的情況.但是對無盤網吧來說,情況要糟糕一些,事實上很多無盤網吧都容易出現卡機現象,原因是無盤服務器回寫的壓力是非常大的,回寫的文件多半細碎而且難以緩存,所以服務器硬盤常常處于負荷的極限,這種情況下是很容易卡的.我這里并不是說無盤不好,只是因為很多代理商施工的時候為了追求利潤或者追求高帶機量,讓服務器帶了過多的客戶機,這樣回寫的壓力是非常大的,很多人都對服務器性能過于樂觀了.再來說說快和慢的問題,到底磁盤要多快才夠呢?我們在瘋狂的做RAID0的時候,測到200-300M/S的速度的時候,也許自己還不是很滿意,還想能不能再快一些,快到400M甚至500M,可是事實上我們需要那么快嗎?我們來做一些簡單的分析.我們的測試客戶機是這樣的:CPU酷睿2200顯卡9600GT內存2G這樣的機器是去年下半年網吧比較典型的配置.這樣的機器,在讀取硬盤數據的時候需要多少的速度才能滿足要求?才能不成為系統的瓶頸?我們使用一個固態硬盤作為參照----OCZ的一個32G的固態硬盤來做測試,這樣硬盤不會成為系統的瓶頸,CPU和顯卡的處理速度才是系統的瓶頸.測試結果是:WINDOWSXP一般啟動一次大概要讀取250M左右的數據,最高啟動速度為30M左右
魔獸世界進入到游戲畫面,所有讀取的數據大概為300M左右,最高的讀取速度不到30M.
我們隨后又測試了多款游戲,大部分的游戲啟動,都不超過25M/S.
隨后我們用PCMARK05進行測試,結果如下:1.jpg(53.12KB)2009-9-2410:01(圖2-1:PCMARK05測試OCZ固態硬盤)如圖所示,模擬啟動XP的速度為27MB/S,模擬程序載入時23MB/S,普通應用18MB/S,只有做模擬病毒掃描時才達到104MB/S.初步的結論:我們這樣的機器,對數據的需求最高不超過30M,在絕大多數時候,數據流量在10M以下,那么幾百MB/S的硬盤是我們需要的嗎?不不,事情絕對不是那么簡單的,硬盤中還隱藏著很多不為大家所熟知的秘密,下一節我會用非常大的篇幅來仔細的討論這個課題.接下來我們說說負載問題,對虛擬盤服務器來說,怎樣算帶的起,怎樣算帶不起?我的方法也很簡單,找出虛擬盤服務器整個系統中最薄弱的環節,仔細測量薄弱環節的性能和能力,按照客戶機平均讀取流量,計算服務器能負載的極限值,然后,為服務器留出3-5倍的性能余量.這樣基本上就是帶的起了.有很多種方法可以測量服務器的負載情況,如果你對自己服務器的性能掌握不太清楚的話,可以自行監測一下.多數虛擬盤服務器的瓶頸都在于硬盤,我這里提供一個簡單的監控硬盤性能的方法.在服務器上打開開始à程序à管理工具à性能.2.jpg(43.36KB)2009-9-2410:01(圖2-2:WINDOWS自帶性能監視工具)然后選擇計數器日志,新建一個磁盤監控的任務,再添加一個計數器,選擇硬盤(physicaldisk),選擇你要監控的磁盤分區,然后從列表選擇計數器:%disktime,然后將時間周期設定為1秒,這樣,系統會每一秒鐘記錄一次磁盤的運作情況,輸出為csv格式,可以直接用excel打開分析.如下圖:3.jpg(75.73KB)2009-9-2410:01(圖2-3:用WINDOWS自帶性能監視工具記錄服務器狀態)這里解釋一下什么叫%disktime,詞可翻譯為磁盤工作時間的百分比,輸出的數值多半為5.x,86.x,264.x,對應的意思是:這一秒鐘有磁盤有5%的時間在工作,86%的時間在工作,264的意思是工作需要2.64秒才能完成,對這秒鐘來說,磁盤已經遠遠的超過了負荷,就有可能會卡了.這個數值100%為磁盤滿負荷,小于100%,就是未滿負荷,大于100%,就是超過磁盤的承受能力.
用這個計數器可以無限的記錄下去,在你網吧人最多的時間,找一段數據出來分析一下,你就
會知道你的服務器到底負荷怎樣.我舉一個例子吧,下面這段數據是某網吧虛擬盤服務器在8月8日晚上20:00~22:00點之間記錄的,這個網吧當時約90人,所有的游戲都放在該服務器上的該硬盤上(一個1.5T的希捷11代硬盤).我用execl分析成圖表如下:4.jpg(52.49KB)2009-9-2410:01(圖2-3:某網吧虛擬盤服務器高峰時段的硬盤讀寫時間圖)分析整整2小時的數據,我將讀寫時間從高到低進行排列,最忙的那一秒鐘在8月8號的
20:53分,負荷達到了95%左右.從整個橫線的比例來說,1%不到的時間,硬盤的負荷在90%~30%之間.大概有2%左右的時間,硬盤的負荷在30%~10之間其他大概97%左右的時間,硬盤僅僅工作在10%的負荷之內.這是很理想的情況,這種負載下,服務器是真的帶的起,帶的輕松.負載的客戶機再增加5倍都沒什么問題.這里還要補充一下,并非硬盤達到100%以上客戶機就會卡,在100%那一刻,沒有去讀數據的
客戶機不會卡,就算去讀的客戶機也不一定會卡,因為數據的需求量并不一定是那么大的,而
且,1秒很快就過去了,就算數據受阻,一般也未必感覺的到,但是!經常性長期性的超過100%,
那就總有碰到卡的時候.歡迎大家自查自己的服務器,很期待看到大家貼出自己服務器的硬盤負載圖.
下一節:硬盤中的驚天大秘密!既然要談論虛擬盤,那我們就先從硬盤開始說起目前市面上可以買到的硬盤大體分為三種:1.普通的sata硬盤,最為常見,性能一般,轉速7200轉,容量從80G-2000G不等,價格低廉.
無需專用接口,一般主板都支持.2.高級一些的SAS硬盤,屬于服務器配件,需要專門的SAS接口,這種接口在高端的服務器主
板上才會有,普通的主板要用sas硬盤的話,可以買專門的sas接口RAID卡.價錢較貴,一般
147G的硬盤就要1K多了,速度比普通sata硬盤要快一些.3.新型的固態硬盤,也稱為SSD,這種硬盤使用flash進行存儲,沒有機械結構,最大的優點是
尋道時間非常低,現在最快的SSD,已經可以達到250M的讀取速度,200M的寫入速度,性能全
面超過以前的老式硬盤,缺點是容量太小,價錢較高.一般120G的SSD就要賣到2-3K了.固
態硬盤目前比較多使用在高級的服務器上,部分高端的筆記本也會使用一些SSD.
第一部分:普通的SATA硬盤:硬盤的工作原理,可以從這段視頻中清晰的看到6.zCTB6Fmc2HGRPxko/v.swf這段視頻展示了我們在刪除,復制粘貼,快速格式化時,磁頭的相應工作情況,印象最深的是磁頭瘋狂擺動的樣子.我們先來了解一些硬盤的基本概念,如圖是硬盤的盤片的示意圖:1.jpg(57.57KB)2009-9-2410:08(圖3-1:硬盤中的盤片示意圖)磁道磁盤在格式化時被劃分成許多同心圓,這些同心圓軌跡叫做磁道(Track0開始順序編號。信息以脈沖串的形式記錄在這些軌跡中,這些同心圓不是連續記錄數據,而是被劃分成一段段的圓弧,每段圓弧叫做一個扇區,扇區從開始編號,每個扇區中的數據作為一個單元同時讀出或寫入。一個標準的3.5in硬盤盤面通常有幾百到幾千條磁道。磁道是“看不見的,只是盤面上以特殊形式磁化了的一些磁化區,在磁盤格式化時就已規劃完畢。扇區操作系統以扇區(Sector512個字節的數據和一柱面號)以及扇區在磁道上的位置即扇區號。簇簇就是更大的扇區,它可以是一個扇區、也可以是2個、4個、8個等等,它究竟有多大是存空間。比如鏃是64K,那么那怕只有一個字節的文檔,也會占用64K的空間,對于QQGAME之類的小文件極多的游戲,浪費的空間是很大的.簇就是我們在格式化的時候,可以選擇的區塊大小,從512B---128K不等,如果我們選擇比較大的簇,空間會比較浪費,但是虛擬盤出盤的流量會大為減少.如下圖:2.jpg(50.94KB)2009-9-2410:08(圖3-2:虛擬盤出盤數據量)這是個1.5的硬盤,幾乎裝滿了游戲,但是出盤僅僅只要讀取3M數據,這個分區是用64KB為
單位進行格式化的,如果使用32KB的簇,那么出盤流量就會變成2倍:6M,如果使用默認的方
式格式化(512B),那么出盤的流量就會達到300多M,這樣的數據是很恐怖的,對分區硬盤大
的的服務器會導致出盤的效率極度低下.來看看這么一張截圖,是用HDTUNE測試硬盤基準測試:3.jpg(70.45KB)2009-9-2410:08(圖3-3:HDTUNE文件基準測試圖)對一個硬盤分別采用從512B,1K,2K…8M等從小到大的不同區塊大小,進行測試讀寫速度,總的速度來看是逐漸升高的,到64K以后,就基本持平了,對于過小的區塊大小,磁盤讀取后數據的處理時間還趕不上磁頭讀取的速度,因此小區塊造成的速度衰減是非常明顯的,我們在后面的測試當中,大部分都基于64K的區塊,這樣反應的數據比較有價值.1M,8M這樣的區塊大小我不會在測試中采用,對真實應用的指導性不大,因為我們一般的虛擬盤都是基于
512B-64K之間的大小來進行格式化的.區塊大小對于虛擬盤的測試會產生非常大的數據偏差.在客戶機上測試網維大師的虛擬盤,
用512K區塊時,可以達到90M以上的讀取速度,但是在64K時,只有55M的讀取速度.常常在
論壇上看見很多比拼虛擬盤或者無盤的讀取速度,很多人都沒有注意這個區塊大小的問題,
不同區塊大小造成的測試結果偏差導致很多比拼失去了公平的意義.?平均尋道時間(Averageseektime):指硬盤在盤面上移動讀寫頭至指定磁道尋找相應目標
數據所用的時間,它描述硬盤讀取數據的能力,單位為毫秒。尋道時間和這幾個因素有關:
盤片大小,磁頭移動速度.?平均潛伏時間(Averagelatencytime):指當磁頭移動到數據所在的磁道后,然后等待所要
的數據塊繼續轉動到磁頭下的時間,一般在2ms-6ms之間。潛伏時間和盤片轉速關系最大.
?平均訪問時間(Averageaccesstime)均訪問時間越好,7200轉的SATA硬盤一般在11ms-18ms之間,典型的15000轉SAS硬盤一般
在5ms-8ms之間.現在,一般在說的平均尋道時間往往指的就是指平均訪問時間,我們在后面
也用平均尋道時間來代表這個平均訪問時間.Sata硬盤的性能取決于2大指標:一是硬盤的轉速,轉速越高性能越好,一般的sata硬盤轉速都是7200轉,也有少量的5400
轉產品,多用在筆記本上,西數還有一種特別的迅猛龍硬盤,是一萬轉的,盤片是2.5寸的,比
普通硬盤的3.5寸盤片小很多,轉速高,盤片小,使得迅猛龍硬盤在尋道時間上比普通硬盤縮
短了近一倍的時間,實際性能已經很接近于sas硬盤了.,二是磁盤的單碟容量.存儲密度的提高對性能提升是很有好處的,在磁頭劃過同樣的距離時,
密度越高的磁盤,讀取的速度自然越多.這點對順序讀取的性能提升尤其非常明顯.
普通的硬盤有多快呢?我們先看一個截圖:4.jpg(76.76KB)2009-9-2410:08(圖3-4:HDTUNE測試希捷11代盤順序讀取)硬盤是希捷11代的1.5硬盤,單碟容量500G,是當今最快的SATA硬盤之一.(因為測試的時候服務器還在提供負載,所以曲線不是很平滑).這個測試顯示的是硬盤連續讀取的狀態.使用的工具是HD-TUNEPRO3.50版本.從這個圖看,該硬盤的外圈速度已經達120MB/S以上,速度應該是非常理想了,但是我們來看另一個測試:5.jpg(70.85KB)2009-9-2410:08(圖3-5:HDTUNE測試希捷11代盤隨機讀取)還是那個硬盤,這次我們測試的是隨機讀取的速度,在硬盤中隨機選取N個小點,每個小點代表64K的數據.和上面連續讀取的條件一樣,都是讀取64K的區塊,結果速度降到了3.577MB/S,相差了近30倍.為什么有如此大的差異呢?因為硬盤的性能指標中,讀取數據的性能遠大于尋找數據的性能.讀取一個64K的數據,硬盤只需要1/2000秒,也就是0.5MS(毫秒)但是要找到這個64K的數據,硬盤需要花費1/57秒的時間,也就是17MS.
這兩個性能相差了30多倍.如果硬盤花在讀取數據上的比例多,性能就會很好,如果硬盤花
在尋找數據的比例多,那性能就會變的非常糟糕.那么,在實際應用當中,哪個數據更有參考意義呢?我的結論是硬盤的隨機讀取速度才代表硬盤的真正速度,因為實際在網吧里的應用大部分都
是隨機讀取的過程,為什么這么說呢?原因有以下幾點:1)客戶機上的硬盤很難將文件排列整齊,隨著硬盤滿了刪,刪了寫,滿了又刪,長久以往,硬盤
上的游戲難以按順序排列,而且碎片很多,而網吧的環境又很難常常去整理硬盤,如果不幸用
的是300G以上的硬盤,那整理的過程是會讓人崩潰的.2)就算是初次刻盤,將文件都好好的排好了,也不會是連續讀取,因為基本沒什么游戲會對硬
盤的讀取順序進行優化,多數的游戲里面文件排列的規則都是按照開發人員易于管理的方式
進行排列,比如素材這類的放在一起,地圖這類的放在另一個文件夾里,人物的畫面又放在其
他文件夾里等等,這樣的游戲在讀取的時候,必然是地圖要讀,素材要讀,界面要讀,人物圖片
要讀,這必然是”隨機讀取”的過程.3)對硬盤來說,就算是讀取連續文件,但是如果存在2個或者2個以上的讀取線程,那就馬上
變成隨機讀取了,硬盤的磁頭會不停的移動,一會去內圈為A進程讀取,馬上又去外圈為B進
程讀取.在XP開機剛進桌面的時候,因為進程很多,這時候磁盤速度會變的奇慢無比.
4)隨機讀取的衰減是非常驚人的,100%的順序讀取很罕見,多半都是部分是順序的,部分是隨機的,只要有少量的隨機讀取的比例,磁盤的性能就會急速的衰減.說了這么多,很多朋友肯定還是不信,那么我們來看看真實的數據吧.6.jpg(65.28KB)2009-9-2410:10(圖3-6:PCMARK測試intelSSD和希捷11代盤)這個圖是天極網做過的一個評測,用最愛生活愛順網的機器(愛妻+愛生活愛順網顯卡),再超頻到極限以后測試的結果,以盡可能好的機器來挖掘硬盤的潛力.分別用INTEL的固態硬盤和希捷11代盤來測試PCMARKVANTAGE.顯示的數值是2個硬盤在運
行不同的測試項目時讀取硬盤的平均速度.INTLE的固態硬盤是當今最快的固態硬盤之一,讀取速度達到250MB/S,寫入速度也能達到200MB/S以上,而且固態硬盤的特質就是隨機性能和順序讀取性能相差無幾.仔細看看這個圖,是很有啟發的,我們來看Gameing這一項(第3行),在運行游戲項目的時候,固態硬盤讀取的平均速度是95MB/S,而普通硬盤只有10.5MB/S.在SSD的測試當中,硬盤不是系統的瓶頸,瓶頸是機器本身的處理性能,包括cpu和顯卡,這說明這個系統的處理能力是95MB/S.在SATA硬盤的測試當中,雖然系統能達到95MB/S的處理能力,但是硬盤只能輸出10.5MB/S.這說明了,這個測試中,硬盤只能達到10.5MB/S的讀取速度.因為PCMARKVANTAGE只能在VISTA上運行,因此我們沒有去復現這個測試,基于XP,我們用PCMARK05做了以下的對比測試:7.jpg(52.13KB)2009-9-2410:10(圖3-7:PCMARK05測試OCZ的SSD)這個圖是上一節出現過的,采用網吧內普通的機器測試,這個OCZ的固態硬盤是去年夏天購買的,是OCZ第一代的SSD,采用JB的控制芯片.對比一下希捷硬盤的測試結果:8.jpg(50.23KB)2009-9-2410:10(圖3-8:PCMARK05測試普通sata硬盤)結果差異雖然不如天極測試的明顯,但是結論是一致的.測試中SSD硬盤在XP啟動,游戲載入,普通應用這3項測試上能達到20-30MB/S的讀取速度,
這說明客戶機的CPU和顯卡的處理性能基本就在20-30mb/s這個水平上.
普通的sata硬盤在XP啟動,游戲載入,普通應用這3項測試上只有7-8MB/S的讀取速度.這
說明,硬盤的讀取能力僅有7-8mb/s的水平.這就充分說明了:在游戲測試的項目中,硬盤去讀取這些數據多數都是”隨機讀取”的狀態,
對固態硬盤來說,隨機讀取和順序讀取幾乎是一樣的,所以衰減很少,可以全速讀取,但是對普通的硬盤來說,做隨機讀取需要消耗大量的尋道時間,實在是快不起來啊!在圖3-5的測試當中,硬盤需要花費95%以上的時間來進行尋道,只有5%的時間在讀取數據.在各種不同的應用當中,表現的情況是隨機讀取的情況占大多數,在網吧中游戲是最主要的應用,普通的硬盤在游戲的表現中是非常不理想的.因為隨機讀取性能更能代表硬盤本身的性能,所以我們在后面的測試大部分都是采用隨機讀取的測試結果.總結:普通的7200轉SATA硬盤,目前性能最好的已經達到了單碟500G容量.用64K區塊進行測試,這些硬盤順序讀取速度在外圈都超過100MB/S的速度,但是隨即讀取
的速度一般只在3-4MB/S之間,而實際應用中,隨機讀取的速度決定了硬盤的快慢表現.下一節,我為大家說說SAS和SSD硬盤,神秘的SAS和SSD硬盤對很多人來說就是昂貴和性能的代名詞,究竟如何呢?下回分曉.什么是sas硬盤:SAS是新一代的SCSISerialATA(SATA)SAS是并行SCSI接口之后開發出的全新接口.簡單的說,sata是家用版本,sas就是服務器版本.sas硬盤多半是采用2.5寸的盤片,sata一般是3.5寸的盤片(筆記本硬盤和迅猛龍硬盤除外).Sas硬盤轉速一般是1萬轉/分鐘,或者是1.5萬轉/分鐘,而sata的轉速一般是7200轉/分鐘.Sas硬盤的磁記錄密度和sata差不多,所以連續讀取速度上和sata硬盤差不多.但是sas硬盤的平均訪問時間比sata快很多,所以在隨機性能上有一定優勢.平均訪問時間是由尋道時間和潛伏時間決定,而尋道時間由盤片大小和磁頭臂移動時間有關,而潛伏時間和轉速有關,綜合起來,1.5萬轉的sas平均訪問時間大概是是5-8ms,而sata一般是10-20ms.下面我們通過測試來看看,1.5萬轉的SAS硬盤究竟有多快,先看看順序讀取的情況:1.jpg(66.79KB)2009-9-2510:16(圖4-1:HDTUNE測試希捷15000轉SAS硬盤順序讀取)使用的是希捷146G的15000轉sas硬盤,在全順序讀取的情況下,最高速度為125M.這個速
度和普通的希捷11代盤差不了多少.再來看隨機讀取的情況:2.jpg(64.19KB)2009-9-2510:16(圖4-2:HDTUNE測試希捷15000轉SAS硬盤順序讀取)因為尋道時間的大幅度減少,隨機性能比sata硬盤好了不少,但是也只有9.6MB/S,大概是sata硬盤2-3倍的速度.這樣,我們基本上就可以理解為sas硬盤的速度是sata硬盤的2-3倍,在實際應用的時候,我們確實發現sas硬盤對于無盤回寫的處理能力,和2-3個sata硬盤的回寫處理能力相當.在支持多回寫的無盤軟件上,用一個sas硬盤和3個sata硬盤所能得到的效果和帶機量是相當的.再來看看固態硬盤的情況:基于閃存的固態硬盤,采用FLASH芯片作為存儲介質,就是我們通常所說的SSD。固態硬盤中,存儲單元又分為兩類:SLC(SingleLayerCell單層單元)和MLC(Multi-LevelCellSLCMLC的特點MLC的每個單元是2bitSLCMLC存儲單元中存放的資料較多,結構相對復雜,出錯的幾率會增加,必須進行錯誤修正,這個動作導致其性能大幅落后于結構簡單的SLC閃存。此外,SLC閃存的優點是復寫次數高達100000MLC閃存高10MLC100萬小時故障間隔時間(MTBF),達到20年以上的使用年限.固態硬盤的優點是尋道時間短,沒有機械機構,耐沖擊.缺點是價格高,容量小,寫入速度一般.固態硬盤這幾年發展的相當快,每GB價格下降很快,幾乎每年都要跌去一半的價格.固態硬盤的存儲單元flash,本身速度并不是非常快的,象U盤一樣,一般的讀取速度也就幾十M左右,但是因為flash訪問延遲很低,因此固態硬盤的做法是就是將很多flash組成多個RAID0來提升速度,象INTEL提供的方案就是10通道的raid0,這樣速度可以提升到200MB/S以上.同樣,我們用測試的數據說話,看看SSD到底有多快.測試對象是金士頓的32G固態硬盤,采用SLC芯片,是INTEL的OEM產品,性能和intel的硬盤幾乎一樣.順序讀取:3.jpg(73.81KB)2009-9-2510:16(圖4-3:HDTUNE測試金士頓32G固態硬盤順序讀取)
順序讀取速度穩定在210MB/S,平均的存取時間只有0.1秒.
再來看隨機讀取的情況:4.jpg(74.92KB)2009-9-2510:16(圖7:HDTUNE測試金士頓32G固態硬盤隨機讀取)同樣的測試條件,金士頓的固態硬盤的隨機讀取的速度達到了驚人的128MB/S!平均讀取時間為0.48MS,IO達到2061,這個性能是sata硬盤的30多倍,也是sas硬盤的10多倍.結論:sata硬盤的性能遠不如我們想象的那樣,在實際應用當中,sata硬盤往往只有7-8MB/S的讀取性能,而1.5萬轉的SAS硬盤確實比sata要快,性能大概能達到sata的2-3倍,而最快的硬盤式固態硬盤,能達到sata硬盤的30倍性能.因此,為虛擬盤服務器挑選硬盤時,如果僅從性能上考慮的話,SSD是最好的選擇,sas硬盤次
之.下一節,我們繼續就硬盤的隨機讀取性能進行深入的分析.在第三篇的時候,我講到了一個觀點,就是在應用中多數的情況都是有部分數據是隨機讀取的,部分數據是連續讀取的,我還講到,少量的隨機讀取的比例就會導致硬盤的性能大幅度的降低,現在我們來看看隨機數據的比例對硬盤的確切影響.我們使用IOMETER來進行這項測試.IOMETER是專業的磁盤測試工具,因為可以靈活的設定測試的詳細條件,因此在很多專業評測中采用.大家有興趣的話也可以研究研究.先看看sata硬盤的測試情況.測試對象是一個西數的80GSATA硬盤.1.jpg(41.77KB)2009-9-2510:29(圖5-1:IOMeter測試西數80G硬盤讀取,0%隨機)第一圖是全順序讀取的結果,這個硬盤連續讀取的能力為55MB/S.IOps是877.測試區塊仍是64K.2.jpg(48.79KB)2009-9-2510:29(圖5-2:IOMeter測試西數80G硬盤讀取,5%隨機)僅僅是加入了5%的隨機數據,性能已經衰減到20MB/S,iops降低到474后面的測試圖我就不一一張貼了,整理成下圖3.jpg(40.01KB)2009-9-2510:294.jpg(20.73KB)2009-9-2510:295.jpg(26.03KB)2009-9-2510:29接下來看看SAS硬盤的情況
全順序讀取:6.jpg(58.87KB)2009-9-2510:29(圖7:IOmeter測試希捷15000轉sas硬盤順序讀取)25%的隨機數據讀取:7.jpg(54.13KB)2009-9-2510:29(圖7:IOmeter測試希捷15000轉sas硬盤25%隨機讀取)50%的隨機數據讀取:8.jpg(61.65KB)2009-9-2510:29(圖7:IOmeter測試希捷15000轉sas硬盤50%隨機讀取)100%的隨機數據讀取:9.jpg(63.86KB)2009-9-2510:29(圖7:IOmeter測試希捷15000轉sas硬盤100%隨機讀取)整理成圖表:10.jpg(11.03KB)2009-9-2510:2911.jpg(20.91KB)2009-9-2510:2912.jpg(19.1KB)2009-9-2510:29綜上,只要有少量的隨機數據,硬盤的性能就會急劇的下降,sata和sas硬盤都不例外.在來看看對固態硬盤來說,隨機數據的影響.講完了硬盤,下一節,我們來看看虛擬盤的性能虛擬盤:具有管理和使用方便的特點。虛擬盤工作過程:客戶機發出讀取需求à指令通過網絡傳輸到服務器à服務器去讀取數據à通過網絡將數據
發送給客戶機,整個環節中,最有可能造成延遲的部分就是后2個環節.服務器讀取數據的環節,一般是服務器先在緩存中尋找,如果緩存中沒有,則到相應的硬盤中
去讀取.緩存命中的數據,其延遲是微乎其微的,所以主要延遲還是硬盤的延遲.通過網絡將數據發送給客戶機這個環節,還要經歷軟件處理à網卡à網線à交換機à網線à客戶機網卡à客戶機,這么多的過程中,虛擬盤軟件的傳輸協議,網卡的性能,交換機的性能,網線的性能都會影響到最終的虛擬盤性能.總結起來,影響虛擬盤性能的主要因素就是:硬盤性能,軟件性能,網絡性能.下面逐個來分析一下.首先來說說網絡,典型的千兆網絡,使用超5類網線傳輸,經過我們測試,其實延遲是非常之低的,看看這個測試圖:1.jpg(73.51KB)
2009-9-2510:36(圖8:交換機性能測試)這個測試表明,在64字節這樣的極限條件下,2個交換機的通過率都超過99%以上,請注意測試單位是64字節,而不是64kb,普通硬盤如果用512字節來測試的話,連續數據也只有3-4MB/S,隨機數據就只有幾十KB/S了.交換機上單個包的延遲僅為4微秒,比硬盤的15毫秒的尋道時間少了3000倍.盡管網吧里的狀況不可能象實驗室中的測試條件那么好,但是實際上,網絡上真正的延遲還是遠比硬盤的延遲要低的多的多!我們再來看看虛擬盤軟件在客戶機用HDTUNE測試網維大師5.0版本虛擬盤的速度.我們將數據全部緩存在內存當中,以屏蔽硬盤對虛擬盤速度的影響,按64K的條件來測試,結果如下:2.jpg(26.32KB)2009-9-2510:36(圖9:虛擬盤在緩存命中情況下隨機讀速度(客戶機測試))測試方法是隨機讀取,在64K的條件下,速度約55MB/S左右,很好理解,服務器每次按64KB大小進行發包,1秒鐘要達到55MB的流量,需要發880個包(普通硬盤每秒只能處理60個64K的數據),因而我們可以計算出虛擬盤軟件+網絡最終造成的延遲:64KB/55MB*1024=每個64K包的延遲=1.1毫秒由此可見,軟件性能和網絡性能導致的延遲相加不過是1.1毫秒而已,遠比普通硬盤的10毫秒-20毫秒的延遲小的多.所以:真正要提高虛擬盤的性能,關鍵還是在于硬盤,硬盤才是整個環節中的最大瓶頸.我們加上硬盤的影響,做個直接的對比測試吧:3.jpg(32.06KB)2009-9-2510:36(圖10:虛擬盤在有緩存和無緩存情況下隨機讀速度(客戶機測試))藍色的是完全沒有內存緩存的情況,所有的數據都是直接從硬盤中讀取.在同樣的測試條件
下,同樣的虛擬盤,緩存命中和緩存未命中帶來的差異是驚人的.除了固態硬盤,其他2個硬盤的測試結果都非常的糟糕.希捷7200.11虛擬盤速度只有緩存命中情況下的1/10,超過90%的時間都損耗在硬盤的尋道時間上了.分析到這里,要獲得好的虛擬盤性能,對應的方法就很簡單了:1、盡可能的減少硬盤的讀取,用內存對常用數據進行緩存.2、盡可能提高服務器硬盤的性能,比如使用SSD硬盤3、使用好的虛擬盤軟件4、網絡性能不能太差OK.下一節我們開始講該怎么做.頸,所有其他的因素,包括網卡,網線,交換機,軟件性能,操作系統平臺等等,它們加起來所造成的延遲不到硬盤的1/10,所以,要提高虛擬盤最終讀取速度的關鍵就在于硬盤.我們來看一個典型的測試,在客戶機上,用HDTUNE對虛擬盤進行隨即讀取測試.我們用內存進行讀取數據的緩存,這樣測試到的數據全部是從服務器中的緩存發出的,結果如下:1.jpg(57.7KB)2009-9-2709:54結果可以清晰的看到,在64K區塊測試的時候,延遲1.2毫秒,是sata硬盤的1/10,同時流量也達到了53.6MB/S,這個速度是普通的SATA硬盤絕對無法望其項背的.是SATA硬盤的10多倍,是SAS硬盤的5倍,已經非常接近于固態硬盤的讀取速度了.虛擬盤有多少的負載能力呢?要回答這個問題,我們先講幾個概念,如果不能明白這幾個概念,那就難以理解整個體系的奧秘所在.?基本名詞解釋l什么是緩存?在網維大師的虛擬盤中,會將部分物理內存用于存儲最常被讀取的數據,當客戶機請求讀取數據時,服務器會先在這些內存中進行尋找,如果在內存中有這些數據,則直接由內存發出,只有內存中沒有該數據,才會去硬盤中讀取.l什么是緩存命中率?是指所有服務器發出的數據當中,有多少比例的數據是從內存中發出的,越高意味著性能越好.比如50%的命中率意味著,每從服務器發出100M數據,其中50M是從內存中發出的,只有50M是從硬盤中發出的,這就意味著與不使用緩存的服務器而言,我們服務器的負載能力擴大了2倍.l如何提高緩存命中率?提高命中率。其次,就是裝上盡可能多的內存。網吧中的真實負載情況要想明白一個虛擬盤服務器到底能帶多少機器,首先得知道負荷會有多大,在一個典型的中型網吧里,裝了1.8T的游戲,究竟在營業的時候,會讀取多少的數據呢?這是很關鍵的問題,不知道朋友們是否認真的研究過這個問題,但是至少我在做這個測試之前,我還真的不知道這個準確的數字.好吧,我們來看看這個測試,這個測試網吧是個典型的中型網吧,機器110臺,來的客戶有學生,有民工,還有些上班族,生意一般,不好也不差.我們將所有的游戲均部署在虛擬盤上,統計了2天的數據.注意:是所有1.8T的游戲,在客戶機的本地硬盤上,一個游戲都不裝!
2天內所有的游戲讀取數據量為448G.根據收費系統的統計,2天內所有的客戶機在線機時總共為1730小時.這樣計算下來每秒每客戶機的流量為:448G/(1730小時*3600秒)=75K/S后來我們也測試了一些其他的網吧,雖然不同的網吧,不同的玩家行為會造成一些差異,但是大體上結果是相似的.傳統的虛擬盤的負載能力根據上述的一個網吧用戶平均讀取流量,我們就可以評估一下,傳統的虛擬盤的負載能力.我們考慮一個簡單的模型,假設這個傳統的虛擬盤服務器,只有一個希捷7200.11硬盤,同時沒有任何緩存機制,這種情況下,我們簡單的算一下,這個服務器能帶起多少機器.對這樣一臺服務器來說,因為硬盤的隨機讀取的能力僅為4MB/S,網絡和其他因素應該可以輕松的達到4MB/S的能力,因此我們完全可以認為該服務器的性能瓶頸集中在硬盤上.按照4MB/S的硬盤能力,我們計算硬盤的極限承受能力:4M(硬盤隨機性能)/75K=54臺.意思就是說,按照75KB/S的平均讀取需求,該服務器的硬盤最多能承受54臺機器在線.實際上,為了應付突發的情況,我們應該為服務器留點余量,不能讓服務器總是工作在滿負荷情況下,假設按3倍的余量計算:54/3=18臺.結論:這樣的虛擬盤服務器,在18臺機器的負載情況下,大部分的時候,性能和本地硬盤相當.這樣的結論和我們經驗值是比較接近的.在實際網吧應用當中,我們是不敢將所有游戲都部署在這臺機器上,這點負載能力,太不夠用了,那么,怎么辦呢?89樓的朋友在看到第六篇的時候,已經給出結論了,要提高虛擬盤的性能,出路就2個:一個,但是這兩種辦法都是非常昂貴的手段,網吧花的起這個錢嗎?我的辦法就在下一篇:第八篇:<虛擬盤的負載能力:下>
首先,我來解釋一下什么2/8原則.二八原則是19世紀末20世紀初意大利經濟學家帕累托提出的,這個原則很簡單:任何一組事物中,最重要的只占其中約20%,其余的80%雖然是多數,但是卻是次要的。比如:80%的銷售額是源自20%的顧客;80%的電話是來自20%的朋友;80%的總產量來自20%的產品;80%的財富集中在20%的人手中;非常簡單的一個原則,但是現實生活中,你會發現這樣的規則幾乎是無所不在的.基于2/8原則,在虛擬盤的應用上,我們可以引申出內容分級存儲管理的概念.
什么是內容分級存儲?是指我們將所有可以用來存儲內容的介質,按照性能的不同,分成多個級別,在進行存儲的時候進行優化選擇,將最常用的數據存儲在性能最高的介質中,依次類推,將最少用到的數據存儲在最廉價的介質上,實現速度和容量并重,同時造價盡可能的低廉.根據2/8原則.80%的顧客只玩20%的游戲,那么我們只要把這20%的游戲搞的很快,就能滿足80%的顧客需求.這點,可以根據網維大師上的DP值排行就看的出來.再根據2/8原則,大部分的游戲,在80%的運行時間里,往往只讀取其中20%的數據.這一點有根據嗎?有,好好的觀察一下,我們會得到這么一個結果:魔獸世界這個游戲雖然有10來個G,但是進一次游戲,從啟動圖標開始一直到游戲畫面中,需要讀取多少數據呢?答案是:只要200M!在游戲里玩上1-2個小時,總共讀取的數據也就500M而已!XP裝完要至少1.5G,但是啟動一個XP到桌面,需要讀取多少數據呢?答案是:只要250M!同樣的例子還有很多,我們對市面上幾個常見的游戲均進行了測試,結果如下:永恒之塔500MB
穿越火線600MB
QQ飛車95MB反恐OL240MB
QQ炫舞200MB
QQ三國100MB
天龍八部130MB
魔獸爭霸3100MB
夢幻西游30MB
誅仙100MBQQ尋仙470MB
傳奇50MB魔獸世界200M除了穿越火線,QQ尋仙等幾個騰訊出的BT游戲之外,大部分游戲需要讀取的數據都非常的小.在實際游戲過程中也是一樣的,除了切換地圖,絕大多數的時間,游戲基本都不讀什么數據的.結論就是,盡管游戲容量非常之大,但是其中經常會用到的數據其實非常非常少.根據上述分析,我們的答案就很簡單了.目前的常見介質的特性如下表所示:介質種類性能(64K隨機讀取IOPS)容量價格內存10萬以上常見4-8G1XX元/2G固態磁盤(OCZSSD)2000常見32G-128G11XX元/60GSAS硬盤(15K轉速)200常見74G-300G9XX元/147GSATA迅猛龍(10K轉速)120150G或300G9XX元/150G普通SATA60常見160G-2000G7xx/1500G(圖1)內存是性能最好的存儲介質,那么我們就應該將最常被讀取的數據放在內存里.
其次固態硬盤也是非常好的介質,那么我們就應該將最熱門的游戲放在固態硬盤里.
…………………最后,SATA硬盤容量又大又便宜,那么我們就把那些最冷門的游戲放在SATA里.內容分級存儲的典型應用來看看上次網吧流量測試當中的服務器截圖.2.jpg(87.34KB)2009-9-2710:02這就是非常典型的內容分級存儲的案例.服務器內存共8G,我們拿出了7G內存用作虛擬盤緩存,游戲放在3個硬盤上,G盤為120G的固態硬盤,H盤和I盤是普通的希捷11代的1T硬盤,安裝游戲一共1.8T左右.
根據上面這個圖,我們看到了什么結果呢?1)7G的內存,產生了平均74%的緩存命中率.就是說,虛擬盤74%的負荷被內存解決了.2)放在固態硬盤上的100G游戲,被讀取的數據量為86616M,這個數據量是所有硬盤讀取數據量的86/(86+22+9)=73.4%3)H盤和I盤,2個硬盤讀取的數據總量相加,只負載了整個虛擬盤負荷的7.1%結論:在這個服務器上,我們成功的利用了2/8原則,以7G內存和100G固態硬盤的代價,解決了虛擬盤服務器中93%的負載.這93%的數據,有著比本地硬盤快的多的速度,剩下那7%的數據,也擁有和本地硬盤相近的速度.這就是分級存儲的驚人效率!這個案例非常完美的解決了虛擬盤的速度問題,那么負載能力會成問題嗎?內容分級存儲服務器的負載能力這么一臺典型的,采用了分級存儲的服務器,能負載多少的機器?還是采用上面的分析方法,先找服務器瓶頸.服務器的瓶頸有可能存在這些方面:1.CPU2.網絡(包括交換機,網卡,網線等)3.軟件(虛擬盤軟件,WINDOWS操作系統本身)4.各個硬盤
仔細分析一下:1.CPU:以酷睿5200這樣CPU來說,在絕大多數時候,CPU占用不超過10%,所以CPU不會成為瓶頸.2.網絡:前幾篇的分析結果至少說明,單個網卡輸出50MB/S是沒有任何問題的,那么如果流量不超過50M,網卡也不會是瓶頸.如果超過50M,我們還可以通過多網卡綁定,匯聚,分流等方式來解決.事實上我們測試網維大師的虛擬盤服務器上網卡是可以輸出90MB/S以上的.所以,網絡也不會是瓶頸.3.軟件:,網維大師在WIN2003上可以輸出200MB/S以上的速度(多網卡情況下),同時,網維大師的新虛擬盤可以同時負載上千個連接,所以這個也不是瓶頸.4.硬盤:固態硬盤的負載量是SATA硬盤的愛生活愛順網倍,按照SATA硬盤4MB/S的性能,那么固態硬盤性能只要超過4*愛生活愛順網=30MB/S,那么固態硬盤就不會是瓶頸.根據前幾節的測試,固態硬盤的隨機讀取能力可以達到100MB/S以上,所以SATA硬盤還是瓶頸.結論:如果網絡沒有大問題,如果我用多個網卡分載,那么這個虛擬盤的瓶頸仍然是SATA硬盤,如果客戶機不斷的增加,在其他部分出問題之前,SATA硬盤已經頂不住了.那么我們就只要計算一下,SATA硬盤在這個案例中的極限負荷能力就行了.還記得上一篇中,我們計算的傳統虛擬盤的負荷能力吧?單硬盤的負荷能力為18臺機器.這個服務器有2個SATA硬盤,,那么就能負荷36臺.這2個硬盤負荷的數據量為總數據量的7%,那么該服務器的負荷能力為36/0.07=517臺!就是說,當客戶機達到517臺時,2個SATA硬盤的負荷能力達到極限.這還是留了3倍性能余量的結果!就算是真的達到517臺客戶機,Sata硬盤到達閥值,受影響的也僅僅是7%的數據,另外93%的數據仍然流暢無比!這,是真的嗎?如果你仍有懷疑,那我們反過來再算一次.看看517臺客戶機的時候,工作情況是怎樣的.
每用戶平均流量為75KB/S那么500臺客戶機在線時,總平均流量為75*517=38.4MB/S
我們留出三倍余量,突發速度就是38.4*3=115MB/S那么我們用兩張網卡分流就完全可以應付!這115MB/S的流量,內存緩存掉74%,還剩下:115*26%=29.9MB/S
這29.9MB/S的流量,固態硬盤分掉73%,還剩下:29.9*27%=8.07MB/S
這8.07MB/S的流量,2個SATA硬盤平分流量,剛好是SATA硬盤的極限.現在,我的朋友,您還有懷疑嗎?那么,我再安全一點,考慮到用戶太多以后造成的突發情況可能會更大,那我不留3倍余量了,我留5倍的余量,讓這臺服務器去帶300臺機器.就這樣,只帶300臺,您放心了嗎?您敢帶嗎?我敢!我在5月份的時候,在我自己的網吧里,就用這么一臺機器帶了275臺客戶機跑所有的游戲!很流暢,很舒服,很安心!一直到8月底,現在,我有了更好的方案.才把這臺服務器換了下來.這一篇的最后,我們來算個帳,這么一臺可以穩定的帶300臺機器的虛擬盤服務器,裝了1.8T的海量的游戲,還能讓你的顧客在93%的時間里,都能感受到本地硬盤還要快的速度,這個機器要多少錢呢?主板:intel3000(1200左右)Cpu:酷睿5200(420左右)內存:DDRII2G*4共8G(600左右)硬盤:OCZ120G固態硬盤*1(2000左右)希捷7200.11硬盤1T*2(1400左右)機箱,電源等(500左右)-----------------------------------------總計:6120元一些結論和建議1.在我們的方案中,內存是最最最最最最值得去投資的部分,想要虛擬盤性能好,無論如何請盡可能的加大服務器的內存數量,4G是最起碼的,一般達到8G才會開始產生質的飛躍.如果你的老板真的很窮,窮到連8G內存都買不起的
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
- 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
- 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 鋼板合同協議書樣板圖
- 中國染布行業市場前景預測及投資價值評估分析報告
- 商務包車運營方案范文
- 麻辣燙創業計劃書例文
- 中國橡膠及橡膠制品項目投資計劃書
- 噴頭維修合同協議書
- 外賣超時計劃書
- 校園桌游創業計劃書模板
- 經紀合同合作協議書
- 馬病復習資料
- 工程師轉正工作總結
- 8 推翻帝制 民族覺醒 說課稿 -2023-2024學年道德與法治五年級下冊統編版
- 麗聲北極星分級繪本第二級下-
- 變電站數字孿生框架構建與關鍵技術研究
- 2025-2030年中國報廢汽車回收行業市場十三五發展規劃及投資戰略研究報告新版
- DIP支付下的病案首頁填寫
- 兩癌防治知識培訓
- KCA試題庫完整版
- 2025屆湖南省高考化學第一輪復習模擬選擇題-化學與生活43道(附答案)
- 《思想政治教育方法論》考研(第3版)鄭永廷配套考試題庫及答案【含名校真題、典型題】
- 肩袖損傷的治療與護理
評論
0/150
提交評論