CESA-2023-064《高性能計算分布式存儲文件性能測試方法》_第1頁
CESA-2023-064《高性能計算分布式存儲文件性能測試方法》_第2頁
CESA-2023-064《高性能計算分布式存儲文件性能測試方法》_第3頁
CESA-2023-064《高性能計算分布式存儲文件性能測試方法》_第4頁
CESA-2023-064《高性能計算分布式存儲文件性能測試方法》_第5頁
已閱讀5頁,還剩20頁未讀 繼續免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

ICS35.020

CCSL62

團體標準

T/CESAXXXX—202X

高性能計算分布式存儲文件性能測試方法

Highperformancecomputing-Performancetestingmethodsfordistributedstorage

file

征求意見稿

在提交反饋意見時,請將您知道的相關專利連同支持性文件一并附上。

已授權的專利證明材料為專利證書復印件或扉頁,已公開但尚未授權的專利申

請證明材料為專利公開通知書復印件或扉頁,未公開的專利申請的證明材料為專利

申請號和申請日期。

202X-XX-XX發布202X-XX-XX實施

中國電子工業標準化技術協會發布

T/CESAXXXX—202X

高性能計算分布式存儲文件性能測試方法

1范圍

本文件描述了高性能計算分布式存儲文件性能測試方法,包括分布式存儲元數據性能、數據一致

性、帶寬性能、單流最大帶寬、IOPS性能及時延、集群擴展性能和可靠性的測試方法。

本文件適用于HPC應用中分布式存儲文件的IO性能及集群擴容能力的測試,為用戶選型提供可量化

的參考依據。

2規范性引用文件

下列文件中的內容通過文中的規范性引用而構成本文件必不可少的條款。其中,注日期的引用文

件,僅該日期對應的版本適用于本文件;不注日期的引用文件,其最新版本(包括所有的修改單)適

用于本文件。

GB/T37737-2019信息技術云計算分布式塊存儲系統總體技術要求

T/CESA1312-2024高性能計算分布式存儲系統技術要求

3術語、定義和縮略語

3.1術語和定義

GB/T37737-2019界定的以及下列術語和定義適用于本文件。

3.1.1

卷volume

塊存儲系統中物理空間的邏輯分區,為虛擬機(VM)或物理機提供裸設備方式進行數據存取。

可以進行創建、刪除、擴展等操作。

[來源:GB/T37737-2019,3.1.3]

3.1.2

客戶端client

發起請求并接收響應的設備或軟件。

3.1.3

存儲池storagepool

邏輯卷中數據塊的分布范圍。

[來源:GB/T37737-2019,3.1.7]

14

T/CESAXXXX—202X

3.2縮略語

下列縮略語適用于本文件。

Cache:緩存內存(CacheMemory)

CPU:中央處理器(CentralProcessingUnit)

HPC:高性能計算/超算(HighPerformanceComputing)

I/O:輸入/輸出(Input/Output)

IOPS:每秒的輸入輸出量(Input/OutputOperationsPerSecond)

IP:網際協議(InternetProtocol)

4測試指標

4.1概述

高性能計算分布式存儲文件性能的測試,主要測試以下性能指標:

a)針對高性能計算應用中大規模分布式集群所用的元數據服務器,測試元數據性能;

b)針對高性能計算應用場景中的高并發和多線程的讀寫操作時,文件數據一致性的測試;

c)針對大文件(如大小1G),測試帶寬性能;

d)針對高性能計算應用場景下的單客戶端的單流最大帶寬性能測試;

e)針對小文件(如大小8K)測試IOPS性能,為了保證滿負荷壓力測試,壓力機的數量為分布式存

儲節點數量的2倍;

f)針對分布式存儲節點的可擴展性測試線性擴容性能,如10節點的性能理論上是5節點的性能的

2倍左右;

g)針對分布式存儲系統內各節點的關鍵部件或是節點級別的故障,整體系統的可靠性測試。

4.2指標描述

高性能計算分布式存儲文件性能測試指標描述見表1。

表1性能測試指標描述

指標名稱測試目的測試方法簡要描述

元數據性能元數據節點在高并發情況下模擬大量用戶同時訪問元數據節點的情況,測試的文件基線為過億

的性能表現小文件。觀察元數據節點的響應時間和吞吐量。

數據一致性測試高并發場景下數據一致在分布式文件系統中創建共享目錄,由壓力機進行多線程測試模擬

性高性能計算中多線程高并發情況下分布式文件系統如何保持讀寫數

據的一致性。

帶寬性能大文件的并發吞吐量生成適合高性能計算場景的測試數據,設計測試用例來模擬大文件

(1GB)的創建、讀取、更新和刪除等操作。

T/CESAXXXX—202X

表1性能測試指標描述(續)

指標名稱測量目的測試方法簡要描述

單流最大帶寬測試高性能計算場景下要求在一個節點上,創建一個客戶端,創建測試用例,測試單個計算

的單流帶寬測試節點和單個客戶端的帶寬性能。測試這種場景下的最大帶寬性

能。

IOPS性能及時延測試高性能計算下小文件的生成適合高性能計算場景的測試數據,多個計算節點和存儲節

并發IO及時延點,計算節點配備高速CPU和大容量內存,測試小文件的IOPS及

時延數據,建議以100萬IOPS為測試基線。

存儲集群近線性評估分布式存儲集群在不同設置初始節點數量,并配置分布式存儲集群,確保集群正常運行

擴展性能節點數量下的性能表現并滿足測試需求。逐步增加節點數量,按照一定的規律或步長進

行擴容,進行帶寬和IOPS的性能近線性增長測試。

集群可靠性測試HPC應用中分布式存儲考慮實際的故障情況,如硬盤故障、節點故障和網絡故障等。設

集群的可靠性能力,即硬盤計測試場景來模擬這些故障情況,系統的數據重構時間測試,且

的故障、節點的故障和網絡時間越短越好。

故障等情況下存儲集群的可

靠性

5測試原則及測試準備

5.1測試原則要求

測試原則符合下列要求:

a)高性能計算分布式文件性能測試只針對文件系統做性能測試,測試的系統應滿足T/CESA

1312-2024的技術要求。

b)針對分布式存儲的性能測試,宜從3個節點起步做文件性能的輸出測試。

c)讀寫性能指標符合下列檢查方法:

1)應使用測試工具測試8KB小文件隨機讀、隨機寫,記錄集群IOPS和平均響應時間;

2)應使用測試工具測試1GB大文件順序寫、順序讀,記錄集群帶寬;

3)測試數據量大于客戶端和分布式存儲節點內存總和;

4)宜關閉分布式節點硬盤Cache;

5)根據需求,宜采用直通模式(DirectIO)即數據直接寫入硬盤。

5.2測試環境

測試環境應在下述條件下進行:

a)溫度:10℃~35℃;

b)相對濕度:35%~80%;

c)大氣壓:86kPa~106kPa。

16

T/CESAXXXX—202X

5.3測試硬件

測試硬件應符合下列要求:

a)不限定CPU線程、內存、全閃和混閃等配置要求,但在一個集群下各節點硬件配置一致;

b)存儲設備集群的節點數為3個節點起步,數據保護采用多副本或糾刪碼模式;

c)測試壓力機的物理節點與存儲節點比例為2:1;

d)前端IO網絡與后端存儲帶寬大于1:1;

e)保障測試環境一致性,即根據實際存儲節點數量,動態調整,保證以上測試環境一致性;

f)進行參數優化,保證最佳測試效果。

5.4測試工具

本文件中使用的測試工具可參見附錄A。

6測試方法

6.1元數據性能

元數據性能測試方法見表2。

表2元數據性能測試方法

序號條目要求表述

1測試目的高性能計算分布式存儲文件系統元數據性能

2a)分布式存儲設備集群的節點數應大于等于3,數據保護采用多副本或糾刪碼;

b)若采用多副本冗余模式,副本數應大于等于2(含原始數據);

預置條件

c)若采用N+M糾刪碼冗余模式,M應大于等于2;

d)分布式存儲系統(一體機/軟件)正常運行。

3a)評估系統在包并發,高負載下的響應時間和吞吐量,應針對1億個空文件和1億個8K文件進

行create、stat、remove的完整測試;

測試過程b)應評估分布式存儲集群在創建、查詢和刪除大量空文件時的性能;

c)應評估集群在創建、查詢和刪除帶有實際數據(8K大小)的文件時的性能;

d)應記錄測試過程中的性能數據,包括響應時間、吞吐量等。

4預期結果獲得關于集群在處理帶有實際數據的大量文件時的元數據性能數據

5a)環境配置應包括規格及詳細配置、編譯器類型及版本、CPU型號、內存頻率、操作系統版本、

測試工具的來源及用途、測試工具的版本型號等。

測試結果

b)應按照測試步驟測試驗證,進行操作截圖(形成完整的測試邏輯鏈),并輔以必要的文字說

明,截圖和截圖之間應有簡單的文字說明,不能出現連續的幾張截圖。

6備注測試腳本可參見附錄B。

6.2數據一致性

數據一致性測試方法見表3。

表3數據一致性測試方法

T/CESAXXXX—202X

序號條目要求表述

1測試目的測試高性能計算分布式存儲文件系統高并發場景下的數據一致性

2預置條件a)分布式存儲設備集群的節點數應大于等于3,數據保護采用多副本或糾刪碼;

b)若采用多副本冗余模式,副本數應大于等于2(含原始數據);

c)若采用N+M糾刪碼冗余模式,M應大于等于2;

d)分布式存儲系統(一體機/軟件)應正常運行。

3測試過程a)在分布式文件系統中創建共享目錄test,掛載到目錄/mnt/test下,應按照2:1比

例,準備6臺壓力機,每臺壓力機起10個進程,同時對/mnt/test/test_file文件進行

寫操作;

b)有進程寫完后,應對文件進行數據校驗。

4預期結果獲取數據的結果,并和元數據對比看是否一致

5測試結果a)環境配置應包括規格及詳細配置、編譯器類型及版本、CPU型號、內存頻率、操作系

統版本、測試工具的來源及用途、測試工具的版本型號等;

b)應按照測試步驟測試驗證,進行操作截圖(形成完整的測試邏輯鏈),并輔以必要的

文字說明,截圖和截圖之間應有簡單的文字說明,不能出現連續的幾張截圖;

c)更新測試步驟中的參數或已設定的配置。

6備注測試腳本可參見附錄C。

6.3帶寬性能

帶寬性能測試方法見表4。

表4帶寬性能測試方法

序號條目要求表述

1測試目的測試帶寬指標性能(建議使用IOR工具)

2a)分布式存儲設備集群的節點數應大于等于3,數據保護采用多副本糾刪碼;

b)若采用多副本冗余模式,副本數應大于等于2(含原始數據);

預置條件

c)若采用N+M糾刪碼冗余模式,M應大于等于2;

d)分布式存儲系統(一體機/軟件)正常運行。

3按等比例測試,client數量設定,在測試客戶端,保證物理節點機的帶寬負載滿負荷運行。部

署測試工具(如IOR),設置負載參數,對掛載共享目錄應分別進行以下測試:

a)使客戶端緩存/存儲端緩存寫滿,確保數據寫入SSD,并保證寫入硬盤,SSD數據預寫滿,

占容量80%,而后開始記錄測試數據;

測試過程

b)對若干個1GB(預埋數據,文件類型)文件(文件總容量超過存儲節點所有內存之和的2

倍),1M塊大小,進行順序寫測試,記錄集群寫帶寬;

c)若干個1GB文件(文件總容量超過存儲節點所有內存之和的2倍),1M塊大小,進行順序讀

測試,記錄集群讀帶寬。

4預期結果測試結果按照不同的測試場景以及各項指標參數以表格形式呈現。

5a)環境配置應包括規格及詳細配置、編譯器類型及版本、CPU型號、內存頻率、操作系統版

本、測試工具的來源及用途、測試工具的版本型號等;

測試結果b)應按照測試步驟測試驗證,進行操作截圖(形成完整的測試邏輯鏈),并輔以必要的文字說

明,截圖和截圖之間應有簡單的文字說明,不能出現連續的幾張截圖;

c)更新測試步驟中的參數或已設定的配置。

6備注測試腳本可參見附錄D。

6.4單流最大帶寬

單流最大帶寬測試方法見表5。

表5單流最大帶寬測試方法

18

T/CESAXXXX—202X

序號條目要求表述

1測試目的測試單流最大帶寬

2a)分布式存儲設備集群的節點數應大于等于3,數據保護采用多副本糾刪碼;

b)若采用多副本冗余模式,副本數應大于等于2(含原始數據);

預置條件

c)若采用N+M糾刪碼冗余模式,M應大于等于2;

d)分布式存儲系統(一體機/軟件)正常運行。

3在測試計算節點機啟動一個客戶端,部署測試工具,設置負載參數,對掛載共享目錄進行

測試過程

單流最大帶寬測試。

4預期結果測試結果按照不同的測試場景以及各項指標參數以表格形式呈現。

5a)環境配置應包括規格及詳細配置、編譯器類型及版本、CPU型號、內存頻率、操作系統版

本、測試工具的來源及用途、測試工具的版本型號等;

測試結果b)應按照測試步驟測試驗證,進行操作截圖(形成完整的測試邏輯鏈),并輔以必要的文字說

明,截圖和截圖之間應有簡單的文字說明,不能出現連續的幾張截圖;

c)更新測試步驟中的參數或已設定的配置。

6

備注測試腳本可參見附錄E。

6.5IOPS性能及時延

IOPS性能及時延測試方法見表6。

表6IOPS性能及時延測試方法

序號條目要求表述

1測試目的測試IOPS及時延指標性能

2a)分布式存儲設備集群的節點數應大于等于3,數據保護采用多副本或糾刪碼;

b)若采用多副本冗余模式,副本數應大于等于2(含原始數據);

預置條件

c)若采用N+M糾刪碼冗余模式,M應大于等于2;

d)分布式存儲系統(一體機/軟件)正常運行。

3在測試客戶端部署測試工具,設置負載參數,對掛載共享目錄應分別進行以下測試:

a)6000萬8K文件,8K塊大小,進行隨機70%讀30%寫測試;

測試過程

b)預熱時間5分鐘,測試時間30分鐘,采用directIO模式,不使用客戶端緩存,記錄集群真

實IOPS及時延性能。

4在高性能計算應用場景下,預計IOPS性能在100萬基線之上,時延在毫秒級別。

預期結果

測試結果按照不同的測試場景以及各項指標參數以表格形式呈現。

5a)環境配置應包括規格及詳細配置、編譯器類型及版本、CPU型號、內存頻率、操作系統版

本、測試工具的來源及用途、測試工具的版本型號等;

測試結果b)應按照測試步驟測試驗證,進行操作截圖(形成完整的測試邏輯鏈),并輔以必要的文字說

明,截圖和截圖之間應有簡單的文字說明,不能出現連續的幾張截圖;

c)更新測試步驟中的參數或已設定的配置。

6備注測試用例及測試腳本請參考附錄F。

6.6存儲集群擴展性

存儲集群擴展性測試方法見表7。

T/CESAXXXX—202X

表7存儲集群擴展性測試方法

序號條目表述

1測試目的測試存儲集群擴容及集群性能擬線性性能

2a)分布式存儲設備集群的節點數應大于等于3,數據保護采用多副本或糾刪碼;

b)若采用多副本冗余模式,副本數應大于等于2(含原始數據),若采用N+M糾刪碼冗余模式,M

預置條件應大于等于2;

c)分布式存儲系統(一體機/軟件)集群環境搭建完成,處于正常運行狀態;

d)采用第三方性能工具測試性能,監控IOPS和帶寬性能,性能值保持穩定。

3a)上架一臺即將加入存儲集群的存儲物理節點,其物理狀態及相應的IP地址可正常加入原集

群;

b)點擊存儲集群管理頁面,將上述存儲節點加入集群,算節點數量同比例增加;

測試過程

c)新存儲節點加入集群后,集群性能短期內會有波動,待波動結束后記錄穩定性能的IOPS和帶

寬性能;

d)重復以上的測試,比較不同節點數量下的性能數據表現。

4預期結果測試結果按照不同的測試場景以表格形式呈現性能線性增長情況。

5a)環境配置應包括規格及詳細配置、編譯器類型及版本、CPU型號、內存頻率、操作系統版本、

測試工具的來源及用途、測試工具的版本型號等;

測試結果b)應按照測試步驟測試驗證,進行操作截圖(形成完整的測試邏輯鏈),并輔以必要的文字說

明,截圖和截圖之間應有簡單的文字說明,不能出現連續的幾張截圖;

c)更新測試步驟中的參數或已設定的配置。

6備注無

6.7存儲集群可靠性

存儲集群可靠性測試方法見表8。

表8存儲集群可靠性測試方法

序號條目表述

1測試目的測試存儲集群可靠性

2a)分布式存儲設備集群的節點數應大于等于3,數據保護采用多副本或糾刪碼;

b)若采用多副本冗余模式,副本數應大于等于2(含原始數據);

預置條件

c)若采用N+M糾刪碼冗余模式,M應大于等于2;

d)分布式存儲系統(一體機/軟件)正常運行。

3a)硬盤故障測試:例如模擬硬盤損壞或失效。可以通過模擬工具或手動操作來模擬硬盤故障,觀

察集群的反應和容錯能力。可以分別在各個節點停止1塊盤,而后第2塊盤輪詢方式,記錄集群

的恢復時間和數據完整性等指標,測試過程中保持IO不停止。

b)節點故障測試:模擬節點故障場景,例如模擬節點宕機或斷電。可以通過停止節點的運行或模

測試過程

擬節點失效,觀察集群的自動化故障轉移和恢復能力。(多長時間穩定IO或性能)

c)網絡故障測試:模擬網絡故障場景,模擬網絡中斷或高延遲。可以通過斷開網絡連接或配置網

絡模擬工具來模擬網絡故障,觀察集群的容錯和恢復能力。記錄集群的恢復時間和數據完整性等

指標。

4預期結果測試結果按照不同的測試場景以及各項指標參數以表格形式呈現。

5a)環境配置應包括規格及詳細配置、編譯器類型及版本、CPU型號、內存頻率、操作系統版本、

測試工具的來源及用途、測試工具的版本型號等;

測試結果b)應按照測試步驟測試驗證,進行操作截圖(形成完整的測試邏輯鏈),并輔以必要的文字說

明,截圖和截圖之間應有簡單的文字說明,不能出現連續的幾張截圖;

c)更新測試步驟中的參數或已設定的配置。

6備注無

1

T/CESAXXXX—202X

附錄A

(資料性)

測試工具參考

在進行高性能計算分布式存儲文件性能測試的時候,建議的測試工具見表A.1。

表A.1測試工具表

工具名稱工具簡介

MDTest是一個在并行計算機系統上進行性能測試的工具,主要用于評估并行計算機系統

MDtest

的性能和可靠性。MDTest是由美國橡樹嶺國家實驗室(OakRidgeNational

Laboratory)開發的一種基準測試程序,是HPCChallenge基準測試的一部分。

IOR是一個用于評估并行計算機系統I/O性能的基準測試工具。它是由美國橡樹嶺國家

實驗室(OakRidgeNationalLaboratory)開發,并且是HPCChallenge基準測試套件

的一部分。IOR專門設計用來測量大規模并行系統上的文件I/O性能,尤其是在高并行

IOR(IO

度下的性能表現。IOR測試通常包括對不同大小文件的讀寫操作,以及不同的I/O模式

Reference)

(如順序I/O和隨機I/O)。它可以模擬真實世界中的科學計算應用的I/O模式,并且支

持多種并行文件系統,包括POSIX文件系統、的對象存儲系統等。通過IOR測試,用戶

可以得到關于并行計算機系統在實際工作負載下的I/O性能指標,這些指標對于評估系

統的能力、優化I/O配置以及提高大型計算應用的總體性能都是非常重要的。

VDbench是一款由SunMicrosystems(現為Oracle公司)開發的通用存儲性能測試工

VDbench具。VDbench提供了一個模擬環境,可以在不同的工作負載模式下測試存儲系統的讀寫

性能、延遲、吞吐量和其他關鍵性能指標。VDbench支持多種工作負載模式,包括基本

的順序訪問、隨機訪問以及混合模式,可以配置多個客戶端并發執行測試,模擬大規模

用戶環境下的存儲訪問,并能提供詳細的性能報告,包括響應時間、吞吐量、IOPS(每

秒操作次數)等關鍵指標。

T/CESAXXXX—202X

附錄B

(資料性)

元數據性能測試腳本

元數據性能測試腳本見表B.1。

表B.1元數據性能測試腳本

測試腳本元數據性能測試(測試工具推薦MDtest)

測試腳本

1.對1億個空文件進行create、stat、remove測試

#!/bin/bash

#設置測試參數

TEST_DIR="./testdir/"

NUM_FILES=100000000

CLIENTS=100

HOSTFILE="./hostfile_list"

#運行MDtest測試

mpirun-np$CLIENTS-hostfile$HOSTFILE./mdtest-C-d$TEST_DIR-F-L-z4-

b10-I$NUM_FILES

#記錄性能數據

#可以在此添加性能數據收集的代碼,比如將MDtest的輸出重定向到日志文件進行分

析。

測試代碼2.對1億個8K文件進行create、stat、remove測試

#!/bin/bash

#設置測試參數

TEST_DIR="./testdir/"

NUM_FILES=100000000

CLIENTS=100

HOSTFILE="./hostfile_list"

FILE_SIZE=8192

#運行MDtest測試

mpirun-np$CLIENTS-hostfile$HOSTFILE./mdtest-C-d$TEST_DIR-F-L-w

$FILE_SIZE-z4-b10-I$NUM_FILES

#記錄性能數據

#可以在此添加性能數據收集的代碼,比如將MDtest的輸出重定向到日志文件進行分

析。

1

T/CESAXXXX—202X

附錄C

(資料性)

數據一致性測試腳本

數據一致性測試腳本見表C.1。

表C.1數據一致性測試腳本

測試腳本數據一致性測試

在分布式文件系統中創建共享目錄test,掛載到目錄/mnt/test下,按照2:1比

例,準備6臺壓力機,每臺壓力機起10個進程,同時對/mnt/test/test_file文件

進行寫操作。這60個進程編號為1~60,具體寫的方式如下:

a)每個進程一次寫8KB數據(塊大小8K)

b)每個進程寫的區間不重疊,進程1寫文件的(0~8K-1),進程2寫(8K,16K-1),

進程3寫(16K,24K-1)……,進程60寫(472K,480K-1),進程1寫(480K,488K-

1)……。每個進程寫100個塊,文件總大小為48000K。

c)每個塊寫入的數據不同。

d)保證60個進程同時對文件進行寫操作。

e)以第一個進程的流程舉例,其他進程的流程相同僅寫的位置不同:

i.open文件

測試代碼ii.seek(0,0)

iii.write(8K數據)

iv.seek(480K,0)

v.write(8K數據)

vi.…(寫100次)

vii.close文件

所有進程寫完后,對文件進行數據校驗。

測試用例可參考如下測試工具進行測試,基于mpirun寫的python腳本:

mpirun-hostfilend(配置文件)-np60(所有節點進程數之和)--mca

btl_tcp_if_includeeno2(網卡)--allow-run-as-rootpythonmpi_nto1_fileio.py-

b8k(塊大小)-n100(塊數目)-d/mnt/test/(測試目錄)-f1(測試文件的個數)-l

1(循環次數)

T/CESAXXXX—202X

附錄D

(資料性)

帶寬性能測試腳本

帶寬性測試腳本見表D.1。

表D.1帶寬性能測試腳本

測試腳本帶寬性能測試,推薦測試工具IOR

#!/bin/bash

#創建預埋數據的文件

FILE_SIZE=1G

BLOCK_SIZE=1M

TOTAL_FILES=$(($(free-m|grepMem|awk'{print$2}')*2/1024))#假設free命令

輸出的是MB,轉換為GB

TEST_DIR="./testdir"

mkdir-p$TEST_DIR

#創建足夠多的1GB文件

for((i=1;i<=TOTAL_FILES;i++));do

ddif=/dev/zeroof=$TEST_DIR/testfile_$ibs=$BLOCK_SIZE

count=$((FILE_SIZE/$BLOCK_SIZE))

done

echo"預埋數據文件創建完成"

順序寫測試腳本。

#!/bin/bash

測試代碼#設置預熱時間,客戶端緩存/存儲端緩存,時間拉長內存寫入硬盤等參數

WARMUP_TIME=600#預熱時間600秒

CACHE_POLICY=""#客戶端和存儲端緩存策略,根據具體存儲系統來設置

#IOR測試參數

#-w表示寫測試

#-k表示使用塊I/O

#-b10g表示塊大小為10GB(注意這里與文件塊大小不同,是指每次I/O操作的大小)

#-F表示使用文件I/O而不是內存映射

#-t1m表示線程數為100(這里應該是-t100,1m可能是一個錯誤)

#-o./testdir表示輸出目錄

#執行預熱

echo"開始預熱..."

mpirun-np100-hostfile./hostfile_list./IOR-w-k-b10g-F-t100-o./testdir&>

/dev/null

sleep$WARMUP_TIME

#執行順序寫測試

echo"開始順序寫測試..."

mpirun-np100-hostfile./hostfile_list./IOR-w-k-b10g-F-t100-o./testdir>

write_bandwidth.log2>&1

1

T/CESAXXXX—202X

表D.1(續)

echo"順序寫測試完成,結果保存在write_bandwidth.log"

順序讀測試腳本:

#!/bin/bash

#假設SSD已經預寫滿,這里不需要額外的預熱步驟

#IOR測試參數

#-r表示讀測試

#執行順序讀測試

echo"開始順序讀測試..."

mpirun-np100-hostfile./hostfile_list./IOR-r-k-b10g-F-t100-o./testdir>

read_bandwidth.log2>&1

echo"順序讀測試完成,結果保存在read_bandwidth.log"

T/CESAXXXX—202X

附錄E

(資料性)

單流最大帶寬性能測試腳本

單流最大帶寬性能測試腳本見表E.1。

表E.1帶寬性能測試腳本

測試腳本單流最大帶寬性能測試,推薦IOR

在測試計算節點機啟一個客戶端,部署測試工具,設置負載參數,對掛載共享目錄

分別進行以下測試,測試單流最大帶寬

#執行單流順序寫測試

echo"開始單流順序寫測試..."

mpirun-np1-hostfile./hostfile_list./IOR-w-k-b1024g-F-t1-

o./testdir>single_write_bandwidth.log2>&1

echo"單流順序寫測試完成,結果保存在single_write_bandwidth.log"

測試代碼

#執行單流順序讀測試

echo"開始單流順序讀測試..."

mpirun-np1-host

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論