1、附件洪水預報軟件測評方案（試行）一、總則1、 測評目的為促進水利科技推廣管理工作，服務洪水預報系統建設，水利部科技推廣中心、水利部防洪抗旱減災工程技術研究中心、中國水利學會減災專業委員會聯合組織開展洪水預報軟件的測評工作。2、 參評單位國內已經獲得洪水預報軟件著作權的單位單獨或聯名參加。報送的洪水預報軟件，必須為報送單位自主研發或聯合研發，代理銷售的不具備報名資格。3、 測評方式測評含軟件測試和專家評審兩部分。（1）軟件測試。由具有中國合格評定國家認可委員會（CNAS）資質的國家級軟件檢測機構對各參評產品進行軟件測試。（2）專家評審。參評單位對參評產品進行應用功能演示，由專家組現場評審。4、

2、評分辦法軟件測評結果以分值表示，100 分為滿分，其中軟件測試部分占70%，專家評審部分占30%。總分85分的為“優良”產品； 85分總分60分的為“合格”產品；總分60分為“需改進”產品。二、軟件測試大綱1、 測試依據Ø GB/T 25000.51-2010 軟件工程 軟件產品質量要求與評價（SQuaRE）商業現貨（COTS）軟件產品的質量要求和測試細則；Ø SL323-2011實時雨水情數據庫表結構及標識符標準；Ø GB/T 22482-2008水文情報預報規范。2、 測試準備（1）測試環境軟件測試地點設在檢測機構，檢測機構按照軟件工程軟件產品質量要求與評價（

3、SQuaRE）商業現貨（COTS）軟件產品的質量要求和測試細則中的設備配置，統一準備測試環境，參評單位負責在統一的測試環境上安置應用軟件。參評單位應在規定的時間進行系統安置工作（時間最長為一個工作日），并簽署相關測試委托書。（2）測試文檔在系統測試開始前，參評單位向檢測機構提供用戶手冊或操作手冊等系統相關文檔。3、 軟件功能測試（1）系統建模1）模型/方法庫管理Ø 多種產匯流、模型/方法，各模型/方法可任意組合Ø 模型/方法構件封裝，僅通過數據接口機制實現信息交換Ø 各模型/方法對同一輸入、輸出要素具有相同格局的數據接口定義Ø 對模型/方法可進行添加、修

4、改、刪除、導入導出、運行等維護操作2）預報方案構建Ø 方案定義Ø 流域圈畫Ø 確定方案模型雨量站控制權重3）參數率定/檢驗Ø 歷史數據處理Ø 參數優選Ø 率定資料選取Ø 預報方案維護（2）作業預報Ø 實時雨水情查詢Ø 數值降雨預報Ø 實時洪水預報Ø 實時洪水校正Ø 預報誤差統計Ø 洪水預報精度評定Ø 預報成果管理4、 測試數據說明Ø 為了體現公平原則，統一測試標準，由測評組織單位統一提供洪水預報基礎數據。5、 軟件系統缺陷嚴重程度等級缺陷嚴重程度

5、等級的設定如下：S1級 ：發現影響被測系統正確運行的嚴重問題導致系統崩潰出現不可挽救的數據丟失或損壞 主業務流程出現斷點導致死機內存泄漏S2級：發現影響被測模塊正確運行的嚴重問題導致程序模塊丟失或未實現軟件錯誤導致數據丟失 被測數據處理錯誤需求未實現 S3級：發現影響被測功能正確實現的問題S4級：一般性的錯誤或功能實現有不完善處S5級：建議性問題6、 預報精度等級 參見GB/T 22482-2008水文情報預報規范，以作業預報精度等級進行評價，即用預報誤差與許可誤差之比的百分數作為分級指標，分級指標25.0的為優秀；25.0分級指標50.0的為良好；50.0分級指標100.0的為合格；分級指標

6、100.0的為不合格。7、 測試結果判定標準檢測機構對測試過程中發現的問題進行分析匯總，向參評單位出具系統測試問題確認單，并且雙方簽字確認。在系統測試中，檢測機構依據已確認的系統測試問題確認單，對每一項測試內容給出其檢測結果。檢測結果分為“通過”、“基本通過”、“不通過”和“功能缺失”。（1） 通過在測試過程中，針對某測試過程的測試用例執行后，結果與預期的基本一致，未發現S5級以外的缺陷，該測試過程的檢測結果可判定為“通過”。（2） 不通過在測試過程中，針對某測試過程的測試用例執行后，發生S1級或S2級缺陷，該測試過程判定為“不通過”。（3） 基本通過在測試過程中，結果屬上述“通過”、“不通過

7、”以外的情況，該測試過程判定為“基本通過”。（4） 功能缺失因系統原因而無法提供測試的功能點，在測試結果中注明“功能缺失”。8、 測試內容及評分標準本次測試的內容包括系統的功能性、可靠性、易操作性和效率4個方面，以及自選演示項目，其評分安排如下：序號測試內容評分安排1功能性測試602精度評定103可靠性測試154效率測試105易操作性測試5合 計100自選演示項目不計分，但可作為專家現場評審的參考依據。（1） 功能性編號測試內容技術要求1系統建模（30分）模型/方法管理（4分）靈活性（1分）包含多種產匯流、模型/方法，各模型/方法可任意組合獨立性（1分）模型/方法構件封裝，僅通過數據接口機制實

8、現信息交換統一性（1分）各模型/方法對同一輸入、輸出要素具有相同格局的數據接口定義擴充性（1分）對模型/方法可進行添加、修改、刪除、導入導出、運行等維護操作預報方案構建（10分）方案定義（4分）確定預報站碼、計算時段長、預見期、預熱期、方案輸出類型、預報告警閾值、方案說明、水位流量關系曲線、庫容曲線、方案輸入個數和類型、上游根據站點、站點流量合成關系、預報方案結構框圖等流域圈畫（2分）流域邊界自動/人工圈畫確定方案模型（2分）添加、刪除、變更模型/方法、模型參數、狀態變量等雨量站控制權重（2分）利用泰森多邊形或其他方法，計算區域內雨量站的控制權重參數率定（16分）歷史數據處理（5分）對用于模型

9、參數率定的歷史水文氣象資料，包括洪水摘錄資料、洪水日資料、降雨摘錄資料和降雨日資料，進行等時段整編參數率定/檢驗（5分）錄入、修改、存儲參數，設定參數范圍或參數值，設定率定/檢驗期，選擇目標函數，設定統計閾值，參數經驗及合理性分析等參數優選（2分）選擇優化方法，自動/人工優選參數率定資料選取（2分）歷史、實時數據任意時間內或場次洪水選取、檢查、修改、展示預報方案維護（2分）檢索、查詢、更新、刪除、導入導出預報方案等功能2作業預報（30分）實時雨水情查詢（10分）雨情查詢（5分）各站降雨過程柱狀圖及數據表查詢、降雨量小時(時段)數據、日數據、旬月數據；區域降雨過程柱狀圖及數據表查詢、區域降雨等值

10、線/面圖繪制等水情查詢（5分）各站實時水情數據過程線及數據表查詢，包括小時數據、日數據、旬月數據、特征值等實時預報（14分）數值降雨預報（3分）能對未來降雨進行數值預報或能接入數值降雨預報數據實時洪水預報（5分）預報方案手動/自動運行,能夠以圖形表格方式展示運行結果實時洪水校正（3分）對洪水過程、單點數據進行自動/人工校正預報誤差統計（3分）任意時間內或場次洪水的洪峰流量/水位、洪峰出現時間、洪量（徑流量）的絕對誤差、相對誤差，確定性系數統計成果管理（6分）預報信息報表（2分）自動生成預報信息報表洪水預報精度評定（2分）任意時間內或場次洪水預報過程的合格率統計、確定性系數統計預報成果優選（2分

11、）多模型/方法計算結果的對比分析（2）精度評定序號精度等級得分范圍1優秀9-102良好7-83合格5-64不合格0-4(3)可靠性編號評測內容技術要求評分標準1成熟性（10分）系統應能夠不間斷的穩定運行。A. 在測試過程中，系統運行情況良好，可以很好地完成所述功能，基本沒有出錯（910）B. 在測試過程中，系統運行情況基本正常，可以完成所述功能，發生一般性錯誤（58）C. 在測試過程中，系統運行情況不正常，難以完成所述功能，發生嚴重性錯誤（14）D. 在測試過程中，系統發生致命性錯誤，無法繼續運行（0）2易恢復性（5分）軟件系統應具備自動或手動恢復措施，以便在發生錯誤時能夠快速地恢復正常運行。

12、A. 運行中出錯后不需人工干預即可恢復（5）B. 運行中出錯后需人工干預才可恢復（4）C. 運行中出錯后只能關閉重啟應用系統才可恢復正常（23）D. 運行中出錯后只能關閉計算機才可恢復正常（1）備注：如果在成熟性測試中未出現錯誤，檢測機構將模擬異常情況，例如強行斷電等進行測試。（4）效率編號評測內容技術要求評分標準1時間特性（5分）對軟件系統的各類人機交互操作、信息查詢、圖形操作等應實時響應。A. 在測試過程中，響應時間在合理范圍之內（5）B. 在測試過程中，響應時間超出合理范圍，但是可接受（14）C. 在測試過程中，響應時間超出合理范圍，不可接受（0）2資源特性（5分）對軟件系統的各類操作，

13、服務器的資源利用合理。A. 在測試過程中，資源利用合理（5）B. 在測試過程中，資源利用基本合理（14）C. 在測試過程中，資源利用明顯不合理，如有內存泄漏等現象（0）測試說明（一）測試點1、GIS操作：放大操作到某個地區或流域。2、模型計算耗時。（5）易操作性編號評測內容技術要求評分標準1易操作性（5分）應具有良好的簡體中文操作界面、詳細的幫助信息，系統參數的維護與管理通過操作界面完成。A. 操作簡單，容易理解，完全符合軟件信息表所述內容，很好地反映了其所在領域的特性（45）B. 比較容易操作，需花費一定的時間理解，基本符合軟件信息表所述內容，基本地反映了其所在領域的特性（23）C. 操作復

14、雜，難以理解，沒有很好地反映了其所在領域的特性（01）三、專家評審大綱1、 評審準備參評單位自行準備軟硬件及網絡環境，以及相應的軟件產品和測試數據。2、 評審內容及技術要求專家評審的內容包括系統的主要功能及自選演示項目的實用性、易用性、時效性、美觀性、先進性等方面進行評價，評審內容和其要求如下：編號演示/測評內容1總體結構（10分）采用的軟件結構（2分）采用的開發架構（2分）功能結構的合理性（6分）2系統建模（30分）模型/方法管理，包含多種產匯流、模型/方法，各模型/方法可任意組合，模型封裝合理，組合方便。（5分）預報方案構建：方案定義（3分）流域圈畫（2分）確定方案模型（2分）雨量站控制權重（2分）參數率定：歷史數據處理（5分）參數率定/檢驗（5分）參數優選（2分）率定資料選取（2分）預報方案維護（2分）3作業預報（25分）實時雨水情查詢雨情查詢（4分）水情查詢（4分）實時預報：數值降雨