面向大數據應用的就緒可用軟件產品質量要求和測試細則目 次前 言 II范圍 1規范性引用文件 1術語和定義 1縮略語 3符合性 3軟件質量要求 3數據要求 8測試環境 9測試文檔集要求 9符合性評價細則 12I面向大數據應用的就緒可用軟件產品質量要求和測試細則范圍數據要求、測試環境、測試文檔集要求、符合性評價細則。本文件適用于面向大數據應用的就緒可用軟件產品的質量要求和測試。規范性引用文件（包括所有的修改單適用于本文件。GB/T20271-2006信息安全技術信息系統通用安全技術要求GB/T25000.51-2016（SQuaRE）51GB/T36344-2018信息技術數據質量評價指標術語和定義GB/T25000.51-2016界定的以及下列術語和定義適用于本文件。3.1需方acquirer從供方獲取或采購產品或服務的利益相關方。需方可能是以下之一：買主、顧客、擁有者、采購者。[來源:ISO/IEC12207:2008]3.2異常anomaly離。[來源：IEEEstd1044-2009]3.3應用管理職能applicationadministrationfunction由用戶履行的職能，包括安裝、配置、備份、維護（打補丁和升級）、卸載等。13.4符合性評價conformityevaluation對產品、過程或服務達到規定要求的程度所進行的系統性考核。[來源：ISO/IECGUIDE2：2004]3.5符合性評價報告conformityevaluationreport說明對RUSP實施評價的行為和結果的文檔。3.6面向大數據應用的就緒可用軟件產品readytousesoftwareproductbigdataapplicationoriented無論是否付費，任何用戶可以不經歷開發活動就能獲得的基于大數據相關應用的軟件產品。3.7就緒可用軟件產品readytousesoftwareproduct無論是否付費,任何用戶可以不經歷開發活動就能獲得的軟件產品。3.8最終用戶enduser最終受益于RUSP功能的個人。注：最終用戶可以是軟件產品的正式操作員;或是臨時用戶,例如公眾中的一員。[來源：GB/T25000.1—2010，4.14]3.9故障fault計算機程序中不正確的步驟、過程或數據定義。[來源：IEEEstd610.12—1998]3.10測試用例testcase為某個特定目標(例如,為演練具體的程序路徑或驗證對特定需求的依從性)而開發的輸入、執行條件以及預期結果的集合。[來源：IEEEstd610.12—1998]23.11測試文檔集testdocumentation測試活動特有的文檔匯集。[來源：IEEEstd610.12—1998]縮略語下列縮略語適用于本文件。RUSP：就緒可用軟件產品（ReadytoUseSoftwareProduct）RUSPBDAO：面向大數據應用的就緒可用軟件產品（ReadytousesoftwareproductBigdataapplicationoriented）符合性RUSPBDAO應符合以下條件：678測試期間發現的異常，可在產品發布前消除；若該異常違背產品廣告宣傳的性能，且不能消除，則應取消此種性能聲稱；可認為該異常是可接受的。軟件質量要求功能性測試項試用例設計應滿足以下幾個方面：每個功能特性應被一個或多個正常測試用例和一個或多個被認可的異常測試用例所覆蓋；測試用例的輸入應至少包括有效等價類值、無效等價類值和邊界數據值；逐項測試大數據就緒可用軟件產品設計說明規定的功能特性；測試軟件產品配置項之間及軟件配置項與硬件之間的接口；測試軟件產品輸出及其格式。功能完備性功能集對指定的任務、用戶目標、數據質量，應覆蓋功能用戶的需求。注1：功能可以在需求規格說明、設計規格說明、用戶手冊中進行指定。注2：當軟件產品無法實現指定的功能時，即檢測到缺少的功能。注3：功能包括對數據質量的要求。3功能正確性在特定的使用條件下，應提供具有所需精度的正確結果。注1：不正確的功能是指功能無法給出達到特定預期目標的合理、可接受的結果。注2：開發方或維護方可能通過評審或測試檢查單個功能，并決定功能能否為需求規格說明中定義的特定的目標提供正確的結果。在這種情況下，正確性的程度是由每個功能決定的。功能適合性在指定條件下使用時，應促使指定的任務和目標實現。依從性產品應遵循與功能性相關的標準、約定或法規以及類似規定。測試過程下列測試過程適用于RUSPBDAO的功能性測試：根據需求規格說明書、概要設計等相關軟件設計說明書，分析并拆分軟件產品功能點；100%；根據軟件產品相關設計說明，編制每條測試用例的執行步驟、測試結果；執行每條測試用例；檢驗執行結果是否滿足測試用例預期結果；根據執行結果填寫執行記錄和缺陷報告。可靠性成熟性軟件或組件在正常運行時應滿足可靠性要求。注：系統或軟件能力、運行場景或功能的比例等。容錯性余度、平均故障通告時間等。注：內部或外部容錯性測度與發生運行故障或違反規定接口時，軟件產品維持規定性能水平的能力有關。易恢復性發生中斷或失效時，軟件能夠恢復直接受影響的數據并重建期望的系統狀態。注：測試指標可包括軟件從失效中恢復需要的時間，以及定期備份數據項的比例。測試過程下列測試過程適用于可靠性：軟件產品操作過程中出現誤操作，包括填寫表單超出限制范圍，違反業務邏輯等；記錄檢測過程中軟件產品出現的故障及故障糾正數量；4情況；軟件產品在多臺終端上，通過自動化測試手段持續運行，查看其運行情況。易用性用戶使用。（使用質量的子集來進行指定或測量。可辨識性應確保用戶能夠辨識軟件是否適合其要求。易學性定目標，應可為指定用戶使用。注：測試指標可包括用戶指導完整性、輸入字段的默認值設置、差錯信息的易理解性、用戶界面的自解釋性等。易操作性軟件應具有易于操作和控制的屬性。注：測試指標可包括操作的一致性、消息的正確性、功能的易定制性、用戶界面的易定制性、監視能力、撤銷操作能力、消息分類的易理解性、外觀的一致性、輸入設備的支持性等。易訪問性在指定的使用周境中，為了達到指定的目標，軟件應被具有最廣泛的特征和能力的個體所使用。測試過程下列測試過程適用于易用性測試：查看用戶手冊內容，操作軟件產品過程中查看頁面布局，查看輸入輸出項的易理解性；查看用戶手冊、培訓手冊、系統文檔，查看文檔能否幫助用戶學習操作；用鍵盤快捷鍵；檢測過程中查看軟件產品頁面所有的元素是否美觀，具備吸引性。性能效率測試項RUSPBDAO時，應測試其所能承受壓力的強度，包括但不限于：響應時間：服務端響應事務的平均時長；每秒處理事務數：服務端每秒處理事務的數量；事務通過率：服務端處理事務的成功率；5CPUCPU內存占用率：服務端在處理事務時，服務器內存占用情況；I/O時間特性軟件時間特性應滿足以下幾方面要求：軟件執行其功能時，其響應時間、處理時間及吞吐量應滿足用戶需求；應滿足規定目標；定目標；測試吞吐量特性，測試軟件單位時間內完成作業的平均數量應滿足規定目標。容量軟件參數的最大限度應滿足需求。吞吐量和數據庫規模。資源利用性軟件執行其功能時，所使用的資源數量和類型應滿足需求。測試指標包括處理器平均占用率、內存平均占用率、I/O測試過程下列測試過程適用于性能（效率）測試：模擬測試場景操作步驟，與服務器建立連接，傳輸數據，并能得到正確的服務器反饋；回放操作步驟，模擬并發用戶操作典型應用場景，向服務器施加壓力；統計模擬多人操作時，服務端響應能力和服務器資源占用情況。維護性易分析性（變更軟件的一個或多個部分改部分。注：測試指標可包括系統日志完整性、診斷功能有效性和診斷功能的充分性等。模塊化由多個獨立組件組成的系統或計算機程序，其中一個組件的變更對其他組件的影響應最小。注：測試指標可包括組件間的耦合度、圈復雜度的充分性等。易測試性應能夠為軟件或組件建立測試準則，并通過測試執行來確定測試準則是否被滿足有效性和效率。注：測試指標可包括測試功能的完整性、測試獨立性和測試的重啟動性。6可重用性資產應能被用于多個系統或其他資產建設。注：測試指標可包括系統中可重復使用資產的數量、符合所要求編碼規則的模塊的數量。測試過程下列測試過程適用于維護性測試：查看服務端日志，檢測軟件產品分析診斷能力；查看軟件產品圖形化頁面及權限配置頁面，檢測軟件產品可配置能力；查看軟件產品配置參數元文件，檢測軟件產品修改能力；使用主流測試工具，檢測軟件產品對主流測試工具的支持。可移植性適應性軟件應能有效地、高效地適應不同的或演變的硬件、軟件或者其他運營（或使用）環境。注：測試指標可包括硬件環境的適應性、系統軟件環境的適應性、運營環境的適應性。易替換性在相同環境中，軟件應能替換另一個相同用途的指定軟件產品。注：測試指標可包括使用相似性、產品質量等價性、功能的包容性和數據復用/導入能力。易安裝性在指定環境中，軟件應能成功地安裝和/或卸載。注：測試指標可包括安裝的時間效率和安裝的靈活性。測試過程下列測試過程適用于可移植性測試：在多操作系統環境下安裝部署軟件產品服務端，檢測其運行情況；使用多種模式安裝，包括服務端和移動終端；安裝完成是否影響其他軟件產品的正常運行。軟件產品應能對數據進行保護,并對訪問控制實行權限管理，只允許授權用戶訪問。注：測試指標可包括訪問控制性、數據加密正確性和加密算法的強度等。完整性軟件產品應能識別并防止對數據的未授權訪問。軟件產品應具有基于先進加密算法的防篡改機制，識別并阻止對計算機程序或數據的篡改。防入侵性軟件產品應能識別并阻止惡意入侵事件，并通報給相關授權用戶。7抗抵賴性軟件產品應能確保事件發生后應可以被證實且不可被否認。注：測試指標可包括使用數字簽名，處理需要抗抵賴性事務的比例。可核查性軟件產品的運行活動應可以被唯一地追溯到該實體地。注：測試指標可包括對用戶訪問系統或數據地審計跟蹤地完整程度，系統日志存儲在穩定存儲器中地時間占要求地存儲時間的比例。真實性軟件產品在對處理對象或資源的合法身份標識應能夠被識別并證實其符合性。注：測試指標可包括鑒別機制的充分性和鑒別規則的符合性等。測試過程信息安全性的測試過程應符合GB/T20271-2006中5.2.6的規定。兼容性共存性品造成負面影響。注：測試指標可包括當規定的其他軟件產品與該軟件產品共享環境，而不會對質量特性或功能產生負面影響的比。互操作性兩個或多個軟件或組件應能夠交換信息并使用已交換的信息。注：測試指標可包括數據格式可交換性、數據交換協議充分性、外部接口充分性等。測試過程兼容性測試過程包括以下步驟：卸載、啟動、運行等操作，分別查看在終端上的運行情況；CPU數據要求GB/T36344-2018數據存儲量應符合面向大數據應用的就緒可用軟件產品測試用例的需求。測試數據應均衡分布在計算機集群的節點上。8測試環境硬件環境面向大數據應用的就緒可用軟件產品硬件測試環境應包括以下幾方面要求：應符合面向大數據應用的就緒可用軟件產品測試用例需求的分布式計算機節點集群；CPU可用軟件產品的數據存儲、計算和集群通訊等需求；CPU高性能的處理基礎。軟件環境面向大數據應用的就緒可用軟件產品軟件測試環境應包括以下幾方面要求：需求；應搭建面向大數據應用的就緒可用軟件產品測試用例需求的大數據處理框架，包括但不限于Hadoop、Spark測試文檔集要求目的測試文檔集的目的是證實軟件符合第6章、第7章的規定。一致性測試文檔集中的每個文檔所包含的信息應是正確的并且是可驗證的。測試文檔集中的每個文檔不應自相矛盾，并且不應與產品說明和用戶文檔集矛盾。內容要求測試文檔集應包含以下幾個文檔：測試計劃；測試說明；測試結果(報告)。測試文檔集中的每個文檔，應包括以下幾方面內容：標題；產品標識；修改歷史或說明該文檔演變的任何其他元素；目次或對內容的說明；該文檔正文中引用的文檔的標識符；有關作者和審查者的信息；f)術語表。9方法6用戶文檔集中說明的所有功能，均應經過至少一個測試用例的測試。測試用例應能驗證軟件與用戶文檔集中的陳述相符。應指明測試用例的設計方法。注：可能的設計方法有：邊界值分析、檢查表、數據流分析、故障插入、容量測試。安裝規程應經過測試用例測試。在產品說明和用戶文檔集中指明的操作限制，均應經過測試用例測試。對違法輸入應經過測試用例測試。例。測試計劃要求通過-失敗準則測試計劃應明確用于判定測試結果是否符合要求的符合性準則。測試環境測試計劃應明確將要進行的測試所處的軟件測試環境。進度測試計劃應明確整個測試的進度。風險測試計劃應識別、更新和記錄測試活動中存在的風險，并提供應對措施。人力資源測試計劃中應明確測試活動所需的人力資源情況。工具和環境資源測試計劃中應明確測試活動所需的工具，必要的測試環境。測試說明要求測試用例說明對每個測試用例的說明應包括以下幾個方面：測試目標；唯一性標識符；測試的輸入數據和測試邊界；詳細實施步驟；系統的預期行為；測試用例的預期輸出；10結果判定準則；用于判定測試用例的肯定或否定結果的準則。測試規程測試規程應包括以下幾個步驟：測試準備；開始和執行測試所必需的動作；記錄測試結果所必需的動作；停止和最終重啟動測試的條件和動作；在軟件被糾正之后,對于所涉及的功能和任何相關的功能,應有一種重新測試的規程。執行報告應包含以下內容：全部測試用例結果；已正式按照測試計劃執行的測試用例；測試用例的標識符；測試執行日期；測試人員姓名和職責；測試用例