ICS35.080DB37DB37/T3048—2017自主可控軟件測試與認證規范2017-112017-11-2017-12-山東省質量技術監督局發布I前言 1范圍 1 13術語和定義 14自主可控軟件要求 24.1自主性要求 24.2用戶文檔要求 24.3軟件質量要求 25測試內容 35.1總則 35.2自主性測試 35.3功能性測試 35.4安全性測試 45.5可靠性測試 45.6易用性測試 55.7性能效率測試 55.8維護性測試 55.9兼容性測試 55.10用戶文檔測試 66測試流程 66.1測試樣品提交 66.2測試需求分析 66.3測試計劃 66.4測試設計 76.5測試環境準備 76.6測試執行 76.7測試結果匯總與分析 76.8測試結果評價 76.9報告編制 77測試實施要求 87.1測試計劃要求 87.2測試用例要求 87.3測試執行記錄要求 87.4符合性評價報告要求 88認證 88.1認證要求 8 98.3認證實施 98.4認證證書 9DB37/T3048—2017本標準按照GB/T1.1—2009給出的規則起草。本標準由山東省經濟和信息化委員會提出并歸口。本標準起草單位：山東省計算中心(國家超級計算濟南中心)、山東省軟件評測中心、山東道普測評技術有限公司、山東中創軟件商用中間件股份有限公司、山東瀚高基礎軟件股份有限公司、國家網絡軟件產品質量監督檢驗中心(濟南)、山東億云信息技術有限公司、山大電力有限責任公司、山東山大華天軟件有限公司、山東正中計算機網絡技術咨詢有限公司、山東華迪智能技術有限公司。本標準主要起草人：楊美紅、韓慶良、韓明軍、張海燕、劉娜、鄭玉華、周長倫、李繼才、張峻、吳梅磊、張建成、李釗、王平、張偉、張文治。1DB37/T3048—2017自主可控軟件測試與認證規范本標準規定了自主可控軟件要求、測試內容、測試流程、測試實施要求和認證。本標準適用于自主可控軟件的標準符合性測試與認證，也可供軟件生產商在設計、驗證、日常檢測和維護時參考。2規范性引用文件下列文件對于本文件的應用是必不可少的。凡是注日期的引用文件，僅所注日期的版本適用于本文件。凡是不注日期的引用文件，其最新版本(包括所有的修改單)適用于本文件。GB/T25000.51—2016系統與軟件工程系統與軟件質量要求和評價(SQuaRE)第51部分：就緒可用軟件產品(RUSP)的質量要求和測試細則3術語和定義GB/T25000.51—2016界定的以及下列術語和定義適用于本文件。國產軟件在中華人民共和國境內最終形成，其著作權歸屬中華人民共和國境內的自然人、法人或其他組織，并且在國內的開發成本不低于總開發成本的百分之五十的軟件產品。自主可控軟件由軟件生產商自身研發設計，全面掌握產品核心技術，擁有自主知識產權，可由軟件生產商自主維護來應對安全威脅的國產軟件。符合性評價報告說明對自主可控軟件實施評價的行為和結果的文檔。測試機構獲得中國實驗室國家認可委員會認可的具有軟件檢測能力的機構，認可的檢測能力范圍應至少包括對軟件功能性、可靠性、易用性，及性能效率的測試。2DB37/T3048—2017認證機構依據該標準對自主可控軟件實施認證的組織機構。4自主可控軟件要求軟件應自主研發，且擁有自主知識產權。4.2.1可用性要求用戶文檔對于該軟件的用戶應是可用的。4.2.2完備性要求用戶文檔應具有唯一標識，應包含使用該軟件所必需的信息，應說明最終用戶能調用的所有功能。4.2.3正確性要求用戶文檔中所有信息都應是正確的，且不應有歧義的信息。4.2.4一致性要求用戶文檔不應自相矛盾、互相矛盾，以及與產品說明矛盾。用戶文檔應采用軟件特定讀者可理解的術語和文體。4.3軟件質量要求4.3.1功能性要求軟件的功能是否能執行是可識別的；在給定的限制范圍內，用戶文檔中所陳述的所有功能應是可執軟件應能夠保護信息和數據，使未授權的人員或系統不能閱讀或修改這些信息和數據，而不拒絕授權人員或系統對它們的訪問。4.3.3可靠性要求軟件應按照用戶文檔中定義的可靠性特征來執行，應識別違反句法條件的輸入，并且不應作為許可的輸入加以處理；在用戶文檔陳述的限制范圍內使用時，不應丟失數據。有關軟件執行的各種問題、消息和結果都應是易理解的；對具有嚴重后果的功能執行應是可撤銷的，或者軟件應給出這種后果的明顯警告，并且在這種命令執行前要求確認。4.3.5性能效率要求3DB37/T3048—2017軟件應符合產品說明中有關性能效率的陳述。4.3.6維護性要求軟件應按照用戶文檔中定義的維護性特征來執行。軟件應按照用戶文檔和產品說明中所定義的兼容性特征來執行。針對自主可控軟件，從自主性、功能性、安全性、可靠性、易用性、性能效率、維護性、兼容性和用戶文檔等九個方面進行測試。其中，性能效率、維護性和兼容性部分作為考察項，其測試結果能夠更全面地展現軟件相應能力，但不用于軟件整體測試結果的評價。針對自主可控軟件要求，給出以下主要的測試項目。在實際執行過程中，可根據自主可控軟件自身特點及軟件生產商要求增加測試項目。對于自主性測試、功能性測試、安全性測試、可靠性測試、易用性測試和用戶文檔測試等六個類別，在符合性評價報告中應至少列出以下所有測試項目，對其中不適用的測試項目，應說明其不適用原因。測試內容如表1所示：表1自主性測試內容測試項目項目說明自主管理可行性與計劃研究應有相應的文檔或記錄能夠證明對軟件進行了可行性分析，并制定了開發計劃。需求分析應有相應的文檔或記錄能夠證明對軟件進行了需求分析。軟件設計應有相應的文檔或記錄能夠證明對軟件進行了設計。質量控制應有相應的文檔或記錄能夠證明對軟件進行了質量控制。版本控制應有相應的文檔、記錄能夠證明對軟件進行了版本控制。自主研發源代碼可執行驗證軟件源代碼編譯后生成的軟件的功能完整，且與用戶文檔描述的軟件功能一致。源代碼自主研發驗證軟件所有功能都應有對應的源代碼，且軟件核心功能應由自主研發的源代碼獨立實現。5.3功能性測試測試內容如表2所示：表2功能性測試內容測試項目項目說明完備性功能實現的完整性軟件中應包括產品說明中所描述的所有功能。正確性功能的正確性產品說明中所有的功能應都能正確執行。精度軟件中所有精度應與產品說明中的精度要求一致。4DB37/T3048—2017測試內容如表3所示：測試項目項目說明身份鑒別鑒別機制軟件應提供專用的登錄控制模塊對登錄用戶進行身份標識和鑒別。登錄失敗處理軟件連續多次登錄失敗時，可采取限制非法登錄次數、結束會話等措施。強口令策略軟件應啟用強口令策略，口令長度、類型等具有復雜度限制。會話超時機制軟件提供會話超時機制；會話超時后，應使會話進入休眠狀態或中斷連接。錯誤提示信息軟件認證錯誤提示信息中不存在確切錯誤分類信息。用戶權限控制權限控制功能軟件具有權限控制策略，對于每個角色用戶權限控制合理。越權控制機制軟件不存在橫向越權漏洞。軟件不存在縱向越權漏洞。權限控制范圍軟件權限控制范圍覆蓋系統的主要功能操作。限制默認賬戶權限軟件嚴格限制默認帳戶的訪問權限，默認用戶權限應合理。用戶最小權限原則軟件各角色用戶應根據業務特性及權限互斥原則，分配最小權限。訪問審計審計的廣泛性軟件審計范圍覆蓋所有角色用戶。審計的完整性軟件限制刪除、修改或覆蓋審計記錄，維護審計活動的完整性。審計內容全面性軟件審計記錄的內容至少包括事件的日期、時間、發起者信息、類型、描述和結果等。審計關鍵事件軟件重要安全事件記錄日志。數據安全數據保密性軟件重要信息或敏感信息加密傳輸或存儲。數據完整性應能夠檢測到重要用戶數據在傳輸過程中完整性受到破壞。數據有效性應提供數據有效性檢驗功能，保證通過人機接口輸入或通過通信接口輸入的數據格式或長度符合系統設定要求。5.5可靠性測試測試內容如表4所示：表4可靠性測試內容測試項目項目說明成熟性可控制性在測試過程中，軟件不應陷入用戶無法控制的狀態，如進入死循環，執行其他操作無響應。數據完整性在測試過程中，不應由于軟件故障而導致軟件丟失數據，破壞數據的完整性。避免失效在測試過程中，不應出現由于軟件的故障而導致系統失效的現象。容錯性抵御誤操作軟件應對非法輸入、非法操作等進行屏蔽處理。易恢復性在發生中斷或失效時，軟件能夠恢復直接受影響的數據，并重建期望的系統狀態。5.6易用性測試測試內容如表5所示：5DB37/T3048—2017測試項目項目說明易理解性描述的完整性用戶在閱讀產品說明后應能理解軟件的能力。明顯的功能軟件界面中所有的功能應易于識別。功能的易理解性軟件中所有界面對應的功能應易于理解。易理解的輸入輸出軟件界面中所有的輸入輸出項應易于理解。易學性用戶文檔和/或幫助機制的有效性軟件提供的聯機幫助系統和/或文檔應能有效地指導用戶完成相關操作。幫助的獲得性軟件應提供幫助的快速定位查找功能，以便用戶能正確定位所需的幫助內容。易操作性在使用中功能操作的一致性軟件中功能操作界面的組成應保持一致。在使用中消息的一致性軟件中提示的信息應易于指導用戶操作。使用中錯誤的糾正在使用軟件過程中，用戶應能成功撤銷其錯誤操作。使用中默認值的可用性軟件應提供參數值的默認值以方便用戶使用。使用中消息的可理解性軟件中的提示信息不應導致用戶操作停頓與失敗。在使用中操作錯誤的易恢復性軟件應對關鍵數據的操作給出警告或在執行前要求確認。(用戶錯誤糾正的)可還原性軟件應提供關鍵操作的可逆處理，以便用戶糾正錯誤。測試內容如表6所示：測試項目項目說明時間特性響應時間從發出請求到請求完成為止，用戶經歷的平均等待時間間隔。吞吐率軟件在給定的時間周期內有多少個任務成功的執行。資源特性CPU利用率在測試過程中服務器端CPU的平均使用率。資源特性內存利用率在測試過程中服務器端內存的平均使用率。容量并發用戶數軟件能夠支撐的最大并發用戶數量。存儲數據項數量軟件能夠支撐的最大存儲數據項數量。5.8維護性測試測試內容如表7所示：表7維護性測試內容測試項目項目說明易分析性狀態監視能力在運行中要記錄足以監視軟件狀態的數據。易修改性參數表示的修改性軟件應提供方便的參數修改手段，以便變更軟件適應新的應用。5.9兼容性測試測試內容如表8所示：6DB37/T3048—2017測試項目項目說明適應性硬件環境適應性軟件兼容產品說明中要求的國產硬件環境。軟件環境適應性軟件兼容產品說明中要求的國產軟件運行環境。共存性有效的共存性軟件能夠與產品說明中列舉的國產軟件共存運行。測試內容如表9所示：測試項目項目說明完備性標識指示用戶文檔應具有唯一的文檔標識。使用信息用戶文檔應包含使用該軟件所必需的信息。陳述所有功能用戶文檔應說明在產品說明中陳述的所有功能以及最終用戶能調用的所有功能。差錯和失效、數據丟失條件用戶文檔應列出所處置的和引起應用系統失效或終止的差錯和失效，特別是那些導致數據丟失的應用系統終止的結束條件。備份和恢復指南用戶文檔應給出必要數據的備份和恢復指南。關鍵功能細則對于所有關鍵的軟件功能(即失效后會對安全產生影響或會造成重大財產損失或社會損失的軟件),用戶文檔應提供完備的細則信息和參考信息。磁盤空間要求用戶文檔應陳述安裝所要求的最小和最大磁盤空間。應用管理對用戶要完成的應用管理職能，用戶文檔應包括所有必要的信息。集分標識如果用戶文檔分若干部分提供，在該集合中至少有一處應標識出所有的部分。正確性用戶文檔中所有信息都應是正確的，且不應有歧義的信息。一致性用戶文檔不應自相矛盾、互相矛盾，以及與產品說明矛盾。易理解性用戶文檔應采用軟件特定讀者可理解的術語和文體。6.1測試樣品提交送測樣品由各參測企業自主提交給測試機構。自測試開始后，參測企業提交的測試樣品不允許中途更換，否則視為作廢。各參測企業必須提供紙質或電子形式的可行性分析報告、開發計劃、需求分析說明書、軟件設計文檔、質量控制文檔、版本控制文檔、用戶文檔和產品說明，提供含有軟件源代碼的光盤介質，必要時有責任配合測試機構進行軟件安裝。6.2測試需求分析根據自主可控的軟件要求，以及用戶文檔和軟件產品說明，確定測試內容。6.3測試計劃根據測試內容，結合軟件類型、應用領域和運行環境等信息，確定測試活動的范圍、測試方法、測試進度和測試風險等內容，編制測試計劃。7DB37/T3048—20176.4測試設計根據測試內容及測試計劃中預定的測試方法，進行測試用例的設計。6.5測試環境準備按照測試設計要求，準備相應的測試環境，包括相關軟件、硬件設備，以及網絡環境等。6.6測試執行按照設計的測試用例，實施測試，形成測試記錄。6.7測試結果匯總與分析對測試記錄進行整理和綜合分析。6.8測試結果評價6.8.1自主性評價實施評價以確定軟件自主性與4.1要求的符合程度。6.8.2用戶文檔評價實施評價以確定用戶文檔與4.2要求的符合程度。6.8.3軟件質量評價實施評價以確定軟件質量與4.3要求的符合程度。6.9報告編制符合性評價報告應確立自主可控軟件與第4章要求的符合性。符合性評價報告應包含以下各項：a)自主可控軟件標識；b)執行評價的人員姓名；c)評價完成日期以及測試完成日期；d)用于進行測試的計算機系統(硬件、軟件及其配置);e)使用的文檔及其標識；f)符合性評價活動匯總和測試活動匯總；g)符合性評價結果匯總和測試結果匯總；h)符合性評價的詳細結果和測試的詳細結果(應該覆蓋所測試的每項測試內容及其對應的測試項目，且每個測試項目包括對應的測試要點及詳細測試結果);i)若有時，不符合要求項的清單。對于紙質的符合性評價報告而言，符合性評價報告的標識(測試實驗室、自主可控軟件標識、符合性評價報告日期)及其總頁數均應出現在符合性評價報告的每一頁上。符合性評價報告還應包含：a)效果聲明：測試結果和評價只與被測試和被評價的項有關；b)復制聲明：除非以完整報告的形式復制，否則未經測試實驗室書面批準不得復制符合性報告。7測試實施要求8DB37/T3048—2017自主可控軟件測試按照測試計劃、測試設計、測試執行、測試結果評價四步驟進行實施，每個步驟的產出物依次為測試計劃文檔、測試用例文檔、測試執行記錄文檔和符合性評價報告：測試計劃要求包括：a)通過—失敗準則，測試計劃應指明用于判定測試結果是否證實軟件與產品說明和用戶文檔的符合性準則；b)測試環境，測試計劃應規定將要進行的測試所處的軟件測試環境；c)進度，測試計劃應規定每個測試活動和測試里程碑的進度；d)風險，測試計劃應識別、更新并記錄測試活動中存在的風險，并提供應對措施；e)人力資源，測試計劃中應明確每個測試活動所需的人力資源情況；f)工具和環境資源，測試計劃中應明確執行測試活動所需的工具；g)溝通，測試計劃中應規定溝通機制和方式，以便在利益相關方之間共享測試文檔和測試項。測試用例要求包括：a)測試用例說明，每個測試用例的說明都應包括：測試目標、唯一性標識符、測試的輸入數據和測試邊界、詳細實施步驟、系統的預期行為、測試用例的預期輸出、用于判斷測試用例肯定或b)測試用例應對測試準備、開始和執行所必須的動作、停止和最終重新啟動測試的條件和動作進行說明；c)為提供測試的可重復性和可再現性，測試用例應足夠詳細。測試執行記錄要求包括：a)測試記錄應包括測試用例結果的全部匯總；b)測試執行記錄應證實已按測試計劃執行了所有測試用例；c)對于每個測試用例，測試執行記錄應包括測試用例標識符、測試執行日期、實施測試人員姓名和職責、測試用例執行的結果和發現的異常清單等。7.4符合性評價報告要求符合性評價報告要求可依據6.9中相關內容要求。8認