1、軟件產品測評軟件產品測評作業指導書名稱：軟件產品測評作業指導書 第 1 頁 共 39 頁目 錄一一適用范圍適用范圍.2二二引用文件引用文件.2三三 軟件質量特性及有關術語定義軟件質量特性及有關術語定義.23.1 功能性 FUNCTIONALITY.23.2 可靠性RELIABILITY.33.3 易用性USABILITY.33.4 易操作性 OPERABILITY.43.5 效率 EFFICIENCY.43.6 可維護性 MAINTAINABILITY.43.7 可移植性 PORTABILITY.43.8 用戶文檔集USER DOCUMENTATION.53.9 產品說明 PRODUCT DE

2、SCRIPTION.53.10 測試用例 TEST CASE.53.11 判定VERDICT.53.12 判定準則VERDICT CRITERIA.5四四測試內容測試內容.64.1 用戶文檔集測試.64.2 功能性測試.74.3 可靠性測試.104.4 易用性測試.114.5 效率測試.174.6 可維護性測試.184.7 可移植性測試.184.8 產品說明測試.20五五 測評工作流程測評工作流程.235.1 需求調研.24名稱：軟件產品測評作業指導書 第 2 頁 共 28 頁5.2 需求確認.245.3 測評實施.24六六 軟件產品測評工作的組織軟件產品測評工作的組織.26七七 判定準則判定

3、準則.267.1 判定的準則.267.2 判定的度量.26八八 軟件產品測評中產生的相關文檔和記錄軟件產品測評中產生的相關文檔和記錄.27名稱：軟件產品測評作業指導書 第 3 頁 共 39 頁一一適用范圍適用范圍本細則適用于對軟件產品的測試。規定了在進行軟件產品測試時的引用文件（標準） 、軟件質量特性、測評方式、測評類型、測評內容、判定準則、測評工作流程等方面的要求。二二引用文件引用文件GB/T 25000.51-2010軟件工程 軟件產品質量要求與評價(SquaRE) 商業現貨(COTS)軟件產品的質量要求和測試細則 。GB/T 25000.1-2010軟件工程 軟件產品質量要求與評價(SQ

4、uaRE)SQuaRE指南 。GB/T 16260-2006信息技術 軟件產品評價 質量特性及其使用指南其它有關技術標準。有關法律、法規和內部規定。三三 軟件質量特性及有關術語定義軟件質量特性及有關術語定義3.13.1功能性功能性 functionalityfunctionality與現有的一組功能及其規定的性質有關的一組屬性。這里的功能是指滿足明確的或隱含的需求那些功能。GB/T 1626020063.1.1 適適合合性性 suitability與規定任務能否提供一級功能以及這些功能的適合程度有關的軟件屬性。3 3. .1 1. .2 2 準準確確性性 a ac cc cu ur ra ac

5、 cy y與能否得到正確或相符的結果或效果有關的軟件屬性。3 3. .1 1. .3 3 互互操操作作性性；3 3. .1 1. .4 4 互互用用性性 i in nt te er ro op pe er ra ab bi il li it ty y與同其他指定系統進行交互的能力有關的軟件屬性。3 3. .1 1. .5 5 依依從從性性 c co om mp pl li ia an nc ce e名稱：軟件產品測評作業指導書 第 4 頁 共 28 頁使軟件遵循有關的標準、約定、法規及類似規定的軟件屬性。3 3. .1 1. .6 6 安安全全性性 s se ec cu ur ri it ty

6、 y與防止對程序及數據的非授權的故意或意外訪問的能力有關的軟件屬性.3.23.2 可靠性可靠性 reliabilityreliability與在規定的一段時間和條件下，軟件維持其性質水平的能力有關的一組屬性GB/T 162602006。 3.2.1 成成熟熟性性 maturity與由軟件故障引起失效的頻度有關的軟件屬性。3.2.2 容容錯錯性性 fault tolerance與在軟件故障或違反指定接口的情況下，維持規定的性能水平的能力有關的軟件屬性。3.2.3 易易恢恢復復性性 recoverability與在失效發生后，重建其性能水平并恢復直接受影響數據的能力以及達此目的所需的時間和努力有關

7、的軟件屬性。3.33.3 易用性易用性 usabilityusability與一組規定或潛在的用戶為使用軟件所需做的努力并且對這樣的使用所作的評價有關的一組屬性GB/T 162602006。3.3.1 易易理理解解性性 understandability與用戶為認識邏輯概念及其應用范圍所花的努力有關的軟件屬性。程序的問題、消息和結果應是易理解的。3.3.2 易易學學性性 Learnability與用戶為學習軟件應用（例如運行控制、輸入、輸出）所花的努力有關的軟件屬性。3.3.3 易易瀏瀏覽覽性性 如果有多種媒體，則每種數據媒體應具有產品標識、可辨別編號或文本。程序宜易觀察易讀的形式向用戶提供信

8、息。名稱：軟件產品測評作業指導書 第 5 頁 共 28 頁3.43.4 易操作性易操作性 OperabilityOperability與用戶為操作和運行控制所花的努力有關的軟件屬性。3.53.5 效率效率 efficiencyefficiency與在規定的條件下，軟件的性質水平和所使用資源量之間的關系有關的一組屬性。GB/T 1626020063.5.1 時時間間特特性性 time behavior與軟件執行其功能時響應和處理時間以及吞吐量有關的軟件屬性。3.5.2 資資源源特特性性 resource behavior與軟件在執行其功能時所使用的資源數量及其使用時間有關的軟件屬性。3.63.6

9、 可維護性可維護性 maintainabilitymaintainability 與進行規定的修改所需的努力有關的一組屬性。GB/T 1626020063.6.1 易易分分析析 性性 analyzability與為診斷缺陷或失效原因及為判定待修改的部分所需努力有關的軟件屬性。3.6.2 易易改改變變性性 changeability與進行修改、排除錯誤或適應環境變化所需努力有關的軟件屬性。3.6.3 穩穩定定性性 stability與修改所造成的未預料結果的風險有關的軟件屬性。3.6.4 易易測測試試 性性 testability 與確認已修改軟件所需的努力有關的軟件屬性。3.73.7 可移植性

10、可移植性 portabilityportability與軟件可從某一環境到另一環境的能力有關的一組屬性。GB/T 1626020063.7.1 適適應應性性 adaptability與軟件無需采用有別于為該軟件準備的活動或手段就可能適應不同的規定名稱：軟件產品測評作業指導書 第 6 頁 共 28 頁環境有關的軟件屬性。3.7.2 易易安安裝裝性性 installability與在指定環境下安裝所需努力有關的軟件屬性。3.7.3 遵遵循循性性 conformance使軟件遵循與可移植性有關的標準或約定的軟件屬性。3.7.4 易易替替換換性性 replaceability與軟件在該軟件環境中有來替

11、代指定的其軟件的機會和努力有關的軟件屬性。3.83.8 用戶文檔集用戶文檔集 useruser documentationdocumentation以打印的或非打印形式得到的文檔的完整集合，用戶文檔的提供有利于產品的應用并且是產品的必備部分。 3.93.9 產品說明產品說明 productproduct descriptiondescription陳述軟件各種性質的文檔，其主要目的是幫助潛在的需方在采購前對該軟件進行適用性評價。 （包括全部封面信息、數據表、網站信息等。 ）GB/T 25000.51-2010。3.103.10 測試用例測試用例 testtest casecase測試者使用的文

12、檔化細則，其規定如何對某項功能或功能組合進行測試。包括測試目標、要測試的功能、測試環境和其他條件、測試數據、過程、系統的預期行為。3.113.11 判定判定 verdictverdict相對于測評項，對被測實現的結果給出“通過”或“不通過”等結論性陳述的行為。3.123.12 判定準則判定準則 verdictverdict criteriacriteria在測評項中規定的、使測評實驗室和測評人員對測評結果做出評定結論的名稱：軟件產品測評作業指導書 第 7 頁 共 28 頁依據。四四測試內容測試內容4.14.1 用戶文檔集用戶文檔集測試測試為了使用戶了解軟件的使用、操作和對軟件進行維護，軟件開發

13、者為用戶提供的詳細資料，稱為用戶文檔，即用戶手冊、操作手冊、維護手冊。用戶文檔集測試文檔的完備性、正確性、一致性、易理解性、易學性和可操作性：4 4. .1 1. .1 1 完完備備性性1) 用戶文檔集中是否包含使用該軟件的必須信息。2) 用戶文檔集是否包含在產品說明中陳述的所有功能以及最終用戶能使用的功能。3) 用戶文檔集中是否說明可靠性的特征及其操作。4) 用戶文檔集中是否列出所處置的和引起應用系統失效或終止的差錯和失效，特別是那些導致數據丟失的應用系統終止的結束條件。5) 用戶文檔集中是否給出必要數據的備份和恢復指南。6) 對于關鍵軟件功能（即失效后會對安全產生影響或會造成重大財產損失或

14、社會損失的軟件） ，用戶文檔集是否提供詳細的說明和參考信息。7) 用戶文檔集中是否陳述了產品文檔中給出的所有限制。8) 用戶文檔集中是否陳述了安裝該軟件所要求的最小和最大磁盤空間。9) 對用戶要完成的應用管理職能，用戶文檔集是否包括所有必要的信息。10)在用戶所完成的應用管理職能的信息中，應包括讓用戶能驗證是否成功完成應用管理職能的信息。11)如果用戶文檔集分若干部分，檢查是否有標識標識出所有部分。4 4. .1 1. .2 2 正正確確性性名稱：軟件產品測評作業指導書 第 8 頁 共 28 頁檢查用戶文檔集中的信息是否存在歧義。4 4. .1 1. .3 3 一一致致性性用戶文檔集是否自相矛

15、盾、互相矛盾以及與產品說明矛盾。4 4. .1 1. .4 4 易易理理解解性性1) 用戶文檔集中的術語和文體是否便于用戶理解。2) 是否有編排完整的文檔清單。4 4. .1 1. .5 5 易易學學行行用戶文檔集中是否包含便于用戶使用該軟件的必要信息。4 4. .1 1. .6 6 可可操操作作性性1) 如果用戶文檔集不是紙質文檔，檢查文檔中是否指明該文檔集能否被打印，如果能打印，檢查是否指出如何獲得打印件。2) 用戶文檔集是卡片和快速參考指南以外的文檔集，檢查是否給出目次（或主題詞列表）和索引。3) 檢查用戶文檔集中是否對不常用的術語和首字母縮略語加以定義。4.24.2 功能性功能性測試測

16、試4 4. .2 2. .1 1 安安裝裝與與卸卸載載1) 軟件由用戶安裝，用戶手冊和軟件能提供詳細的安裝導向和缺省設置，是否提供覆蓋、修復和重新安裝； 2) 安裝后，程序能否運行應是可鑒別的；3) 軟件是否能夠實現完全卸載（自動卸載、手動卸載）；4) 軟件完成安裝與卸載，是否影響其他的程序。4 4. .2 2. .2 2 軟件各功能模塊是否能夠全部掛接。4 4. .2 2. .3 3 用戶手冊中提到的所有功能應可執行。4 4. .2 2. .4 4 為完成工作任務，程序功能應正確執行。4 4. .2 2. .5 5 如果由于產品特定的邊界值致使產品使用受限，應提供這些邊界值：名稱：軟件產品測

17、評作業指導書 第 9 頁 共 28 頁1) 最小和最大值 ；2) 鍵的長度 ；3) 文卷中的記錄的最大數目；4) 檢索準則的最大數目；5) 最小樣本大小 ；4 4. .2 2. .6 6 安安全全性性 在軟件的質量特性中，安全性與功能、易用性有較大的關聯，安全性是通過某些功能的實現來體現的，易用性與安全性也緊密相連，同時也存在矛盾。軟件產品安全性測試主要測試項：（一） 、用戶管理和訪問控制1、用戶權限控制對于應用軟件來說，用戶權限的控制是比較重要的。一個用戶能夠訪問一個應用系統的權限主要來源于三個方面：應用軟件本身、操作系統和數據庫。應用軟件在在開發過程中，主要采用用戶名和密碼登錄的方式完成。

18、安全強度高的軟件也可采用指紋認證、智能卡認證等方式進行。 用戶名稱的測試用戶名稱應該具有惟一性。 同時存在的用戶名稱在不考慮大小寫的狀態下，不能夠同名； 對于關鍵領域的軟件產品和安全性要求較高發軟件，應當同時保證使用過的用戶在用戶刪除或停用后，保留該用戶記錄，并且新用戶不得與該用戶同名。用戶口令測試用戶口令應該滿足當前流行的控制模式，主要測試口令的強度、口令存儲的位置和加密強度。 最大口令時效：指定用戶可以保留當前口令的時間； 最小口令時效：指定用戶修改口令之前，用戶必須保留口令的時間； 口令歷史：確定系統將要記住的口令數量，如果用戶選擇的口令存在于口令數據庫中，系統將強制用戶選擇其他口令；

19、最小口令長度：對于用戶口令可以包含的最少的可以接受的名稱：軟件產品測評作業指導書 第 10 頁 共 28 頁 口令復雜度：在口令中要求用戶使用非字母數字的字符或大小寫字母； 加密選項：可以加密本地存儲的口令； 口令鎖定：在輸入非法口令達到規定的次數之后，系統將禁用這個帳戶。帳戶復位：帳戶鎖定后定義是否可以在規定的時間間隔后自動恢復。2、 操作系統安全性測試 是否關閉或卸載了不必要的服務和程序； 是否存在不必要的帳戶； 權限設置是否合理； 安裝相應的安全補丁程序的情況； 操作系統日志管理。3、 數據庫權限測試 數據庫管理用戶的設置應當注意對帳戶的保護，超級用戶的口令不得為空或默認口令。對數據庫的

20、帳號和組的權限應作相應設置。 數據庫中關于應用軟件用戶權限和口令存儲的相關表格，盡量采用加密算法進行加密； 根據不同的程序訪問數據庫的功能，使用不同的數據庫用戶進行連接，并且必須設置密碼。（二） 、通信加密通信加密是保證數據在傳輸過程中數據的保密性和一致性。軟件產品在技術上通常使用鏈路加密、數據加密的方式進行。目前，使用的加密技術包括VPN 技術、對稱加密算法、非對稱加密算法、HASH 算法。本測試細則按照客戶設計要求所使用的加密技術，采用驗證的方式進行測試。（三） 、安全日志測試安全日志是軟件產品被動防范的措施，但也是重要的防范功能。 日志應當記錄所有用戶訪問系統的操作內容，包括登錄用戶名稱

21、、登錄時間、瀏覽數據動作、修改數據動作、刪除數據動作、退出時間等； 日志的完整性、正確性；名稱：軟件產品測評作業指導書 第 11 頁 共 28 頁 大型應用軟件，系統是否提供了安全日志的統計分析能力。程序和數據其本身不能自相矛盾，產品描述和用戶文檔不能相互矛盾，每個術語應處處具有相同的含義，具有良好的一致性。 測試軟件程序和數據其本身是否產生自相矛盾； 測試軟件產品描述和用戶文檔是否相互矛盾； 測試軟件的每個術語是否處處具有相同的含義，是否具有良好的一致性。4.34.3 可靠性可靠性測試測試軟件產品可靠性是指軟件在規定的條件下和規定的時間內完成規定的功能的能力。軟件可靠性測試是對軟件產品的可靠

22、性進行調查、分析和評價的一個過程。4 4. .3 3. .1 1 軟件產品可靠性測試的主要目的：1發現軟件系統在需求、設計、編碼、測試、實施等方面存在的缺陷；2為軟件的使用和維護提供可靠性數據； 確認軟件是否達到可靠性的定量要求。4 4. .3 3. .2 2 軟件產品可靠性測試項：1、 確認可靠性目標。1、檢查被測試軟件的需求與設計是否一致；2、檢查軟件設計過程中形成的文檔的準確性、完整性與程序的一致性；3、檢查所交付的程序和數據是否符合要求；4、 檢查軟件支持環境是否符合要求。2、 測試在規定的時間內，軟件能夠正常運行的情況。軟件可靠性主要體現在其運行階段，所以“運行時間”既是“規定的時間

23、”的度量。 “運行時間”包括軟件系統運行后工作與掛起（開啟但空閑）的累計時間。因此，在規定的時間內，主要測試軟件是否能夠正常的運行。3、 測試在規定的條件下，軟件能夠正常運行。在軟件指定的運行環境中（即軟件系統運行時所需的各種支持要素。如：名稱：軟件產品測評作業指導書 第 12 頁 共 28 頁硬件平臺、操作系統、數據庫管理系統、中間件及其它支持軟件等） ，主要測試軟件是否能夠正常的運行。4、 測試軟件所要求的功能。軟件的可靠性與軟件規定的任務和功能有著密切的關系。軟件要完成的任務不同，運行的情況也會有所不同，調用的模塊、選擇的路徑也會不同，反映在可靠性方面也就可能不同。因此，要準確的度量軟件

24、的可靠性，重點測試軟件所規定的任務和功能是否能夠按照要求實現。5、 測試軟件的可靠度軟件的可靠性度是指在規定的時間內，規定的條件下，軟件不發生失效的概率。測試軟件在系統（包括硬件、要求的軟件及屬于該產品的程序）運行過程中，不應出現用戶無法控制的狀態，即不應崩潰也不應丟失數據。即使出現下列情況也應滿足上述要求：1 使用的容量達到規定的極限；2 企圖使用的容量超出規定的極限；3 其他程序或用戶造成的錯誤輸入；4 使用用戶手冊中明確規定的非法指令。不能用任何程序捕獲的硬中斷和操作系統中斷（例如，操作系統復為位用的鍵或組合鍵）不在此范圍內。6、 測試記錄在測試過程中必須真實地進行記錄，每個記錄應包含的

25、內容：1 測試的時間；2 含有測試用例的測試說明或標識；3 所有與測試有關的測試結果，包括生效數據；4 測試人員。4.44.4 易用性易用性測試測試通過選擇適當的術語、圖形、背景信息、幫助功能，使程序的問題、消息和結果是易理解的。名稱：軟件產品測評作業指導書 第 13 頁 共 28 頁出錯消息應提供解釋相應差錯產生原因和糾正的詳細信息。如果有多種媒體，則每種數據媒體應具有產品標識、可辨別編號或文本。屏幕輸入格式、報表和輸出設計清晰和易瀏覽。具嚴重后果的功能執行應是可逆或應給出明顯警告并在執行前要求確認。4 4. .4 4. .1 1 軟軟件件安安裝裝的的易易用用性性1） 、 安裝手冊評估。安裝

26、前，需要檢查安裝手冊或用戶文檔中的安裝說明。一般來說，安裝手冊需要對安裝平臺、安裝過程需要注意的問題以及手動配置的部分進行詳細說明。2） 、 安裝的自動化程度測試。由于制作安裝程序的軟件很多，許多軟件采用了自動安裝方式。但由于部分軟件的特殊性，有時必須采用一定的手動配置來完成安裝。因此，評測軟件安裝過程的自動化程度，一般來說，軟件安裝盡可能做到“全自動化” ，即使在不得已的情況下需要進行手動配置，也需要采取一些措施，比如選擇框方式等，使手動配置變得簡單和明確。3） 、 安裝選項和設置的測試。在安裝的過程中常常需要對安裝的項目進行選擇，也可能要設置不同的信息，比如：安裝路徑、安裝向導、缺省設置等

27、，安裝測試時需要對不同的選項和設置方案進行測試，論證各種方案是否能夠安裝成功。4） 、 安裝過程的中斷測試。一個大型的軟件有可能需要很長時間來進行安裝，如果因為斷電、文件沖突或讀寫錯誤導致安裝過程的非正常中斷，有可能使已進行的安裝前功盡棄。一個好的自動化安裝程序應該能夠記憶安裝的過程，當恢復安裝時，安裝程序能夠自動進行檢測，并從“斷點”進行安裝5） 、 安裝順序測試。對于大多數應用系統，特別是分別式系統，常常需要安裝軟件系統的不同組成部分。不同的安裝順序會導致安裝失敗，或引起一些不可預料的錯誤，例如，先安裝客戶端后安裝服務器，會導致莫些軟件的客戶端與服務器連接不上。因此，如果安裝手冊中未明確指

28、出安裝順序，則需要測試不同順序的安裝過程。6） 、 多環境安裝測試。不同的應用環境下安裝的情況也是不一樣的。因此，測試時需要在標準配置、最低配置和筆記本電腦三種環境中進行安裝測試。7） 、 安裝的正確性測試。在上述安裝測試后，還需要簡單的使用以驗證安名稱：軟件產品測評作業指導書 第 14 頁 共 28 頁裝的正確性，同時，還要考察對其他應用程序的影響。8） 、 恢復安裝與卸載測試。修復安裝主要是在軟件使用后，根據需要添加或刪除軟件的一些組件或者修復受損軟件。修復安裝和卸載應該是自動化的。修復、安裝、卸載是一個完整安裝程序中的不同選項。進行修復安裝時，需要檢查修復對軟件有無不良影響。4 4. .

29、4 4. .2 2 軟軟件件功功能能的的易易用用性性1、 業務符合性：主要測試軟件是否符合其所服務的領域的業務邏輯。要求軟件的界面風格、表格設計、業務流程、數據加密機制等必須符合相關的法律法規、業界標準規范以及使用人員的習慣。2、 功能定制性：為了適應用戶需求的不斷變化，軟件功能應該能夠靈活定制。如電子政務軟件的公文流轉可節點，應可以靈活定義；工資軟件中部門結構和人員歸屬應可以靈活調整。3、 業務模塊的集成度：主要測試軟件系統中業務模塊之間存在緊密關聯的程度。也就是在用戶操作界面下，緊密關聯的模塊能夠快捷的進行轉換。4、 數據共享能力：測試軟件數據庫表的關聯和數據重用問題，最大程度地減少用戶的

30、重復輸入，同時保證數據傳遞的一致性。5、 約束性：對于流程性比較強的業務操作，上一步操作完成以后，要強制進行下一步操作，這時需要軟件以向導或與屏蔽無關操作的方式來限制用戶的操作；另外，應以屏蔽或提示的方式阻止用戶輸入非法字符或進行損害數據和系統的操作，有效的避免用戶犯錯誤，減少系統出現異常的概率，提高系統的安全可靠性。6、 交互性：主要測試用戶操作的可見性和系統對用戶的反饋。也就是用戶的每一步操作都應有所回應或者提示，使用戶清晰地看到系統的運行狀態。7、 錯誤提示：測試軟件在關鍵操作完成后或數據刪除等操作前給出明確提示，操作錯誤或系統出現錯誤時，給出的出錯信息中提供差錯產生的原因，并指示如何進

31、入正確的步驟，幫助用戶從錯誤中恢復。4 4. .4 4. .3 3 用用戶戶界界面面名稱：軟件產品測評作業指導書 第 15 頁 共 28 頁用戶界面測試主要是核實用戶與軟件之間的交互，驗證用戶界面中的對象是否按照預期的方式運行，并且符合國家或行業的標準。用戶界面測試分為界面整體測試和界面中的元素測試。1. 界面整體測試。主要是對界面的規范性、一致性、合理性進行測試。規范性測試：軟件的界面要盡量符合現行的標準和規范，并在應用軟件中保持一致。對于一些特殊行業，由于系統使用環境和用戶使用習慣的特殊性，在所以以上標準時，還要對自身特殊的需要加以補充。2合理性測試：測試軟件界面是否與軟件功能相融合，界面

32、的顏色和布局是否協調。軟件界面測試一般通過觀察進行。比如：界面中元素的文字、顏色等信息是否與功能不一致；前景與背景色搭配是否合理協調；界面中元素大小和布局是否協調；窗口的比例是否合適。3一致性測試：主要測試軟件使用標準的控件、相同的信息表現方法，如在字體、標簽風格、顏色、術語、顯示錯誤信息等方面確保一致。界面一致性測試的要素： 布局是否一致，如所有窗口按鈕的位置和對齊方式要一致； 標簽和訊息的措辭是否一致； 界面外觀是否一致，如控件大小、顏色、背景和顯示信息等屬性要一致； 操作方法是否一致，如雙擊其中的項，使某些事件發生，那么，雙擊其他任何列表框中的項，都應該有同樣的事發生； 顏色的使用是否一

33、致，顏色的前后一致會使整個應用軟件有同樣的感觀； 快捷鍵在各個配置項上語義是否保持一致。 界面定制性測試。主要針對適用于多層次用戶的軟件，測試由于用戶熟練程度不同、使用頻度不同、角色不同，需要不同的操縱方式或用戶界面。界面定制性測試的要素： 界面要素的可定制性。可以允許用戶定義工具欄、狀態欄是否顯示，一些軟件可以定義菜單的位置；名稱：軟件產品測評作業指導書 第 16 頁 共 28 頁 工具欄的可定制性。工具欄為用戶使用常用的功能提供了方便，但不同的用戶對常用的理解是不同的，因此，軟件應當允許用戶自定義工具欄，包括建立新的工具欄，選擇要顯示的工具欄，定義工具欄上的按鈕。 統計檢索的可定制性。測試

34、檢索條件是否靈活、分類統計是否合理、是否允許用戶定義檢索條件和統計項； 報表的可定制性。測試報表表頭包括的項目、表格的行高列寬、表中數據的單位和顯示格式、分頁方式是否允許用戶自定義。2. 界面元素測試窗口測試 窗口控件的大小、對齊方向、顏色、背景等屬性的設置值是否和程序設計規約相一致。 是否顯示相關的下拉菜單、工具條、滾動條、對話框、按鈕、圖標和其他控制。 若窗口無法顯示，所有內容是否能夠改變大小、移動和滾動。 活動窗口是否能夠被反顯加亮。 窗口是否正確地關閉。 多個窗口疊加時，窗口的名稱是否顯示正確。 窗口的數據是否能夠利用鼠標、功能鍵、方向箭頭和鍵盤操作。 當窗口被覆蓋并重新調用后，窗口是

35、否能夠正確再生。如果所有多任務，是否所有的窗口被適時更新。窗口是否支持最大化或放大。窗口上的控件是否隨著窗體的縮放而縮放。父窗體支持縮放時，子窗體縮放也縮放。子窗口位置是否在父窗口的左上角或正中。當多個子窗口彈出時是否依次向右下方偏移以顯示出窗口標題為宜。重要的命令按鈕與使用頻繁的按鈕是否放在界面上醒目的位置。與正在進行的操作無關的按鈕應該加以屏蔽。按鈕的大小與界面的大小和空間是否協調。多窗口的切換響應時間是否過長。名稱：軟件產品測評作業指導書 第 17 頁 共 28 頁菜單測試 是否符合要求； 菜單項的措辭是否準確； 菜單項的順序是否合理； 圖形的布局是否一致。圖標測試 圖標是否符合常規的表

36、達習慣； 不同的目標是否采用不同的圖標； 圖標是否具有清晰的輪廓； 圖標的外形與實際功能是否相似； 圖標是否加有標注。鼠標測試在整個交互式語境中，是否可以識別鼠標操作；如果要求多次點擊鼠標，是否能夠在語境中正確識別；如果鼠標有多個按鈕，是否能夠在語境中正確識別；光標、處理指示器和識別指針是否隨操作恰當的改變；點擊選中而不是滑動停留選中；支持鼠標中的滑輪上下翻動操作；對于相同種類的的元素采用相同的操作激活；用沙漏表示系統忙，用手型表示可以點擊；鼠標無規則點擊時，是否會產生無法預料的后果；單擊鼠標右鍵是否彈出菜單，取消右鍵是否隱藏彈出的菜單。5文字測試文字是否零亂；是否拼寫正確，是否易懂，不存在歧

37、義性；是否表達了設計主題和構想意念。3. 輔助系統(幫助向導信息提示).一般來說，輔助系統包括幫助、向導和信息提示。幫助測試名稱：軟件產品測評作業指導書 第 18 頁 共 28 頁軟件應該提供所有規格說明和各種操作命令用法的幫助系統。對幫助系統測試的主要內容：1 前后一致性；2內容完整性；3可理解性；4方便性。向導測試1向導是否正確；2向導是否存在；3向導是否一致；4向導是否用在固定處理流程中。信息提示1信息提示是否具有可以理解的語言進行描述；2對重要的、有破壞性的命令是否提供確認措施；3信息是否具有判斷色彩，任何情況下，信息提示只能是引導和幫助用戶，而不是指責用戶。4信息提示是否具有統一的標

38、記標準的縮寫和隱含的顏色。4 4. .4 4. .4 4 中中文文符符合合性性界面中文符合性：界面使用規范的文字（簡體中文，GB2312）。字庫中文符合性：提示使用統一規范的文字。4.54.5 效率效率測試測試4 4. .5 5. .1 1 時時間間特特性性測試在規定的條件下,軟件產品執行其功能時,提供適當的響應和處理時間以及吞吐率的能力。（1）測試在規定的條件下,軟件產品執行其功能時,提供的響應時間；（2）測試在規定的條件下,軟件產品執行其功能時,提供的處理時間；（3）測試在規定的條件下,軟件產品執行其功能時,反映吞吐率的能力。4 4. .5 5. .2 2 資資源源利利用用性性名稱：軟件產

39、品測評作業指導書 第 19 頁 共 28 頁測試在規定的條件下,軟件產品執行其功能時,使用合適的數量和類型的資源的能力。（1）測試在規定的條件下,軟件產品執行其功能時,對磁盤的使用和影響程度；（2）測試在規定的條件下,軟件產品執行其功能時,對內存的占用和影響程度；（3）測試在規定的條件下,軟件產品執行其功能時,對 CPU 的使用和影響程度。4 4. .5 5. .3 3 效效率率依依從從性性測試軟件產品依附于同效率相關的標準或約定的能力。（1）對標準的依從性。測試軟件是否符合相關標準要求。（2）對約定的依從性。測試軟件是否滿足了相關的標準或設計的技術約定。4.64.6 可維護性可維護性測試測試

40、主要測試軟件產品可被修改的能力。修改包括修正、改進或軟件適應環境、需求和功能規格說明中的變化。4 4. .6 6. .1 1 易易分分析析性性（1）測試軟件產品是否具有診斷軟件本身的缺陷或生效原因的手段。（2）測試軟件產品是否具有判定軟件本身待修改部分的手段。4 4. .6 6. .2 2 易易改改變變性性 測試軟件產品進行修改后，使指定的修改是否可以被軟件實現的能力。4 4. .6 6. .3 3 穩穩定定性性 （1）測試軟件產品進行修改后，不會因為軟件的修改而造成意外的結果。 （2）測試軟件產品進行修改后，是否因為軟件的修改會降低軟件原來本身具有的性能。4 4. .6 6. .4 4 易易

41、測測試試性性 測試軟件產品使已修改軟件能被確認的能力。名稱：軟件產品測評作業指導書 第 20 頁 共 28 頁4 4. .6 6. .5 5 維維護護性性依依從從性性 測試軟件產品依附于同維護性相關的標準或約定的能力。（1）對標準的依從性。測試軟件產品是否符合同維護性相關的標準要求。（2）對約定的依從性。測試軟件產品是否滿足了同維護性相關的標準或設計的技術約定。4.74.7 可移植性可移植性測試測試測試軟件產品從某一環境到另一環境的能力。主要包括適應性、易安裝性、共存性、易替換性、依從性。4 4. .7 7. .1 1 適適應應性性測試軟件產品無需采用有別于為考慮該軟件的目的而準備的活動或手段

42、，就可能適應不同的指定環境的能力。 最低配置是否能夠滿足系統運行的需要。即軟件的功能能夠完整的實現，軟件的運行速度、響應時間 用戶可以忍受的范圍。 在推薦配置下系統響應迅速。應該注意推薦配置的合理性。 為了滿足不同的使用需求，軟件能否運行在多種硬件配置環境下，并且軟件各項功能和性能都能滿足設計要求。4 4. .7 7. .2 2 易易安安裝裝性性測試軟件產品在指定的環境中被安裝的能力。軟件安裝盡可能做到“全自動化” ，即使在不得已的情況下需要進行手動配置，也需要采取一些措施，比如選擇框方式等，使手動配置變得簡單和明確。 多環境安裝測試。不同的應用環境下安裝的情況也是不一樣的。因此，測試時需要在

43、標準配置、最低配置和筆記本電腦三種環境中進行安裝測試。恢復安裝。修復安裝主要是在軟件使用后，根據需要添加或刪除軟件的一些組件或者修復受損軟件。修復安裝應該是自動化的。進行修復安裝時，需要檢查修復對軟件有無不良影響。4 4. .7 7. .3 3 共共存存性性測試軟件產品在公共環境中同與其分享公共資源的其他獨立軟件共存的能名稱：軟件產品測評作業指導書 第 21 頁 共 28 頁力。與支持軟件的兼容性。測試軟件運行還需要哪些應用軟件支持。與其他同類軟件的兼容性。測試軟件與其他同類軟件安裝在同一系統上、同時使用，是否會造成其他軟件運行錯誤，或自身是否正確實現其功能。 與其他非同類軟件的兼容性。測試軟

44、件與其他非同類軟件安裝在同一系統上、同時使用，是否會造成其他軟件運行錯誤，或自身是否正確實現其功能。4 4. .7 7. .4 4 易易替替換換性性測試軟件產品在環境相同、目的相同的情況下替代另一個指定軟件產品的能力。 同類軟件的替換。測試在相同環境條件下、實現相同目的的同類軟件的替換程度。 操縱系統的替換。如果軟件承諾在多個操作系統上運行，需要測試軟件在不同的操縱系統平臺上的運行能力。4 4. .7 7. .5 5 可可移移植植性性依依從從性性測試軟件產品依附于同可移植性相關的標準或約定的能力。 對標準的依從性。測試軟件是否符合相關標準要求。 對約定的依從性。測試軟件是否滿足了相關的標準或設

45、計的技術約定。4.84.8 產品說明測試產品說明測試4 4. .8 8. .1 1 可可用用性性產品說明對于該產品的潛在需方和用戶應是可用的。4 4. .8 8. .2 2 內內容容1) 產品說明應包含潛在需方的信息，以便評價該軟件對其需要的適用性。2) 產品說明應排除內部的不一致。3) 產品說明中包括的說明應是可測試的或可驗證的。4 4. .8 8. .3 3 標標示示和和鑒鑒別別1) 產品說明應顯示唯一的標識。名稱：軟件產品測評作業指導書 第 22 頁 共 28 頁2) 軟件產品應以其名稱、版本和日期指稱。3) 產品說明應包含供方和至少一家銷售商、（當適用時）電子商務銷售商或分銷商的名稱和

46、地址（郵政的或網絡的）。4) 產品說明應標識該軟件能完成的預期的工作任務和服務。5) 當由法律或行政機構界定的要求適用于軟件產品、而供方想要聲稱符合于相應的需求文檔時，則產品說明應標識出這些需求文檔。6) 產品說明應指明軟件產品期望在單一系統上供多個并發最終用戶使用或供一個最終用戶使用，并且應說明在所要求的系統地所陳述的性能級別上可行的最大并發最終用戶數。7) 當產品說明引證已知的對其他軟件的用戶可調用的接口時，則應標識出這些接口或軟件。8) 產品說明應以適當的應用文檔指明軟件產品在何處依賴于特定軟件和（或）硬件。 這些引用可包括：軟件和（或）硬件的名稱；版本；特定操作系統。9) 產品說明應陳

47、述是否對運行軟件產品提供支持。10)產品說明應陳述是否提供維護。如果提供維護，則產品說明應陳述所提供的維護服務。4 4. .8 8. .4 4 功功能能性性陳陳述述1) 產品說明應包含有關功能性的陳述，要考慮適合性、準確性，安全保密性以及功能的依從性，并以書面形式展示可驗證的依從性依據。2) 產品說明應提供該產品中最終用戶可調用的功能的概述。3) 產品說明應說明所有的關鍵功能。4) 當有軟件組件的選項和版本時，應予指明。5) 對用戶功能性的所有已知的限制均應加以說明。6) 當提供對軟件的未授權訪問（不管是偶然的還是故意的）的預防措施時，則產品說明應包含這些信息。名稱：軟件產品測評作業指導書 第

48、 23 頁 共 28 頁4 4. .8 8. .5 5 可可靠靠性性陳陳述述1) 適用時，產品說明應根據GB/T 16260.-2006 包含有關可靠性的陳述，要考慮成熟性、容錯性、易恢復性以及可靠性的依從性，并以書面形式展示可驗證的依從性證據。2) 在遇有用戶接口出錯、應用程序自身的邏輯出錯、系統或網絡資源可用性引發差錯的情況下，產品說明應就軟件的繼續運行（即是可用的）能力作出說明。3) 產品說明應包括關于數據保存和恢復規程的信息。4 4. .8 8. .6 6 易易用用性性陳陳述述1) 產品說明應包含有關易用性陳述，要考慮易理解性、易學性、易操作性、 吸引性以及易用性的依從性，并以書面形式

49、寫出能夠正視可驗證得依從性依據。2) 產品說明應規定用戶接口的類型（如：命令行、菜單、視窗、瀏覽器、功能鍵、幫助功能） 。3) 產品說明應規定使用和操作該軟件所要求的專門知識。（如：所使用的數據庫調用和協議的知識；技術領域的知識；操作系統的知識；經專門培訓可獲得的知識；產品說明中已寫明的語言之外的其他語言的知識。）4) 當該軟件能由用戶作適應性修改時，則應標識用于修改的工具或規程及其使用條件。 使用的條件可以是：參數的變更；計算算法的變更；接口定制；功能鍵指派。5) 當預防版權侵犯的技術保護妨礙易用性時，則應陳述這種保護。（如：程序設置的使用截至日期；拷貝付費的交互式提醒。）6) 產品說明應包

50、括可訪問性的規定標示，特別是對有殘疾的用戶和存在語言差異的用戶。名稱：軟件產品測評作業指導書 第 24 頁 共 28 頁4 4. .8 8. .7 7 效效率率陳陳述述 產品說明應包含有關效率的陳述，要考慮時間特性、資源利用性以及效率的依從性，并以書面形式寫出能夠證實可驗證的依從性依據。4 4. .8 8. .8 8 可可維維護護性性陳陳述述1)產品說明應考慮易分析性、易改變性、穩定性、可測試性以及維護性的依從性，并以書面形式寫出能夠證實可驗證的依從性依據。2)產品說明應包括用戶所需的維護信息。監控應用程序的動態性能信息；監控不期望的實效和重要條件的信息；監控運行指示器（如日志、警告屏）的信息

51、；監控由應用程序處理本地數據信息。4 4. .8 8. .9 9 可可移移植植性性陳陳述述1) 產品說明應包含有關可移植性的陳述，要考慮適用性、易用性、共存性、易替換性以及可移植性的依從性，并以書面形式寫出能夠證實可驗證的依從性依據。2) 產品說明應規定將該軟件投入使用的不同配置或所支持的配置（硬件、軟件）。 系統包括：操作系統；處理器；主內存規模；外存的類型和規模；擴展卡；輸入和輸出設備；網絡環境；系統軟件和其他軟件。3) 產品說明應提供安裝規程信息。4 4. .8 8. .1 10 0 適適用用質質量量陳陳述述1) 產品應包含有關使用質量的陳述，在規定的使用周境中要考慮有名稱：軟件產品測評

52、作業指導書 第 25 頁 共 28 頁效性、生產率、安全性以及滿意度，并以書面形式寫出能夠證實可驗證性的依從性依據。2) 產品說明應給出測試報告的引用文件。五五 測評工作流程測評工作流程軟件產品測試的總體流程如下圖所示：5.15.1 需求調研需求調研送測單位與中心簽訂測試合同，并提交相關材料，測評實驗室根據送測單位提供的材料，進行需求調研，編制測試需求表 ；5.25.2 需求確認需求確認與送測單位溝通，確認測試需求。5.35.3 測評實施測評實施5 5. .3 3. .1 1 產產品品測測試試項項的的現現場場要要求求被測軟件包的所有交付項（包括載有程序和數據的物理介質、文檔）及被測產品文檔描述中已標識的需求文檔、數據和附件，都應提供到測試現場。產品測試前，應對產品進行標識，標識應具有統一性和唯一性。5 5. .3 3. .2 2 對對系系統統組組成成部部分分的的現現場場要要求求被測軟件包的產品文檔描述中已指明的所有計算機系統的組成部分（包括硬件和軟件支持環境）應被提供到測試現場，并進行試運行（如對系統進行掃描病毒檢查、調試各部件之間的連接和通信是否正常、可否與數據庫正常接口等） ，以確認其是否能正常運行。5 5. .3 3. .3 3 培培訓訓如果被測軟件包的產品描述中提到培訓，則測試人員應在測試活動實施前需求調研需