第15章軟件產品評價

在軟件業界普遍認同通過評估和改進軟件過程可以提高軟件質量的趨勢下，通過采用規范化的軟件產品評價過程，對開發組織開發的、商業現貨提交或定制的軟件產品等進行評價，也是推動軟件產品質量進一步提高的一項重要手段。2022/11/1第15章軟件產品評價 在軟件業界普遍認同通過評估和改進軟件§

15.1軟件產品評價的概念 通過軟件產品評價，為有關各方提供關于軟件產品質量可以理解、可以接受并且是可以信賴的定量評價結果，為軟件的推廣或者采用提供可以依賴的客觀依據。其潛在的好處如下：（1）開發者可以利用評價結果確定糾正措施（2）產品的供方可以從評價中對其產品的價值充滿信心（3）產品的需方可以把評價結果用作獲取決定所依據的客觀數據（4）推廣軟件產品的評價將有助于與把產品質量作為一個營銷參數2022/11/12§15.1軟件產品評價的概念 通過軟件產品評價，為有關15.1.1軟件產品評價的定義

--根據特定的規程，對軟件產品的一個或多個特性執行評估的技術操作

也就是說，按照一定的程序要求，通過測量、評審等方式確定軟件產品與質量要求間的符合程度，這種符合程度既與對軟件產品的明確要求有關，也涉及隱含的要求，即軟件產品的質量?！?5.1軟件產品評價的概念2022/11/1315.1.1軟件產品評價的定義§15.1軟件產品評價的§15.1軟件產品評價的概念15.1.2軟件產品評價級別 在GB/T18492-2001標準中，系統和軟件的完整性依據系統風險的可容忍度被分為A、B、C、D共4個等級。2022/11/14§15.1軟件產品評價的概念15.1.2軟件產品評價級§

15.2軟件產品評價的通用模型2022/11/15§15.2軟件產品評價的通用模型2022/10/225§15.2軟件產品評價的通用模型15.2.1確定評價需求1.確立評價目的 確立評價目的是為了直接支持開發和獲得能滿足用戶要求的軟件2.標識產品類型 標識要評價產品的類型，確定本次要評價的軟件是中間產品還是最終軟件產品，類型取決于所處的生存周期的階段和評價的目的。3.規定質量模型 將一個被評價的軟件產品質量分解成幾種不同特性，通過質量特性、子特性或質量屬性來描述產品的質量需求。表15-22022/11/16§15.2軟件產品評價的通用模型15.2.1確定評價§15.2軟件產品評價的通用模型15.2.2規定評價1.選擇度量

GB/T16260《軟件工程產品質量》通過給出若干度量元的方式列出了一些行之有效的測量方法。2.確定度量評定等級

將產品滿足質量需求的程度進行分類，也就是建立評價結果的度量標度，以便將評價結果映射到某一標度上。表15-2度量等級3.確立評估準則

可以按照軟件的完整性級別、規定的質量模型和優先順序列出要評價的質量特性和子特性，選擇的內部、外部或使用質量的度量，可能的驗收準則等。2022/11/17§15.2軟件產品評價的通用模型15.2.2規定評價2§15.2軟件產品評價的通用模型15.2.3設計評價

設計評價的主要活動是制定評價計劃，這一活動的輸入是評價規格說明，輸出是評價計劃。評價計劃描述了評價方法和評價者活動的進度表，其結果是評價計劃或一個評價模塊。2022/11/18§15.2軟件產品評價的通用模型15.2.3設計評價2§15.2軟件產品評價的通用模型15.2.4執行評價這一活動的輸入是評價計劃，輸出是評價報告和評價數據。執行評價包括獲取測量數據、與評估準則相比較和給出評價結果3個主要活動。2022/11/19§15.2軟件產品評價的通用模型15.2.4執行評價2§15.3評價者用的評價過程15.3.1評價者進行評價的相關概念

當今軟件專業化分工越來越細化，有越來越多的軟件開發組織或軟件的需方傾向于將軟件產品提交給獨立的第三方專業機構進行客觀的評價，不僅體現公正性，也有助于發現軟件中的問題。 第三方評價者用的評價過程與開發者和需方用的評價過程最大的不同是，它強調獨立性。評價原則如下：（1）可重復性（2）可再現行（3）公正性（4）客觀性2022/11/110§15.3評價者用的評價過程15.3.1評價者進行評價的§15.3評價者用的評價過程

1.評價的參與者及其職責 評價的請求者和評價者是參與評價者用的評價過程的兩類角色，評價過程是由兩者共同實施的一組活動構成。這里可能涉及的請求者包括：軟件的供方、需方、開發者、用戶；可能涉及的評價者包括：第三方測試實驗室，實施產品比較評價的機構或者供方組織、需方組織和系統集成組織中的測試評價實體。2022/11/111§15.3評價者用的評價過程2022/10/2211§15.3評價者用的評價過程

請求者的職責如下：（1）對評價的軟件產品擁有合法的權利（2）為標識和描述產品提供必要的信息（3）提供最初的評價需求（4）說明對評價提交的信息加以保密的要求（5）必要時還應滿足其他的相關需求2022/11/112§15.3評價者用的評價過程2022/10/2212§15.3評價者用的評價過程

評價者的職責如下：（1）確認申請者對提交評價的軟件產品擁有充分合法的權利（2）按照要求對申請者提供的所有信息保密（3）提供有資格的經過培訓的人員實施評價（4）提供適當的評價工具和技術（5）按照評價需求實施評價（6）保留評價期間影響評估結果的所有工作記錄（7）保證及時間申請者交付評價報告（8）按照申請者要求的程度是評價的活動可視化2022/11/113§15.3評價者用的評價過程 評價者的職責如下：202§15.3評價者用的評價過程

2.評價者和請求者之間的相互影響

在評價過程中評價者和請求者之間的活動表現在如下幾個方面：（1）評價需求階段：通常是請求者指定評價需求和評價者接受評價需求（2）評價規格說明階段：評價者將根據交付的產品信息的評價需求指定評價規格說明（3）評價設計階段：評價者根據評價規格說明中的條款制定一個評價計劃，請求者可以接受或者拒絕這一提議（4）評價執行階段：評價者按照計劃執行評價（5）評價結論階段：評價者將評價報告交付給請求者2022/11/114§15.3評價者用的評價過程 2.評價者和請求者之間的相§15.3評價者用的評價過程

3.評價需要考慮的問題（1）被評價的軟件產品是為滿足特定需求而開發的，評價的請求者可能會提出特定的評價需求，因而評價目標也會隨之不同（2）被評價的軟件產品是由各個部件構成的，但由于開發方法的不同，其劃分、形式等也可以有所不同（3）能用于評價的技術有很多，在選擇時應考慮評價目標和軟件產品組成特點2022/11/115§15.3評價者用的評價過程 3.評價需要考慮的問題20§15.3評價者用的評價過程15.3.2評價過程的實施2022/11/116§15.3評價者用的評價過程15.3.2評價過程的實施§15.3評價者用的評價過程 1.確立評價需求

確立評價需求的目的就是以軟件產品的不同用戶為視角，如產品的需方、供方、開發者、操作者或維護者等，來描述評價目標，而這些目標關系到軟件產品的預期用途和相關風險。聯合評審應注意如下問題：（1）評價范圍（2）所需信息（3）質量需求2022/11/117§15.3評價者用的評價過程 1.確立評價需求2022/§15.3評價者用的評價過程

2.規定評價 規定評價規格說明的輸入是上一步批準的評價需求，輸出是雙方共同認可批準的評價規格說明。這一活動的主要任務如下：（1）標識要評價的產品（2）規定評價所用的技術和方法（3）對照評價需求驗證評價規格說明2022/11/118§15.3評價者用的評價過程 2.規定評價2022/10§15.3評價者用的評價過程

3.設計評價 評價者應制定一個評價計劃來描述評價所需要的資源，應把評價者使用的測量規程編寫成文檔，以便于執行評價規格說明中規定的測量。它的輸入是評價規格說明，輸出是評價計劃。這一活動主要任務如下：（1）編寫評價計劃（2）優化評價計劃（3）根據可用資源安排評價活動的進度2022/11/119§15.3評價者用的評價過程 3.設計評價2022/10§15.3評價者用的評價過程 4.執行評價 按照評價規格說明中的規定和評價計劃的安排，評價者執行具體的評價動作，得到測量和驗證的結果。它的輸入是評價計劃，輸出是評價報告草案和評價記錄。本活動的主要任務如下：（1）產品部件的管理（2）評價數據的管理（3）評價工具的管理（4）現場評價的管理（5）特定評價技術使用要求的管理2022/11/120§15.3評價者用的評價過程 4.執行評價2022/10§15.3評價者用的評價過程

5.作出評價結論 對執行評價輸出的評價報告草案進行評審和評價數據管理。 評價者對評價數據的管理，可以采用多種方法，具體如下：（1）將評價的文檔歸還請求者（2）評價報告和評價記錄均在一個規定的期限保存（3）所用其他數據應在一個規定的期限內保存2022/11/121§15.3評價者用的評價過程 5.作出評價結論2022/§

15.4產品評價實例 本節通過一個由某軟件開發機構開發的ERP（EnterpriseResourcePlanning企業資源計劃）軟件系統實例，介紹軟件評價的具體過程與方法。 ERP簡介：ERP是一種主要面向制造行業進行物質資源、資金資源和信息資源集成一體化管理的企業信息管理系統。ERP是一個以管理會計為核心可以提供跨地區、跨部門、甚至跨公司整合實時信息的企業管理軟件。針對物資資源管理（物流）、人力資源管理（人流）、財務資源管理（財流）、信息資源管理（信息流）集成一體化的企業管理軟件[1]。

2022/11/122§15.4產品評價實例 本節通過一個由某軟件開發機構開發§15.4產品評價實例15.4.1確立評價需求

在本實例中，被評價的ERP系統是一款面向國內執照企業的ERP軟件產品，基于Windows操作系統、SQLServer數據庫、采用C/S運行模式。該系統由公共子系統、計劃子系統、BOM（BillOfMaterial物料清單）子系統、庫存子系統、采購子系統、銷售子系統和財務子系統7個子系統組成。 確立對該軟件系統的評價需求的活動主要有確立評價目的、標識產品類型、規定質量模型（表15-3）組成。2022/11/123§15.4產品評價實例15.4.1確立評價需求2022§15.4產品評價實例15.4.2規定評價規格說明

規定評價的活動實際上就是規定評價的規格說明。它由選擇度量、確立度量評定等級和確立評估準則組成。這一活動的輸入是上一步的輸出--評價需求，它的輸出是評價規格說明。書上表格15-4規定了相關的評價的權重。 根據GB/T14598-6對軟件評價規格應包括如下內容：（1）評價范圍（2）評價的輸入和度量（3）評價結果的解釋準則（表15-5）2022/11/124§15.4產品評價實例15.4.2規定評價規格說明20§15.4產品評價實例15.4.3設計評價

評價的設計主要是針對評價的規格說明進一步細化，并給出具體的測試用例2022/11/125§15.4產品評價實例15.4.3設計評價2022/1§15.4產品評價實例15.4.4執行評價對以上評價進行綜合考慮計算得出相關的評價結果。功能性評價的結果Q1：88.38%可靠性評價的結果Q2：99.11%易用性評價的結果Q3：86.00%總體評價質量Q=Q1*0.4+Q2*0.3+Q3*0.3=90.86%2022/11/126§15.4產品評價實例15.4.4執行評價2022/1§15.4產品評價實例15.4.5編寫評價報告根據上述評價過程所產生的記錄和結果，編寫評價報告。2022/11/127§15.4產品評價實例15.4.5編寫評價報告2022§

15.5評價的策劃和管理15.5.1一般考慮和支持機構的主要任務評價支持機構的主要任務如下：（1）獲取與產品有關的標準和信息，以及必要時獲取有關專家的支持（2）基于項目需求和組織需求指定適當的內部標準和開發適當的工具（3）制定為評價設立基準的準則（4）評審軟件獲取和開發的效益和質量（5）收集和分析評價結果，并在組織內通過數據庫進行分發（6）基于組織內部和各項目評價的經驗，為技術轉移提供便利（7）支持評價項目及其各自的項目管理者2022/11/128§15.5評價的策劃和管理15.5.1一般考慮和支持機§15.5評價的策劃和管理支持機構和評價項目的關系2022/11/129§15.5評價的策劃和管理支持機構和評價項目的關系§15.5評價的策劃和管理15.5.2評價的管理支持1.評價策劃的組織級的管理支持（1）制定和實施改進軟件評價及支持技術的整體計劃（2）實施評價技術，將評價模塊納入配置控制之下，編制評價模塊文檔（3）為技術轉移準備培訓大綱（4）評估軟件評價的技術（5）管理評價經驗2.評價策劃的項目級的管理支持

項目級的評價一般由項目管理者來管理。項目管理者負責項目評價計劃的制定、評價活動的實施和評價所需資源的準備等。2022/11/130§15.5評價的策劃和管理15.5.2評價的管理支持2第15章軟件產品評價

在軟件業界普遍認同通過評估和改進軟件過程可以提高軟件質量的趨勢下，通過采用規范化的軟件產品評價過程，對開發組織開發的、商業現貨提交或定制的軟件產品等進行評價，也是推動軟件產品質量進一步提高的一項重要手段。2022/11/1第15章軟件產品評價 在軟件業界普遍認同通過評估和改進軟件§

15.1軟件產品評價的概念 通過軟件產品評價，為有關各方提供關于軟件產品質量可以理解、可以接受并且是可以信賴的定量評價結果，為軟件的推廣或者采用提供可以依賴的客觀依據。其潛在的好處如下：（1）開發者可以利用評價結果確定糾正措施（2）產品的供方可以從評價中對其產品的價值充滿信心（3）產品的需方可以把評價結果用作獲取決定所依據的客觀數據（4）推廣軟件產品的評價將有助于與把產品質量作為一個營銷參數2022/11/132§15.1軟件產品評價的概念 通過軟件產品評價，為有關15.1.1軟件產品評價的定義

--根據特定的規程，對軟件產品的一個或多個特性執行評估的技術操作

也就是說，按照一定的程序要求，通過測量、評審等方式確定軟件產品與質量要求間的符合程度，這種符合程度既與對軟件產品的明確要求有關，也涉及隱含的要求，即軟件產品的質量?！?5.1軟件產品評價的概念2022/11/13315.1.1軟件產品評價的定義§15.1軟件產品評價的§15.1軟件產品評價的概念15.1.2軟件產品評價級別 在GB/T18492-2001標準中，系統和軟件的完整性依據系統風險的可容忍度被分為A、B、C、D共4個等級。2022/11/134§15.1軟件產品評價的概念15.1.2軟件產品評價級§

15.2軟件產品評價的通用模型2022/11/135§15.2軟件產品評價的通用模型2022/10/225§15.2軟件產品評價的通用模型15.2.1確定評價需求1.確立評價目的 確立評價目的是為了直接支持開發和獲得能滿足用戶要求的軟件2.標識產品類型 標識要評價產品的類型，確定本次要評價的軟件是中間產品還是最終軟件產品，類型取決于所處的生存周期的階段和評價的目的。3.規定質量模型 將一個被評價的軟件產品質量分解成幾種不同特性，通過質量特性、子特性或質量屬性來描述產品的質量需求。表15-22022/11/136§15.2軟件產品評價的通用模型15.2.1確定評價§15.2軟件產品評價的通用模型15.2.2規定評價1.選擇度量

GB/T16260《軟件工程產品質量》通過給出若干度量元的方式列出了一些行之有效的測量方法。2.確定度量評定等級

將產品滿足質量需求的程度進行分類，也就是建立評價結果的度量標度，以便將評價結果映射到某一標度上。表15-2度量等級3.確立評估準則

可以按照軟件的完整性級別、規定的質量模型和優先順序列出要評價的質量特性和子特性，選擇的內部、外部或使用質量的度量，可能的驗收準則等。2022/11/137§15.2軟件產品評價的通用模型15.2.2規定評價2§15.2軟件產品評價的通用模型15.2.3設計評價

設計評價的主要活動是制定評價計劃，這一活動的輸入是評價規格說明，輸出是評價計劃。評價計劃描述了評價方法和評價者活動的進度表，其結果是評價計劃或一個評價模塊。2022/11/138§15.2軟件產品評價的通用模型15.2.3設計評價2§15.2軟件產品評價的通用模型15.2.4執行評價這一活動的輸入是評價計劃，輸出是評價報告和評價數據。執行評價包括獲取測量數據、與評估準則相比較和給出評價結果3個主要活動。2022/11/139§15.2軟件產品評價的通用模型15.2.4執行評價2§15.3評價者用的評價過程15.3.1評價者進行評價的相關概念

當今軟件專業化分工越來越細化，有越來越多的軟件開發組織或軟件的需方傾向于將軟件產品提交給獨立的第三方專業機構進行客觀的評價，不僅體現公正性，也有助于發現軟件中的問題。 第三方評價者用的評價過程與開發者和需方用的評價過程最大的不同是，它強調獨立性。評價原則如下：（1）可重復性（2）可再現行（3）公正性（4）客觀性2022/11/140§15.3評價者用的評價過程15.3.1評價者進行評價的§15.3評價者用的評價過程

1.評價的參與者及其職責 評價的請求者和評價者是參與評價者用的評價過程的兩類角色，評價過程是由兩者共同實施的一組活動構成。這里可能涉及的請求者包括：軟件的供方、需方、開發者、用戶；可能涉及的評價者包括：第三方測試實驗室，實施產品比較評價的機構或者供方組織、需方組織和系統集成組織中的測試評價實體。2022/11/141§15.3評價者用的評價過程2022/10/2211§15.3評價者用的評價過程

請求者的職責如下：（1）對評價的軟件產品擁有合法的權利（2）為標識和描述產品提供必要的信息（3）提供最初的評價需求（4）說明對評價提交的信息加以保密的要求（5）必要時還應滿足其他的相關需求2022/11/142§15.3評價者用的評價過程2022/10/2212§15.3評價者用的評價過程

評價者的職責如下：（1）確認申請者對提交評價的軟件產品擁有充分合法的權利（2）按照要求對申請者提供的所有信息保密（3）提供有資格的經過培訓的人員實施評價（4）提供適當的評價工具和技術（5）按照評價需求實施評價（6）保留評價期間影響評估結果的所有工作記錄（7）保證及時間申請者交付評價報告（8）按照申請者要求的程度是評價的活動可視化2022/11/143§15.3評價者用的評價過程 評價者的職責如下：202§15.3評價者用的評價過程

2.評價者和請求者之間的相互影響

在評價過程中評價者和請求者之間的活動表現在如下幾個方面：（1）評價需求階段：通常是請求者指定評價需求和評價者接受評價需求（2）評價規格說明階段：評價者將根據交付的產品信息的評價需求指定評價規格說明（3）評價設計階段：評價者根據評價規格說明中的條款制定一個評價計劃，請求者可以接受或者拒絕這一提議（4）評價執行階段：評價者按照計劃執行評價（5）評價結論階段：評價者將評價報告交付給請求者2022/11/144§15.3評價者用的評價過程 2.評價者和請求者之間的相§15.3評價者用的評價過程

3.評價需要考慮的問題（1）被評價的軟件產品是為滿足特定需求而開發的，評價的請求者可能會提出特定的評價需求，因而評價目標也會隨之不同（2）被評價的軟件產品是由各個部件構成的，但由于開發方法的不同，其劃分、形式等也可以有所不同（3）能用于評價的技術有很多，在選擇時應考慮評價目標和軟件產品組成特點2022/11/145§15.3評價者用的評價過程 3.評價需要考慮的問題20§15.3評價者用的評價過程15.3.2評價過程的實施2022/11/146§15.3評價者用的評價過程15.3.2評價過程的實施§15.3評價者用的評價過程 1.確立評價需求

確立評價需求的目的就是以軟件產品的不同用戶為視角，如產品的需方、供方、開發者、操作者或維護者等，來描述評價目標，而這些目標關系到軟件產品的預期用途和相關風險。聯合評審應注意如下問題：（1）評價范圍（2）所需信息（3）質量需求2022/11/147§15.3評價者用的評價過程 1.確立評價需求2022/§15.3評價者用的評價過程

2.規定評價 規定評價規格說明的輸入是上一步批準的評價需求，輸出是雙方共同認可批準的評價規格說明。這一活動的主要任務如下：（1）標識要評價的產品（2）規定評價所用的技術和方法（3）對照評價需求驗證評價規格說明2022/11/148§15.3評價者用的評價過程 2.規定評價2022/10§15.3評價者用的評價過程

3.設計評價 評價者應制定一個評價計劃來描述評價所需要的資源，應把評價者使用的測量規程編寫成文檔，以便于執行評價規格說明中規定的測量。它的輸入是評價規格說明，輸出是評價計劃。這一活動主要任務如下：（1）編寫評價計劃（2）優化評價計劃（3）根據可用資源安排評價活動的進度2022/11/149§15.3評價者用的評價過程 3.設計評價2022/10§15.3評價者用的評價過程 4.執行評價 按照評價規格說明中的規定和評價計劃的安排，評價者執行具體的評價動作，得到測量和驗證的結果。它的輸入是評價計劃，輸出是評價報告草案和評價記錄。本活動的主要任務如下：（1）產品部件的管理（2）評價數據的管理（3）評價工具的管理（4）現場評價的管理（5）特定評價技術使用要求的管理2022/11/150§15.3評價者用的評價過程 4.執行評價2022/10§15.3評價者用的評價過程

5.作出評價結論 對執行評價輸出的評價報告草案進行評審和評價數據管理。 評價者對評價數據的管理，可以采用多種方法，具體如下：（1）將評價的文檔歸還請求者（2）評價報告和評價記錄均在一個規定的期限保存（3）所用其他數據應在一個規定的期限內保存2022/11/151§15.3評價者用的評價過程 5.作出評價結論2022/§

15.4產品評價實例 本節通過一個由某軟件開發機構開發的ERP（EnterpriseResourcePlanning企業資源計劃）軟件系統實例，介紹軟件評價的具體過程與方法。 ERP簡介：ERP是一種主要面向制造行業進行物質資源、資金資源和信息資源集成一體化管理的企業信息管理系統。ERP是一個以管理會計為核心可以提供跨地區、跨部門、甚至跨公司整合實時信息的企業管理軟件。針對物資資源管理（物流）、人力資源管理（人流）、財務資源管理（財流）、信息資源管理（信息流）集成一體化的企業管理軟件[1]。

2022/11/152§15.4產品評價實例 本節通過一個由某軟件開發機構開發§15.4產品評價實例15.4.1確立評價需求

在本實例中，被評價的ERP系統是一款面向國內執照企業的ERP軟件產品，基于Windows操作系統、SQLServer數據庫、采用C/S運行模式。該系統由公共子系統、計劃子系統、BOM（BillOfMaterial物料清單）子系統、庫存子系統、采購子系統、銷售子系統和財務子系統7個子系統組成。 確立對該軟件系統的評價需求的活動主要有確立評價目的、標識產品類型、規定質量模型（表15-3）組成。2022/11/153§15.4產品評價實例15.4.1確立評價需求2022§15.4產品評價實例15.4.2規定評價規格說明

規定評價的活動實際上就是規定評價的規格說明。它由選擇度量、確立度量評定等級和確立評估準則組成。這一活動的輸入是