1、精選文檔軟件驗收標準探討（賓建偉信息產(chǎn)業(yè)部電子第五研究所,廣東廣州510610）摘要：目前,軟件產(chǎn)品在驗收過程中,常常會因各種原因發(fā)生糾紛,對此,提出了一套可參考的驗收標準,對軟件開發(fā)合同的簽訂和驗收工作具有指導(dǎo)意義。關(guān)鍵詞： 軟件驗收； 嚴重性等級； 驗收標準 中圖分類號： TP ；311.5文獻標識碼 ：A文章編號：1672-5468（2005）04-0010-04一、引言目前,國內(nèi)軟件產(chǎn)品在驗收過程中發(fā)生各種糾紛的情況層出不窮,甚至還有對簿公堂的情況。在其中一個軟件采購合同的糾紛中,采購合同的驗收標準一欄描述為（供需雙方按照中標的投標文件中的）驗收標準或雙方認可的標準分別對平臺行驗收。而

2、追溯到投標文件中的系統(tǒng)驗收條目,只列出了驗收時間(驗收項目(驗收工作程序,而沒有列出相關(guān)的驗收標準。業(yè)界都存在一種共識一個軟件存在缺陷錯誤是不可避免的。因此,軟件在提交驗收時,往往還會存在一些錯誤,如果只是比較少的(且危害性不大的錯誤,開發(fā)方在更正之后,用戶一般都會接受。那么,究竟軟件的錯誤數(shù)量是多少,其危害的程度又如何,才是用戶不能接受,或者開發(fā)方也承認是不能接受的呢目前國內(nèi)還沒有一個統(tǒng)一的標準,在開發(fā)合同中一般也沒有列明這些條款。這樣,必然會在驗收時,發(fā)生相互扯皮(推卸責(zé)任的事情。而且,國內(nèi)大部分的軟件開發(fā)商還沒有建立起一支訓(xùn)練有素的測試隊伍,對測試也不重視,往往是開發(fā)人員自己進行設(shè)計(編

3、碼后,再進行簡單的測試就提交給用戶,將實際的測試工作交給了用戶去做。而開發(fā)方在提交后的半年內(nèi),通常會留下1N2個程序員去專門更改用戶方發(fā)現(xiàn)的各種錯誤。一般來說,一個軟件,特別是業(yè)務(wù)類的軟件通常會涉及到各個部門,其工作人員只會對自己負責(zé)的相關(guān)業(yè)務(wù)的軟件模塊感興趣,并且往往只對試用過程中發(fā)生的業(yè)務(wù)種類感興趣，一般不會主動地測試軟件是否能在各種情況下完成任務(wù)。所以即使是在試用半年后,軟件仍會殘留錯誤,有時會更加激發(fā)用戶和軟件開發(fā)商之間的矛盾。目前,國內(nèi)軟件的驗收沒有可參照的強制性標準,就軟件測試和評價來說,參照的標準是GB/T17544和GB/T16260,它們都是推薦性標準,且都是定性而非定量的標

4、準,這樣,對于軟件的驗收來說,存在很大的分歧和不確定性為了改變這種狀況,更好地規(guī)范軟件的開發(fā)和驗收工作,中國賽寶試驗室軟件評測中心和廣東省信息中心合作,積極開展第三方驗收測試工作。為此,在軟件開發(fā)合同的簽訂階段就提出軟件驗收項目和驗收通過標準的意見;在軟件的需求評審階段,仔細審閱軟件的需求規(guī)格說明書,指出不利于測試和可能存在歧義的描述;在開發(fā)方開發(fā)完軟件并經(jīng)過開發(fā)方內(nèi)部仔細的測試后,對完成的軟件進行第三方的驗收測試,提供完整的錯誤報告,提交給用戶方,由用戶方根據(jù)之前簽訂的開發(fā)合同中相應(yīng)的驗收標準判斷是否進行驗收。二、驗收項目和驗收標準2.1驗收項目1)功能項測試對軟件需求規(guī)格說明書中的所有功能

5、項進行測試。b)業(yè)務(wù)流程測試對軟件項目的典型業(yè)務(wù)流程進行測試。c)容錯測試容錯測試的檢查內(nèi)容包括:1)軟件對用戶常見的誤操作是否能進行提示;2)軟件對用戶的的操作錯誤和軟件錯誤,是否有準確、清晰的提示;3)軟件對重要數(shù)據(jù)的刪除是否有警告和確認;4)軟件是否能判斷數(shù)據(jù)的有效性,屏蔽用戶的錯誤輸入,識別非法值,并有相應(yīng)的錯誤提示。d)安全性測試安全性測試的檢查內(nèi)容包括:1)軟件中的密鑰是否以密文方式存儲;2)軟件是否有留痕功能,即是否保存有用戶的操作日志;3)軟件中各種用戶的權(quán)限分配是否合理。e)性能測試對軟件需求規(guī)格說明書中明確的軟件性能進行測試。測試的準則是要滿足規(guī)格明書中的各項性能指標。f)

6、易用性測試易用性測試的內(nèi)容包括:1)軟件的用戶界面是否友好,是否出現(xiàn)中英文混雜的界面;2)軟件中的提示信息是否清楚、易理解,是否存在原始的英文提示;3)軟件中各個模塊的界面風(fēng)格是否一致;4)軟件中的查詢結(jié)果的輸出方式是否比較直觀、合理。g)適應(yīng)性測試參照用戶的軟、硬件使用環(huán)境和需求規(guī)格說明書中的規(guī)定,列出開發(fā)的軟件需要滿足的軟、硬件環(huán)境。對每個環(huán)境進行測試。h)文檔測試用戶文檔包括:安裝手冊、操作手冊和維護手冊。對用戶文檔測試的內(nèi)容包括:1)操作、維護文檔是否齊全、是否包含產(chǎn)品使用所需的信息和所有的功能模塊;2)用戶文檔描述的信息是否正確,是否沒有歧義和錯誤的表達;3)戶文檔是否容易理解,是否

7、通過使用適當?shù)男g(shù)語、圖形表示、詳細的解釋來表達;4)用戶文檔對主要功能和關(guān)鍵操作是否提供應(yīng)用實例;5)用戶文檔是否有詳細的目錄表和索引表。i)用戶有特別要求的測試。2.2驗收標準2.2.1軟件錯誤的嚴重性等級如表1、2所示2.2.2驗收標準1)測試用例不通過數(shù)的比例<3%;2)不存在錯誤等級為1的錯誤;3)不存在錯誤等級為2的錯誤;4)錯誤等級為3的錯誤數(shù)量10;5)所有提交的錯誤都已得到更正表1嚴重性等級定義表嚴重性等級說明1不能執(zhí)行正常功能或重要功能,或者危及人身安全2嚴重地影響系統(tǒng)要求或基本功能的實現(xiàn),且沒有辦法解決3嚴重地影響系統(tǒng)要求或基本功能的實現(xiàn),但存在合理的解決辦法4使操作

8、者不方便或遇到麻煩,但不影響執(zhí)行正常功能或重要功能5其它錯誤表2錯誤與嚴重性等級對應(yīng)測試特性錯誤嚴重性等級功能沒有實現(xiàn)應(yīng)有的功能1沒有實現(xiàn)部分功能,并且沒有替代方案2沒有實現(xiàn)部分功能，但有替代方案3業(yè)務(wù)業(yè)務(wù)業(yè)務(wù)流程存在重大的隱患1業(yè)務(wù)流程銜接錯誤2性能性能不能滿足性能指標2容錯由誤操作或錯誤輸入等導(dǎo)致死機或系統(tǒng)自動退出1對誤操作、錯誤輸入沒有提示3沒有識別非法值和錯誤輸入,導(dǎo)致錯誤數(shù)據(jù)存儲到數(shù)據(jù)庫中3安全性密鑰以明文方式存儲2沒有留痕功能2各種用戶的權(quán)限分配不合理2易用界面不友好,出現(xiàn)中英文夾雜的界面4提示不清楚,出現(xiàn)原始的英文提示4界面風(fēng)格不一致4查詢結(jié)果輸出方式不直觀4適應(yīng)在特定的軟、硬件

9、環(huán)境下,不能實現(xiàn)應(yīng)有的功能1在特定的軟、硬件環(huán)境下,不能實現(xiàn)部分功能,并且沒有替代方案2在特定的軟、硬件環(huán)境下,不能實現(xiàn)部分功能,但有合理的替代方案3文檔文檔錯誤52.3驗收標準的詳細說明驗收項目的劃分參照GB/T16260標準。在該標準中,將軟件的質(zhì)量特性分為6大特性、21個子特性,而對于具體的軟件,并非都要進行這21個特性的測試和評價。本文選取的是最通用的子特性部分,當然,針對各種不同的軟件,可以對驗收項目進行剪裁或擴充。鑒于目前軟件驗收沒有相關(guān)的國家強制性標準的情況,我們自行制定了上述驗收標準。首先,在表1中定義了軟件錯誤的嚴重性等級,將錯誤分為15個等級,等級1為最嚴重的錯誤,而等級5

10、為最輕微的錯誤。a)1級錯誤的描述這一級別的錯誤一般包括以下內(nèi)容:沒有實現(xiàn)或錯誤地實現(xiàn)重要的功能;軟件在操作過程中由于軟件自身的原因自動退出系統(tǒng)或出現(xiàn)死機的情況;軟件在操作過程中由于軟件自身的原因?qū)ο到y(tǒng)或數(shù)據(jù)造成破壞;特殊軟件在操作過程中可能危及人身安全等。b)2級錯誤的描述這一級別的錯誤一般包括:沒有實現(xiàn)基本功能,并且不存在替代辦法;沒有實現(xiàn)重要功能中的部分功能,并且不存在替代辦法;沒有滿足系統(tǒng)的性能要求。c)3級錯誤的描述這一級的錯誤是與第2級別的錯誤相對應(yīng)的,在第2級錯誤中,不存在替代方法,而第3級錯誤則存在替代方法。d)4級錯誤的描述這一級別的錯誤通常為易用性方面的錯誤。e)5級錯誤的

11、描述通常為文檔方面的錯誤,如安裝手冊、操作手冊、維護手冊中的描述錯誤。其次對發(fā)現(xiàn)的每一個錯誤都要確定相應(yīng)的嚴重性等級,如表2中的說明。最后,需要制定驗收標準,即每一級別的錯誤量的可接受范圍。一般來說,不允許存在1級和2級錯誤,而3級錯誤的數(shù)量則可由用戶方和開發(fā)方根據(jù)軟件的規(guī)模和復(fù)雜程度進行商定,并在軟件開發(fā)合同中明確地列出。在軟件驗收測試中,測試依據(jù)包括軟件的投標文件、開發(fā)合同、需求規(guī)格說明書,同時還包括特定軟件的相關(guān)行業(yè)標準(這些行業(yè)標準應(yīng)在開發(fā)合同中明示出來)。在進行第三方的驗收測試后,軟件評測中心將發(fā)現(xiàn)的所有錯誤進行總結(jié)和歸納,并提交完整的錯誤報告,在錯誤報告中包括每一級別的錯誤數(shù)量和錯誤清單(所有的錯誤都需經(jīng)過用戶方和開發(fā)方的確認)。用戶方根據(jù)錯誤報告中每一級別的錯誤數(shù)量和錯誤清單與軟件開發(fā)合同中的驗收標準進行對照,如錯誤的級別和數(shù)量在合同可接受的范圍內(nèi),用戶方認為軟件可以驗收,但要求開發(fā)方對錯誤報告中的所有錯誤進行整改,并提給軟件評測中心進行回歸測試,確認錯誤報告中的所有錯誤全部改正方可;如錯誤的級別和數(shù)量在合同可接受的范圍外,用戶方認為軟件不可驗