系統(tǒng)測試

系統(tǒng)測試的根本任務(wù)就是要證明被測系統(tǒng)的功能和結(jié)構(gòu)的穩(wěn)定性；還要有一些非功能測試：性能測試、壓力測試、可靠性測試等等。

最終目的是為了確保軟件產(chǎn)品能夠被用戶或操作者接受。測試的主要目標(biāo)不再是找出缺陷，而是證明其性能。系統(tǒng)測試屬于黑盒測試范疇，不再對(duì)軟件的源代碼進(jìn)行分析和測試。一、什么是系統(tǒng)測試

系統(tǒng)測試就是將已經(jīng)集成好的軟件系統(tǒng)，作為整個(gè)計(jì)算機(jī)系統(tǒng)的一個(gè)元素，與計(jì)算機(jī)硬件、外設(shè)、某些支持軟件、數(shù)據(jù)和人員等其它系統(tǒng)元素結(jié)合在一起，在實(shí)際運(yùn)行（使用）環(huán)境下，對(duì)計(jì)算機(jī)系統(tǒng)進(jìn)行一系列的組裝測試和確認(rèn)測試。

系統(tǒng)測試的目的在于通過與系統(tǒng)的需求定義比較，檢查軟件是否存在與系統(tǒng)定義不符合或與之矛盾的地方，以驗(yàn)證軟件系統(tǒng)的功能和性能等滿足其規(guī)約所指定的要求。二、系統(tǒng)測試的組織和分工

測試組組長：組織測試；測試分析員：負(fù)責(zé)設(shè)計(jì)和實(shí)現(xiàn)測試腳本和測試用例；測試者：負(fù)責(zé)執(zhí)行測試腳本中記錄的測試用例。

同時(shí)可以邀請客戶代表參與系統(tǒng)測試，可以與客戶建立一個(gè)良好的平臺(tái)，并且得到反饋信息。

過程：搭建好系統(tǒng)測試的軟、硬件平臺(tái)制定軟件測試計(jì)劃(與開發(fā)人員多多溝通)系統(tǒng)測試提交系統(tǒng)測試的大量輸出的拷貝文檔(包括測試結(jié)果記錄表格、系統(tǒng)測試日志和全面的系統(tǒng)測試總結(jié)報(bào)告)。三、如何進(jìn)行系統(tǒng)測試

系統(tǒng)測試過程要經(jīng)歷以下幾個(gè)階段：1、計(jì)劃階段：制定測試計(jì)劃2、設(shè)計(jì)階段：對(duì)系統(tǒng)進(jìn)行詳細(xì)的測試分析，然后設(shè)計(jì)一些典型的，滿足測試需求的測試用例；同時(shí)給出系統(tǒng)測試的大致過程。3、實(shí)施階段：使用當(dāng)前的軟件版本進(jìn)行測試腳本的錄制工作，確定軟件的基線。4、執(zhí)行階段：根據(jù)系統(tǒng)測試計(jì)劃和事先設(shè)計(jì)好的系統(tǒng)測試用例，以及一定測試規(guī)程進(jìn)行測試腳本的回放。5、評(píng)估階段：進(jìn)行評(píng)估，以確定系統(tǒng)測試是否通過。四、系統(tǒng)測試類型、方法安全性測試容錯(cuò)性測試配置測試兼容性測試可靠性測試功能測試用戶界面測試回歸測試性能測試負(fù)載測試針對(duì)功能測試的主要內(nèi)容：

程序安裝、啟動(dòng)正常，有相應(yīng)的提示框、錯(cuò)誤提示等每項(xiàng)功能符合實(shí)際要求系統(tǒng)的界面清晰、美觀菜單、按鈕操作正常、靈活，能處理一些異常操作能接受正確的數(shù)據(jù)輸入，對(duì)異常數(shù)據(jù)的輸入有提示、容錯(cuò)處理等

數(shù)據(jù)的輸出結(jié)果準(zhǔn)確，格式清晰，可以保存和讀取功能邏輯清楚，符合使用者習(xí)慣系統(tǒng)的各種狀態(tài)按照業(yè)務(wù)流程而變化，并保持穩(wěn)定支持各種應(yīng)用的環(huán)境能配合多種硬件周邊設(shè)備軟件升級(jí)后，能繼續(xù)支持舊版本的數(shù)據(jù)與外部應(yīng)用系統(tǒng)的接口有效

1、用戶界面測試優(yōu)秀UI應(yīng)具備的7要素：（1）符合標(biāo)準(zhǔn)和規(guī)范（2）一致性（3）正確性（4）直觀性（5）靈活性（6）舒適性（7）寬容性（1）符合標(biāo)準(zhǔn)和規(guī)范

通常標(biāo)準(zhǔn)是已經(jīng)確立的，多數(shù)用戶已經(jīng)熟悉并接受了這些標(biāo)準(zhǔn)和規(guī)范、或已經(jīng)認(rèn)同了這些信息所代表的意義。

如果軟件在某一個(gè)平臺(tái)上運(yùn)行，就需要把該平臺(tái)的標(biāo)準(zhǔn)和規(guī)范作為產(chǎn)品規(guī)格說明書的補(bǔ)充內(nèi)容，在建立測試案例時(shí)和產(chǎn)品規(guī)格說明書一樣作為依據(jù)。（2）一致性與用戶的現(xiàn)實(shí)世界的一致性與用戶常用或習(xí)慣的軟件產(chǎn)品的一致性不同用戶界面之間的一致性

（3）直觀性

首先了解所需的功能或期待的響應(yīng)應(yīng)該明顯，并在預(yù)期的地方出現(xiàn)。其次要考慮用戶界面的組織和布局是否合理。（4）靈活性不同用戶所使用的功能和數(shù)據(jù)存在差異，這種差異應(yīng)反映到界面，即要為不同用戶提供合適的個(gè)性化界面或選擇的靈活性。

（5）舒適性盡可能降低用戶操作的復(fù)雜性，盡量減少結(jié)構(gòu)層次及用戶操作量用戶界面的外觀、風(fēng)格與用戶的工作性質(zhì)和環(huán)境協(xié)調(diào)錯(cuò)誤處理

（6）正確性測試是否做了該做的事。（7）寬容性對(duì)用戶錯(cuò)誤操作的寬容。

用戶界面測試標(biāo)準(zhǔn)（1）保證用戶界面運(yùn)作的一致性（2）界面上的布局（3）顏色使用要恰當(dāng)（4）字體使用要適當(dāng)（英文NewTimesRoman，中文一般采用宋體）（5）適當(dāng)?shù)男畔⒑蜆?biāo)簽措詞Windows檢查單編號(hào)測試項(xiàng)1窗口的長度和寬度接近黃金比例2窗口上的按鈕布局與界面相協(xié)調(diào)，不要過于密集或空曠3界面上的字體一般為宋體，字號(hào)一般為8-12號(hào)4顏色搭配合理，不使用大紅大綠5菜單深度不超過3級(jí)，快捷鍵沒有重復(fù)6無錯(cuò)別字，無中英文混合使用7字體樣式統(tǒng)一，無全角、半角混合使用8測試窗體在常用分辨率下的使用情況9狀態(tài)欄上要實(shí)時(shí)顯示操作后窗體發(fā)生的變化2、性能測試（1）性能測試通過測試，確認(rèn)系統(tǒng)在預(yù)定的負(fù)載等級(jí)上的系統(tǒng)性能是否滿足性能需求或達(dá)到性能指標(biāo)。（2）性能測試的類型驗(yàn)證測試基準(zhǔn)測試規(guī)劃測試2、性能測試

性能測試(Performancetest)通過測試以確定系統(tǒng)運(yùn)行時(shí)的性能表現(xiàn)，如得到運(yùn)行速度、響應(yīng)時(shí)間、占有系統(tǒng)資源等方面的系統(tǒng)數(shù)據(jù)。2、性能測試（1）性能測試的目的和需求目的：

為了驗(yàn)證系統(tǒng)是否達(dá)到用戶提出的性能指標(biāo)，同時(shí)發(fā)現(xiàn)系統(tǒng)中存在的性能瓶頸，起到優(yōu)化系統(tǒng)的目的。性能測試需求：

用戶對(duì)各項(xiàng)指標(biāo)提出的明確需求；如果用戶沒有提出性能指標(biāo)則根據(jù)用戶需求、測試設(shè)計(jì)人員的經(jīng)驗(yàn)來設(shè)計(jì)各項(xiàng)測試指標(biāo)。（需求+經(jīng)驗(yàn)）主要的性能指標(biāo)：

服務(wù)器的各項(xiàng)指標(biāo)（CPU、內(nèi)存占用率等）、后臺(tái)數(shù)據(jù)庫的各項(xiàng)指標(biāo)、網(wǎng)絡(luò)流量、響應(yīng)時(shí)間2、性能測試（2）性能測試方法負(fù)載模擬：

并發(fā)用戶+思考時(shí)間+每次請求的數(shù)據(jù)量+負(fù)載模式。性能測試步驟：確定性能測試需求根據(jù)測試需求，選擇測試工具和開發(fā)相應(yīng)的測試腳本建立性能測試負(fù)載模型，就是確定并發(fā)虛擬用戶的數(shù)量、每次請求的數(shù)據(jù)量、思考時(shí)間、加載方式和持續(xù)加載的時(shí)間等執(zhí)行性能測試結(jié)果分析，并提交性能測試報(bào)告2、性能測試（3）性能測試的要點(diǎn)測試環(huán)境應(yīng)盡量與產(chǎn)品運(yùn)行環(huán)境保持一致，應(yīng)單獨(dú)運(yùn)行盡量避免與其他軟件同時(shí)使用。性能測試一般使用測試工具和測試人員編制測試腳本來完成。性能測試的重點(diǎn)在于前期數(shù)據(jù)的設(shè)計(jì)與后期數(shù)據(jù)的分析。性能測試的用例主要涉及到整個(gè)系統(tǒng)架構(gòu)的問題，所以測試用例一旦生成，改動(dòng)一般不大，所以做性能測試的重復(fù)使用率一般比較高。2、性能測試（4）性能測試的方法和技巧

兩種負(fù)載類型“flat”測試ramp-up測試 對(duì)于企業(yè)級(jí)的系統(tǒng)，性能測試的方法主要有：基準(zhǔn)測試性能規(guī)劃測試滲入測試峰谷測試2、性能測試

兩種負(fù)載類型

“Flat”測試:對(duì)于一次給定的測試，應(yīng)該取響應(yīng)時(shí)間和吞吐量的平均值。精確地獲得這些值的唯一方法是一次加載所有的用戶，然后在預(yù)定的時(shí)間段內(nèi)持續(xù)運(yùn)行。2、性能測試

兩種負(fù)載類型

Ramp-up測試:用戶是交錯(cuò)上升的（每幾秒增加一些新用戶）。ramp-up測試不能產(chǎn)生精確和可重現(xiàn)的平均值，這是因?yàn)橛捎谟脩舻脑黾邮敲看我徊糠郑到y(tǒng)的負(fù)載在不斷地變化。其優(yōu)點(diǎn)是，可以看出隨著系統(tǒng)負(fù)載的改變，測量值是如何改變的據(jù)此選擇要運(yùn)行的flat測試的范圍。2、性能測試

基準(zhǔn)測試(1)同時(shí)與服務(wù)器通信的連接（或虛擬用戶）的數(shù)目，每個(gè)虛擬用戶請求之間間隔時(shí)間的長短。隨著服務(wù)器上負(fù)載的增加，吞吐量會(huì)不斷攀升，直到到達(dá)一個(gè)點(diǎn),并在這個(gè)點(diǎn)上穩(wěn)定下來基準(zhǔn)測試的關(guān)鍵是要獲得一致的、可再現(xiàn)的結(jié)果。假定測試的兩個(gè)指標(biāo)是服務(wù)器的響應(yīng)時(shí)間和吞吐量，會(huì)受到負(fù)載的影響。而負(fù)載又受兩個(gè)因素影響：與服務(wù)器通信的用戶越多，負(fù)載就越大。同樣，請求之間間隔時(shí)間越短，負(fù)載也越大。這兩個(gè)因素的不同組合會(huì)產(chǎn)生不同的服務(wù)器負(fù)載等級(jí).2、性能測試

基準(zhǔn)測試(2)

在某一點(diǎn)上，執(zhí)行隊(duì)列開始增長，因?yàn)榉?wù)器上所有的線程都已投入使用，傳入的請求不再被立即處理，而是放入隊(duì)列中，當(dāng)線程空閑時(shí)再處理。當(dāng)系統(tǒng)達(dá)到飽和點(diǎn)，服務(wù)器吞吐量保持穩(wěn)定后，就達(dá)到了給定條件下的系統(tǒng)上限。但是，隨著服務(wù)器負(fù)載的繼續(xù)增長，響應(yīng)時(shí)間也隨之延長，雖然吞吐量保持穩(wěn)定。隊(duì)列產(chǎn)生響應(yīng)時(shí)間資源使用2、性能測試

基準(zhǔn)測試(3)將系統(tǒng)置于相同的高負(fù)載下，將請求之間間隔時(shí)間設(shè)為零。這樣服務(wù)器會(huì)立即超載，并開始構(gòu)建執(zhí)行隊(duì)列。如果請求（虛擬用戶）數(shù)保持一致，基準(zhǔn)測試的結(jié)果會(huì)非常精確flat運(yùn)行是獲得基準(zhǔn)測試數(shù)據(jù)的理想模式兩個(gè)事務(wù)的響應(yīng)時(shí)間曲線2、性能測試

性能規(guī)劃測試性能規(guī)劃測試的目標(biāo)是找出在特定的環(huán)境下，給定應(yīng)用程序的性能可以達(dá)到何種程度。例如，如果要以5秒或更少的響應(yīng)時(shí)間支持8,000個(gè)當(dāng)前用戶，需要多少個(gè)服務(wù)器？要確定系統(tǒng)的容量，需要考慮幾個(gè)因素:用戶中有多少是并發(fā)與服務(wù)器通信的。每個(gè)用戶的請求間時(shí)間間隔是多少。2、性能測試

性能規(guī)劃測試(2)如何加載用戶以模擬負(fù)載狀態(tài)？最好的方法是模擬高峰時(shí)間用戶與服務(wù)器通信的狀況。如果用戶負(fù)載狀態(tài)是在一段時(shí)間內(nèi)逐步達(dá)到的,選擇ramp-up測試，每隔幾秒增加x個(gè)用戶;

如果所有用戶是在一個(gè)非常短的時(shí)間內(nèi)同時(shí)與系統(tǒng)通信，就應(yīng)該使用flat測試，將所有的用戶同時(shí)加載到服務(wù)器. 什么是確定容量的最好方法？結(jié)合兩種負(fù)載類型的優(yōu)點(diǎn)，并運(yùn)行一系列的測試;如：首先使用ramp-up測試確定系統(tǒng)支持的用戶范圍該范圍內(nèi)不同的并發(fā)用戶負(fù)載進(jìn)行一系列的flat測試，更精確地確定系統(tǒng)的容量。2、性能測試

滲入測試滲入測試是一種比較簡單的性能測試。滲入測試所需時(shí)間較長，它使用固定數(shù)目的并發(fā)用戶測試系統(tǒng)的總體健壯性。這些測試將會(huì)通過內(nèi)存泄漏、增加的垃圾收集(GC)或系統(tǒng)的其他問題，顯示因長時(shí)間運(yùn)行而出現(xiàn)的任何性能降低。

建議運(yùn)行兩次測試——一次使用較低的用戶負(fù)載（要在系統(tǒng)容量之下，以便不會(huì)出現(xiàn)執(zhí)行隊(duì)列），一次使用較高的負(fù)載（以便出現(xiàn)積極的執(zhí)行隊(duì)列）。2、性能測試

峰谷測試兼有容量規(guī)劃ramp-up測試和滲入測試的特征,目標(biāo)是確定從高負(fù)載（例如系統(tǒng)高峰時(shí)間的負(fù)載）恢復(fù)、轉(zhuǎn)為幾乎空閑、然后再攀升到高負(fù)載、再降低的能力。3、負(fù)載測試（1）負(fù)載測試

也稱壓力測試、強(qiáng)度測試。負(fù)載測試通過模擬實(shí)際應(yīng)用的軟硬件環(huán)境及用戶使用過程的系統(tǒng)負(fù)荷，逐漸加載或一次性加載，長時(shí)間或超大負(fù)荷地運(yùn)行軟件，以測試系統(tǒng)的穩(wěn)定性，并試圖找出系統(tǒng)性能的瓶頸和異常的地方。（2）負(fù)載測試總是迫使系統(tǒng)在異常的資源配置下運(yùn)行。

例如:①當(dāng)中斷的正常頻率為每秒1~2次時(shí)，運(yùn)行每秒產(chǎn)生10個(gè)中斷的測試用例；②定量地增長數(shù)據(jù)輸入量，檢查對(duì)數(shù)據(jù)處理的反應(yīng)能力；③運(yùn)行需要最大存儲(chǔ)空間（或其他資源）的測試用例；④運(yùn)行可能導(dǎo)致虛擬機(jī)崩潰或?qū)Υ疟P進(jìn)行大數(shù)據(jù)量存取操作的測試用例。（3）負(fù)載測試中加壓的方法

1）增加并發(fā)用戶數(shù)2）增加每秒請求處理的事務(wù)數(shù)3）增加中斷次數(shù)4、安全測試 安全測試檢查系統(tǒng)對(duì)非法侵入的防范能力。安全測試期間，測試人員假扮非法入侵者，采用各種辦法試圖突破防線。任務(wù)

想方設(shè)法截取或破譯口令；

專門開發(fā)軟件來破壞系統(tǒng)的保護(hù)機(jī)制；

故意導(dǎo)致系統(tǒng)失敗，企圖趁恢復(fù)之機(jī)非法進(jìn)入；

試圖通過瀏覽非保密數(shù)據(jù)，推導(dǎo)所需信息等等。5、恢復(fù)性測試目的：恢復(fù)測試主要檢查系統(tǒng)的容錯(cuò)能力

恢復(fù)測試中需要檢查以下各項(xiàng)：（1）錯(cuò)誤探測功能（2）能否切換或啟動(dòng)備用的硬件；（3）在故障發(fā)生時(shí)能否保護(hù)正在運(yùn)行的作業(yè)和系統(tǒng)狀態(tài)；（4）在系統(tǒng)恢復(fù)后能否從最后記錄下來的無錯(cuò)誤狀態(tài)開始繼續(xù)執(zhí)行作業(yè)，等等。（5）掉電測試：6、配置測試目標(biāo)：在不同的硬件配置下，檢查系統(tǒng)是否發(fā)生功能或者性能上的問題方法：一般需要建立測試實(shí)驗(yàn)室7、兼容性測試目標(biāo)：檢驗(yàn)被測試應(yīng)用對(duì)其他應(yīng)用或者系統(tǒng)的兼容性。常見的兼容性問題：（1）軟件產(chǎn)品在不同的軟件環(huán)境下都能夠按要求正常運(yùn)行嗎？（2）是否能夠成功地實(shí)現(xiàn)數(shù)據(jù)的交換和共享？

（3）一個(gè)軟件產(chǎn)品的新版本是否能夠識(shí)別和處理它的老版本產(chǎn)生的數(shù)據(jù)或文檔？（4）一個(gè)系統(tǒng)軟件的新版本出來后，老版本上的應(yīng)用都能夠在新版本上正常運(yùn)行嗎？

（5）一個(gè)軟件產(chǎn)品是否符合指定的標(biāo)準(zhǔn)和規(guī)范？例如：假設(shè)用戶使用不同的Windows版本，包括98/98SE/XP/2000/Me；并使用Office的不同版本，包括97/2000/2003/XP。經(jīng)過分析用戶不在Windows98/98SE/Me上使用OfficeXP/2003,只在WindowsXP上使用OfficeXP。請構(gòu)造測試矩陣。8、安裝/卸載測試應(yīng)考慮在下列不同測試條件下執(zhí)行（1）軟件產(chǎn)品標(biāo)明的最低配置（2）“干凈”的操作系統(tǒng)（3）“臟”的操作系統(tǒng)（4）在不同的操作系統(tǒng)（5）升級(jí)安裝（6）減少可用磁盤空間（7）中途取消（8）改變默認(rèn)的安裝路徑9、可靠性測試通常使用以下幾個(gè)指標(biāo)來度量系統(tǒng)的可靠性：平均失效等待時(shí)間（MTTF，MeanTimeToFailure）平均失效間隔時(shí)間（MTBF，MeanTimeBetweenFailure）因故障而停機(jī)的時(shí)間在一年中應(yīng)不超過多少時(shí)間。軟件可靠性是產(chǎn)品在規(guī)定的條件下和規(guī)定的時(shí)間內(nèi)完成規(guī)定功能的能力,它的概率度量稱為可靠度.軟件可靠性模型1、平均失效等待時(shí)間（MTTF）的估算假設(shè)（1）單位長度中的錯(cuò)誤總數(shù)近似為常數(shù)；（2）錯(cuò)誤檢出率正比于程序中殘留錯(cuò)誤數(shù)，而MTTF與程序中殘留錯(cuò)誤數(shù)成反比；（3）錯(cuò)誤不可能完全檢出，但一經(jīng)檢出立即得到改正。軟件可靠性模型1、平均失效等待時(shí)間（MTTF）的估算設(shè)t：程序的測試時(shí)間ET：測試前的錯(cuò)誤總數(shù)Ec(t)：在時(shí)間(0,t)期間糾正的錯(cuò)誤數(shù)Er(t)：在時(shí)間t時(shí)的遺留錯(cuò)誤數(shù)IT：程序的長度或指令的總數(shù)則Er(t)=ET-Ec(t)用IT除以上述等式兩邊，得到錯(cuò)誤的規(guī)格化值假設(shè)N=程序中原來殘留的錯(cuò)誤數(shù)；S=新植入程序的錯(cuò)誤數(shù)；n=測試中發(fā)現(xiàn)的原有錯(cuò)誤數(shù)；s=測試中發(fā)現(xiàn)的植入錯(cuò)誤數(shù)假設(shè)測試中對(duì)這兩類錯(cuò)誤具有同樣的發(fā)現(xiàn)能力，則有2、錯(cuò)誤植入模型——隨機(jī)地把程序中一部分原有的錯(cuò)誤加上標(biāo)記，然后根據(jù)測試過程中發(fā)現(xiàn)的有標(biāo)記錯(cuò)誤和無標(biāo)記錯(cuò)誤的比例，估算程序中錯(cuò)誤的總數(shù)。3、Hyman分別測試法怎樣隨機(jī)地