1、性能：軟件測試的重中之重         性能測試在軟件的質量保證中起著重要的作用，它包括的測試內(nèi)容豐富多樣。中國軟件評測中心將性能測試概括為三個方面：應用在客戶端性能的測試、應用在網(wǎng)絡上性能的測試和應用在服務器端性能的測試。通常情況下，三方面有效、合理的結合，可以達到對系統(tǒng)性能全面的分析和瓶頸的預測。應用在客戶端性能的測試應用在客戶端性能測試的目的是考察客戶端應用的性能，測試的入口是客戶端。它主要包括并發(fā)性能測試、疲勞強度測試、大數(shù)據(jù)量測試和速度測試等，其中并發(fā)性能測試是重點。并發(fā)性能測試是重點并發(fā)性能測試的過程是一個負載

2、測試和壓力測試的過程，即逐漸增加負載，直到系統(tǒng)的瓶頸或者不能接收的性能點，通過綜合分析交易執(zhí)行指標和資源監(jiān)控指標來確定系統(tǒng)并發(fā)性能的過程。負載測試（Load Testing）是確定在各種工作負載下系統(tǒng)的性能，目標是測試當負載逐漸增加時，系統(tǒng)組成部分的相應輸出項，例如通過量、響應時間、CPU負載、內(nèi)存使用等來決定系統(tǒng)的性能。負載測試是一個分析軟件應用程序和支撐架構、模擬真實環(huán)境的使用，從而來確定能夠接收的性能過程。壓力測試（Stress Testing）是通過確定一個系統(tǒng)的瓶頸或者不能接收的性能點，來獲得系統(tǒng)能提供的最大服務級別的測試。并發(fā)性能測試的目的主要體現(xiàn)在三個方面：以真實的業(yè)務為依據(jù)，選

3、擇有代表性的、關鍵的業(yè)務操作設計測試案例，以評價系統(tǒng)的當前性能；當擴展應用程序的功能或者新的應用程序將要被部署時，負載測試會幫助確定系統(tǒng)是否還能夠處理期望的用戶負載，以預測系統(tǒng)的未來性能；通過模擬成百上千個用戶，重復執(zhí)行和運行測試，可以確認性能瓶頸并優(yōu)化和調(diào)整應用，目的在于尋找到瓶頸問題。當一家企業(yè)自己組織力量或委托軟件公司代為開發(fā)一套應用系統(tǒng)的時候,尤其是以后在生產(chǎn)環(huán)境中實際使用起來,用戶往往會產(chǎn)生疑問,這套系統(tǒng)能不能承受大量的并發(fā)用戶同時訪問? 這類問題最常見于采用聯(lián)機事務處理(OLTP)方式數(shù)據(jù)庫應用、Web瀏覽和視頻點播等系統(tǒng)。這種問題的解決要借助于科學的軟件測試手段和先進的測試工具。

4、舉例說明：電信計費軟件眾所周知,每月20日左右是市話交費的高峰期，全市幾千個收費網(wǎng)點同時啟動。收費過程一般分為兩步,首先要根據(jù)用戶提出的電話號碼來查詢出其當月產(chǎn)生費用,然后收取現(xiàn)金并將此用戶修改為已交費狀態(tài)。一個用戶看起來簡單的兩個步驟,但當成百上千的終端，同時執(zhí)行這樣的操作時，情況就大不一樣了,如此眾多的交易同時發(fā)生,對應用程序本身、操作系統(tǒng)、中心數(shù)據(jù)庫服務器、中間件服務器、網(wǎng)絡設備的承受力都是一個嚴峻的考驗。決策者不可能在發(fā)生問題后才考慮系統(tǒng)的承受力, 預見軟件的并發(fā)承受力, 這是在軟件測試階段就應該解決的問題。目前，大多數(shù)公司企業(yè)需要支持成百上千名用戶，各類應用環(huán)境以及由不同供應商提供的

5、元件組裝起來的復雜產(chǎn)品，難以預知的用戶負載和愈來愈復雜的應用程序，使公司擔憂會發(fā)生投放性能差、用戶遭受反應慢、系統(tǒng)失靈等問題。其結果就是導致公司收益的損失。如何模擬實際情況呢? 找若干臺電腦和同樣數(shù)目的操作人員在同一時刻進行操作,然后拿秒表記錄下反應時間？ 這樣的手工作坊式的測試方法不切實際，且無法捕捉程序內(nèi)部變化情況,這樣就需要壓力測試工具的輔助。測試的基本策略是自動負載測試，通過在一臺或幾臺PC機上模擬成百或上千的虛擬用戶同時執(zhí)行業(yè)務的情景，對應用程序進行測試，同時記錄下每一事務處理的時間、中間件服務器峰值數(shù)據(jù)、數(shù)據(jù)庫狀態(tài)等。通過可重復的、真實的測試能夠徹底地度量應用的可擴展性和性能，確定

6、問題所在以及優(yōu)化系統(tǒng)性能。預先知道了系統(tǒng)的承受力,就為最終用戶規(guī)劃整個運行環(huán)境的配置提供了有力的依據(jù)。并發(fā)性能測試前的準備工作測試環(huán)境：配置測試環(huán)境是測試實施的一個重要階段，測試環(huán)境的適合與否會嚴重影響測試結果的真實性和正確性。測試環(huán)境包括硬件環(huán)境和軟件環(huán)境，硬件環(huán)境指測試必需的服務器、客戶端、網(wǎng)絡連接設備以及打印機/掃描儀等輔助硬件設備所構成的環(huán)境；軟件環(huán)境指被測軟件運行時的操作系統(tǒng)、數(shù)據(jù)庫及其他應用軟件構成的環(huán)境。一個充分準備好的測試環(huán)境有三個優(yōu)點：一個穩(wěn)定、可重復的測試環(huán)境，能夠保證測試結果的正確；保證達到測試執(zhí)行的技術需求；保證得到正確的、可重復的以及易理解的測試結果。測試工具：并發(fā)性

7、能測試是在客戶端執(zhí)行的黑盒測試，一般不采用手工方式，而是利用工具采用自動化方式進行。目前，成熟的并發(fā)性能測試工具有很多，選擇的依據(jù)主要是測試需求和性能價格比。著名的并發(fā)性能測試工具有QALoad、LoadRunner、Benchmark Factory和Webstress等。這些測試工具都是自動化負載測試工具，通過可重復的、真實的測試，能夠徹底地度量應用的可擴展性和性能，可以在整個開發(fā)生命周期、跨越多種平臺、自動執(zhí)行測試任務，可以模擬成百上千的用戶并發(fā)執(zhí)行關鍵業(yè)務而完成對應用程序的測試。測試數(shù)據(jù)：在初始的測試環(huán)境中需要輸入一些適當?shù)臏y試數(shù)據(jù)，目的是識別數(shù)據(jù)狀態(tài)并且驗證用于測試的測試案例，在正式

8、的測試開始以前對測試案例進行調(diào)試，將正式測試開始時的錯誤降到最低。在測試進行到關鍵過程環(huán)節(jié)時，非常有必要進行數(shù)據(jù)狀態(tài)的備份。制造初始數(shù)據(jù)意味著將合適的數(shù)據(jù)存儲下來，需要的時候恢復它，初始數(shù)據(jù)提供了一個基線用來評估測試執(zhí)行的結果。在測試正式執(zhí)行時，還需要準備業(yè)務測試數(shù)據(jù)，比如測試并發(fā)查詢業(yè)務，那么要求對應的數(shù)據(jù)庫和表中有相當?shù)臄?shù)據(jù)量以及數(shù)據(jù)的種類應能覆蓋全部業(yè)務。模擬真實環(huán)境測試，有些軟件，特別是面向大眾的商品化軟件，在測試時常常需要考察在真實環(huán)境中的表現(xiàn)。如測試殺毒軟件的掃描速度時，硬盤上布置的不同類型文件的比例要盡量接近真實環(huán)境，這樣測試出來的數(shù)據(jù)才有實際意義。并發(fā)性能測試的種類與指標并發(fā)性

9、能測試的種類取決于并發(fā)性能測試工具監(jiān)控的對象，以QALoad自動化負載測試工具為例。軟件針對各種測試目標提供了DB2、DCOM、ODBC、ORACLE、NETLoad、Corba、QARun、SAP、SQLServer、Sybase、Telnet、TUXEDO、UNIFACE、WinSock、WWW、Java Script等不同的監(jiān)控對象，支持Windows和UNIX測試環(huán)境。最關鍵的仍然是測試過程中對監(jiān)控對象的靈活應用，例如目前三層結構的運行模式廣泛使用，對中間件的并發(fā)性能測試作為問題被提到議事日程上來，許多系統(tǒng)都采用了國產(chǎn)中間件，選擇Java Script監(jiān)控對象，手工編寫腳本，可以達到測

10、試目的。采用自動化負載測試工具執(zhí)行的并發(fā)性能測試，基本遵循的測試過程有：測試需求與測試內(nèi)容，測試案例制定，測試環(huán)境準備，測試腳本錄制、編寫與調(diào)試，腳本分配、回放配置與加載策略，測試執(zhí)行跟蹤，結果分析與定位問題所在，測試報告與測試評估。并發(fā)性能測試監(jiān)控的對象不同，測試的主要指標也不相同，主要的測試指標包括交易處理性能指標和UNIX資源監(jiān)控。其中，交易處理性能指標包括交易結果、每分鐘交易數(shù)、交易響應時間（Min：最小服務器響應時間；Mean：平均服務器響應時間；Max：最大服務器響應時間；StdDev：事務處理服務器響應的偏差，值越大，偏差越大；Median：中值響應時間；90：90事務處理的服務

11、器響應時間）、虛擬并發(fā)用戶數(shù)。應用實例：“新華社多媒體數(shù)據(jù)庫 V1.0”性能測試中國軟件評測中心（CSTC）根據(jù)新華社技術局提出的多媒體數(shù)據(jù)庫（一期）性能測試需求和GB/T 17544軟件包質量要求和測試的國家標準，使用工業(yè)標準級負載測試工具對新華社使用的“新華社多媒體數(shù)據(jù)庫 V1.0”進行了性能測試。性能測試的目的是模擬多用戶并發(fā)訪問新華社多媒體數(shù)據(jù)庫，執(zhí)行關鍵檢索業(yè)務，分析系統(tǒng)性能。性能測試的重點是針對系統(tǒng)并發(fā)壓力負載較大的主要檢索業(yè)務，進行并發(fā)測試和疲勞測試，系統(tǒng)采用B/S運行模式。并發(fā)測試設計了特定時間段內(nèi)分別在中文庫、英文庫、圖片庫中進行單檢索詞、多檢索詞以及變檢索式、混合檢索業(yè)務等

12、并發(fā)測試案例。疲勞測試案例為在中文庫中并發(fā)用戶數(shù)200，進行測試周期約8小時的單檢索詞檢索。在進行并發(fā)和疲勞測試的同時，監(jiān)測的測試指標包括交易處理性能以及UNIX（Linux）、Oracle、Apache資源等。測試結論：在新華社機房測試環(huán)境和內(nèi)網(wǎng)測試環(huán)境中，100M帶寬情況下，針對規(guī)定的各并發(fā)測試案例，系統(tǒng)能夠承受并發(fā)用戶數(shù)為200的負載壓力，最大交易數(shù)/分鐘達到78.73，運行基本穩(wěn)定，但隨著負載壓力增大，系統(tǒng)性能有所衰減。系統(tǒng)能夠承受200并發(fā)用戶數(shù)持續(xù)周期約8小時的疲勞壓力，基本能夠穩(wěn)定運行。通過對系統(tǒng)UNIX（Linux）、Oracle和Apache資源的監(jiān)控，系統(tǒng)資源能夠滿足上述并

13、發(fā)和疲勞性能需求，且系統(tǒng)硬件資源尚有較大利用余地。當并發(fā)用戶數(shù)超過200時，監(jiān)控到HTTP 500、connect和超時錯誤，且Web服務器報內(nèi)存溢出錯誤，系統(tǒng)應進一步提高性能，以支持更大并發(fā)用戶數(shù)。建議進一步優(yōu)化軟件系統(tǒng)，充分利用硬件資源，縮短交易響應時間。疲勞強度與大數(shù)據(jù)量測試疲勞測試是采用系統(tǒng)穩(wěn)定運行情況下能夠支持的最大并發(fā)用戶數(shù)，持續(xù)執(zhí)行一段時間業(yè)務，通過綜合分析交易執(zhí)行指標和資源監(jiān)控指標來確定系統(tǒng)處理最大工作量強度性能的過程。疲勞強度測試可以采用工具自動化的方式進行測試，也可以手工編寫程序測試，其中后者占的比例較大。一般情況下以服務器能夠正常穩(wěn)定響應請求的最大并發(fā)用戶數(shù)進行一定時間的

14、疲勞測試，獲取交易執(zhí)行指標數(shù)據(jù)和系統(tǒng)資源監(jiān)控數(shù)據(jù)。如出現(xiàn)錯誤導致測試不能成功執(zhí)行，則及時調(diào)整測試指標，例如降低用戶數(shù)、縮短測試周期等。還有一種情況的疲勞測試是對當前系統(tǒng)性能的評估，用系統(tǒng)正常業(yè)務情況下并發(fā)用戶數(shù)為基礎，進行一定時間的疲勞測試。大數(shù)據(jù)量測試可以分為兩種類型：針對某些系統(tǒng)存儲、傳輸、統(tǒng)計、查詢等業(yè)務進行大數(shù)據(jù)量的獨立數(shù)據(jù)量測試；與壓力性能測試、負載性能測試、疲勞性能測試相結合的綜合數(shù)據(jù)量測試方案。大數(shù)據(jù)量測試的關鍵是測試數(shù)據(jù)的準備，可以依靠工具準備測試數(shù)據(jù)。速度測試目前主要是針對關鍵有速度要求的業(yè)務進行手工測速度，可以在多次測試的基礎上求平均值，可以和工具測得的響應時間等指標做對比

15、分析。應用在網(wǎng)絡上性能的測試應用在網(wǎng)絡上性能的測試重點是利用成熟先進的自動化技術進行網(wǎng)絡應用性能監(jiān)控、網(wǎng)絡應用性能分析和網(wǎng)絡預測。網(wǎng)絡應用性能分析網(wǎng)絡應用性能分析的目的是準確展示網(wǎng)絡帶寬、延遲、負載和TCP端口的變化是如何影響用戶的響應時間的。利用網(wǎng)絡應用性能分析工具，例如Application Expert，能夠發(fā)現(xiàn)應用的瓶頸，我們可知應用在網(wǎng)絡上運行時在每個階段發(fā)生的應用行為，在應用線程級分析應用的問題。可以解決多種問題：客戶端是否對數(shù)據(jù)庫服務器運行了不必要的請求？當服務器從客戶端接受了一個查詢，應用服務器是否花費了不可接受的時間聯(lián)系數(shù)據(jù)庫服務器？在投產(chǎn)前預測應用的響應時間；利用Appli

16、cation Expert調(diào)整應用在廣域網(wǎng)上的性能；Application Expert能夠讓你快速、容易地仿真應用性能，根據(jù)最終用戶在不同網(wǎng)絡配置環(huán)境下的響應時間，用戶可以根據(jù)自己的條件決定應用投產(chǎn)的網(wǎng)絡環(huán)境。網(wǎng)絡應用性能監(jiān)控在系統(tǒng)試運行之后，需要及時準確地了解網(wǎng)絡上正在發(fā)生什么事情；什么應用在運行，如何運行；多少PC正在訪問LAN或WAN；哪些應用程序導致系統(tǒng)瓶頸或資源競爭，這時網(wǎng)絡應用性能監(jiān)控以及網(wǎng)絡資源>' target='_blank' class='infotextkey'>管理對系統(tǒng)的正常穩(wěn)定運行是非常關鍵的。利用網(wǎng)絡應用性能監(jiān)

17、控工具，可以達到事半功倍的效果，在這方面我們可以提供的工具是Network Vantage。通俗地講，它主要用來分析關鍵應用程序的性能，定位問題的根源是在客戶端、服務器、應用程序還是網(wǎng)絡。在大多數(shù)情況下用戶較關心的問題還有哪些應用程序占用大量帶寬，哪些用戶產(chǎn)生了最大的網(wǎng)絡流量，這個工具同樣能滿足要求。網(wǎng)絡預測考慮到系統(tǒng)未來發(fā)展的擴展性，預測網(wǎng)絡流量的變化、網(wǎng)絡結構的變化對用戶系統(tǒng)的影響非常重要。根據(jù)規(guī)劃數(shù)據(jù)進行預測并及時提供網(wǎng)絡性能預測數(shù)據(jù)。我們利用網(wǎng)絡預測分析容量規(guī)劃工具PREDICTOR可以作到：設置服務水平、完成日網(wǎng)絡容量規(guī)劃、離線測試網(wǎng)絡、網(wǎng)絡失效和容量極限分析、完成日常故障診斷、預測網(wǎng)絡設備遷移和網(wǎng)絡設備升級對整個網(wǎng)絡的影響。從網(wǎng)絡>' targe