1、系統測試進階 肖睿xiaorui999內容C/S系統測試C/S系統測試方法C/S系統測試的步驟C/S系統測試工具2C/S系統測試什么是C/S系統計算機體系結構的發展歷史主機系統PC機器C/S系統(客戶機/服務器系統)多層結構、B/S系統功能/計算、數據的演化集中-分離-分布3C/S系統測試什么是C/S系統結構：廣義的C/S系統數據一般使用數據庫管理，放在Server端表示層或者用戶界面一般使用GUI或者Web技術，放在Client端業務邏輯一般分布在Server端和Client端Client與Server一般是獨立的機器，使用LAN或者Internet聯接多個操作系統平臺，多個Client，一

2、個或者多個Server4C/S系統測試什么是C/S系統優勢提升系統性能，減少用戶等待時間集中、共享計算能力集中、共享數據減少網絡負載支持多用戶并發訪問提升系統靈活性擴展容易修改靈活具備容錯能力和恢復能力易于擴展計算能力和數據分布能力硬件擴展支持異構系統單獨升級數據可以分布并冗余計算可以分布并冗余機器硬件可以分布并冗余異構系統5C/S系統測試什么是C/S系統開發技術常用Client端開發工具PB/VB/Delphi，也有VC/Developer一般使用組件技術，并具備強大的數據庫聯接能力事件驅動，可視化編程，對象編程，RAD開發方法常用Server端數據庫關系型數據庫：Oracle/DB2/Sy

3、base/SQL Server支持SQL和ODBC支持事務處理、安全機制、并發訪問、數據分布6C/S系統測試C/S系統測試與傳統測試的比較目標一致為了盡早發現盡可能多的錯誤對“錯誤”的理解的一個誤區：易用性和用戶界面美觀是不重要的在使用用戶界面上的時間和頻度方面，用戶比開發人員或者測試人員要多得多；在技術難度不大的地方或者表面上不重要沒有精心設計，那么這些錯誤對用戶的影響會越來越大，直至最終掩蓋了應用程序的優勢。例如：消費類產品的精心設計為產品和過程度量提供數據7C/S系統測試C/S系統測試與傳統測試的比較C/S系統的測試難度更大1、計算與數據分布，導致并發和安全問題，使場景復雜2、使用事件驅

4、動和組件技術設計的GUI界面使得測試路徑趨近無窮，測試場景復雜8C/S系統測試C/S系統測試與傳統測試的比較C/S系統的測試難度更大3、使用對象編程技術使得對象之間的依賴和繼承關系復雜，錯誤修改引起的連鎖反應增大4、使用對象和組件技術使得系統對第三方組件/類庫依賴增強，在質量和技術上存在風險9C/S系統測試C/S系統測試與傳統測試的比較C/S系統的測試難度更大5、文檔問題系統本身復雜，導致文檔內容復雜使用了RAD開發方式，導致文檔不詳細多系統，導致文檔術語難以統一10C/S系統測試C/S系統測試與傳統測試的比較C/S系統的測試難度更大6、多系統、多語言使得錯誤的隱蔽性和數量增大，測試環境的搭建

5、更加困難，測試人員的技術要求更加全面普通文件 v.s. 數據庫系統難于直接控制數據：數據獨立并通過接口訪問；內置安全機制和應用層安全機制混合在一起單機 v.s. 網絡硬件之間和軟件之間的通訊通過網絡和上面的協議多硬件、多軟件、多數據庫、多協議標準、多語言失效、不匹配可能性增大多開發人員協調一致難度比較大11C/S系統測試C/S系統測試與傳統測試的比較C/S系統的測試難度更大7、高度依賴于第三方系統第三方產品的穩定性不能保證多廠商帶來的復雜性和管理問題廠商之間的版本影響(DLL Hell)廠商之間的版本更新組合情況復雜PM是一個總承包商，廠商之間踢皮球12C/S系統測試C/S系統測試與傳統測試的

6、比較C/S系統的測試難度更大8、測試歷史數據和針對性的測試方法匱乏可供參照的樣板少系統多樣，可重復性比較小技術比較新，可參考樣板少，有經驗的組織和個人比較少13內容C/S系統測試C/S系統測試方法C/S系統測試的步驟C/S系統測試工具14C/S系統測試C/S系統測試的具體目標1、檢查系統是否達到公布的功能說明功能范圍要在項目開始之前確定，中途如果修改，重新修改項目計劃和預算功能說明需要逐步完善，盡可能地將用戶的期望寫入公布的功能說明JAD方式保證用戶參與設計和確認，并降低最后驗收的風險RAD方式幫助用戶表達和反饋對于系統的意見功能的改變盡早提出越到開發后期，功能改變越要謹慎，代價也越大15C/

7、S系統測試C/S系統測試的具體目標2、檢查是否滿足性能要求用戶永遠比開發人員更加關注性能用戶要成年累月地面對性能的困擾不要試圖與用戶玩文字游戲例如：某個窗口在1秒內可用(實際上，只有窗口10%內容在1秒內顯示，其他內容還要等1分鐘)用戶是甲方用戶可能當時無話可說，但是滿意度下降，信任度下降，容忍度下降用戶一定會在其他的地方找出本來可以忽略的毛病，并揪住不放如果用戶忘記提到某一條性能(實際上是開發人員“忘記”提問)，開發人員不要認為這是一件好事情，最后會造成更大的麻煩用戶新里面一定會有沒有說出來的性能期望用戶是甲方16C/S系統測試C/S系統測試的具體目標3、檢查是否能夠處理要求的負載除非做充分

8、的性能測試、負載測試、壓力測試和疲勞測試，否則沒有人能夠預測系統的負載到底如何小負載的運行性能和功能表現與大負載下的性能和功能表現經常不同資源限制多用戶并發、長時間、大量訪問數據量巨大17C/S系統測試C/S系統測試的具體目標4、檢查在要求的各種軟硬件平臺上是否有錯測試試驗室各種軟硬件設備、技術全面的測試人員不同硬件、軟件、網絡平臺每個客戶端可能的不同軟件環境安裝其他工作需要使用的軟件版本不同Office、eMail18C/S系統測試C/S系統測試的原則原則：全面不要假設沒有問題，必須測試之后才能說沒有問題19C/S系統測試C/S系統測試的方法常見錯誤測試計劃和測試方案需要關注的地方常見的測試

9、點設計測試用例需要關注的地方20C/S系統測試C/S系統測試的常見錯誤1、功能性錯誤只要列在需求中的功能在最終系統中沒有達到，就屬于功能性錯誤包括因為過程中的指導發生了信息模糊或者矛盾方法：依照系統需求逐項測試確認21C/S系統測試C/S系統測試的常見錯誤2、系統錯誤原因存在于開發的C/S系統之外，對C/S系統的運行產生影響的錯誤例如：操作系統錯誤、中間件錯誤、DLL錯誤、驅動程序錯誤、硬件錯誤、網絡設備錯誤難點：隔離并確認錯誤發生的地點導致供應商踢皮球；即使承認，解決問題也需要時間，并且會給系統帶來新的不穩定方法：1、盡量在開始設計的時候考慮周全，并考察供應商資格和服務2、繞過這個問題3、請

10、廠商修改系統4、更換廠商22C/S系統測試C/S系統測試的常見錯誤3、通訊錯誤存在于C/S系統之外的，各個層之間通訊問題產生的錯誤包括硬件，包括同層例如網卡壞了電纜接觸不良通訊軟件或者驅動程序自身錯誤用戶權限不夠地址問題路由器等通訊設備損壞私有協議錯誤是一種特殊的系統錯誤，分離出來的原因通訊非常關鍵通訊錯誤非常普遍23C/S系統測試C/S系統測試的常見錯誤4、邏輯錯誤設計錯誤，考慮不全面或者理解錯誤與傳統測試中遇到的問題一樣24C/S系統測試C/S系統測試的常見錯誤5、用戶界面錯誤用戶界面不一致同一個界面之內；同一個模塊/產品之內；同一個系統之內本地化問題不支持本地化、部分本地化、本地化錯誤信

11、息模糊或者矛盾信息顯示不全操作路徑復雜、模糊25C/S系統測試C/S系統測試的常見錯誤6、數據錯誤SQL簡單/強大，但是技巧多/風險大，直接涉及數據更改開發人員培訓SQL，并設置編碼規范互相檢查代碼小組內設置SQL專家把關SQL中的檢查點是否檢查了查詢的返回錯誤值，包括Select仔細檢查使用Delete和Update的地方仔細檢查存儲過程和觸發器聚合函數的使用陷阱：不單獨列出每一個記錄其它：如年齡的計算方法數據庫本身的檢查點Schema命名機制：變量作用域安全性策略的設置和檢查多個數據庫使用中，日期表示的不同特點26C/S系統測試C/S系統測試的常見錯誤7、編碼錯誤編程錯誤，壞的編程習慣變量

12、初始化、變量名字類似/錯誤使用與傳統測試中遇到的問題一樣數據類型和移植問題多系統一致性計算能力遷移27C/S系統測試C/S系統測試的常見錯誤8、測試錯誤軟件錯誤模型偏差開發語言和平臺的更換開發團隊/開發規范的變化軟件業務領域的變化測試策略問題殺蟲劑怪事蟲子聚窩蟲子裝死、變異28C/S系統測試C/S系統測試的常見測試點1、輸入合法性檢查必要性小概率錯誤一定會發生一個小概率錯誤與一個大概率或者嚴重錯誤往往是同一個產生原因方法代碼中的錯誤處理分支數據庫中的約束、存儲過程/觸發器29C/S系統測試C/S系統測試的常見測試點2、路徑測試類似于白盒測試技術中的路徑概念C/S系統的完全路徑測試是不現實的使用

13、基本測試路徑方法30C/S系統測試C/S系統測試的常見測試點3、事務測試事務設計角度：一個獨立的工作單位數據庫角度：一個全部執行/不執行的SQL集合用戶角度：一個完全成功/取消的操作容易出錯的事務處理在一個表中修改記錄，但是同時更新多個表；或者直接更新多個表影響到表關系的修改操作(比如：刪除一個主鍵)測試點(測試用例設計)：輸入合法的完整的記錄，檢查事務是否正確執行輸入合法的完整的記錄，在完成之前放棄操作，檢查表沒有被更改輸入一個記錄并故意漏掉一個數據項，檢查表沒有被更改輸入一個記錄并故意有一個不合法數據項，檢查表沒有被更改輸入一個記錄并使它的引用不存在，檢查表沒有被更改事務中是否包含不確定的

14、耗時操作，會導致并發失敗、性能下降比如：等待用戶輸入31C/S系統測試C/S系統測試的常見測試點4、循環測試路徑測試32C/S系統測試C/S系統測試的常見測試點5、邊界值測試取臨界數據或者操作作為測試用例33C/S系統測試C/S系統測試的常見測試點6、日期測試潤年計算、星期幾計算日期+/-數字、日期+/-日期日期格式：01/12/99 vs 31/12/99時區、時制34C/S系統測試C/S系統測試的常見測試點7、導入導出測試輸出輸出設備不正確、繁忙、沒有空間等情況導入/導出文件類型不匹配導入文件損壞或者內容不正確當字符集表示方法不同時，能否正確處理數據恢復機制尤其是系統升級的時候35C/S系

15、統測試C/S系統測試的常見測試點8、安全性測試鎖使誠實的人表現出誠實；防君子不防小人；道高一尺，魔高一丈在應用程序中，用戶是否被正確所定在訪問路徑和訪問窗口中在應用程序或者操作系統中，用戶是否可能直接訪問數據庫文件在數據庫管理中，用戶是否被賦予了不適當的權限開發人員是否留了后門更多地依賴于代碼審核和管理病毒檢查平臺或者第三方系統本身的安全問題系統的已公布缺陷是否處理是否打補丁了使用Tiger組：安全專家/黑客高手36C/S系統測試C/S系統測試的常見測試點9、Login/Logoff測試是否正確記錄登錄和退出日志對于多次登錄失敗的警告機制口令強制修改措施的正確執行每次顯示上次登錄記錄空閑終端退

16、出注意空閑條件判斷，如：屏幕保護程序是否符合規定的License要求37C/S系統測試C/S系統測試的常見測試點10、日志測試是否正確記錄日志內容日志文件滿、被刪除、損壞、內容錯誤、訪問權限錯誤的正確處理日志文件的安全和訪問權限38C/S系統測試C/S系統測試的常見測試點1、輸入合法性檢查2、路徑測試3、事務測試4、循環測試5、邊界值測試6、日期測試7、導出測試8、安全性測試9、Login/Logoff測試10、日志測試39內容C/S系統測試C/S系統測試方法C/S系統測試的步驟C/S系統測試工具40C/S系統測試的步驟1、計劃測試工作2、測試設計和測試用例跟蹤3、缺陷報告和管理4、效果評估4

17、1C/S系統測試的步驟1、計劃測試工作與傳統測試相比，還要：注意多系統、多廠商的協調建立測試實驗室，注意測試資源(尤其是軟件/硬件資源)的配備和管理使用盡可能多樣的系統組合關注性能測試尤其關注SQL只有20%的性能優化來自與數據庫管理需要大量的數據SQL正確性需要小數據庫，性能測試需要大數據庫42C/S系統測試的步驟2、測試設計和測試用例跟蹤與傳統測試相比，還要：注重8種錯誤類型和10個測試點使用數據生成工具和性能測試工具43C/S系統測試的步驟3、缺陷報告和管理與傳統測試相比，還要：注意記錄當時的系統/網絡狀態注意記錄當時的數據庫和本機狀態注意缺陷的分離、重現和優化44C/S系統測試的步驟4

18、、效果評估與傳統測試相比，還要：注意版本提交控制和配置管理45內容C/S系統測試C/S系統測試方法C/S系統測試的步驟C/S系統測試工具46C/S系統測試工具C/S系統測試工具多樣性用于早期測試與晚期測試用于不同平臺測試用于不同測試內容用于項目經理、QA人員、測試人員、開發人員用于服務器和用于工作站47C/S系統測試工具C/S系統測試工具主要功能1、計劃和管理包括項目管理、缺陷管理、測試用例管理、文檔與流程管理2、源代碼控制甚至配置管理3、調試器4、面向對象的測試5、測試數據庫對象48C/S系統測試工具C/S系統測試工具主要功能6、測試向導7、自動測試用例生成8、數據/數據庫生成器9、標準測試

19、用例包SQL語言通訊協議10、捕獲、回放與比較無人照料的測試疲勞測試49C/S系統測試工具C/S系統測試工具主要功能11、模擬負載測試12、模擬并發測試13、監視程序14、剖析測試15、內存泄漏測試50C/S系統測試工具C/S系統測試工具主要優點1、測試流程和數據的標準化、規范化有助于測試強制性2、與項目計劃、開發計劃集成3、測試用例、缺陷報告、缺陷分析與測試計劃集成4、測試文檔管理5、缺陷跟蹤和管理、測試評估51C/S系統測試工具C/S系統測試工具主要優點6、測試腳本和測試用例可以重復使用、重新編輯7、測試數據與測試過程/腳本分離8、適合回歸測試與壓力測試、負載測試、疲勞測試9、觀察程序內部信息對象屬性、方法內部數據變化52C/S系統測試工具C/S系統測試工具主要缺點1、費用風險購買費用學習和培訓費用設計費用：包括腳本生成修改費用：尤其是版本功能或者結構變化技術風險：測試工具本身的錯誤2、集成問題流程和方法論與具體項目的結合53C/S系統測試工具C/S系統測試工具主要缺點3、銀彈風險沒有銀彈給管理者和項目組不切實際的期望尤其是管理者買了工具就能保證質量嗎？4、測試套件一般的同一個廠商工具套件之間聯系非常緊密不同廠商之間沒有統一