1、使用失效數(shù)據(jù)來引導決定趙建華南京大學計算機系失效數(shù)據(jù)的用途 失效數(shù)據(jù)可以幫助你作出以下決定 接受/拒絕一個采辦組件 引導你開發(fā)產(chǎn)品或者其變體的軟件開發(fā)過程 接受或者拒絕一個超系統(tǒng) 發(fā)布一個產(chǎn)品 其中，決定1和3是在確認測試的時候做出的。引導過程 引導你開發(fā)一個產(chǎn)品或者其變體的軟件開發(fā)過程的決定包括兩個子決定 通過估算當前的失效強度和它的趨勢來引導軟件過程的改變。 根據(jù)失效的影響（包括頻率和嚴重程度類）來確定需要解決的失效的優(yōu)先次序。確認測試 主要的任務是確定某個軟件的FI是否達到要求。 使用的主要工具是Reliability demonstration chart。 需要使用的數(shù)據(jù)：每個失效發(fā)

2、生的具體時刻。Reliability Demonstration Chart 使用失效發(fā)生的具體時刻,在圖中繪制各個失效對應的點。根據(jù)點所在的區(qū)域決定接受/否決一個產(chǎn)品，或者繼續(xù)測試。 縱軸：錯誤個數(shù) 橫軸：標準化后的失效時刻Reliability Demonstration Chart 給圖表總共有3個參數(shù)： 區(qū)分比率：你所能夠接受的在估算FI的時候出現(xiàn)的誤差的因子。 客戶風險水平 ：你接受的將不符合FIO的產(chǎn)品說成符合FIO的可能性。 供應商風險水平 ：你所能夠接受的將符合FIO的產(chǎn)品說成不符合要求的可能性。 當風險水平和/或區(qū)分比率降低時，CONTINUE區(qū)域變大。這意味著需要更加多的測

3、試來確定是否接受這個產(chǎn)品。對于RDC的解釋 可能有10%的機會錯誤地接受一個其實際FI高于FIO兩倍的產(chǎn)品 有10%風險錯誤地拒絕了一個其實際FI低于FIO一半的產(chǎn)品。區(qū)分比率2 客戶風險水平：10%供應商風險水平：10%確認測試中使用RDC的例子 例子Failure numberMeasure(million calls)Normalized measure (MTTF)10.18760.7520.31251.2531.255一些具體問題 當失效數(shù)據(jù)一直不離開continue區(qū)域時? 不大可能發(fā)生,因為這需要FI不斷增加,這和確認測試中,軟件保持穩(wěn)定相矛盾. 不一定要等到有一個點出現(xiàn)在ACC

4、區(qū)域才可以接受/拒絕。 當沒有失效出現(xiàn)的時候，可以認為曲線水平延伸。當曲線進入ACC區(qū)域的時候就可以接受該軟件。 所有的RDC的形狀是類似的，但是不同區(qū)域之間的分界線不一樣。分界線的方程如下：(表示區(qū)分度，n為失效個數(shù)） 在拒絕區(qū)域和繼續(xù)區(qū)域 在繼續(xù)區(qū)域和接受區(qū)域不同風險和區(qū)分度的RDCln1Anln1BnTN=TN=A,B的意義 當客戶風險改變的時候， A的值改變很快， B的值改變比較慢 供應商風險改變的時候 A的值基本穩(wěn)定。 B的值改變比較快。1lnln1AB不同設置時的RDC 當，參數(shù)不同的時候，RDC的兩個分界線也各自不同。RDC的例子 Consumer risk = 5% Suppl

5、ier risk = 5% Discrimination ratio = 2可靠性增長測試 可靠性測試中，我們可以定期使用失效數(shù)據(jù)來估算FI/FIO的比值。 估算的間隔可以根據(jù)你需要評估當前的FI并根據(jù)需要采取行動的頻率決定。Length of test remainingFreq. Of application of data 3 monthWeeklySMERFS和CASRE 可以使用SMERFS程序來估算當前的FI的情況。該程序的理論基礎是軟件可靠性模型和統(tǒng)計推論。 CASRE是另外一個工具，它的核心還是SMERFS程序，但是提供了比較方便的圖形界面。CASRE(1) 接受的輸入： 每個

6、錯誤發(fā)生的時候的累計的單元（時間）數(shù)目 或者：在一個間隔內(nèi)發(fā)生的錯誤數(shù)量。這個間隔總是起始于某個錯誤發(fā)生的時刻或者測試開始的時刻。 如果使用自然時間或單元，需要首先規(guī)范化這些時間或者單元（乘以FIO，得到MTTF）。CASRE(2) CASRE使用兩種模型來估算但前的狀態(tài)和預測將來的趨勢 對數(shù)模型（Musa-Okumoto）：假設軟件在無限多的時間內(nèi)出現(xiàn)無限多個失效。對FI的估算趨于悲觀。 指數(shù)模型（Musa Basic）：假設軟件在無限多時間內(nèi)出現(xiàn)有限多的失效。對FI的估算趨于樂觀。 在實際使用中，這兩個模型中總有一個很好地符合實際情況。CASRE(3) CASRE的輸出是“Next ste

7、p prediction”。 如果我們將輸入數(shù)據(jù)如前面所講的規(guī)范化了，那么Next step prediction就將是MTTF。我們可以對MTTF取倒數(shù)得到FI/FIO的比率。 如果失效數(shù)據(jù)顯示測試對FI的提高作用很小，CASRE將不能輸出“Next step prediction”。此時可以使用其他的方式得到FI/FIO的值。CASRE(4) CASRE對FI/FIO的估算的準確性依賴于 具體有多少個失效數(shù)據(jù)。 被測系統(tǒng)的規(guī)模5000行代碼時，估算的效果比較好。FI/FIO不變的時候 當測試發(fā)現(xiàn)FI/FIO很大且基本不變的時候，可以考慮下面的三個方法 增加更多的資源進行測試 重新調(diào)整FIO

8、，開發(fā)時間和開發(fā)費用之間的關系。 推遲實現(xiàn)某些功能。 當FI/FIO2時，分析最近的5個數(shù)據(jù)，看是否FI/FIO有增大的趨勢。分析原因并找出解決方法。終止測試 當規(guī)范化的失效強度(FI/FIO)的值低于0.5的時候，可以考慮停止測試。 不是在FI/FIO等于1的時候發(fā)布是因為失效數(shù)據(jù)具有不確定性，估算具有誤差。為了保證一定的可信度，需要使得實效強度更加小一點。發(fā)布產(chǎn)品 當下面的情況成立的時候，可以考慮發(fā)布產(chǎn)品 對產(chǎn)品的測試圓滿結(jié)束。 對于產(chǎn)品的所有變體的測試圓滿結(jié)束。 在預先準備好的驗收測試中，產(chǎn)品被接受了。 所有的系統(tǒng)都被接受了。 當有一些情況發(fā)生的時候，需要考慮推遲發(fā)布：比如有非常嚴重的缺

9、陷。 一般來說，當系統(tǒng)發(fā)布的時候，所有的嚴重程度為1級或2級的失效都得到了糾正。特殊情況 正在發(fā)展變化中的程序 在測試的過程中，程序本身可能正在被改變。 沒有被報告的失效 系統(tǒng)的測試過程中，有些測試可能沒有被觀察到。 不同風險水平和區(qū)分度下的確認測試正在發(fā)展變化中的程序 在可靠性增長測試過程中，可靠性模型是被用來估算穩(wěn)定的系統(tǒng)的（除了修正錯誤，不對系統(tǒng)作出改變） 但是，系統(tǒng)在開發(fā)的過程中很有可能會因為軟件需求的改變，技術的發(fā)展等而發(fā)生改變。 修改操作的實現(xiàn)，改變軟件/硬件， 這樣的變化會引入新的錯誤。當程序變化緩慢的時候 如果程序的進化很慢，比如每周小于5%的代碼被修改。你可以忽略這樣的程序變

10、化 此時，使用理論模型估算模型參數(shù)或FI/FIO的時候會偏離實際情況。但是，模型本身就是有誤差的。由于忽略變化而產(chǎn)生的誤差是可以接受的。 當你不停地估算參數(shù)或者FI/FIO的時候，最新的數(shù)據(jù)對結(jié)果的影響最大。因此，隨著測試過程的進展，估算得到的值將比較接近新的程序。 在實際的實踐中，多達21%的程序的改變引起的估算值也只是僅僅引起了估算值的一小段時間的不連續(xù)跳躍。 這樣做的好處在于可以避免收集新的數(shù)據(jù)。當出現(xiàn)了大的改動時 可以放棄前面得到的全部數(shù)據(jù)，但是你可能需要等待很長時間才可以得到足夠的數(shù)據(jù)來進行估算預測。 可以考慮結(jié)合老的數(shù)據(jù)來進行估算/預測，這樣得到的結(jié)果要比沒有數(shù)據(jù)時更不壞。 當有了

11、足夠的數(shù)據(jù)的時候，可以考慮放棄全部數(shù)據(jù)。兩種更加顯著的變化 你可能需要處理兩種更加顯著的變化 一個組件一個組件的變化 一個操作組一個操作組的變化 書中提供的方式假設各個元素之間的失效強度相互獨立。處理方法（逐個組件演化） 首先估算每個組件的FI。 如果程序逐個組件地演化，并且程序正常工作需要所有的組件都正常地工作，那么你每加入一個組件，就將其FI加入到系統(tǒng)的FI中去。 比如：假設組件A,B的FI分別是：15/100H和20/100H，那么系統(tǒng)地的FI為35/100H。 如果系統(tǒng)的組合方式有所不同，那么計算方式也應該可以改變。處理方法（逐個操作組演化） 首先估算每個操作組的FI。 將這些操作組的

12、FI的帶權重的和作為整個系統(tǒng)的FI。 比如：操作組A的失效強度為5/1000H，而B的失效強度為10/1000H。A中的操作出現(xiàn)的概率為0.6，B中的操作出現(xiàn)的概率為0.4。那么系統(tǒng)的FI為:(0.6*5+0。4*10)/100H。處理方法的局限性 這樣的方法只能處理元素個數(shù)比較少的情況： 當元素個數(shù)過多，對每個元素的數(shù)據(jù)樣本規(guī)模很小，估算誤差增大。 元素個數(shù)比較大的時候，錯誤很可能出現(xiàn)在元素的組合過程中。 因此，這樣的方法適合于：變化量大，但是變化次數(shù)比較少的情況。其它適用情況 前面的方法可以用于一些其他的情況： 一個程序完全由其他的組件集成而來，并且測試的時候使用逐步進行的方式。 程序充分

13、集成，但是觀察失效的時候是按照漸進的方式進行的。 開始的時候?qū)Ｗ⒂谀硞€組建（操作組），然后逐步拓寬視野。沒有被報告的失效（1） 在很多情況下，有些失效可能沒有被報告，特別是在使用現(xiàn)場發(fā)生的。 這些情況主要發(fā)生在嚴重程度不高，沒有引起程序執(zhí)行中斷的失效上。 通過訓練和激勵人員，以及投入更多的精力檢查程序輸出，你可以降低沒有被報告的失效的比例，但是不可能完全消除遺漏的失效。沒有被報告的失效（2） 一般來說，在負載測試中會有更加多的失效被忽略掉。 在功能測試和回歸測試中，用戶一般可以知道程序的標準輸出。 在負載測試中，由于間接輸入變量的影響，往往難以預先知道確切的標準輸出。 你可以通過基于系統(tǒng)需求，

14、直到某些變量的某些值是不可接受的。就是說，在某些情況下可以肯定系統(tǒng)失效了。沒有被報告的失效（3） 有些失效沒有被報告意味著，總的來說，我們將低估系統(tǒng)的FI。 但是，被用戶忽略的失效更加多。也就是說，相對于測試者而言，用戶會認為這個系統(tǒng)更加可靠。 也有可能在實際使用的時候，用戶感覺到的FI高于測試時估算。主要原因在于系統(tǒng)測試沒有計劃好，測試時的模擬環(huán)境和實際使用的不同。沒有被報告的失效（4） 可以通過某些手段對估算到的FI進行調(diào)整。具體的方法是： 通過對類似項目的分析，看到底有多少失效被遺漏了。（這樣的活動非常費時費力） 通過這些歷史數(shù)據(jù)，你可以逆向估算出有多少失效被遺漏了。中對FI估算的影響(1) 假設第i個失效被遺漏的概率的表示方式如圖: 1212is the probability that theth failure goes unnoticediP iPppiaaP iPiaP ii對于FI估算的影響(2) 對于基本執(zhí)行時間模型: 模型假設: 000e 解釋 如果P(I)不變，那么估算得到的FI比較小。 如果P(I)隨時間增加，那么估算得到的FI就比較低，而且越來越低。 如果P(I)隨時間降低，那么對于FI的估計開始的時候比較低，但是逐漸