入侵檢測系統評估第一頁，共三十一頁，編輯于2023年，星期二

6.1入侵檢測系統的主要性能參數

在對入侵檢測系統的性能進行分析時，應重點考慮檢測的有效性、效率和可用性。

有效性：研究檢測機制的檢測精確度和系統報警的可信度，它是開發設計和應用IDS的前提和目的，是測試評估IDS的主要指標。

效率：從檢測機制處理數據的速度以及經濟角度來考慮，側重檢測機制性能價格比的改進。第二頁，共三十一頁，編輯于2023年，星期二6.1.1檢測率、虛報率與報警可信度

人們希望檢測系統能夠最大限度地把系統中的入侵行為與正常行為區分開來，這就涉及到入侵檢測系統對系統正常行為（或入侵行為）的描述方式、檢測模型與檢測算法的選擇。

如果檢測系統不能夠精確地描述系統的正常行為（或入侵行為），那么，系統必然會出現各種誤報。如果檢測系統把系統的“正常行為”作為“異常行為”進行報警，這種情況就是虛報（FalsePositive）。如果檢測系統對部分針對系統的入侵活動不能識別、報警，這種情況被稱做漏報（FalseNegative）。第三頁，共三十一頁，編輯于2023年，星期二

1.檢測率與虛報率

可以用貝葉斯理論來分析基于異常性檢測的入侵檢測系統的檢測率、虛報率與報警可信度之間的關系，并在此基礎上分析它們對異常性檢測算法性能的影響。

入侵檢測問題可看做是一個簡單的二值假設檢驗問題。首先給出一系列相關的定義和符號：

假設I與I分別表示入侵行為和目標系統的正常行為，A代表檢測系統發出入侵報警，A表示檢測系統沒有報警。

檢測率：被監控系統受到入侵攻擊時，檢測系統能夠正確報警的概率，可表示為P(A/I)。通常利用已知入侵攻擊的實驗數據集合來測試入侵檢測系統的檢測率。第四頁，共三十一頁，編輯于2023年，星期二虛報率：指檢測系統在檢測時出現虛報警的概率，可表示為P(A/I)?？衫靡阎南到y正常行為作為實驗數據集，通過系統仿真獲得檢測系統的近似虛報率。

另外，概率P(A/I)代表檢測系統的漏報率，P(A/I)則指目標系統正常（沒有入侵攻擊）的情況下，檢測系統不報警的概率。顯然有第五頁，共三十一頁，編輯于2023年，星期二在實際應用中，主要關注的是一個入侵檢測系統的報警結果能否正確地反映目標系統的安全狀態。下面的兩個參數則從報警信息的可信度方面考慮檢測系統的性能：

P(A/I)給出了檢測系統報警信息的可信度，即檢測系統報警時，目標系統正受到入侵攻擊的概率。

P(A/I)給出了檢測系統未發出報警信息的可信度，即檢測系統未報警時，目標系統未受到入侵攻擊的概率。

為使入侵檢測系統更有效，系統的這兩個參數的值越大越好。根據貝葉斯定理可以得出這兩個參數的計算公式：（6.1）第六頁，共三十一頁，編輯于2023年，星期二同理：（6.2）第七頁，共三十一頁，編輯于2023年，星期二在實際應用過程中，檢測率的好壞是由IDS的兩個部分決定的。一是IDS的抓包能力，二是IDS的檢測引擎。為了達到100％的檢測率，IDS首先要把需要的數據包全部抓上來，送給檢測引擎。在網絡流量相同的情況下，數據包越小，數據包的個數就越多，IDS的抓包引擎是對數據包一個一個進行處理的，因此數據包越小，抓包引擎能處理的網絡流量就越小。相比之下，數據包的大小對IDS檢測引擎的影響程度較小，因為雖然檢測引擎對每個數據包都要解析數據包頭，但它同樣要檢測每個數據包的內容，總量是一樣的，因此數據包的大小對檢測引擎基本沒有影響。第八頁，共三十一頁，編輯于2023年，星期二數據包抓上來之后，需要經過檢測引擎的檢測才能引發告警。在檢測引擎的處理過程中，數據包的各種因素都會影響檢測引擎的效率。不同的IDS產品因為其檢測引擎中對數據包的處理有側重點，因此不同內容的背景數據流會嚴重影響產品的檢測率。當通過不同內容的背景數據流，可以判斷出IDS檢測引擎在某些方面的優劣。數據包中的數據內容也很關鍵，如果背景數據流中包含大量敏感的關鍵字，能引發一種IDS產品告警，而對另一種IDS產品可能并不引發告警，這樣的數據包內容就影響了引擎的效率。即使在不引發告警的條件下，背景數據流的數據內容也對檢測引擎影響很大。第九頁，共三十一頁，編輯于2023年，星期二實際上IDS的實現總是在檢測率和虛報率之間徘徊，檢測率高了，虛報率就會提高；同樣,虛報率降低了，檢測率也就會降低。一般地，IDS產品會在兩者中取一個折中，并且能夠進行調整，以適應不同的網絡環境。美國的林肯實驗室用接收器特性(ReceiverOperatingCharacteristic,ROC)曲線來描述IDS的性能。該曲線準確刻畫了IDS的檢測率與虛報率之間的變化關系。ROC廣泛用于輸入不確定的系統的評估。根據一個IDS在不同的條件(在允許范圍內變化的閾值，例如異常檢測系統的報警門限等參數)下的虛報率和檢測率，分別把虛報率和檢測率作為橫坐標和縱坐標，就可做出對應于該IDS的ROC曲線。ROC曲線與IDS的檢測門限具有對應的關系。第十頁，共三十一頁，編輯于2023年，星期二在現實中，虛報不會引起什么危害，因為事件本身是一個正常的事件。虛報的壞處可能就是浪費了安全管理員的一些閱讀和檢查的時間；而漏報則是一個很嚴重的錯誤。實際上，漏報就等于入侵事件沒有被檢測出來，對系統可能會引起很大的危害。

通常來講，如果一個系統的虛報越多，它的漏報就越少。反過來，如果虛報越少，漏報則可能會越多。這是因為，虛報越多表示入侵檢測系統對事件的警覺程度越高，這樣，它忽略入侵的事件造成漏報的可能性就越小。從檢測技術的角度來看，入侵檢測系統對事件的警覺程度越高意味著檢測算法對入侵事件的約束條件越緊；如果虛報越少，表示入侵檢測系統對事件的警覺程度越低，這樣，它忽略入侵事件的可能性就越大，也就是說，入侵檢測系統對事件的警覺程度越低，意味著檢測算法對入侵事件的約束條件越寬松。所以，誤用檢測技術所造成的虛報并不高，但很可能會漏掉一些入侵事件，特別是新的入侵類型。第十一頁，共三十一頁，編輯于2023年，星期二

2.ROC曲線

ROC曲線以圖形方式來表示正確報告率和誤報率的關系。ROC曲線是基于正確報告率和誤報率的關系來描述的。這樣的圖稱為諾模圖（Nomo－gram），它在數學領域用于表示數字化的關系。選好一個臨界點（CutoffPoint）之后，就可以從圖中確定IDS的正確報告率和誤報率。曲線的形狀直接反映了IDS產品的準確性和總體品質。如果一條直線向上，然后向右方以45°角延伸，就是一個非常失敗的IDS，它毫無用處；相反，ROC曲線下方的區域越大，IDS的準確率越高。如圖6.1所示，IDSB的準確性高于IDSC，類似地，IDSA在所有的IDS中具有最高的準確性。第十二頁，共三十一頁，編輯于2023年，星期二圖6.1

ROC曲線第十三頁，共三十一頁，編輯于2023年，星期二在測試評估IDS的具體實施過程中，除了要IDS的檢測率和虛報率之外，往往還會單獨考慮與這兩個指標密切相關的一些因素，比如能檢測的入侵特征數量、IP碎片重組能力、TCP流重組能力。顯然，能檢測的入侵特征數量越多，檢測率也就越高。此外，由于攻擊者為了加大檢測的難度甚至繞過IDS的檢測，常常會發送一些特別設計的分組。為了提高IDS的檢測率，降低IDS的虛報率，IDS常常需要采取一些相應的措施，比如IP碎片能力、TCP流重組。由于分析單個的數據分組會導致許多誤報和漏報，所以IP碎片的重組可以提高檢測的精確度。IP碎片重組的評測標準有三個性能參數:能重組的最大IP分片數、能同時重組的IP分組數、能進行重組的最大IP數據分組的長度。TCP流重組是為了對完整的網絡對話進行分析，它是網絡IDS對應用層進行分析的基礎，如檢查郵件內容和附件、檢查FTP傳輸的數據、禁止訪問有害網站、判斷非法HTTP請求等。這些因素都會直接影響IDS的檢測可信度。第十四頁，共三十一頁，編輯于2023年，星期二6.1.2抗攻擊能力

和其它系統一樣，IDS本身也往往存在安全漏洞。若對IDS攻擊成功，則直接導致其報警失靈，入侵者在其后所作的行為將無法被記錄，因此IDS首先必須保證自己的安全性。IDS本身的抗攻擊能力也就是IDS的可靠性，用于衡量IDS對那些經過特別設計直接以IDS為攻擊目標的攻擊的抵抗能力。它主要體現在兩個方面：一是程序本身在各種網絡環境下能夠正常工作；二是程序各個模塊之間的通信能夠不被破壞，不可仿冒，此外要特別考慮抵御拒絕服務攻擊的能力。如果IDS本身不能正常運行，也就失去了它的保護意義。而如果系統各模塊間的通信遭到破壞，那系統的報警之類的檢測結果也就值得懷疑，應該有一個良好的通信機制保證模塊間通信的安全并能在出問題時能夠迅速恢復。第十五頁，共三十一頁，編輯于2023年，星期二6.1.3其它性能指標

1.延遲時間

檢測延遲指的是在攻擊發生至IDS檢測到入侵之間的延遲時間。延遲時間的長短直接關系著入侵攻擊破壞的程度。

2.資源的占用情況

資源的占用情況是指系統在達到某種檢測有效性時對資源的需求情況。通常，在同等檢測有效性的前提下，對資源的要求越低，IDS的性能越好，檢測入侵的能力也就越強。第十六頁，共三十一頁，編輯于2023年，星期二

3.負荷能力

IDS有其設計的負荷能力，在超出負荷能力的情況下，性能會出現不同程度的下降。比如，在正常情況下IDS可檢測到某攻擊,但在負荷大的情況下可能就檢測不出該攻擊?？疾鞕z測系統的負荷能力就是觀察不同大小的網絡流量、不同強度的CPU內存等系統資源的使用對IDS的關鍵指標（比如檢測率、虛警率）的影響。第十七頁，共三十一頁，編輯于2023年，星期二

4.日志、報警、報告以及響應能力

日志能力是指檢測系統保存日志的能力,按照特定要求選取日志內容的能力。報警能力是指在檢測到入侵后，向特權部件、人員發送報警信號的能力以及在報警中附加信息的能力。報告能力是指產生入侵行為報告、提供查詢報告、創建和保存報告的能力。響應能力是指在檢測到入侵后進一步處理的能力，這包括阻斷入侵、跟蹤入侵者、記錄入侵證據等。

5.系統的可用性

系統的可用性主要是指系統安裝、配置、管理、使用的方便程度，系統界面的友好程度，攻擊規則庫維護的簡易程度等方面。第十八頁，共三十一頁，編輯于2023年，星期二

6.檢測范圍

通常情況下，一個IDS能檢測到的攻擊是有一定范圍的。檢測范圍的考察，就是在一定的攻擊分類標準下，考察IDS對不同類型攻擊的檢測能力。

由此可以看出，IDS是個比較復雜的系統，對IDS進行測試和評估不僅和IDS本身有關，還與應用IDS的環境有關。測試過程中涉及到操作環境、網絡環境、工具、軟件、硬件等方面，既要考慮入侵檢測的效果如何，也要考慮應用該系統后它對實際系統的影響，有時要折中考慮這兩種因素。綜合起來，入侵檢測系統性能的參數主要有：檢測率、虛報率、漏報率、不報率等，從而可以由此計算出檢測系統報警信息的可信度。第十九頁，共三十一頁，編輯于2023年，星期二

6.2入侵檢測系統評估標準

6.2.1準確性（Accuracy）

準確性指入侵檢測系統能在各種行為中正確地檢測出系統入侵活動的能力。當一個入侵檢測系統的檢測不準確時，它就可能把系統中的合法活動當作入侵行為并標識為異常（虛警現象）。

準確性主要是指研究檢測機制的精確度和系統檢測結果的可信度。準確性包含幾個指標，即報警準確度（又稱檢測率、靈敏度）、誤警率、檢測可信度。這些指標既是開發和應用IDS的前提和目的，又是測試評估的主要指標。其中，第二十頁，共三十一頁，編輯于2023年，星期二具備較高的報警準確率是IDS的關鍵，是否智能、準確地報告非法入侵行為成為衡量一個入侵檢測產品優劣的首要內容。誤警率指錯誤報警或未報警的比率，包括虛警率和漏報率，其中，報警準確率和誤警率是衡量IDS效率的兩個重要指標。誤警率和漏報率應盡量低。檢測可信度指某一次報警是真實的報警（正確檢測）的概率，反映的是檢測系統檢測結果的可信程度，也是IDS的重要指標，其取值與報警的次數、報警已逝去的時間等都有關系。第二十一頁，共三十一頁，編輯于2023年，星期二評估IDS的準確性除了要考察以上指標外，還應該單獨考慮如下指標（但這些指標并不僅僅只反映IDS的準確性）：是否支持事件特征自定義、是否支持多級分布式結構和事件歸并、能檢測的入侵特征數量、IP碎片重組能力、TCP流重組能力、IDS對網絡流量的分析是否能達到足夠的抽樣比例、系統對變形攻擊的檢測能力、系統對碎片重組的檢測能力、系統對未發現漏洞特征的預報警能力、是否具有較低的漏報率、系統是否采取有效措施降低誤報率、是否具有高的報警成功率、在線升級和入侵檢測規則庫的更新是否快捷有效等。第二十二頁，共三十一頁，編輯于2023年，星期二6.2.2完備性（Completeness）

完備性是指入侵檢測系統能夠檢測出所有攻擊行為的能力。如果存在一個攻擊行為，無法被入侵檢測系統檢測出來，那么該入侵檢測系統就不具有檢測完備性。由于在一般情況下，很難得到關于攻擊行為以及對系統特權濫用行為的所有知識，所以關于入侵檢測系統的檢測完備性的評估要相對困難得多。

由于通常不可能存在具有檢測完備性的IDS，因此提出一個新的概念：完備度。第二十三頁，共三十一頁，編輯于2023年，星期二6.2.3容錯性（FaultTolerance）

IDS本身也是會存在安全漏洞的，若對入侵檢測系統攻擊成功，則會直接導致IDS報警失靈，系統將無法記錄入侵者在其后的所作所為。因此要求檢測系統必須是可容錯的，即使系統崩潰，檢測系統本身必須能保留下來，而不必重啟系統時必須重建知識庫。入侵檢測系統自身必須能夠抵御對它自身的攻擊，特別是拒絕服務攻擊（DenialOfService）。拒絕服務攻擊是指攻擊者通過某種手段，有意地造成計算機或網絡不能正常運轉從而不能向合法用戶提供所需要的服務或者降低其提供的服務質量。由于大多數入侵檢測系統是運行在極易遭受攻擊的操作系統和硬件平臺上，這就使得系統的容錯性變得特別重要，在設計入侵檢測系統時必須考慮。第二十四頁，共三十一頁，編輯于2023年，星期二6.2.4及時性（Timeliness）

系統必須及時發現各種入侵行為，理想情況是事先發現攻擊企圖，比較現實的情況則是在攻擊行為發生的過程中檢測到攻擊行為。及時性要求系統必須盡快地分析數據并把分析結果傳播出去，以使系統安全管理者能夠在入侵攻擊尚未造成更大危害以前做出反應，阻止攻擊者顛覆審計系統甚至入侵檢測系統的企圖。如果是事后才發現攻擊的結果則必須保證時效性，因為一個已經被攻擊過的系統往往意味著后門引入以及后續的攻擊行為。和上面的處理性能因素相比，及時性要求更高。它不僅要求入侵檢測系統的處理速度要盡可能地快，而且要求傳播、反應檢測結果信息的時間盡可能少。反映及時性的幾個重要指標是延遲時間、檢測時間、分析和關聯時間、響應時間等。第二十五頁，共三十一頁，編輯于2023年，星期二6.2.5處理性能（Performance）

處理性能是指一個入侵檢測系統處理審計數據的速度。顯然，當入侵檢測系統的處理性能較差時，它就不可能實現實時的入侵檢測。

此外，一個完整的入侵檢測系統必須具備下列特點：

（1）經濟性。為了保證系統安全策略的實施而引入的入侵檢測系統必須不妨礙系統的正常運行。

（2）安全性。入侵檢測系統自身必須安全，如果入侵檢測系統自身的安全性得不到保障，則意味著信息的無效，更為嚴重的是，入侵者控制了入侵檢測系統即獲得了對系統的控制權，因為一般情況下，入侵檢測系統都是以特權狀態運行的。第二十六頁，共三十一頁，編輯于2023年，星期二（3）可擴展性?？蓴U展性有兩方面的意義：一是機制與數據的分離，在現在機制不變的前提下能夠對新的攻擊進行檢測，例如，使用特征碼來表示攻擊特性；二是體系結構的可擴展性，在有必要的時候可以在不對系統的整體結構進行修改的前提下加強檢測手段，以保證能夠檢測到新的攻擊，如AAFID系統的代謝機制。

IDS系統最終是要為用戶服務的，基于用戶的角度，可以簡單羅列出以下幾方面來評估IDS是否滿足用戶的需要：第二十七頁，共三十一頁，編輯于2023年，星期二（1）IDS產品標識。

（2）IDS系統的文檔和技術支持。

（3）IDS系統功能。

（4）IDS的報告和審計能力。

（5）IDS系統的檢測和響應。

（6）IDS的安全管理能力。

（7）產品安裝和服務支持。第二十八頁，共三十一頁，編輯于2023年，星期二評估入侵檢測系統非常困難，涉及到操作系統、網絡環境、工具、軟件、硬件和數據庫等技術方面的問題。IDS目前沒有工業標準可參考來評測，由于入侵檢測技術太新，為了跟上市場的增長步伐，商業的IDS新產品周期更新非常快。市場化的IDS產品很少去說明如何發現入侵者和日常運行所需