第8章網絡入侵檢測IDS1IDS概述1.1IDS概念1.2IDS功能1.3IDS特點1.4IDS基本結構1.1IDS概念一種主動保護自己的網絡和系統免遭非法攻擊的網絡安全技術。它從計算機系統或者網絡中收集、分析信息，檢測任何企圖破壞計算機資源的完整性、機密性和可用性的行為，即查看是否有違反安全策略的行為和遭到攻擊的跡象，并做出相應的反應。加載入侵檢測技術的系統我們稱之為入侵檢測系統（IDS，IntrusionDetectionSystem），一般情況下，我們并不嚴格的去區分入侵檢測和入侵檢測系統兩個概念，而都稱為IDS或入侵檢測技術。監控室=控制中心后門保安=防火墻攝像機=探測引擎CardKey形象地說，它就是網絡攝象機，能夠捕獲并記錄網絡上的所有數據，同時它也是智能攝象機，能夠分析網絡數據并提煉出可疑的、異常的網絡數據，它還是X光攝象機，能夠穿透一些巧妙的偽裝，抓住實際的內容。它還不僅僅只是攝象機，還包括保安員的攝象機，能夠對入侵行為自動地進行反擊：阻斷連接、關閉道路（與防火墻聯動）。IDS意義源于信息審計，優于信息審計，信息安全審計的核心技術主動防御的需要，防火墻、VPN通過“阻斷”的機制被動式防御，不能抵制復雜和內部的攻擊作為與防火墻配合的防護手段（如下圖）1.2IDS功能監控、分析用戶和系統活動實現入侵檢測任務的前提條件發現入侵企圖或異常現象入侵檢測系統的核心功能這主要包括兩個方面，一是入侵檢測系統對進出網絡或主機的數據流進行監控，看是否存在對系統的入侵行為，另一個是評估系統關鍵資源和數據文件的完整性，看系統是否已經遭受了入侵。記錄、報警和響應入侵檢測系統在檢測到攻擊后，應該采取相應的措施來阻止攻擊或響應攻擊。入侵檢測系統作為一種主動防御策略，必然應該具備此功能。審計系統的配置和弱點、評估關鍵系統和數據文件的完整性等IDS的兩個指標漏報率指攻擊事件沒有被IDS檢測到誤報率(falsealarmrate)把正常事件識別為攻擊并報警誤報率與檢出率成正比例關系0檢出率(detectionrate)100%100%誤報率1.3IDS特點不足不能彌補差的認證機制需要過多的人為干預不知道安全策略的內容不能彌補網絡協議上的弱點不能分析一個堵塞的網絡不能分析加密的數據優點：提高信息安全構造的其他部分的完整性提高系統的監控能力從入口點到出口點跟蹤用戶的活動識別和匯報數據文件的變化偵測系統配置錯誤并糾正識別特殊攻擊類型，并向管理人員發出警報1.4IDS模型入侵檢測模型有多種，其中最有影響的是如下2種：（1）CIDF模型事件分析器事件分析器分析得到的數據，并產生分析結果。分析是核心：效率高低直接決定整個IDS性能響應單元告警和事件報告終止進程，強制用戶退出切斷網絡連接，修改防火墻設置

災難評估，自動恢復

查找定位攻擊者事件數據庫事件數據庫是存放各種中間和最終數據的地方的統稱，它可以是復雜的數據庫，也可以是簡單的文本文件管理器常規的管理功能：定位、控制ConsoleGUI命令行、客戶程序、Web方式Database日志、規則庫、行為模式庫（2）Denning模型該模型由以下6個主要部分構成：（1）主體（Subjects）：在目標系統上活動的實體，如用戶；（2）對象（Objets）：系統資源，如文件、設備、命令等；（3）審計記錄（Auditrecords）：由如下的一個六元組構成<Subject，Action，Object，Exception-Condition，Resource-Usage，Time-Stamp>。活動（Action）是主體對目標的操作，對操作系統而言，這些操作包括讀、寫、登錄、退出等；異常條件（Exception-Condition）是指系統對主體的該活動的異常報告，如違反系統讀寫權限；資源使用狀況（Resource-Usage）是系統的資源消耗情況，如CPU、內存使用率等；時間戳（Time-Stamp）是活動發生時間；（4）活動簡檔（ActivityProfile）：用以保存主體正常活動的有關信息，具體實現依賴于檢測方法，在統計方法中從事件數量、頻度、資源消耗等方面度量，可以使用方差、馬爾可夫模型等方法實現；（5）異常記錄（AnomalyRecord）：由<Event，Time-stamp，Profile>組成。用以表示異常事件的發生情況；（6）活動規則：規則集是檢查入侵是否發生的處理引擎，結合活動簡檔用專家系統或統計方法等分析接收到的審計記錄，調整內部規則或統計信息，在判斷有入侵發生時采取相應的措施。2IDS技術2.1IDS檢測技術2.2主機和網絡2.3協議分析2.4其他高級IDS技術2.5IDS部署2.1IDS檢測技術IDS檢測技術異常檢測模型（AnomalyDetection):首先總結正常操作應該具有的特征（用戶輪廓），當用戶活動與正常行為有重大偏離時即被認為是入侵

誤用檢測模型（MisuseDetection)：收集非正常操作的行為特征，建立相關的特征庫，當監測的用戶或系統行為與庫中的記錄相匹配時，系統就認為這種行為是入侵

異常檢測（AnomalyDetection）思想：任何正常人的行為有一定的規律需要考慮的問題：（1）選擇哪些數據來表現用戶的行為（2）通過以上數據如何有效地表示用戶的行為，主要在于學習和檢測方法的不同（3）考慮學習過程的時間長短、用戶行為的時效性等問題BelowThresholdlevelsExceedThresholdLevelsSystemAuditMetricsProfilerIntrusionNormalActivity異常檢測模型異常檢測過程：前提：入侵是異常活動的子集用戶輪廓(Profile):通常定義為各種行為參數及其閥值的集合，用于描述正常行為范圍過程監控

量化比較判定 修正指標:漏報(falsepositive),錯報(falsenegative)優點可以檢測到未知的入侵

可以檢測冒用他人帳號的行為

具有自適應，自學習功能

不需要系統先驗知識缺點漏報、誤報率高入侵者可以逐漸改變自己的行為模式來逃避檢測合法用戶正常行為的突然改變也會造成誤警統計算法的計算量龐大，效率很低

統計點的選取和參考庫的建立比較困難activitymeasuresprobableintrusionRelativelyhighfalsepositiverate- anomaliescanjustbenewnormalactivities.誤用檢測（MisuseDetection）思想：主要是通過某種方式預先定義入侵行為，然后監視系統，從中找出符合預先定義規則的入侵行為誤用信號需要對入侵的特征、環境、次序以及完成入侵的事件相互間的關系進行描述重要問題（1）如何全面的描述攻擊的特征（2）如何排除干擾，減小誤報（3）解決問題的方式SystemAuditMetricsPatternMatcherIntrusionNormalActivityNoSignatureMatchSignatureMatch誤用檢測模型誤用檢測過程前提：所有的入侵行為都有可被檢測到的特征攻擊特征庫:當監測的用戶或系統行為與庫中的記錄相匹配時，系統就認為這種行為是入侵過程監控

特征提取匹配判定指標錯報低

漏報高

優點:算法簡單、系統開銷小、準確率高、效率高缺點：被動：只能檢測出已知攻擊、新類型的攻擊會對系統造成很大的威脅

模式庫的建立和維護難：模式庫要不斷更新知識依賴于：硬件平臺、操作系統、系統中運行的應用程序IntrusionPatternsactivitiespatternmatchingintrusionCan’tdetectnewattacksExample:if(src_ip==dst_ip)then“landattack”2.2主機和網絡按照數據來源：基于主機：IDS用以分析的數據源于主機系統，包括主機網絡連接、主機審計數據、主機應用日志等。主機IDS保護的目標是系統運行所在的主機基于網絡：IDS用以分析的數據源于網絡數據包。網絡IDS保護的是目標網絡混合型：集成兩者主機IDS示意圖關鍵問題：監視與分析主機的審計記錄可以不運行在監控主機上能否及時采集到審計記錄？如何保護作為攻擊目標主機審計子系統？主機IDS特點：能夠監測的網絡和主機活動更加細膩視野集中，比如：一旦入侵者得到了一個主機的用戶名和口令，基于主機的代理是最有可能區分正常的活動和非法的活動的易于用戶剪裁對網絡流量不敏感：數據來源不完全源于網絡適用于被加密的以及切換的環境網絡IDS示意圖關鍵問題在共享網段上對通信數據進行偵聽采集數據主機資源消耗少提供對網絡通用的保護如何適應高速網絡環境？非共享網絡上如何采集數據？網絡IDS優點偵測速度快隱蔽性好視野更寬較少的監測器攻擊者不易轉移證據操作系統無關性占資源少網絡IDS不足只檢查它直接連接網段的通信，不能檢測在不同網段的網絡包在使用交換以太網的環境中就會出現監測范圍的局限而安裝多臺網絡入侵檢測系統的傳感器會使部署整個系統的成本大大增加。通常采用特征檢測的方法，它可以檢測出普通的一些攻擊，而很難實現一些復雜的需要大量計算與分析時間的攻擊檢測。可能會將大量的數據傳回分析系統中，在一些系統中監聽特定的數據包會產生大量的分析數據流量處理加密的會話過程比較困難，目前通過加密通道的攻擊尚不多，但隨著IPV6的普及，這個問題會越來越突出。網絡節點入侵檢測(NNIDS)NNIDS概況也稱為Stack-BasedIDS安裝在網絡節點的主機中結合了NIDS和HIDS的技術適合于高速交換環境和加密數據2.3協議分析概念舉例一般流程協議分析優勢概念協議分析（ProtocolAnalysis，PA）利用協議的高度規則性，對協議進行分析，尋找違反協議定義的數據包。檢測思想協議定義是規范的（通用協議、專用協議）協議頭的長度是固定的，數據量很小。協議舉例（HTTP）協議舉例（HTTP）幀的前14個字節為MAC頭，第13、14兩個字節用于標明第三層采用什么協議，如為“0800”（即0x0800），則表明是IP協議，如為“0806”（即0x0806），表明是ARP協議，如為“8035”（即0x8035），則表明是RARP協議，如為“8138”（即0x8138），則為NOVELL協議。IP協議頭的長度為20個字節，其中第10個字節（即該幀第24個字節）為第四層協議標識，如為“06”，則為TCP，如為“11”則為UDP，如為“01”則為ICMP。TCP協議頭的長度為20字節，其中第3、4兩個字節（即該幀第35、36兩字節）為應用層協議使用的端口號，應用層協議一般使用專用的端口，如HTTP使用80端口，FTP使用21端口，TELNET使用23端口等。包頭共使用了54Bytes，從第55個字節開始，就是HTTP數據了。協議分析一般流程協議分析的優勢優點減少誤報率提高分析速度可以解決一些具體問題模糊路徑問題、十六進制編碼問題、雙十六進制編碼問題等依據RFC，執行協議異常分析例如：檢測0-day漏洞腳本大量的90字符可能是ShellCode中的NOP操作2.4其他高級IDS技術專家系統：將有關入侵的知識轉化為if-then結構的規則，即將構成入侵所要求的條件轉化為if部分，將發現入侵后采取的相應措施轉化成then部分。其中的if-then結構構成了描述具體攻擊的規則庫，狀態行為及其語義環境可根據審計事件得到，推理機根據規則和行為完成判斷工作。在具體實現中，專家系統主要面臨：1）全面性問題，即難以科學地從各種入侵手段中抽象出全面地規則化知識；2）效率問題，即所需處理的數據量過大，而且在大型系統上，如何獲得實時連續的審計數據也是個問題。神經網絡基本思想是用一系列信息單元（命令）訓練神經元，這樣在給定一組輸入后，就可能預測出輸出。與統計理論相比，神經網絡更好地表達了變量間的非線性關系，并且能自動學習和更新。實驗表明UNIX系統管理員的行為幾乎全是可以預測的，對于一般用戶，不可預測的行為也只占了很少的一部分。用于檢測的神經網絡模塊結構大致是這樣的：當前命令和剛過去的w個命令組成了神經網絡的輸入，其中w是神經網絡預測下一個命令時所包含的過去命令集的大小。根據用戶的代表性命令序列訓練網絡后，該網絡就形成了相應用戶的特征表，于是網絡對下一事件的預測錯誤率在一定程度上反映了用戶行為的異常程度。基于神經網絡的檢測思想如下圖7-3所示：神經網絡方法特點：圖中輸入層的w個箭頭代表了用戶最近的w個命令，輸出層預測用戶將要發生的下一個動作。神經網絡方法的優點在于能更好地處理原始數據的隨機特征，即不需要對這些數據作任何統計假設，并且有較好的抗干擾能力。缺點在于網絡拓撲結構以及各元素的權重很難確定，命令窗口w的大小也難以選取。窗口太小，則網絡輸出不好，窗口太大，則網絡會因為大量無關數據而降低效率。“零拷貝”技術“零拷貝”技術是指網卡驅動程序共享一段內存區域，當網卡抓到數據包以后直接寫到共享內存，這樣的一個處理過程減少了至少一次復制。同時減少了一次網卡驅動程序向用戶空間復制網絡數據包的系統調用。一次系統調用的開銷其實是相當大的，對于入侵檢測系統來說由于要頻繁地跟內核空間的網卡驅動程序打交道，因此按傳統方法會造成大量的系統調用，從而導致系統的性能下降。但是采用了“零拷貝”技術后有效的避免了這一點。2.5IDS部署IDS體系結構集中式:多個分布于不同主機上的審計程序，但只有一個中央入侵檢測服務器。等級式:定義了若干個分等級的監控區域，每個IDS負責一個區域，每一級IDS只負責所監控區的分析，然后將當地的分析結果傳送給上一級IDS。協作式:將中央檢測服務器的任務分配給多個基于主機的IDS，這些IDS不分等級，各司其職，負責監控當地主機的某些活動。共享局域網HUBIDSSensorMonitoredServersConsole簡單交換網SwitchIDSSensorMonitoredServersConsole通過端口鏡像實現（SPAN/PortMonitor）SwitchIDSSensorMonitoredServersConsole不設IP隱蔽模式下檢測器的部署復雜交換網沒有專門監聽端口的網絡：將用于檢測的端口映射為交換機的出口劃分為多個Vlan的網絡：將用于檢測的端口同時映射為多個Vlan的端口多個交換機串聯的網絡：使用多個探測器廣域網情況Internet監控中心（輔）IDSAgentIDSAgentIDSAgentIDSAgentIDSAgentIDSAgent監控中心（主）入侵檢測系統與防火墻的比較3Snort3.1基本情況3.2Snort規則3.3Snort配置3.4Snort檢測3.1基本情況概述輕量級入侵檢測系統：可配置性可移植性(結構性好，公開源代碼)可擴充性（基于規則，支持插件）網絡入侵檢測系統數據包捕獲（libpcap等）數據包分析誤用入侵檢測系統特征模式進行匹配工作模式嗅探器數據包記錄器網絡入侵檢測系統核心組成：數據保捕獲規則解析規則維護3.2Snort規則規則描述語言規則是特征模式匹配的依據，描述語言易于擴展，功能也比較強大

每條規則必須在一行中，其規則解釋器無法對跨行的規則進行解析邏輯上由規則頭和規則選項組成。規則頭包括：規則行為、協議、源/目的IP地址、子網掩碼、方向以及源/目的端口。規則選項包含報警信息和異常包的信息(特征碼)，使用這些特征碼來決定是否采取規則規定的行動。規則描述語言舉例alerttcpanyany->/24111(content:"|000186a5|";msg:"mountdaccess";)從開頭到最左邊的括號屬于規則頭部分，括號內的部分屬于規則選項。規則選項中冒號前面的詞叫做選項關鍵詞。對于每條規則來說規則選項不是必需的，它們是為了更加詳細地定義應該收集或者報警的數據包。只有匹配所有選項的數據包，Snort才會執行其規則行為。如果許多選項組合在一起，它們之間是邏輯與的關系。規則行為（ruleaction）：Alert：使用選定的報警方法產生報警信息，并且記錄數據包；Log：記錄數據包；Pass：忽略數據包；Activate：報警，接著打開其它的dynamic規則；Dynamic：保持空閑狀態，直到被activate規則激活，作為一條log規則

協議（protocol）:每條規則的第二項就是協議項。當前，snort能夠分析的協議是：TCP、UDP和ICMP。將來，可能提供對ARP、ICRP、GRE、OSPF、RIP、IPX等協議的支持。

IP地址：規則頭下面的部分就是IP地址和端口信息。關鍵詞any可以用來定義任意的IP地址。snort不支持對主機名的解析，所以地址只能使用數字/CIDR的形式，CIDR（無級別域內路由）指明應用于IP地址的掩碼。/24表示一個C類網絡；/16表示一個B類網絡；而/32表示一臺特定的主機地址。在規則中，可以使用否定操作符(negationoperator)對IP地址進行操作。它告訴snort除了列出的IP地址外，匹配所有的IP地址。否定操作符使用!表示。例如，使用否定操作符可以很輕松地對上面的規則進行改寫，使其對從外部網絡向內的數據報警。

端口號：有幾種方式來指定端口號，包括：any、靜態端口號(staticport)定義、端口范圍以及使用非操作定義。any表示任意合法的端口號。靜態端口號表示單個的端口號，例如：111(portmapper)、23(telnet)、80(http)等。使用范圍操作符:可以指定端口號范圍。有幾種方式來使用范圍操作符:達到不同的目的，例如：logudpanyany->/241:1024記錄來自任何端口，其目的端口號在1到1024之間的UDP數據包

方向操作符(directionoperator)：方向操作符->表示數據包的流向。它左邊是數據包的源地址和源端口，右邊是目的地址和端口。此外，還有一個雙向操作符<>,它使snort對這條規則中，兩個IP地址/端口之間雙向的數據傳輸進行記錄/分析，例如telnet或者POP3對話。下面的規則表示對一個telnet對話的雙向數據傳輸進行記錄：log!/24any<>/2423

規則選項：規則選項構成了snort入侵檢測引擎的核心，它們非常容易使用，同時又很強大和容易擴展。在每條snort規則中，選項之間使用分號進行分割。規則選項關鍵詞和其參數之間使用冒號分割。下面是一些常用的規則選項關鍵詞，其中對部分重要關鍵詞進行詳細解釋：

msg：在報警和日志中打印的消息； logto：把日志記錄到一個用戶指定的文件，而不是輸出到標準的輸出文件； ttl：測試IP包頭的TTL域的值；

tos：測試IP包頭的TOS域的值； id：測試IP分組標志符(fragmentID)域是否是一個特定的值

ipoption/fragbits/dsize/flags/seq/……3.3Snort配置Snort本身的一些配置，例如變量、預處理插件、輸出插件、規則集文件等，也是通過解析規則進行的。在snort2.0版本中，有一個總體規則文件snort.conf，大部分配置規則都在此文件中。Include

申明包含文件varriables

在snort規則文件中可以定義變量。格式為：var<name><value>，例如：varMY_NET

/24,/24]<alerttcpanyany->$MY_NETany(flags:S;msg:“SYNMETApacket”;)。最重要的默認變量是HOME_NET、EXTERNAL_NET、HTTP_PORTS、RULE_PATH等，分別表示本地網絡的IP地址范圍、外部網絡的IP地址范圍、web服務的端口、規則集文件的路徑。

預處理器：從snort-1.5開始加入了對預處理器（也叫預處理插件）的支持。有了這種支持，用戶和程序員能夠比較容易地編寫模塊化的插件，擴展snort的功能。預處理器在調用檢測引擎之前，在數據包被解碼之后運行。通過這種機制，snort可以以一種outofband的方式對數據包進行修改或者分析。預處理器可以使用preprocessor關鍵詞來加載和配置，格式如下：preprocessor<name>:<options>。例如：preprocessorminfrag:128。以下是一些預處理器的說明：

HTTPdecode預處理插件：HTTP解碼預處理模塊用來處理HTTPURI字符串，把它們轉換為清晰的ASCII字符串。這樣就可以對抗evasicewebURL掃描程序和能夠避開字符串內容分析的惡意攻擊者。這個預處理模塊使用WEB端口號作為其參數，每個端口號使用空格分開。格式：http_decode:<端口號列表>，例如：preprocessorhttp_decode:808080Minfrag：這個預處理器測試分片包的大小是否低于一個特定的值。格式：minfrag:<大小閥值)端口掃描檢測模塊portscan：把由單個源IP地址發起的端口掃描從開始到結束的全過程記錄到標準日志設備；如果指定了一個日志文件，就把被掃描的IP地址和端口號和掃描類型都記錄到這個日志文件。格式：portscan:<要監視的網絡><端口數><檢測周期><日志目錄/文件>，例如：preprocessorportscan:/2457/var/log/portscan.logdefrag模塊：defrag插件是由DragosRulu開發的，它能夠重組IP碎片包，可以防止使用IP碎片包繞過系統的檢測。這個模塊非常容易配置，不需要參數，直接放在preprocessor關鍵詞之后即可。它的功能超過了minfrag模塊的功能，所以你如果使用defrag，就不用在用minfrag模塊了。格式：defrag，例如：preprocessordefrag……輸出插件：snort輸出模塊是從1.6版加入的新特征，使snort的輸出更為靈活。snort調用其報警或者日志子系統時，就會調用指定的輸出模塊。設置輸出模塊的規則和設置預處理模塊的非常相似。在snort配置文件中可以指定多個輸出插件。如果對同一種類型(報警、日志)指定了幾個輸出插件，那么當事件發生時,snort就會順序調用這些插件。使用標準日志和報警系統，默認情況下，輸出模塊就會將數據發送到/var/log/snort目錄，或者用戶使用-l命令行開關指定的目錄。在規則文件中，輸出模塊使用output關鍵詞指定：格式：outputname:<選項>，例如：outputalert_syslog:LOG_AUTHLOG_ALERT3.4Snort檢測協議匹配。通過協議分析模塊，將數據包按照協議分析的結果對協議相應的部分進行檢測。比如對TCP包的標志位的匹配。

alerttcp$EXTERNAL_NETany->$HOME_NETany(msg:"SCANNULL";flags:0;seq:0;ack:0;reference:arachnids,4;classtype:attempted-recon;sid:623;rev:1;)其中就對TCP的flags、seq、ack進行了協議位置的匹配。協議匹配需要對特定協議進行分析，Snort對IP/TCP/UDP/ICMP進行了分析，但是沒有對應用協議分析。其它一些商用的IDS進行了高層的應用協議分析，可以顯著地提高匹配的效率。字符串匹配。目前這是大多數IDS最主要的匹配方式，事件定義者根據某個攻擊的數據包或者攻擊的原因，提取其中的數據包字符串特征。通常IDS經過協議分析后，進行字符串的匹配。

比如：Snort中的一條事件定義，alerttcp$EXTERNAL_NETany->$HTTP_SERVERS$HTTP_PORTS(msg:"WEB-ATTACKSpscommandattempt";flow:to_server,established;uricontent:"/bin/ps";nocase;sid:1328;classtype:web-application-attack;rev:4;)該事件中要進行匹配的字符串就是"/bin/ps