技術說明天闐高級持續性威脅檢測與管理系統威脅分析一體機

目錄一.引言 41.1背景 41.1.1網絡安全法制化建設穩步推進，數據安全逐漸成為焦點 41.1.2互聯網逐漸全面轉向加密化，傳統DPI方法難以識別 41.1.3網絡犯罪產業鏈逐漸成型，地下黑產技術“深度融合” 61.1.4勒索攻擊已成為全球公敵，“多重勒索”、“APT化”成為勒索攻擊標配 81.1.5就地取材，LOLBins、攻擊性安全工具濫用成趨勢 101.1.6Web攻擊工具逐漸自動化、加密化，辦公系統、安全設備漏洞威脅愈發嚴重 111.1.7我國境內高級持續性威脅狀況依然嚴峻 111.2面對新威脅的應對措施 131.2.1傳統防御手段難以為繼 141.2.2新技術、新應對 16二.定位與價值 172.1產品定位 172.2產品價值 19三.產品架構 213.1分層設計 213.1.1TAR-AIO網絡流檢測引擎 213.1.2TAR-AIO文件檢測引擎 243.1.3TAR-AIO威脅分析系統 253.2ELK大數據架構 27四.關鍵技術應用 284.1支持雙向特征匹配特征檢測 284.2動靜態相結合的未知威脅檢測 284.3基于NTA的加密流量檢測能力 324.4攻擊鏈還原自動化擴線分析 324.5基于算法模型的檢測能力 344.6結合威脅狩獵的主動防御 374.7VenusEye情報云查輔助降低甄別難度 40五.功能價值呈現 425.1基于完整流的取證與研判分析 425.2全面實時的監測與威脅分析 435.2.1威脅視角 445.2.2風險感知 465.2.3場景分析 485.2.4離線數據與樣本檢測 515.3強大的加密流量檢測 525.3.1加密通道中的攻擊行為檢測 545.3.2惡意或非法加密應用檢測 555.3.3加密隱蔽隧道檢測 585.4多維度可視化安全預警 625.5可感知的威脅告警 635.6易運營的運維處理 655.6.1自動化聯動NFT取證溯源 655.6.2多維度報表 655.6.3APT設備集中管控 66六.部署與解決方案 676.1一體化威脅感知場景——單機部署模式 676.2全網威脅感知場景1——整體解決方案部署模式 696.3全網威脅感知場景2——XDR集中管理部署模式 70七.結論 71引言背景網絡安全法制化建設穩步推進，數據安全逐漸成為焦點習近平總書記指出：“安全是發展的前提，發展是安全的保障”。這表明在塑造數字化發展這個新“動力系統”的同時，也要注重實現網絡和數據安全的“制動系統”。唯有如此，才能形成健康、良性、高質量的數字化發展新格局。網絡安全法的正式施行，標志著我國網絡安全納入法制化軌道。等級保護2.0相關標準的正式實施，構成了國家網絡安全保障的基本制度、基本策略和基本方法。2021年7月，國家互聯網信息辦公室發布《網絡安全審查辦法（修訂草案征求意見稿）》，從關鍵信息基礎設施到供應鏈安全等多角度維護國家安全。同月，工業和信息化部、國家互聯網信息辦公室、公安部聯合印發了《網絡產品安全漏洞管理規定》，自2021年9月1日起施行。該規定的施行將推動網絡產品安全漏洞管理工作的制度化、規范化、法治化，引導建設規范有序、充滿活力的漏洞收集和發布渠道，防范網絡安全重大風險，保障國家網絡安全。特別值得一提的是2021年9月1日即將施行的《中華人民共和國數據安全法》，它的頒布和實施為規范數據處理活動、保障數據安全、促進數據開發利用提供了法律依據。同時標志著數據安全正逐漸成為焦點，并已經成為國家戰略層面的重要考量。經過近幾年的發展，針對數據安全的各項保障工作逐漸取得成效。我們相信，隨著相關法律法規的不斷落地以及相關技術的不斷成熟，我國網絡安全治理能力和數據安全保障水平將會不斷邁上新的臺階。互聯網逐漸全面轉向加密化，傳統DPI方法難以識別互聯網技術的發展極大地豐富了人們的生活，產生了各種網絡應用，而網絡流量則是網絡應用在網絡交互過程中的數據表現形式。互聯網服務提供商（InternetServiceProvider，ISP）為了保證網絡的服務質量（QualityofService，QoS）和用戶的體驗效果（QualityofExperience，QoE），需要對網絡流量尤其是OTT（Overthetop）應用的網絡流量進行分析，這也是提升網絡管理水平、實現網絡資源優化的重要手段；同時，互聯網技術的高速發展也使互聯網上存在大量非法行為與惡意流量，安全監管部門需要通過流量分析技術實現互聯網的監管和安全保護。隨著目前國內外網絡安全法律法規的完善和用戶網絡安全意識的興起，目前大量網頁已經被加密。根據NetMarketShare的數據，2021年12月三大主流鼓勵使用HTTPS的瀏覽器市場占比已超過90%，全球加密Web流量的比例也已經超過90%；根據Google透明度報告“Chrome中的HTTPS加密情況”，2022年5月Chrome加載網頁中啟用加密的比例已經達到了99%。除網頁外，隱私與版權意識的加強使得視頻、音樂等內容與即時通信、文件傳輸等應用在網絡中采用加密傳輸，而反作弊和服務器安全保護的需求也推動了電子游戲、遠程訪問等行為流量的加密化。Google透明度報告“所有Google產品和服務中的已加密流量”比例已經在2022年5月幾乎達到了100%（除GoogleMaps與GoogleNews）。網絡流量的加密化已經成為必然趨勢。網絡流量加密化在給用戶和企業帶來隱私與安全的同時，也給網絡安全監管和網絡流量管理帶來了挑戰。網絡監管和流量管理通常需要準確的流量分析，但流量經加密后難以通過傳統的方法實現細粒度實時分析。傳統的流量分析方法依靠DPI（DeepPacketInspection）深度包檢測方法對明文報文中的負載特殊字段進行匹配而實現，但隨著加密流量的興起，DPI方法難以對被加密的負載內容進行匹配。目前的DPI方法包含對密文字段匹配的中間盒分析方法，通過將DPI和密碼學原理相結合，獲取并過濾用戶令牌，提取并生成加密流量通信過程中的各個行為規則，實現在保護用戶隱私情況下的加密流量檢測（主要用于入侵檢測）。值得注意的是，該過程需要較高的權限與訪問方的配合，僅適用于企業內網邊界，因為企業內網與外部網絡進行交互都需要通過中間盒進行（串行流量模式）。該模式不適合在互聯網中使用，因為互聯網流量規模巨大（尤其是骨干網環境）、用戶數量眾多且用戶行為不可控，流量分析需要通過旁路并接進行。網絡犯罪產業鏈逐漸成型，地下黑產技術“深度融合”隨著RaaS（勒索軟件即服務）、MaaS（惡意軟件即服務）等模式的發展，網絡犯罪產業鏈逐漸成型。網絡犯罪過程中的任何環節都能找到相應的服務，網絡犯罪團伙儼然已經成為一個協作有序、相互匿名的項目團隊。在日益成熟的網絡犯罪產業鏈下，地下黑產技術“深度融合”。以RaaS模式為例，各成員通過暗網相互提供服務，管理者作為“項目經理”統籌資源的調配，賺得的勒索金額會根據不同工種的工作量給予一定的利潤分成。勒索團伙通常包含資源服務團隊，技術服務團隊和業務服務團隊。圖SEQ圖\*ARABIC1_D3Fend框架DNS網絡流量數字工件在日漸成熟的網絡犯罪產業鏈下，各類僵尸網絡、勒索軟件、加載器、商業木馬“深度融合”，許多網絡犯罪分子在產業鏈內發展關系，從而獲得使團隊運作或利潤最大化的必要技術。以下是過去一年多我們觀察到的不同攻擊活動中常見的惡意軟件投遞關系圖：圖SEQ圖\*ARABIC2_常見惡意軟件投遞關系圖勒索攻擊已成為全球公敵，“多重勒索”、“APT化”成為勒索攻擊標配過去一年多，平均每11秒就有一家企業成為勒索病毒攻擊的目標，勒索攻擊或在2020年造成高達數千億美元的損失。據不完全統計，2020年全球勒索攻擊次數較2019年同比增長了150%以上，每次勒索的平均贖金達到了31萬美元；2021年“勒索攻擊產業”年收入將達到數千億美元。勒索軟件的威脅堪比“911”事件后全球恐怖主義所面臨的挑戰，并逐漸成為全球公敵。在“RaaS（勒索軟件即服務）”、“APT化”攻擊模式以及“BigGameHunting（大型狩獵游戲）”盛行的大背景下，勒索攻擊的參與者越來越多，勒索攻擊的事后追查越來越困難，勒索入侵的過程越來越復雜，勒索攻擊的目標越來越有針對性。勒索組織管理者通過招募相關領域的“人才”組成松散的“團隊”。“團隊”構建完畢后，通過價值目標選擇、攻擊方案選擇等完成前期準備，再通過弱口令爆破、僵尸網絡、魚叉攻擊、水坑攻擊、供應鏈攻擊或者0day/Nday漏洞等方式進入受害者的網絡環境，進而通過憑證竊取、權限提升、橫向移動等找到受害者的重要資產，將數據打包后上傳到攻擊者的服務器，最后投放勒索軟件進行精準勒索。一般一次完整的勒索攻擊會持續數周甚至數月時間，攻擊者在受害者網絡中長期潛伏，甚至會在攻擊過程中隨時根據受害者的網絡防護情況調整自己的策略，所做的一切都只為尋找最有價值的數據并在最后一刻“一招斃命”。同時，勒索攻擊者已經普遍不滿足于依靠單一勒索方式達到目的，而是采取泄露攻擊目標重要數據，對攻擊目標發動DDoS攻擊甚至威脅與受害企業相關的客戶等“多重勒索”方式達成最終的目的。此外，以往勒索攻擊主要針對傳統IT系統，近年來隨著云計算、物聯網、移動互聯網等技術的快速發展，勒索已經逐漸瞄準云上資源、IoT設備、工控系統以及移動終端設備，這類本來自身安全性就較薄弱的系統在面對勒索攻擊時更加不堪一擊，輕則造成企業生產停滯，重則危害社會乃至國家安全。未來，除了針對價值目標的“APT化”勒索攻擊外，類似DarkSide組織以摧毀重要基礎設施為目的的高級勒索攻擊將會屢見不鮮，勒索攻擊將成為危害網絡安全的首要威脅。圖SEQ圖\*ARABIC3_APT組織慣用技術矩陣2021年5月7日，全美最大油氣輸送管道運營商ColonialPipeline遭到勒索軟件定向攻擊，此次勒索攻擊由于涉及到國家級關鍵基礎設施，故而引起了全球的震動和廣泛關注。此次攻擊的幕后黑手確認為DarkSide勒索團伙，該公司不得不向黑客支付了440萬美元的贖金，以恢復被攻擊的系統。圖SEQ圖\*ARABIC4_ColonialPipeline輸油管線就地取材，LOLBins、攻擊性安全工具濫用成趨勢對于攻擊者來說，利用各種現成的工具來實現其最終目的無疑是最佳選擇。一是，利用現成的工具可以更大地降低成本，攻擊者只需要付出一定的學習成本便可輕松達到目的；二是，有些工具并非是真正的惡意軟件，安全軟件一般不會檢測或者會被管理者當作白名單，大大提高了這類工具在使用過程中的“免殺”能力。三是，使用現成工具往往會更進一步隱藏攻擊者的真實身份，使得基于工具進行攻擊者身份鑒別的手段失效。在“Livingofftheland”熱度不減的同時，攻擊性安全工具（OffensiveSecurityTools，簡稱OST）越來越受到攻擊者的關注。“Livingofftheland”通常指攻擊者使用目標主機上已安裝的工具或功能進行攻擊的方式，被利用的工具通常叫做“LOLBin”。在真實攻擊中，LOLBin一般以操作系統自帶的具有一定功能（如網絡訪問，命令執行等）的系統文件為主。雖然“Livingofftheland”可以最大限度地避免攻擊被發現的可能，但僅利用系統提供的有限功能“拼湊”出整個攻擊過程并非易事，攻擊性安全工具便進入了攻擊者的視野。攻擊性安全工具是指在不利用軟件自身缺陷或漏洞的情況下，以合法身份實施入侵或規避安全防御機制的軟件代碼庫。攻擊性安全工具一般由信息安全專業人士開發，目的是促進網絡安全相關技術的發展。通俗地講，攻擊性安全工具就是開源代碼共享網站可以下載到的滲透工具或者較為知名的商業滲透攻擊套件的集合。Web攻擊工具逐漸自動化、加密化，辦公系統、安全設備漏洞威脅愈發嚴重近年來，Web攻擊工具呈現逐漸自動化、加密化的趨勢。以冰蝎、哥斯拉為代表的新型Webshell管理工具正逐漸往流量加密的趨勢發展。傳統的以特征串匹配為基礎的流量檢測手段已逐漸失效，以流量行為特征、機器學習、威脅狩獵為基礎的檢測方式正逐漸走上舞臺。以Goby、Xray為代表的漏掃工具方興未艾，它們普遍都集成了各類系統及應用的漏洞EXP，并且支持自定義EXP，通過豐富漏洞EXP資源庫方便使用者快速獲取權限。再配合各腳本、工具間實現高效聯動，提升了漏洞的探測能力與利用效率。這些漏掃工具功能越來越強大，使用越來越方便，即使是入門級的新手也能依靠這些工具自動化完成大部分滲透工作。此外，仍有不少0day漏洞被曝光，這其中大部分都是辦公系統及安全設備本身的漏洞。這類漏洞具有覆蓋范圍廣、危害大，利用難度較低的特點。由于OA系統通常位于DMZ區或內網，安全設備通常位于內網，加之國內部分企業網絡環境相對復雜，訪問控制策略不規范，時常會有內外網或DMZ區互通的現象出現。此時OA系統或辦公設備的漏洞就會成為攻擊者的絕佳入口，攻擊者可利用OA系統掛馬或當作跳板直達核心辦公網，甚至利用安全設備漏洞直接關閉告警信息讓攻擊者暢通無阻。我國境內高級持續性威脅狀況依然嚴峻在2023上半年監測到數十個境外APT組織針對我國范圍內大量目標IP進行通信，形成了大量的境內IP與特定APT組織的網絡基礎設施的高危通信事件。其中還存在個別APT組織通過多個C2服務器與同一IP通信的情況。下圖為2023上半年中國境內疑似連接過境外APT組織C2服務器的IP地址地域分布，分別展示了各省疑似受害IP地址的數量：廣東省受境外APT團伙攻擊情況最為突出，其次是北京、上海、浙江等經濟發達地區。此外，監測發現中國香港地區也存在一定數量的受害目標。圖SEQ圖\*ARABIC5_2023上半年中國境內疑似受控IP地域分布TOP10下圖分別為2023上半年境外APT組織疑似控制我國境內目標IP數量占比以及境外APT組織疑似使用過的C2服務器數量分布。圖SEQ圖\*ARABIC6_2023上半年APT組織控制境內IP數量占比及C2服務器數量分布可以看出，海蓮花、毒云藤兩個組織依舊是針對國內攻擊的主要組織，Winnti、蔓靈花、APT-Q-27、響尾蛇、Lazarus等APT組織也疑似控制了境內大量IP地址。這些組織潛伏在我國周邊國家和地區伺機發起攻擊，其中毒云藤和海蓮花長期針對中國。在上半年的攻擊中，毒云藤大多以釣魚為主，目標通常為高校、科研領域，海蓮花則主要針對我國關鍵基礎設施。通過在客戶現場處置排查的真實APT攻擊事件及威脅情報的全線產品告警數據進行分析，得到境內受害行業分布情況：2023上半年涉及我國政府、能源、科研教育、金融商貿的高級威脅事件占主要部分，其次為科技、國防、衛生醫療等領域。相關受影響的境內行業分布如下。圖SEQ圖\*ARABIC7_2023上半年高級威脅事件涉及境內行業分布面對新威脅的應對措施過去幾年中，網絡攻擊的數量呈指數級增長影響各種規模、行業的企業網絡。而傳統的基于黑白名單、簽名和規則特征的安全威脅發現手段，已經不能應對不斷發展的網絡威脅和IT環境。在這些威脅中，尤其是以高級持續性惡意攻擊（APT攻擊）為代表的新威脅，更是讓企業防不勝防。現有的任何防御手段在APT攻擊這種定向攻擊面前都顯得蒼白無力。針對高級威脅，傳統的頭痛醫頭腳痛醫腳的安全防御并無法解決問題，反而還帶來了割裂的安全，缺乏全過程的防護。同時多異構設備的疊加帶來了安全的碎片化，缺乏統一的視角和關聯能力，無法打破數據孤島，協同防御。傳統防御手段難以為繼網絡安全檢測分析是攻與防的持續對抗過程，傳統的網絡威脅分析存在很多的關鍵技術問題亟需解決：傳統檢測技術無法有效應對加密威脅在互聯網技術日益健全的今天，網絡流量識別技術對網絡管理、服務質量保障和網絡安全等具有重大的意義。伴隨著加密技術的不斷發展，加密流量在互聯網流量中的數量和比例也不斷上升，根據最近的互聯網研究趨勢報告，如今87%的web流量是加密的，預計在2020年超過70%的惡意軟件活動將使用某種類型的加密來隱藏惡意軟件的傳輸、控制命令活動和數據滲漏。由于加密后流量的特征發生了改變，因而傳統流量檢測方式在加密環境下難以復現，如何在加密流量上進行有效的惡意流量識別成為了網絡安全領域的重要挑戰。安全產品各自為戰，難以形成合力現在網絡里面部署了大量的安全產品，終端殺毒軟件產品、網絡邊界防護防火墻，IPS產品、網絡檢測IDS，沙箱產品等。這些安全產品都是為了解決特定的安全問題部署進去的，相互之間沒有聯系，各自為戰，對于稍微復雜的安全威脅問題是沒有辦法的，比如越來越多的惡意軟件加入了反終端檢測的功能，會使用多種靜動態免殺手段躲避終端殺毒軟件，甚至直接講終端殺毒軟件關閉，這就導致終端安全檢測失效，惡意軟件在突破終端殺毒軟件后，繼續進行破壞活動，往往伴隨網絡行為，比如與C&C遠控服務器連接，橫向發包探測等，這些行為是可以通過網絡檢測產品檢測到的。但是網絡檢測產品僅僅發現了一次遠控或探測的安全攻擊行為，如果能夠與終端系統的日志進行關聯，就能夠發現完整的一次惡軟件攻擊行為，還原出整個過程。海量安全事件無法運維，漏掉確定性的攻擊線索目前網絡威脅檢測的技術方案還是以特征檢測為主，通過報文頭特征或載荷特征進行檢測，每天產生的安全事件數量是非常大的，超過上萬條。安全運維人員的處理基線是每天不到100條安全事件，同時運維人員在處理這些安全事件的時候，大多數安全事件都是“誤報”的。造成目前網絡流量檢測技術方案誤報多的現象主要有以下幾個原因：一是類似于PING這類的“誤報”，其本質并非誤報。而是缺少上下文關聯導致大量的報警淹沒了關鍵攻擊行為。這類“誤報”必須和其他失陷的確定性報警結合起來作為攻擊前奏來看，而不能單純看作是確定性攻擊。二是提取的攻擊關鍵特征與正常協議沖突，攻擊特征是在威脅發生時流量里面提取到的，這些特征大都是靠安全專家的經驗總結提煉的，在面對現網錯綜復雜的業務應用流時，會出現攻擊特征與正常的業務流特征沖突。三是網絡流量引擎特征大都是單向特征，本質上缺乏對于攻擊確定性的判定依據，現在大多數安全事件是網絡探測或攻擊嘗試行為產生的。這些安全事件無法給出確定性的攻擊成功與否判定，對于用戶的主觀感受就是誤報很多。未知威脅檢測能力有限，APT攻擊檢測缺乏有效手段這些年APT組織在攻擊隱匿性方面越來越強，釣魚手段更加精細化，針對性和迷惑性更強，利用開源代碼，改進攻擊工具，降低攻擊成本。這些對于傳統的基于特征和規則的網絡安全檢測產品來說都是嚴峻挑戰。另外隨著網絡應用逐步向加密傳輸方式演進，邊界網關產品對于加密隧道采取放通策略，攻擊組織也利用這點，將SSH隧道等傳輸方式作為惡意軟件通信的基本能力，直接通過邊界網關產品進入內網。安全事件缺乏事后快速處置、追蹤溯源、攻擊路徑還原的工具支撐網絡安全產品檢測出安全事件，因為缺乏關聯分析，只能根據各自產品安全威脅事件的危害程度進行處置，對于危害程度更高的組合型APT高級威脅就無法及時處置了，需要有經驗的安全運維人員到多個安全產品、系統里面進行事件、告警日志等分析，找到確定的失陷主機，然后追蹤溯源，還原出攻擊路徑，最后去切斷路徑，實現完整的閉環。這些工作都需要統一的系統工具進行支撐，固化運維經驗和提高效率。新技術、新應對早在2013年以前，APT攻擊對于我們來說還是個只聞其聲未見其面的“奢侈品”，曾經名噪一時的“震網”攻擊、“極光”攻擊似乎離我們非常遙遠。但是近年來，隨著黑產團隊的組織化、攻擊技能的不斷泛化，攻擊目標的定向化、攻擊工具的商品化，APT攻擊技術早已從高深不可得的“陽春白雪”，變成了技術小白都能嘗試一下的“下里巴人”。過去，造成較大影響力的攻擊事件普遍存在著影響范圍廣、持續時間短等特點。而現代攻擊中除了挖礦等少數需要大規模算力才能達成目標的攻擊類型外，大多數攻擊都在向“APT化”發展。“A”即高級，主要體現在攻擊者通常會采取加密、混淆、0day的方法繞過防御策略，甚至會針對被攻擊者的特點單獨制定攻擊路線；“P”即持續，主要體現在攻擊從前期的踩點、武器準備到載荷投遞、定植，再到權限提升、內網橫向移動直至最終的命令回傳、加密文件等一般都需要經歷較長的過程。面對越來越多的“APT化”攻擊，迫切需要構建“主動防御、協同防御”的新型防御體系，其原因主要有以下幾點：一是由于“APT化”攻擊的“高級性”特點，傳統的基于已知特征或模型的被動檢測模式完全無法應對新型攻擊，攻擊者100%會突破防線進入受害者網絡，“守不住，看不見”成為正常現象。但“雁過必留痕”，只要確保終端、邊界、內網的流量、日志、告警記錄都能充分記錄下來，當未知攻擊被有效識別后，具有豐富經驗的安全專家就可以從歷史數據中挖掘出失陷主機并還原出攻擊鏈，從而實現攻擊“找得著”；二是由于“APT化”攻擊的“持續性”特點，攻擊者會長期潛伏在受害者內網中，從DMZ區到辦公區再到核心區可能都會遍布攻擊者的足跡，這就需要在網絡邊界、內網、終端等任何需要監控的環節都部署有相應的安全產品，同時通過產品之間的協同聯動完成對全攻擊過程的監控和防御。三是由于不同類型攻擊特點的不同，表現為在終端或網絡側檢測的難易度也不盡相同。類似“永恒之藍”之類的RPC漏洞更適合在網絡側檢測，而橫向移動等攻擊場景由于協議的加密問題更適合在終端側檢測。這就需要不同類別的安全產品互相配合，彌補自身在某一個檢測方向上的短板。基于上述現狀，近年來，以“威脅狩獵、XDR”為代表的”主動防御、協同防御”技術或方法應運而生。威脅狩獵是指采用人工分析和機器輔助的方法，針對網絡、終端等的日志或告警數據進行主動搜索、關聯和分析，從而檢測出以往被動檢測無法察覺的威脅。威脅狩獵一般分為四個過程：首先，安全專家需要結合資產信息、威脅情報對網絡中可能存在的高風險點進行預判；其次，利用已收集的數據，使用可視化、數據統計分析等方法對數據集進行挖掘與分析，查找已知或未知的攻擊線索；之后，結合威脅模型對已發現攻擊者的攻擊工具和攻擊技術進一步挖掘，發現攻擊者的TTP；最后嘗試對上述威脅發現過程進行標準化或自動化。要實現威脅狩獵的落地，必須依托于足夠強大的協同防御體系，XDR就是包括威脅狩獵以及各種其他檢測防御技術的重要承載者之一。XDR（Extendeddetectionandresponse）即擴展檢測和響應系統，是Gartner2020年《TopSecurityandRiskManagementTrends》報告中提到的第一項技術和解決方案。通俗的講，XDR中的“X”有無限可能無限擴展的含義，即可以疊加NDR、EDR以及其它未來可能的“X”DR檢測能力，同時結合自動化編排和響應（SOAR），威脅狩獵，跨安全產品的威脅情報等方法和技術，全面有效增強檢測和響應能力，形成完整的協同防御體系。面對越來越多的“APT化”攻擊，只有融合加密流量檢測、被動檢測、主動狩獵等各種技術的協同防御體系，才能有效監控攻擊的各個階段，真正讓攻擊“看得見，防得住，找得著”成為現實。定位與價值產品定位通過上述背景分析調查結果，我們發現攻防不對等的原因較多，包括傳統防御繞過、高級威脅技術的使用、攻擊工具化自動化等，而這些安全現狀會讓大部分的運維人員越來越擔憂：“部署很多安全設備，但還是不知道到底是否安全？如果不安全，哪里不安全？每天上報的攻擊有很多，到底哪些攻擊成功了？越來越多的APT化攻擊，威脅從哪里來，到哪里去？是什么類型的攻擊？造成了哪些損失？我該怎么處理？”結合多年的網絡安全運維經驗，認為上述現狀為當前業界對內部網絡安全均存在的共性問題。傳統的網絡安全建設方案，容易導致割裂的安全防御，無法協同作戰，提供有效的整體安全防護，甚至導致安全運維復雜化。基于割裂的安全防御所產生的安全現狀數據也將成為一座座安全孤島，難以協同共享，導致碎片化的安全認知，只能看見碎片化的局部安全，無法形成統一的整體可視。因此，安全需要如同一個統帥，協同指揮各個部隊，形成一套完整的協同指揮作戰中心。結合理念，天闐威脅分析一體機（ThreatAnalysisandResponse-AllInOne）的產品定位為：以攻防研究為核心，配合場景分析、資產構建、自動響應、協同防御能力，構建下一代一體化高級威脅檢測與響應體系，意在為客戶提供一套集檢測、分析、可視、閉環響應為一體的本地網絡安全分析中心，讓安全可感知、易運營。產品價值建立多源數據關聯模型，有效識別更深層次威脅網絡安全檢測方法采用特征檢測、惡意代碼檢測、隱蔽信道檢測、威脅情報檢測等多種檢測技術結合，通過時間戳、IP關系和文件HASH等因素，發現APT高級威脅。針對APT攻擊組織進行畫像，網絡威脅深度分析中心提煉整理攻擊樣本、手法，通過API接口與威脅情報進行關聯，直接獲取關聯的的APT高級威脅攻擊組織。網絡威脅深度分析中心接收從終端引擎、網絡檢測引擎發過來的安全事件。在分析中心上定義二次統計分析模型，用來發現新的安全威脅。包括隱蔽隧道識別、惡意加密應用檢測、加密通道攻擊行為檢測、網絡資產主動外連、DGA域名發現等安全事件。智能分析能力，應對未知攻擊威脅隨著黑客的技術發展以及變種、逃逸技術的不斷改進，傳統安全設備的靜態規則防御手段已經捉襟見肘，依靠規則僅能防御小部分已知威脅，已無法檢測最新攻擊、未知威脅。TAR-AIO對于未知攻擊威脅的解決思路是通過基于沙箱的惡意代碼檢測技術，與具體的安全攻擊場景結合，發現隱藏的威脅。基于沙箱的惡意代碼檢測技術構造一個模擬的執行環境，讓可疑文件在這個模擬環境中運行，通過可疑文件觸發的外在行為來判定是否是惡意代碼。具備對各類設備網絡文件傳輸異常行為、漏洞利用行為、未知木馬、隱蔽信道傳輸等多樣性、組合性和持續性攻擊的檢測能力，其中漏洞利用行為可以通過惡意代碼的靜態檢測與動態檢測相結合的方式來監測；設備網絡文件傳輸異常行為、未知木馬檢測等可通過間歇性連接分析以及可以加密傳輸等方式來進行監測；隱蔽信道傳輸則有專門的隱蔽信道分析技術來進行監測。采用ATT&CK知識體系構建全局安全可視ATT&CK知識體系構建了一套更細粒度、更易共享的知識模型和框架，可以認為是KillChain的擴展，網絡安全檢測能力可以根據ATT&CK體系進行覆蓋和演進。天闐威脅分析一體機（TAR-AIO）是一整套網絡安全檢測和處置的產品，采用分析中心和檢測引擎結合的架構。分析中心類似安全大腦，完成安全告警事件的集中收集、存儲、分析以及聯動處置等能力，檢測引擎負責網絡流量和文件的處理，完成安全檢測的工作。通過全流量分析、多維度的有效數據采集和智能分析能力，實時監控全網的安全態勢、內部橫向威脅態勢、業務外連風險和服務器風險漏洞等，讓管理員可以看清全網威脅，從而輔助決策。大數據分析、檢索能力TAR-AIO基于流行的大數據架構，具備PB級別的海量數據存儲、高性能搜索與關聯分析能力，并可通過集群等方式進行擴充。網絡里面的網絡檢測產品和網絡邊界防護產品的告警日志、系統日志、流信息等數據，都可以送到網絡威脅分析處理系統里面進行存儲、關聯分析和展示。威脅舉證關聯，識別準確攻擊TAR-AIO網絡流檢測引擎基于報文的頭或載荷特征，匹配到攻擊特征后產生安全告警事件上報攻擊日志。從兩方面進行增強，一是關聯響應報文檢測，通過確認響應報文內容，進而確定攻擊是否成功，這樣實現了攻擊的雙向檢測；另一個是增加流量行為特征檢測功能，基于源和目的之間的報文交互行為特征進行安全檢測，既可以檢測確定的攻擊，又能夠對加密傳輸的攻擊進行檢測。TAR-AIO網絡流檢測引擎產生的安全事件在很多業務場景中，與業務存在沖突而產生誤報。引入威脅情報關聯分析，通過離線情報或在線的API接口，安全事件的關鍵屬性IP、URL域名或文件HASH與威脅情報進行比對確認，給出明確的安全檢測結果，這樣可以去掉大量的誤報。產品架構分層設計天闐威脅分析一體機體系架構如下圖所示，主要包括TAR-AIO網絡流檢測引擎、TAR-AIO文件檢測引擎和TAR-AIO威脅分析系統。圖SEQ圖\*ARABIC8_天闐威脅分析一體機體系架構TAR-AIO網絡流檢測引擎TAR-AIO網絡流檢測引擎是一個實時網絡報文分析引擎，采用旁路流量鏡像的方式，根據預定義的規則進行實時檢測；同時內置算法模型，基于多流量模型的威脅分析技術和基于機器學習結合的威脅分析技術路線，可有效檢測隱蔽隧道等加密流量威脅。在TAR-AIO網絡流檢測引擎中設計了一套適合網絡報文檢測系統的規則描述語言，采用開放化的檢測規則模型，且設計成了具有良好擴展性的實時網絡報文分析模塊。流檢測流量全字段檢測TAR-AIO網絡流檢測引擎，基于會話進行網絡報文全字段提取檢測，支持多分析場景的流檢測：可結合威脅情報，對可疑C&C回連、惡意域名請求等進行檢測；結合機器學習算法對可疑HTTPS通信、加密通道攻擊行為、DGA域名進行檢測；通過對相應字段信息提取判斷，對可疑下載、可疑隧道進行檢測等。協議解析TAR-AIO可識別主流的HTTP、FTP、POP3、SMTP、SSH、MySQL、Oracle、IMAP、Webmail等網絡協議，從而確保識別并還原網絡傳輸文件；同時支持解析識別RPC、SMB等協議，適配橫向移動場景；設備支持工控協議檢測，支持檢測的協議包括：MODBUS、S7COMM、BACNET、DNP3、ENIP、IEC104、GOOSE、MMS等。TAR-AIO支持對協議元數據進行提取檢測，支持提取元數據的協議類型包括但不限于：TCP、HTTP、DNS、ICMP、SMTP、POP3、FTP、SMB、IP、TLS、UDP、PPTP、L2TP、MySQL、Telnet、ARP、WebMail、MSSQL、Oracle、IPSecVPN、IMAP、IPV6、RADIUS。可靠性數據可靠性傳輸保證是實時網絡報文分析引擎最為重要的方面，也是TCP協議區別于其它協議的最重要特性。所謂提供數據可靠性傳輸不僅僅指將數據成功的由本地主機傳送到遠端主機，數據可靠性傳輸包括如下內容：能夠處理數據傳輸過程中被破壞問題；能夠處理重復數據接收問題；能夠發現數據丟失以及對此進行有效解決；能夠處理接收端數據亂序到達問題；使用用戶態協議棧省去了用戶態與內核態的通訊過程，這樣會明顯地提高發包和發流的處理性能。TAR-AIO網絡流檢測引擎自主設計的用戶態協議棧高效且易于擴展。特征檢測TAR-AIO基于流量全字段檢測技術，采用雙向特征判定，通過返回信息直接檢測攻擊是否成功；支持對惡意軟件利用、可疑行為、攻擊利用、攻擊探測、挖礦事件、APT攻擊事件等常見攻擊類型進行檢測。在特征關鍵字匹配方面，采用了一套全新的匹配方法，設計了一套全新的編譯器，將規則文件編譯成可執行的二進制機器代碼，就像GCC編譯器一樣，由CPU直接運行，所有的匹配比較操作均在程序代碼段中實現，則避免出現CPU內存尋址等操作，避免CPUCachemissing，降低了CPU的開銷，從而提高了系統的整體處理性能。原始數據記錄無論基于報文特征的檢測，還是流量輪廓的檢測，支持對目標流量進行留存，并對留存目標流量進行分析取證。從檢測技術實現來看，檢測通常針對部分報文特征或輪廓，但留存的目標流量應當基于三個時間段：1）當前預警，當前受檢測的報文，命中規則后，產生預警，此段目標流量需要留存。2）預警后，對相應源或目的IP地址的后續一段時間的目標流量進行采集留存。3）預警前，源或目的IP地址的相關會話流量進行留存。在報文檢測系統中，對當前預警和預警后的目標流量留存，實現難度不大。但是對預警前的目標流量留存，具有相當大的難度。而預警前的樣本留存，對跟蹤攻擊起源、了解攻擊手法等具有非常大的意義。且尤其對流量輪廓的檢測，目標流量留存基本是唯一的取證方法。文件還原樣本文件還原是報文深度檢測的延續，對TAR-AIO文件檢測引擎進行源數據支撐，發現藏匿于網絡流量之中以文件的形式（例如腳本，宏代碼等）的惡意攻擊代碼。TAR-AIO網絡流檢測引擎除還原樣本文件外，還會上報攻擊摘要信息，同時也可附帶上報樣本流量，以助于上層分析。另外一方面，隨著攻擊手法的復雜，以及壓縮、加密等技術的使用，惡意文件已經很難通過特征進行描述定義，此時我們可能需要使用“流量輪廓”的方法來描述，最簡單的例子，網絡中出現一次大字節的HTTPPOST上傳行為，為可疑違規行為，可以進行樣本文件還原，以供TAR-AIO文件檢測引擎進行深度的分析。TAR-AIO文件檢測引擎TAR-AIO文件檢測引擎針對惡意代碼等未知威脅具有細粒度檢測效果，可實現包括對：未知惡意代碼檢查、嵌套式攻擊檢測、木馬蠕蟲病毒識別、隱秘通道檢測等多類型未知漏洞（0-day）利用行為的檢測。采用國內領先的雙重檢測方法（靜態檢測和動態檢測），多種核心檢測技術手段：二進制檢查、堆噴檢測、ROP利用檢測、敏感API檢測、堆棧檢測、Shellcode檢查、沙箱檢查等，可以檢測出APT攻擊的核心步驟。內置沙箱具備100種以上文件格式檢測能力，對壓縮文件解壓深度至少支持10層解壓，支持對反沙箱惡意樣本檢測。同時，通過TAR-AIO威脅分析系統進行威脅分析，有效發現APT攻擊。圖SEQ圖\*ARABIC9_TAR-AIO文件檢測引擎TAR-AIO威脅分析系統TAR-AIO威脅分析系統按照ATT&CK（可看作KillChain的擴展。“殺傷鏈”的概念源自軍事領域，它是一個描述攻擊環節的六階段模型，洛克希德·馬丁公司開發的“網絡殺傷鏈”模型描述了網絡攻擊從最早的階段——偵察到最終的階段——數據提取）的理念進行構建，結合在網絡信息安全領域二十多年的技術和產品積累，構建一套終端檢測、網絡流檢測，安全威脅分析到聯動處置的閉環軟件系統，主要的構建思路參考圖示：圖SEQ圖\*ARABIC10_TAR-AIO閉環構建思路網絡安全事件檢測和處置是一個持續的過程，新的攻擊事件發生要及時的檢測出來，上報到TAR-AIO威脅分析系統，TAR-AIO威脅分析系統通過綜合分析，結合威脅情報，識別攻擊事件的ATT&CK技術和相關信息，根據發生的時間因素、事件的源目的IP因素、攻擊手段等形成相關的攻擊階段信息，可以根據提前預制的腳本，或管理員參與，對事件進行完整的處理。天闐威脅分析一體機通過TAR-AIO威脅分析系統與TAR-AIO網絡流檢測引擎和TAR-AIO文件檢測引擎相結合，配合本司全流檢測產品（NFT）形成相應閉環分析，如圖所示：圖SEQ圖\*ARABIC11_TAR-AIO事件完整處理閉環流程ELK大數據架構網絡檢測產品、網絡邊界防護產品、終端檢測產品產生的安全告警事件都是以日志形式出現的，單個點的安全告警日志量很大，匯總到統一的分析處理系統會更加龐大。天闐威脅分析一體機采用的ELK技術架構在機器數據分析和日志處理領域的第一選擇，能夠支撐PB級數據的存儲和搜索。ELK支持集群部署方式，擴展性和可靠性有很好的保障。圖SEQ圖\*ARABIC12_ELK架構大數據集群存儲層主要是網絡威脅深度分析中心用來處理存儲數據，ElasticSearch大數據集群主要用來存儲告警日志，實現海量存儲；同時使用ES結構引擎（大數據分析通用引擎）為基礎元數據、分析數據、分析結果提供了快速檢索能力。大數據消息隊列系統Kafka是一種高吞吐量的分布式發布訂閱消息系統，它可以處理消費者在網站中的所有動作流數據，有如下特性：通過O(1)的磁盤數據結構提供消息的持久化，這種結構對于即使數以TB的消息存儲也能夠保持長時間的穩定性能。高吞吐量：即使是非常普通的硬件Kafka也可以支持每秒數百萬的消息。支持通過Kafka服務器和消費機集群來分區消息。支持Hadoop并行數據加載。Kafka主要用途是數據集成，或者說是流數據集成，以Pub/Sub形式的消息總線形式提供。但是，Kafka不僅僅是一套傳統的消息總線，本質上Kafka是分布式的流數據平臺，可提供Pub/Sub方式的海量消息處理；以高容錯的方式存儲海量數據流；保證數據流的順序。關鍵技術應用支持雙向特征匹配特征檢測天闐威脅分析一體機在特征檢測方面，憑借著多年基于特征的威脅檢測領域的技術積累，在原有豐富、全面的特征檢測規則庫的基礎上，利用雙向特征匹配能力，對規則庫進一步優化，增加攻擊有效性判定，確保事件準確性，產品有效性檢測能力顯著提升。在保持原有對病毒、木馬、蠕蟲、僵尸網絡、緩沖區溢出攻擊、拒絕服務攻擊、掃描探測、欺騙劫持、SQL注入、XSS攻擊、網站掛馬、隱蔽信道、AET逃逸、C&C行為等各種威脅的全面有效檢測外，針對僵木蠕類攻擊、Web攻擊等熱點攻擊手段的攻擊特征進行進一步優化，確保產品的有效檢測能力。TAR-AIO支持自定義規則進行特征檢測，自定義規則支持工控協議，支持自定義檢測規則的協議類型包括：TCP、UDP、ICMP、HTTP、SMTP、IMAP、POP3、MySQL、MSSQL、Oracle、MODBUS等。自定義維度、可自定義的影響設備、可自定義攻擊階段（ATT&CK）均可多維度擴展選擇匹配，可從容應對各種應急事件與場景。動靜態相結合的未知威脅檢測天闐威脅分析一體機采用國內領先的雙重檢測方法（靜態檢測和動態檢測），多種核心檢測技術手段：二進制檢查、堆噴檢測、ROP利用檢測、敏感API檢測、堆棧檢測、Shellcode檢查、沙箱檢查等，可以檢測出APT攻擊的核心步驟。可實現包括對：未知惡意代碼檢查、嵌套式攻擊檢測、木馬蠕蟲病毒識別、隱秘通道檢測等多類型未知漏洞（0-day）利用行為的檢測。同時，通過TAR-AIO威脅分析系統進行威脅分析，有效發現APT攻擊。文件調度TAR-AIO文件檢測引擎設計了一套全新的高效智能虛擬機調度引擎，該引擎能根據當前的系統資源占用和自動啟動或關閉相應的虛擬環境，保證樣本的實時檢測性。另外當樣本數量突發時虛擬機調度引擎亦能智能調節虛擬機任務的分發。文件檢測引擎內置windows系列、Linux、安卓、中標麒麟等6種主流類型、共近50個虛擬系統，可并發至少20個OS同時運行。圖SEQ圖\*ARABIC13_智能虛擬機調度引擎靜態檢測靜態檢測引擎方面，主要充分利用公司原有的在軟件功能與安全事件檢測能力的技術積累，進行有效的擴充，以保障該檢測的高效與準確，大體包含如下幾部分：已知惡意木馬病毒檢測：集成國內外流行的病毒檢測引擎，對提交的文件進行檢測，如發現為已知木馬病毒，則匯報已知木馬病毒攻擊事件。已知漏洞攻擊樣本檢測：使用已知漏洞攻擊樣本簽名技術檢測常見已知的基于漏洞攻擊樣本，對提交的數據文件和URL對應的HTML內容進行檢測，如發現為已知漏洞攻擊，則匯報已知漏洞攻擊事件。惡意代碼行為特征檢測：通過對各種惡意代碼的行為進行研究，提取出相應的網絡及系統行為特征，具體來說，就是把惡意代碼通常的網絡連接、注冊表操作、文件操作以及進程操作等行為特征提取出來做為一個惡意代碼行為特征庫。該檢測不再依賴于具體的已知漏洞和病毒木馬樣本，而是分析文件中是否包含具有威脅的行為特征來進行檢測，該算法可以檢測針對數據文件應用的未知漏洞（0day漏洞）的攻擊而無須知道漏洞信息。靜態仿真檢測技術（SSE）：通過模擬真實CPU環境對文件中可能存在的可疑代碼進虛擬執行，使用一定的算法，當發現可疑的shellcode時便可判定為惡意文件。例如：微軟的文檔(RTF,DOC)的shellcode代碼一般直接存在于文件中，因此可以先對其進行格式解析，對各段數據進行解密。然后將合適的數據送入到模擬執行函數嘗試進行執行，看其是否為可執行代碼。如果為可執行代碼則判定該文檔存在問題。對于不易直接檢測出shellcode的PDF，SWF等文件，我們也會使用相應的算法提取出可疑的shellcode特征，并送入對應的靜態模擬器中進行代碼識別，以識別出其是否為真正的二進制代碼。策略匹配檢測技術：使用一定的策略算法，發現文件中異常的情況。例如：在文檔文件中，通過一定的算法，檢測是否內嵌有PE文件，如有PE文件，則可判定為惡意文件。自定義YARA(一個知名的惡意軟件識別和分類工具)規則：支持自定義YARA規則，對檢測算法進行擴充。值得一提的是，項目實施單位研發的靜態惡意代碼檢測技術，通過惡意代碼行為特征檢測、靜態仿真檢測技術（SSE）以及策略匹配檢測技術同樣能夠識別未知漏洞。動態檢測惡意代碼的動態檢測，主要用于發現0day攻擊，并對惡意代碼進行行為分析，自動提取樣本與檢測規則，并進一步完善靜態檢測引擎。在虛擬環境下執行可疑樣本，分析其行為，對應用軟件以及系統的影響，來判定是否有漏洞觸發。若明確觸發了漏洞，則提取相應的惡意樣本，并根據行為分析自動生成靜態檢測規則。本部分涉及到的關鍵技術有：虛擬環境調度技術：通過指紋識別，確定可疑樣本涉及的虛擬環境，并行調度，提高檢測的準確度與性能。虛擬環境下的動態檢測技術：采用調試方式啟動應用程序，能夠發現程序執行過程中的所有異常，并基于此發現攻擊行為的發生。動態檢測規則：判定真實0day攻擊產生的依據，包括但不限于以下幾種：數據代碼的執行可疑文件的創建系統資源的異常占用應用進程的崩潰外部資源的異常訪問下載外部文件動態虛擬檢測技術，是在真實的虛擬機環境中，啟動對應的文件應用打開可疑的樣本，并分析其產生的行為。這里的行為主要有兩個方面：一是漏洞利用行為，包括但不限于程序崩潰，可疑的堆噴行為，非代碼執行區試圖執行代碼的行為，運行時內存中是否有可疑shellcode特征等等。二是檢測文檔文件執行過程中是否有異常行為，包括但不限于是否有生成或下載新的可疑文件，是否啟動異常進程，是否注冊系統服務或啟動項，是否有外連行為等等。以上述行為來判定是否有漏洞觸發。基于NTA的加密流量檢測能力互聯網技術快速發展，使得互聯的規模與流量越來越大。在網絡通信中，加密流量已經成為通信的主流。雖然加密流量保護了用戶的隱私，但也為安全檢測帶來了新的挑戰。TAR-AIO采用以多流量模型+機器學習的流量綜合檢測技術（NTA），能更好的實現對加密流量中異常行為的檢測效果。異常行為分析技術路線，采用基于多流量模型的威脅分析技術和基于機器學習結合的威脅分析技術路線，是相對于特征檢測技術領先一代的技術方案，也是業界重點投入研究的技術方向和趨勢，基于多流量的威脅檢測技術，和基于機器學習的技術技術，在應對加密流量檢測，攻擊手法繞過，攻擊數據特征變形方面都具備獨特的優勢。通過長期大量的攻擊手法、攻擊工具、惡意軟件家族特征、惡意流量積累和分析的基礎上，通過安全研究人員的持續投入、軟件關鍵算法的設計，能較好的構建基于多流模型和基于機器學習模型的檢測技術落地。TAR加密流量檢測相關功能詳見5.3章節。攻擊鏈還原自動化擴線分析目前市面上的相關產品，基本無法全面的從海量告警中發現有效供給和有價值的線索；均不具備完整攻擊鏈還原能力；未充分、有效利用專業分析模型進行分析，ATT&CK分析框架應用普遍被作為產品宣傳賣點，但未達到應有應用效果，只是噱頭。TAR-AIO并非只是利用規則告警，結合威脅情報產生線索；也不是以UEBA概念進行包裝，進行單點前后串聯分析。TAR-AIO并非只是利用規則告警，單點對應ATT&CK技戰術，結合威脅情報產生線索；也不是以知識圖譜的展現形式，進行單點技戰術分析，突出APT組織威脅情報能力。TAR-AIO并非只是以威脅情報為主，結合規則告警，對應KillChain；也不是以KillChain作為攻擊鏈還原模型，對應有限攻擊屬性。圖SEQ圖\*ARABIC14_TAR-AIO攻擊鏈還原分析流程天闐威脅分析一體機，利用當前確定性線索為中心，以事件名稱、事件標簽、攻擊者、被攻擊者、攻擊結果等作為基礎信息原點，向前、向后進行檢索，利用歷史流量數據發現確定性線索關聯可疑行為線索，從而對整個攻擊鏈進行擴線分析,并與ATT&CK模型映射生成攻擊行為畫像，形成支持自定義的web可視化拓撲。還可聯動全流量分析取證系統（NFT）對未知威脅進行威脅狩獵，進而無遺漏、更完整的還原所有攻擊鏈。圖SEQ圖\*ARABIC15_自動化擴線分析原理產品新版本進一步完善攻擊鏈分析功能，支持選擇特征、樣本、惡意域名、弱口令等多日志類型作為線索來源，以及手動擴展攻擊鏈節點，可清晰展示攻擊路徑、攻擊過程觸發告警，對多種威脅攻擊類型進行攻擊鏈還原。同時支持基于時間序列刷新待分析攻擊鏈事件，可對已分析攻擊鏈事件快照保存。圖SEQ圖\*ARABIC16_攻擊鏈分析頁面圖SEQ圖\*ARABIC17_攻擊鏈還原基于算法模型的檢測能力郵件算法檢測產品具備獨立郵件分析場景，支持郵件二維碼檢測與釣魚郵件算法檢測，同時針對釣魚郵件攻擊支持自動提取郵件正文密碼，增加郵件檢測維度與精準度。圖SEQ圖\*ARABIC18_郵件算法檢測DGA域名檢測基于APT組織惡意域名算法，自動生成DGA域名列表，檢測網絡中試圖繞過黑名單檢測機制的行為。檢測流程如下：預處理：提取域名中的主域名名稱部分。特征提取：提取出元音所占比例、數字和字母轉換所占比例、主域名熵、N-gram等特征。多模型打分：根據每個模型得到的總分進行DGA域名分類。圖SEQ圖\*ARABIC19_DGA域名檢測精準失陷主機檢測失陷主機，指因遭受APT攻擊、僵木蠕毒等風險而被攻擊者控制的主機。天闐威脅分析一體機結合智能分析技術、威脅情報關聯等，發現內部已經失陷的主機。結合攻擊鏈，發現主機在每個攻擊階段發生的所有事件。結合事件情況為主機評定狀態。檢測流程如下：情報匹配：高價值域名情報匹配。域名請求行為分析：請求次數大小，周期性規律，響應情況。后續流量行為分析：上下行流量關系，周期性規律，是否包含敏感文件，是否長連接等。圖SEQ圖\*ARABIC20_失陷主機分析全面的Web算法檢測庫TAR具備全面的Web算法檢測庫，包括SQL注入/XSS攻擊算法檢測能力、JAVA代碼注入檢測能力、命令注入檢測能力、PHP反序列化檢測能力、XML外部實體注入檢測能力等。圖SEQ圖\*ARABIC21_Web算法檢測配置結合威脅狩獵的主動防御威脅狩獵是指采用人工分析和機器輔助的方法，針對網絡、終端等的日志或告警數據進行主動搜索、關聯和分析，從而檢測出以往被動檢測無法察覺的威脅。威脅狩獵一般分為四個過程：首先，安全專家需要結合資產信息、威脅情報對網絡中可能存在的高風險點進行預判；其次，利用已收集的數據，使用可視化、數據統計分析等方法對數據集進行挖掘與分析，查找已知或未知的攻擊線索；之后，結合威脅模型對已發現攻擊者的攻擊工具和攻擊技術進一步挖掘，發現攻擊者的TTP；最后嘗試對上述威脅發現過程進行標準化或自動化。圖SEQ圖\*ARABIC22_威脅狩獵情報應用TAR-AIO從以下幾點，可完整匹配威脅狩獵流程，挖掘更多未知威脅：威脅情報云查（詳見4.7章節）圖SEQ圖\*ARABIC23_情報云查可視化數據分析挖掘（詳見5.4章節）圖SEQ圖\*ARABIC24_威脅感知分析大屏情報狩獵歷史數據匹配時通過自定義報表中的ip、dns域名、MD5值系統歷史數據中的ip、dns域名、MD5進行對比。匹配到對應的值以后展示相對應的自定義情報信息，對可疑威脅進一步挖掘。圖SEQ圖\*ARABIC25_情報狩獵攻擊鏈分析（詳見4.4章節）圖SEQ圖\*ARABIC26_攻擊鏈還原分析VenusEye情報云查輔助降低甄別難度天闐威脅分析一體機內置可機讀的VenusEye威脅情報，結合本地智能分析引擎，對本地網絡中采集的流量元數據進行實時分析比對，發現已知威脅及可疑連接行為，增加智能分析技術的準確性和檢出率。如通過行為分析發現的隱蔽隧道通信行為（如DNS隧道）僅為可疑行為，但若其連接的地址信息與威脅情報的僵木蠕毒情報相關聯，通過分析模型可檢測為遠控行為。同時，下發的威脅情報結合本地流量數據，可形成本地化的威脅情報，安全專家可利用威脅情報及時洞悉資產面臨的安全威脅進行準確預警，了解最新的威脅動態，實施積極主動的威脅防御和快速響應策略，準確地進行威脅追蹤和攻擊溯源。VenusEye威脅情報保持Day級更新頻率，設備可實時自動升級下發，保證時效性。圖SEQ圖\*ARABIC27_VenusEye威脅情報中心VenusEye威脅情報，已經積累了過億級的IOC情報數量，涵蓋基礎信息、攻擊威脅、可疑行為、惡意站點、惡意軟件、攻擊組織、失陷主機等情報類型。與全量信息采集進行有效配合，對所有采集信息進行威脅碰撞，實時檢測終端每一個運行過程的安全性。多年網絡安全研究經驗積累的集中體現，參與了多項國家級、行業級的威脅情報標準制定。VenusEye威脅情報中心擁有龐大的數據基礎，數據采集方式以自動化數據采集為主，同時輔以威脅情報專家的人工分析。威脅情報的主要來源包括自有的樣本分析系統的循環挖掘、第三方商業情報交換、開源情報（開源沙箱、技術論壇、開源樣本網站、安全從業人員社交媒體、開源情報網站等）、用戶和產品上報等，總體的威脅情報來源數量已達到200多個。通過大量的樣本分析和跟蹤研究，一方面提取各種攻擊行為事件；另一方面總結和提煉出各種攻擊組織的來源、目標、工具、手段等攻擊組織相關特性。功能價值呈現基于完整流的取證與研判分析為了應對網絡安全事件處置過程中的分析研判訴求，本著適度采集記錄的原則，天闐威脅分析一體機采用攻擊事件完整流量存儲能力。用戶可通過上報事件進行分析研判，不僅具備原始流量文件下載的能力，還能夠對原始流量進行解析，支持研判分析可視化呈現、流跟蹤以及wireshark解碼，幫助客戶收集盡可能多的信息或證據。圖SEQ圖\*ARABIC28_分析研判圖SEQ圖\*ARABIC29_取證溯源全面實時的監測與威脅分析要做到全網威脅分析，必須需要具備多維度的監測、分析體系。天闐威脅分析一體機從威脅視角、風險感知、場景分析進行三大維度的安全實時監測能力構建，同時輔以離線包/文件回溯檢測來達成全面的檢測體系。這三大實時檢測維度均有其對應的最終目標，包括：威脅視角：基于ATT&CK攻擊模型的思路，提供各階段攻擊展示，包括威脅情報視角、攻擊者視角、被攻擊者視角、特征事件視角、樣本視角、可疑線索視角等。風險感知：以業務資產為核心，尋找暴露面，包括失陷主機分析、脆弱口令感知、敏感數據感知、漏洞攻擊感知等。場景分析：從分析場景的角度展開，進行專題分析，包括DNS行為分析、郵件行為分析、勒索行為分析、橫向滲透分析、隱蔽隧道分析、VPN通信分析、挖礦行為分析、暴力破解檢測、掃描探測檢測、DDOS檢測、Web攻擊檢測、僵木蠕攻擊分析等。威脅視角ATT&CK視角通過我司安全專家在業內多年的經驗積累，結合ATT&CK知識體系構建了一套更細粒度、更易共享的知識模型和框架。在這套體系中，結合當前常用攻擊手段及熱點事件，總結并整理出一系列的專題性的價值分析模型，并在天闐威脅分析一體機中進行應用，利用產品自身的威脅檢測能力提供基礎事件，通過有效的威脅分析，將分析結果進行可視化呈現，形成一系列價值分析場景。圖SEQ圖\*ARABIC30_ATT&CK視角特征事件視角、攻擊者視角、受害者視角天闐威脅分析一體機通過攻擊者視角、被攻擊者視角、特征視角等多維線索聚合，深度挖掘可疑關聯，提供攻擊者、被攻擊者雙向的威脅分析起點，在攻擊面與被攻擊面之間尋找深度隱藏的線索關聯。圖SEQ圖\*ARABIC31_特征事件視角樣本視角樣本視角，TAR從流量中實時還原文件，并結合動靜態文件檢測引擎檢測，識別樣本中的惡意代碼威脅，可實現包括：未知惡意代碼檢查、嵌套式攻擊檢測、木馬蠕蟲病毒識別、隱秘通道檢測等多類型未知漏洞利用行為的檢測。圖SEQ圖\*ARABIC32_樣本視角情報視角情報視角，基于內置100w+本地情報庫（定期更新）與采集在線流量與特征日志進行實時碰撞，命中生成對應情報日志，覆蓋IP、樣本、域名等情報IOC。圖SEQ圖\*ARABIC33_情報視角風險感知資產是全網安全最重要的防護點，尤其是承載業務的服務器資產。所有的威脅都必須利用服務器的某個脆弱性才能造成傷害，因此，服務器脆弱性的識別和加固便顯得十分重要，能夠有效預防威脅的發生。漏洞攻擊感知基于探針組件的被動流量信息和漏洞指紋特征，識別疑似存在具體漏洞的主機/URL、疑似漏洞的舉證信息及修復建議，為安服人員快速定位。脆弱口令感知可針對HTTP、FTP、SMTP等登陸協議。弱密碼指密碼強度低，如簡單的數字組合、與帳號相同、密碼長度過短等。弱密碼很容易被黑客破譯利用，從而使用合法的帳號密碼進行登錄控制，隱蔽性較強。圖SEQ圖\*ARABIC34_脆弱口令風險端口識別服務器資產開放的風險端口及端口被使用情況（如標準端口跑非標準協議），同時結合十幾年的應用識別積累能力，識別因暴露風險應用訪問方式（如RDP、SSH、數據庫）被非法連入的情況，即使非標準端口亦能識別具體應用。敏感數據感知產品支持敏感數據分析場景功能，可針對流量中傳輸的身份證、手機號、銀行卡號、QQ號、微信號等敏感數據進行監測分析，助力減少敏感數據信息泄露風險。圖SEQ圖\*ARABIC35_敏感數據分析其余風險感知場景還包括異常流量感知、違規互聯感知等，失陷主機分析詳見4.5章節。場景分析DNS行為分析DNS隧道：從專題場景角度分析，可以發現網絡中試圖通過DNS協議進行網絡通信的行為，可檢測隱匿木馬后門的通信流量。DGA域名：基于APT組織惡意域名算法，自動生成DGA域名列表，檢測網絡中試圖繞過黑名單檢測機制的行為。惡意域名：基于VenusEye提供的威脅情報，對流量中的域名進行匹配，可快速檢測出APT組織、僵木蠕家族。圖SEQ圖\*ARABIC36_惡意域名檢測郵件行為分析該場景可對郵件進行釣魚郵件檢測、發件人檢測、惡意鏈接檢測、附件檢測、垃圾郵件檢測等專題分析。圖SEQ圖\*ARABIC37_郵件行為分析挖礦行為分析針對挖礦場景行為進行分析，統計展示維度包括幣種統計、階段分析、礦機統計、趨勢分析等。圖SEQ圖\*ARABIC38_挖礦行為分析勒索專項分析產品支持勒索專項頁面展示，提供勒索風險感知與勒索攻擊發現告警展示。圖SEQ圖\*ARABIC39_勒索專項分析橫向滲透分析橫向滲透分析視角，基于對東西向流量的抓取，結合規則檢測、基線分析，挖掘內網主機之間存在的異常威脅行為，定位異常的內鬼主機，識別內網主機對其他內網主機發起攻擊的情況，如漏洞利用攻擊、向SMB服務器傳毒等。可發現可疑的跳板源或內鬼。圖SEQ圖\*ARABIC40_橫向移動分析視角暴力破解分析可選擇對應協議自定義配置暴力破解檢測頻率閾值。TAR新版本已重構爆破檢測功能，增加可識別的爆破場景類型，如一對一、一對多、多對一等場景；同時增加告警原因說明，易用感更強。圖SEQ圖\*ARABIC41_暴力破解分析場景其他威脅分析包括掃描探測檢測、DDOS檢測、Web攻擊檢測、僵木蠕檢測、隱蔽隧道檢測、VPN通信檢測。其中Webshell檢測、加密隱蔽隧道檢測、加密VPN流量檢測內容，詳見5.3章節。離線數據與樣本檢測產品支持離線數據包上傳檢測與樣本文件手動上傳檢測，離線數據支持特征、情報、沙箱檢測，最高可達16倍速回放。同時支持樣本隱蔽信道檢測、進程樹展示惡意樣本行為、人工沙箱干預等功能。圖SEQ圖\*ARABIC42_樣本報告進程樹流程圖圖SEQ圖\*ARABIC43_人工沙箱干預強大的加密流量檢測互聯網技術快速發展，使得互聯的規模與流量越來越大。在網絡通信中，加密流量已經成為通信的主流。雖然加密流量保護了用戶的隱私，但也為安全檢測帶來了新的挑戰。縱觀近年網絡攻擊事件，以高級持續威脅攻擊和定向滲透攻擊為代表的高級網絡攻擊盛行，而這些攻擊組織，為了更隱蔽的獲取用戶數據，控制目標系統，往往采用隱蔽的、加密的通信方式。通常情況下，這些隱蔽的通信傳輸會隱藏到常見的網絡協議中，或使用加密通信，混雜在正常業務數據中，具有特征不確定，途徑多樣化，低流量，低頻率等特點，以達到長期控制，竊取數據的目的。目前在應對加密流量檢測方面，APT檢測產品目前主要采用解密檢測或不解密檢測的方式，兩種方式各有利弊。如果在SSL/TLS應用上解密流量，首先會打破原有加密機制，使合法數據傳輸的安全性降低，其次在證書替代和網絡應用支持上可能存在覆蓋不全的情況（提供導入單獨的解密證書，只能針對該證書對應的加密流量進行解碼，從而導致遺漏其余非對應加密流量）。另外，大流量的卸載非常耗費計算資源，對產品整體的性能影響較大，但解密的好處是可以還原數據原始內容，這有利于檢測分析工作。不解密檢測采用“加密前特征檢測”+“加密后機器學習對比檢測”兩者結合的方式，這種方式的檢測結果準確與否依賴于樣本規模和訓練周期。如果沒有一定積累，可能會存在較多誤報/漏報等情況。天闐威脅分析一體機，面對加密流量，采用“解密”+“不解密”檢測相結合的方式。導入SSL證書對特定常用加密流量（對應需重點保護的設備地址）進行解密，然后正常解析檢測，發現攻擊威脅；無證書場景，以多流量模型+機器學習的流量綜合檢測技術（NTA），能更好的實現對加密流量中異常行為的檢測效果，覆蓋非特定或自定義加密流量盲點，識別惡意攻擊。圖SEQ圖\*ARABIC44_導入SSL證書方式TAR-AIO通過長期大量的攻擊手法、攻擊工具、惡意軟件家族特征、惡意流量積累和分析的基礎上，通過安全研究人員的持續投入、軟件關鍵算法的設計，能較好的構建基于多流模型和基于機器學習模型的檢測技術落地。基于NTA技術的“不解密”檢測范疇，TAR-AIO可支持檢測的加密流量模型包括cobaltstrike等工具的流量，總體功能結構圖大致如下圖所示：圖SEQ圖\*ARABIC45_加密流量檢測整體流程其中流方向判定是通過判斷流量的內網、外網訪問方向確定可以針對該類流量做檢測的模型。這些模型包括了https隧道、webshell檢測等。流量過濾包括了內置的以及自定義的白名單庫，以及稀有度算法計算出來的正常流量過濾，同時也對已經確認為攻擊行為的黑流量進行過濾，即對已經確定行為的流量進行過濾。通過行為基線、消息分組、算法調用、特征計算等模塊來確定該流量是否具有威脅，這一系列檢測的方法針對不同的檢測模型有不同的實現方法，主要涵蓋了心跳的分析、大批量樣本訓練后的多維度的AI模型匹配、通過特征過濾掉不符合該檢測模型的流量等。加密通道中的攻擊行為檢測Webshell檢測對于在webshell的攻擊行為中，變形的webshell會讓普通的特征檢測手段失效，但是從流量行為維度來分析，webshell的這類流量對應整個web應用來說是一個孤立的應用訪問點，所以通過一些常用的機器學習算法，來尋找孤立點的方式進行webshell的檢測成為了業界常用的檢測方式。機器學習模型在檢測webshell方面有長期的積累和實踐效果，并在檢測效率方面也有獨到的優勢，整體檢測框架如下：圖SEQ圖\*ARABIC46_webshell檢測框架圖SEQ圖\*ARABIC47_產品webshell檢測頁面惡意或非法加密應用檢測Tor流量檢測Tor（Theonionrouting）“洋蔥路由”被廣泛用于匿名網絡流量，經常和違法活動相關，例如毒品和武器交易等，這些非法網站被統稱為“暗網”，只能通過使用Tor訪問。洋蔥路由網絡中，消息一層一層的加密包裝成像洋蔥一樣的數據包，并經由一系列被稱作洋蔥路由器的網絡節點發送，每經過一個洋蔥路由器會將數據包的最外層解密，直至目的地時將最后一層解密，目的地因而能獲得原始消息。因此，在網絡空間中如何對Tor網絡流量進行快速發現，對打擊違法犯罪具有重要意義。圖SEQ圖\*ARABIC48_Tor結構示意傳統Tor網絡節點的檢測，通常是基于黑名單的機制，因為在Tor官網發布了一個官方的外部Tor節點的IP地址列表，可以此為黑名單。但是，對于一些非官方的外部Tor節點，該方法是失效的。因此，TAR-AIO從網絡流量分析的角度，建立特征工程，利用機器學習的技術建立Tor流量分類模型。機器學習整體流程包括安全問題抽象、安全數據采集、數據預處理、模型構建、模型驗證、實際應用效果評估。路線圖如下：圖SEQ圖\*ARABIC49_機器學習路線圖加密VPN流量檢測一方面，近年來隨著網絡技術的發展，VPN(virtualprivatenetwork)技術被廣泛應用于網絡通信中，以滿足不同的安全需求，例如翻墻和遠程連接。另一方面，高吞吐量業務的快速增長，對服務質量(QoS)和網絡資源的管理提出了更高的要求，而網絡流量識別在提高網絡流量管理水平方面起著重要的作用。因此，在流量識別中，如何精準地對VPN流量（加密或非加密）進行檢測是一個重要且具有挑戰的問題。圖SEQ圖\*ARABIC50_VPN示意圖在傳統的VPN檢測技術中，主要有兩種種方法：基于端口的過濾，基于DPI深度包檢測技術。基于端口過濾的方式，通常存在較多的誤報，因為端口并不一定是一一對應的，例如80端口不一定是http流量。基于DPI深度包檢測的技術，通常需要將關鍵payload特征，例如交互過程中產生的時域特征與握手協議字段進行規則匹配或者描述，但當該VPN流量是加密的時候，此方法的有效性將降低，產生漏報。TAR-AIO基于機器學習方法通過加工流量的時域特征、指紋特征、主機行為特征，能夠一定程度解決加密VPN流量的檢測。加密隱蔽隧道檢測HTTP/HTTPS隱蔽隧道檢測失陷主機是內網中已被攻擊者成功入侵，并被遠程控制有惡意行為的主機。由于失陷主機受控或發起惡意行為往往難尋規律、隱蔽性強，絕大部分已存在失陷主機的組織通過常規的方法難以感知，需要尋找一類新的方案來識別和分析實現主機。對于失陷主機的來說，惡意程序需要定期和外部的C&C服務器進行通信的，以便實現黑客對內部主機的控制和進一步的內網滲透。為了隱藏鏈接C&C服務器的行為，通常失陷主機上的惡意程序通過隧道的方式來應該其真實行為，而使用HTTP/HTTPS承載的隧道就令和C&C服務器的通信行為更加難以檢測。圖SEQ圖\*ARABIC51_C2攻擊示意圖TAR-AIO基于自身精準協議解碼、多種行為建模、AI智能學習，可對HTTPS協議中傳輸的加密原始流量和元數據字段（JA3指紋、證書信息、加密套件、擴展長度、協議版本、證書組織、證書頒發者等）進行充分學習，建立黑白模型，使用黑白模型進行判定黑白，然后結合內置大量的加密流量檢測規則以及應用行為模型進行交叉判斷分析，可對常見黑客工具通訊、隱蔽隧道通訊、可疑或非法加密通訊行為進行實時檢測。圖SEQ圖\*ARABIC52_產品HTTP隧道檢測頁面DNS隱蔽隧道檢測DNS隧道，即利用DNS請求和響應來承載經過編碼或加密的數據內容，攻擊者需要接管某個域名的NS服務器，使得對該域名的所有子域解析請求最終到達該臺NS服務器上，最終，一條通信信道將在受控機器和攻擊者的NS服務器之間建立（中間可能經過更多的NS節點），信道的建立、維持和通信基于DNS查詢的請求和響應。圖SEQ圖\*ARABIC53_DNS隧道建立TAR-AIO對DNS隱蔽隧道檢測模型訓練整體流程為：流量解析、特征提取、特征泛化、分類、決策。具體流程如下圖：圖SEQ圖\*ARABIC54_DNS隧道檢測模型訓練整體流程TAR-AIO結合行為模型、隧道模型以及機器學習算法，充分學習歷史數據特征，可以精確地識別位置的隱蔽隧道，同時兼具誤報低、不易被繞過的特點。圖SEQ圖\*ARABIC55_產品DNS隧道檢測頁面ICMP隱蔽隧道檢測使用ICMP回顯請求消息（request）和回復消息（reply）在兩臺遠程計算機之間建立隱蔽連接。因為ICMP回顯消息常用于Ping或tracert命令以檢查網絡暢通性，為了更好理解，后文將ICMP回顯消息簡稱為Ping消息。ICMP隧道的工作原理是客戶端將數據注入Ping請求數據包（request）中，而后遠程服務器以相同的方式回復，將答復注入到Ping回復數據包（reply）中并將其發回。ICMP隧道檢測模型訓練整體流程為流量解析、特征提取、分類、形狀/內容檢查。整體流程如下圖：圖SEQ圖\*ARABIC56_ICMP隧道檢測模型訓練流程圖SEQ圖\*ARABIC57_產