專題報告項目名稱：垃圾郵件防護系統分析與應用技術課程名稱：計算機網絡B班級：姓名：學號：教師：信息工程學院計算機系垃圾郵件防護系統分析與應用技術【摘要】：電子郵件方便、快捷、低成本的特性使得它已經成為Intemet上使用最廣泛的應用之一,并日益成為人們工作、生活必不可少的通信工具。隨之而來的是近年來垃圾郵件的日趨泛濫給電子郵件系統和用戶帶來了嚴重的危害甚至損失。針對垃圾郵件的問題,研究者提出了許多技術來達到反垃圾郵件的目的。本文介紹了垃圾郵件的定義，分類，危害和來源。分析了電子郵件的工作原理，闡述了防范垃圾郵件的幾種方式及其優缺點，著重對ASS華碩防垃圾郵件先鋒技術進行了分析.最后分析了過濾技術面臨的挑戰并指出垃圾郵件過濾的發展趨勢.。關鍵字：電子郵件防護郵件過濾技術應用技術一．垃圾郵件的定義垃圾郵件指未經請求而大量發送的電子郵件。這類郵件通常提供商業性質的產品或服務,或進行某種形式的宣傳,并通過大量的郵件地址列表進行發送。部分垃圾郵件是進行網上欺騙、散播病毒和含有侵犯性、不健康內容的工具。垃圾郵件不包含經過用戶同意的商業性質的郵件,或是發件人向保持著“現存商業關系”的收件人發送的電子郵件。垃圾郵件主要來源于匿名轉發服務器、匿名代理服務器、一次性帳戶、僵尸主機四個方面。垃圾郵件具有以下特點:未經收件人同意或允許;郵件發送數量大;具有明顯的商業目的或欺騙性目的;非法的郵件地址收集;隱藏發件人身份、地址、標題等信息;含有虛假的、誤導性的或欺騙性的信息;非法的傳遞途徑。二．垃圾郵件的分類垃圾郵件從內容上看，大部分是廣告性質的郵件；另外也包括部分政治，團體組織的宣傳郵件。根據上海艾瑞市場咨詢公司調研統計中國垃圾郵件的狀況，用戶收到的垃圾郵件主要由網上購物、IT產品推銷、網上賺錢、情趣用品、訂房/訂票/旅游、政治相關、銷售商業數據、色情暴力相關及其他類別組成，如圖1-1所示。其中網上購物、IT產品推銷和網上賺錢占前三位，分別占18.6%,13.4%,12.2%。接著是情趣用品、訂房/訂票/旅游、政治相關、銷售商業數據、色情暴力，它們比例相差不大，在8%-10%左右。圖1-1垃圾郵件類別分布比例另外從郵件的發送形式上看，垃圾郵件可以分為直接發送和第三方轉發兩種。所謂直接發送，就是郵件的發送者使用自己的服務器，IP地址，自己的網絡資源傳送這些郵件。對于接收者來說，如果長期被動地收到這樣的垃圾郵件，可以采取過濾該IP地址的辦法或者根據郵件內容特征過濾的方法；但如果只是偶爾收到，就很難找到有效的方法了。由于使用直接發送的方式，郵件發送人的真實情況很容易被查出來，因此也很少有人使用。目前使用更多的方式是第三方服務器轉發。當然大多都是未經該服務器管理員同意情況下使用的。正如前文所述，由于歷史的原因，Internet上有很多服務器可以轉發第三方郵件。對于這種垃圾郵件，則需要提醒一些粗心的郵件服務供應商關閉相關服務器的轉發功能。三．垃圾郵件的危害垃圾郵件,不僅擾亂我們的生活、浪費我們的時間,更帶來眾多惡意軟件與病毒的威脅。根據Ferri研究中心統計預測,在2008年將有近40萬億的垃圾郵件被發送,從而進一步導致近140億美元的利益受損。而在2007年,這一數字分別為18萬億垃圾郵件和30億美元。垃圾郵件的數量與其造成的危害程度增長之快,令人吃驚。垃圾郵件的急速增長大致歸于兩點原因:低成本和易于匿名。發送10萬封電子郵件的成本低于200美圓,花100美圓就可以買到100萬個郵件地址列表。一個業余的郵件廣告人只需要一臺普通的電腦,一個Intemet帳戶加上一個免費的郵件客戶端軟件就足夠了。更為專業一點的,投資幾百美圓就可以買到專門的應用軟件,每小時可以發送25萬個郵件,并且自動偽裝了郵件的信頭;并且還可以不斷的從互聯網上截獲郵件地址。由于低廉的成本,即使只有很少很少的部分得到了反饋,就足以支付這些費用了,比起昂貴的其它方式的廣告自然很劃算。然而,事實上成本低只是針對于那些用郵件做廣告的人,其他的成本由ISP和收件人承擔了。在中國,隨著國內的互聯網高速的發展,從中國發向全世界的垃圾郵件也越來越多。中國成為了僅次于美國的第二大垃圾郵件生產國。垃圾郵件對企業和個人都有很大的危害作用。圖2-1垃圾郵件對企業的影響圖2-2垃圾郵件對個人的影響圖2-1顯示了垃圾郵件對企業的影響。傳播病毒(17.88%)、浪費時間(17.70%)和浪費資源(14.03%)是企業用戶認為垃圾郵件造成的主要影響,共占接近一半的49.61%。據CAUCE組織統計,消除垃圾郵件可為全世界小型企業和個人每年節省940萬美元。其次,從個人用戶來看,垃圾郵件浪費了人們的大量時間。一般人們需要至少10秒鐘時間來判斷是否為垃圾郵件,如果每天收到幾十份垃圾郵件,就得花大約十分鐘的時間來處理它們,實在是比較痛苦的事情。不少的垃圾郵件還包含了詐騙等信息,誘使用戶上當受騙,造成經濟上的損失。圖2-2顯示了垃圾郵件對個人的影響。浪費時間(24.86%)和傳播病毒(21.89%)是個人用戶認為垃圾郵件造成的主要影響。電子郵件的工作原理電子郵件與普通郵件有類似的地方,發信者注明收件人的姓名與地址(即郵件地址),發送方服務器通過簡單郵件傳輸協議一一SMTP(simpleMailTransferProtocol)協議把郵件傳到收件方服務器,收件方服務器再把電子郵件投遞到收件人的郵箱中。電子郵件的傳輸過程如圖4-1所示:圖4-1電子郵件傳輸示意圖在電子郵件傳輸的過程中,將會涉及到以下幾個角色:USER:電子郵件的使用者。USER可以是一個人,也可以是一段在計算機上運行的程序。MUA:MailuserAgent,郵件用戶代理。MUA是幫助用戶讀、寫郵件的代理,比如Outlook軟件。在電子郵件系統中,用戶只與MUA交互。.MTA:MailTransportAgent,郵件傳輸代理。MTA的作用類似于郵局,負責把郵件由一個服務器傳送到另一個服務器或者傳送到另一個郵件投遞代理。常用的MTA有Qmail、Postfix和Sendmail等等。.MDA:MailDeliveryAgent,郵件投遞代理。MDA把電子郵件投遞到用戶的郵箱里。使用代理的電子郵件的整個傳輸過程如圖4-2所示。用戶通過MUA撰寫好電子郵件,交給發送方MTA。發送方MTA通過中繼將郵件傳遞給接收方的MTA。中繼方MTA可以沒有,也可以有多個。MTA與MTA之間使用SMTP協議存儲轉發郵件。如果下游的服務器暫時不可用,MDA就暫時將電子郵件保存在緩沖隊列中,并在以后嘗試再次發送。接收方MTA收到郵件后通過MDA將郵件投遞到用戶的郵箱中,完成郵件的投遞過程。圖4-2電子郵件的收發過程五．垃圾郵件防護方法1.黑、白名單：優點：簡單、攔截效率高缺點：過濾效果不佳這是市面上幾乎所有垃圾郵件廠商都有提供的功能。「黑名單」是指一個事先建立的郵件名單，凡是列入名單上的信件來源，將會被排除在郵件服務器之外。目前在黑名單技術上最受重視的是RBL（Real-timeBlackholeList，實時黑名單）技術。通常該技術是通過DNS方式（查詢和區域傳輸）實現的。實時黑名單實際上是一個可供查詢的IP地址列表，通過DNS的查詢方式來查找一個IP地址的記錄是否存在，來判斷其是否被列入了該實時黑名單中。但是，當篩選排除名單的范圍日益擴大時，往往會將一些無辜的電子郵件一并當作垃圾郵件處理，于是又有了所謂「白名單」的出現。相較于黑名單列出的非法信件來源，白名單當中列出的則是合法的信件來源，某些功能完備的電子郵件軟件也提供使用者自建黑、白名單的功能。2.關鍵詞篩選：優點：設定容易、攔截率高缺點：后續維護不易、誤判率高這也是目前市面上幾乎所有垃圾郵件防制廠商都有采用的一種方式。對于郵件特定內容的過濾以設定關鍵詞的方式進行，只要出現這些字眼就一律進行攔阻。這是目前最常見的郵件過濾方式，例如凡是填有「色情」、「報表」等字眼，則一律攔阻，并通知管理者。這種方式在處理上比較簡單，并不會對原先的電子郵件遞送速度造成太大影響。這種作法的缺點，就是管理者及使用者都必須在訂定規則上投入相當的時間精力，并且每隔一段時間就必須重新審視規則的適當性，才能維持垃圾信過濾的質量。另外，就是會有誤判的可能。因此一些軟件廠商的作法就是另外設置另一信匣，例如廣告信匣，將系統判斷為垃圾郵件的信先集中放入此信件匣，待使用者確認后才刪除，以降低誤判的風險。3.自動語意分析優點：可針對特定種類的垃圾郵件進行攔截缺點：精確性低，需輔助其它技術輔助，并需事先建立類型樣本。企業可以預設幾種分析的結果類型，例如「機密文件類」、「色情類」或是「發財推銷類」等等。然后必須先提供足夠數量的各類型樣本，讓系統分析學習并建立模式，透過分析樣本的訓練，日后電子郵件過濾系統將會自動判斷。采用這類技術，企業可以設定多組不同過濾目標，并且誤判或漏失的機會較低。像Hotmail的「SmartScreenTechnology」機制，判斷追蹤標準是由數以萬計的Hotmail會員自愿幫助分類合法郵件與垃圾信件，并累積至超過50萬筆垃圾郵件特征可供追蹤比對。在這么多的郵件樣本訓練之下，誤判的機率將會大為降低。4.各類的經驗法則優點：簡單容易設定缺點：攔阻率低、只能作為輔助根據一些長期防制垃圾郵件的經驗，郵件服務商常常可以綜合出一些垃圾郵件或非垃圾郵件的共同特征，例如：偽造寄件人：SMTP命令里面的MailFrom（技術上稱為EnvelopeFrom）和信件內里面的From不一致，或寄件人的email不是真實存在的email，就有很有可能是垃圾郵件。信件大小：垃圾信發送者因為要在最短時間發送最多郵件，所以會盡量降低每封信件的大小。所以一般來說當某封電子郵件的大小大于某個值的時候，通常是正常的信件。信體內容帶有特殊的HTMLtag為了嵌入更多的內容和script，垃圾郵件往往會使用一些一般郵件不會使用的HTMLtag，如iframe,frameset,object等。發送時間超過目前時間：有些垃圾郵件為了在客戶端保持最前端的位置，會將發送時間強行修改到一個未來的時間，例如2006年1月1日。5.貝式分析過濾（BayesianFiltering）優點：攔截率高、誤判率低缺點：系統必須預先接受訓練BayesianFiltering是最近相當熱門的垃圾郵件防制技術，也有許多公司采用，其特征是從信件中內含的文字作判定。一開始系統會先準備兩組郵件樣本，一組是垃圾郵件另一組則是正常郵件，系統會先試著分析這兩組樣本中包含的文字，計算出各文字出現的比率。譬如「致富」在百分之八十的垃圾郵件中出現，而「請問」則只有出現在百分之五的垃圾郵件。當收到電子郵件時，系統會找出十五到二十多個在兩組樣本郵件中出現頻率最高的文字，然后再運算評估這封信為垃圾郵件的可能性。由于BayesianFiltering將非法與合法的郵件一同列入分析，因此能夠降低誤判的機率。BayesianFiltering的效果相當優秀，不但攔截率高而且誤判率低，但在過濾夾雜正常內容的垃圾信時效果較差，而系統也必須事先加以訓練才能使用。6.許可清單過濾（Challenge-ResponseFiltering）優點：攔截率高缺點：對寄件者造成困擾、影響時效性當使用者收到一封電子郵件，是來自從未接觸過的寄件人，系統會自動回復一封電子郵件給寄件來源，請寄件人先至某一網址填寫窗體，或是詢問收件人是否愿意接收這封電子郵件，然后郵件才會被傳送到收件人信箱。這種方式在美國已經有公司實際采用這項技術。實際使用的結果，確實是將收到的垃圾信大幅降低，但同時也提升了收件人與寄件人的負擔。有時當寄件人不愿進行確認的手續，使用者將無法接觸到某些潛在的重要郵件。當收到偽造寄件人的垃圾郵件時，也會帶來額外的困擾，甚至造成另一次的垃圾郵件干擾。還有一個比較嚴重的問題就是時效性。假如寄件者寄出一封必須立刻處理的電子郵件給使用者之后就離開計算機，那么他將無法進行后續的確認動作，而使用者也將無法及時獲得迫切的信息。另外這種方式也經常搭配像是HIP（HumanInteractiveProof）的技術，以避免遭到自動確認的破解。定義碼比對過濾（Signature-BasedFiltering）優點：誤判率低缺點：攔截率低垃圾郵件防制廠商會利用一些偽造的電子郵件地址不斷收集各式各樣的垃圾郵件，然后持續綜合出一些特征進行分析比對。當系統判斷某封電子郵件符合垃圾信的特征，那么這封郵件將會被排除在外這種方式的優點是誤判率低，但相對應的卻是低攔截率。當發現到垃圾信件被攔截的時后，垃圾郵件發送者應對的手法則是將正常的文字夾雜在廣告當中。有時我們會在廣告信中看到一些無意義的字眼，就是發送者用來規避的手段，也造成這種過濾方式的效果不佳。應用實例——ASS華碩防垃圾郵件先鋒技術1.ASS是企業郵箱的防火墻，將互聯網上的垃圾郵件、病毒郵件、釣魚郵件、DOS攻擊等惡意攻擊都阻絕在外，提供企業更全面而且完善的郵件安全防護，制造一個安全、干凈、高效的郵箱環境。2.ASS采用網關架構建置于郵件系統前端，可搭配市面上所有電子郵件系統，整合既有的郵箱帳號，讓管理者輕松導入防護系統，瞬間啟動最高防護效能。3.ASS提供簡單易用的Web接口及快速向導功能，使用者只需按照向導指引，三步輕松完成系統整合，以最低的成本打造最高效能的企業郵箱環境。4.華碩防垃圾郵件先鋒與全球知名Anti-Spam軟件開發商Openfind合作，搭配已獲全球知名大廠認可采用的內容分析核心及行為分析引擎，并擁有強大中英文信內容過濾機制為企業建構實時、安全之「雙核心郵件防護系統」。5.ASS為了提高廣告信判斷的效率、降低系統資源與寬帶的消耗，ASS在SMTP聯機的階段就可以直接阻擋大量的廣告信。即使是在內文格式檢查的階段，只要ASS比對黑白名單、確認信件是廣告信或是正常信之后，就會直接跳出過濾的流程，將信傳送給后方的郵件主機，而不需繼續往下通過重重的過濾機制。6.ASS內建多層式過濾核心引擎，透過系統完整的防護功能可有效防阻垃圾信件，獨特大量信息比對技術更可在巨量信件傳輸情況下，不影響正常信件收發。ASS產品流程圖以下為ASS的過濾流程圖6.1.SMTP實時聯機防制機制華碩防垃圾郵件先鋒依照垃圾信寄信行為，開發SMTP實時聯機防制機制，例如：DynamicIP、IP黑名單、來源網域黑名單、RBL黑名單、非本系統收件人等異常信件，皆可于SMTP聯機階段直接判斷處理，不用等到垃圾信件內容全部進入系統后才能進行內容比對。根據測試，SMTP防制機制可在第一時間自動偵測并過濾60%以上的不正常聯機，不讓非法信件占用系統寬帶與服務器儲存空間，大幅節省寬帶與硬件投資費用。6.2.DOS(DenialofService)攻擊防護機制阻斷服務（DenialofService，簡稱DOS）是郵件服務器最容易遇到的攻擊方式之一。某些有心人士會在短時間內產生大量聯機，讓郵件服務器無法實時處理。使用者可能會發現郵件服務器的收發信速度非常慢，甚至會無法聯機，最后造成正常的使用者無法使用郵件服務。為了維持系統穩定運作，ASS提供了DOS攻擊防護功能，在SMTP收信端可依單位時間內的「聯機頻率」、「聯機次數」或「同時聯機數」，實時阻擋不正當的發信來源，減少垃圾信進入與攻擊行為。范例：如果在600秒內聯機超過200次，則拒絕聯機3600秒，或是如果在1800秒內有50個錯誤收件人，則拒絕聯機3600秒，可依貴單位實際需求進行彈性調整。6.3.彈性的帳號整合認證基于ASS與后方的郵件主機均屬于同一電子郵件系統的考慮，雙方是共同運作且緊密相連的，因此ASS在收到每封信時，都必須先確認收件人是否為后方郵件主機上的合法帳號，若否將會直接拒收，避免無人收取的信件進入系統占用資源并且影響系統安全。6.4.多層式內容過濾機制多層式內容過濾機制主要是針對信件的內文作判斷過濾，涵蓋高效能黑白名單、智能型大量網址數據庫、貝式自動學習數據庫、精確與模糊內容過濾、關鍵詞相關比對等多層次過濾功能，黑白名單比對核心采用自行研發之巨量黑白名單比對核心模塊，并非使用一般SQL數據庫，即使在巨量規模(例如:數百萬規模之詞條)情況下仍有極佳的效能。ASS的多層式過濾流程與SMTP標準傳輸協議緊密相連。SMTPConnection是由一連串流程銜接而成，各流程間的順序是固定不可變動的，每個SMTP步驟都會受到ASS的嚴格檢控。以下是ASS多層式過濾與SMTP之間的對照：6.5.自動化樣本更新ASS每小時與ASSCentralServer做聯機，實時更新垃圾信特征。自動更新只針對原廠新更動的數據做同步更新，所以若管理者曾對同一數據庫做過設定，系統仍會保有管理者曾做過的更動，不會受到自動更新影響。進行自動更新時也不會影響ASS系統的運作，自動更新后管理者并不需重新開機或是進行其它的調整。自動更新樣本來自ASSCentralServer所管理的電子郵件信箱，每天處理的垃圾信數量平均都在百萬封以上，ASS便是以這些樣本作為垃圾信的特征來源，并且也安排專人維護垃圾信特征數據庫，以增加垃圾信特征之質量。6.6.垃圾信樣本學習機制ASS采用貝式過濾法為主要過濾機制，貝式過濾是目前公認判別率高且誤判低(小于千分之一)的內容過濾法。因應每個使用者對垃圾信的定義都不一樣，因此ASS提供多樣化的使用者回饋機制來降低系統的誤判率，使用者可透過ASSUserWebUI、轉寄或是通知信的方式回報系統誤判的信件。管理者可再自行收集或調整郵件主機，整理出例如：固定垃圾信來源、正常信件、外寄信件…等做為正常信及垃圾信樣本，用于定期訓練此模塊，短時間即可讓系統經自動學習而獲得八成的判別率。其自動及高效率的特性，相較于時下需設定詞匯分數及權重的自動分類系統來得更準確易用。結論ASS以Gateway方式建置于郵件系統前端，系統內建多樣化的垃圾信防制技術，在郵件收發流程中層層為電子郵件做守護，提供最高的防護效能：系統安全(Systemsecurity)：阻擋網絡攻擊?非法聯機入侵內容安全(Datasecurity)：病毒?垃圾郵件?不當內容防御信件過濾(Auditing)：配合公司政策?設定過濾關鍵詞報表與管理(Managementandanalysis):完整報表?輕松管理備援機制(Backup)：郵件主機備援機?避免遺漏重要信件七．過濾技術的發展趨勢由于當前郵件過濾技術還不很成熟,不僅會漏過一些垃圾郵件,還存在較高的將合法郵件誤判為垃圾郵件的“錯糾率”,而對于某些用戶來說,這些被阻擋的合法郵件可能十分重要,因此他們寧愿接收垃圾郵件也不愿收不到電子郵件.防止垃圾郵件,必須結合當前各種過濾技術,從服務器端、網關和客戶端幾方面入手,采取層層過濾的方法.在郵件服務器應該避免開放轉發,參考黑名單列表,支持關鍵詞、信件來源、目標地址和源地址的過濾,同時保證正常郵件到達的穩定性和實時性；在網關上應采用基于硬件的郵件過濾系統,設備安置在路由器和服務器之間,掃描進入的郵件,盡量將垃圾郵件擋在網絡之外,這樣即保證了網絡帶寬,又減少了服務器的壓力；客戶端是防垃圾郵件的最后一道防線,要徹底阻擋垃圾郵件,就必須在客戶端中加強過濾手段.未來客戶端郵件過濾器,應具有用戶個性化特征,應能自動抓捕新垃圾郵件標本,根據標本自動分析、建立、升級新的基于用戶個性的垃圾郵件特征代碼庫；可自動生成新的郵件過濾規則,自動攔截各種垃圾郵件；在郵件過濾出現錯誤或障礙時,能夠自動或手動及時補救；應能有效地管理垃圾郵件,包括對可疑信件進行閱讀、刪除,并能將可疑信件轉發給固定管理員。參考文獻：[1]HallRJ.CHANNELS.AvoidingUnwantedElectronicMail[M].CommunicationsofACM,March,1998.[2]楊峰,曹麒麟,段海星.基于DNSBlocklist的反垃圾郵件系統的設計與實現[J].計算機工程與應用,2003(7):11-12,45.[3]COHENW.W.LearningRulesthatClassifyE-Mail[A].InAAAISpringsymposiumonMachineLearningininformationaccess[C].Califormia:IOSpress,1996:18-25.[4]DIAOY.,LUH.,WUD.AComparativestudyofClassificationBasedPersonalE-MailFiltering[C].In:ProcofTheFourthPacific-AsiaConfonKnowledgeDiscoveryandDataMining,KeihannaPlaza,Kyoto,Japan,2000(4):18-20.[5]CARRERASX.,MARQUEZL.BoostingTreesforAnti-