項目方式講解WAF建設

l

需求l

方案設計l

技術實現

WAF基礎功能

WAF擴展功能

WAF運營后臺

功能和性能測試l

經驗總結

需求

?擴容，商業盒子產品必然會面臨的問題

；?擴展，商業WAF產品通常只具備傳統web安全防御能力，很難與其他安全產品有效聯動、形成合力

我們遇到了哪些問題？商業產品的擴容、擴展問題安全團隊能力輸出，內部的影響力擴容：業務體量增加，解決擴容問題外部的安全品牌建設擴展：業務風控提前，與風控、反欺詐系統聯動真實的需求是什么？隱性需求業務上需求真實需求

方案設計

WAF產品功能組成與風控和反欺詐系統聯動CC防御、反爬蟲和會話分析數據分析、情報數據傳統WEB安全防御報表、日志、健康狀況管理數據分析平臺管理、告警查詢配置管理、規則管理WAF的運營平臺WAF的擴展功能WAF的基礎功能

WAF的基礎功能WAF的運營后臺NGWAF廠商商業WAFLua-resty-wafWAF的擴展功能modsecurity云WAF產品云WAF產品CloudFlareNGWAF廠商NGWAF廠商

數據總線（消息隊列）流處理服務（WAF擴展功能）拿

拿

拿

拿 計數服務會話分析業務安全接入

數據分析服務傳統web安全防御!流量接入調度設計–框架和數據流圖狀態系

統業務系統請求流量

231技術實現

配置服務器timer

同步規則服務器寫入執行流程1.利用nginx(openresty

)

，解析流量2.配置信息、規則、黑白名單由運營后臺同步到redis3.利用LUA在各個執行階段分段處理①在init-worker階段定時同步redis數據②在access階段執行規則判定和動作執行③在header階段將sessionid寫入cookie

，以便后續流程的多維分析④在body階段執行敏感數據過濾⑤在log階段完成日志的輸出WAF基礎功能vs商業WAF產品WAF基礎功能規則執行消息隊列白黑名單過濾狀態系統查詢告警日志輸出

規則

pushpull

Redis規則集合pulll

規則來源①

Modsecurity規則集提取②

商業WAF規則③

宜人貸自積累的行業內規則WAF基礎功能

-規則推送l

規則推送①

規則評估②

Timer執行③

Redis寫入運營后臺流處理服務LUA模塊規則評估規則線下生成

l

規則執行效率①

systemtap-toolkit工具調優正則②

先匹配字符串，匹配后再執行正則匹配WAF基礎功能

-規則優化

計數服務會話分析服務數據分析服務業務安全接入情報數據服務WAF擴展功能

-流處理服務流處理服務

（

Flink

+

CEP）采用流計算方案-實時消費消息隊列

對接各個微服務-擴展性消息隊列狀態系統查詢規則服務器配置服務器

傳統WAFvsWAF擴展WAF擴展功能

-

為什么選擇Flink？1、純流式系統2、高吞吐3、內置CEP復雜事件規則引擎

①

布隆算法是一種高效利用空間的概率數據結構，用于檢測一個元素是否屬于一個集合；②

優點：實現簡單，占用空間小，速度極快③

缺點：有一定的誤差WAF擴展功能

-計數服務l標準Bloom

Filter&Counting

Bloom

Filter

狀態系統

獲取or生成SIDSID狀態寫入

按SID做狀態查詢

LUA模塊

流處理服務

SID寫入會話標識消費會話分析①

SID合法性校驗②

指定域名的上下文分析③

相同SID下的基礎安全規則觸碰次數④

Session封禁，不傷IPWAF擴展功能–會話分析會話分析消息隊列序列分析計數服務

會話分析

流處理服務

l

業務安全提前做，觸碰如下規則寫入狀態系統，為后續業務風控提前準備數據①

請求IP的情報信息②

請求IPor設備指紋的請求頻率計數③

請求IPor設備指紋的訪問時段規則

WAF擴展功能–狀態系統識別生成對外輸出數據分析平臺泛安全系統狀態系統情報數據服務計數服務系統健康狀況監控多級配置，靈活降級域名接入，規則管理告警查詢，報表輸出運營后臺

告警日志寫入告警日志寫入運營后臺日志和告警日志處理服務KAFKA流處理服務健康狀況查詢LUA模塊告警查詢報表查詢告警日志

狀態日志

功能和性能測試延時CPU負載30條規則測試50條規則測試無規則測試經驗總結

l

安全團隊，特別是中小互聯網公司的安全團隊，在研發安全產品的過程中需要規避一些問題：①

產品化，一個拿到生產環境使用的產品，健壯性、易用性、擴展性缺一不可②

項目制，分工明確，有計劃，這往往是大多安全團隊比業務研發團隊欠缺的③

好產品是迭代出來的，要抗的住壓力，耐得住寂寞④

需要充分的需求分析、設計、評審⑤

需要足夠多的測試⑥

需要具備產品、研發、數據分析、安全運營能力⑦

創造比破壞困難的多

團隊①

寧漏報不誤攔，影響業務的鍋背不起②

規則的數量和復雜程度影響到nginx的性能，規則和性能需要達到一種平衡③

WAF屬于典型的CPU密集型系統，95%的攔截發在在10%的規則上面，重點規則需要重點優化④

規則和業務匹