1、會計學1織云織云Metis時間序列異常檢測全方位解析時間序列異常檢測全方位解析n樣本庫建設與管理在線2.8億月活8.05億SNG服務器20w+社交類指標240w+形態各異準確率低維護成本高算法和機器學習的新思路是否可應用？n樣本庫建設與管理回歸基于實例正則化貝葉斯聚類基于核關聯規則決策樹深度學習數值型預測0/1型預測概率型預測等 基于正態分布的假設 基于弱平穩性的假設 基于趨勢性，周期性時間序列的統計算法 正負樣本不均衡 正負樣本不全面 負樣本稀少，難以獲取分類問題（只用有監督算法） 使用統計判別和無監督算法過濾掉大量正樣本 人工標注正負樣本 有監督算法提升精準度解決方案（無監督+有監督）l離

2、線模塊數據存儲統計算法&無監督算法輸出疑似異常樣本庫（人工標注）特征工程（離線計算）有監督算法（離線計算）數據提取統計算法&無監督算法輸出疑似異常加載有監督模型特征工程（實時計算）有監督算法（輸出異常）l在線模塊lABTest模塊人工審核Atest（實驗模型A）Btest（實驗模型B）數據提取 以當前時刻為標準 七天前后三小時 + 昨天前后三小時 + 今天前三小時Grubbs 3sigma原理控制圖 移動平均算法 指數移動平均算法l3sigma算法與控制圖算法的優缺點l無監督學習算法的優缺點數據提取 以當前時刻為標準 七天前后三小時 + 昨天前后三小時 + 今天前三小時孤立森林 可以從多維特征

3、中尋找異常點SVM 使用超平面的思想來進行異常/正常的區分RNN 使用神經網絡的誤差來進行異常判斷Isolation Forest 屬于無監督算法 集成學習的思想 適用于連續數據的異常檢測 通過多顆 iTree 形成森林來判斷是否異常One Class SVM 屬于無監督算法 使用了超平面的思想 適用于連續數據的異常檢測 適用于對樣本進行一定比例的篩選 尋找高維平面區分正常點與異常點Replicator Neural Network屬于無監督算法需要構造必要的特征使用了神經網絡的思想適用于連續數據的異常檢測尋找神經網絡的誤差來區分正常點與異常點有監督算法 Linear Regression/L

4、ogistic Regression Decision Tree/Nave Bayes Random Forest/GBDT/xgboostl有監督算法能解決的問題n樣本庫建設與管理l特征是數據中抽取出來的對結果預測有用的信息。l特征工程包含了特征提取、特征構建、特征選擇特征提取、特征構建、特征選擇等模塊樣本初始特征分布情況特征監控樣本分析全流程特征分析參數分析誤差分析特征有效性分析離散化離群點分布共線性缺省值去均值歸一化特征有效性分析特征選擇特征組合與轉換模型調優更新模型因子化相關性缺省值因子化連續特征離散特征標準化統計特征 最大值，最小值，值域 最小值位置、最大值位置 均值，中位數 平方和

5、，重復值 方差，偏度，峰度 同比，環比，周期性 自相關系數，變異系數擬合特征 移動平均算法 帶權重的移動平均算法 指數移動平均算法 二次指數移動平均算法 三次指數移動平均算法 奇異值分解算法 自回歸算法 深度學習算法分類特征 熵特征 值分布特征 小波分析特征統計特征最大值，最小值，值域 最小值位置、最大值位置均值，中位數 平方和，重復值方差，偏度，峰度同比，環比，周期性自相關系數，變異系數擬合特征移動平均算法帶權重的移動平均算法指數移動平均算法二次指數移動平均算法三次指數移動平均算法奇異值分解算法自回歸算法深度學習算法分類特征熵特征值分布特征小波分析特征聚類Kmeans分類器1. 輸出異常視圖

6、到前端頁面2. 人工確認是否真的異常，假異常則校正3. 后臺根據人工校正的結果，存下校正后的所有結果：正常記為1，異常記為0n樣本庫管理樣本是核心價值樣本的豐富程度制約檢測效果格式、長度、標簽（分類、正負）、時間戳、標志、來源樣本查看：權限、類別、業務維度等樣本查找：字段檢索、相似度檢索、時間片檢索樣本分類：標記、算法分類等訓練、提取、偽裝、構造、分類、l樣本的積累貫穿機器學習的始終功能集合北向串聯通用規范價值積累功能應用樣本庫存儲正負來源窗口類別A類別B類別CCRUD提取分類查找添加偽裝構造訓練模型離線打標特征分析算法調參樣本庫管理Action層：觸發功能與樣本數據的交互DAO層：封裝與數據

7、進行聯絡的任務，無業務邏輯顯著提升應用效率和數據規范Service層：功能模塊的邏輯應用實現數據層：根據樣本量選擇存儲；三級分類目前效果90%+80%+用少量模型覆蓋所有曲線，統計判別+無監督+有監督準確率計算方法：人工抽查，查看告警出來的時間序列和時間點是否準確輔助工具：打標工程召回率計算方法：人工從業務中選擇一批異常的時間序列和相應的時間點，然后讓這批序列通過現有模型，看看是否被召回輔助工具：樣本庫管理n樣本庫建設與管理算法學件場景數據決策分層明細騰訊織云AIOps應用實踐時間序列異常檢測集群智能負載均衡容量分析與預測多維根因分析生死指標監控學件N學件學件學件學件學件組合學件學件學件學件學

8、件組合學件學件學件學件學件組合自動擴縮容決策直播多維根因分析更多運維場景學件庫容量分析與預測平衡木灰度上線變更體檢時間序列異常檢測生死指標監控DLP平衡木資源權限pkg配置文件腳本流程引擎監控自動擴容縮容綠色表示運維場景藍色表示自動化工具黑色表示智能化學件 基于正態分布的假設 基于弱平穩性的假設 基于趨勢性，周期性時間序列的統計算法 正負樣本不均衡 正負樣本不全面 負樣本稀少，難以獲取分類問題（只用有監督算法） 使用統計判別和無監督算法過濾掉大量正樣本 人工標注正負樣本 有監督算法提升精準度解決方案（無監督+有監督）l離線模塊數據存儲統計算法&無監督算法輸出疑似異常樣本庫（人工標注）特征工程（離線計算）有監督算法（離線計算）數據提取統計算法&無監督算法輸出疑似異常加載有監督模型特征工程（實時計算）有監督算法（輸出異常）l在線模塊lABTest模塊人工審核Atest（實驗模型A）Btest（實驗模型B）數據提取 以當前時刻為標準 七天前后三小時 + 昨天前后三小時 + 今天前三小時Grubbs 3sigma原理控制圖 移動平均算法 指數移動平均算法l3sigma算法與控制圖算法的優缺點Isolation Forest 屬于無監督算法 集成學習的思想 適用于連續數據的異常檢測 通過多顆