1、阿里推薦算法測試方法共享事業部數據應用-敏儀提綱 背景介紹 推薦算法測試方法 AEC推薦算法測試平臺 展望推薦業務介紹推薦業務介紹推薦算法框架介紹提綱 背景介紹 推薦算法測試方法 AEC推薦算法測試平臺 展望優秀推薦算法評測維度用戶用戶賣家賣家網站網站挑戰：感性判斷到指標量化挑戰：感性判斷到指標量化高高質質量、感量、感興興趣的商品趣的商品大多大多數賣數賣家家用用戶戶反反饋饋、促、促進進成交成交常見推薦算法測試方法離線實驗離線實驗用戶調查用戶調查在線實驗在線實驗在離線數據集上通過離線指標預測算在離線數據集上通過離線指標預測算法推薦效果法推薦效果通過真實用戶調查給出主觀感受結果通過真實用戶調查給出

2、主觀感受結果通過線上通過線上AB測試得到商業上關注的測試得到商業上關注的指標指標離線實驗離線實驗用戶調查用戶調查在線實驗在線實驗離線離線實驗實驗用戶用戶調查調查在線在線實驗實驗阿里推薦算法測試方法介紹測試報告上線說明算法正確性測試規則掃描規則掃描白盒測試白盒測試JOB監控監控數據規則數據規則1.字段字段2.記錄記錄3.單表單表4.表間表間1.MR單元測試單元測試2.MR集成測試集成測試3.MR性能測試性能測試業務規則業務規則1.業務過濾業務過濾 2.一致性一致性1.JOB性能性能2.JOB配置配置3.JOB報警報警算法結果集算法邏輯算法穩定性算法合理性測試失效率UV失效率、PV失效率2468覆

3、蓋率 UV覆蓋率、PV覆蓋率多樣性類目多樣性、分散度、推薦結果多樣分布、基尼系數準確率、召回率 類目準確率、類目召回率 商品準確率、商品召回率共現度數據源比例、商品類型比例新穎性推薦對象更新率、推薦結果更新率排序質量DCG、NDCG時效性用戶實時行為比率1357合理性指標構建合理性指標構建合理性指標案例合理性指標案例 1 失效率LOST 失效率衍生定義推薦算法無法為用戶提供推薦數據占推薦全集的占比 指標描述及定義指標描述及定義 統計計算方式腳本化統計計算方式腳本化 建立指標場景化基線建立指標場景化基線 指標構建的四個過程指標構建的四個過程 指標構建過程案例說明指標構建過程案例說明 指標定義衍生

4、指標定義衍生指標實現 失效率基線UV失效率、PV失效率Shell+HIVE腳本實現指標計算過程LOST=2.63%算法測試指標案例合理性指標構建合理性指標構建合理性指標案例合理性指標案例 2 多樣性D(c) 多樣性衍生定義表示推薦算法的N條數據中，數據擁有的某一屬性的個數，統計各屬性個數在全部N條數據中的比例。 指標描述及定義指標描述及定義 統計計算方式腳本化統計計算方式腳本化 建立指標場景化基線建立指標場景化基線 指標構建的四個過程指標構建的四個過程 指標構建過程案例說明指標構建過程案例說明 指標定義衍生指標定義衍生指標實現 多樣性基線類目多樣性、分散度、基尼系數等Shell+HIVE腳本實

5、現指標計算過程某場景的類目多樣性算法測試指標案例算法測試體系構建基于用戶的推薦基于商品的推薦基于內容的推薦基于事件的推薦基于LBS的推薦算法測試體系案例：基于商品的推薦算法測試體系提綱 背景介紹 推薦算法測試方法 AEC推薦算法測試平臺 展望創建測試腳本構建測試任務發送測試報告沉淀測試場景模版生成 ODPSSQL生成 路徑創建通過測試腳本創建通過測試體系創建通過測試場景創建添加指標模版添加算法測試數據添加算法測試體系AEC平臺功能介紹平臺使用者平臺使用者平臺管理員平臺管理員AEC平臺主要功能展示AEC平臺特點介紹標準化的算法測試方法標準化的算法測試方法 引導測試過程，沉淀測試結果引導測試過程，沉淀測試結果規范化算法測試數據規范化算法測試數據跨平臺調度執行跨平臺調度執行4123開放共建算法測試方法開放共建算法測試方法5提綱 背景介紹 推薦算法測試方法 推薦算法測試平臺（AEC） 展望測試深度平臺化大數據大數據算