阿里推薦算法測(cè)試方法共享事業(yè)部數(shù)據(jù)應(yīng)用--敏儀提綱背景介紹推薦算法測(cè)試方法AEC推薦算法測(cè)試平臺(tái)展望推薦業(yè)務(wù)介紹推薦業(yè)務(wù)介紹推薦算法框架介紹提綱背景介紹推薦算法測(cè)試方法AEC推薦算法測(cè)試平臺(tái)展望優(yōu)秀推薦算法評(píng)測(cè)維度用戶賣家網(wǎng)站挑戰(zhàn)：感性判斷到指標(biāo)量化高質(zhì)量、感興趣的商品大多數(shù)賣家用戶反饋、促進(jìn)成交常見推薦算法測(cè)試方法離線實(shí)驗(yàn)用戶調(diào)查在線實(shí)驗(yàn)在離線數(shù)據(jù)集上通過離線指標(biāo)預(yù)測(cè)算法推薦效果通過真實(shí)用戶調(diào)查給出主觀感受結(jié)果通過線上AB測(cè)試得到商業(yè)上關(guān)注的指標(biāo)離線實(shí)驗(yàn)用戶調(diào)查在線實(shí)驗(yàn)離線實(shí)驗(yàn)用戶調(diào)查在線實(shí)驗(yàn)阿里推薦算法測(cè)試方法介紹測(cè)試報(bào)告上線說明算法正確性測(cè)試規(guī)則掃描白盒測(cè)試JOB監(jiān)控?cái)?shù)據(jù)規(guī)則字段記錄單表表間MR單元測(cè)試MR集成測(cè)試MR性能測(cè)試業(yè)務(wù)規(guī)則業(yè)務(wù)過濾

一致性JOB性能JOB配置JOB報(bào)警算法結(jié)果集算法邏輯算法穩(wěn)定性算法合理性測(cè)試失效率UV失效率、PV失效率2468覆蓋率UV覆蓋率、PV覆蓋率多樣性類目多樣性、分散度、推薦結(jié)果多樣分布、基尼系數(shù)準(zhǔn)確率、召回率

類目準(zhǔn)確率、類目召回率商品準(zhǔn)確率、商品召回率共現(xiàn)度數(shù)據(jù)源比例、商品類型比例新穎性推薦對(duì)象更新率、推薦結(jié)果更新率排序質(zhì)量DCG、NDCG時(shí)效性用戶實(shí)時(shí)行為比率1357合理性指標(biāo)構(gòu)建合理性指標(biāo)案例1失效率LOST

失效率衍生定義推薦算法無法為用戶提供推薦數(shù)據(jù)占推薦全集的占比

指標(biāo)描述及定義

統(tǒng)計(jì)計(jì)算方式腳本化

建立指標(biāo)場景化基線指標(biāo)構(gòu)建的四個(gè)過程指標(biāo)構(gòu)建過程案例說明

指標(biāo)定義衍生指標(biāo)實(shí)現(xiàn)失效率基線UV失效率、PV失效率Shell+HIVE腳本實(shí)現(xiàn)指標(biāo)計(jì)算過程LOST=2.63%算法測(cè)試指標(biāo)案例合理性指標(biāo)構(gòu)建合理性指標(biāo)案例2

多樣性D(c)

多樣性衍生定義表示推薦算法的N條數(shù)據(jù)中，數(shù)據(jù)擁有的某一屬性的個(gè)數(shù)，統(tǒng)計(jì)各屬性個(gè)數(shù)在全部N條數(shù)據(jù)中的比例。

指標(biāo)描述及定義

統(tǒng)計(jì)計(jì)算方式腳本化

建立指標(biāo)場景化基線指標(biāo)構(gòu)建的四個(gè)過程指標(biāo)構(gòu)建過程案例說明

指標(biāo)定義衍生指標(biāo)實(shí)現(xiàn)多樣性基線類目多樣性、分散度、基尼系數(shù)等Shell+HIVE腳本實(shí)現(xiàn)指標(biāo)計(jì)算過程某場景的類目多樣性算法測(cè)試指標(biāo)案例算法測(cè)試體系構(gòu)建基于用戶的推薦基于商品的推薦基于內(nèi)容的推薦基于事件的推薦基于LBS的推薦算法測(cè)試體系案例：基于商品的推薦算法測(cè)試體系提綱背景介紹推薦算法測(cè)試方法AEC推薦算法測(cè)試平臺(tái)展望創(chuàng)建測(cè)試腳本構(gòu)建測(cè)試任務(wù)發(fā)送測(cè)試報(bào)告沉淀測(cè)試場景模版生成

ODPSSQL生成路徑創(chuàng)建通過測(cè)試腳本創(chuàng)建通過測(cè)試體系創(chuàng)建通過測(cè)試場景創(chuàng)建添加指標(biāo)模版添加算法測(cè)試數(shù)據(jù)添加算法測(cè)試體系A(chǔ)EC平臺(tái)功能介紹平臺(tái)使用者平臺(tái)管理員AEC平臺(tái)主要功能展示AEC平臺(tái)特點(diǎn)介紹標(biāo)準(zhǔn)化的算法測(cè)試方法

引導(dǎo)測(cè)試過程，沉淀測(cè)試結(jié)果規(guī)范化算法測(cè)試數(shù)據(jù)跨平臺(tái)調(diào)度執(zhí)行4123開放共建算法測(cè)試方法5提綱背景介紹推薦算法測(cè)試方法推薦算法測(cè)試平臺(tái)（AEC）展望測(cè)試深度平臺(tái)化大數(shù)據(jù)算法服務(wù)化Onlinelearning機(jī)器學(xué)習(xí)算法測(cè)試方法