深度學習開啟社交電商智能時代目錄社交電商個性化場景010203互聯網機器學習實踐互聯網深度學習的應用場景04未來的挑戰社交電商搜索WOT

2017QueryURL標注Page-RankBM25…特征_NWOT

201751P0.60.9100WOT

2017...E0.90.966WOT

2017…G0.80.775WOT

2017…F0.90.632WOT

2017…B0.20.65120…P0.60.8150…P0.50.750…ExcellentPerfectGoodFairBad排序問題機器學習問題推薦廣告搜索無處不在的個性化人工規則

vs.

機器學習（廣告

vs.

搜索

vs.

推薦）機器學習排序Pointwise排序問題轉化為多類分類問題或者回歸問題，相關度相同的為一類Pairwise排序問題轉化為二分類問題，由兩兩之間的偏序關系得到全局的排序Listwise直接對排序結果進行優化人工規則人工

vs

機器個性化離線預處理在線處理精確度換速度空間換速度機器學習個性化效率目錄社交電商個性化場景010203互聯網機器學習實踐互聯網深度學習的應用場景04未來的挑戰A B C D E F G標注B+E+A-C-D-標注B-A+B-C+B-D+C-E-D-E-E-A+訓練數據<Query,

Doc>

標注特征工程模型訓練 線上部署（&離線測試） （&A/B測試）正式部署機器學習工作流用戶查詢商品商家環境……關鍵詞匹配、價格匹配等品類匹配、購買力匹配等查詢量、轉 UV、PV、化率、品類 訂單量、分 轉化率用戶屬性、購買力、品類傾向當地溫度、污染指數、人口數量區域銷量、商品天氣匹配等店鋪評分、店鋪流量、店鋪評價特征工程-如何找特征用戶 隨機分流統計分析運營數據結果判讀決策可量化目標：分類準確率、NDCG、點擊率、轉化率、GMV假設試驗結論隨機對比測試（A/B測試）量化與A/B測試LogHbase數據獲取（實時行為&商品召回）用戶行為商品信息補全特征計算（uid|sid|cid|P-name交叉）線上實時排序曝光表&基礎數據表ModelHDFS推薦展位Decision召回模型離線訓練展示StormKafka樣本沉淀KafkaRedisL2R

PipelineLouppeG.Collaborativefiltering:ScalableapproachesusingrestrictedBoltzmannmachine[J].English,

2010.召回模型構建-RBM收集用戶行為，包括點擊、加購、關注、下單等對行為進行過濾，比如：join(白名單)、統計截斷、position-bias、多次加/刪購等處理制定行為評分規則，生成評分矩陣訓練矩陣分解模型導入緩存召回模型構建-評分矩陣行為評分瀏覽1次2.52瀏覽2次2.9瀏覽3次3.1瀏覽4-5次3.2瀏覽>5次3.3加入購物車1次3.9加入購物車2次4.1加入購物車>2次4.2購買1次4.7購買2次4.9購買>2次5.0打分之前必須要對數據進行清洗，去除“點擊狂人”、“用戶誤點”、“買后查單”等情況對非常活躍的用戶要對其行為進行降采樣評分規則召回模型構建-評分矩陣用戶特征商品特征環境特征模型訓練線上實驗數據清洗特征工程參數調優離線評測(正確率、召回率、NDCG)用戶實時行為用戶&商品畫像多模型召回商品離線特征計算在線特征計算排序A/B測試實時交互特征長期交互特征場景恢復用戶交互行為訓練樣本構建樣本標注進行標記：購買>購物車>關注>點擊>展示(購買力水平、長期偏好、性別、家庭屬性、品類、品牌、產品詞、修飾詞、銷量、點擊量、轉化率、瀏覽用戶量、下單用戶量等等特征）實時排序模型部署流程利用天氣API定位某地霧霾紅色預警，作為排序特征。當用戶瀏覽首頁時，猜你喜歡展位推薦空氣凈化器、口罩等商品：利用天氣API定位某地高溫橙色預警，作為排序特征。當用戶瀏覽首頁時，猜你喜歡展位推薦空調、風扇等商品：某地高溫橙色預警某地霧霾紅色預警推薦排序實踐：環境特征推薦排序實踐：A/B測試實時排序過濾：

業務需求（無庫存、成人用品、促銷商品）實時特征：人vs商品，實時行為交叉多樣性：多模型、多數據源融合新穎度KPI驅動：CTR&CVR&GMV&粘性A/B測試，快速迭代離線召回隱語義模型數據：

矩陣分解、RBM……協同過濾：UserBasedCF、ItermBasedCF用戶畫像：品類&品牌興趣、性別、年齡商品畫像：價格指數、人群、區域等計算機視覺特征離線測試推薦實踐總結LogKnowledge

ExtractionHbase&

RedisTrainingOffline

ModelData

GetterUserBehavior

ListRecall Skus

PoolFeature

ComputationRanking

EngineOffline

ModelLR-rankSVD

SVD++Online

ModelFTRLRF

LRRedisUI

ClientTrainingOnline

ModelReal-time

CallbackUser

Request/CallbackImpression

ListUser

Callback推薦架構目錄社交電商個性化場景010203互聯網機器學習實踐互聯網深度學習的應用場景04未來的挑戰特征提取SIFT,HOG,

……檢測分類識別傳統計算機視覺領域需要領域知識，耗費巨量時間計算機視覺專家第一步：設計特征，比如SIFT，KAZE，HoG，SURF等第二步：訓練分類器，進行多目標檢測、分類和識別傳統計算機視覺構建流程深度學習會自動訓練出好的特征，并且很多方法可以在各個領域中通用第一步：根據訓練數據自動構建特征第二步：將特征抽取和分類/檢測任務同時進行深度學習專家的任務：定義神經網絡架構，并進行訓練檢測DNN

分類識別DNN深度學習構建流程特征提取SIFT,HOG,

……將計算機視覺特征和深度學習特征相結合DNN我們的方案第一步：同時抽取計算機視覺特征和DNN特征第二步：進行多目標識別深度學習+計算機視覺構建流程用戶拍攝或選取商品圖片上傳特征向量計算及匹配根據商品圖片庫結果展示掃一掃 拍照購

AR紅包猜你要找實現根據用戶上傳圖片預測品類推薦相關商品深度學習構建GomePlus新場景：“拍照購”圖像標注提取特征降維匹配檢索對全站的商品圖像進行標注：最主要的工作是數據清洗，即把不能和品類對應的圖片刪除或者重新進行品類校準統計全站最近一年內各品類下商品總數的分布；然后按照分布進行圖片抽樣圖片的特征分為兩個部分，一是通過深度學習得到的特征，二是圖像色局部特征：利用TF/caffe等訓練CNN，將倒數第二層輸出作為Feature

Learning的結果提 取 出 來(DeepLearning

+

TransferLearning)利

用

局

部

特

征

算

子(SIFT,kaze等)提取出圖像的局部特征分別對前面兩種特征進行降維處理:用積量化(ProductQuantization)

的方法對CNN特征進行降維用VLAD

對圖像局部特征進行編碼采用最近鄰搜索的方法找出每一個商品的相似商品集合圖像檢索流程圖像預處理目標檢測利用神經網絡提取CNN特征利用局部描述子提取局部相似（紋理、顏色等）特征特征組合特征降維匹配檢索商品特征數據庫商品列表(瀑布流)用戶上傳圖片缺點：精度、速度、系統復雜性拍照購Version1.0圖像預處理品類預測利用神經網絡提取CNN特征利用局部描述子提取局部相似（紋理、顏色等）特征匹配檢索商品特征數據庫商品列表(瀑布流)用戶上傳圖片粗排序精排序拍照購Version2.0AlexNetReLu層數少易于訓練體積：200M準確率：>94%品類預測GoogleNet多尺度1*1卷積AveragePooling2*Softmax1*1卷積體積：50M準確率：>96%泛化能力好品類預測準確率：>93%CidPredNet1*1Conv3*3

ConvAveragePooling體積：2M品類預測品類預測-模型對比利用Soft-assignment，把VLAD嵌入CNN模型，進行End2End的訓練ArandjelovicR,GronatP,ToriiA,etal.NetVLAD:CNNarchitectureforweaklysupervisedplacerecognition.[J].IEEETransactionsonPatternAnalysis&MachineIntelligence,2015,PP(99):1-1.降維嵌入基于圖像相似性的商品推薦商品主圖實現根據圖像找相似的推薦應用基于深度學習的檢索技術可以得到一套通用的商品特征學習框架。在此基礎上，針對某些特定場景(比如商品詳情頁的”找相似推薦”)，可以根據商品主副圖，在同品類、同產品維度上，進行最近鄰搜索，召回相似商品。即提高了召回商品的多樣性，同時也加快了新上架商品由冷到熱的速度，相當于一種基于內容的Explore-Exploit方法。深度學習構建GomePlus新場景：相似推薦商品主圖T恤搭配短褲、裙裝上衣搭配褲子搭配實現根據圖像找搭配的推薦應用搭配購是推薦領域非常重要的一個應用場景，即根據用戶當前請求，推薦出能夠與之搭配的商品。利用深度學習技術，通過對訓練集圖片中的不同

主題進行檢測，然后利用CNN學習出