端智能在快手商業化的應用實踐第十九屆D2終端技術大會個人介紹王令龍2020年加入快手商業化大前端任架構&品牌前端負責人主要負責端智能、動態化、穩定性、工程架構等方向工作DD第十九屆D2終端技術大會業務賦能架構設計穩定性賦能未來展望從云智能到端智能業務賦能架構設計穩定性賦能未來展望第十九屆D2終端技術大會從云智能到端智能TECHNOLOGYCONFERENCE第十九屆D2終端技術大會ChatGPT-4ChatGPT-4發布2025年1月移動版發布AI大事件AppleSiri發布擊敗李世石2024年1月內置7B大模型2025年3月OPPON5接入VIVO首發70億參數端側模型系統：內存調度優化+用戶習慣學習支持智能摘要、路人消除等場景革命支持智能摘要、路人消除等場景革命硬件：NPU芯片標配CPU/GPU性能迭代框架：TFLite/CoreML等20+框架生態第十九屆D2終端技術大會讓復雜問題在客戶端上有更好的解法人算不如“機算”用“智能手段”解決問題數據驅動客戶端開發不再是“數據孤島”高實時性低成本強隱私性高實時性低成本千人千面針對不同場景定制解決方案第十九屆D2終端技術大會快手商業化痛點感知用戶狀態，精細化運營。廣告灰黑產猖獗，精準識別。UI體驗類問題頻發，精確召回。第十九屆D2終端技術大會業務賦能第十九屆D2終端技術大會用戶體驗專家StevenHoober于2013年介紹了「拇指區」的概念：綠色區域是單手觸屏最舒服的區域。這個理論被廣泛運用，并作為設計參考依據，并在不斷研究后得出結論，用戶傾向于單指、單手操作手機。第十九屆D2終端技術大會應用場景展望右手左手右手第十九屆D2終端技術大會用機器學習思維解決問題模型推理過程監督者模型推理過程監督者已標注數據(特征+標簽)左手操作右手操作左手操作左手操作右手操作左手操作左手操作左手操作右手操作左手操作端智能模型結果輸出模型訓練監督學習算法端智能模型結果輸出模型訓練左手操作左手操作右手操作左手操作不標簽(想要模型預測的結果)特征輸入標簽(想要模型預測的結果)第十九屆D2終端技術大會長度特征滑動過程總長度T速度特征滑動過程的速度情況和離散程度(2)Direction(2)DirectionofTraceisLef(a)DirectionofTraceisLeGeerastedbyRightIndexFSamplingPointDisplacementonXAxis(p(b)DirectionofTrace—GeoeratedbyLefThuhSamplingPointDisplacementonYAxis(位移特征位移特征用戶的滑動范圍滑動的平滑度、彎曲程度等不同手指均方根誤差(平滑度)特征重要性 f_10f_11f_120Q三采集用戶滑動點集重要特征提取相關性較高的特征采集用戶滑動點集重要特征提取(示例：軌跡偏左比例)保證數據集質量：保證訓練集數據數量和多樣性。研發線下數據采集&標注。像堅茉回的男生泛化平均曲率(特征)平均曲率(特征)曲線凹向(特征)操作手類型(標簽):最大曲率(特征)1左手、↓2右手max_curvatureaverage_curvature_concave_dire0.0010723350.3336847430.0002473930.331393080.0002910640.334119150.0026694950.3398101080.0008505590.333201480.001569420.2794268340.6251部分數據示例第十九屆D2終端技術大會右手左手慣用頻繁單手換手左手右手快手用戶左右手分布快手單手、頻繁換手用戶分布★左手活的探索家!消息消息端云協同端云協同直播推薦右手熱區優化右手第十九屆D2終端技術大會端智能賦能反作弊的價值作弊手段層出不窮，以往策略實時性、準確率不足。自動化腳本：物理作弊器：自動化配置做任務刷金幣。連續刷視頻、偽裝高活用戶、金幣獲利。群控/云控：數據線push命令到手機，大量獲利。下午3:11下午3:11三戳泡泡領8個現金紅包玩刮刮樂贏金幣逛快手商城賺金幣〇150看廣告得金幣最高16000權益中心金幣兌話費券288去支付寶芭芭農場施肥438到飯點領飯補150看小說領金幣○738頭腳本群控腳本群控上下滑動藍牙連接高效安全長久續航真人與腳本特征差異?第十九屆D2終端技術大會精準識別黑產調研數據集建設端云結合簡化模型位位移姿態App啟動App啟動特征特征真人智能決策：根據以往的操作習慣，判斷當前是否是機器操作第十九屆D2終端技術大會效果：日均打掉近萬機器腳本作弊設備，為業務節省很大成本。軌跡呈現機械化程式化軌跡呈現機械化程式化軌跡呈現線性分布作弊設備滑動軌跡熱力圖真人滑動軌跡熱力圖第十九屆D2終端技術大會UI異常檢測第十九屆D2終端技術大會白屏檢測-傳統白屏檢測的不足品共同關注點贊>>傳統灰度值檢測算法第十九屆D2終端技術大會更智能的白屏檢測問題：如何讓白屏檢測感知業務場景、更智能、可定制?讓模型了解圖像：4利用卷積神經網絡(CNN)進行圖像分類。40011001001001100性能優化：證性能。多分類能力：基于業務定制多分類模型。第十九屆D2終端技術大會能力對比：灰度檢測(性能更優)vs端智能檢測(準確率更高)能力升級：基于灰度值構建多層級分類模型，強化場景適配性結束截圖灰度值檢測截圖灰度值檢測模型推理計算白屏監控報警用戶退出落地頁進入業務場景頁面加載完成用戶退出落地頁加載中網絡錯誤模型訓練第十九屆D2終端技術大會純視覺方案，技術棧無關適用于所有場景整體準確率達到90%+、業務覆蓋90%+頁面信息缺失豎屏適配問題正常白屏加載中網絡錯誤頁面信息缺失豎屏適配問題第十九屆D2終端技術大會233樂園233樂園試玩一下立即下載卡片截斷類問題喜番短劇喜番短劇文字重疊類問題××王者與地下城立即下載圖片空坑&渲染類問題辛選女神節我元素重疊類問題購買劇豆劇豆余額03990劇3990劇支付9.9元者協議》文字截斷類問題內容需付費觀看，購買觀劇權益后解鎖及《權益使用規則》付費短劇展示的劃線價為限時專屬優惠紅包最高36.1元購買觀劇權益本劇觀看權益剩余0集購買觀劇權益福利￥19支付3.9元短劇·女總裁的無敵神..·共86集人元素空坑類問題云端目標檢測算法+大模型檢測場景全覆蓋UI元素截圖文字重疊異常線上截圖輸入文字重疊異常線上截圖輸入圖片定制輸出JSON化UI元素坐標誤報caseUI元素坐標00.5308210.6386780.2393120.30.1931240.4994230.261233040.1378560.6593490.1248540.1元素重疊異常40.6002170.2248820.4980590.220.9821960.2345640.03802340.12基于大模型的UI異常檢測算法TECHNOLOGYCONFERENCE第十九屆D2終端技術大會3990劇支付9.9元者協議》TOP20都市好劇110.8萬人覺得很好看×0.8折￥39支付9.9元原份111元女總裁的無敵...14/86218.7萬次播放觀看10集觀看40集￥29觀看25集觀看20集團購帶貨數