2025年4月馬斯克的大膽預言：碳基生命（也就是我們人類）只是硅基生命的啟動程序。隨著科技的不斷發展，尤其是AI領域取得的突破，以人工智能為主的硅基生命形態將會在未來成為地球上的主宰生物。2?今天大模型給人類社會諸多生產、生活模式帶來一次大變革。2023年2月，英偉達創始人兼CEO黃仁勛提出隨著ChatGPT為代表的大模型出現，我們已經進入“人工智能的iPhone時刻（iPhonemomentofAI）”,這一觀點受到美國《財富》雜志、華爾街時報等媒體的廣泛認可2048塊英偉達H800GPU（針對中國市場的低配版GPU）集/ind/手機、平板、智能手表?小設備功能不簡單?小設備如何搭載大模型？?大小模型協同發信息、看視頻、聽音樂、導航、游戲、購物/cou/coul端云協同（Device-CloudCollaboration指邊緣設備（如智能手機、IoT設備）模型和云側服務器模型協同進化推斷。l云側大模型（LargeModel通用認知計算，擁有強大的計算能力、海量的數據、充分的知識庫。l終端小模型（SmallModel實時感知、實時響應，運行輕量級任務，響應速度快。l端云協同計算通過卸載部分學習任務至端側，讓端和云協同完成任務，從而發揮終端靠近用戶和數據源的天然優勢，降低服務延時至毫秒級，增強模型個性化精準推理能力，緩解云服務器中心負載壓力，同時支持用戶原始數據在設備本地處理l有效克服主流云學習范式在實時性、個性化、負載成本、隱私安全等方面的不足前沿應用前沿應用3D渲染(Lvetal.)推薦系統(Qianetal.)YuluGan,MingjiePan,RongyuZhang,etal.:Cloud-DeviceCollaborativeAdaptationtoContinualChangingEnvironmentsintheReal-World.CVPR2023:12157-12166ChengfeiLv,ChaoyueNiu,RenjieGu,etal.:Walle:AnEnd-to-End,General-Purpose,andLarge-ScaleProductionSystemforDevice-CloudCollaborativeMachineLearning.OSDI2022:249-265XufengQian,YueXu,FuyuLv,ShengyuZhang,etal.:IntelligentRequestStrategyDesigninRecommenderSystem.KDD2022:3772-3782大小模型端云協同≈大小模型協同+端云高效協同大小模型協同基礎算法研究聯合應用平臺既有的聯合應用平臺既有的特定業務小模型與云側大模型，將端側小模型輕量部署、快速響應、個性適配的優勢，和云側大模型認知推理、多模態理解、通用泛化的優勢進行互補單視角采饋學習大模型大模型反單視角采饋學習大模型大模型反小模型小模型MPOD1232D到3D生成CVPR2024大模型小模型大模型小模型LLMCO4MSLLMCO4MSIntellectReq組合優化LLM自主智能請求ECCV2024WWW24RAG反饋學習Arxiv基于生成的協同大模型大模型大模型任意模型知識遷移任意模型知識遷移模型架構參數生成小模型1小模型2小模型小模型3小模型ModelGPT大模型生成小模型ArxivMergeNet任意模型知識遷移AAAI25基于融合的進化大模型基于融合的不相容參數優化小模型CKIAAAI25大小模型協同基礎算法研究聯合應用平臺既有的特定業務小模型與云側大模型，將端側小模型輕量部署、快速響應、個性適配的優勢，和云側大模型認知推理、多模態理解、通用泛化的優勢進行互補基于生成的協同基于調度的協同基于反饋的協同大模型大模型基于生成的協同基于調度的協同基于反饋的協同大模型大模型大模型大模型大模型小模型大模型小模型單視角采任意模型知識遷移單視角采任意模型知識遷移饋學習模型架構參數生成反饋學習模型架構參數生成反小模型小模型1小模型2小模型MPOD123小模型MPOD1232D到3D生成CVPR2024小模型小模型3LLMCO4MSIntellectReq組合優化LLMCO4MSIntellectReq組合優化LLM自主智能請求ECCV2024WWW24ModelGPT大模型生成小模型ArxivMergeNet任意模型知識遷移AAAI25CKIAAAI25RAG反饋學習Arxiv基于生成的協同：One（大模型）toAll（小模型）生成?大模型驅動的小模型生成框架ModelGPTModelGPT:UnleashingLLM'sCapabilitModelGPT:UnleashingLLM'sCapabilit / /基于生成的協同：One（大模型）toAll（小模型）生成?大模型驅動的小模型生成框架ModelGPT?給定用戶的需求ModelGPT能跨越異構模型、任務、模態的統一模型知識遷移框架 研究背景現有知識遷移方法（例如，知識蒸餾，遷移學習）要求端云具有相似的任務類型或模型架構，難以應用于跨異構模型、任務和模態的異構知識遷移場景。挑戰挑戰模型知識統一表示知識蒸餾利用Logits和FeatureMap表示知識，依賴于任務類型。遷移學習通常通過共享參數實現知識遷移，依賴于模型架構。異構模型知識適配異構模塊（線性層<->注意力機制模塊）之間知識不兼容。不同規模模型之間知識不兼容。跨越異構模型、任務、模態的統一模型知識遷移框架 研究問題研究基于端云協同的跨異構模型架構、任務和模態的異構知識遷移框架。創新方法創新方法異構模型知識表示：以參數為載體，重新編碼端云模型參數，實現對異構知識的統一表示異構知識適配：設立參數適配器，促進異構參數空間的交互，提取并對齊有效的信息，實現高效知識遷移注意力機制知識基本單元注意力機制———按行/列展開w∈Rn×mA∈Rr×mB∈Rn×r———按行/列展開R1×rMAL∈Rr×M更新參數適配器As∈Rr×mR1×rm端側模型按行/列展開w,∈Rn×mA,∈Rr×mB∈R端側模型按行/列展開跨越異構模型、任務、模態的統一模型知識遷移框架克服了傳統知識遷移需要具有相似任務類型克服了傳統知識遷移需要具有相似任務類型或模型架構的限制應用驗證有效應用于各種具有挑戰性的場景，及傳統知識遷移方法不適用的場景跨模態知識遷移跨架構知識遷移…跨任務知識遷移異構知識遷移大小模型端云協同≈大小模型協同+端云高效協同高通：生成式端云混合智能l混合AI指終端和云端協同工作，在適當的場景和時間下分配AI計算的工作負載，以提供更好的體驗，并高效利用資源。在一些場景下，計算將主要以終端為中心，在必要時向云端分流任務。而在以云為中心的場景下，終端將根據自身能力，在可能的情況下端云協同智能--高通《終端側AI和混合AI開啟生成式AI的未來》端云協同智能--高通《終端側AI和混合AI開啟生成式AI的未來》CloudtoDevice(C2D)大規模因果預訓練云云大規模因果預訓練云特定端云特定端CloudforDevice(C4D)云云云實實實時數據實實時數據自主請求實時數據自主請求時參數時參數時參數時參數分布偏移檢測特定端特定端特定端特定端特定端DevicetoCloud(D2C)云端模型1端模型2…DeVLBert/DeVADGAUG-KDAdaRequestDUETIntellectReqDIET/FedCFA/CausalD跨任務/場景泛化遷移壓縮實時適應實時自主適應Forward-OFA因果去偏匯聚ACMMM20/AAAI23ICLR24KDD22WWW23WWW24高效定制AAAI25,TKDE23KDD24/KDD25面向未知端側分布的壓縮-適應聯合研究背景大模型向端側遷移部署往往采用知識蒸餾等壓縮手段，傳統知識整理方法假設大模型訓練數據分布（壓縮前）和小模型測試數據分布（壓縮后）服從獨立同分布假設（IIDHypothesis）。實際應用中，源域數據和應用場景存在分布偏移，導致壓縮性能顯著下降。理論分析理論分析獨立同分布假設（IIDHypothesis源域Ps和目標域Pt（應用場景）獨立同分布。在此情況下進行知識蒸餾，源域的知識可以很好地指導模型完成目標域的任務。l數據蒸餾的目標：nE(x,y)~P[DKL(T(x;θt)ⅡS(x;θs)+CE(S(x;θs),y)].l多數場景下，源域分布和應用場景存在分布偏移（pt≠psl情況1：P≈pt，對應無數據蒸餾方法（pt由生成器擬合），蒸餾出的目標模型并不適用ps。l情況2：P≈ps，源模型給出的知識不一定有效。ResNet-50在不同設定下受分布偏移前后的性能比較100.080.060.040.020.00.0ofice-31ofice-HomevisDA-2017■源域性能目標域性能ZihaoTang,ZheqiLv,ShengyuZhang,YifanZhou,XinyuDuan,FeiWu,KunKuang:AuG利用端側反事實表征學習實現端向云去偏匯聚研究背景數據分布異質性導致的“局部觀察到的趨勢在全局數據中消失或反轉”的辛普森悖論，使得云側匯聚模型無法準確反映整體數據分布研究背景數據分布異質性導致的“局部觀察到的趨勢在全局數據中消失或反轉”的辛普森悖論，使得云側匯聚模型無法準確反映整體數據分布，給端向云去偏匯聚帶來了巨大挑戰分布異質l端云分布異質：云側全局數據分布體現平臺整體共性與端側特化分布存在偏移l端云有偏匯聚：有偏數據導致端側偏見，相似偏見端側模型導致云側有偏匯聚l虛假相關：端側數據局部且有限，存在虛假的因子-標簽關聯，忽視真實因果關系l因子耦合：因子之間存在復雜的相互依賴關系，難以有效解耦出獨立的因果關系?White‘cat?White‘cat’Black‘dog,JiangZ,XuJ,ZhangS,etal.FedCFA:AlleviatingSimpson'sJiangZ,XuJ,ZhangS,etal.FedCFA:AlleviatingSimpson's利用端側反事實表征學習實現端向云去偏匯聚 研究問題利用端側反事實表征學習解決云側模型聯邦匯聚中“辛普森悖論”難題。創新方法創新方法反事實表征學習：利用全局平均數據信息在端側生成反事實樣本，實現端側模型去偏訓練因子去相關模塊：基于相關性分析設計因子去相關模塊對因子解耦，提高反事實樣本的質量相關性分析因子去相關損失相關性分析因子去相關損失因子提取因子解耦反事實樣本生成利用端側反事實表征學習實現端向云去偏匯聚實驗驗證端側反事實表征學習~突破了端云協同計算在分布偏移、數據異質場景中模型匯聚效率局限相比于主流聯邦學習的最佳方法，云側模型精度最高可提升7.75%實驗驗證端側反事實表征學習~突破了端云協同計算在分布偏移、數據異質場景中模型匯聚效率局限基于端云協同的高效端模型參數定制 研究背景現有端側部署方案采用云側大規模預訓練，通過模型壓縮后傳輸至端側進行部署。然而多階段訓練、稠密信息傳輸給端側動態復雜環境的高響應低成本自適應帶來了巨大挑戰分布異質性l端云分布異質：云側全局數據分布體現平臺整體共性與端側特化分布存在偏移l端側分布遷移：端側用戶興趣意圖動態偏移，需要由云向端及時下發適配模型資源異質性l端側計算資源有限：大量長尾用戶移動設備算力有限，難以支撐本地訓練微調l端云通信資源有限：頻繁下發稠密適配模型消耗大量通信帶寬資源，降低響應FuK,ZhangS,LvZ,etal.DIET:Ctot1t2On-deviceresourcet1t2t3t4基于端云協同的高效端模型參數定制 研究問題研究基于端云協同的低通信開銷、高響應速度端模型定制算法。創新方法創新方法高效模型表示構建：基于神經網絡彩票假說，將云向端訓練壓縮過程轉化為傳輸適配子網二進制掩膜高效適配子網搜索：云側學習建立實時數據到端側個性子網掩膜的映射，僅需前向推理即可高效響應數據特征掩膜生成器生成掩膜線性微調數據特征MΘgM輸出實時數據凍結參數參數掩膜xxBaseOurs低傳輸延遲x?低存儲成本xx?低推理時延×FuK,ZhangS,LvZ,etal.DIET基于端云協同的高效端模型參數定制應用驗證應用驗證降低模型由云向端下發的傳輸開銷至原始大小的3%端側模型能力提升的同時推理速度提升5倍…端側個性子網搜索…端側個性子網搜索…突破了端云協同計算在分布偏移、資源受限設備上訓練推理效率局限大小模型端云協同≈大小模型協同+端云高效協同→→賦能與應用“能”人機交互“智”：理解使用者行為數據：觀看視頻、停留時長、互動（點贊、評論、分享）機器學習算法：根據歷史行為預測喜好不是真正的“理解”，而是數據驅動的預測興趣變化：AI能否快速適應？不能理解情感和臨時興趣變化如何提高靈活性和適應性？信息量巨大：社交媒體、新聞、視頻、廣告推薦系統幫助“過濾”信息，找到有用內容?實時推薦的工作原理分析用戶行為：點擊、停留、互動基于行為預測用戶興趣，快速推薦相關內容?“探索”和“發現”推薦系統幫助你發現未知的內容根據歷史行為預測可能的興趣點推薦系統端側內容生成通過部署輕量化小模型至端側，發揮出終端云端結果分發數據上云結果分發數據上云大模型離線訓練大模型在線推理開放服務風險高業務響應延時高開放服務風險高業務響應延時高端端國產大模型輕量壓縮小模型實時推理大模型輕量壓縮小模型實時推理端云大-小模型協同推斷算法手機淘寶商品推薦系統用戶點擊率在云模型響應后陡升XufengQian,YueXu,Fuyu端云大-小模型協同推斷算法XufengQian,YueXu,FuyStrategyDesigninRecommenderSysXufengQian,YueXu,FuyuXufengQian,YueXu,Fuyu因果因果+端云協同……直接經濟效益(購買率)平臺經濟效益(商品交易總值)云上大語言模型和端上小推薦模型的端云協同推薦 研究問題研究基于端云協同的低通信開銷、高響應速度端模型定制算法。協同訓練協同訓練：將云上大模型和端上小模型針對各自任務場景做針對性協作訓練，提升場景適應性協同推理：將云上大模型和端上小模型的輸出結果融合，集成強泛化能力和強實時性的優勢智能請求：對云上大模型和端上小模型的輸出結果做不一致性檢測，不一致性高的樣本重新調用大模型創新方法 研究成效相比于先前方法顯著提升，并在多個數據集上優于基線的結果，已被KDD2025研究軌道錄用人機交互“能”：像人一樣行動/33-of-peop/mingzheng114/article/d/inde需求：旅行規劃分析：預算、天氣、飲食規劃：第一天、第二天。。。決策：使用訂票軟件行動1：打開訂票APP、點擊、輸入、查詢。。。行動2：打開住宿APP、點擊、輸入、查詢。。。GeneralistVirtualAgents:A基于多模態大模型的操作系統智能體綜述lOSAgents是一種基于（多模態）大語言模型((M)LLMs)的智能代理，通過操作操作系統(OS)提供的環境和界面（如圖形用戶界面GUI利用計算設備（如電腦和手機）來自動執行任務。/OS-Agent-Surveyl基礎模型：總結LLM/MLLMbasedOSAgents的模型結構與訓練面向智能交互的端側多模態大模型面向智能交互的端側多模態大模型–InfiGUIAgent3B 研究問題當前基于MLLM的圖形用戶界面（GUI）智能體在復雜任務中缺乏多步推理能力解決方案解決方案NativeReasoning:為智能體軌跡數據構建多步驟、層次化推理過程用于模型訓練，讓智能體能夠自然地進行推理Reflection:智能體每次行動前，對先前的行動進行反思，判斷期望是否達成并進行調整，以提升多步決策的一致性每一步能夠自每一步能夠自發進行反思和層次化推理，并對采取的行動提出期望每一步反思過程回扣之前步驟提出的行動期望，增強智能體推理的一致性Model&Datasets:/Reallm-Labs/InfiGUIAgentAEIA-MN：針對OSAgent感知層面的環境注入攻擊研究 研究問題OSAgent在感知層面易受環境注入攻擊的影響，從而干擾PRM信號的生成過程。研究思路研究思路從不同類型的對抗攻擊角度出發（提示注入、對抗樣本研究OSAgent在感知層面所面臨的環境注入攻擊。對OSAgent的使用場景分類，識別與設備特征相關的攻擊方式，進而針對性地影響Agent的決策過程。提示注入