體系化人工智能(HolisticAI)技術探索中國移動研究院張世磊2023.11.24GPT-3大模型訓練成本費用成本時間成本GPT-3大模型訓練成本費用成本時間成本典型AI商用定制化項目成本構成定制化研發售后運維售前解決方案數據采集合同驗收18009000日趨泛在的智能化需求和智能化技術賦能成本高之間的矛盾日趨泛在的智能化需求智能化技術賦能成本高20192022人工智能的應用弱人工智能強人工智能需求復雜、迭代優化、運營成本數據成本、算法成本算力成本、人才成本提供技術基礎性能降成本自動化提高定制化任務性能神經網絡架構搜索LLM使能的自主智能體自動機器學習LLM使能的自主智能體自動機器學習ASurveyonLargeLanguageModelbasedAutonomousAgents單模型的通用化基于AI任務的自動化選擇環境，培育環境共性能力：合理評估AI能力的可達性，構建可達的共性AI能力平臺化：平臺化：實用便捷的工具，運營運維業務本身是規模化的：客戶規模，經濟規模規模化應用個10086智能客服-服務10+億客戶-問題一次解決率94.2%大屏數字內容推薦-服務家庭7600+萬戶-觀看率提升42%-單省收入賦能7000+萬甘肅智能客服-服務2500萬甘肅百姓-6000萬關系政務知識圖譜智能基站節電-單站節電量提升8%-10%智慧黨建-知識檢索效率提升90%核心能力自然語言理解通用能力網絡智能化能力簇322核心能力自然語言理解通用能力網絡智能化能力簇智能語音智能推薦機器視覺智能數據分析預測智能診斷智能決策智能控制智能智能語音智能推薦機器視覺智能數據分析預測智能診斷智能決策智能控制智能CHBN賦能價值57服務外部客戶服務內部客戶服務外部客戶云端能力云端能力調用次數調用次數賦能價值服務客戶物聯網模型...醫療模型能源模型客服模型...司法模型...物聯網模型...醫療模型能源模型客服模型...司法模型...網絡模型衍生語言大模型視覺大模型語音大模型結構化數據大模型多模態大模型基礎大模型：加快構建適用于泛場景的自主可控通用基礎大模型，打造通用智能底座行業大模型：聚焦供給側，加快構建行業大模型，加速國民經濟主體行業的智能化轉型升級，促進我國整體生產力躍升L1行業大模型L0基礎大模型行業智能化應用行業智能化應用支撐支撐通信特色民生服務通信特色民生服務工業生產交通模型...政務模型治理基于體系化人工基于體系化人工智能的智力運營數據數據評測大小模型網絡基礎數據基礎算力基礎性能評測安全評測以九天基礎模型為基礎，聯合通信、能源、航空等行業的骨干企業，共建共享九天·眾擎基座大模型航航空九天基礎模型人工智能訓推技術服務平臺測評系統交通運輸政務建筑能源通信冶金算力網絡算力網絡大規模智算中心數據匯聚平臺網絡問題投訴級聯優化網絡問題投訴級聯優化通常需要在滿足計算、傳輸、安全、可控性等多項約束前提下，組合使用多個模型或能力，包括基礎模型、行業模型或面向特定任務的小模型，并能夠端到端優化服務于業務目標泛AI算力云/網/邊/端/…業務大閉環AI能力大閉環網絡原生 可信原子化體系化AIOS泛AI算力云/網/邊/端/…業務大閉環AI能力大閉環網絡原生 可信原子化體系化AIOS體系化人工智能（HolisticAI，HAI）是中國移動研究院九天團隊原創技術的攻關方向，依托泛在的網絡和AI算力，在開放環境中實現對AI能力進行靈活且高效的配置、調度、訓練和部署，以滿足日益豐富的數智化業務需求，同時確保AI業務可信可控安全，其主要特征為AI服務大閉環、AI能力原子化重構、網絡原生AI及安全可信AI。泛在網絡資源提供方1、“大閉環”（1、“大閉環”（BigLoopAI）“大閉環”AI以業務端到端的大閉環優化為目標，重點攻關多能力級聯與并聯優化、開放動態環境中AI能力優化的基礎理論和技術，從而達到AI產業閉環。2、2、AI技術原子化重構（AtomizedAI）AI能力依據高復用、易調度、自閉環、易適配等原則進行原子化拆解和重構。一個典型的原子化AI能力包含通用智能層、適配層、接口層，通用智能層可多個能力共享。AI原子化重構是體系化人工智能得以實現的基礎。3、3、網絡原生（NetworkNativeAI）網絡原生AI將AI能力與算力通過標準化的方式接入網絡、按需調度，重點攻關AI模型自動伸縮的理論和機制，制定AI計算資源、數據、模型、能力、服務的功能、流程、接口和計量的標準，實現AI能力在網云邊端彈性部署、計算和迭代。4、安全可信（4、安全可信（TrustedAI）AI數據、模型、能力、業務的安全可信是體系化人工智能服務的重要基礎，重點攻關AI服務可追溯、可互信、可審計、抗攻擊的基礎理論與方法。可追溯、可計量HAIprotocol注冊需求動態測量評估模型類1模型類n場景類1場景類n場景類N需求1需求n 需求N功能區原子能力區行業區任務區模型類N 可追溯、可計量HAIprotocol注冊需求動態測量評估模型類1模型類n場景類1場景類n場景類N需求1需求n 需求N功能區原子能力區行業區任務區模型類N 服務計量、評估、回收分層次多粒度的原子AI能力市場maxf(D,M,A,P,0,E,S,F,U,T)s.t.c(D,M,P,0,E,S,F,U,T)≤Cf是一個復雜的函數，表示體系化人工智能的內部邏輯和流程。真實場景數據漂移集F={f1,f2,…,fn}，每個漂移fi都有一個類型xi∈{0,1,2,…,x},表示協變量漂移、先驗漂移和概念漂移等。數據傳輸的演化更新集U={u1,u2,…,uk}，每個更新ui都有一個方法yj∈用戶需求服務集T={t1,t2,…,tz}，表示用戶提出動態的需求和任考慮體系化人工智能的內部流程和邏輯，進一步可以將f分解為以下幾個子函數：maxf(g,?,i,j,k,?,o)s.t.c(g,?,i,j,k,?,o)≤C端到端跨模態異構數據建模：g(D,M)；模型學習機理的優化建模：?(D,M,P,U)；模型的原子化表征和建模：i(M,E)；模型的標準規范入庫：j(M,S)；數據漂移的優化建模：k(D,P,F,；模型數據傳輸的演化更新：?(M,F,U)；>存在性問題：給定D,R,T，是否存在M，使得S(R,T)=1，即是否有足夠的資源和合理的目標來實現AI模型的構建？>唯一性問題：給定D,R,T，是否存在唯一的M，使得S(R,T)=1，即是否存在唯一的AI模型能以最低資源消耗來滿足目標的要求？>有效性問題：給定D,R,T，設M是滿足S(R,T)=1的人工智能模型，是否有η>0，使得e(D,M,T)<η,即AI模型是否能達到預期的誤差水平？>可解釋性問題：給定D,R,T，設M是滿足S(R,T)=1的人工智能模型，是否有ξ>0，使得i(D,M,T)>ξ,即AI模型是否是可解釋的?其中：D是數據空間，M是模型空間，f:D→M是數據到模型的映射函數，g:M→D是模型到數據的映射函數，?:D→D是數據到數據的映射函數，l:M→M是模型到模型的映射函數，R是資源空間，T是目標空間，c:R×T→R是代價函數，S:R×T→{0,1}是可行性函數，e:D×M×T→R是誤差函數，i:D×M模型服務提供商模型服務提供商Ability、Architecture、OutputResourceConsumption、ModelSizeDataset、InferenceComplexityStorageSpace、MemoryUsage…InterfaceTesting、…InterfaceTesting、DataTesting、CapabilityTestingPerformanceTesting、MetricTesting、ReliabilityTesting、UserExperienceTesting…NetworkSparsityInductionNeuralArchitectureSearchKernelMethods、KnowledgeDistillation…f1(f2(f3(…fn(x))))→g(x)應用環境的約束條件。基礎模型的功能解耦üAutomaticMaskPruning(AMP):automaticallyidentifytask-specificfilters/nodesfordifferenttasksinthepre-trainedmodel.üapplytheLogExpectedEmpiricalPrediction(LEEP)whichisusedtoevaluatethetransferabilityofrepresentationslearnedbythesourcetasktothetargettask.üScalableMaskSelectionPruning(SMSP):fast-adaptthepre-trainedmodeltodownstreamtasks.One-ShotPruningforFast-adaptingPre-trainedModelsonDevices,HaiyanZhaoandGuodongLong，arXiv:2307.04365v1DecoupleoneModelintoAtomizednetworks?知識分解：包含結構分解和表征分解?每個因子網絡包含兩部分：通用知識網絡（CKN）和特定任務網絡（TSN）?一種新的信息衡量指標-InfoMaxBottleneck(IMB)，使輸入和通用特征間互信息最大（最大限度保留大模型的通用知識使不同特定任務特征間互信息最小（使特定任務網絡之間盡可能解耦）。模型蒸餾?2?3?4?1?2?3?1?4?3?2?1?2?3?4?1fGeneratedInputEmbeddingInputEmbeddingFeatureExtractorFeatureExtractorlul?WeightedSum?2?3?4?1?2?3?1?4?3?2?1?2?3?4?1fGeneratedInputEmbeddingInputEmbeddingFeatureExtractorFeatureExtractorlul?WeightedSum基礎模型的功能蒸餾PredictedEmbedding?4PredictedEmbedding?4<EOS><EOS>Embeddingfflayerlayer1layer2layer3layer4(a)Distillation(b)Downstream:DistillingPre-trainedLanguageModelsbasedonGenerativeModels,Y.Gao,ShileiZhang,ZihaoCui,ChaoDeng,JunlanFeng*.Archive-2023基礎模型的功能蒸餾Two-dimensionalAttentionMechanism：DistillationLoss:DistillingPre-trainedLanguageModelsbasedonGenerativeModels,Y.Gao,ShileiZhang,ZihaoCui,ChaoDeng,JunlanFeng*.Archive-2023搜索空間巨大：層級搜索、免訓練（trainingfree）端到端閉環數據稀疏：無監督參數量和內存消耗大：適配器、蒸餾、剪枝接口復雜：維度一致、梯度連續端到端閉環數據稀疏參數量大FuseMultipleModelsintoonetargetmodel?多個神經元網絡層形成一個功能塊?功能相似網絡：輸入相似時，輸出相似?將一個網絡分成多個功能塊，相似的功能塊形成一個集合，這個集合稱為：等同網絡塊集合"DeepModelReassembly",XingyiYang,etc.NeurIPS2022StitchMultipleBigModelsintoonetargetmodelASRNLUASRNLU網絡問題投訴級聯優化語音識別+自然語言理解級聯優化【12】InterfacesInterfacesFuseMultipleModelsintoonetargetmodel"CascadedMulti-taskAdaptiveLearningBasedonNeuralArchitectureSearch",Y.Gao,ShileiZhang,ZihaoCui,ChaoDeng,JunlanFeng*.Interspeech2023++Cancadethreemodels-speechenhancement,ASR，NLU-withBottleneckAdapterVisionDecodervisionpatchtokensMaskedSelf/Cross-