\h2024序 序言1走“機器外腦時 序言3共創共建共享智能美好未 趨勢1趨勢6Agent趨勢2LLM趨勢7趨勢1趨勢6Agent趨勢2LLM趨勢7趨勢3AIGC趨勢8趨勢4LLM趨勢9趨勢5趨勢10序言繼ChatGT開啟大語言模型引領的新一輪人工智能革命以來GoogleMidjourneyAdobe以及In?ection年2Sora的出現再次震“AI每日動態AI技術的發展日新月異的。在海量GPU和新一代大模型的加持下力的躍遷得益于LLM在理解和生成自然語言方面的巨大進步使得LLM能夠處理各種知識密集型任務可以在AI的幫助下實現2機器之心AI智力即服務IQaaAI數字員工將智力外腦。序 AIAIG2SoraAIGCSora和SUNOAI生成內容的質量和多樣性達到了新的高度。它們不僅讓普通人能夠創作出接近專業水準的音樂和視頻作AI“創意外腦AIAI另一個方向屬于廣義的情感陪伴。DanAI在情緒理解與表達上的巨AI“情感外腦AI聊天機器人提24/7AIAI不再僅僅是冷AI的陪伴與慰藉。

序

在本報告中，騰訊研究院基于科技行業發展和騰訊自身在AI10個關鍵性的趨AI個體借助大模型外腦成為“斜杠青年“超級生產者甚至開啟自己的“一人企業。端側模型知技術正在提升生產力，而游戲與大模型的共生關系為Agent訓練提供了新的舞臺。開源模型的睹AIAIAI想法并善于利用AI“機器外腦序言04序言

-行為--行為-場景一體化視覺表達A范式。華TED“空間智能“她還補充說，她所在的斯坦福大學實驗室正在嘗試教計算機“如何在三維世界中行動達CEOProjectGR00“大腦ProjectGR00T類動作。序

的交通安全事故;-行為-圖靈獎得主Hinton教授在5月訪談中就表示多模態學習可以使模型更好地理解空間事物，因為僅隨著diffusionChatGPSora等視頻Sora生成的視頻令人驚訝更多Sora“虛擬創世序 在AIGCAIGC3DAIAI2024年(20242026年“成長地圖人才底座人工智能是新一輪科技革命和產業變革的重要驅動力量。其中，具身智能是場景理解感知、邏輯思內容的創意性生成，AIGC可以說將成為了未來互聯網的內容生成基礎設施，內容生產需求邁入強需-行為-AIGC大模型、

序 序言“四化”AIMoE)600AI小助率。序 的大模型PaaS工PaaS“大模型知識引擎“大模型圖像創作引擎“大模型視頻創作引擎質提效。強安全AI模型普惠。申請專利超過10000600多項人工智能相關專800強到人機協作，大模型正在重塑人類社會，成為我們可依賴的"外腦"這份報告，既凝聚了騰訊云與各方在AI

序 趨勢速度和效率雙提升AIAI（AIInfra）加速發展，增長趨勢將從大模型專業領域延伸至各行業領“量變將成為AIInfra“質變破局的三板斧。趨勢110趨勢1趨勢1PAGE11生成式AI的演進也在推動它的底層基礎-人工智能基（AIInfrastructure，簡稱AIInfra）技術的進步和建AI技術迭代和商業化探索仍在加速進行，AIInfra短期的發展總體呈現供需兩旺的形勢。一般的，AIInfra是指支撐AIAIinfra將發展需求將逐步覆蓋其他層級。而隨著算力基礎設施建

大規模加速卡集群容量、和更高算力利用率及計算能效之AIInfra“質量雙螺旋”的發展模人工智能基礎設施供需兩旺，增長趨勢向行業生成式AIAI服務器市場增長預期明確。212AI大模型訓練的算力呈3.42012到2018AI算力增長了超過3212年2020年提出的模型需要60以OpenAIChatGPT發布已來，GPT等大模型25000張A100訓練90-100GPT-MoE-1.8T需要張H100訓練90Sora預計需要420010500張H100訓練GP-55000000。在ScalingLawsAI科技企業對于更高算力的AIInfra的驚人需求。Meta到今年底前計劃再獲得35萬個H100GPU，并宣布將資本支出大幅提高到350-400億美元；OpenAI

1000億美元，其中還包含一個名叫“星際之門”的AI超級計算百億美元增加其在全球各地的超大規模云計算和AI基礎設年的195億美元增長到2026年的347場規模在整體人工智能服務器市場的占比將從2023年的2022-AIInfra建設需求向行業企業延展，制造業對于AIInfra的建設最積極。全球各大科技巨頭對AI基礎設施的

根據微軟與ForresterConsulting能基礎設施現狀20241500多人工智能基礎設施是現階段企業發展人工智能時最需要幫基礎設施戰略，其中最積極主動的行業包括：制造業，金生成式AI的訓練集群規模，以步入萬卡量級。按照ScalingLaws群規模也就越大，這樣才能在合理的時間內完成大模型的擁有1.6萬張A100GPU的超級計算集群RSC，并于2024年初公布了2個24576張NvidiaH100Llama3的訓練；萬卡集群的實現和運行，是各層級軟硬件緊密耦合和萬卡集群并不是簡單的將AI加速卡在硬件層面進行單純的連接和堆砌，還要能夠基于計

練并非易事，總體看技術上會面臨硬件和軟件兩個層面的首先，構建萬卡級別的超大規模集群本身就是一項極議、線纜布線等都提出了苛刻的要求。同時,高密度部署還面臨著散熱和供電的巨大壓力。現有的計算機網絡和數據其次,在軟件層面,實現高效的分布式并行訓練也面臨將遇到通信瓶頸和負載不均衡等問題。需要全新的混合并行范式和任務調度機制,在最小化通信開銷的同時實現高效的并行計算。分布式訓練框架還需要內置故障檢測和恢復優化算法,自動混合精度訓練,以及針對大規模異構集群的國內外AA集群算力調度的一部分。如何將異構加速卡進行統一虛擬還要考慮不同并行計算、分布式訓練等軟件系統的相互兼容和融合，以及軟硬件集成運行時的穩定性和可擴展性等上不同型號GPUAI萬張H100Grok3AI

來一段時間AIInfra核心硬件系統主要演變路線之一。TB。提升大規模分布式訓練的計算效率一直是該領域核心Ia可實現更高的算力利用率，節省訓練算力成本。騰訊自研倍。AI基礎設施持續進趨勢LLMLL"智力外腦LLMLLM能夠處理各種知識密集型任務，趨勢215趨勢2趨勢2PAGE16與以往的人工智能相比，大語言模型的顯著特征是推復雜問題的理解、對信息的整合以及在給定上下文中生成如同人類學習語言一樣，AI大模型通過大量數據的學

Inference)階段未見過的數據。模型利用先前學到的規律進行預測、分類或生成新內容，使得AI在實際應用中能夠做出有意義的決ransforme文本中的長距離依賴關系，并通過注意力機制聚焦于輸入ChainofThoughtPromp-ingLLM能夠生成連貫且邏輯性強的文本，展現出在復雜問題上的推理能力。Right:Overviewofthereasoningtechniquesforfoundationmodels,asdetailedinSection（IQaaS）更高的算力與更好的模型的加持下，機器不再僅僅是執行簡單任務的工具，而是成為了人類的"智力外腦"，能夠

AndrejKarpathy“軟件2.0AI樣化的AI“機器之心SaaS掘以前受到軟件的市場推廣和定價限制而無法涉足的領據實際需求快速調整資源，無需大量前期投資即可獲得專業的AI

“利用LLM進策略“智力即服務獲取這些服務。這種模式業的企業都能獲得符合自身特定需求的智能解決方案。這AI對人的能力的替代。LLM的推理AI進行協作，能夠有效拓展能力邊界，在生活和工作場景中成為一名擅長“人機協創作領域的應用潛力將持續賦能個體進行更高效、更具創AI

隨著技術的不斷進步，LLM的推理能力將變得更加強大和精細。我們可以預見，未來，iQaaS使人類的推理能力趨勢AIGCAI和視頻生成的AI“斜杠青年A趨勢318趨勢3趨勢3PAGE19（1感官體驗，提高信息的傳達效率和吸引力（2）個性定制：生成個性化、高度相關的內容,提高創作效率（3）創意激發：AI可以分析大量的藝術作品，找出常見的主題和模式，然后提出創新的組合,為創作者提供靈感和創意靈感（4）能融合的生活態度和職業選擇，而大模型會進一步推動藝模型技術所帶來的低成本創作工具，激發創造力和拓展創

AISuno、UdioElevenlabs這些AIprompt型AIGCSuno平SunoAI多模態AI以Sora為代表的多模態大模型的推出，標志著視頻生圖像添加動畫以及在時間軸上延伸視頻等多樣化編輯任

司已經在主流的視頻編輯工具Premiere中植入了Sora等文進展，類似技術和產品層出不窮。近期生數科技和快手可PikaGen-Pika1Emu3-2-418sDiT架構用的可能性。作為業內首個中文原生的DiT（DiffusionModelswithTransformers）生圖大模型支持中英文雙語輸入及理解，擁有高達15億的Sora模型一致的DiT架即Hunyuan-DiT頻等多模態視覺內容的生成奠定了基礎。在性能上，采用Hunyuan-DiT架構的騰訊混元文生圖大模型超越了開源的tabeDiffusonSD

構建以中文為核心的文生圖開源生態系統提供了強有力的多模態AIGC技術將從以下方向影響視頻內容生產模根據文本提示生成長達一分鐘的視頻，這在傳統制作流程多模態AIGCAI所204年AI2翻拍OrT2Rea50AA“超級生產者時代SoraSno趨勢兼具EQ與IQ的大模型將在未來2-3AI模型如GP-4o和Gei1.5rAIAIAAI能夠“回憶策略趨勢422趨勢4趨勢4PAGE23

AI陪伴首先是個性化的（EQ是高度個性化的概念?不同的人對情感和社交動態的理解有所不同精調（Fine-tuning）（比如兒童增至10Characte.ai

估值50億美元

（比如戀愛（估值25億美元

估值40億美元（估值20

高于其他AICharacter.ai目前月訪問量超2億次，別。譬如是否需要一個具體的形象、是否需要配合硬件使聚焦于哪個垂類，面向未來的人機陪伴產品有如下共性特和Gemini1.5Pro

AI將能夠更準AI（如表情（如語調AI陪伴有望做到比用戶更懂用戶甚至是先己一步，以最適合用戶的方式提供情感慰藉與支就要設定情景讓AI與用戶創造一些獨特的共同經歷?神秘感需要用戶不斷挖掘的角色??形態上也可能是文本前的AI陪伴產品利用生成對抗網絡（GANs生成高質量的創意內容（例如eplia用戶可以與AI一起編寫小說或劇本AI陪伴產品將進一步提升用戶與AI共同創作的體別是流式語音識別技術的進步使AI能夠實時理解和回能夠更便捷地與AI合作完成復雜的創意項目。（前的AI陪伴產品主要通過如下技術手平算法的應用確保了AI在訓練和應用過程中的無偏助有特殊需求的用戶順暢使用AI產LGBTQ社區的例如AI心理健康支“算法黑箱在跨語言環境中的應用仍然是一個未被充分探索的問題。IQ&EAI戶在與AI互動時會期望AI能夠記住他們之前機交互就無法連續進行，個性化服務的精準性也會大打折脫皮下皮“Memory

promp的方式輸入給大語（LLMGP-4o等模型的出現multi-modalunderand-inuni?edembeddin的方式直接映multi-modalmode總結“總結“總結“喚recal形成某種啟發或者共鳴?策略。AI的依賴和情感連確保AI時代人機陪伴的公平性和安全性。如果上述問題能夠得到妥善解-12戶的多元化陪伴訴求。趨勢智能制造：多模態大模型技術204AI化對復雜多模態PromptPEFT小樣本數據適“大模型的趨勢525趨勢5趨勢5PAGE26工業場景是AI5~102024著G-4,Gemini1.5PLLA1.6ransformer架構和海量數據訓練的多模態大模型再次點燃GG的2023年我國全部工業增加值約40大模型在應用中部署僅占了8AI當前階段工業AI的應用主要以專需要收集百張以上的產品圖，然后對該場景進行精細化調交付過程中依賴較長周期的數據采集及較復雜的個性化定AI應用技術會加快往工業領域遷移場景適配和多種部署形式，最終實現工業大模型的落地賦能。MeReal-IAD

力和遷移學習能力可以對不同生產場景中的產品質量缺陷，業制造累積了大量的數據，為大模型提供了良好的基礎條的全新智能化工廠。目前國內外推出的主流多模態模型乃是基于自然場景來需要在垂直場景實現超微小目標感知及超細粒度語義理工業AI質檢來需強化對復雜多模態Prompt的理解并提升數據的利用效率以最大化多模態模型的理解能力。工業多模態大模型對超微小目標的感知和超細粒度語然場景下的圖像-文本數據集片分辨率在百萬像素以下，其對圖片中主要物體、如大于100x100pixel的目標感知能力較強Wisonsin?Madison發布了LLaVA-1.LLaVA-NeLLaVA-UHD率圖像一同輸入到大語言模型以提升模型對圖像局部的感圖像-文本數據集的增加感知及細粒度語義理解能力有望顯著提升。未來將增強模型對復雜多模態Prompt的理解能力現有的自然場景多模態大模型的Promt指令數據集主要包含少量的人工標注圖像-文本數據以及借助GPT-4V或Gemini-Pro等多模態大模型來合成的大量圖像-文本數據通過大量自然場景的多模態指令數據集進行指令微調能夠

實現較強的多模態Prompt理解能力夠獲取到少量人工標注的圖像-文本數據，但是現有的G-4V或Gemini-Pro等閉源領先的多模態大模型尚不具備望將結合工業多模態大模型能力進行Prompt生成并針對性的進行技術改進，進而提升對復雜多模態Pomt的理解能力。基礎模型+小樣本數據適配成為模型落地的新范式在生產制造由于生產工藝的不同引進設備及視覺方案不文件及描述規范不同等因AI在實際落地中普遍表現“需求個性化針對某個細分場專用小模型優化需要收集較多的數據并需定制化開發業務邏收集數據周期較通常需要持續8周及以某些場景甚至難以收集數，導致指標提升慢交付效率低難以匹配生產節奏的要求大模型在雖然有較強的理解能但由于缺少具體的場景數，導致其無法充分捕捉到某個細分場景的專屬特比如專屬名詞專屬描述專屬物體及形這種專業知識的匱乏使得大模型在應對工業流程優化機器視覺缺陷檢測設備故障等專業問題時會有所缺難以提供精確可靠的解決方，無法滿足工業現場的個性化要求大模型真正融入行業應需要進一步適來解決大模型“不懂專屬場景的局限近年隨著PEF如IAAdaerSoft PomoR技術的發所需的專屬數據量能降低90%未來高效利用有限數據來適配細分場景的技術會進一步得到發展同高效的多模態大模型和輕量化部署也將成為落地應用中探索的重點。大模型+?的落地模大模型+工業設備的協同性和智能化并驅動實現具身智能“大模型+工業軟件“大模型+工業知識圖譜帶來新的交互方式并提高知識問答的準確性類社會向更高層次的智能化發展邁進。趨勢游戲環境：大模型與游戲共振AIAgent游戲不僅能前沿研究團隊都選取游戲作為AIAgent打造通用AIAgent。和游戲環境的加持下，AIAgent將有望實現決策和泛化能力的突破。趨勢628趨勢6趨勢6PAGE29AIAgentGoogleSIMAAI智能體的ChatGPTIAI DeepMind研究人員評估了SIMA按照指

游戲是GoogleSIMA(AI)AlphaGO和SIMA項目是DeepMind（AGI）

APIDeepMind創始人及CEO德米斯·（DemisHassabis）在采訪中表“基于游戲環境訓練通用AIAgentGato使用了類GPT的大語言模型架構，其訓練材料包括圖像、文本、機械臂關節數據以及其他多模態數據集(multimodaldataset）（AtariGames），并可操控真實的機器人手臂堆疊積木。微軟在

任務，不僅能夠完成簡單的程序化任務(programmatictasks)，還可以根據簡單描述完成創造任務（creativeDImnm的下一個前沿將是塑造一個可以在虛擬世界和現實世界里基礎模型訊也牽頭構建起AI多智能體與復雜決策開放研究平I伴隨著以ableDiffusioansormer等生成式AI技AI技術也開始反向助力游戲以及更廣泛的文化行NPC步降低交互內容的制作門檻。2024Unity使用AI71%游戲工作室表示其研發和運營效能得到了提升在游戲成式AI已被廣泛應用于文本生成2D美術創AI工具介入游使用ableDiffusion等生成式AI將時間縮短至1天。成式AI也有著成式AI工具的介入

Unal和Unity等也紛紛布局生成式AIAI能力聚合到游戲制作的工具平臺中。英偉達于2023年6月發布了面向游戲開發者的AI工具平臺NVIDIACEorGame話和動畫等AI模型GDC2024NVIDIA和InworldCovertPoo塑造的游戲NPC能夠與玩家進行實時交互引擎公司Unity和Unreal相繼發布基于生成式AI的新Unity于2023年7月發布兩款基于人工智能技術的新產Sentis和MusUnreal則在自身引擎中集成了大量AIGCahumanco盡管當下的人工智能研究距離實現AGI還有相當長的路要走，但大語言模型與基于游戲環境的AIAgent訓練，無疑為實現AGI開辟了新的可能性。AIAgent或將具備對更AI系統。在未來人工智能技術的創新發展過程中，應進一步重視游戲產業的科技價值，明確游戲作為人工智能技術“實驗場”趨勢AIAIagent趨勢732趨勢7趨勢7PAGE33是跟AI芯GP/TP是GooglSalingLa的多模態小參數模型轉變，比如最新的微軟加載GP-4，Phi-3vision等等；來自于端側的硬件瓶頸目前大模型想落地端存在比較明確智門檻以Llama3 8B的FP16版本模型為例作為目前未過分量化穩定可用的版本其模型大小為16就目前市面上的終端能力來僅旗艦PC可用除GPU芯片之端側的普及還需要解決一系列硬件生態的問，包括電池顯存帶寬顯存容量等等硬件的迭代周期一般以年為單相比大模型發展來說可以說是龜速其中電池技術還存在明顯的能力上更是十年為單位的研發周最終或將需要繼續優化芯片效率與能耗的方式來實現曲線救國來滿足需求。未來AIAgent隨著當前云計算的果iCloudgoogledriveAIinfra

當前有四類主要的終端PCAR與VR設備大量的PINPIn和RabbitR1以API調用AR與VR、PAgent/T各大基礎模型廠商有效的進行價值兌現重要入口的這一趨SaaS將全面推進AI化距離真正的AIPC的出1-3年類SaaS“含AI量管是滿足既有需求的AI+perplexity.ai；還是創造新需求的AIAPP將面臨AI原生OS接調用APIGUI圖形用戶界面將變身對話式ConverstionalU幕GUI圖形用戶界面是可以由OS直接拉起服務最開始PC的DOS命令行，到Windows到iOSVisonPo的

著G-4o的發布音+多模態視融合身體的各，待攻克的還。—APP本身也需要做出顛覆式的改需要通過一個個的APAPI的方式“去皮化的過瀏覽器/網AP到APAPIAPIOS直連AP

來APP入口時長價值決于APP本身的聚合的流量或將進一步下沉到OS層面。APP入口需要摒棄原來中間商與時長價值。趨勢趨勢835趨勢8趨勢8PAGE36人形機器人的發展歷程運動控制和任務訓練技術的突破已經開始重塑全球的工業服務和社交交互領域這些技術的提升不僅增強了機器人的功能也使它們能夠更自然更高效地與人類互動人形機器以其類人形態和全身自由度而被設旨在無需對人類環境進行特別適配即可在其中自然地移動和操作隨著技術的進尤其是90年代算能力和傳感器技術的提人形機器人的行為能力得到顯著增代表作如Honda的ASIMO在平滑行走和上下樓梯等方面取得了突破進入2000年代更高級的認知功能和更精細的動作控制使得人形機器人開始廣泛應用于服務業娛樂和研究領域最近幾深度學習和大模型技術的應用使得人形機器人如Boon Dynamics的tlas和esla的Optimus展示了前所未有的靈活性和適應能預示著人形機器人技術在未來社會中的廣泛應用和深遠影響。電機技術革新助力人形機器人實現高效精確的運動控斯拉的Optimus和BostonDynamics的Atlas代表了運動控制技術的最新進展

在電動汽車領域積累的電機控制技術轉化應用到機器人技Optimus在行走長時間的工作需求。BoonDynamics的tlas最初依靠液壓技術得tlas在執行高強度BoonDynamics開始將tlas的動力系統從液壓轉向更一轉變顯著提高了Atlas的動部署奠定了基礎。優化的運動控制不?處理復雜認知和決策任務的AI系統的整合著運動控制技術的持續進步和AI技術發展將繼續推動生產力的變革和社會生活的改進。任務訓練成為了人形機器人領域技術進步的另一個關OpenAFigue以及Nvidia等公司的創新嘗試展示了如何通過大模型技術來提高機器人的學習效

系統架構的選擇是決定人形機器人與大模型結合的開

選擇分層架構還是端到端架構，取決于特定的應用需形機器人解決方案。已經證明了其在處理復雜數據和學習復雜模式上的強大能界共同努力解決。

反映了各國對未來社會形態?泛應用奠定了基礎。趨勢基于對國內外1002-3年內，AI開源生態將迎來趨勢939趨勢9趨勢9PAGE40AI可用好用

我們收集了2017年以來國內外100多個開源大模型2023年1月到2024年6別是在20242024年5月國內發布了6個開源大模2014年6月開源的Nemotron-4340B參數規模token激活的參數量為210

AI開源大模型推動社區驅動的開放創新，其全球協作特內有超過50家機構貢獻了開源VIVO100大模型開源也將鼓勵不同學科背景的機構和人才站到同一高效迭代和進化。AI

用開源模型以較低的成本快速部署AI2024年5月開源的HunyuanDiT的DiT架構文生圖開源模型比如智源研究院于2024年5月開源了具身智能大模型ASGras成功率突破95%AI保AI系統的決策過程不僅符合技術標準AI助學生和新入門者理解復雜的AI概念和技術培養下一代AI專家和解決復雜的安全問題至關重要。趨勢A智能的未來AIAI（AGI）AI系趨勢1042趨勢10趨勢10PAGE432023AIAI安全的新興AI模斷推動AIAG來的AI大模“前沿AI是否可能導致災難性風險或極端風險的問題也得到了更多的關注。沿AI技術主要會在AI和機器人決策讓渡會帶來新的風險