No.202409中國信息通信研究院版權聲明本報告版權屬于中國信息通信研究院，并受法律保護。轉載、摘編或利用其它方式使用本報告文字或者觀點的，應注明“來源：中國信息通信研究院”。違反上述聲明者，本院將追究其相關法律責任。更名聲明原“集智”白皮書更名為“集智”藍皮書?！凹恰鼻埃⊿calingLaw）依然有效，語言大模型技術多維度能力持續進化，視目一、總體態 （一）人工智能技術演進走向新范 （二）人工智能工程化邁向新階 （三）人工智能安全治理工作緊密推 （四）人工智能產業穩中有進迎來新動 二、技術創 （一）基礎模型仍在快速演進迭 （二）計算平臺與模型創新緊密耦 （三）工具鏈不斷完善加速大模型研發應 （四）高質量多模態數據集成為模型能力提升的關 三、應用賦 （一）人工智能賦能階段性特征顯 （二）重點行業人工智能應用走深向 （三）體系化推動人工智能落地應用成為共 四、安全治 （一）人工智能技術應用帶來多重挑 （二）全球人工智能安全治理正處于“從原則走向實踐”的關鍵階 五、發展展 圖1全球人工智能產業規模（單位：億美元 圖2全球生成式人工智能投融資規模（單位：億美元 圖3語言、視覺和多模態三類基礎模型布 圖4大模型工具鏈架構 圖5不同階段的具體數據需求情 圖6基于百個優秀案例統計的AI應用產業鏈分 圖7人工智能風險管理體 圖8人工智能風險示 表1語言大模型演進迭代情 表2語言大模型調整及解決方 表3多模態模型技術路線 人工智能發展報告（2024人工智能發展報告（2024年以nfer走向新范式。以大模一是規模可擴展。OpenAIo1模型通過模仿人腦思考的圖神經網絡的GraphCast、GNoME在氣象和材料領域已取得重大突開發工具鏈作為連接算型的訓練效率，如eeped、earnM等分布式訓練框架通在推理方面，應用工具鏈拓展大模型應用廣度。大模型應用工具主要圍繞增強生成（RAG）及多組件融合等核心要素持續創新。Agent的引RAGDioptra測試平臺評估人工智Inspect工具集評估模型能力和整體模型安全，新加坡迭代AIVerify工具箱以期提升人工全球人工智能產業保持高速增長IDC預測，2024年全球人1人工智能發展報告（2024人工智能發展報告（2024年202680%的企業將使用生成式人工智能API，或部署生成圖1全球人工智能產業規模（單位：億美元大模型領域拉動全球人工智能投融資金額上揚2024年上半年，31684%。在全球融20224.5%202412.1%。2023252億202292023年所有人工智能相關投資的約2EcosystemGraphs人工智能發展報告（2024人工智能發展報告（2024年四分之一3。202410來源：TheAIIndex2024Annual圖2全球生成式人工智能投融資規模（單位：億美元角獸企業22家，其中24年上半年新增15家，占所有新增獨角024業務領域涵蓋生物制藥（如aiahepuis）、軟件開發（如CgtonI平如a如erlet、如aanaI技術實力和發展前景已獲得市場認可，其中staabs、出門問問243TheAIIndex2024Annual覺和多模態能力快速迭代。從時間維度來看，2022年ChatGPT的出現引領大模型浪潮興起；2023年國內大模型呈井噴式爆發態勢，能力快速迭代，模態持續拓展；2024年大模型推理理解能力躍遷，并OpenAI等基于大量工程實驗和反復驗圖32023128k8個月翻一番。20206月GPT-31750億個參數，20242月面壁智能發布MiniCPM-2.4B24億，86MoE多知識，精準刻畫任務。MoE稀疏激活多個專家子模型支路，加權目前，谷歌的Gemini-1.5Pro、MistralAI8x7B8x22B、阿里云Qwen-1.5MoEStep-2MoE架構，已成為當前大模型的重要演進趨勢。四是通過強化學習（ReinforcementLearning，RL）將思維鏈（ChainofThought，CoT）內化進模型，提升復雜推理能力。20249月OpenAIo1系（STEM表1LlamaLlamao1/o1ClaudeERINEERINE4.0AI1000k（100萬輯推理和泛化能力仍需強化。OpenAIo1系列模型為例，雖然OpenAI通過強化學習和思維鏈等技術方案使得o1系列模型在STEM當前G三是訓練成本U有出現一種能夠全面超越現有Transformer架構的基礎單元。表2視覺大模型：Transformer賦能圖像理解，擴散模2020ViT模型首次將圖像適配到Transformer架構，ImageNetCNNViT在務兩方面對ViT模型進行改進。在模型架構改進方面，微軟的SwinTransformer、Meta的MAE、DeiT、SAM、DINO2、蘇黎聯邦理工學院的PVT、McGill大學的CvT等模型從多尺度、知識蒸餾、自ViT網絡結構，在圖像分類、目標檢測與分割、圖像檢索、深度估計等傳統視覺任務上取得突破。ViT復雜度，對計算資源有較高要求。二是訓練數據依賴性強，ViT等擴散模型iinoes）勢：N）如）部人工智能廠商聚焦通過擴散模型持續提升圖像生成能力，包括tbiyI的taeiinpeI的Lagen等。生成樣本的評估主要基于FID分數，這一指標反映圖像全局的表征微軟的VisualChatGPT模型將OpenAI的ChatGPT22種不同的視PaLM-E模型利用現有LLM入轉化為LLM態輸入的統一和融合。OpenAICLIP模型通過對比學習，將圖像二是多模態生成模型。iiinnferasfer優勢，成為視頻生成模型主流架構。DT架構用asfer代替了傳統擴散模型中基于卷積網絡的et。asferpeI的oa10PpeI的oeinio能夠根據手機拍攝視覺信息與用戶對話交互實現多模態統3s，表3PaLM-OpenAI微軟DeepMindSalesforceStabilityAIStableOpenAIOpenAI快手RunwayGen-Llama3.1-405B為例，使1.6NVIDIAH100GPU15.6Ttoken544TheLlama3HerdofModels，MetaLlama5AISHPerf：PerformanceBenchmarksofArtificialIntelligenceSoftwareand針對模型架構優化的lahtetn、lahecong等創新技術。另一方面PyTorch目前，基礎通用框架兩強并立局面被打破，PyTorch比持續提升。PapersWithCode數據顯示，PyTorch框架在論文中使用2020951%2023960%，而同期TensorFlow則從20%驟降至3%左。從技術能力來看，2022年底發布的PyTorch2.050%99%，解決其2000余算子整合優化至250個左，僅需一行代碼即可實現1.5到2倍的到業界廣泛歡迎，逐漸擴大與TensorFlow的競爭優勢，先前持續數近年來國內涌現了一批如百度飛槳、華為昇OneFlow107086萬個模型，總PR97.7k，已在互聯網、醫療、安防、政府、科學計算領顯現。一是基于原有框架實現分布式訓練功能，例如，微軟eeped、英偉達earn基于ch其中，微軟eepedeepped在多U系統上展現出較好的分布式擴展性，相較于eaton點：一是芯片架構向定制化演進，迎合Transformer計算特性。如英HooperTransformer引擎提升算法計算性能，并利用啟發式算法實現數據精度動態切換（Blackwell架構二代Transformer引擎已支持FP8、FP6、FP4等多種低精數據），在保證性能的前提下降低計算總量；芯片創業公司Etched推出僅支持TransformerSohu芯片，犧牲編程能力提升計算速度，推理吞吐量達到H10020倍。二是存儲與互聯重要性日益提升。隨著算緩存kvMI300XB200顯存容量和顯存帶寬提升幅度（240%×H100），均超過算力提升幅度（220%×H100@FP16）。三是強調軟硬協同升級釋放硬的vLLMInstinctAI推理能力；英偉FlashAttention3H100芯片動態warp寄存器分配、FP8精度支持等特性，相比FlashAttention2速度1.5-2倍。InstinctMI325X芯片、英特爾Gaudi2芯片等，在內存容量、存儲帶寬、性價比等方面形成差異化競爭優勢。二是以Cerebras、Groq、d-Matrix、Graphcore等為代表的芯片初創企業，嘗試通過超大尺寸芯片、存內計算、近存計算等非常規技術路線取得突破，已獲得TPU已更新至第五代（TPUv5p），支持多模態大模型Gemini訓練；微軟推出MAIA1005nm云大模型訓推；Meta發布首款自研推理芯片MTIAv17nm工藝ASIC芯片，與自身PyTorch框架高度適配。此外，量子、類腦、160TOPS/W的超高能效，能夠以更低的資源消耗型服務體系（ModelasaService，MaaS）的平能力支撐，目標是圖4

如ch混daaco、lshttnin率目前，歌、微、騰、螞蟻頭部業廣泛用混度來升模的執效率，如eeped支的算融梯度累練框架均支持收斂性優化技術，如eepecJX支持dadaad業主流的訓練工具套件，如百度千帆大模型平、阿里百煉大模型平均支持上述微調技術。中、訓練后的低損與高效壓縮。如百度的模型自動化壓縮工具（AutoCompressionToolkit）可實現壓縮流程自動化6，商湯的神經網絡量化工具PPQ通過圖優化等技術實現高效的壓縮能力7二是國內外機構專注于大模型推理引擎的研發創新。6PaddleSlim/example/auto_compressionatdevelop·PaddlePaddle/PaddleSlim7openppl-public/ppq:PPLQuantizationTool(PPQ)isapowerfulofflineneuralnetworkquantizationtool.工具，如伯克利大學LMSYSORG（LanguageModelSystemsGenerationInference）DeepSpeedDeepSpeed-MII等。我國科LLMGPU和華為NPU卡8DashInferCPU卡上的高效推理9，螞蟻GLake通過對鍵值對緩存實現透明管理和存算解耦，進一步提協同優化的趨勢。如百度文心一言大模型結飛槳框架協同優化，使得推理性能提升百余倍騰訊太極平通過顯存+主存統一存儲管2.3倍。求。以上變化對模型應用的開發提出了新的要求，一方面，8/pcg-910/intelligent-machine-RAG等框架成為常用AI應用開發框架，大小模型組成為應用落平整了軟件開發的全流程工具，并提供了大量AI能力組件。例如，百度智能云千帆AppBuilder面向不同開發能力的用戶和開發場構建AI原生應用。字節跳動扣子應用開發平集成了超過60款類型的插件，可以極大地拓展IBot另一方面，國外模型應開平集很源并了的I工滿足的txI括l、eas、Clab等在內的開源框架，提供了模型訓練和部署的I，大模發展已經入多模態融階段，為人工智能習、訓aesfeeeach等機構聯團隊推出的包含萬億oen的史上最大多模態開源數據集liodallevd集為基礎預訓練的enM模型在視覺描述、視覺問答、多圖像數據集，大模型質評估、據成開放享等全命周，不僅要保證據。圖5多模態方向發展，預處理技術逐漸整文本、圖像、音頻、視頻等多OpenAI的GPT-4o模型實現了圖像、文本和音頻等不同多模態的詞元向量統一對齊，平均反應時間僅有320毫需利用AIApacheSpark等分布式計數據綜處理的能力，數據標注逐漸向專業化、智能化、多模態方體化智能數據處理服務平,可實現語音、圖像、視頻以及文本等全需求，跨領域的多模態標注技術，結圖像、聲音、文本和視頻的多模態聯標注，正在成為數據標注的新趨勢。例如，由HumanSignal開發的LabelStudio開源數據標注工具，可支持文本、圖像、語音等多模態數據標注，廣泛應用于NLP、CV、語音識別等領域，顯著提高了AI三是持續學習與反饋機制引入促進數數據采集和處理流程。20246月，OpenAICriticGPT，旨錯誤，CriticGPT63%。二是多模態數據質量評估框架快速發展。評估模型，確?？缒B數據的一致性和互補性。通過融計算評估。三是偏差與公平性評估成為數據質量評估重要組成部分。于I保障II文本數據，未來需要借助合成數據解決大模型的數據瓶頸。用。根據Gartner2024年，60%用于AI開發和分析的數據將會是成數據，到2030年，成數據將成為AI模型所使用數據的主要來源11。20246月，英偉達正式發布全新開源模型Nemotron-4340BBaseInstruct和獎Reward共三個模型。其中，指令模型Instruct的訓練僅依賴Nemotron-4340BSDGPipeline11Gartner,"MaverickResearch：ForgetAboutYourRealData-SyntheticDatalstheFutureofAl,"LeinarRamos,JitendraSubramanyam,24June2021據模型走向深度進化。傳統的數據成方法多依賴統計學和機器學習的基本原理，當前數據成技術聚焦于深度學習算法模型，特別是生成對抗網絡(GANs)的廣泛應用。GANs通過一對競爭性神經網多樣性，諸如StyleGAN、BigGAN等高級變種網絡技術，極大拓寬了數據成的應用邊界。二是多模態合成能力不斷突破。多模態融合發展。近期數據成技術開始與強化學習算法深度融，用于擬環境中學習策略。這種結不僅解決了現實界數據獲取難、風與合規性技術不斷增強。與成數據的結，使得在不暴露原始敏感信息的前提下，也能生機構、醫療保健等行業利用AI技術創造了條件。行業的發展路徑變革，全面帶動大規模產業升級。在傳統專。一方面，專用模型與業場景融深。通?？?，模型包傳統結小另一方面個業成效現，盡管行成熟度低有，但整表現出高24年724516.83%。與此同時，用戶需求不再局8月發布的《Top100AI應用》榜單顯示，52%的公司專注于圖像、視頻、音樂、語音等多種模式內容的生1258%屬于創意工具領域。（AIforResearchandDevelopment）的作用得以充分發揮。例如，某藥物分子大模型70%。另一方面，7×24小時的智能客服及專業科普服務，TCL通過視覺技術實現液晶面板缺陷檢90%60%。圖6AI技術通過與工業軟件、工業控制系統等關鍵工業要素的深度融，例如，AnyLogic仿真平通過強化學習降低重型機械運動，實現制66%11%。二是飛行器座艙內的AI驅動系統可以通過評估和通知燃油水平、系統AI找到最佳的設計路徑，消除原結構太重和產品質41個，重量減輕70%18.8%。四是助力環保與可持續發展。人工智能在節消費品行業rdcT營銷模型，結商品性與門趨勢可在分鐘內成富有創意8%24小的生產計劃。例如，京東物流利用大模型的數智化供應鏈技術聚85%95%，庫存30天。人工智能結地質學、遙感技術等多領域知識，提高礦產資源勘探的精度和效率。例如，加拿大的GoldSpotDiscoveries公司使用機器Recycleye公司開發了一套基于人工智能的廢物分類系統，能夠準確中理、大模作為引領代發展的略性技術已成為行業競相業常全方開展戰需求析，統規劃模型所需類資，研-2結打造道交通線路中級語平，乘客供智慧行新體。綜，模型在不同操作系統和平上部署的高度兼容性，從而保證大模型自身大小模型資源，構建大小模型協同鏈路，充分融大小型理、決策的要求較高，推理算力充足，可以選擇較大的模型，如如Qwen-7B、Llama-38B。AI能力平通過統一管理算法、數據、計算資源和模型，以標準化化。通常來看，AI能力平的核心功能包括統一納管計算資源、高AI資產等。對于初創企業，AI設施。通過敏捷開發模式，企業能夠在短期內推出最小可行產品（MVP），Docker和Kubernetes簡化部署，確保AI服務靈活支持業務需求。在有限資源條件下，初創企業可以通過這種方式快速構建可復用和擴展的AI能力平對于大中型企業，AI技術上，則需構建高效的數據整和模型管理平，通過微服務架構通過大小模型協同，構建了統一的AI能力平，廣泛應用于智慧服務了AI能力平通過標準化開發和管理，加速智能應用的落地，并為金智能化升級提供強大助力。工作流在任務執行過程中可以將任務拆分為不同步驟，通過理規HumanEval數據集上，GPT-GPT-3.5GPT-3.5上搭配智能體工作流，GPT-3.5GPT-4。智能體人機交互實現人類和智能體的優和平，如TensorFlowExtended(TFX)、MLflow、Kubeflow等，這模型煙囪式生產型時代的p，景，通過ps體系管理和運營Ips鏈路，結ISO/IEC42001《人工智能管理體系》等國際標準架構，企業推動構建基于風險的全生命周期規化管理體系。首先，從技，打據理、模建設、試驗和部署線等類活動全流程滿三角色并繞平數據模型算、業服務、員組織治圖7

舉措，國際作愈發緊密，國治理進程不斷提速，產業組織發揮圖8

Ray的安全漏洞，數千后，個人和組織的切身利益會遭到侵害。2023年以來，全國已經發1.1GPT訓練為例，1750億個參數的詢機構”，負責分析人工智能國際治理并提出政策建議。2024年，聯國大會先后通過《抓住安全、可靠和值得信賴的人工智能系13141516將治理落在實處，2024年9月聯國人工智能高級咨詢機構發布最23年12804年527等1際向聲》，將依托工智安全研所，化前沿工智能統研究作，進技術源、模型信、測數據共，推進工24年1安研究所絡成立議，推進人智能全方面全球和24年523年5能策的標化請求包含工智能統風管理、符性評和024年910。20241116家領先公司自愿承諾推動安全測試14110號行政令明確提出由美國國家標準與技術方案上，營造有利于創新的政策環境。20233月，英國發布《促的干預手段，強調監管的比例性，釋放人工智能創新活力。手段上，推出開源安全評估平臺掌握模型安全性。20245月，英國人工智能安全研究所推出開源的“Inspect”人工智能模型安全評估平，幫助產業評估人工智能模型的核心知識儲備量、推理能力與自。體系29年124年5。22年5I20245AIVerify。工智能治理原則出見》出度定》《生成式人工智能服務管理暫行辦法》，發布《人工智能生