




版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領
文檔簡介
標準解讀2025年6月01.標準編制背景02.標準編制思路及主要內容03.下一步工作計劃政策、市場交織驅動,Serverless標準合印發《關于深入實施“東數西算”代碼統一調度代碼Serverless算力互聯互通通過整合算力資源經過統一調度平臺提供算力服務。Serverless服務提供商為用戶屏蔽底層資源限算力互聯互通通過整合算力資源經過統一調度平臺提供算力服務。從用戶角度看,無論是算力互聯互通還是Serverless,在資源測都能夠提供“無限”算力,無需擔心資源數量的問題。?算力互聯互通是一個巨大的Serverless資源池。?Serverless平臺是一個微觀的算力互聯互通平臺。政策、市場交織驅動,Serverless標準0101AI驅動下Serverless的剛需AI應用開發周期長、資源浪費及高運維成本問題, 推動市場依賴Serverless輕量化彈性架構,實現資 源按需分配與自動伸縮,降低開發門檻與閑置損耗。2025中國Serverless用《2025中國Serverless用戶調查》:是否考慮Serverless方式承載AI任務0202AI增強Serverless能力AI技術深度參與Serverless資源調度策略,通過動態學習與預測能力優化資源利用率及系統穩定性,形成雙向驅動的技術閉環。Serverless迅猛發展(2014年–20Serverless概念開始發酵(2006年–20“Serverless”概念。Serverless理念初步形Serverless形態逐漸豐富(2018年–20Serverless+AI系列標準編制情況n“Serverless+AI”系列標準聚焦AI發展對Serverless的影響,梳理AI應用對彈性計算、異構算力支持、模型調用等方面提出的新需求,從計算資源、應用管理、模型管理三大維度切入,明確Serverless平臺在支撐AI場景下所需具備的技術能力和服務規范。n適用于為Serverless平臺的設計提供參考,也適用于衡量已有Serverless平臺的建設水平。計資編制歷程編制組工中國信通院計資算源阿里云、火山引擎、AWS、聯通軟研院、華為云、中移杭研、中電金信、九章云極、電信、農行、工行、浪潮數據發布“算源阿里云、火山引擎、AWS、聯通軟研院、華為云、中移杭研、中電金信、九章云極、電信、農行、工行、浪潮數據2025年2月-2025年3月:應用阿里云、火山引擎、AWS、華為云、中移杭研、中開發應用阿里云、火山引擎、AWS、華為云、中移杭研、中開發電金信、九章云極、四川長虹2025年3月—5月:開展2次集中研討會,十余次小范圍研討會,型九章云極、型九章云極、阿里云、火山引擎、聯通軟研院、AWS、理中電金信、華為云、中移杭研模管2025年6月:”Serverless+AI“系列標準(計算資源和應用開發)定稿并正式發布基于人工智能的服務器無感知能力要求系列標準(制定中)(制定中)模型管理應用管理計算資源計算資源.單域度量:衡量”Serverless+AI“單個域的能力水平。評估特定模塊的技術成效與落地情況。.完整度量:用于系統評估“Serverless+AI”在計算支撐、模型管理、平臺服務三個核心能力域的綜合能力水平,適用于全棧建設的單位,明確優化方向或驗證整體建設成效。以推動“Serverless+AI”融合能力提升、促進智能化應用高效落.多維度把脈:系統化評估Serverless在支撐AI應用過程中的關鍵能力水.問題定位精確:深入剖析在算力支撐、模型管理、應用開發等方面的能計算資源-計算資源適配(1/5)行業現狀AI業務對底層計算資源的異構性和適配能力提出更高要求,平臺需支持多種當前挑戰????行業現狀AI業務對底層計算資源的異構性和適配能力提出更高要求,平臺需支持多種當前挑戰????協同能力差:資源池化與虛擬化封裝能力薄弱,無法支撐大規模并發調用解決方案通過標準化驅動接口、資源虛擬化與池化技術,構建統一的算力接入與調度應用方CPUGPU支持異構資源統一識別與接入實現平臺內算力資源的高效整合資源無感知:上層任務對底層硬件配置與資源分配過程的透明化、零感知調用平臺自動完成資源綁定與環境初始化開發者調用無硬件依賴、環境一致性保障實現任務運行過程對資源調度透明資源分配與管理:對計算資源的精細劃分、動態伸縮、隔離控支持精細化資源分配與任務級隔離提供配額、優先級與彈性伸縮策略實時監控與動態調整資源使用資源協調:多云、邊緣等分布式環境中資源的統一調度與任務的高效協同執行跨多云與邊緣統一調度模型任務就近執行低延遲任務,保障服務性能確保多源環境下的數據一致性與傳輸可靠計算資源-資源調度與伸縮(2/5)行業現狀AI任務請求呈現周期性波動,資源調度系統亟需提升自動化伸縮與智能決策當前挑戰????行業現狀AI任務請求呈現周期性波動,資源調度系統亟需提升自動化伸縮與智能決策當前挑戰????多租戶干擾:租戶間資源隔離不足,導致高并發下出現性能干擾與爭搶現解決方案基于業務負載動態感知與歷史趨勢預測,構建多策略聯合調度與自動擴縮容多維指標驅動自動擴縮容橫向與縱向伸縮并行調控預測式策略滿足業務高峰多種調度算法靈活組合實例健康檢測與任務優先分發并發感知與預熱策略提升穩定性調度優化算法提升裝箱率任務分片、搶占與動態遷移調度隊列可視與任務狀態展示多租戶管理:管理不同租戶間的資源隔離、權限分配與獨立計量,保障多租環租戶級資源隔離與配額控制租戶維度監控與權限管理臨時超配審批與獨立計費通道計算資源-性能優化(3/5)性能優化衡量平臺在模型資源使用優化策略和網絡能力等方面的效率,優化冷啟動與資源占用。行業現狀行業現狀解決方案模型預加載服務級模型預加載與復用加載策略與版本綁定機制解決方案模型預加載服務級模型預加載與復用加載策略與版本綁定機制降低首次調用的冷啟動時延模型預熱機制維持熱實例池應對突發負載提供定時、策略驅動的預熱觸發方式實現冷熱請求自動分流模型緩存開銷多級緩存結構管理模型/權重等內容淘汰策略與緩存清理告警緩存命中率與開銷指標監控通過模型預加載、熱實例預熱、分層緩存和任務感知調度等策略,并配合多????當前挑戰????當前挑戰彈性IP與內外網帶寬管理適配RDMA等高性能通信協議全鏈路數據審計與限流機制計算資源-可觀測性(4/5)和計量計費(5/5)可觀測性評估平臺對算力資源與AI服務全生命周期的監控能力,覆蓋任務狀態、資源使用、告警聯動與趨勢分析。計量計費評估平臺對資源使用行為的計量精度與計費靈活性,支持多種模式組合與成本可視化分析。行業現狀行業現狀當前挑戰????指標覆蓋不全:監控指標多聚焦主機資源,缺乏AI任務級與模型級觀測能分析維度單一:無法按租戶、任務、模型等多維度拆解性聯動機制缺失:告警響應機制與擴縮容、調度調整缺乏解決方案解決方案建立從算力資源到模型任務的全鏈路監控體系,提供多維指標采集、趨勢分可觀測性:可觀測性:建立資源、任務、模型等多維指標的監控體系,支撐實時告警與趨勢分資源、模型、任務多維監控指標運行異常自動告警與聯動響應集成Prometheus等主流監控框架行業現狀行業現狀AI業務算力資源構和運營成本高,需引入靈活計費策略保障商業化可持當前挑戰當前挑戰????租戶賬單不清:多租戶場景下資源歸屬與費用分動態定價能力弱:資源緊張或閑置時無法調整價格以激勵解決方案解決方案計量計費:支持多種計費方式與賬單模式,提升資源使用的透明性、可追溯按量、按時、按資源多模式計費實時與周期賬單輸出成本追溯、審計與優化建議反饋應用管理-應用開發(1/3)應用開發指基于Serverless能力的應用開發平臺,能夠快速構建AI應用,提供標準化開發接口、事件觸發機制與模型能力封裝的服務,降低AI業務構建復雜度,實現邏輯與資源解耦。應用開發典型應用開發智能體MCPServer開發模式代碼和函數管理開發調式能力低代碼支持配套集成能力低代碼支持配套集成能力調式策略和工具API接口調式策略和工具輸入輸出規范平臺兼容性開發形式測試流程規范跨環境調用能力測試流程規范開發能力支持多平臺兼容性開發能力支持應用管理-應用測試(2/3)應用測試指平臺提供標準化的測試工具與運行環境,支持對AI應用進行功能驗證、并發測試、事件觸發模擬、資源適配性測試以及跨平臺兼容性驗證,確保應用在Serverless體系內的穩定運行與無縫部署。呂Serverless開發平臺呂Serverless開發平臺全流程測試推理測試"a并發性能測試資源消耗測試兼容性測試性能負載測試:AI應用在不同負載條件下的推理響應能力、并發處理性推理測試模型首次調用的冷啟動耗時推理過程中的延遲、負載與資源使用情況定期執行性能基準測試,驗證指標穩定性基于歷史數據預測延遲趨勢并提供優化建議并發測試使用多線程或分布式工具模擬大規模并發請求采集響應時間、吞吐率、錯誤率等關鍵性能指標識別系統并發瓶頸并評估自動擴縮容效果資源消耗測試函數執行期間CPU/GPU、內存、IO等資源指標輸出資源使用報告并推薦優化方向與配置策略兼容性測試:AI應用在多平臺Serverless環境中的適配能力,保障跨驗證AI應用對Serverless平臺的跨平臺兼容性分析不同平臺下運行差異并提供修復建議應用管理-應用部署、運行與運維(3/3)應用部署、運行與運維指平臺支持AI應用的自動部署、彈性運行與全生命周期運維管理,具備任務級監控、日志追蹤、性能分析與智能告警能力,保障Serverless環境下AI服務的高可用、可觀測與高效運營。自動化部署支持函數、容器與模型的自動化注冊與上線實現配置驅動的部署流程模板化與一鍵化支持多版本部署與灰度發布策略配置支持函數、容器與模型的自動化注冊與上線實現配置驅動的部署流程模板化與一鍵化支持多版本部署與灰度發布策略配置提供資源適配與調度自動綁定機制支持事件驅動自動部署觸發邏輯可觀測實時監控任務執行狀態與資源使用情況自動記錄執行鏈路與函數調用日志便于排障定位監測關鍵業務指標,評估AI應用實際效果識別函數上下游調用關系,保障流程透明可溯提供多維分析視圖深入解讀業務表現差異支持業務效果指標的可視化展示與自動報表生成建立反饋機制推動模型持續訓練與性能優化智能運維動態分配資源保障高優先級任務穩定運行定期分析資源使用并自動推薦優化策略自動監測運行狀態并觸發恢復操作應對異常基于歷史數據預測故障趨勢實現預防性維護下一步工作計劃——持續制定完善標準內容繼續模型管理部分標準內容的制定,持續打磨完善計算資源和應用開發兩部分內容完成模型管理部分標準制定下一步將加快模型管理標準的制定進程,聚焦模型開發、訓練、推理、托管細化已完成部分標準內容后續將對已發布的標準條款進行精細化補充,明確關鍵能力指標的邊界定義與分級要求,增強標準的可操作性與可評估性。重點聚焦術語統一、能力等級量化、典型場景覆蓋等方向,逐步構建覆蓋全鏈條、全生命周期的Server
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
- 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
- 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 醫藥電商平臺藥品供應鏈金融與合規風險管理報告
- 2025年生物質能源分布式能源系統能源效率與環保標準優化報告
- 金融科技行業估值方法與投資策略研究報告-2025年展望
- 現場演藝市場復蘇2025年虛擬現實演出形式研究報告001
- 2025年基層醫療衛生機構信息化建設中的醫療信息化與醫療服務互聯網化監管體系報告
- 交通設備制造業數字化轉型與智能生產質量保障報告
- 安全主管試題及答案
- 安全責任試題及答案
- 區塊鏈技術驅動2025年數字貨幣在金融領域應用與風險控制報告
- 安全試題單選竅門及答案
- 現場質量問題分析與解決培訓課件PPT
- 醫院年薪計算工分制分配方案
- 建筑工程施工現場質量及安全管理流程圖措施體系落實計劃
- 混凝土減水劑測試指標培訓課件
- 山東中醫藥大學內經選讀(專升本)期末復習題
- 醫療保險基本政策培訓PPT
- 連云港師范高等??茖W校輔導員考試題庫
- 2023年湖北黃岡市檢察機關招聘雇員制檢察輔助人員50人高頻考點題庫(共500題含答案解析)模擬練習試卷
- 《國有企業招投標及采購管理辦法》
- 05G525-吊車軌道聯結及車擋(適用于鋼吊車梁)課件
- TQGCML 757-2023 硫酸鈣晶須規程
評論
0/150
提交評論