大語言模型服務(wù)管理的實踐分享1.

LLM服務(wù)管理的特征與挑戰(zhàn)2.

應(yīng)對思路與方案目

錄3.

現(xiàn)有的技術(shù)基礎(chǔ)之上擴(kuò)展支持4.

MSM:

用于管理

GenAI/LLM

工作負(fù)載的統(tǒng)一方式CONTENTSPA

RT

01LLM服務(wù)管理的特征與挑戰(zhàn)GenAI/LLM服務(wù)管理面臨獨特的挑戰(zhàn)傳統(tǒng)網(wǎng)絡(luò)流量管理GenAI/LLM流量管理?請求/響應(yīng)大小較小?由于多模態(tài)流量，請求/響應(yīng)大小較大?許多查詢可以并行處理?請求一到達(dá)就進(jìn)行處理?處理時間以毫秒計算?單個大語言模型查詢經(jīng)常占用100%的TPU/GPU計算時間?請求等待可用的計算資源?處理時間從幾秒到幾分鐘不等?相似請求可以從緩存中得到處理?請求成本由后端管理?每次請求通常生成唯一內(nèi)容?根據(jù)請求將流量路由到更便宜或更昂貴的模型?具備AI感知的負(fù)載均衡能力?傳統(tǒng)的輪詢或基于利用率的流量管理流量請求調(diào)度

Traffic

Request

Scheduling?

由于GenAI/LLM模型的?回歸特性，LLM推理請求的有效服務(wù)?臨不可預(yù)測的執(zhí)?時間的挑戰(zhàn)。?

LLM服務(wù)系統(tǒng)?多采?先進(jìn)先出（FCFS）調(diào)度，遭受??阻塞（head-of-line）問題。v

基于歷史數(shù)據(jù)和模型特性，訓(xùn)練出一個代理模型，用于預(yù)測每個推理請求的序列長度。v

利用代理模型的序列長度預(yù)測的推測最短作業(yè)優(yōu)先（SSJF）調(diào)度器。PA

RT

02應(yīng)對思路與方案SSJF調(diào)度器

-

引入Token長度預(yù)測器SSJF調(diào)度器-SpeculativeShortestJobFirstGPU集群模型服務(wù)請求批處理RequestPoolR1R2R3請求隊列的處理<Model,Input>OutputTokenLengthPredictorEndUsers預(yù)測Token長度?

輸出Token長度（N）決定了請求的執(zhí)行時間（T），因為T=C+K×N，?

K是生成一個標(biāo)記的延遲，?

C是模型服務(wù)系統(tǒng)的開銷，包括DNS查找、代理、排隊和輸入標(biāo)記化。?

K取決于模型優(yōu)化技術(shù)（例如，量化）和執(zhí)行環(huán)境（例如，硬件），對于所有輸入都是相同的。?

輸出Token長度決定執(zhí)行時間（線性關(guān)系）Ref：/James-QiuHaoran/LLM-serving-with-proxy-models智能工作負(fù)載優(yōu)先級調(diào)度令牌桶令牌填充率?

服務(wù)在處理每個請求之前都會與代理進(jìn)行校驗。獲得令牌或者繼續(xù)等待令牌??加權(quán)公平排隊調(diào)度器實施優(yōu)先級和公平性。WFQ調(diào)度器高優(yōu)先級獲得令牌的請求處理中優(yōu)先級低優(yōu)先級目標(biāo)服務(wù)丟棄的請求處理?對請求進(jìn)行標(biāo)記智能工作負(fù)載管理

–

流量調(diào)度管理套件?

通過限制并發(fā)中請求的數(shù)量，防范服務(wù)突然過載。??優(yōu)先處理工作負(fù)載，保障關(guān)鍵用戶體驗路徑使用權(quán)重公平排隊,根據(jù)業(yè)務(wù)價值和請求緊急程度調(diào)整資源分配,來實現(xiàn)應(yīng)用程序的優(yōu)雅降級?

超出此限制的任何請求將進(jìn)入隊列，并根據(jù)它們的優(yōu)先級在有能力提供服務(wù)時予以處理?

用于根據(jù)重要性調(diào)度請求，同時確保應(yīng)用遵守并發(fā)限制。流量調(diào)度管理套件統(tǒng)一的流量請求調(diào)度器統(tǒng)一的策略資源定義及控制器??自適應(yīng)調(diào)整請求速率限制,保護(hù)服務(wù)不受過載和級聯(lián)故障的影響通過細(xì)粒度標(biāo)簽識別單個用戶,根據(jù)業(yè)務(wù)特定標(biāo)簽控制爆發(fā)能力和填充速率;?

基于閉環(huán)反饋來逐步增加系統(tǒng)的工作負(fù)荷或請求量，而不是瞬間施加大的負(fù)載。?

能夠幫助系統(tǒng)逐步適應(yīng)增加的負(fù)荷，從而確保系統(tǒng)在負(fù)載增加過程中仍然穩(wěn)定運行，并最大限度地減少對系統(tǒng)的沖擊。?限制每個用戶或全局并發(fā)中請求的并發(fā)量;?

使用全局令牌桶和智能請求排隊，根據(jù)重要性安排請求?

和限流不同，若請求速率超過限制，此時請求不會被直接拒絕，而是進(jìn)入一個優(yōu)先級隊列，在保證請求速率始終在限制內(nèi)的同時對請求進(jìn)行優(yōu)先級調(diào)度。??通過緩存成本高昂的操作，防止對按使用付費服務(wù)的重復(fù)請求，減輕對受限服務(wù)的負(fù)載，提升應(yīng)用程序性能并降低成本基于現(xiàn)有技術(shù)還是從零開始？服務(wù)網(wǎng)格技術(shù)Pod控制面組件YAMLDev/Ops/SRE控制平面層數(shù)據(jù)平面層ConfigurationDataConfigurationRequest網(wǎng)格代理網(wǎng)格代理SidecarSidecar應(yīng)用服務(wù)應(yīng)用服務(wù)實例B實例A業(yè)務(wù)應(yīng)用層ContainerContainerMachine/PodMachine/Pod通過擴(kuò)展插件增強(qiáng)AI服務(wù)管理DLP數(shù)據(jù)丟失預(yù)防（敏感信息防護(hù)）自定義日志與監(jiān)控指標(biāo)提示詞保護(hù)請求信息轉(zhuǎn)換提示詞預(yù)處理響應(yīng)信息轉(zhuǎn)換提示詞修飾模型網(wǎng)格代理請求方模型推理服務(wù)插件市場開箱即用的擴(kuò)展能力PA

RT

03現(xiàn)有的技術(shù)基礎(chǔ)之上擴(kuò)展支持聲明式API支持增強(qiáng)AI服務(wù)管理模型網(wǎng)格請求方模型推理服務(wù)代理LLMSecurityPolicyLLMRouteLLMProviderIstio原生API聲明式用戶接口LLM請求路由外部HTTP服務(wù)管理外部LLM服務(wù)管理VirtualServiceServiceEntryLLMRouteLLMProvider入口網(wǎng)關(guān)入口網(wǎng)關(guān)用戶集群用戶集群業(yè)務(wù)Pod出口網(wǎng)關(guān)ServiceEntry外部服務(wù)業(yè)務(wù)Pod出口網(wǎng)關(guān)LLMProvider外部LLM服務(wù)相比普通的網(wǎng)關(guān)，ASM支持更多使用場景?客戶端通過入口網(wǎng)關(guān)直接訪問外部LLM服務(wù)。（二方業(yè)務(wù)）?集群內(nèi)服務(wù)訪問外部LLM服務(wù)。（三方業(yè)務(wù)）LLM請求路由基礎(chǔ)設(shè)施級別的LLM請求路由支持：應(yīng)用無感、動態(tài)配置、靈活切換根據(jù)用戶身份動態(tài)調(diào)整后端模型按比例在多個Provider之間分發(fā)流量用戶集群用戶集群普通用戶LLMProvider靈積服務(wù)靈積靈積服務(wù)qwen-1.8b-chat50%50%LLMProvider靈積業(yè)務(wù)Pod業(yè)務(wù)Podqwen-turboLLMProviderMoonshot訂閱用戶MoonshotLLM請求路由訪問外部

LLMProvider??自動完成HTTP到HTTPS協(xié)議升級自動配置model、stream以及API_KEY。入口網(wǎng)關(guān)用戶集群業(yè)務(wù)Pod出口網(wǎng)關(guān)LLMProvider外部LLM服務(wù)LLM請求路由根據(jù)用戶身份動態(tài)調(diào)整后端模型用戶集群普通用戶靈積服務(wù)qwen-1.8b-chatLLMProvider靈積業(yè)務(wù)Podqwen-turbo訂閱用戶LLM請求路由按比例在多個Provider之間分發(fā)流量用戶集群LLMProvider靈積服務(wù)靈積50%50%業(yè)務(wù)PodLLMProviderMoonshotMoonshotLLM請求安全防護(hù)全鏈路、多角度的LLM請求安全防護(hù)：能力全面、責(zé)任分離，滿足多種防護(hù)場景授權(quán)策略API_KEY管理JWT身份校驗全鏈路TLS/mTLS敏感信息校驗安全防護(hù)能力LLM請求安全防護(hù)多種安全模型：基于入口網(wǎng)關(guān)、sidecar以及基于出口網(wǎng)關(guān)應(yīng)用無感基于入口網(wǎng)關(guān)的安全模型基于sidecar的安全模型用戶集群用戶集群業(yè)務(wù)容器HTTPS流量HTTPHTTPS流量HTTPS入口網(wǎng)關(guān)外部模型服務(wù)sidecar外部模型服務(wù)mTLSHTTP流量mTLS私有模型私有模型???入口網(wǎng)關(guān)作為策略執(zhí)行點（PEP）執(zhí)行各種安全策略私有的小尺寸模型，用于鑒別敏感信息適用于普通二方業(yè)務(wù)，可以利用ASM網(wǎng)關(guān)完善的安全能力???Sidecar作為策略執(zhí)行點。適用于三方業(yè)務(wù)鏈路簡單，可執(zhí)行敏感信息檢測、HTTPS發(fā)起、API_KEY輪換能力等LLM請求安全防護(hù)多種安全模型：基于入口網(wǎng)關(guān)、sidecar以及基于出口網(wǎng)關(guān)應(yīng)用無感基于出口網(wǎng)關(guān)的安全模型出口網(wǎng)關(guān)作為策略執(zhí)行點適用于安全要求更高的三方業(yè)務(wù)，擁有完善的安全能力用戶集群業(yè)務(wù)容器外部模型服務(wù)HTTP???????API_KEY輪換以及防泄漏敏感信息檢測全鏈路TLS/mTLSJWT身份校驗授權(quán)策略sidecarHTTPS外部鑒權(quán)……HTTP流量mTLSmTLS私有模型出口網(wǎng)關(guān)LLM請求安全防護(hù)多種安全能力，全方位保障LLM應(yīng)用安全JWT身份校驗用戶集群HTTPS流量HTTPS流量入口網(wǎng)關(guān)外部模型服務(wù)mTLS私有模型以入口網(wǎng)關(guān)模型為例：入口網(wǎng)關(guān)作為策略執(zhí)行點。使用ASMSecurityPolicy

API對請求進(jìn)行校驗，防止未經(jīng)授權(quán)客戶端訪問LLM服務(wù)。LLM請求安全防護(hù)多種安全能力，全方位保障LLM應(yīng)用安全授權(quán)策略API_KEY管理通過LLMProvider配置??可以實現(xiàn)流量無損的API_KEY輪轉(zhuǎn)。API_KEY保存在網(wǎng)關(guān)內(nèi)存中（基于網(wǎng)關(guān)的安全模型），客戶端無法感知，防止泄漏。LLM請求安全防護(hù)多種安全能力，全方位保障LLM應(yīng)用安全出口網(wǎng)關(guān)作為策略執(zhí)行點??LLM請求Message靜態(tài)模式匹配使用私有小模型動態(tài)判斷請求是否包含敏感信息敏感信息校驗用戶集群業(yè)務(wù)容器HTTPsidecarmTLSHTTP流量mTLS私有模型出口網(wǎng)關(guān)HTTPS外部模型服務(wù)LLM請求可觀測可觀測

–

Log、Metrics、Trace,

兼容OpenTelemetry標(biāo)準(zhǔn)基于服務(wù)網(wǎng)格原生Telemetry資源定制訪問日志監(jiān)控指標(biāo)訪問日志增強(qiáng)鏈路追蹤監(jiān)控指標(biāo)新增指標(biāo)??自定義訪問日志字段??Prompt_tokensCompletion_tokens支持查看請求級別的token消耗情況、請求model動態(tài)配置，范圍靈活維度???請求源信息目標(biāo)ProviderModel?可觀測原生指標(biāo)增強(qiáng)PA

RT

04Model

Ser

vice

Mesh:

用于管理GenAI/LLM

工作負(fù)載的統(tǒng)一方式Model

Ser

vice

Mesh

=Ser

vice

Mesh

+

Model

Ser

vice

Pipeline服務(wù)網(wǎng)格