DeepSeek在得物部署優(yōu)化實踐完整版本的Deepseek-r1大模型。些優(yōu)化背后的思路。所需的時間。統(tǒng)每秒能夠處理多少請求。反映了系統(tǒng)每秒能處理的輸入或輸出Token數(shù)量。吞吐量如何設(shè)計高性能的大模型推理引擎擴展性好擴展性好設(shè)計性能足夠高如何設(shè)計高性能的大模型推理引擎CPU與GPU分離設(shè)計-解決PythonGIL鎖帶來的問題1.在傳統(tǒng)的Python多線程環(huán)境中，CPU密集型任務(wù)與GPU任務(wù)會爭奪GIL，導(dǎo)致GPU利用率低和高并發(fā)場景下響應(yīng)速度差。2.CPU與GPU分離解決了Python中全局解釋器鎖（GIL）帶來的性能瓶頸問題。3.通過分離CPU與GPU，避免了GIL競爭，從而提升了GPU任務(wù)的執(zhí)行效率和系統(tǒng)性能。如何設(shè)計高性能的大模型推理引擎CPU與GPU分離設(shè)計-性能提升推理服務(wù)框架類型耗時GPU使用率單進程設(shè)計(GPU與GPU任務(wù)分布多個線程)4.52%CPU與GPU多進程分離設(shè)計27.43437ms12%如何設(shè)計高性能的大模型推理引擎CPU與GPU分離設(shè)計-性能提升如何設(shè)計高性能的大模型推理引擎擴展性好的架構(gòu)如何設(shè)計高性能的大模型推理引擎擴展性好的架構(gòu)-sglangKV-Cache帶來顯存碎片問題1.大部分推理過程都涉及注意力計算2.每次計算都需要申請并使用一個名為kvcache的緩存。3.隨著請求的不斷增加，kvcache的大小與數(shù)量會逐步上升，而且它會被頻繁地被申請和釋放。4.如果不對kvcache使用的GPU顯存進行有效管理，顯存碎片將大量累積，最終可能導(dǎo)致系統(tǒng)性能下降甚至崩潰。來自/pdf/2309.06180與HuggingFaceTransformers相比，吞吐量可提升至24倍；與HuggingFaceTGI相比，提升可達(dá)3.5倍。KKCache管理類KVCache實現(xiàn)注意力計算使用KVCache緩存之前請求的計算結(jié)果，減少重復(fù)計算-RadixAttention這些場景還可以優(yōu)化在這些場景中，每次請求都會重復(fù)計算這些Prompt中可共享的部分工作原理/一個例子綴并重用其KV緩存，新消息作為新節(jié)點附加6.處理少樣本學(xué)習(xí)查詢：服務(wù)器收到不與現(xiàn)有節(jié)點共享緩存之前請求的計算結(jié)果，減少重復(fù)計算-RadixAttentionSGLang給出的RadixAttention性能對比效果，與當(dāng)前系統(tǒng)相比，SGLang吞吐提升了5倍以上。緩存之前請求的計算結(jié)果，減少重復(fù)計算-RadixAttentionRadixCache定義TreeNode節(jié)點定義RadixCache定義某個請求耗時過長在將大模型應(yīng)用于生產(chǎn)環(huán)境時，我們有時會遇到一種奇怪的現(xiàn)象：而系統(tǒng)的平均響應(yīng)時間卻依然正常。這是什么原因?qū)е碌哪兀坑秩绾谓鉀Q呢？順序逐個生成。請求分塊處理，避免單個請求卡頓-開啟chunkedprefill后，在高并發(fā)QPS下，平均RT提升了2倍。使用多卡推理，推理速度翻倍性能對比場景單卡大模型推理雙卡大模型推理2.4推理中單卡變雙卡可以顯著提升大模型推理速度與QPS。那為什么多卡可以提升大模型的推理速度呢？主要原因多卡推理的優(yōu)化是通過張量并行(tensorparallelism)實現(xiàn)的。使用多卡推理，推理速度翻倍張量并行假設(shè)你將tensorparallel設(shè)置為2，意味著使用兩張GPU來加速推理。在模型加載時，推理引擎會將大模型的attention參數(shù)的數(shù)量分為兩組，分別加載到每張GPU上。然后，在推理過程中，兩個GPU會并行計算注意力，最后再將結(jié)果聚合合并。使用多卡推理，推理速度翻倍1.這個是qwen2大模型的加載邏輯。2.對于多頭注意力機制，會依據(jù)GPU卡數(shù)對heads進行拆分。3.對應(yīng)的KVCache也會基于GPU卡數(shù)進行拆分。預(yù)測解碼的加速技術(shù)備受關(guān)注，它能夠在特定條件下顯著提升大型模型（如72B大模型）的推理速度。的小模型的小模型大模型+7B小模型使用大模型使用n-gram的方式工作原理工作原理Tensor并行將每個專家的權(quán)重平均分配到不同的GPU上，每個GPU持有所有專家的部分權(quán)重；專家并行則將部分專家的完整權(quán)重分配給不同的GPU，每個GPU僅持有特定專家的完整權(quán)重。DeepSeek：專家并行VSTensor并行對于MOE結(jié)構(gòu)的大模型來說，Tensor并行，每個token都需要經(jīng)過所有GPU的計算，最后在聚合。但是專家并行只需要部分GPU計算，可以避免大量的GPU聚合通信。優(yōu)化效果優(yōu)化效果工作原理工作原理?將1-tokenmulti-token生成。個token，速。來自：/pdf/2412.19437DeepSeek-NextNModelCodeDeepSeek-NextNModelCodeSGLang預(yù)測解碼python3-msglang.launch_server--modeldeepseek-ai/DeepSeek-R1--speculative-algoEAGLE--speculative-num-steps2--speculative-eagle-topk4--speculative-num-draft-tokens4--trust-remote--tp8性能提升性能提升1354ms/412ms23.851298ms/393ms47.14開啟了MTP+預(yù)測解碼后，在并發(fā)1的情況下，吞吐提升了接近1倍。單機部署單機部署8*H20*96Gpython3-msglang.launch_server--tp8--enable-p2p-check--host--port5000--trust---max-running-requests128--context-length32768--mem-fraction-static0.9--enable-torch-compile32K270tokens/s雙機部署MasterWorker雙機部署MasterWorker2*8*A100*80G128K210tokens/s 280tokens/sIB網(wǎng)絡(luò)，節(jié)點間雙卡帶寬可以達(dá)到12GB/s大模型訓(xùn)練平臺一鍵發(fā)起微調(diào)訓(xùn)練與推理部署?選擇大模型，基于之前提到的大模型選擇原則，在大型模型平臺上選擇您需要的大模型。?上傳訓(xùn)練數(shù)據(jù)，按照上述數(shù)據(jù)準(zhǔn)備方法，將您準(zhǔn)備好的數(shù)據(jù)上傳到大型模型平臺。?配置訓(xùn)練參數(shù)，通常情況下，選擇默認(rèn)配置參數(shù)，如Lora，即可。這些參數(shù)通常經(jīng)過優(yōu)化以獲得最佳的訓(xùn)練效果可。?訓(xùn)練，點擊相應(yīng)按鈕，啟動訓(xùn)練過程。大型模型平臺將自動處理訓(xùn)練任務(wù)，以便您專注于業(yè)務(wù)應(yīng)用的開發(fā)和部署。?一鍵部署，訓(xùn)練后，業(yè)務(wù)方可以點擊按鈕，一鍵部署，發(fā)布到生產(chǎn)環(huán)境。?效果體驗，部署后，業(yè)務(wù)方可以快速訓(xùn)練體驗效果。兼容任意訓(xùn)練框架大模型訓(xùn)練平臺兼容任意訓(xùn)練框架?用戶上傳數(shù)據(jù)與大模型。?用戶選擇訓(xùn)練框架，比如llama-factory或unsloth。?配置訓(xùn)練參數(shù)，即可開始訓(xùn)練。?主要解決不同框架支持不同的訓(xùn)練方法的問題。大模型訓(xùn)練平臺業(yè)務(wù)方訓(xùn)練數(shù)據(jù)如何來大模型訓(xùn)練平臺利用多Lora方式部署大模型訓(xùn)練平臺利用多Lora方式部署利用空閑資源部署通用大模型大模型訓(xùn)練平臺利用空閑資源部署通用大模型?