騰訊分布式云DeepSeek本地部署方案

軟硬一體開箱即用

，加速企業DeepSeek落地騰訊云分布式云產品團隊

juanjia2025.3模型自我進化能力的“涌現”DeepSeek-R1-Zero展示出了自我進化(self-

evolution)能力

，隨著強化學習訓練進程的深入

，模型的思考時間在增加

，并自發出現了模型重新審視評估其先前步驟、以及探索解決問題的替代方法等更加復雜行為，是模型自我進化能力的“涌現”

，代表著強化學習（RL）有可能在人工系統中解鎖

新的智能水平

，為未來更加自適應的模型

鋪平道路。突破資源問題實現AI普惠的可行性DeepSeek論證了通過架構

，算法的創新，無需龐大的算力集群和大量的高質量數

據的情況下

，也能訓練出高質量的模型，

對優質數據稀缺

，算力卡脖子等問題給

出了一個新的指引方向。同時，

DeepSeek讓我們看到即使是在非常有限的算力下也能訓練出如此高效的模型

，為進一步降低算力成本

，實現AI普

惠提供支持依據。純強化學習訓練路徑的驗證DeepSeek-R1-Zero是第一個公開的研究

，驗證了LLM的推理能力可以完全通過強化學習(RL)來激勵

，而不需要SFT。這點意義重大

，是因為數據一直是推動機器學習模型能力的燃料。這一里程碑式的成就

，也為以RL為中心的推理AI進一步鋪平了道路。

DeepSeek引領意義

I企業引入DeepSeek難點：

合規與效率能否兼容

，算力和應用都需考慮一個企業級AI應用背后依賴10+IaaS/PaaS計算/網絡加速、訓推平臺、知識引擎、高性能存儲、容器

…DeepSeek需求如何匹配GPU算力？GPU算力如何調優？算力需求位置多變如何滿足？算力底座搭建難綜合維護門檻高GPU故障高

，可靠性如何保障？大規模AI集群技術門檻高……高性能GPU設備單臺百萬級傳統私有化方案無法像公有云訂閱付費企業敏感數據不能出園限制了大部分大模型應用必須本地部署AI應用構建難數據安全合規初始投入大……虛擬化Q

QEMU計算資源可共享資源利用率不高起步規模太重不適用于互聯網業務分布廣服務多可靠性高

費用靈活地點固定

數據在云上公有云云計算發展趨勢：

從私有部署

，

到公有云

，

再到公有+私有融合費用靈活服務豐富可靠性高本地服務數據不離場

客戶輕量運維本地服務

數據不離場服務少成本重可靠性一般?

服務全云化?

海量資源?

全國布點?

專業運營?

專業運維?

復用云上管理?

指定地點交付?

遠程運維?

安全合規?

更大規模?

更多云化

?

可運營

?

可運維分布式云私有云>

產品場景：傳統政企、本地IDC、專屬/私有云?典型客戶場景：央某著名企業/中大型私企IT底座、泛政/事業單位、智慧園區、行業云?部署位置：客戶本地IDC、邊緣場景（工廠/商場/醫院/學校

…）?同場景產品：超融合/VMWare、大型私有云、其他分布式云產品>

解決痛點：客戶本地IT

-降本增效、能力升級?本地部署：保持本地部署、專屬化服務、就近服務等私有化部署優勢?中心管控：解決傳統私有云可靠性、性價比低、能力弱等痛點算力

數據管控

分布式云：

面向本地IDC的新一代本地專屬云平臺私有云管控

算力

數據公有云管控

算力

數據騰訊云機房客戶機房分布式云>

方案優勢1：

開箱即用的強大AI

Infra騰訊云自研全棧AI

Infra

，高性能

H20/L20

HCC實例

，支持

3.2TB星脈網絡

，支持虛擬化、

容器（qGPU）

等豐富算力池化方案>

方案優勢2：

安全合規的本地部署方案支持客戶指定的本地IDC本地部署

，所有管控相關流量、

運維、

軟件升級均支持客戶審計>

方案優勢3：

DeepSeek應用構建全家桶?公有云50+豐富IaaS、

PaaS下沉本地

，含大模型常用高性能存儲、

矢量數據庫等?支持快速DeepSeek應用構建

：Ti-One訓推平臺、

知識引擎等組件一鍵部署>

方案優勢4：

托管交付/運維、

公有云一致體驗所有相關軟硬件由騰訊云全權負責交付、

運維

，基于分布式云CDC/CDZ

，客戶可在本

地IDC享受與公有云一致的優秀服務體驗ydeepseek分布式云DeepSeek本地方案：

軟硬一體、

開箱即用

，

企業級應用構建全家桶

基于本地部署的分布式云

，

一鍵引入騰訊云全棧DeepSeek生態服務高效部署

DeepSeek托管運維/管理豐富IaaS+PaaS支撐超強算力靈活輸出任意位置部署騰訊分布式云DeepSeek本地專屬解決方案（CDC/CDZ）云監控7x24在線服務云API/SDKTi-OneHAI知識引擎云硬盤CBS虛擬網絡

VPC高性能

文件存儲生產邊緣（工廠、醫院、學?！┛蛻鬒DC/辦公樓第三方IDC緩存服務GooseFS容器服務TKE云服務結合DeepSeek安全+AI運維+AI云控制臺支撐場景應用快速落地內容-AI數字創作教育-智慧教學零售-數智導購制造-智慧供應鏈醫療-智能診斷政務-政務數智人企業通用智能AI助手金融-智能投顧無縫擴容全托管服務云服務器CVM萬卡集群

+

RDMA集群單機柜/一體機客戶場景場景需求分析騰訊分布式云DeepSeek推薦方案AI應用部署位置算力規模解決方案預計開銷方案優勢企業AI助手（企業提效通解

，建議盡快引入）推理企業IDC/辦公樓機

房8~32卡?

分布式云底座?中端GPU算力整機（1~4臺）?

簡系統?

知識引擎（可選）數十萬~百萬級1

、軟硬一鍵部署2

、本地部署

，安全合規3

、全托管交付/運維4

、輕量起步

，可訂閱付費DeepSeek企業級應用（企業產品結合DS提升競爭力）推理客戶IDC/生產現場

（工廠/醫院/交通樞紐）8~32卡?

分布式云底座?中端GPU算力整機（1~4臺）?

簡系統數十萬~百萬級5

、支持任意位置部署

，0負擔分發企業DeepSeek應用基于DeepSeek

技術推出新模型（需企業自有AI人才/團隊）微調訓練企業IDC/第三方IDC100+卡?

分布式云底座?

高端GPU算力整機（10臺+）?

高性能存儲系統?

輕量化RDMA網絡?

Ti-One訓練/推理平臺千萬+6

、騰訊云自研超強AI

Infra算力

支持（星脈網絡、HCC、qGPU技術）7

、大模型服務全家桶一鍵獲?。ǜ咝阅艽鎯?、訓推平臺、知識引擎

，常用IaaS+PaaS）預訓練訓練企業IDC/第三方IDC500卡以上?

分布式云底座?

高端GPU算力整機（50臺+）?

高性能存儲系統/緩存系統?

大型RDMA網絡?

Ti-One訓練/推理平臺五千萬+分布式云DeepSeek本地部署：

從算力搭建

，

到應用構建

，

全場景支撐方案型號入門版（70B）滿血版（671B）高精滿血版（671B/RDMA）用途企業測試/中小

型應用高精度推理

，企業大型應用、商業用途推理推理推理、微調GPU設備1*

中端GPU整機1*

高端GPU整機2*

高端GPU整機總顯存8

*

48G8

*

96G16

*

96G卡間互聯-900GB/s900GB/sDeepSeek模

型支持70B（FP16）671B（FP8）671B（FP16）RDMA網絡無需無需3.2T互聯存儲（可選）（必選）云硬盤30TB起、

（可選）對象存儲100TB起、文件存儲

1TB起通算（可選）按需可選訓推平臺（可選）騰訊云Ti-One平臺（DeepSeek部署、訓推任務調度）知識引擎（可選）騰訊云知識引擎（RAG支持，意圖識別、文檔解析、檢索召回）分布式云DeepSeek本地部署：

面向起步場景的輕量一體化方案8分布式云DeepSeek本地輕量一體化方案DeepSeek全系列超強算力默認2*100G網絡可選3.2T

RDMA網絡主流、高端異構算力支持X86\ARM平臺生產邊緣（工廠、

醫院、

學校

…）第三方IDC客戶IDC/辦公樓任意位置部署R1、V3滿血版R1-Distill-Qwen-32BR1-Distill-Qwen-14BR1-Distill-

Llama-70B知識引擎安全+AI運維+AITi-OneTACOHAIAI平臺服務推薦：主流GPU卡

，合理配比下

，顯存越大越好（96GB）

，且支持卡間互聯不推薦：冷門卡

，顯存小

，算力/顯存比例失衡

，兼容性差推薦：CPU/GPU/網卡合理配某省市場主流8*GPU卡

，可單機、可分布式集群不推薦：卡密度過大(≥16卡）

，整機可靠性差

，業務擴展后組集群繁瑣推薦：提供端到端算力優化手段（網絡、軟件、硬件、虛擬化、AI平臺）不推薦：主要「賣鐵」

，廠商不具備全棧優化技術推薦：具備機器學習平臺、AI應用平臺、知識引擎等

，最好是PaaS化服務不推薦：沒有商業化AI平臺

，僅提供簡陋的「一鍵部署DeepSeek」腳本推薦：支持選配1.6~3.2T

RDMA網絡

，可單臺~萬卡無縫擴容能力不推薦：無RDMA網絡

，不可擴容或擴容方案不平滑

本地部署方案選擇建議：

分布式云對比其他一體化方案各類方案怎么選，哪些特性

有真正價值？「DeepSeek一體機」「單機跑滿血版DeepSeek」「一鍵部署DeepSeek」DeepSeek

本地部署方案GPU卡網絡擴展性AI配套服務GPU整機算力優化能力AI服務平臺Ti-One機器學習平臺Ti-Matrix

AI應用服務平臺Ti-DataTruth

數據標準平臺大模型知識引擎AI算力優化TACO：訓推計算加速套件qGPU：GPU算力「池化」vRDMA：0成本，大幅降低時延AI

Infra主流高性能GPU硬件3.2TRDMA

星脈網絡百TB吞吐、EB容量級存儲單臺~千臺萬卡無縫擴容

基于騰訊分布式云：

一站式引入騰訊豐富AI優勢能力I

騰訊云優勢AI云服務

1：

Ti-One機器學習平臺

，

一鍵部署全系大模型服務難點：涉及業務接口多、涉及反問澄清難點：圖文并茂、篇幅長、排版復雜難點：表格形式多樣、檢索程序性知識?組有序的步驟指如何完成某一業務的一套流程或步驟

，典型的如

業務對話流、

業務畫布例如辦理汽車貸款

，包含了確認汽車類型、

汽車排

量等一系列流程概念性知識二維表格、知識圖譜（1）

圍繞汽車車型的結構化表格

，行列之間表達

對應的關系：（2）

圍繞汽車中實體和屬性構建的知識圖譜

騰訊云優勢AI云服務2：

知識引擎

，

全鏈路解決企業知識處理難題事實性知識各種術語、描述、條款、介紹說明汽車術語：

智能鑰匙、

近光燈、

遠光燈、

自動防抱死系統、

安全座椅等企業知識場景訴求.大模型訓練涉及千億模型參數

，需要使用分布式的方式加速模型訓練速度；.

多機分布式訓練中網絡通信占比越來越重；.簡單堆機器的方式反而會導致分布式性能不升反而下降的問題；解決方案.TACO

Train

與

TACO

Infer

提供全流程加速服務；.

快速完成工業級訓練或推理任務部署；.

無感接入

，輕量部署；.極致性能

，助力業務從數倍到數十倍的加速優化；.

全場景支持CPU/GPU、各版本CUDA及Tensorflow/Pytorch/Onnx等訓練框架；

騰訊云AI算力優化能力

1：

TACO

Kit計算加速套件

，提升訓推效率30%

+HARP/TCCLTIDYTACO

Infer網絡計算存儲NLPAIGCCVRECTTF/LightCC/Angel

PTMTACO

Kit訓練加速推理加速加速庫框架硬件場景policy中文名含義BestEffort（默認值）爭搶模式默認值。各個Pods不限制算力，

只要卡上有剩余算力就可使用。如果一共啟動N個Pods，

每個Pod負載都很重，

則最終結果就是1/N的算力。FixedShare固定配額每個Pod有固定的算力配額，

無法超過固定配額，

即使GPU還有空閑算力。GuaranteedShare

withBurst保證配額加彈性能力調度器保證每個Pod有保底的算力配額，

但只要GPU還有空閑算力，

就可被Pod使用。例如，

當GPU有空閑算力時（沒有分配給其他Pod），

Pod

可以使用超過它的配額的算力。注意，

當它所占用

的這部分空閑算力再次被分配出去時，

Pod會回退到它的算力配額。?

Spread：平均分配保證負載穩定均衡?

Binpack：盡量填滿保證利用率?Best

Effort：保證最大的Throughput?

FixedShare：算力最低配置保證?BurstShare：算力最低保證

，允空閑

騰訊云AI算力優化能力2：

qGPU

，

容器虛擬化GPU算力GPU0

GPU1

GPUX計算任務單節點單卡離線PODs支持的調度策略qGPU調度策略qGPU

KubernetesScheduler

Pod

Pod

PodPod

Pod

Pod

binpackspread場景分析：對于數百卡級視覺、感知及大模型SFT場景

，主要