目錄CONTENTS目錄CONTENTSLLM訓(xùn)練開銷大、效率低代碼層面訓(xùn)練低效的主要原因如何知曉你的訓(xùn)練任務(wù)是否存在這些問題？LLM推理開銷大、時延高640GB:1Nodex8GPU1.28TB：2Nodex8GPUTimePerOutputToken(TPOT)ModelBandwidthUtilization(MBU)GPU并非越多越好GPU越多，則通信越復(fù)雜，內(nèi)存碎塊越多。沒有銀彈，唯有持續(xù)觀測&優(yōu)化。GPU并非越少越好GPU并非越少越好GPU越少，則每個GPU需要加載更多的排查LLM推理顯存消耗的挑戰(zhàn)從推理應(yīng)用到在線LLM推理服務(wù)APIGWPromptsSignalsAuthServiceAuthCachettVectorDBGatewayVectorDB從大模型到小模型：消費級GPU、CPU協(xié)同AI訓(xùn)練和推理的可觀測性需求tcudaMemcpyop(N,x,y)cudaSynccudaMemcpyGPUCOMMRDMA網(wǎng)絡(luò)：網(wǎng)卡/交換機指標(biāo)、撥測Meta:NetworkAI/ML應(yīng)用forAI/HPCTrainingWorkflows私有基礎(chǔ)設(shè)施公有云網(wǎng)卡/交換機指標(biāo)RDMA網(wǎng)絡(luò)粒度粗公有基礎(chǔ)設(shè)施是性能黑盒字節(jié)&北郵聚焦RDMA網(wǎng)絡(luò)主動撥測在線推理服務(wù)的可觀測性：分布式追蹤OpenLLMetry支持的語言有限、需要修改代碼eBPF的可觀測性能力使用eBPF實現(xiàn)可觀測性的優(yōu)勢使用eBPF實現(xiàn)持續(xù)剖析的技術(shù)挑戰(zhàn)如何合并PythonStack和C/C++Stack#0#0__select_nocancel()#1pysleep#2time_sleep#3call_function#4PyEval_EvalFrameEx#5fast_function#6call_function#7PyEval_EvalFrameEx#8fast_function#9call_function#10PyEval_EvalFrameEx#11fast_function#12call_function#13PyEval_EvalFrameEx#14fast_function#15call_function#16PyEval_EvalFrameEx#17_PyEval_EvalCodeWithName#18PyEval_EvalCodeEx#19PyEval_EvalCodeww例：剖析顯存申請和使用量Hookcuda_malloc使用eBPF實現(xiàn)分布式追蹤的技術(shù)挑戰(zhàn)DeepFlow中的eBPFAutoProfilingCUDAmem-alloc顯存申請火焰圖CUDAmem-inuse顯存實時用量火焰圖RDMA網(wǎng)絡(luò)性能剖析等待wr完成在線推理服務(wù)、端側(cè)ROS2推理服務(wù)內(nèi)置協(xié)議識別能力+可編程協(xié)議識別能力t……t…….如何快