一．前期評(píng)估首先，在開始設(shè)計(jì)之前，你必須明確自己搭建私有化大模型的目的所在，并對(duì)可投入的時(shí)間和成本有明確估算，確保在可行性評(píng)估上沒有明顯不通過項(xiàng)。有些基本常識(shí)在設(shè)計(jì)前，需要再次重申，如下：1.建設(shè)大模型需要三個(gè)生產(chǎn)要素，IT基礎(chǔ)設(shè)施，算法模型和數(shù)據(jù)，同時(shí)需要相應(yīng)技術(shù)人員。2.基于GPU的算力集群資源不僅貴，還緊缺，這個(gè)狀況最保守估計(jì)在2023年底前不會(huì)改變，（個(gè)人認(rèn)為在2024年上半年前也不會(huì)有大變化）。你需要克服困難去籌集GPU卡資源(由于顯存和通信帶寬時(shí)延的能力差距，目前最適合大模型訓(xùn)練的仍然是H100，4090只能承擔(dān)推理)3.前期的數(shù)據(jù)歸集和預(yù)處理，以及后期的訓(xùn)練和微調(diào)，時(shí)間周期通常以月計(jì)，整個(gè)過程很難在幾周內(nèi)完成，在項(xiàng)目周期評(píng)估上要有心理準(zhǔn)備。4.雖然大模型已經(jīng)表現(xiàn)出了令人驚艷的能力，但私有化大模型通常面向垂直行業(yè)應(yīng)用，最初得到的效果可能會(huì)有所不同，和數(shù)據(jù)質(zhì)量，行業(yè)特點(diǎn)以及項(xiàng)目預(yù)期都有關(guān)系。以上基本信息明確無誤后，需要再次評(píng)估是否具備啟動(dòng)條件，如果以上問題都有好的答案或者解決方法，那么就可以進(jìn)入設(shè)計(jì)階段。二．整體設(shè)計(jì)流程分為三步：篩選模型，規(guī)模訓(xùn)練，適配部署1．以最小規(guī)模，快速尋找最合適的模型現(xiàn)在可用的開源模型已經(jīng)相當(dāng)豐富，但針對(duì)你的特定應(yīng)用需求，必然有合適與不合適之分，在這一步，你需要尋找最優(yōu)模型。如何評(píng)價(jià)最優(yōu)？通常來講，大模型訓(xùn)練的最終結(jié)果呈現(xiàn)都是“一個(gè)能夠進(jìn)行完成某些任務(wù)的輔助工具”，co-pilot、副駕、數(shù)字助理都是非常形象的描述，評(píng)價(jià)好壞主要是看這個(gè)工具的準(zhǔn)確度。查找模型的過程，業(yè)界使用了另一個(gè)術(shù)語“超參數(shù)搜索（HyperparameterSearch）”來描述。Lambda的一份公開資料中有個(gè)圖畫得很形象，我這里借用一下：所謂超參數(shù)是在機(jī)器學(xué)習(xí)過程啟動(dòng)之前就預(yù)先設(shè)置的參數(shù)，典型的超參數(shù)有學(xué)習(xí)率learningrate，批次大小batch_size，迭代次數(shù)Epoch，影響模型泛化能力的正則化系數(shù)，和神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)參數(shù)層數(shù)，神經(jīng)元數(shù)量，卷積核大小等。不同的超參數(shù)設(shè)定加在一起，基本就確定了具體模型。通常情況下，我們需要做超參數(shù)調(diào)整優(yōu)化，選擇一組最優(yōu)超參數(shù)，以提高機(jī)器學(xué)習(xí)的性能和效果，得到最優(yōu)模型。在實(shí)踐中超參數(shù)調(diào)整一般使用人工設(shè)置調(diào)整的范圍，然后用機(jī)器在超參數(shù)范圍內(nèi)進(jìn)行搜索，這個(gè)過程稱為超參數(shù)搜索。常見的基礎(chǔ)超參數(shù)搜索方法通常有網(wǎng)絡(luò)搜索GridSearch、隨機(jī)搜索RandomizedSearch或者拉丁超立方采樣Latinhypercube等，具體細(xì)節(jié)有很多公開資料介紹，這里不再深入。超參數(shù)本質(zhì)上是參數(shù)的參數(shù)，人工介入配置，每次改變調(diào)整超參數(shù)，模型都要重新訓(xùn)練，然后做相應(yīng)的驗(yàn)證評(píng)估工作，一個(gè)輪次周期可能從幾個(gè)小時(shí)到兩三天不等。這時(shí)候的設(shè)置的硬件規(guī)模也可以比較小，甚至可以從一臺(tái)有GPU的游戲筆記本電腦起步，只是時(shí)間周期可能會(huì)長(zhǎng)，如果有三臺(tái)GPU服務(wù)器，搜索周期一定會(huì)大大縮短，畢竟算力決定時(shí)間；并且由于資源的保障，也可以考慮每臺(tái)服務(wù)器并行跑不同的模型，這樣更快出結(jié)果。2．按需擴(kuò)大至設(shè)計(jì)規(guī)模，進(jìn)行訓(xùn)練和微調(diào)找到了最適合的模型之后，那就該“動(dòng)真格的了”，上規(guī)模。至于是擴(kuò)展到幾十臺(tái)服務(wù)還是幾萬臺(tái)，一得看設(shè)計(jì)預(yù)期，二得看預(yù)算和硬件資源籌集能力。在無視第二點(diǎn)“可能的實(shí)際困難情況下，我們看看如何分析需求：2.1需求分析設(shè)計(jì)構(gòu)建訓(xùn)練集群的基礎(chǔ)設(shè)施時(shí)，主要是分析算力需求，總算力需求的計(jì)算方法可以參考以下公式，并適當(dāng)考慮余量訓(xùn)練總算力需求=模型的參數(shù)量x訓(xùn)練數(shù)據(jù)的token數(shù)x6其中，6這個(gè)倍數(shù)是Transformer架構(gòu)所決定的，因?yàn)槊總€(gè)token在模型正向傳播時(shí)會(huì)做一次乘法和一次加法，而反向傳播做兩次乘法和兩次加法，合計(jì)總計(jì)算次數(shù)為6。注：神經(jīng)網(wǎng)絡(luò)通常是左邊若干個(gè)神經(jīng)元，右邊若干個(gè)神經(jīng)元，組成一個(gè)完全二分圖。假設(shè)我們選出其中任意兩個(gè)：左邊的神經(jīng)元P和右邊的神經(jīng)元N。正向傳播的時(shí)候：P把它的輸出乘上P和N之間的權(quán)重w，發(fā)給N；乘法1N連了多個(gè)神經(jīng)元P，因此要加到一起，這就是reduce，需要一次加法。加法1反向傳播的時(shí)候：N把它收到的梯度乘上P和N之間的權(quán)重w，發(fā)給P；乘法2P同樣連了多個(gè)N，需要把梯度reduce一下，也做個(gè)加法；加法2除外，權(quán)重w需要更新，那就要計(jì)算w的梯度，把N收到的梯度乘上P正向傳播的輸出（activation）；乘法3一個(gè)batch一般有多個(gè)sample，權(quán)重w的更新需要把這些sample的梯度加到一起。）加法3因此一共是三次乘法和三次加法，計(jì)算總量的倍數(shù)就是6而推理算力需求可以參考公式，如下：（至于如何推出的公式，這里就不細(xì)說了）推理總算力需求=2x輸出token數(shù)量x參數(shù)數(shù)量flops至于GPU算力，主要的網(wǎng)卡公開資料也都有，如下表：4090A100H100算力(TensorFP16)330Tflops312Tflops1979Tflops算力(TensorFP32)83Tflops156Tflops989Tflops顯存容量24GB80GB80GB顯存帶寬1TB/s2TB/s3.35TB/s通信帶寬64GB/s900GB/s900GB/s通信時(shí)延~10us~1us~1us價(jià)格$1600$15000$30000~$40000其中A100和H100訓(xùn)練和推理都適合，但4090只適合做推理，通信能力和顯存都太低，非常拖累訓(xùn)練效率，基本可以認(rèn)為不可用。需求的算力可以計(jì)算，典型GPU算力也有數(shù)據(jù)，讓兩部分得到匹配，需求分析的基本工作就可以完成了，接下來就可以進(jìn)入設(shè)計(jì)階段。如何設(shè)計(jì)管理大集群本就是一個(gè)很難的課題，尤其集群規(guī)模擴(kuò)大到一定程度后，必須考慮節(jié)點(diǎn)數(shù)量帶來的故障概率，所以如何設(shè)計(jì)故障域隔離，實(shí)現(xiàn)高可靠機(jī)制，組建多重高性能網(wǎng)絡(luò)等，都是必須要考慮的因素?？偟膩碚f，整體系統(tǒng)設(shè)計(jì)可以分為三個(gè)層次：集群級(jí)，機(jī)柜級(jí)和節(jié)點(diǎn)級(jí)，下面逐個(gè)討論。2.2集群設(shè)計(jì)集群設(shè)計(jì)和在IDC的部署運(yùn)維緊密相關(guān)，這個(gè)階段都是非?；A(chǔ)的內(nèi)容，設(shè)計(jì)從頭出發(fā)，具體來說是5個(gè)方面：數(shù)據(jù)中心的狀況、算力服務(wù)器、存儲(chǔ)平臺(tái)選擇、高速網(wǎng)絡(luò)，以及基礎(chǔ)集群軟件數(shù)據(jù)中心:數(shù)據(jù)中心的T級(jí)標(biāo)準(zhǔn)，平面布局，機(jī)柜容量和每機(jī)柜電力容量算力服務(wù)器：多少實(shí)際算力需求，算力服務(wù)器的GPU卡和接口配置等存儲(chǔ)：存儲(chǔ)容量，并發(fā)性能，共享能力，高速緩存，GDS兼容和優(yōu)化網(wǎng)絡(luò)：IB高速網(wǎng)絡(luò)構(gòu)建，復(fù)雜網(wǎng)絡(luò)拓?fù)?，冗余，并發(fā)，帶外管理網(wǎng)絡(luò)和監(jiān)控網(wǎng)絡(luò)，網(wǎng)絡(luò)安全基礎(chǔ)軟件：集群管理，任務(wù)調(diào)度，資源排布，容器和虛擬化，向量數(shù)據(jù)庫等，包括最新的InfiniBand和Nvidia驅(qū)動(dòng)，CUDA，PyTorch和其他大模型基礎(chǔ)軟件。以上每一個(gè)方面展開來都有非常多的內(nèi)容，也需要根據(jù)實(shí)際情況才能深入討論，這里只能談到設(shè)計(jì)原則。2.3機(jī)柜級(jí)設(shè)計(jì)機(jī)柜級(jí)設(shè)計(jì)主要操心的是電源問題和機(jī)柜空間布置，可能需要機(jī)房管理的專業(yè)工程師和服務(wù)器存儲(chǔ)網(wǎng)絡(luò)的硬件工程師幫助你核對(duì)設(shè)備的電源規(guī)格，功率大小等電氣參數(shù)，也需要核對(duì)設(shè)備的實(shí)際物理外形規(guī)格，包括幾U高度，設(shè)備的深度和線纜長(zhǎng)度等，所有這些和打算部署的機(jī)柜實(shí)際情況的匹配度都可能成為制約因素。特別是網(wǎng)絡(luò)布局的實(shí)際落地，這部分情況會(huì)比較復(fù)雜，在大模型集群里，也許會(huì)存在4個(gè)網(wǎng)絡(luò)：計(jì)算網(wǎng)絡(luò)，存儲(chǔ)網(wǎng)絡(luò)，帶外管理IPMI網(wǎng)絡(luò)和入站管理網(wǎng)絡(luò)。實(shí)際部署中，還可能會(huì)出現(xiàn)一個(gè)單獨(dú)的核心網(wǎng)絡(luò)機(jī)柜，這些都是在實(shí)際部署之前需要考慮的設(shè)計(jì)因素。2.4節(jié)點(diǎn)級(jí)設(shè)計(jì)節(jié)點(diǎn)設(shè)計(jì)要關(guān)注的東西已經(jīng)到BOM級(jí)別，但一般來說也只是集中到計(jì)算節(jié)點(diǎn)，而存儲(chǔ)通常由存儲(chǔ)方案商整體提供，存儲(chǔ)節(jié)點(diǎn)內(nèi)部的配置僅僅是知會(huì)或協(xié)商，小規(guī)模很難定制設(shè)計(jì)。計(jì)算節(jié)點(diǎn)的配置已經(jīng)有大量參考典型配置，你只需要關(guān)注幾個(gè)重點(diǎn)：PCIe的拓?fù)浜痛危琇ane通道數(shù)量，這些對(duì)性能至關(guān)重要；另外Numa節(jié)點(diǎn)拓?fù)淇赡軐?duì)GPU對(duì)等互聯(lián)產(chǎn)生影響；同時(shí)，如果計(jì)算節(jié)點(diǎn)支持NVlink，能夠避免通過CPU互連的數(shù)據(jù)傳輸瓶頸，在訓(xùn)練時(shí)會(huì)很有幫助。3．部署和并提供推理能力完成訓(xùn)練后，有兩種選擇，一是繼續(xù)利用訓(xùn)練時(shí)候的集群提供服務(wù)，二是另行部署一套推理集群。第一種選擇不用再重新設(shè)計(jì)，第二種選擇需要根據(jù)推理集群的情況對(duì)以上設(shè)計(jì)適當(dāng)修改。推理集群通常高度適配某個(gè)行業(yè)應(yīng)用，如果規(guī)模夠大，另一端可能有數(shù)十萬的用戶調(diào)用，需要處理潛在的成千上萬個(gè)并發(fā)請(qǐng)求，實(shí)時(shí)性是重要考慮因素。每一個(gè)推理請(qǐng)求都可能會(huì)有一個(gè)實(shí)際用戶在等待推理結(jié)果，需要快速反饋答案，因此集群設(shè)計(jì)上除了前訴內(nèi)容，還可以參考互聯(lián)網(wǎng)應(yīng)用的要求，具備高可用能力和QoS，對(duì)各種意外帶來的中斷都有應(yīng)對(duì)機(jī)制，雖然不一定需要真正和用戶簽署小數(shù)點(diǎn)后很多個(gè)9的SLA協(xié)議，但是SLA必須要在心中。另外，雖然部署的是相同的模型，但是實(shí)際處理的數(shù)據(jù)卻不同，因此節(jié)點(diǎn)之間不會(huì)像訓(xùn)練時(shí)那樣處理太多通信，不需要設(shè)計(jì)集群內(nèi)部節(jié)點(diǎn)間的超高性能網(wǎng)絡(luò)，滿足高可用和冗余機(jī)制設(shè)計(jì)和一點(diǎn)點(diǎn)數(shù)據(jù)傳輸應(yīng)該就可以了。在不同階段，設(shè)計(jì)要考慮的因素是不同的，我總結(jié)了一個(gè)表，如下：1．模型篩選2．訓(xùn)練微調(diào)3．部署推理主要考量因素訓(xùn)練帶寬的性價(jià)比單個(gè)大模型訓(xùn)練時(shí)間高可用、帶寬延遲GPU算力低高中集群內(nèi)部網(wǎng)絡(luò)低高低高可用低，可選低，可選高，必須集群規(guī)模低高中，高成本低高高三、總體集成和測(cè)