GPU行業(yè)市場分析GPU芯片概述GPU定義和主要組成GPU（GraphicsProcessingUnit）：一般稱為圖形處理器，被廣泛用于個人電腦、工作站、移動設(shè)備、游戲機、嵌入式系統(tǒng)中做圖像和圖形相關(guān)運算工作。GPU結(jié)構(gòu)：GPU是一個異構(gòu)的多核處理器芯片，針對圖形圖像處理優(yōu)化。通常包括運算單元、L0/L1/L2緩存、Warp調(diào)度器、存取單元、分配單元、寄存器堆、PCIe總線接口、顯卡互聯(lián)單元等組件。GPU工作方式：GPU并不是一個獨立運行的計算平臺，需要通過PCIe總線與CPU連接在一起來協(xié)同工作，可以看作CPU的協(xié)處理器。GPU相較于CPU并行計算能力更強CPU當中運算單元占據(jù)面積相對較小。CPU硬件設(shè)計過程中為了實現(xiàn)低延遲增加了存儲單元和控制單元的復(fù)雜度，運算單元在GPU中占據(jù)面積相對較小，以IntelCorei73960X為例，其運算單元面積（6*21.4mm2）大致占總芯片面積（435mm2）的30%。CPU的并行計算能力相對較弱。CPU通過指令級并行、數(shù)據(jù)級并行也可以提升其并行計算能力，但是帶來的提升也是有限的。單核CPU性能逐步逼近物理極限。由于CPU受到“能耗墻”的限制，CPU主頻難以持續(xù)提升，單核CPU性能逐步逼近物理極限，采用多核CPU的策略一定程度緩解了CPU性能提升的制約，當前大數(shù)據(jù)和人工智能帶來了海量的數(shù)據(jù)，CPU已經(jīng)無法跟上多源異構(gòu)數(shù)據(jù)的爆炸性增長。GPU具有數(shù)量眾多的運算單元，采用極簡的流水線進行設(shè)計，適合計算密集、易于并行的程序。CPU的運算單元數(shù)目相對較少，單一運算核心的運算能力更強，采用分支預(yù)測、寄存器重命名、亂序執(zhí)行等復(fù)雜的處理器設(shè)計，適合相對復(fù)雜的串行運算。GPU設(shè)計過程中側(cè)重吞吐優(yōu)化，具備強大的內(nèi)存訪問帶寬。CPU設(shè)計過程中側(cè)重時延優(yōu)化，包含復(fù)雜的多級緩存（L1/L2/L3）和邏輯控制單元。CPU承擔(dān)運算核心和控制中心的地位，GPU一般作為協(xié)處理器負責(zé)圖形渲染和并行計算。GPU的核心功能一：圖形渲染GPU憑借其較強的并行計算能力，已經(jīng)成為個人電腦中圖像渲染的專用處理器。圖形渲染具體實現(xiàn)要通過五階段：頂點著色、形狀裝配、光柵化、紋理填充著色、測試與混合。GPU渲染流程：三維圖像信息輸入GPU后，讀取3D圖形外觀的頂點數(shù)據(jù)后，1）在流處理器中構(gòu)建3D圖形的的整體骨架，即頂點處理；2）由光柵化處理單元把矢量圖形轉(zhuǎn)化為一系列像素點，即光柵化操作；3）在紋理映射單元實現(xiàn)紋理填充；4）在流處理器中完成對像素的計算和處理，即著色處理；5）在光柵化處理單元中實現(xiàn)測試與混合任務(wù)。至此，實現(xiàn)一個完整的GPU渲染流程。GPU的核心功能二：通用計算2003年，GPGPU(GeneralPurposecomputingonGPU,基于GPU的通用計算)的概念首次被提出，意指利用GPU的計算能力在非圖形處理領(lǐng)域進行更通用、更廣泛的科學(xué)計算。GPGPU概念的提出，為GPU更為廣泛的應(yīng)用開拓了思路，GPGPU在傳統(tǒng)GPU的基礎(chǔ)上進行了優(yōu)化設(shè)計，部分GPGPU會去除GPU中負責(zé)圖形處理加速的硬件組成，使之更適合高性能并行計算。GPGPU在數(shù)據(jù)中心被廣泛地應(yīng)用在人工智能和高性能計算、數(shù)據(jù)分析等領(lǐng)域。GPGPU的并行處理結(jié)構(gòu)非常適合人工智能計算，人工智能計算精度需求往往不高，INT8、FP16、FP32往往可以滿足大部分人工智能計算。GPGPU同時可以提供FP64的高精度計算，使得GPGPU適合信號處理、三維醫(yī)學(xué)成像、雷達成像等高性能計算場景。微架構(gòu)設(shè)計是GPU性能提升的關(guān)鍵所在GPU微架構(gòu)（MicroArchitecture）是兼容特定指令集的物理電路構(gòu)成，由流處理器、紋理映射單元、光柵化處理單元、光線追蹤核心、張量核心、緩存等部件共同組成。圖形渲染過程中的圖形函數(shù)主要用于繪制各種圖形及像素、實現(xiàn)光影處理、3D坐標變換等過程，期間涉及大量同類型數(shù)據(jù)（如圖像矩陣）的密集、獨立的數(shù)值計算，而GPU結(jié)構(gòu)中眾多重復(fù)的計算單元就是為適應(yīng)于此類特點的數(shù)據(jù)運算而設(shè)計的。微架構(gòu)的設(shè)計對GPU性能的提升發(fā)揮著至關(guān)重要的作用，也是GPU研發(fā)過程中最關(guān)鍵的技術(shù)壁壘。微架構(gòu)設(shè)計影響到芯片的最高頻率、一定頻率下的運算能力、一定工藝下的能耗水平，是芯片設(shè)計的靈魂所在。英偉達H100相比于A100，1.2倍的性能提升來自于核心數(shù)目的提升，5.2倍的性能提升來自于微架構(gòu)的設(shè)計。GPU市場概述GPU市場規(guī)模與細分根據(jù)VerifiedMarketResearch的預(yù)測，2020年GPU全球市場規(guī)模為254億美金，預(yù)計到2028年將達到2465億美金，行業(yè)保持高速增長，CAGR為32.9%，2023年GPU全球市場規(guī)模預(yù)計為595億美元。GPU按應(yīng)用端劃分為PCGPU、服務(wù)器GPU、智能駕駛GPU、移動端GPU。PCGPU可以進一步劃分為獨立顯卡和集成顯卡。獨立顯卡主要用作圖形設(shè)計和游戲，對性能的要求比較高，主要的廠商包括英偉達和AMD；集成顯卡通常用在對圖形處理性能需求不高的辦公領(lǐng)域，主要產(chǎn)商包括Intel和AMD。服務(wù)器GPU通常應(yīng)用在深度學(xué)習(xí)、科學(xué)計算、視頻編解碼等多種場景，主要的廠商包括英偉達和AMD，英偉達占主導(dǎo)地位。在自動駕駛領(lǐng)域，GPU通常用于自動駕駛算法的車端AI推理，英偉達占據(jù)主導(dǎo)地位。PC顯卡市場迎來至暗時刻后的光明獨立顯卡市場開始逐漸回暖。根據(jù)JonPeddieResearch的數(shù)據(jù)，2022年獨立GPU出貨量下降至3808萬臺，同比下降22.5%，22Q3單季度出貨690萬臺，同比下降45.7%，是十年以來最大的一次下滑，獨立顯卡出貨情況22Q4開始逐漸轉(zhuǎn)暖。集成顯卡出貨情況仍然不容樂觀。2022年集成GPU出貨量為2.83億臺，同比下滑29.8%。疫情期間的居家辦公需求帶動了筆記本電腦的消費增長，集成顯卡的購買激增一定程度上過早消耗了市場需求，后疫情時代，筆記本電腦端需求減弱疊加供應(yīng)商的過剩庫存導(dǎo)致集成顯卡出貨不斷走低。我們認為2022年獨立顯卡出貨遭遇巨大下滑的原因有三點：一、受宏觀經(jīng)濟影響，個人電腦市場處于下行周期；二、部分獨立GPU參與虛擬貨幣挖礦，以太坊合并對獨立GPU出貨造成巨大沖擊；三、下游板卡廠商開啟降庫存周期。GPU在數(shù)據(jù)中心的應(yīng)用蘊藏巨大潛力在數(shù)據(jù)中心，GPU被廣泛應(yīng)用于人工智能的訓(xùn)練、推理、高性能計算（HPC）等領(lǐng)域。預(yù)訓(xùn)練大模型帶來的算力需求驅(qū)動人工智能服務(wù)器市場快速增長。巨量化是人工智能近年來發(fā)展的重要趨勢，巨量化的核心特點是模型參數(shù)多，訓(xùn)練數(shù)據(jù)量大。Transformer模型的提出開啟了預(yù)訓(xùn)練大模型的時代，大模型的算力需求提升速度顯著高于其他AI模型，為人工智能服務(wù)器的市場增長注入了強勁的驅(qū)動力。根據(jù)Omdia數(shù)據(jù)，人工智能服務(wù)器是服務(wù)器行業(yè)中增速最快的細分市場，CAGR為49%。戰(zhàn)略需求推動GPU在高性能計算領(lǐng)域穩(wěn)定增長。高性能計算（HPC）提供了強大的超高浮點計算能力，可滿足計算密集型、海量數(shù)據(jù)處理等業(yè)務(wù)的計算需求，如科學(xué)研究、氣象預(yù)報、計算模擬、軍事研究、生物制藥、基因測序等，極大縮短了海量計算所用的時間，高性能計算已成為促進科技創(chuàng)新和經(jīng)濟發(fā)展的重要手段。人工智能芯片的引領(lǐng)者——英偉達GPU領(lǐng)域龍頭英偉達發(fā)展史英偉達（NVIDIA）創(chuàng)立于1993年，是一家專注于智能芯片設(shè)計和圖形處理技術(shù)的半導(dǎo)體公司。公司產(chǎn)品應(yīng)用領(lǐng)域包括游戲、數(shù)據(jù)中心、專業(yè)可視化、自動駕駛等，針對具體場景特點，英偉達推出了一系列特定優(yōu)化的芯片和服務(wù)器，同時積極打造相應(yīng)的軟件生態(tài)，成為GPU領(lǐng)域的龍頭企業(yè)。公司當前不僅滿足于芯片設(shè)計廠商的定位，在芯片、服務(wù)器等硬件設(shè)施之上，開發(fā)CUDA、DOCA等基礎(chǔ)軟件架構(gòu)，不斷豐富其軟件生態(tài)，形成了軟件業(yè)務(wù)的全棧式解決方案，最終在應(yīng)用層面上提供AI計算、高性能計算、自動駕駛、云游戲、元宇宙等眾多計算服務(wù)，公司已從一家GPU公司成功轉(zhuǎn)型計算平臺企業(yè)。公司盈利能力歷史表現(xiàn)優(yōu)異公司FY2023年實現(xiàn)營業(yè)收入269.74億美元，與FY2022年同比基本持平。數(shù)據(jù)中心業(yè)務(wù)保持快速增長趨勢，游戲業(yè)務(wù)、專業(yè)可視化業(yè)務(wù)營收相對下滑。FY23Q4營業(yè)收入為60.5億美元，同比下降21%，但是環(huán)比提升2%,收入業(yè)績的恢復(fù)性增長主要得益于游戲業(yè)務(wù)的快速復(fù)蘇。公司FY24Q1營收指引為65億，整體業(yè)務(wù)重回環(huán)比正增長階段。FY2023年GAAP凈利潤43.68億美元，同比下降55.21%。第四季度GAAP凈利潤6.8億美元，同比下降72%。FY2023財年游戲顯卡以及數(shù)據(jù)中心計算芯片的需求相對疲軟，供大于求帶來了較高的庫存水平，導(dǎo)致了大額的資產(chǎn)減值損失，凈利潤水平有所下滑。2022年公司營收結(jié)構(gòu)發(fā)生較大變化公司FY2023營收結(jié)構(gòu)發(fā)生較大變化，數(shù)據(jù)中心業(yè)務(wù)成為主要收入來源，占比55.63%，游戲業(yè)務(wù)占比下滑。FY2023數(shù)據(jù)中心業(yè)務(wù)營收達150億美金，同比增長55.6%，該業(yè)務(wù)是公司的未來成長引擎，得益于人工智能算力的需求高增，業(yè)務(wù)保持中長期良好增長態(tài)勢，F(xiàn)Y23Q4受云廠商資本開支影響，以及中國市場需求相對疲軟，營收略有下滑。FY2023游戲業(yè)務(wù)營收為90.6億美金，同比下滑27.3%，營收占比為33.6%。FY23Q2后，受顯卡市場沖擊，游戲業(yè)務(wù)營收連續(xù)兩個季度下滑，F(xiàn)Y23Q4得到恢復(fù)性增長。FY2023專業(yè)可視化業(yè)務(wù)營收達15.44億美金，同比下滑26.7%。FY2023汽車業(yè)務(wù)營收達到9.03億美元，同比增長59.5%，主要受益于自動駕駛解決方案的銷售增長，營收占比從2021年的2.1%上升到3.35%。公司游戲GPU具有顯著的技術(shù)優(yōu)勢GeForceRTX40系列顯卡實現(xiàn)游戲性能的大幅提升。GeForceRTX40系列顯卡采用英偉達AdaLovelace架構(gòu)，采用第三代RTCore技術(shù)實現(xiàn)全景光追性能提升至4倍，DLSS3技術(shù)讓渲染幀率成倍增加，配合著色器執(zhí)行重排序技術(shù)、NvidiaReflex等技術(shù)使其性能相較于Ampere架構(gòu)提升至兩倍以上。公司逐步成為全球AI芯片領(lǐng)域的主導(dǎo)者英偉達的通用計算芯片具備優(yōu)秀的硬件設(shè)計，通過CUDA架構(gòu)等全棧式軟件布局，深度挖掘芯片硬件的性能極限，在各類下游應(yīng)用領(lǐng)域中，均推出了高性能的軟硬件組合，逐步成為全球AI芯片領(lǐng)域的主導(dǎo)者。早期英偉達在數(shù)據(jù)中心的產(chǎn)品布局主要為GPU加速服務(wù)器。通過不同型號的GPU加速器與CPU、DPU等其他硬件產(chǎn)品組合以及軟件的開發(fā)，英偉達還推出了面向高性能計算(HPC)、人工智能(DGX)、邊緣計算(EGX)等領(lǐng)域中的硬件產(chǎn)品。全球第二大GPU廠商——AMDAMD簡介美國超威半導(dǎo)體公司(AdvancedMicroDevices，AMD)創(chuàng)立于1969年，專門為計算機、通信和消費電子行業(yè)提供各類微處理器以及提供閃存和低功率處理器方案，公司是全球領(lǐng)先的CPU、GPU、APU和FPGA設(shè)計廠商，掌握中央處理器、圖形處理器、閃存、芯片組以及其他半導(dǎo)體技術(shù)，具體業(yè)務(wù)包括數(shù)據(jù)中心、客戶端、游戲、嵌入式四大部分。公司采用Fabless研發(fā)模式，聚焦于芯片設(shè)計環(huán)節(jié)，制造和封測環(huán)節(jié)則委托給全球?qū)I(yè)的代工廠處理。目前全球CPU市場呈Intel和AMD寡頭壟斷格局,Intel占主導(dǎo)地位。在獨立GPU市場中，主要是英偉達（NVIDIA）、AMD進行角逐,Intel目前憑借其銳炬XeMAX產(chǎn)品也逐步進入獨立GPU市場。AMD保持良好的增長態(tài)勢得益于公司數(shù)據(jù)中心、嵌入式業(yè)務(wù)的快速增長，公司營收和凈利潤實現(xiàn)規(guī)模提升。2022年公司營業(yè)收入236億美元，同比增長43.6%；2022Q4公司營收55.99億美元，同比增長16%。2022年公司凈利潤13.2億美元，同比下降58.25%；2022Q4凈利潤0.21億美元，同比下降98%，主要原因系收購賽靈思的無形資產(chǎn)攤銷導(dǎo)致凈利潤下滑。公司預(yù)期2023Q1營收53億美元，同比下滑10%。客戶和游戲的細分市場預(yù)計會同比下降，部分被嵌入式和數(shù)據(jù)中心細分市場增長所抵消。AMD分業(yè)務(wù)營收情況公司營收主要包括四部分。數(shù)據(jù)中心業(yè)務(wù)主要包括用于數(shù)據(jù)中心服務(wù)器的各類芯片產(chǎn)品；客戶端業(yè)務(wù)主要包括用于PC的各類處理器芯片；游戲業(yè)務(wù)主要包括獨立GPU及其他游戲產(chǎn)品開發(fā)服務(wù)；嵌入式業(yè)務(wù)主要包括適用于邊緣計算的各類嵌入式計算芯片。公司數(shù)據(jù)中心、嵌入式業(yè)務(wù)的營收增長較快。2022年，公司數(shù)據(jù)中心業(yè)務(wù)收入60.43億美元，營收占比25.60%；客戶端業(yè)務(wù)收入62.01億美元，營收占比26.27%；游戲業(yè)務(wù)收入68.05億美元，營收占比28.83%；嵌入式業(yè)務(wù)收入45.52億美元，營收占比19.29%。AMDROCm計算生態(tài)AMDROCm是RadeonOpenCompute(platform)的縮寫，是2015年AMD公司為了對標CUDA生態(tài)而開發(fā)的一套用于HPC和超大規(guī)模GPU計算提供的開源軟件開發(fā)平臺。ROCm之于AMDGPU相當于CUDA之于英偉達GPU。ROCm是一個完整的GPGPU生態(tài)系統(tǒng)，在源碼級別上實現(xiàn)CUDA程序支持。ROCm在整體架構(gòu)上與CUDA類似，實現(xiàn)了主要模塊的對齊，封裝層次較CUDA更為復(fù)雜。ROCm由以下組件組成：HIP程序、ROC運行庫、ROCm庫、ROCm核心驅(qū)動，ROCm支持各類主流的深度學(xué)習(xí)框架，例如Tensorflow、PyTorch、Caffe等。移動GPU廠商移動端GPU采用不同的架構(gòu)設(shè)計移動端GPU在設(shè)計過程中受到能耗和體積方面的限制，都是以集成的SOC芯片形式出現(xiàn)在移動端，被廣泛應(yīng)用在手機、平板電腦、VR、AR設(shè)備、物聯(lián)網(wǎng)設(shè)備當中。SOC芯片中，CPU、GPU共享有限的內(nèi)存帶寬，頻繁使用內(nèi)存帶寬會造成較大的能耗，通過采用分塊渲染架構(gòu)（TileBasedRendering，TBR）可以有效減少帶寬消耗，其核心思想是：將幀緩沖分割為一小塊一小塊，然后在片上高速內(nèi)存逐塊進行渲染，與PC端采用的及時渲染架構(gòu)（IMR）相比，極大的減少了DRAM的訪問次數(shù)，從而降低了整體能耗。分塊延遲渲染架構(gòu)（TBDR）采用影藏面消除（HSR），不會渲染被遮擋的物體表面片，渲染效率進一步提升。高通在旗艦Android智能手機SoC市場中保持領(lǐng)先高通自研GPU源自2009年收購于AMD的移動GPUImageon系列，后改名為Adreno，并集成到自家驍龍SoC中，發(fā)展至今已到“Adreno-7”系列，在全球旗艦Android智能手機SoC市場中保持領(lǐng)先。據(jù)IDC報告顯示，2022Q3全球手機市場出貨量下滑8%，高通手機業(yè)務(wù)營收仍實現(xiàn)40%增長；CounterpointResearch研究顯示公司在AP/SoC芯片市場的份額從過往的25%左右提升至30%左右，穩(wěn)占高端安卓市場。采用驍龍8+的OEM廠商和品牌包括華碩ROG、黑鯊、榮耀、聯(lián)想、Motorola、努比亞、一加、OPPO、OSOM、realme、紅魔、Redmi、vivo、小米和中興等。國內(nèi)GPU廠商發(fā)展情況國內(nèi)GPU市場空間廣闊國內(nèi)市場空間廣闊，PC、服務(wù)器拉動GPU需求。根據(jù)VerifiedMarketResearch數(shù)據(jù)，2020年中國GPU市場規(guī)模為47.39億美元，預(yù)計2023年中國GPU市場規(guī)模將達到111億美元。中國數(shù)字化經(jīng)濟轉(zhuǎn)型持續(xù)推進，催生大量對GPU的市場需求，給GPU帶來廣闊的市場空間。伴隨著近期宏觀經(jīng)濟回暖以及國內(nèi)互聯(lián)網(wǎng)企業(yè)紛紛加大AI算力布局，PC和服務(wù)器的需求上升有望為國內(nèi)GPU市場帶來整體拉動效應(yīng)。GPU的國產(chǎn)替代過程中也需要克服諸多困難，例如：軟件生態(tài)以及IP、先進工藝的生產(chǎn)不可控，缺乏人才儲備，人力、時間、資金投入成本較高等。海光信息提供服務(wù)器、工作站中的高端處理器芯片海光信息成立于2014年，主營業(yè)務(wù)是研發(fā)、設(shè)計和銷售應(yīng)用于服務(wù)器、工作站等計算、存儲設(shè)備中的高端處理器。產(chǎn)品包括海光通用處理器(CPU)和海光協(xié)處理器(DCU)，目前已經(jīng)研發(fā)出多款新能達到國際同類主流產(chǎn)品的高端CPU和DCU產(chǎn)品。2018年10月，公司啟動深算一號DCU產(chǎn)品設(shè)計，目前海光DCU系列深算一號已經(jīng)實現(xiàn)商業(yè)化應(yīng)用，2020年1月，公司啟動了第二代DCU深算二號的產(chǎn)品研發(fā)工作。1.由專用走向通用，GPU賽道壁壘高筑什么是GPU圖形處理器（graphicsprocessingunit，縮寫：GPU），又稱顯示核心、視覺處理器、顯示芯片，是一種專門在個人電腦、工作站、游戲機和一些移動設(shè)備（如平板電腦、智能手機等）上做圖像和圖形相關(guān)運算工作的微處理器。NVIDIA公司在1999年發(fā)布GeForce256圖形處理芯片時首先提出GPU的概念。從此NVIDIA顯卡的芯片就用這個新名字GPU來稱呼。GPU使顯卡削減了對CPU的依賴，并執(zhí)行部分原本CPU的工作，尤其是在3D圖形處理時。始于圖形處理設(shè)備最早計算機是黑白顯示的時代，機器對于顯示的要求極低，隨著計算機的普及和軟件的多樣化，使用者對于顯示的要求越來越高。VGA（VideoGraphicsArray，視頻圖形陣列）是一種標準的顯示接口，是IBM于1987年提出的一個使用模擬信號的電腦顯示標準。VGA標準由于可以呈現(xiàn)的彩色顯示能力大大加強，因此迅速成為了顯示設(shè)備的標準，也推動了VGACard也即是顯卡的誕生。早期的VGACard的唯一功能是輸出圖像，圖形運算全部依賴CPU，當微軟Windows操作系統(tǒng)出現(xiàn)后，大量的圖形運算占據(jù)了CPU的大量資源，如果沒有專門的芯片來處理圖形運算，Windows界面運作會大受影響而變得卡頓，因此出現(xiàn)專門處理圖形運算的芯片成為必然趨勢。1993年1月，英偉達創(chuàng)立，1999年，英偉達發(fā)布了劃時代的產(chǎn)品GeForce256，首次推出了所謂圖形處理器（GPU，GraphicProcessingUnit）的概念，它帶來了3D圖形性能的一次革命。浮點計算能力與可編程性結(jié)合GeForce256是一款用于實時圖形處理的專用處理器，GeForce圖形處理器的發(fā)布，實現(xiàn)了頂點的矩陣變換和光照計算，圖形實時處理應(yīng)用需要高內(nèi)存帶寬和大量的浮點計算能力。2001年英偉達發(fā)布了第三代顯示核心GeForce3，GeForce3不僅集成了來自之前GeForce256和GeForce2芯片的“靜態(tài)”座標轉(zhuǎn)換和照明引擎，更增加了稱為“頂點著色單元”的可編程頂點處理器功能。游戲開發(fā)者可借由加上頂點程序，讓游戲產(chǎn)生令人驚艷的全新效果。可編程性與浮點計算能力相結(jié)合，基于GPU的通用計算也開始出現(xiàn)，GPU朝著通用計算的方向持續(xù)演進。2006年，英偉達CUDA（ComputeUnifiedDeviceArchitecture，統(tǒng)一計算設(shè)備架構(gòu)），及對應(yīng)工業(yè)標準的OpenCL的出現(xiàn)，讓GPU實現(xiàn)更廣泛的通用計算功能，GPGPU的概念落地。GPU發(fā)展三大方向GPU最初用在PC和移動端上運行繪圖運算工作的微處理器，與CPU集成以集成顯卡（核顯）的形態(tài)發(fā)揮功能。NVIDIA于2007年率先推出獨立GPU（獨顯），使其作為“協(xié)處理器”在PC和服務(wù)器端負責(zé)加速計算，承接CPU計算密集部分的工作負載，同時由CPU繼續(xù)運行其余程序代碼。2019年NVIDIA的中國GTC大會設(shè)置了兩大主題：AI和圖形。從大會的關(guān)注重點可以看出，GPU未來趨勢主要是3個：大規(guī)模擴展計算能力的高性能計算（GPGPU）、人工智能計算（AIGPU）、更加逼真的圖形展現(xiàn)（光線追蹤RayTracingGPU）。GeForceRTX40系列，時代最強2022秋季GTC大會上，英偉達發(fā)布GeForceRTX?40系列GPU，旨在為游戲玩家和創(chuàng)作者提供革命性性能，其中新旗艦產(chǎn)品RTX4090GPU的性能相較上一代提升最高可達4倍。作為全球首款基于全新NVIDIA?AdaLovelace架構(gòu)的GPU，RTX40系列在性能和效率上都實現(xiàn)了巨大的代際飛躍，根據(jù)NVIDIA創(chuàng)始人兼首席執(zhí)行官黃仁勛的介紹，RTX光線追蹤和神經(jīng)網(wǎng)絡(luò)渲染的時代正在全面展開。RTX40系列GPU具有一系列新的技術(shù)創(chuàng)新：包括流式多處理器具有高達83TFLOPS的著色器能力、第三代RTCores的有效光線追蹤計算能力達到191TFLOPS、第四代TensorCores具有高達1.32Petaflops的FP8張量處理性能、著色器執(zhí)行重排序（SER）通過即時重新安排著色器負載來提高執(zhí)行效率、Ada光流加速器帶來2倍的性能提升、架構(gòu)上改進來實現(xiàn)與TSMC4N定制工藝技術(shù)緊密結(jié)合等。2.產(chǎn)業(yè)化路徑顯現(xiàn)，全球AI競賽再加速AI技術(shù)賦能實體經(jīng)濟面臨的瓶頸過去，絕大部分人工智能企業(yè)和研究機構(gòu)遵循算法、算力和數(shù)據(jù)三位一體的研究范式，即以一定的算力和數(shù)據(jù)為基礎(chǔ)，使用開源算法框架訓(xùn)練智能模型。而這也導(dǎo)致了當前大部分人工智能處于“手工作坊式”階段，面對各類行業(yè)的下游應(yīng)用，AI逐漸展現(xiàn)出碎片化、多樣化的特點，也出現(xiàn)了模型通用性不高的缺陷。這不僅是AI技術(shù)面臨的挑戰(zhàn)，也限制了AI的產(chǎn)業(yè)化進程。隨著人工智能賦能實體經(jīng)濟進入深水區(qū)，企業(yè)通常面臨數(shù)據(jù)資源有限、算力投資難度大、模型泛化能力差、高水平人才稀缺的發(fā)展瓶頸。ChatGPT的破圈聊天生成型預(yù)訓(xùn)練變換模型（ChatGenerativePre-trainedTransformer）簡稱ChatGPT，是OpenAI開發(fā)的人工智慧聊天機器人程序，于2022年11月推出，上線兩個月后已有上億用戶。ChatGPT目前仍以文字方式互動，而除了可以用人類自然對話方式來互動，還可以用于甚為復(fù)雜的語言工作，包括自動生成文本、自動問答、自動摘要等多種任務(wù)。ChatGPT的成功離不開預(yù)訓(xùn)練大模型人工智能需要用大量的數(shù)據(jù)對其進行訓(xùn)練，理論上來講，投喂數(shù)據(jù)越多、數(shù)據(jù)質(zhì)量越高，模型效果就會越好。而預(yù)訓(xùn)練(Pre-trainedModels,PTMs)，就是預(yù)先訓(xùn)練好的模型，可以幫助人們降低模型創(chuàng)建和訓(xùn)練的成本。預(yù)訓(xùn)練大模型需要深度學(xué)習(xí)的算法，也需要大的數(shù)據(jù)、大的算力，做自監(jiān)督學(xué)習(xí)（模型直接從無標簽數(shù)據(jù)中自行學(xué)習(xí)，無需標注數(shù)據(jù)），再面向不同的任務(wù)、在不同的應(yīng)用場景里做少量任務(wù)數(shù)據(jù)進行遷移學(xué)習(xí)，進而應(yīng)用于很多場景。ChatGPT能夠?qū)崿F(xiàn)當前的交互，離不開OpenAI在AI預(yù)訓(xùn)練大模型領(lǐng)域的積累。預(yù)訓(xùn)練模型的發(fā)展歷程預(yù)訓(xùn)練的研究最早起源于遷移學(xué)習(xí)。遷移學(xué)習(xí)的核心思想，即運用已有的知識來學(xué)習(xí)新的知識，通俗來說就是將一個預(yù)訓(xùn)練的模型被重新用在另一個任務(wù)中。早期的預(yù)訓(xùn)練模型主要基于有標簽數(shù)據(jù)。而在NLP領(lǐng)域，由于下游任務(wù)的多樣性以及數(shù)據(jù)標注的復(fù)雜性，導(dǎo)致無法獲得一個像ImageNet這樣大規(guī)模的有標簽數(shù)據(jù)，所以NLP領(lǐng)域嘗試使用自監(jiān)督學(xué)習(xí)的方法來獲取預(yù)訓(xùn)練模型，自監(jiān)督學(xué)習(xí)的主要思想就是利用文本間的內(nèi)在聯(lián)系為監(jiān)督信號。2017年出現(xiàn)的Transformer結(jié)構(gòu)，給NLP領(lǐng)域預(yù)訓(xùn)練模型的發(fā)展帶來了絕大的突破。Transformer的成功，也誘使CV領(lǐng)域加入了自監(jiān)督預(yù)訓(xùn)練模型的賽道。如今，自監(jiān)督預(yù)訓(xùn)練已經(jīng)成為當前人工智能研究的重點，幾乎所有的最新的PTM都是采用類Transformer結(jié)構(gòu)與自監(jiān)督學(xué)習(xí)的方法。Transformer架構(gòu)成主流2017年，谷歌團隊首先提出Transformer模型。該團隊將Transformer概括為一句話：“AttentionisAllYouNeed.”目前Transformer已經(jīng)成為自然語言處理領(lǐng)域的主流模型，基于Transformer的預(yù)訓(xùn)練語言模型更是成為主流。除了NLP之外，Transformer也逐漸成為很多基于序列的語音應(yīng)用的主流AI模型，在很多場景中已取代RNN/LSTM，比如自動語音識別、語音合成等等。Transformer受歡迎的主要原因是其架構(gòu)引入了并行化，它利用了強大的TPU和并行訓(xùn)練，從而減少了訓(xùn)練時間。3.全維智能化大時代，國產(chǎn)算力行則必至全球數(shù)據(jù)中心負載任務(wù)量快速增長大規(guī)模張量運算、矩陣運算是人工智能在計算層面的突出需求，高并行度的深度學(xué)習(xí)算法在視覺、語音和自然語言處理等領(lǐng)域上的廣泛應(yīng)用使得計算能力需求呈現(xiàn)指數(shù)級增長。根據(jù)IDC的預(yù)測，從2018年至2025年，全球的數(shù)據(jù)增長量達到5倍以上，將從2018年的32ZB增至2025年的175ZB。中國將在2025年以48.6ZB的數(shù)據(jù)量及27.8%的占比成為全球最大的數(shù)據(jù)匯集地。根據(jù)Cisco的預(yù)計，2021年全球數(shù)據(jù)中心負載任務(wù)量將超過2016年的兩倍，從2016年的不到250萬個負載任務(wù)量增長到2021年的近570萬個負載任務(wù)量。全球計算產(chǎn)業(yè)投資空間巨大根據(jù)《鯤鵬計算產(chǎn)業(yè)發(fā)展白皮書》內(nèi)容顯示，數(shù)字化浪潮正重塑世界經(jīng)濟格局，數(shù)字經(jīng)濟正在成為全球可持續(xù)增長的引擎。IDC預(yù)測，到2023年數(shù)字經(jīng)濟產(chǎn)值將占到全球GDP的62%，全球進入數(shù)字經(jīng)濟時代。新的計算產(chǎn)業(yè)鏈將推動全球計算產(chǎn)業(yè)快速發(fā)展，帶動全球數(shù)字經(jīng)濟走向繁榮。IDC預(yù)測，到2023年，全球計算產(chǎn)業(yè)投資空間1.14萬億美元。中國計算產(chǎn)業(yè)投資空間1043億美元，接近全球的10%，是全球計算產(chǎn)業(yè)發(fā)展的主要推動力和增長引擎。預(yù)訓(xùn)練大模型對于GPU的需求根據(jù)TrendForce的估計，2020年，GPT模型處理訓(xùn)練數(shù)據(jù)所需的GPU數(shù)量達到了20000左右。展望未來，GPT模型（或ChatGPT）商業(yè)化所需的GPU數(shù)量預(yù)計將達到30000個以上。這些均使用英偉達的A100GPU作為計算基礎(chǔ)。根據(jù)中關(guān)村在線的新聞顯示，目前英偉達A100顯卡的售價在1.00~1.50萬美元之間。英偉達還將A100作為DGXA100系統(tǒng)的一部分進行銷售，該系統(tǒng)具有八塊A100，兩塊AMDRome7742CPU，售價高達199,000美元。國內(nèi)市場需求將保持高增長人工智能領(lǐng)域的應(yīng)用目前處于技術(shù)和需求融合的高速發(fā)展階段，在運算加速方面逐漸形成了以GPGPU解決方案為主的局面。根據(jù)前瞻產(chǎn)業(yè)研究院的數(shù)據(jù)，未來幾年內(nèi)，中國人工智能芯片市場規(guī)模將保持年均40%至50%的增長速度，到2024年，市場規(guī)模將達到785億元。聚集強大人工智能算力的智算中心是中國數(shù)字經(jīng)濟高速發(fā)展的產(chǎn)物，是一種新型的公共基礎(chǔ)設(shè)施。國家已經(jīng)出臺了相關(guān)政策，并把智算中心列為“新基建”。云計算及云部署方式云計算廣義的來說是廠商通過建立網(wǎng)絡(luò)服務(wù)器集群，向各種不同類型客戶提供在線軟件服務(wù)、硬件租借、數(shù)據(jù)存儲、計算分析等不同類型的服務(wù)。云計算按后臺位置主要分為公有云、私有云（含政務(wù)云）、混合云三種形態(tài)。目前國內(nèi)主流公有云如阿里云、華為云、騰訊云等。私有云如政務(wù)云、金融云、工業(yè)云、物流云等。企業(yè)上云持續(xù)向細分行業(yè)滲透據(jù)Gartner公司測算，2015-2021年，全球政府和企業(yè)的云計算市場滲透率逐年上升，由4.3%上升至15.3%。云計算用戶已經(jīng)遍及互聯(lián)網(wǎng)、政務(wù)、金融、教育、制造等各個行業(yè)。在中國，互聯(lián)網(wǎng)行業(yè)是云計算產(chǎn)業(yè)的主流應(yīng)用行業(yè)，占比約為1/3；在政策驅(qū)動下，中國政務(wù)云近年來實現(xiàn)高增長，政務(wù)云占比約為29%；交通物流、