分布式存儲技術與產業分析報告1分布式存儲技術與產業分析報告1開放數據中心標準推進委員會ODCC（開放數據中心委員會）發布的各項成對于未經著作權人書面同意而實施的剽竊、復制、修I本白皮書在撰寫過程中得到了多家單位的大力）：）：光電混合封裝技術白皮書斷涌現。為了適應數據中心網絡的發展需求，網絡設互聯的發展歷程，這是一個用光信號的連接逐步取代電信號在數據中心部署的光纖互聯的形態是采用可插拔的光模塊的形換。但是隨著交換容量的增加和Serdes速率的提升，交換芯片和面板之間的電面臨很大的挑戰。光電混合封裝技術的發展就是為了解決這線的連接距離，盡可能減小高速信號在傳輸過程中的損耗，《光電混合封裝技術白皮書》結合數據中心網絡的應用需求術的發展趨勢，對光電混合封裝技術的發展狀況進行系據中心用戶和產業鏈上下游供應商，梳理了光電混合封格以及應用形式，希望能做為從業人員的技術參考，讓光電混合封裝技術白皮書AI:ArtificialIntelligASIC:ApplicationSpecificCMOS:ComplementaryMeIEEE:InstituteofElectricalandElectronicsEngineersI/O:Input/Outputdriver.TheoutputdrivQSFP-DD:QuadSmallForm-factorPluggableD400GAUI-8:400Gbpseight-laneAttachmentUnitInterface400GDR4:400GEopticalstandardutilizingribbonfiberwith4x100Gbpstand4x100Gbpsreceive400GFR4:400GEopticV光電混合封裝技術白皮書 I II III IV 1 1 4 6 6 7 9 10 11 11 13 16 18 19 21 21 22光電混合封裝技術白皮書 22 23 25 27 27 28在帶寬密集型應用業務、人工智能和高性能計算的驅動下，云計算數據中心的數量和規模持續擴張，數據中心網絡對交換容量、連接帶寬、集群規模的追求永無止境。云計算數據中心的流量以東西向為主，也就是說數據業務的傳輸主要發生在數據中心內部，這就使得網絡節點之間存在著大量的高速的物理線路連接。隨著連接速度的提高和傳輸距離的擴大，光纖通信技術在數據中心網絡中發越來越重要的作用。一直以來，光模塊作為可插拔的獨立的光信號收發單元承擔著數據業務光電/電光的轉換。光模塊多源協議（MSA）和電氣與電子工程師協會（IEEE）等標準組織定義了種類繁多的光互聯類型，以覆蓋不同的應用場景。表1中為當前數據中心中正在大量部署的光模塊類型。標準化的電接口、光接口以及管理接口，保證光模塊與設備之間，以及光模塊與光模塊表1數據中心光模塊類型BandwidthModuleTypeDistanceFibertypeOpticalInterfaceElectricalInterfaceStandard100GbpsNRZSFP2825GBASE-SR<30mAOC25GNRZ850nm25GAUI802.3bm100GbpsNRZQSFP28100GBASE-SR4100m8coreMMFParallelNRZ850nmVCSELCAUI-4802.3bmQSFP28100GBASE-CWDM42km2coreSMFNRZCWDM4Multi-SourceAgreementQSFP28100GBASE-LR410km2coreSMFNRZLWDM4802.3ba1100GbpsPAM4200GBASE-SR4100GBASE-SR2<30mY-CablePAM4850nmVCSELPAM4850nmVCSEL802.3cdDSFP100GBASE-SR2<30mAOCPAM4850nmVCSELMulti-SourceAgreementQSFP28100GBASE-DR1/FR1500m/2km2coreSMF1x100GPAM4O-bandCAUI-4Multi-SourceAgreement200GbpsQSFP56200GBASE-SR4100m8coreMMFParallelPAM4850nmVCSEL802.3cdQSFP56200GBASE-FR42km2coreSMFPAM4CWDM802.3cn400GbpsQSFP-DD400GBASE-SR8100m16coreMMFParallelAPCPAM4850nmVCSELP802.3cmQSFP-DD400GBASE-DR4500m8coreMMFParallelPAM41310nm802.3bsQSFP-DD400GBASE-FR42km2coreSMFPAM4CWDM802.3cuCFP2DCO120km2coreSMF16QAM64GbaudCoherentOIFCFP2DCOQSFPDDZR120km2coreSMF16QAM64GbaudCoherent802.3cw400GbpsCoherentCFP2DCO120km2coreSMF16QAM64GbaudOIFCFP2DCOQSFPDDZR120km2coreSMF16QAM64Gbaud802.3cw2光互聯技術形態的演進，主要的驅動力來自于網絡設備的光端口的吞吐帶寬為Serdes帶寬的整數倍。比如100GCAUI4端口包含了4個換容量提升需要相應增加單端口的連接帶寬，以保證端口數量在面板容納能力以內。Serdes速率決定了光模塊電口的形態和規格，連接距離和端口帶寬決定了光模塊光口形態和規格。如圖1所示，網絡設備Serdes速率從信號完整性規格，以滿足物理層鏈路上模塊、線纜與設備之間的連通性和兼容圖1數據中心網絡設備Serdes速率發展路徑PCB高速差分線作為傳輸介質。高速電信號在PCB上傳輸的過程中受介質損耗和趨膚效應的影響，傳輸的距離越長，數據速率越高，信號質量劣化現象越嚴優化和信號完整性的補償，也能實現ASIC芯片到面板的電連接，但是在交換容量達到51.2T及以上的時候，高密度的ASIC到面板的電連接將使得PCB3光電混合封裝技術白皮書光通信業界普遍認為光電混合封裝是下一代光互聯的重要解決方案。由于到技術瓶頸，傳統的可插拔光學器件和板端信號補償技術在成本和功耗方面將光子技術，主要解決大型數據中心機架及機群之間光互聯的應用。在本文中，僅結合數據中心網絡的需求和發展情況，探索光電混合封裝技術的發展現狀以圖2光電子技術發展方向光電子技術的發展的主題一直都是高速，低功耗，低成本。這三點推動光電子器件向著集成化的方向發展，從最初的分離器件發展到收發模組，再到單片集成。硅基光子學是實現光子集成的最優的選擇。業界期望光電子技術的發展歷程是跟微電子一樣的，從分立器件，到小型模組/模塊化，最終希望能實現4大規模的單片集成。但是光電子器件受工藝和材料技術的限制，目前大量商用的光電子器件還是處于第二三個階段。而微電子我們知道已經早早進入大規模集成階段，CMOS工藝制程已經進入7nm時代，5nm/3nm的制程也在開發中，集成電路的規模按照摩爾定律向前發展。為了實現光通信回路的大規模集成，首先想到的就是去借鑒微電子集成的發展經驗，硅基微電子集成無論是工藝制程還是產業生態已經積累了大量成熟的經驗，從而催生了硅基光子技術的出現和發展。光電混合封裝需要光電器件的高度集成，是硅基光子技術最理想的應用光電混合封裝技術給數據網絡系統帶來的好處主要有三個方面，首先是信號完整性，因為把光收發器件和ASIC芯片封裝在一起，電信號的傳輸了極大的縮小，電信號所需要的補償也就相應的大大減小，這樣不但提高了信號傳輸質量，同時也使得真個PCB版的信號走線布局更為靈活；第二方面是高集成度，剛才提到現在單芯片的交換帶寬已經來到25.6T和51.2T，這就對設備的尺寸和集成度提出了要求。光電混合封裝意味著直接將光信號從合封芯片引到面板上，也就是面板上直接是小尺寸的光連接器，這樣能有效提高設備面板的連接密度；第三方面是成本上的節約，如果采用成熟的CMOS工器件的大規模集成，將為我們帶來可觀的成本節約。而且短的高速電傳輸總線在減小信號衰減的同時，也能降低補償信號完圖3光電混合封裝產業鏈5光電混合封裝技術經過十幾年發展已經形成了完整的產業鏈體系，一些公司已經推出了明確的產業化路標。正在積極開發光電混合封裝技術和產品的公近年來，關于硅基光子技術和光電混合封裝的收購與整合的從未停歇：網絡設備商思科先后收購了硅光公司Lightwire、Luxtera、Acacia，華為收購了比利時硅光子公司Caliopa，Intel收購交換芯片公司Barefoot，Ciena收購TeraXion磷化銦和硅光子資產，Juniper收購了Aurrion，諾基亞收購了硅基光子公司Elenion，這些并購案總價值達50億美金。所有這些收購都瞄準了光電混合集成的路線，一方面顯示市場對這一技術方向的看好，另一方面也預示作為當前光電通信領域最熱門的技術方向，光電混合封裝的實現方式和架構形態比較多，而且處于不斷的更新更迭中。我們這個項目選取在大規模數據中心最具有實踐價值的技術方向，對光電混合封裝技術的發展狀況進行系統研究和整理。第一階段的內容包括光電混合封裝系統的硬件架構，光引擎，外置光電混合封裝的基本構成包括ASIC芯片、光引擎、襯底及散熱機構。圖2.1是一種典型的光電混合封裝的實現形式，僅用于說明光電混合封裝的基本構成，不代表本文對這種特定的封裝形式有傾向性。實際設計中不同的廠家的6圖4光電混合封裝功能框圖從圖4可以看，電芯片和光組件通過管腳固定在同一襯底上，固定的方式可以是管腳插座（socket）也可以是回流焊。ASIC負責數據的處理和轉發，光引擎負責光電/電光信號轉換，ASIC芯片和光引擎之間通過高速差分線連接。網絡設備面板。整個封裝組件還應該有合適的散熱機構，對ASIC和光引擎工作按光源的放置方式區分，光電混合封裝的架構可以分為兩個大類，外置激光器光源和內置激光器光源。硅基光子技術可以實現光調制器和光波導的大規模集成，但是由于硅為間接帶隙半導體材料，很難作為光源材料直接發光，所以在硅基光子系統中還需要借助三五族磷化銦材料來提供連續的激光光源。在將其稱之為外置激光器光源（ELS）；如果將光源激光器通過異質集成的方式與7外置光源的光電混合封裝系統從目前的產業界狀況來看，外置激光光源是主流。大功率的外置激光器，通過分光器同時為多個光調制器提供連續種子光源。光引擎中只包括了光調制器和接收器的陣列。這樣做的好處首先是將最容易發生故障的激光器放置在混合封裝以外，做到可替換可維護，其次是分散熱源，減輕核心芯片組的散熱壓力。獨立外置光源使得整個系統的布局和散熱設計變得更加靈活，同時也讓運行過程中的維護變得更加便捷。外置光源的封裝形式和性能將在第4章節詳細8圖6內置光源的光電混合封裝系統內置式光源在同一芯片襯底上制作光源與調制器，光學部分作為整體封裝在一起。有些廠家具備三五族半導體材料的硅基集成能力，可以在硅基材料上用異質外延的方式構造三五族激光器結構，這種形式對工藝和封裝都有很大的挑戰。通常情況下，基于化合物半導體材料的激光器芯片是光通信系統中可靠性最低的器件之一。光源和調制器的單片集成會帶來可靠性和散熱問題，高密度的光源集成封裝在一起勢必成為整個系統的高風險因素，需要光路上有備份光源設計。內置光源的優勢也比較明顯，高度集成的光學組件將會使得網絡設本章節將介紹光引擎的基本構成和功能特性。結合當前集成光子技術的狀9光電混合封裝技術白皮書在光電混合封裝系統中，光引擎負責光電/電光的轉換圖73.2Tbps光引擎功能框圖光引擎的電氣端提供OIF-CEI-112GXS作為可選項，3.2Tbps光引擎的基本單元400GBASE也可以向下降速到200GBASE使用。當工作在200GBASE模式時，光引擎的電路測支持32路56G光電混合封裝技術白皮書義，這樣既能復用現有200G/400G可插拔光模塊的標準規范和技術生態，也能表2200GBASE-DR4發射端光學指標表3200GBASE-DR4接收端光學指標2．200GBASE-FR4工作模式下的光學特性表4200GBASE-FR4發射端光學指標表5200GBASE-FR4接收端光學指標3．400GBASE-DR4工作模式下的光學特性表6400GBASE-DR4發射端光學指標表7400GBASE-DR4接收端光學指標4．400GBASE-FR4工作模式下的光學特性表8400GBASE-FR4發射端光學指標表9400GBASE-FR4接收端光學指標圖8電氣接口參考模型目前主流的技術方案中，光引擎的電信號接口遵從CEI-112G-XSR-PAM4標準。光電混合封裝的應用場景更接近CEI中定義的應用模型C，如圖8所示。光電混合封裝技術白皮書表10電接口基本參數要求管理接口同樣采用目前400G可插拔光模塊使用的管理接口標準CMIS。目可插拔光模塊的管理總線通常采用I2C通信，但是對于高密度多通道的光引擎，I2C的通信速率不再滿足要求。因此現有的光電混合封裝系統多數采用圖9CMIS管理接口寄存器表圖10光引擎工作條件2.2小節中介紹了光電混合封裝系統可以采用外置激光器光源的形式，為光引擎提供連續光源。外置光源隔離半導體激光器帶來的散熱及可靠性風險，而且標準化的外置光源模塊設計可以覆蓋不同光電混合封裝系統的應用。因此外置光源模塊是目前大多數廠家采用的方案。本章將對外置激光器的結構、封需要使用大功率的半導體激光器。根據整個模塊的散熱情況，可以選用TEC對激光器工作溫度進行控制。為了保持輸出光功率的穩定，通常還會采用負反饋的自動功率控制電路，同時對光功率和激光器偏置電流進行實時監測。MCU負責整個模塊的控制和監控，以及向外為主機提供管理總線和低速信號管腳。一個外置激光器模塊中可以包含多個半導體激光器管芯，這些激光器都可以獨立驅動和控制，在某些應用場景下部分管芯可以單圖11外置激光器模塊功能框圖外置激光器輸出的連續光通過保偏光纖連接到光引擎，然后分光器將連續光源分給多個光調制器。圖12為使用400GBASE-DR4單元時的外置激光器連接關系示例。每個外置激光器模塊包含兩個獨立的相同波長的激光器，每個激光圖12400GBASE-DR4模式的外置激光器示例表11DR4模式下的外置激光器光學特性圖13為使用400GBASE-FR4單元時的外置激光器連接關系示例。此時需要四種波長的激光器，每個激光器為8個100Gbps調制通道提供光源。調制后再將4個波長用合波器（MUX）混合到一根單模光纖中。表12為FR4模式下光源圖13400GBASE-FR4模式的外置激光器示例表12FR4模式下的外置激光器光學特性為了降低激光器的使用數量，需要提高單個激光器的輸出光功率，同時也同時高功率激光器需要考慮使用中的人眼安全。比如使用光電同口的設計或者外置激光器模塊目前主流的封裝形式有兩種。第一種是采用已有的光模塊封裝形式，包括QSFP-DD和OSFP封裝。如圖14所示，因為傳