PCIe，新革命

在高速數(shù)據(jù)傳輸和計算需求日益增長的今天，PCIe 正在經(jīng)歷一場前所未有的光互聯(lián)革命。2024年，光互連技術(shù)發(fā)展勢頭迅猛，多家廠商紛紛推出與PCIe相關(guān)的解決方案，加速了光互連在數(shù)據(jù)中心中的應(yīng)用。光互連技術(shù)也越來越有望迅速從實驗室走向數(shù)據(jù)中心，成為數(shù)據(jù)傳輸領(lǐng)域的中堅力量。

   銅纜PCIe發(fā)展吃力，光互連來接力   

PCI-Express（PCIe）自2000年誕生以來，憑借其高帶寬、低延遲等優(yōu)勢，一直是計算機系統(tǒng)中不可或缺的互連標(biāo)準(zhǔn)。盡管PCIe卡的外形尺寸在過去二十年基本保持不變（很大程度上是為了確保向后和向前兼容性），但其信號傳輸速度卻實現(xiàn)了飛躍式發(fā)展。從最初的PCIe 1.0到如今的PCIe 6.0和即將發(fā)布的PCIe 7.0，單個通道的傳輸速率已經(jīng)提高了32倍，而PCI-SIG將在2025年通過PCIe 7.0將這一速度再次提高一倍，達到512GB/s。

PCIe數(shù)據(jù)速率的演變（來源 PCI-SIG）

PCIe 7.0的創(chuàng)新還包括四級脈沖幅度調(diào)制 (PAM4)、輕量級前向糾錯 (FEC)、循環(huán)冗余校驗 (CRC) 和流量控制單元 (Flits)。PCIe 7.0 技術(shù)旨在成為人工智能/機器學(xué)習(xí)、數(shù)據(jù)中心、HPC、汽車、物聯(lián)網(wǎng)和軍事/航空航天等數(shù)據(jù)密集型市場的可擴展互連解決方案。

就當(dāng)下以及未來的發(fā)展來看，大語言模型的快速迭代離不開海量GPU集群的強勁支持。這個海量已經(jīng)到了萬卡集群級別，成為AI標(biāo)配，萬卡集群之間的互連通常是基于GPU上原生的PCIe接口。要達到PCIe 7.0及更高速度的數(shù)據(jù)傳輸，幾乎無法通過PCIe標(biāo)準(zhǔn)的銅纜實現(xiàn)機架間數(shù)十米的傳輸，傳統(tǒng)的電氣 PCIe 接口在傳輸數(shù)據(jù)時受限于電纜和板上的電氣特性，帶寬和距離受限，傳輸距離通常約為一米，使用重定時器（retimer）或光學(xué)傳輸將成為唯一的實際解決方案。實際上，到PCIe 5.0 和 6.0標(biāo)準(zhǔn)時，銅纜就已經(jīng)開始吃力了。這也是為什么PCI-SIG（PCIe標(biāo)準(zhǔn)的制定組織）在2024年5月1日宣布了新的CopprLink內(nèi)部和外部電纜規(guī)范。CopprLink電纜規(guī)范具有相同的外形尺寸，可以提供32.0和 64.0 GT/s 的信號傳輸，并利用由SNIA維護的完善的行業(yè)標(biāo)準(zhǔn)連接器外形尺寸。但是CopprLink的傳輸距離仍然很有限，單個系統(tǒng)內(nèi)僅為1米，機架到機架連接的最大可達 2米。

再加上考慮到重定時器的使用既復(fù)雜、昂貴又耗電，而且有其局限性，因為每個鏈路只能使用兩個重定時器。接下來，光互連將成為PCIe架構(gòu)繼續(xù)演進的重要一部分。

這點可以從PCI-SIG的動作看出，2023年8月，PCI-SIG成立了一個光學(xué)工作組探索光學(xué)連接，計劃采用多種光學(xué)技術(shù)來支持 PCIe，包括可插拔光收發(fā)器、板載光學(xué)器件、共封裝光學(xué)器件和光學(xué) I/O，標(biāo)準(zhǔn)化光纖上PCIe的工作和行為方式。光纖通信具有更長距離和更高數(shù)據(jù)速率的潛力，并且與日益耗電的銅線傳輸相比，可以顯著降低功耗。

PCI-SIG布線工作分為三個不同的工作組：電氣工作組 (EWG)、布線工作組 (CWG) 和光學(xué)工作組 (OWG)（圖源：PCI-SIG）

總的來說，PCI-SIG正在采取兩條腿走路的策略：一方面在為 128.0 GT/s 的 PCIe 7.0 架構(gòu)開發(fā) CopprLink 電纜；另一方面，在積極推動PCIe光纖互連的工作，PCIe光互連對于將基于PCIe的GPU集群擴展到多個機架和行、提高AI模型性能和提高GPU利用率至關(guān)重要。PCI-SIG希望CopprLink電纜和光學(xué)互連能夠相互補充。

   廠商奮進，PCIe光互連近在咫尺   

在實現(xiàn)光互連的路上，已經(jīng)有越來越多不同產(chǎn)業(yè)鏈的廠商參與進來，這為光互聯(lián)的發(fā)展起到了很大的推動作用。

1.連接技術(shù)公司

在2024年的光纖通信會議 (OFC) 大會上，Alphawave與多家光學(xué)供應(yīng)商合作開展了一項非重定時光學(xué)研究，使用Alphawave PipeCORE PCIe 6.0子系統(tǒng) IP（適用于PCIe和CXL）在評估板上運行，以驅(qū)動使用PCIe 6.0數(shù)據(jù)的光學(xué)系統(tǒng)，并始終實現(xiàn)小于 1×10 -9的 BER ，這至少是性能裕度的3個數(shù)量級。Alphawave是一家提供用于數(shù)據(jù)中心、通信和人工智能應(yīng)用的高速連接技術(shù)，專注于開發(fā)和制造高速接口芯片和解決方案，如 PCIe、CXL 和 Ethernet連接器。

Alphawave評估板將64Gbps驅(qū)動至Nubis光學(xué)引擎（圖源：Alphawave）

6 月 11 日，專用連接解決方案廠商Astera Labs首次展示了數(shù)據(jù)中心 GPU 集群的端到端 PCIe 光纖傳輸技術(shù)。在演示中，他們組裝了兩種常見配置以擴展覆蓋范圍：從頭節(jié)點到 GPU 集群，以及從頭節(jié)點到遠程分散的內(nèi)存系統(tǒng)。系統(tǒng)通過單模光纖實現(xiàn)了全速率 PCIe傳輸，總帶寬達到128GB/s，覆蓋范圍為 20 米。不過根據(jù)實際應(yīng)用需求，該覆蓋范圍可以輕松擴展至 50 米或更長。

數(shù)據(jù)中心GPU集群端到端PCIe光纖傳輸?shù)难菔荆▓D源：Astera Labs）

2.IP廠商：新思科技 & Cadence

從最簡單的構(gòu)建塊（如 GPIO）到最先進的高速接口，IP子系統(tǒng)是芯片制造生態(tài)系統(tǒng)的命脈。目前，新思科技和Cadence這兩家業(yè)界領(lǐng)先的EDA公司正積極投入到PCIe 7.0光纖接口的研發(fā)中，力求為高速互聯(lián)提供更具創(chuàng)新性的解決方案。

新思科技和OpenLight在OFC 2024期間展示了世界上首個采用線性驅(qū)動方法的PCIe 7.0光纖數(shù)據(jù)速率演示。該演示展示了端到端鏈路 BER 性能比 FEC 閾值高出幾個數(shù)量級，證明了以128Gbps PAM4運行的PCIe 7.0光纖的可行性。值得一提的是，新思科技推出了首個PCIe 7.0 IP，通過正在進行的互操作性演示和 PCIe 7.0 數(shù)據(jù)速率和基于光纖的 PCIe 6.x 的出色現(xiàn)場結(jié)果，有助于降低集成和風(fēng)險，并使一次通過硅片成功成為可能。

PCIe 7.x/6.x光纖演示（圖源：新思科技）

Cadence在2024 年 PCI-SIG 開發(fā)者大會（PCI-SIG DevCon 2024）上演示了全球首個 PCIe 7.0 光纖連接方案。Cadence成功使用線性可插拔光學(xué)元件（LPO）演示了傳輸速度達128GT/s的光纖PCIe 7.0信號收發(fā)，無需DSP/Retimer。

（圖片來源：Cadence）

3.芯片廠商：Intel

英特爾是光互連的多年研究者，在2024 OFC上，英特爾推出了其首款與計算處理器共同封裝的光輸入/輸出 (I/O) 芯片組，該芯片組支持 64 個 PCIe 5.0 通道，每個通道雙向傳輸速度為 32 GT/s，總計4Tbps，使用光纖傳輸距離可達100米。而且其功耗很低，據(jù)英特爾稱，該芯片組使用密集波分復(fù)用 (DWDM) 波長，每比特僅消耗5皮焦耳，比每比特消耗約 15 皮焦耳的可插拔光收發(fā)器模塊節(jié)能得多。

（圖片來源：英特爾）

   PCIe演進，CXL光互連的突破   

雖然PCIe是一個出色的互連技術(shù)，但是近年來，隨著AI和機器學(xué)習(xí)的迅猛發(fā)展，對計算、內(nèi)存和互連都提出了新的要求，一種基于PCIe的全新的高速互連標(biāo)準(zhǔn)——CXL，正在成為AI時代的“運力”引擎。

CXL（Compute Express Link）是由英特爾于2019年發(fā)起的一項開放性行業(yè)標(biāo)準(zhǔn)，可增強處理器、內(nèi)存擴展和加速器之間的通信。CXL建立在PCIe框架之上，從技術(shù)上看，CXL是通過PCIe物理層傳輸信號，但在協(xié)議層面上引入了新的特性和改進，以顯著提升系統(tǒng)中處理器、加速器和內(nèi)存設(shè)備之間的數(shù)據(jù)交換效率和一致性，使得資源共享具有更低的延遲，減少了軟件堆棧的復(fù)雜性，并降低了整體系統(tǒng)成本，為高性能計算和大規(guī)模數(shù)據(jù)處理提供了更為強大的支持。

Rambus近期成功演示了CXL與光纖的無縫對接。Rambus利用Samtec Firefly光纜技術(shù)，將CXL端點設(shè)備與Viavi Xgig 6P4訓(xùn)練器連接，成功構(gòu)建了一個遠程“CXL內(nèi)存擴展”模塊。具體而言，Rambus的被測設(shè)備（DUT）搭載了CXL 2.0控制器，以四通道16 GT/s的速度運行。Viavi Xgig 6P4則模擬根復(fù)合設(shè)備，通過支持16 GT/s速率的Samtec Firefly PCUO G4光纜與DUT連接。測試結(jié)果表明，DUT在四倍速率下穩(wěn)定運行，達到了預(yù)期性能。更重要的是，在設(shè)備發(fā)現(xiàn)階段和CXL 2.0合規(guī)性測試中，DUT表現(xiàn)出色，順利通過了所有標(biāo)準(zhǔn)測試。

Rambus 展示利用 CXL Over Optics 實現(xiàn)的先進數(shù)據(jù)中心功能(圖源：Rambus)

國內(nèi)方面，2024年8月2日，曦智科技與紫光股份旗下新華三集團合作，成功將曦智科技片間光網(wǎng)絡(luò)技術(shù)(Optical inter-chip Networking, oNET)應(yīng)用于新華三集團CXL-O光互連解決方案，實現(xiàn)服務(wù)器作為主機讀寫掛載于CXL 2.0交換機后的內(nèi)存資源，并順利完成了相關(guān)帶寬、延時和壓力等測試內(nèi)容。曦智科技自成立以來，專注于光電混合算力新范式，oNET是曦智科技原創(chuàng)核心技術(shù)之一。

作為近幾年才誕生的互聯(lián)技術(shù)——CXL，發(fā)展迅速，據(jù)Yole Intelligence稱，CXL市場預(yù)計從 2022年的170萬美元增長到2026年的21億美元，其中 70%（即 15 億美元）將由 CXL 內(nèi)存解決方案構(gòu)成。

值得一提的是，8月初，Kioxia（鎧俠）推出了具有光學(xué)接口的寬帶SSD，通過用光學(xué)接口取代電線接口，該 SSD 技術(shù)顯著增加了計算和存儲設(shè)備之間的物理距離，減少了接線，同時保持了能源效率和高信號質(zhì)量。目前，Kioxia已經(jīng)能夠?qū)⒋鎯︱?qū)動器放置在距離CPU最遠40米的距離，但計劃在未來將這一距離增加到100米。

來源：anandtech

   寫在最后   

長遠來看，PCIe 架構(gòu)在中長期內(nèi)在各種高增長垂直領(lǐng)域依然展現(xiàn)出強大的增長潛力。根據(jù) ABI Research 的《PCI Express市場垂直機會》報告，汽車和網(wǎng)絡(luò)邊緣領(lǐng)域為 PCIe 技術(shù)提供了最高的增長機會，預(yù)測期內(nèi)的總潛在市場 (TAM) 和復(fù)合年增長率 (CAGR) 分別達到 53% 和 38%。

汽車行業(yè)能夠從 PCIe 技術(shù)的廣泛應(yīng)用中獲得巨大價值，因為它可以整合電氣/電子 (E/E) 系統(tǒng)，并幫助解決自動駕駛汽車在安全性和效率方面的挑戰(zhàn)。而在數(shù)據(jù)中心等高性能應(yīng)用領(lǐng)域，對新 PCIe 技術(shù)的需求將保持長期的持續(xù)增長。PCIe 技術(shù)的前向和后向兼容性為決策者提供了靈活性，縮短了價值實現(xiàn)時間并降低了部署風(fēng)險，這也促使 AI 行業(yè)的采用率不斷提升。除了性能之外，PCIe 技術(shù)的關(guān)鍵驅(qū)動因素還包括能效、安全性和“價值實現(xiàn)時間”。

而PCIe的未來演進路線中，光學(xué)必然是一塊重要的拼圖。光學(xué)PCIe的發(fā)展契合了當(dāng)前大數(shù)據(jù)、人工智能等領(lǐng)域?qū)Ω咝阅苡嬎愕男枨蟆Ｔ诟咚贁?shù)據(jù)傳輸?shù)男枨篁?qū)動下，光學(xué)技術(shù)不僅在理論上展現(xiàn)出巨大潛力，更在實踐中不斷突破極限。隨著更多廠商的加入和技術(shù)的不斷演進，未來的數(shù)據(jù)互聯(lián)將會迎來更加高效和高速的新時代。

文章來源：半導(dǎo)體行業(yè)觀察