AI 記憶體牆是什麼？光互連如何改善推論的記憶體瓶頸

AI 推論變慢，不一定是 GPU 算力不足，也可能是記憶體無法及時供應資料。光互連的關鍵不只是傳得更遠，而是讓運算與記憶體的配置有機會突破短距離電連接的限制，同時擴充容量與頻寬。

AI 記憶體牆：運算速度與資料供應的落差

記憶體牆（Memory Wall）是指處理器運算能力與記憶體存取速度之間的落差，使系統效能受限於等待資料。對 AI 而言，GPU 即使有充足運算能力，也可能因資料送達速度不足而無法充分發揮。

應用到 AI 部署時，可將記憶體相關限制拆成三個面向：

容量不足與記憶體牆需分別判讀。增加容量能容納更多資料，傳輸路徑與頻寬則決定資料能多快參與運算。

AI 推論為何受到記憶體限制

AI 推論需要反覆讀取模型權重與上下文資料；長上下文及更多併發請求會增加記憶體需求，逐步生成 Token 則可能受限於資料讀取頻寬。

高頻寬記憶體（High Bandwidth Memory，HBM）是 AI 加速器常用的堆疊式記憶體，透過寬而短的電連接向 GPU 供應資料。它通常與運算晶片緊鄰配置在同一封裝中，以短距離連接取得高頻寬與能效。

大型語言模型的推論分為提示詞處理（Prefill）與逐步解碼（Decode）。前者處理輸入內容，後者持續生成新 Token；解碼階段 尤其容易遇到記憶體頻寬限制，實際瓶頸仍隨模型、批次大小及硬體配置改變。

鍵值快取（Key-Value Cache，KV cache）保存注意力計算會重用的鍵與值，減少重複計算，也占用額外記憶體。以簡化的全注意力模型估算：

KV cache 位元組數 ≈ 2 × 層數 × KV 頭數 × 每頭維度 × 已快取 Token 數 × 每元素位元組數 × 序列數。

假設 32 層、8 個 KV 頭、每頭 128 維、每元素 2 bytes，每條序列快取 32,768 個 Token，單條約需 4 GiB；8 條獨立序列約需 32 GiB。這是估算示例，不含模型權重、運算暫存及管理額外用量；快取策略、共享前綴及滑動視窗也會改變結果。

光互連如何連接運算與記憶體

光互連（Optical Interconnect）是以光訊號在元件或系統之間傳送資料的連接方式，可用於改善高頻寬傳輸的距離、密度與能耗限制。

電連接拉長後，若要維持高頻寬，就更難兼顧訊號品質與傳輸能耗，因此 HBM 通常必須緊鄰運算晶片，可配置的記憶體數量也受晶片周邊與封裝空間限制。光互連放寬高頻寬連接的距離限制，讓新架構有機會在更大範圍配置更多記憶體晶片，同時擴充容量與總頻寬。這不是把現有 HBM 接上光纖就能移到遠端，而是必須連同記憶體介面、控制器與封裝重新設計；實際頻寬、延遲與能耗仍取決於整體架構。

Intel 的光學 I/O 示範 呈現了將光學介面靠近運算晶片的方向。光學連接也可支援資源分離，但記憶體池（Memory Pooling）還需要控制器、存取機制與軟體共同管理，才能讓多個記憶體元件成為可使用的資源。

導入價值取決於整條路徑：光鏈路省下的傳輸能耗，仍須與轉換、控制及記憶體本身的耗電一起計算。

CPO、光學 I/O 與光互連的差異

光互連描述傳輸方式，光學 I/O 描述資料進出介面，共封裝光學（Co-Packaged Optics，CPO）則描述光學元件與電子晶片的整合方式，三者可以出現在同一系統。換句話說，光學 I/O 可用來實現光互連，也可透過 CPO 整合進封裝；它們不是三種互斥的技術。

部署位置決定它改善哪一段瓶頸。例如 NVIDIA 的 CPO 網路交換器 聚焦叢集網路；運算晶片與記憶體之間的光學連接，則須處理不同的存取需求。交換器升級不會直接增加單張 GPU 的記憶體容量。

三家新創的光互連路線：從晶片 I/O 到記憶體池

Ayar Labs、Lightmatter 與 Volantis 分別從晶片介面、封裝內互連與記憶體架構切入；比較時要先辨認各自連接什麼，再看它改善哪一段資料傳輸。

進度依各公司 2026 年公開資訊整理，實際狀態以原廠公告為準。

Ayar Labs：把光學 I/O 做成可整合的晶粒

Ayar Labs 的 TeraPHY 透過 UCIe 電介面與運算晶片系統銜接，SuperNova 則提供外部光源。它把光學連接做成可整合進封裝的元件，讓加速器之間的高頻寬連線能延伸到更遠的節點。

這條路線著重晶片之間如何交換資料。評估重點是運算晶片能否接入光學介面，以及連接距離、延遲與光源配置是否符合系統需求；單張加速器的記憶體容量仍取決於其原有架構。

Lightmatter：以 3D 整合提高封裝內的互連密度

Lightmatter 的 Passage L200 將光子晶片與電子晶片垂直整合，把光學介面從晶片邊緣延伸到面積方向，增加封裝可承載的資料通道。它關注的是晶片運算能力成長時，周邊可放置的連接介面跟不上需求的問題。

相較 Ayar Labs 著重光學 I/O 晶粒與外部光源的整合，Lightmatter 的 L200 更凸顯光電元件在封裝內的垂直配置。兩者的應用範圍可能重疊，但可從介面相容性、封裝方式與頻寬密度辨認設計差異。

Volantis：重新設計運算與記憶體池的連接

光互連的商用成熟度因部署位置而異；資料中心已有光通訊應用，將光學連接深入運算晶片與記憶體之間，仍需逐項確認產品與驗證狀態。

Volantis 在 2026 年 10 月公布 A-1 推論系統計畫，以光學連接將記憶體晶片組成資源池，目標是在增加容量時也擴大總頻寬。公司規劃於 2027 年向客戶交付首批整合推論引擎。

依 Volantis 的技術說明，其設計是在中介層（interposer）上使用光波導，將更多記憶體晶片連成資源池，而不是替現有 GPU 外掛一組遠端 HBM。這類晶片與記憶體之間的連接，和前述用於叢集網路的 CPO 交換器，改善的是不同位置的瓶頸。

這項計畫展示了以互連改變記憶體配置的方向。實際商用價值還要看可支援模型、持續運行表現與整機成本；公司公布的速度或容量目標，需與客戶實際部署成果分開理解。

三家路線可用三個問題對照：Ayar Labs 如何讓晶片接入光學連線？Lightmatter 如何在封裝內放入更多互連通道？Volantis 如何讓更多記憶體共同供應推論運算？前兩者偏向供其他晶片系統整合的互連元件，後者將互連與記憶體配置納入整套推論系統設計。

記憶體原廠、大型晶片商與封裝平台的共同推進

光互連走向可部署系統，需要記憶體架構、晶片產品與封裝製造共同配合；SK 海力士、Marvell 與台積電的投入，分別反映這三個環節的進展。

SK 海力士：從 HBM 延伸到系統級光互連

SK 海力士與學界共同發表 CPO 研究路線圖，提出以光學連接串起運算與記憶體資源，處理機櫃與更大叢集的資料瓶頸。這讓光互連的討論延伸到記憶體原廠的系統設計視角；論文提出的是發展方向，與特定產品的量產認證仍有差別。

Marvell：將新創技術納入大型晶片商布局

Marvell 於 2026 年 2 月完成收購 Celestial AI，將其 Photonic Fabric 光互連技術與團隊納入資料中心事業。這使光互連與大型晶片商既有的互連產品共同發展，也為客戶整合增加資源；收購完成本身不代表所有方案已大量交付。

台積電 COUPE：讓光學引擎進入封裝製造流程

台積電的 COUPE（Compact Universal Photonic Engine）把光學引擎整合進封裝，回應光電元件共同製造與整合的需求。台積電在 2026 年技術論壇公布 COUPE on substrate 於該年開始生產的規劃，呈現封裝落地路徑；各客戶系統的驗證與出貨，仍需依個別產品確認。

從新創的介面與架構，到原廠研究、大廠整合與封裝平台，光互連已形成多條並行路線。判讀進展時，應分清元件、封裝與整套系統的成果，並回到實際模型、延遲、功耗及部署成本驗證。

GPU 叢集的記憶體與互連評估順序

企業部署 GPU 叢集時，應先確認模型與服務需求，再分別驗證記憶體容量、資料傳輸及機房承接條件。

1. 容量：權重、KV cache 與執行暫存合計需要多少記憶體？

2. 服務表現：在目標上下文與併發下，首個 Token 時間與持續生成速度是否達標？

3. 傳輸路徑：瓶頸位於 GPU 記憶體、GPU 之間、跨節點網路，還是儲存？

4. 部署條件：目標配置的電力、冷卻與擴充空間能否承接？

評估時應以相同模型、精度及服務條件測試，先辨認容量或傳輸瓶頸，再決定調整快取、單機配置或跨節點部署。若模型與服務規模需要多台 GPU 伺服器共同運作，就要進一步規劃節點間的連接方式、網路與儲存，並確認對應的電力及冷卻條件。

FAQ

光互連等於光運算嗎？

光互連以光傳送資料；光運算則利用光學機制執行運算。採用光互連的系統，仍可使用電子處理器與電子記憶體。

光互連能取代 HBM 嗎？

光互連與高頻寬記憶體（High Bandwidth Memory，HBM）處於不同層級：前者是連接方式，後者是記憶體技術。新系統可能採用不同記憶體配置，但需要整套架構重新設計與驗證，無法將光互連直接當成 HBM 的替換元件。

記憶體牆只影響訓練，還是也影響推論？

兩者都可能受到影響。訓練涉及權重、梯度及中間結果；推論則涉及權重與快取。各階段的瓶頸會隨模型、批次與硬體配置改變。