OpenAI 與 Broadcom 近期揭曉了名為 Jalapeño 的首款 AI 推理加速晶片。這標誌著 OpenAI 正式從單純的模型開發者，轉型為掌握從產品、模型到硬體底層的全棧（Full-stack）AI 巨頭。對於許多工程師來說，最關鍵的訊息在於：OpenAI 不再滿足於使用通用型 GPU，而是決定根據大語言模型（LLM）的運作特性，從零開始設計專用的 ASIC 晶片。
為什麼需要專屬的推理晶片
在 AI 的生命週期中，訓練（Training）與推理（Inference（將訓練好的模型部署並產生結果的過程）對資源的需求截然不同。目前的通用加速器雖然強大，但往往為了兼顧多種任務而存在冗餘。OpenAI 推出 Jalapeño 的核心目標是提升每瓦性能（Performance per Watt），也就是在消耗相同電力的情況下，能提供更高的運算效能。
對於 LLM 而言，效能瓶頸往往不在於純粹的運算力，而是在於數據搬運。LLM 在推理時需要頻繁地在記憶體與運算單元之間移動大量權重數據，這會導致運算單元在等待數據時處於閒置狀態。Jalapeño 的設計重點在於優化數據移動、平衡運算、記憶體與網路資源，讓實際利用率能更接近理論上的峰值性能，從而降低延遲並提升吞吐量。
全棧優化的工程實務
OpenAI 強調其全棧優勢，這意味著他們可以將硬體設計與軟體層級深度對接。具體來說，他們將模型架構、核心運算函數（Kernels）、伺服器系統以及產品需求直接反饋到晶片設計中。
這種協同設計（Co-design）讓 Jalapeño 能夠針對 LLM 最常見的運算模式進行優化。例如，透過與 Broadcom 的 Tomahawk 網路晶片技術結合，解決大規模數據中心在多晶片協作時的網路阻塞問題。當硬體、驅動、核心運算庫與模型本身都由同一套邏輯定義時，可以大幅減少效能損耗，讓 AI 回答的速度更快，且成本更低。
開發週期的突破與 AI 自舉
值得關注的是，Jalapeño 從設計到投片（Tape-out，指將電路設計交付製造廠生產的最終階段）僅耗時九個月。在高性能半導體領域，這是一個極其驚人的速度。
OpenAI 透露，他們在晶片設計與優化過程中，使用了自身的 AI 模型來輔助工程師。這形成了一種正向循環：用 AI 模型來設計更高效的晶片，而更高效的晶片又能運行更強大的 AI 模型。這種 AI 自舉（Bootstrapping）的能力，將顯著縮短未來硬體迭代的週期。
實務影響與未來佈局
Jalapeño 並非為了取代所有運算，而是專為 LLM 推理而生。它旨在兼具頂尖加速器的吞吐量與專業推理系統的低延遲，使其非常適合需要即時互動的產品（如 ChatGPT 或未來的 AI Agent）。
根據計劃，這套平台將於 2026 年底開始部署，並與微軟等合作夥伴共同建構吉瓦（Gigawatt）等級的大規模數據中心。對開發者而言，這意味著未來調用 API 的成本可能會下降，且模型回應的即時性將大幅提升。
總結來說，Jalapeño 的出現代表 AI 競爭已進入底層基礎設施的軍備競賽。當模型架構趨於成熟，誰能以最低的電力成本、最高的效率提供推理服務，誰就掌握了 AI 商業化的主導權。
來源：openai.com
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。