OpenAI 近期公布了其首款自研推論晶片 Jalapeño 的初步測試結果。這款晶片旨在解決當前 AI 推論（Inference，指模型在訓練完成後，根據輸入產生結果的執行過程）面臨的效率瓶頸。在目前的硬體環境中，開發者通常必須在吞吐量（Throughput，單位時間內處理的總數據量）與延遲（Latency，單次請求的反應時間）之間做出取捨：若要追求極速反應，往往會犧牲整體處理量；若要最大化吞吐量，則單一用戶的等待時間會增加。Jalapeño 的核心突破在於透過單一架構同時提升這兩項指標，為未來更複雜的 AI Agent（AI 代理，能自主執行多步驟任務的系統）提供必要的基礎設施。
核心技術與運作機制
Jalapeño 的性能提升源於 OpenAI 採取的全棧設計（Full-stack Design）策略，將模型架構、推論軟體、晶片設計、記憶體與網路系統進行協同開發。推論過程通常分為兩個階段：預填（Prefill，處理輸入提示詞的階段，屬於計算密集型）與解碼（Decode，逐個生成 Token 的階段，屬於記憶體頻寬密集型）。傳統系統在兩個階段切換或在不同核心間傳輸數據時，常會產生通訊延遲，導致部分運算單元處於閒置狀態。
為了消除這些瓶頸，Jalapeño 重新設計了數據流動方式，將模型狀態（例如生成過程中至關重要的 KV Cache，即鍵值快取，用於儲存先前計算的結果以避免重複運算）盡可能保持在局部區域，大幅減少數據移動距離。此外，晶片將網路功能深度整合進架構中，使整個工作負載能在一個連接系統內完成，有效降低了端到端的延遲，使其能靈活適應預填與解碼比例不斷變化的 AI Agent 工作負載。
AI 驅動的開發循環
值得關注的是，Jalapeño 的開發過程本身就是 AI 協作的產物。OpenAI 利用其先前世代的模型來輔助晶片設計與驗證，將從初始設計到投片（Tapeout，將設計圖交由晶圓廠製造的最終階段）的時間縮短至九個月。AI 不僅優化了算術電路以提升運算密度，還將晶片設計為一個可預測的編程目標，讓 AI 能更高效地處理傳統上極其困難的平行編程（Parallel Programming）問題。
這種開發模式在實務中展現了極高的靈活性。測試團隊利用 Codex 與 GPT-Astra，在短短兩個月內就將三款原不在計畫內的開源模型優化至高效能狀態。在部分特定的注意力機制（Attention）與專家混合模型（MoE, Mixture-of-Experts）區塊中，AI 生成的實作代碼執行速度比人類專家撰寫的版本快了 1.5 到 1.8 倍，證明了 AI 驅動的開發循環能大幅加速硬體適配過程。
性能表現與實務影響
在基於 InferenceX 公開基準測試的結果中，Jalapeño 展現了強大的通用性。針對 GPT-OSS 120B、DeepSeek R1 以及 Kimi K2.5 1T 等不同規模的模型，Jalapeño 在峰值吞吐量下的每瓦效能提升了 1.5 至 1.9 倍，端到端延遲則降低了 1.7 至 3.6 倍。對於高度互動的負載，其性能提升甚至達到 2.1 至 4.1 倍。
這對 AI 產業具有深遠意義。首先，對於 AI Agent 而言，由於其任務通常需要連續執行多個步驟，任何微小的延遲在多輪對話中都會產生複利效應，導致整體體驗卡頓。Jalapeño 的低延遲特性讓 Agent 能更即時地反應。其次，更高的每瓦效能（Performance per Watt）意味著在相同的電力成本下能提供更多的運算服務，這將降低 AI 服務的營運成本，使更強大的模型能以更低廉的價格普及化。
限制與未來路徑
儘管 Jalapeño 表現優異，但 OpenAI 強調這僅是多代產品藍圖的第一步。目前 Gen 2 與 Gen 3 版本已在開發中，旨在持續迭代效率與速度。此外，OpenAI 並非要完全取代現有供應鏈，而是將 Jalapeño 作為補充，未來仍會廣泛部署 NVIDIA 等合作夥伴的加速器來處理訓練與推論工作。
目前 Jalapeño 仍處於生產資格驗證與軟體成熟化階段，預計將於今年底前正式部署至 OpenAI 的計算基礎設施中。這場從單純採購晶片轉向自研硬體的轉型，顯示出頂尖 AI 公司正試圖透過掌控底層硬體，來突破軟體演進所遭遇的物理限制。
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。