在 AI 時代，軟體開發者往往關注模型參數與 API 呼叫，但真正的效能瓶頸與成本結構其實深深根植於底層硬體。SemiAnalysis 的技術人員 Jordan Nanos 在 QCon AI 的分享中，揭示了從半導體製造（Fab）到最終產生 Token 的完整價值鏈。他強調，若不理解晶片、資料中心與供應鏈的運作方式，將難以開發出真正高效的 AI 軟體。目前 AI 市場的競爭核心已從單純的演算法競爭，轉向對硬體資源的掌控力與基礎設施的部署速度。
半導體製造的瓶頸與晶片霸權
目前 AI 硬體最核心的限制在於晶圓代工能力，特別是台積電（TSMC）的產能。儘管雲端巨頭（Hyperscalers）如 Google、Amazon、Meta 與 Microsoft 大幅增加資本支出（CapEx）以採購 AI 加速器，但台積電的產能增長並非指數型，而是相對穩健且受限。這導致一個關鍵現象：領先的製程節點（如 3 奈米）資源被大量挪用至 AI 晶片，甚至以犧牲智慧型手機等消費電子產品的產能為代價。
在晶片供應鏈中，NVIDIA 佔據了絕大部分的 3 奈米需求，而 AMD 等競爭對手僅佔極小比例。這種壟斷局面不僅限於計算晶片，還延伸至記憶體。高頻寬記憶體（HBM, High Bandwidth Memory）是 AI GPU 的核心組件，用於解決記憶體頻寬不足導致的計算等待問題。預計到明年，全球超過 60% 的 DRAM 晶圓產能將被 AI 系統佔用。對於開發者而言，這意味著硬體供應的緊縮將直接影響雲端算力的可用性與價格。
資料中心的電力革命與規模化挑戰
當晶片產出增加後，下一個瓶頸在於如何部署這些硬體。現代 AI 資料中心的規模已達到令人驚訝的程度，單一設施的電力需求可達數個吉瓦（Gigawatt），甚至超過部分城市的總用電量。隨著 GPU 密度增加，單一機架（Rack）的功耗從早期的 9kW 飆升至未來的 600kW。這種極端電力需求迫使資料中心必須從傳統的交流電（AC）轉向 800V 直流電（DC）供電，以減少電力傳輸損失。
由於電網（Grid）的互連申請週期過長（通常需 2.5 至 5.5 年），許多 AI 公司採取「表後發電」（Behind-the-meter）策略，即在資料中心現場部署天然氣渦輪機或小型模組化核反應爐，直接產生電力而非依賴公共電網。這種做法不僅加快了部署速度，也避免了因電網負荷過重而導致的民生電價上漲。此外，資料中心的設計重心已發生偏移，大部分的空間不再是存放伺服器的白區（White Space），而是被龐大的冷卻系統與電力分配設備所佔據。
網路瓶頸與硬體軟體協同設計
在系統效能方面，Nanos 指出一個常被忽略的真相：前端模型的推理效能瓶頸往往不在於運算量（FLOPS），而是在於網路傳輸。從 NVIDIA Hopper（H100）演進到 Blackwell（GB200）架構，雖然運算能力提升有限，但網路頻寬卻有大幅飛躍。這使得「預填-解碼分離」（Prefill-Decode Disaggregation）等軟體技術變得可行。這種技術將處理長輸入的預填階段與產生輸出 Token 的解碼階段分佈在不同配置的 GPU 上，藉由高頻寬網路傳輸 KV 快取（KV Cache），從而極大化吞吐量。
未來的趨勢將是共封裝光學（CPO, Co-Packaged Optics），將光學元件直接整合在晶片封裝中，以取代傳統的銅纜（Copper cables）。這不僅能降低約 20% 的叢集功耗，還能支持更大規模的 GPU 域（Domain），將單一機架的 GPU 數量從 72 顆擴展至數百顆。這種硬體能力的提升，直接賦能軟體層實現更低延遲、更高吞吐的推理服務。
推理經濟學（Tokenomics）與市場價值分佈
最後，所有硬體投資最終都體現為 Token 的成本與價格。SemiAnalysis 透過對 TCO（總擁有成本）與推理效能的分析發現，由於硬體效能的指數級成長，單個 Token 的服務成本正在劇烈下降。例如，GB200 在特定工作負載下的 Token 成本僅為 H100 的幾十分之一。
在市場價值分佈上，Anthropic 與 OpenAI 等模型公司雖然面臨巨大的算力支出，但其營收增長迅速，且已進入高獲利階段。值得注意的是，AWS 作為基礎設施提供者，透過 Bedrock 等託管平台與模型公司建立分潤機制，隨著 Trainium 等自研晶片的效能提升，AWS 的營益率正持續改善。
總結來說，AI 的競爭已進入「重工業」階段。從台積電的晶圓產能、資料中心的電力供應，到光學網路的傳輸效率，每一個環節都決定了 Token 的產出成本。對於 AI 實踐者而言，理解這些底層限制，才能在選擇雲端供應商（如 Neoclouds）或設計 agentic 軟體架構時，做出符合經濟效益與技術可行性的決策。
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。