Apple 在 WWDC 26 中正式推出了 Core AI 框架，這不僅是 Core ML 的繼承者，更是為了應對生成式 AI 時代而設計的核心底層技術。對於開發者來說，這意味著我們現在可以將大型語言模型（LLM）或視覺模型直接部署在 iPhone、iPad、Mac 與 Vision Pro 上，而不需要依賴雲端伺服器。
為什麼需要 Core AI？在過去，執行大型模型通常需要強大的雲端運算，這會帶來三個主要問題：使用者隱私風險、對網路連線的依賴，以及昂貴的 Token 運算成本。Core AI 旨在將這些運算全部移至裝置端（On-Device），利用 Apple Silicon 的硬體優勢，實現零伺服器依賴且完全保護隱私的 AI 體驗。
Core AI 的核心技術特點
Core AI 最強大的地方在於它能將 CPU、GPU 以及 Neural Engine（神經網路引擎，專為加速 AI 運算設計的硬體單元）統一在單一 API 之下。開發者不需要手動去分配哪一部分運算交給哪個硬體，框架會自動處理工作負載的分配。
此外，它採用了 Swift API 並支援零拷貝數據路徑（Zero-copy data paths）。簡單來說，這能減少數據在記憶體中反覆搬移的開銷，讓推理過程中的記憶體控制更加精細。而 AOT 編譯（Ahead-of-Time compilation，提前編譯）則將部分運算壓力從使用者的執行階段移前，大幅縮短了模型的加載時間。
從 PyTorch 到 Core AI 的轉換路徑
對於習慣使用 PyTorch 的工程師，Core AI 提供了便捷的轉換工具。最簡單的方式是將 PyTorch 模型導出為 ExportedProgram，再透過 TorchConverter 轉換為 Core AI 的 AIProgram。
如果需要更深層的優化，開發者可以使用框架內建的複合操作（Composite Ops），例如處理注意力機制（Attention）或 RoPE 嵌入（旋轉位置嵌入，用於增強模型對位置的感知能力）。甚至可以透過撰寫自定義的 Metal Kernels（Metal 是 Apple 的底層圖形與計算 API）來達成極限的效能調優。
模型壓縮與硬體適配
由於裝置端記憶體有限，模型壓縮是部署的關鍵。Core AI 支援量化（Quantization，將高精度浮點數轉為低精度整數以減少空間）與調色盤化（Palettization，一種類似索引色彩的壓縮技術），這能有效降低模型在磁碟與記憶體中的佔用，並降低推理延遲與功耗。
值得注意的是，Core AI 具有自動特化（Automatic Specialization）機制。當模型首次加載時，它會根據當前裝置的硬體版本與 OS 版本進行優化並存入快取（Model Cache）。這解釋了為什麼模型第一次運行時會較慢，但之後的速度會顯著提升。開發者可以透過 SpecializationOptions 來控制這個過程，或透過 AICacheModel 管理快取。
Apple 機器學習生態的選擇指南
目前 Apple 的生態系中存在三種 ML/AI 實作路徑，初學者可以根據需求選擇：
Core ML 適用於傳統的非神經網路機器學習，例如決策樹（Decision Trees）或表格數據的特徵工程。
Core AI 是目前的重心，專為神經網路（Neural Networks）與 Transformer 架構（生成式 AI 的核心結構）設計，追求最高效能。
MLX Swift 則適合需要直接操作自定義模型權重、進行研究或快速實驗的場景，雖然靈活性高，但效能可能不如 Core AI。
總結來說，Core AI 的推出讓開發者能構建所謂的自定義智能（Custom Intelligence）。雖然其長期價值取決於社群的成長，但它確實降低了將高性能 LLM 整合進 Apple 生態系統的門檻。
來源：infoq.com
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。