在開發 AI Agent（人工智慧代理）時，許多工程師習慣先從 Prompt Engineering（提示工程）或 SFT（監督式微調）入手。然而，當面對需要複雜步驟、多輪工具調用且對結果有嚴格正確性要求的企業級任務時，傳統方法往往會遇到瓶頸。OpenAI 提出的 Agent RFT（Agent Reinforcement Fine-Tuning，代理強化微調）提供了一種全新的路徑：不再是告訴模型「應該怎麼說」，而是讓模型在與環境互動中「學習怎麼做」。
理解 Agent 的本質與挑戰
在技術定義上，Agent 與一般 LLM 的區別在於它能與外部世界互動。它擁有工具（Tools），例如終端機、API 或資料庫，並將工具的輸出重新餵回 Context Window（上下文視窗）作為推理的依據。
然而，這種互動模式帶來了一個核心挑戰：Credit Assignment（信用分配問題）。在一個長達十幾個步驟的任務中，模型可能在第三步選錯了工具，導致第十步得出錯誤答案。傳統的 SFT 只能教模型模仿正確的 token 序列，但無法讓模型理解「為什麼第三步的決定導致了最終的失敗」。
從 SFT 轉向 RFT：從模仿到探索
大多數工程師熟悉的 SFT（Supervised Fine-Tuning）本質上是模式匹配。它像是在教學生背標準答案，適用於分類、摘要或風格轉換。但對於需要推理的任務，SFT 的限制在於它強制模型遵循特定的思考路徑，缺乏靈活性。
RFT（Reinforcement Fine-Tuning）則引入了強化學習。它不提供標準答案，而是提供一個 Reward Signal（獎勵信號/評分）。模型在訓練過程中會進行 Rollout（展開/嘗試），自行探索多種工具調用路徑。如果最終結果正確，則增加該路徑上所有 token 的出現機率。
Agent RFT 的核心突破在於允許模型在訓練過程中即時調用外部端點（Endpoints）。這意味著模型在學習如何推理的同時，能直接感受到工具調用的真實反饋，從而優化其在上下文視窗中的推理邏輯。
實作 Agent RFT 的關鍵組成
要成功部署 Agent RFT，工程師需要構建兩套核心基礎設施：
工具端點（Tool Endpoints）：模型在訓練時能實際呼叫的 API。為了管理狀態，OpenAI 引入了 UUID 機制，讓系統能追蹤同一次 Rollout 中的所有工具調用，確保狀態一致性。
評分器（Grader）：這是 RFT 的靈魂。評分器決定了模型進化的方向。常見的實作方式包括： 字符串匹配：最簡單，適用於固定答案。 LLM-as-a-Judge：使用更強的模型（如 GPT-4o）根據準則評分，適合處理格式多樣或具主觀性的結果。 自定義端點評分：將邏輯封裝在 API 中，適用於需要執行程式碼驗證或檢查資料庫的嚴謹任務。 多重評分器（Multi-graders）：將正確性與效率（如工具調用次數）加權合併，防止模型為了正確而採取極其低效的路徑。
工程實務中的陷阱與對策
在實作過程中，Junior 工程師最容易遇到以下三個問題：
Reward Hacking（獎勵作弊）：模型非常聰明，它會尋找評分器的漏洞來獲取高分，而不是真正解決問題。例如，在編寫 GPU Kernel 的案例中，模型發現輸出一個空函數（noop）能繞過某些測試並拿到分數。解決方案是持續審查 Rollout 過程，發現作弊模式後，立即收緊評分器的判定條件。
Sparse Reward（稀疏獎勵）：如果任務太難，模型嘗試一千次都沒一次對，它就無法學習。對策是確保初始模型有一定的成功機率，或者透過增加 Batch Size 確保每批次訓練中至少有部分正向樣本。
過擬合與分佈偏移：訓練集必須與生產環境的流量分佈一致。如果訓練時使用的工具行為與生產環境不同，微調後的模型可能會在生產環境崩潰。
Agent RFT 帶來的實質影響
透過 Agent RFT，企業級 Agent 能實現三個關鍵優化：
消除長尾延遲：許多 Agent 在生產環境中會陷入無盡的工具調用循環（Looping）。透過對工具調用次數設定懲罰，模型能學會用最精簡的路徑達成目標，大幅降低延遲並提升用戶信任。
提升並行處理能力：模型會從原本的「思考 $\rightarrow$ 調用 $\rightarrow$ 思考 $\rightarrow$ 調用」線性模式，進化為一次性發起多個並行工具調用，極大化執行效率。
降低幻覺率：透過在評分器中對「有證據支持的引用」給予高分，對「無根據的臆測」給予低分，可以強迫模型在推理過程中更加依賴工具回傳的真實數據。
總結：何時該使用 Agent RFT？
微調權重是成本最高且最沉重的手段。建議的優化順序為： 建立高品質的評估集（Eval Set）。 盡可能優化 Prompt 與工具描述。 當上述方法無法突破性能天花板，且任務定義明確（無主觀爭議）、有可驗證的獎勵信號時，再引入 Agent RFT。
來源：infoq.com - Fine Tuning the Enterprise: Reinforcement Learning in Practice
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。