在開發大型語言模型（LLM）時，安全性與強韌度（Robustness）是最核心的挑戰之一。尤其是當 AI 逐漸從單純的聊天機器人轉向能操作工具、讀取檔案、瀏覽網頁的「代理人（Agent）」時，攻擊面會大幅增加。OpenAI 近期推出的 GPT-Red 方案，揭示了一套如何讓 AI 透過「自我對抗」來提升安全性的工程實務。
什麼是紅隊演習與 Prompt Injection
在資安領域，紅隊演習（Red-teaming）是指由攻擊者模擬對手，試圖找出系統漏洞的過程。對於 LLM 而言，最常見的漏洞是提示詞注入（Prompt Injection）。
提示詞注入是指攻擊者在輸入內容中夾帶惡意指令，誘導模型忽略原有的系統設定（System Prompt），轉而執行攻擊者的指令。例如，攻擊者可能在一個網頁中隱藏一段文字，當 AI 代理人讀取該網頁時，被誘導將使用者的私密資料上傳到外部伺服器。
傳統上，紅隊演習依賴人類專家手動設計攻擊案例。但對於 Junior 工程師來說，必須理解人類紅隊有兩個致命限制：第一是無法規模化（Scalability），人類設計案例的速度遠慢於模型能力的成長；第二是缺乏數據量，無法產生足夠多且多樣的對抗性樣本來進行模型訓練。
GPT-Red：將攻擊自動化
為了突破人力瓶頸，OpenAI 開發了 GPT-Red。這不是一個對外公開的模型，而是一個專門用來「找漏洞」的內部自動化紅隊模型。
GPT-Red 的運作邏輯像是一個專業的駭客：它會發送提示詞、觀察模型的反應，然後根據結果不斷迭代調整攻擊策略，直到成功讓目標模型崩潰或執行錯誤指令。
GPT-Red 的訓練核心在於自我對抗學習（Self-play Reinforcement Learning）。其訓練過程像是一場軍備競賽： 一方面，GPT-Red 被訓練成攻擊者，如果能成功讓防禦模型出錯，它會獲得獎勵。 另一方面，防禦模型被訓練成守衛，如果能抵禦攻擊並完成原定任務，則獲得獎勵。
隨著防禦模型變得越來越強，GPT-Red 必須挖掘更隱蔽、更複雜的攻擊路徑才能獲勝。這種良性循環讓 GPT-Red 最終演變成一個極強的攻擊者，甚至能突破 GPT-5.5 等強大模型。
從攻擊到防禦：將漏洞轉化為強韌度
GPT-Red 的真正價值不在於「能破壞」，而是在於「能修補」。OpenAI 將 GPT-Red 產生的海量攻擊樣本，直接回饋到 GPT-5.6 的訓練過程中。
這是一種對抗性訓練（Adversarial Training）的實務應用。當模型在訓練階段就見過大量由 GPT-Red 生成的精巧攻擊，它就能學習分辨哪些是正常的指令，哪些是偽裝成指令的惡意注入。
實際成效與實務影響
根據測試，GPT-5.6 在對抗提示詞注入的表現上，比四個月前的模型故障率降低了 6 倍。其中一個具體案例是「偽造思維鏈（Fake Chain-of-Thought）」攻擊，這種攻擊曾讓 GPT-5.1 的成功率高達 95%，但在 GPT-5.6 中被降低至 10% 以下。
此外，GPT-Red 還在現實場景中證明了其威力。例如在針對 AI 自動販賣機的測試中，GPT-Red 成功透過模擬與迭代，最終在生產環境中實現了修改商品價格、取消他人訂單等惡意目標。這證明了自動化紅隊能發現人類專家可能遺漏的複雜邏輯漏洞。
避免過度拒絕（Over-refusal）
在提升安全性時，工程師常遇到一個陷阱：模型變得太過保守。如果模型為了安全而拒絕所有稍微可疑的請求，雖然安全性提高了，但可用性（Utility）會大幅下降。
OpenAI 在評估 GPT-5.6 時，特別檢查了模型是否出現「過度拒絕」現象。結果顯示，模型在維持原有的通用能力與工具使用能力的同時，僅提升了對惡意指令的抵抗力，而非單純地變得「不敢回答」。
總結：安全性的飛輪效應
GPT-Red 的實作證明了 AI 安全性可以像模型能力一樣，透過算力與數據的規模化來提升。這形成了一個安全飛輪：用今天的模型訓練更強的紅隊 $\rightarrow$ 用紅隊找出漏洞 $\rightarrow$ 訓練出更強韌的下一代模型。
對於開發 AI 應用的人員來說，這提醒我們：不能僅依賴簡單的輸入過濾（Input Filtering）來防禦注入攻擊，而應該將對抗性樣本納入模型本身的訓練邏輯中，才能構建真正強韌的 AI 系統。
來源：openai.com (GPT-Red: Unlocking Self-Improvement for Robustness)
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。