在生成式 AI（GenAI）迅速普及的今天，企業將大型語言模型（LLM）與內部知識庫結合，以提升業務效率。然而，這種整合也帶來了全新的安全風險。傳統的雲端安全防禦往往不足以應對 AI 特有的漏洞，例如數據投毒或模型濫用。針對此問題，Mitigant 的共同創辦人 Kennedy Torkura 在 InfoQ Dev Summit Munich 的分享中，提出利用對手模擬（Adversary Emulation）來強化 GenAI 的紅隊演練（Red Teaming），旨在透過模擬攻擊者的視角，主動發現系統盲點並建立有效的防護欄。
紅隊演練的核心在於「角色轉換」。防禦者通常傾向於相信已設定的權限與安全產品能提供完整保護，但攻擊者則會尋找非預期的路徑。在 GenAI 環境中，紅隊演練不僅要處理技術性的漏洞，還必須面對 AI 的非確定性（Non-deterministic）特徵，即相同的輸入在不同時間可能產生不同的輸出。這意味著安全測試不能僅僅是單次驗證，而必須進行高頻率、多樣化的壓力測試，以確保系統行為的一致性與安全性。
為了讓紅隊演練具備系統性，Torkura 建議參考 MITRE MITRE ATLAS 框架。MITRE ATLAS 是一個專為 AI 系統設計的攻擊矩陣，與傳統的 MITRE ATT&CK 類似，它將攻擊者的行為模式（Tactic）與具體技術（Technique）標準化，涵蓋從初始進入、執行到持久化等完整殺傷鏈（Kill Chain）。對於安全工程師而言，將 ATLAS 與傳統雲端安全矩陣結合，可以幫助團隊將 AI 攻擊路徑轉化為可監控的指標，例如將「發現 AI 構件（Discover AI Artifacts）」這類行為對應到雲端日誌中的特定 API 調用。
在實務攻擊路徑上，Torkura 舉了兩個關鍵案例來解釋 GenAI 的風險。首先是 LLMjacking，這類攻擊類似於早期的加密貨幣挖礦劫持（Cryptojacking）。攻擊者獲取雲端憑證後，非法調用 Amazon Bedrock 等託管模型服務，並將其轉售給第三方，導致原企業面臨巨額帳單。此類攻擊的危險在於，許多模型的調用日誌（Invocation Logging）預設為關閉，且日誌並不直接傳送到 CloudTrail，使得攻擊者能悄悄地在後台運作而未被發現。
另一個核心威脅是針對檢索增強生成（RAG, Retrieval-Augmented Generation）的數據投毒（Data Poisoning）。RAG 技術允許模型連接外部知識庫（如 S3 儲存桶或向量資料庫）以提供精確答案。攻擊者若能獲取儲存桶的寫入權限，可注入大量無用或惡意的數據，導致 AI 產生錯誤、偏見甚至有害的輸出。這證明了即便模型本身是託管且安全的，只要數據供應鏈（Supply Chain）出現漏洞，整個 AI 應用的可靠性就會崩潰。
面對這些威脅，實務上的防禦重點應回歸到基礎設施的安全管理。首先是嚴格的存取控制（Access Control），防止憑證外洩導致的非法調用。其次是建立完善的觀測能力（Observability），必須手動開啟模型調用日誌並將其集中化，以便 SOC（安全運作中心）團隊能即時偵測異常的 API 調用模式。此外，針對知識庫的完整性監控（Integrity Monitoring）至關重要，企業應啟用儲存桶的版本控制（Versioning），以便在發現數據被投毒時能迅速回滾到乾淨的版本。
總結來說，GenAI 的安全防禦不能脫離傳統雲端安全的基礎，但必須引入 AI 特有的威脅模型。透過對手模擬，安全團隊可以與數據科學家協作，將潛在風險轉化為具體的測試案例。雖然 AI 攻擊手段演進迅速，但只要將 MITRE ATLAS 等框架融入日常的威脅建模（Threat Modeling）流程中，企業才能在追求 AI 創新速度的同時，確保生產環境的韌性。
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。