很多剛接觸 AI 的工程師弟妹常以為 AI 就像搜尋引擎，只要問問題就能得到正確答案。但實際上，大型語言模型（LLM）的運作邏輯是基於機率預測，而非事實檢索。當 AI 在不確定答案時，它不會告訴你我不知道，而是會根據訓練數據的模式，自信地拼湊出一個看起來非常合理但完全錯誤的答案，這就是所謂的 AI 幻覺（AI Hallucinations）。
在一般的聊天應用中，幻覺可能只是個笑話；但在資安維運（SecOps）或基礎設施管理中，這種自信的錯誤將直接轉化為嚴重的安全風險。
為什麼 AI 會產生幻覺
要解決問題，得先理解 LLM 的本質。AI 並非在查閱資料庫，而是在預測下一個字。導致幻覺的主要原因有四個：
第一是訓練數據缺陷。如果訓練資料包含過時或錯誤的資訊，AI 會將其視為事實並內化，它無法分辨哪些資料是正確的。
第二是數據偏差。當某些模式在數據中出現頻率過高，AI 會傾向於將其泛化到所有情境，即使該情境並不適用。
第三是缺乏驗證機制。基礎模型優化的是連貫性（Coherence）與合理性（Plausibility），而不是事實正確性。除非在外部加上檢索增強生成（RAG）等機制，否則核心生成過程本質上就是不穩定的。
第四是提示詞模糊。當輸入的 Prompt（提示詞）不夠明確，AI 會嘗試用假設來填補空白，這大大增加了胡編亂造的機率。
AI 幻覺在資安實務中的三大風險
當我們將 AI 引入資安監控或自動化回應時，幻覺會導致三種具體的危害：
漏報威脅（Missed Threats） AI 擅長識別已知模式。但面對零日漏洞（Zero-day Attacks，指尚未被廠商發現或未修補的漏洞），AI 因為在訓練數據中沒看過類似模式，可能會將其視為正常流量而忽略，導致真正的攻擊在監控中消失。
虛構威脅（Fabricated Threats） 這是典型的誤報（False Positive）。AI 可能將正常的網路行為誤判為惡意攻擊，觸發不必要的緊急回應。這不僅浪費人力資源，長期下來會導致安全團隊產生警報疲勞（Alert Fatigue），讓工程師對警告變得麻木，最終導致真正的威脅被視為誤報而錯過。
錯誤的修復建議（Incorrect Remediation） 這是最危險的一種。當 AI 準確偵測到問題，但在建議修復步驟時產生幻覺，例如自信地要求工程師刪除關鍵系統檔案、修改錯誤的防火牆規則或禁用重要安全設定。如果工程師盲目信任 AI 並執行這些指令，可能會導致系統崩潰或直接為攻擊者開後門。
如何降低 AI 幻覺帶來的風險
我們無法完全消滅幻覺，但可以透過工程管理將其風險降至最低。
建立人類審核機制 任何涉及基礎設施變更、權限更新或事故回應的 AI 輸出，必須經過人類驗證（Human-in-the-loop）才能執行。切記，AI 說錯話時的語氣與說對話時一樣自信，不能用語氣來判斷正確性。
實施最小權限原則（Least Privilege） 這是最關鍵的防禦線。不要給 AI 系統過高的權限。例如，一個負責分析日誌的 AI 應該只有讀取權限，而不應擁有刪除檔案或修改設定的權限。這樣即使 AI 產生了錯誤的修復指令，它也無法在系統中實際執行，將損害控制在最小範圍。
優化提示詞工程（Prompt Engineering） 訓練團隊撰寫精確、具備上下文的 Prompt，減少 AI 靠假設填補空白的空間。讓使用者意識到 AI 是輔助工具而非權威來源。
強化數據治理 將訓練或微調 AI 的數據視為資安資產。定期審計數據，剔除過時或錯誤的紀錄。此外，要警惕模型崩潰（Model Collapse）現象，即未來 AI 學習了由先前 AI 生成的錯誤內容，導致錯誤不斷疊加。
總結來說，AI 幻覺導致的資安事故，本質上不是模型問題，而是權限管理與信任管理的問題。只要將 AI 視為一個可能出錯的初級助手，並搭配嚴格的權限控制與審核流程，我們才能在享受 AI 效率的同時，確保系統的安全。
來源：thehackernews.com
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。