在日常生活中,人們向專家求助時,往往並不是直接描述自己的目標,而是描述自己猜測的解法。例如想做蛋糕糖霜的人,可能會問「糖霜一直滑落,該怎麼把它弄稠一點」,但真正的問題其實是蛋糕還太熱,糖霜根本塗不上去。這種「想做的是 X,卻開口問 Y」的現象,在技術社群被稱為 XY problem(XY 問題):提問者假設某個方法可行,於是執著於解決那個方法的細節,反而忽略了背後真正的目標。對人類回答者來說,看出這種落差並把對方導回正確方向,是常見的溝通技巧;但對大型語言模型而言,這卻是長期被忽略的能力。
艾倫人工智慧研究所(Allen Institute for AI,簡稱 Ai2)與卡內基美隆大學、NVIDIA、約翰霍普金斯大學的研究人員合作,發表了一個名為 XYBench 的評測基準,專門測試 AI 助手能否辨識用戶提問中隱含的錯誤假設,並給出真正解決目標的建議。這項工作在 EMNLP 2026 獲得最佳資源論文獎。XYBench 包含 8,115 個真實情境問題,涵蓋程式設計與烹飪、居家修繕等日常任務,來源包括 Stack Overflow 的 1,557 則提問、Stack Exchange 的 184 則、102 個人工整理案例,以及從 WikiHow 步驟指南生成的 6,272 個問題。對每個問題,團隊區分「表面請求」Y(用戶明說的部分)與「真正意圖」X(可從上下文推得的底層目標),並參考論壇上得票最高的三則人類回答與被採納的回答來界定合理的解法;若回答字面請求就足以解決問題,該案例會被剔除。
評測設計上,XYBench 從三個角度給分:一是「務實解法」,檢查回答是否分別包含針對表面請求與真正意圖的解法;二是「務實重心」,衡量回答主要聚焦在 Y、X,或兩者兼顧;三是「誤區辨識」,檢查模型是否引導用戶離開錯誤方法、轉向真正目標。這些指標背後的理論基礎是語用學(pragmatics),也就是研究語境與溝通意圖如何影響語義的語言學分支。評分由 Claude Sonnet 4.5 擔任自動裁判,並由兩位人類審核員獨立核對 500 份回答來驗證:在「是否有解法」這項上,裁判與人類的一致率達 97.5% 到 100%,誤區辨識為 84.6% 到 93.3%,務實重心則為 74.2% 到 79.8%。
實驗結果揭露了目前頂尖模型的明顯弱點。團隊以單輪問答方式評測了 Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B 與 DeepSeek-V4 Pro 五個模型。以 Stack Overflow 題目為例,回答中包含表面請求解法的比例達 75% 到 86%,但包含真正意圖解法的只有 59% 到 71%;整體而言,回答以真正意圖為重心的情况僅佔 35% 到 41%,多數回答仍把篇幅留在錯誤的方法上。換句話說,五個模型都傾向「照字面回答」,而不是像人類參考答案那樣把用戶導回正確方向。
更值得注意的是兩項延伸實驗。第一項「神諭實驗」直接把真正意圖 X 一併提供給模型,結果 Sonnet 4.6 在 Stack Overflow 題目上提出意圖解法的比例確實從 59% 升到 67%,但誤區辨識率反而從 47% 降到 34%。這顯示就算模型知道用戶真正的目標,也不見得會在回答中否定原本的錯誤路線——意圖偵測只是一半,難點在於付諸行動。第二項實驗則讓模型擔任裁判,在兩個候選回答之間做選擇,結果六個模型在 71% 到 84% 的情况下選中了聚焦真正目標的答案。這說明模型「辨認」好答案的能力明顯強於「寫出」好答案的能力,若只靠選擇題式的評測,這種落差會被完全掩蓋。
對研究社群而言,XYBench 的價值在於把「辨識誤區、提供意圖解法、讓意圖解法成為回答重心」拆成可個別量測的行為,方便研究者檢驗提示設計或訓練方法的改進是否真的讓助手更貼近用戶需求,也能觀察某一項能力的進步是否帶動其他項目。不過這個基準目前只涵蓋英文提問,且以程序性問題為主,擴展到其他語言、文化脈絡與多輪對話情境仍是未來課題。這項工作點出一個基本的期待:真正有用的 AI 助手,應該能幫助問錯問題的人,而不只是回答問對問題的人。
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理,並非原文逐字翻譯。