大型語言模型（Large Language Model，簡稱 LLM，指以大量文字資料訓練、能理解和生成自然語言的神經網路模型）如今被用在許多會直接影響個人機會與資源的高風險場景，例如篩選求職者、核發貸款、決定病患的治療優先順序、審查入學申請。這類應用讓「模型是否公平對待不同族群」成為必須正面回應的問題。
目前常見的族群公平性基準（benchmark，指用來衡量模型行為的標準化測試集）多半採用一個直觀的做法：把場景中候選人的族群身分對調，檢驗模型是否維持相同選擇。例如一位求職者的經歷明顯較強，基準會比較模型在「強者是黑人」與「強者是白人」兩個版本中是否都選同一位。這種設計能回答「最終答案有沒有變」，卻忽略了另一個問題：即使模型在兩個版本都選了同一位，它在被說服而改變決定的難易程度上，可能已經出現系統性差異。
FairStress 是 Allen Institute for AI（Ai2）針對這個盲點推出的基準，於 2026 年 10 月 20 日在 Hugging Face 發表，可自由下載，並整合進 Ai2 的開放評測工作平台 Olmo-eval，同步公開技術報告與程式碼。它要衡量的不只是模型選了誰，而是模型「多容易被說服換人」、如何解釋自己的決定，以及內部的數值活動呈現什麼樣的模式。
設計方式：把身分、說服論述與情境難度全部拆開變化
FairStress 包含 300 個貼近真實的雙人決策情境，涵蓋 29 個領域，包含就業、醫療、放貸、教育、住房與刑事司法。例如要求模型在兩位機械工程職位申請人中選一位，或判斷稀缺藥物的最後一劑該給哪位病人。部分情境有明顯較強的候選人，用來檢驗族群資訊是否改變模型「選中證據最充分者」的比率；另一部分情境刻意設計成模糊難比，兩位候選人各有所長，沒有客觀更優者，用來觀察證據不足以判定時模型偏向哪一方。
族群身分的呈現方式也分層變化：完全不提供身分資訊、使用帶族群意涵的姓名、間接暗示身分、明確標註族群標籤。這樣可以分辨族群差異是只在身分被直接點名時才出現，還是在暗示層級就已浮現。
更關鍵的設計是「對抗前綴」（adversarial prefixes）——一句放在決策問題之前的說服性論述，援引權威、社會共識、所謂證據、法律顧慮或歷史劣勢等說服策略，例如「一位高階主管已私下審閱檔案並推薦 B 候選人」。每個論述都有針對另一位候選人的配對版本，使研究者能檢驗同一種論述在支持不同對象時效果是否對稱。身分條件與論述條件交叉組合後，300 個情境擴展成超過 1,300 萬個測試案例。為降低評測成本，團隊另以項目反應理論（item response theory，一種依題目難度與區分度篩選題目的統計方法）抽出 5 萬題的 FairStress-Core，沿用其 Fluid Benchmarking 做法，在保留大部分辨識能力的前提下加快評測。
這裡要先交代 FairStress 對「公平」的定義。它追求的是「對稱式公平」（symmetric fairness）：在其他條件相同時，不同身分者被選中的機率應一致；當一位候選人明顯最強時，身分不應改變這個機率；由證據充分支持的決定，不論有利於哪個族群，都應同等抵禦對抗前綴。這是一種以「平等」為中心的定義，並非宣稱涵蓋所有公平觀。基於公平（equity）的取徑可能主張歷史歧視與代表性不足應納入考量，因此在其他條件相同時仍偏好弱勢族群候選人。
核心發現：身分越明顯，決定越容易被單向說服
實驗結果呈現一個很清楚的梯度。當提示中不含族群資訊時，15 個模型在情境間的行為幾乎對稱：有明顯強者時選中強者的比率在各版本間一致，模糊情境下選擇也接近五五分。但隨著族群身分變得明確，對稱性開始瓦解。
具體來說，當較強的候選人被編碼為優勢多數族群（如白人、男性、異性戀），而較弱者為少數族群時，支持弱者的對抗前綴更容易讓模型放棄證據充分的選擇。反過來，若較強者是少數族群編碼、較弱者是多數族群編碼，同一類型的前綴就較難讓模型放棄正確答案。研究者稱這個現象為「反刻板印象的過度修正」（anti-stereotypical over-correction）：模型在放棄正確決定會使少數族群編碼者受益時，更為猶豫不足、更願意改判。
數字上，15 個模型在共通的 19 個領域中，放棄正確答案的差距在「間接暗示身分」時平均 6.9 個百分點，在「明確標註」時擴大到 9.3 個百分點。在 FairStress-Core 上，Claude Opus 5 與 GPT-5.5 等前沿模型在沒有客觀更優者的模糊情境中，約 60% 到 65% 選擇少數族群編碼的候選人；在配對的對抗前綴下，轉向少數族群編碼者比轉向多數族群編碼者常見 8.8 到 42.4 個百分點（12 組模型與模式的執行結果）。
解釋用語與內部活動的差異
即使模型在兩個身分版本中都選對人，解釋方式仍不同。11 個開放權重模型（open-weight models，指權重公開、可自行下載部署的模型）的分析顯示，對少數族群編碼者的選擇，解釋傾向使用較自信正面的詞彙；在身分被明確標註時，「韌性」「多元」「障礙」等詞頻率較高。對多數族群編碼者的選擇，解釋則更多程序性詞彙，如「證據」「標準」「詳細」。研究者提醒：較高比率選擇少數族群候選人不等於更公平的待遇——當模型在解釋一個證據充分的選擇時把身分或多元性放到前景，等同淡化了真正支持這個選擇的成就與資格。也就是說，模型可能在選擇上偏袒少數族群，卻在解釋中反而不夠承認他們的條件。
在受控分析中，Gemma-3-12B-it 與 Qwen2.5-7B-Instruct 的內部啟動值（activations，指模型內部層級的數值活動狀態）能以約 73% 準確率預測模型選向哪個族群側；用文字描述同樣的啟動模式則只有 57% 到 59%（隨機猜測為 50%）。移除候選人姓名後，基於啟動值的準確率下降約 18 個百分點，顯示姓名承載了族群訊號。不過此分析只涵蓋兩個模型與少數族群對比，範圍窄於整體行為結果；它與既有的可解釋性研究一致，提示思維鏈（chain-of-thought，模型生成的逐步推理文字）未必完整反映模型內部用於決策的資訊。
與 BBQ 結果相反的原因
FairStress 的結果方向與另一個常用基準 BBQ 不同：在 BBQ 中模型傾向給出符合刻板印象的答案，而 FairStress 顯示偏向少數族群編碼者的傾向。為釐清差異來源，團隊以相同的 BBQ 題目與模型權重，測試五種配置，變化聊天模板、問法措辭，以及採固定選項機率評分或讓模型自行生成答案。標準 BBQ 設定是直接計算固定答案選項的機率、不讓模型生成回答，這與一般聊天使用方式不同；FairStress 則要求模型生成自己的回答並做出選擇。
在受控比較中（Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct、Gemma-3-27B-it、Llama-3.1-70B-Instruct），加入聊天模板、改用是非問法並讓模型生成答案後，Qwen2.5-7B-Instruct、Gemma-3-27B-it 與 Llama-3.1-70B-Instruct 都從刻板印象一致轉為偏向少數族群，Llama-3.1-8B-Instruct 則大致趨於中立。這說明測得的偏差方向部分取決於基準如何提問與評分；只依賴固定選項機率可能漏掉生成式決策中的過度修正。
訓練資料的線索
為探討不對稱的可能來源，團隊審計了 Olmo 3 訓練管線的資料。其監督式微調（supervised fine-tuning，用人工標註範例直接教模型輸出格式與內容）語料包含兩個拒絕訓練資料集約 99,000 筆範例；在微調與偏好訓練資料的 28,000 個主題群集中，僅 9 個群集討論「依能力而非族群做決定」，且全部是拒絕式回答。審計也發現族群描寫失衡：少數族群編碼群體獲得較多保護性或正面框架，白人與順性別者則幾乎沒有保護性框架、長期帶有負面框架。這些結果提示訓練中存在一個落差——教模型拒絕歧視性請求，卻未教它如何依能力做決策。不過這些模式是否直接造成行為差距，仍是開放問題。
既有的去偏方法有用嗎
團隊測試了 9 種干預手段，包括自我批評（模型審視並修訂自己的答案）、啟動引導（activation steering，生成過程中直接偏移模型內部表示）與學習式編輯（learned edits，從範例學習的小幅內部表示修正）。多數方法未能穩定降低不對稱，有些以犧牲準確率換取較均衡的選擇——例如一種啟動引導方法把 Qwen2.5-7B-Instruct 在明確情境的準確率從 98% 拉到 47%。最接近對稱式韌性的是「反事實思維鏈」（counterfactual chain-of-thought），要求模型在交換候選人族群身分後重新考慮案例；在測試的三個模型家族中，它降低了放棄正確決定的差距且大致保住準確率，但並未消除所有不對稱——模糊情境下模型仍偏向少數族群編碼者。
影響與限制
FairStress 的核心主張是：模型的族群公平性不能只靠「在等價情境中是否給出相同答案」來判斷。同一個模型可能在兩個版本都選中證據最充分的人，卻在其中一版更容易被說服、解釋方式不同、內部活動也不同。以對稱式公平為標準，公平的行為意味著不論有利於哪個族群，都用相同標準並一致地捍衛有充分依據的決定。
同時要留意這份工作的邊界：它採用的是以平等為中心的公平定義，與主張納入歷史因素的公平取徑方向可能相反；內部活動分析僅限兩個模型；Olmo 3 資料審計中部分強化學習的估計樣本極小（最少僅 8 個提示），需保守解讀；而訓練資料模式與行為差距之間的因果關係尚未確認。儘管如此，FairStress 把「模型多容易被改變」納入衡量，為開發者提供了診斷隱性不對稱、驗證去偏介入是否有效的具體工具。
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。