Ai2 團隊在 Hugging Face 部落格發布 StateBench,文章由 Kyle Wiggers/Ai2Comms 掛名,標示時間為 2026 年 11 月 3 日。這個基準測試的目標不是一般長文本問答,而是長上下文中的狀態追蹤:模型能否在文件很長、資訊持續變動時,仍正確掌握某個實體或變數的最新狀態。這個能力看似抽象,實際上支撐很多任務。讀程式碼時,變數會被宣告、重新賦值、彼此引用;讀推理小說時,角色會移動、物品會轉手,若在兇案前出現「John 把刀交給 Mary」,讀者就必須更新兩人持有的物品狀態。若模型只記得片段文字,卻沒有追蹤狀態變化,最後答案就會錯。
背景:為什麼長文件狀態追蹤特別難 StateBench 將狀態追蹤問題拆成不同難度,因為不是所有更新都一樣難。最簡單的情況只要找到最新一次更新;較難的情況則要沿著一串變化逐步推演,任何一步漏掉都可能讓最終答案偏離。Transformer 在長依賴鏈上的理論限制已有不少討論,這也是近來 recurrent 與 hybrid 架構受到關注的原因之一,例如 Gated DeltaNet 這類設計會把一份持續更新的記憶帶往下一個位置。既有測試多半集中在最難的狀態追蹤案例,但當新型架構越來越多,研究社群需要知道各架構究竟能處理哪些種類的狀態追蹤,而不只是看它們在最難題目上的總分。StateBench 因此被設計成能同時涵蓋簡單與困難狀態更新的分層基準。
StateBench 的四層難度 StateBench 用四個難度層級描述越來越複雜的狀態更新,並以程式中的變數賦值作為直觀類比。第一層是 r-trivial,對應不可變賦值:變數的值從設定後就不再改變,模型只要找回最初的值,就像出生日期一樣固定。第二層是 aperiodic,允許按值重新賦值:模型要找出最近一次指定的值,並忽略更早的設定,類似恆溫器以最新設定決定目前溫度。第三層是 soluble,加入自我參照更新:每次更新都建立在當前值之上,例如 x 等於 x 加 5,模型不能只找最新賦值,而要把變化一路帶下來,像遊戲分數持續累加。第四層是 general finite,加入按參照賦值:一個變數可以取得另一個變數當下的值,例如 x 等於 y 或交換兩個變數,因而形成跨更新的依賴。文章用魔術師把球藏在五個杯子之一、再反覆交換杯子位置為例,說明 S5 狀態追蹤問題:模型必須追蹤連續交換如何改變球的位置。這屬於四層中最難的一層。
這些層級不只是工程上的分級,也對應 Krohn–Rhodes 理論中的代數區分。該理論把狀態追蹤問題視為有限 monoid 上的字問題,並說明它們如何由原子基本操作組合而成;StateBench 的每一層,對應可由不同基本操作集合建構出的問題類別。為了公平比較,研究團隊從一個一般有限變數賦值序列出發,推導出三個較簡單版本,形成四個可比較的題目。四者使用相同數量的變數與不同值,賦值出現的位置也相同,只改變賦值操作的類型。這樣的設計讓難度差異更能歸因於狀態更新型態,而不是題目長度或詞彙分布。
預訓練模型與前沿模型的表現 研究團隊先測試開放預訓練模型,涵蓋 70 億參數的 Olmo 3 與 Olmo Hybrid;前者是 transformer,後者加入 Gated DeltaNet 層。此外也測試 2.75 億與 27 億參數的較小模型。這些模型使用相同預訓練資料,訓練時都沒有看過超過 64,000 個 token 的上下文,但多數測試輸入遠超這個長度。結果顯示,幾乎所有模型在 r-trivial 問題上表現不錯,但在 aperiodic 問題上,隨著輸入變長而流失準確率;到了 general finite 問題,多數模型已接近隨機猜測。題目格式也有明顯影響:2.75 億參數的 hybrid 與 Gated DeltaNet 模型在 RULER 風格的 r-trivial 題目上接近滿分,但同樣的底層問題改成試算表編輯格式後,表現卻接近亂猜。這也是 StateBench 要用多種格式測試同一類問題的原因之一。
接著,團隊測試四個前沿模型:Gemini 3.8 Flash、Claude Opus 5.5,以及 GPT-6 Sol 與 Luna。做法是讓模型讀取一串變數賦值,並輸出每個變數的最終值。四個模型在 r-trivial 與 aperiodic 上表現良好,但在 soluble 與 general finite 上,輸入越長,準確率下降越明顯;在最長的 general finite 題目上,準確率降到 13% 或更低。文章指出,一個可能因素是敏感度:在較難層級中,會影響最終答案的步驟更多,模型只要漏掉一次更新,就很難得到正確結果。
直接訓練揭示架構差異 為了判斷困難是來自架構本身,還是預訓練沒教會模型,研究團隊改採直接訓練。他們從頭訓練六個 2.75 億參數模型,包括兩個 transformer 變體、兩個 hybrid 變體,以及兩個具有不同記憶更新限制的 Gated DeltaNet 變體。訓練序列最多包含 256 次賦值,測試序列則長達 64,000 次賦值,是最大訓練長度的 250 倍。隨著序列變長,架構差異開始浮現。Gated DeltaNet 與 hybrid 模型在 r-trivial、aperiodic 與 soluble 上幾乎完美地泛化到數萬次賦值;transformer 能學會較簡單層級,但在長序列上退化,而且始終學不會 general finite。最難層級中,記憶更新較有彈性的 Gated DeltaNet 變體泛化得最遠,在約為訓練最長序列十倍的長度上仍接近完美。
對 Gated DeltaNet 與 hybrid 模型而言,預訓練模型與直接訓練模型之間的落差,較像是訓練資料與訓練方式沒能教會模型,而不是架構完全做不到;一旦直接針對任務訓練,它們就能處理預訓練版本處理不了的狀態追蹤層級。Transformer 的情況不同:即使直接訓練,它仍無法學會最難層級。這使 StateBench 的結果不只是排行榜分數,而是把「資料不足」與「架構限制」區分開來的診斷工具。
限制、開放問題與實務意義 文章也留下幾個未解問題。新的證明顯示,記憶更新較受限、使用非負特徵值的 Gated DeltaNet,在論文設定的固定精度算術與捨入條件下,可以解決所有 aperiodic 任務,以及某些週期性任務,例如追蹤某個重複輸入出現偶數次還是奇數次。但它在整體層級中的確切位置仍未確定,包括是否能解決所有 soluble 任務,以及數值精度或與注意力層結合後會如何改變能力。另一方面,StateBench 目前假設變數數量固定,真實任務卻常隨時間出現新實體;例如長對話中會不斷出現新人物與新物件,模型必須開始追蹤它們。現行框架尚未涵蓋這種變數會新增的情境。
整體來看,StateBench 的價值在於把長上下文狀態追蹤拆成可比較的層級,讓研究者看見模型究竟在哪一類更新上失效,而不是只得到一個模糊的長上下文分數。對新興的 recurrent 與 hybrid 架構而言,理解各架構能處理哪些狀態追蹤,能協助未來的系統設計與訓練資料配置;對評估方法而言,它也提醒格式、敏感度與依賴鏈長度都會影響結果。Ai2 團隊將技術報告、資料與程式碼公開,並把 StateBench 定位成一個更細緻的診斷基準,期望推動更穩健的狀態追蹤架構,而不是只追求更長的上下文窗口。
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理,並非原文逐字翻譯。