在人工智慧研究領域，論文發表數量呈指數級增長，但審稿能力卻未能同步提升。當前許多頂級會議的審稿依賴志願者，而審稿人往往缺乏足夠的時間或專業深度來仔細核對每一項數學證明或實驗細節。這種規模上的失衡導致了研究可複現性（Reproducibility，指其他研究者使用相同方法能得到相同結果的能力）的問題日益嚴重。
為了探索 AI 代理人（Coding Agents）能否填補這一缺口，Hugging Face 於 2026 年 7 月至 8 月舉辦了一場大規模的黑客松，邀請社群成員利用各種 AI 代理人工具，對 ICML 2026 頂級會議中被接受的論文進行逐項聲明（Claim-by-claim）的複現驗證。
大規模複現實驗的運作機制
這次挑戰賽的核心在於將「審稿」過程自動化與透明化。主辦方首先將 ICML 2026 的 6,341 篇論文進行索引，並提取出每篇論文的核心科學聲明，讓 AI 代理人能直接針對具體目標進行驗證，而非面對長達數十頁的 PDF 檔案。
參與者可以使用如 Claude Code、Cursor 或 OpenResearch 的 orx 等各種 AI 代理人框架。這些代理人負責閱讀論文、撰寫代碼、啟動實驗並回報結果。為了確保過程可追溯，每一次運行都會產生一個 Trackio Logbook（複現日誌），其中包含執行代碼、產出的數據以及代理人的完整執行軌跡。
最終的驗證結果由一個基於開源模型 GLM-5.2 的自動化裁判（Logbook Judge）判定。裁判會將結果分為四類：已驗證（Verified）、已證偽（Falsified）、玩具規模驗證（Toy，指在縮小規模的數據上驗證）以及不確定（Inconclusive）。
複現結果與發現
在 19 天內，超過 1,200 名參與者提交了 6,816 份日誌，嘗試複現了 2,226 篇論文，約佔該會議總數的三分之一。數據分析顯示，約 51% 的論文有至少一項聲明被獨立驗證，其中 266 篇被完全複現。然而，約 23% 的論文有至少一項聲明被證偽或遭到質疑，其中甚至有 49 篇論文的所有聲明均被證偽。
值得關注的是，複現結果並非非黑即白。在 242 篇論文中，不同的複現團隊對同一項聲明得出了截然相反的結論，這顯示出複現過程具有對抗性。
在具體的證偽案例中，研究團隊發現了多類典型的錯誤。例如，某些數學證明在步驟 200 之後才出現失效，導致僅進行短期測試的審稿人或代理人誤以為其正確；有些論文在理論部分分析的是一種損失函數（Loss Function），但實際發布的代碼卻使用了另一種，導致結果與理論脫節；甚至有論文因為在評估數據中加入了過多的填充符號（Padding Tokens），人為地降低了困惑度（Perplexity），使得性能提升看起來比實際效果好得多。
AI 代理人的限制與人類的角色
儘管 AI 代理人能極大提升審核效率，但實驗也揭示了純自動化執行的局限性。AI 容易陷入局部循環，或在面對規模相關的行為時產生誤判。例如，在某些複雜的數學證明中，代理人因停止測試過早而將錯誤的結論標記為「已驗證」。此外，代理人偶爾會因為單位不統一而得出錯誤的證偽結論。
實驗證明，最可靠的結果來自於「人類在環」（Human-in-the-loop）的工作流。人類扮演的角色不再是執行重複的編碼工作，而是扮演類似教授或首席研究員（PI）的角色：引導代理人的方向、質疑基本假設、在浪費大量計算資源前決定實驗前提是否錯誤。
對於某些感官上的判斷（例如量化後的圖像是否真的可用），目前仍不可替代地需要人類參與。最成功的複現案例中，參與者利用 AI 構建審核介面，由人類進行視覺判斷，再由 AI 驗證標記的一致性。
實務意義與未來展望
這次大規模複現實驗證明，利用 AI 代理人進行科學審計是可行的，且能快速發現頂級會議論文中的漏洞。許多被證偽的作者在收到證據後反應積極，部分已在 arXiv 上更新了修正版本。
這項實踐定義了未來科研審查的新模式：人類負責管理智能、設定環境並提出正確的問題，而將繁瑣的代碼實現、大規模實驗運行與初步驗證交給 AI 代理人。這種協作模式不僅能提高研究的透明度，更能有效遏制因論文數量激增而導致的質量下滑。
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。