對於許多工程師來說,評估 AI 模型的能力通常是看它在特定數據集上的準確率(Accuracy)或通過率(Pass Rate)。但在生命科學(Life Science)這種高度複雜的領域,僅僅能「正確回答生物學問題」並不等於能「協助科研工作」。
OpenAI 推出的 LifeSciBench 基準測試,目的就在於填補這個鴻溝:將評估標準從單純的知識檢索,提升到模擬真實世界的科研工作流。
為什麼需要 LifeSciBench?
目前的 AI 評估多集中在狹窄的領域或孤立的技能,題目通常有標準答案,且格式單一。然而,真實的生命科學研究(如藥物開發)充滿了不確定性。研究員必須在證據不完整的情況下做出判斷、協調衝突的實驗結果、設計複雜的實驗流程,並評估臨床轉化的風險。
如果一個 AI 只能在選擇題中拿高分,但無法在面對一份複雜的臨床數據報告時指出其邏輯漏洞,那麼它在實務上對科學家來說就沒有真正的價值。
LifeSciBench 的設計核心:模擬真實科研工作流
LifeSciBench 不是由教科書題目組成,而是由 173 位擁有博士學位且具備藥廠或生技產業經驗的專家撰寫。它包含 750 個任務,涵蓋 7 個生物學領域與 7 種核心工作流:
證據處理(Evidence Handling):從論文、圖表或實驗記錄中提取並審核證據。 分析(Analysis):對數據進行深入解析。 設計與優化(Design and Optimization):設計實驗或優化分子結構。 科學推理(Scientific Reasoning):基於已知事實推導未知結論。 驗證與操作(Validation and Operations):確保實驗可執行且結果可驗證。 轉化(Translation):將基礎研究結果轉化為臨床應用(例如從實驗室到病床的過程)。 科學溝通(Scientific Communication):將複雜結果整理成專家可理解的報告。
為了增加難度與真實感,53% 的任務要求模型必須分析外部附件(Artifacts),包括 PDF 論文、化學結構文件、序列文件(Sequence files)或圖表,而非僅僅依賴文字提示。
評分機制:從「對錯」轉向「有用性」
在工程實務中,我們習慣於 Binary(對或錯)的判斷。但在科學研究中,一個結論可能是正確的,但如果忽略了關鍵的實驗限制或生物學細節,這個答案在實務上仍是不可用的。
因此,LifeSciBench 引入了極其詳細的評分量表(Rubric)。每個任務平均有 25 個評分準則,總計超過 1.9 萬個準則。評分不再只看最終答案,而是檢查模型是否提供了: 正確的科學主張(Claims)。 合理的計算過程。 必要的限制說明(Caveats)。 足以支持決策的理由(Justification)。
例如,在評估一份基因治療的 FDA 申請資料時,模型如果能指出「抗體檢測方法無法區分原生蛋白與轉基因蛋白」這一關鍵漏洞,即使最終結論相同,也能獲得更高的分數,因為這對研究員具有實質的指導意義。
目前的 AI 能力邊界
根據測試結果(以 GPT-Rosalind 與 GPT-5.5 為例),目前的頂尖模型展現出明顯的強項與弱點:
AI 的強項:合成與溝通 模型在科學合成(Synthesis)、翻譯(Translation)與溝通方面進步最快。它們擅長將碎片化的證據組織起來,並產出專業的解釋。
AI 的弱點:精確設計與多模態分析 附件依賴:當任務需要解析複雜圖表或大型序列文件時,通過率大幅下降。 精確輸出:在需要輸出精確的 DNA 序列、化學結構或數值計算時,表現較差。這在實務中很致命,因為 CRISPR 導向序列或 siRNA 設計只要錯一個鹼基就完全失效。 深度推理:雖然模型能給出看似合理的局部答案,但經常因為遺漏一個關鍵約束條件而導致整體任務失敗。
總結與未來方向
LifeSciBench 證明了 AI 在生命科學領域正從「知識庫」轉向「研究助手」。然而,目前的 AI 仍處於「單次任務」處理階段,而真正的科研是迭代的(Iterative)——根據結果修正假設,再設計下一次實驗。
對於開發科學 AI 的工程師來說,這提醒我們:提升模型能力的關鍵不在於餵更多論文,而是在於強化模型對多模態數據(圖表、結構文件)的整合能力,以及對科學嚴謹性(如限制條件、不確定性)的處理能力。
來源:OpenAI (Introducing LifeSciBench)
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理,並非原文逐字翻譯。