在教育心理學中，一個優秀的導師並非總是直接提供答案，而是能精準判斷何時該提供支持，以及何時該退後讓學生獨立思考。然而，目前的大型語言模型（LLM）在設計上傾向於扮演「盡可能的助手」，這導致它們在扮演導師時常陷入過度協助的陷阱。為了量化並解決這個問題，Allen Institute for AI（AI2）推出了 TutorMoments，這是一個專門用來衡量 AI 導師是否能在「提供支架」與「要求嚴謹」之間取得平衡的評估框架。
教學中的核心矛盾：支持與挑戰
在教學實務中，存在一個關鍵的權衡：Scaffolding（提供支架）與 Pushing for Rigor（要求嚴謹）。所謂的「支架」是指當學生卡住時，導師提供適度的提示或將複雜問題簡化，幫助學生重新起步。而「要求嚴謹」則是當學生已經具備能力時，導師刻意不給答案，而是要求學生詳細解釋推理過程，以鞏固其理解。
學習研究指出，學習過程中的「高效掙扎」（Productive Struggle）——即學生在面對挑戰時所經歷的努力與挫折感——是深化理解的關鍵。如果 AI 導師過早地介入並提供步驟或答案，實際上是剝奪了學生進行認知勞動的機會，導致學習效果打折扣。目前的 AI 基準測試大多只關注模型是否「不直接給答案」，但缺乏對「當下是否為最佳介入時機」的動態評估。
TutorMoments 的運作機制
TutorMoments 並非使用合成數據，而是建立在真實的教學場景之上。其數據集包含 462 份美國 2 至 7 年級學生的數學一對一教學逐字稿，由 27 位經驗豐富的數學教師對其中 1,500 個關鍵決策時刻進行標註。教師們會標記在該時刻，導師應該選擇提供支架還是要求嚴謹。
該框架採用一種名為 Replay（重播）的評估方式。系統會將真實的教學對話截斷在關鍵決策點，將對話歷史交給被測試的 LLM，讓模型接手扮演導師，並與另一個模擬學生的 LLM 進行五輪對話。隨後，系統會利用一個基於教師標註的評分管線，從三個維度評估 AI 的表現：第一，在學生需要支持時是否提供了適當的支架；第二，在學生準備好接受挑戰時是否要求了嚴謹的推理；第三，是否避免了 Over-scaffolding（過度支架），即降低難度的程度超過了當時的需求。
實務發現與模型表現
研究團隊測試了七款主流 LLM，並對比了兩種不同的提示詞策略：一種是簡單的指令（僅要求模型表現得像個好導師），另一種是「評估感知型」指令（明確告知模型在支架與嚴謹之間的權衡）。
結果顯示，所有模型在加入明確權衡指令後，表現均有提升。這證明了 LLM 預設的「助手模式」不足以支持高品質的教學。即便如此，模型之間仍存在顯著差異，且即便表現最好的模型，在判斷時機上的準確度仍有很大提升空間。
此外，研究發現 AI 導師與人類導師在策略上有明顯區別。人類導師的教學手段更多樣，且更傾向於完全退後讓學生獨立作業；而 AI 導師即便被要求追求嚴謹，最常用的手段也僅限於要求學生「解釋答案」，缺乏靈活性。
影響、限制與未來方向
TutorMoments 的意義在於它將 AI 教學的評估從「結果導向」（是否得出正確答案）轉向「過程導向」（是否採取正確的教學決策）。這為開發適應性 AI 導師提供了量化指標，讓開發者能調整模型，使其不再只是幫學生完成作業，而是真正引導學習。
然而，該框架目前仍有其限制。首先，目前的評估是基於模擬學生，而非真實學生，因此無法直接衡量實際的學習成效。其次，數據集僅限於美國小學與中學的數學科，其結果未必能推廣至其他學科或年齡層。未來，研究團隊計畫擴展至多模態數據集並強化評分管線，以建立更全面且具普適性的 AI 教學評估標準。
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。