課程設計往往耗時且複雜，需要針對不同學生測試教材的成效。史丹佛大學(Stanford Univ.)研究團隊提出了利用大型語言模型（LLM）來模擬專家評估過程，以加速高質量教材的開發，提高設計效率並縮短開發週期，使其成為教育領域的重要輔助工具。過去，AI研究者曾嘗試建立學生學習的計算模型以優化教材，但這種方法難以有效模擬學生的複雜認知動態。史丹佛團隊則反向思考，探索能否訓練一個模型，使其像教師般評估新教材的學習效果。 他們使用GPT-3.5進行實驗，模擬專家分析不同背景學生的學習反應，例如初學代數的八年級生或對分數感到困難的五年級生。模型根據學生的知識基礎和特定數學問題，預測其學習後的表現，進而評估教材對學生學習效果的影響。 研究團隊進行了一系列測試，以觀察LLM是否能模擬兩大教育心理學現象。首先是「專業知識逆轉效應（Expertise Reversal Effect）」，即初學者通常需要較多指導，但隨著學習進步，過多指導反而可能阻礙學習效果。如果LLM的評估結果能顯示此效應，則說明其具備一定的教育專業知識。其次是「變異性效應（Variability Effect）」：即過多類型的練習題可能讓學生的記憶負荷過重，影響學習成效。實驗結果顯示，LLM在這些現象上的表現符合教育心理學預測，展現出模擬人類教師的潛力。 在驗證了LLM於教材評估中的可行性後，研究團隊進一步提出了「教學優化流程（Instruction Optimization Approach）」。此方法由一個模型負責生成教材，另一個模型則評估其效果並據此改進教材內容。這種雙模型協作方法在生成與優化數學練習題方面成效顯著。在95位具有教學經驗者的評估中，多數專家同意AI模型篩選出的優質教材，顯示其在實際應用中的潛力。 儘管LLM無法完全取代人類教師的專業知識，史丹佛團隊的目標是讓這一方法成為教師和課程設計師的強力輔助工具，不僅縮短課程開發時間，還能幫助更多學生獲得更合適的學習材料，從而更快速地將優質教學資源推向課堂。

2024/10/30

https://hai.stanford.edu/news/aieducation-how-large-language-models-could-speed-promising-new-classroom-curricula

Stanford Institute for Human-Centered Artificial Intelligence (HAI)

賴允政