史丹佛團隊重測50項LLM研究主張：44%效果消退，模型更新後舊評測該如何複驗

綜合 APPI News 於 2026 年 11 月 3 日刊出的整理與史丹佛研究團隊公開資料，一項針對 50 項大型語言模型（LLM）研究主張的重測顯示，研究觀察到的模型行為會隨版本與任務改變：22 項被歸類為效果已消退、17 項減弱、8 項持續、3 項增強。研究面板涵蓋 8 家開發者、2024 年 7 月至 2026 年 9 月發布的 20 個模型，包含開源與閉源。

重測的緣起：引用虛構比例的對照

Walters 與 Wilder 於 2023 年在 Scientific Reports 發表研究，測試 ChatGPT 生成文獻引用，發現 GPT-3.5 生成的引用有 55% 屬虛構。史丹佛團隊沿用相同提示重測 GPT-3.5 Turbo，虛構比例仍約六成，模型更新並未讓這項任務中的錯誤明顯消失。另據來源整理，換用 GPT-4 時引用錯誤曾大幅下降；研究團隊另以 42 個主題測試新模型的引用生成，Claude Sonnet 5.5 約 1% 虛構、GPT-6.1 Sol 為 0%、Qwen3.7-Flash 約 69%。這些數字僅描述特定提示與引用生成任務，不代表模型在其他工作上的表現。

44% 的分類比例不能當成模型失效率

研究團隊沿用原論文核心指標重測，並將效果量換算至共同尺度：1 代表與原研究相當，0 代表效果消失。「消退」定義為效果量降至原研究五分之一以下且維持至觀察期末；「減弱」指效果仍在但幅度較低。

依模型發布趨勢擬合估計，22 項已消退的主張從論文公開到估計消退平均約 15.7 個月、中位數約 14.7 個月。研究團隊說明，這是趨勢估值，不是實際觀察到的失效時間。

研究本身有多項限制：結果限於 50 項主張、20 個模型及各供應商預設 API 設定；推理模式與運算預算未統一，部分原模型以近似替代模型重現，每項主張採單一精簡測試。因此 44% 是研究面板的分類比例，不能外推為所有 LLM 論文的失效率。

主張類型的差異

50 項主張中，9 項推理主張有 5 項消退、4 項減弱。2023 年的 Lost in the Middle 研究指出，答案線索位於長文本中段時模型表現下降；重測後這項效應在該模型面板中減弱。字母計數與特定進位算術列為消退案例。研究者提出可評分的錯誤較容易納入訓練，但未證明訓練措施造成了變化。

偏好與判斷類傾向呈現不同走向。模型評審偏好較長答案的效應減弱，約保留原效果量的 65%，但信賴區間仍涵蓋原效果，資料尚不能清楚區分該偏好是否真的變弱。偏好自家答案、迎合使用者及隨機數輸出不均等現象則被列為增強。研究團隊表示：「偏好與判斷傾向較難被察覺，也可能較難由開發者訓練消除。」

導入評估上，來源建議分別量測關心的錯誤類型；單一總分無法呈現迎合、拒答或偏差等不同風險。

模型更新後的四個複驗步驟

APPI News 的整理提出四個步驟，判斷舊評測在新版本上是否仍適用：第一，比對舊研究的模型版本、任務與設定，確認與目前環境的差異；第二，保留版本紀錄，記載測試時的模型版本與 API 參數；第三，固定案例，以同一組提示與資料重測，使前後結果可比較；第四，模型更新後重新複驗，再以真實工作案例驗證，作為採購或上線決策的依據。

這與本臺先前整理的Jev 模型工程定位與數據輪廓一文中「以具體任務與可核實數據界定模型能力」的取徑一致：脫離任務脈絡的單一評測分數，說服力有限。

尚待確認的部分

來源文章在文末中斷，「同一項評測在不同新模型上仍有落差」一小節僅有開頭句子，未提供後續數據。各模型在相同測試上的具體落差幅度，本臺目前無法自現有資料核實，保留未知。史丹佛研究頁面的完整數據與方法細節，以該團隊公開文件為準。