AI 總分要用於決策，先說明它代表哪一種任務分布

一篇於 2026 年 10 月 21 日 UTC、北京時間 10 月 22 日提交的研究，討論基準題目難度分布如何影響評估。作者註明論文獲 NeurIPS 接收。原始論文。

值得追問的是，使用者以為一個總分代表什麼。研究團隊可能想區分前沿系統的能力；營運團隊可能希望日常工作穩定完成；產品團隊可能關心下一版能否承接新的任務。同一份測試可以為這些問題提供證據，但平均分不會自動對每個問題都給出同樣有效的答案。我們的分析是，任務分布應當像評分規則一樣，成為決策定義的一部分。

平均分裡藏著什麼問題

設想一個純粹用於說明的日程助理：它處理簡單預約、包含多項相互影響限制的會議，以及需要追問的特殊情況。假定兩個系統總分相同，一個更擅長常規預約，另一個更擅長複雜限制。這並不是任何真實產品的成績，而是說明：僅憑平均分，無法還原某家機構真正需要的排序。

如果業務主要是常規請求，前一個系統可能更合適，尤其當它的成本更低。如果服務對象是專門處理複雜規劃的團隊，後一個系統可能更適合。倘若某種特殊情況會形成代價高昂的承諾，團隊仍可能要求人工接手，而不管誰的總分領先。任務出現的頻率、出錯的後果和系統能力，是三個不同的輸入。把它們混在一起，相當於讓出題者的選題習慣悄悄替使用者制定業務政策。

等權計分本身也是一種選擇。在權重不變時，多加入某類題目，就會提高這類任務的代表性。如果目標只是描述目前試卷，這完全可以成立；如果把結果解釋為其他工作場景的表現，就需要額外論證。樣本再大，也可能只是非常精確地描述了一個並不對應實際需求的組合。

難題未必更有業務價值

難度適合幫助安排測試，卻不是業務價值的通用排序。少見的謎題可以很難，但與實際工作關係不大；一項很簡單的請求，也可能因為授權外部行動而後果重大。一個會拒絕複雜任務的助理，有時比不可靠地完成任務更可用，前提是拒絕清晰可見，而且確實存在可行的人工接手機制。

因此，我們建議保留兩種報告視角。一種估計系統在明確界定的日常任務組合上的表現；另一種專門探索困難或高後果的情況，即使它們並不常見。把兩者揉成一個顯眼數字，會遮住某個案例為什麼被納入測試。分別報告，則能同時承認常規任務的優勢，並保留對例外情況的使用邊界。

目標任務分布最好在看到候選系統成績之前確定。否則，評估者可以在結果出來後調整權重，使偏好的系統顯得更優秀。這不一定涉及故意誤導：團隊也可能只是更在意留下深刻印象的案例。提前寫明目標工作範圍、排除的任務以及如何處理轉交人工，能讓這些判斷更容易被檢查。

衡量難度的尺子也需要檢查

還有一層問題：用來排列題目的難度尺度，本身可能存在不確定性。另一項最初發表於 2026 年 7 月 16 日、10 月 16 日修訂的研究警告，在模型樣本較小或分布特殊時，項目反應理論（IRT）的估計可能不可靠。校準研究。

這項提醒並不意味著所有按難度組織的評估都失效，而是改變了什麼證據才足以使它有說服力。我們會追問：換一組校準模型，題目順序是否明顯變化；估計差異是否超出了不確定範圍；在實際工作允許的工具和時間預算下，難度順序是否仍然成立。一個不能查資料時很難的任務，在擁有合適參考資料時可能變得常規。不交代這些設定，就會把系統比較和資源比較混為一談。

實用的報告可以展示較寬的難度區間，不必假裝每道題都有精確而永久的位置。如果證據無法區分相鄰區間，合併區間可能比畫出細密刻度更誠實。如果在合理的權重變化下，系統排序發生反轉，這種敏感性就是結果的一部分，不應當被當作需要隱藏的麻煩。

縮小測試與擴大涵蓋範圍，回答的是不同問題

壓縮評估成本有合理理由。2024 年的 tinyBenchmarks 研究探索用挑選後的較小題集估計原有基準的結果。早期研究。這是相關背景，而不是今天的新發布。

我們的理解是，高效重現既有分數，與決定系統應該承接哪些工作，是不同目標。在較小測試與較大測試的關係已經得到驗證後，小測試可以成為經濟的日常監測工具。但這一點本身，不能證明原來的大測試代表一家新機構的任務。反過來，單純把題量增加很多，也不能解決任務是否匹配的問題。

評估資源應從尚未解決的決策風險出發分配。如果問題是常規功能有沒有退步，重複穩定的核心題集可能有幫助。如果問題是能否放行一種新任務，那麼來自這類任務的新案例，比繼續重複熟悉題目更重要。如果關心的是罕見但嚴重的錯誤，可以有意設定壓力案例，同時明確區分人為提高的測試頻率與日常表現估計。

保留可比性，不等於凍結試卷

更新測試還會帶來報告問題：表面上的分數變化，可能來自新的題目組合，而不是系統本身變化。我們的建議是保留有記錄的參考題集，新增部分單獨報告；確實需要改變主要指標時，明確說明新舊指標之間的銜接。新的挑戰題可以揭示有用能力，而不必被悄悄接入原來的歷史曲線。

這樣也會形成更合理的研發誘因。團隊可以解釋哪些任務類型改善了，以及相應的使用邊界可能如何調整，而不用暗示所有進步同樣有價值，也不用把總分不變解釋為沒有任何有用進展。讀者得以區分：究竟是系統更好了、測試不同了，還是希望系統承擔的工作變了。

因此，真正與決策品質有關的問題十分具體：在這項用途合理的任務組合和資源限制下，首選系統是否仍然保持優勢？如果答案尚不明確，下一步應該是針對性的證據，而不是更多小數位。當讀者能看清一項測試代表什麼工作、特意考察什麼工作，又對什麼工作保持沉默，基準才能更好地服務選擇。

本文為原創編輯分析。日程助理案例與建議的報告設計均為說明性內容，並非所引論文報告的實驗結論。