數學榜單領先之後,AI 採購還缺哪筆帳
MathArena 新結果呈現能力與成本的取捨,但模型採購仍取決於哪些錯誤最重要,以及團隊能否可靠識別這些錯誤。

2026 年 11 月 13 日,MathArena 加入 Carbon 與 Fable 結果。整體分數結合實測與估計;這是評測更新,不是今天的新模型發布。更新及方法
目前模型頁面列出的預期表現與每題預期成本分別為:Gemini 4 Carbon(high) 85.4%、15.70 美元;Claude Fable 5.2(max) 82.8%、40.20 美元;GPT-6.1 Sol(max) 80.6%、1.07 美元。這些是基準評測估計,不是客戶工作負載的報價,也不是實際運算資源消耗的測量。
下文為 Open Market Notes 的分析。值得討論的並不只是哪個數字更高,而是:多解決一道難題的機會,在什麼情況下值得額外付費?團隊能否在付費之前識別出這些情況?
榜單不是採購帳單
研究團隊面對一道難以證明的命題,與應用每天處理大量常規請求,實際上在做兩種決策。前者可能認為一條新的推理思路遠比呼叫費用重要;後者需要延遲可控、預算穩定,並且知道無法完成的任務該交給誰。能力與價格的關係圖能幫助兩者選擇實驗,卻不能替它們確定目標。
分數也屬於某一種測試配置。允許的時間、可用工具、重試次數和停止條件改變,即使模型名稱不變,也已經是另一個實驗。把最高推理強度的成績與低成本生產配置直接對應,會掩蓋採購者真正需要了解的取捨。評估對象應當是運行條件完整的系統,而不是脫離配置的品牌名稱。
這也是計算成本倍數之前需要明確的邊界。兩個整體成本相除,只能描述這兩個估計值之間的比例,不能證明某個供應商消耗了相應倍數的算力,更不能證明它在所有任務上都貴這麼多。單價、輸出長度、嘗試的工作量與執行策略都可能參與形成最終費用。公開數字並沒有隔離各因素的因果貢獻。
平均分沒有說明,額外的錢解決了哪些失敗
MathArena 2026 年 5 月的平台論文介紹,其評估範圍不只包括最終答案,也涵蓋證明、研究數學與 Lean 形式化。這些任務檢驗的是數學工作的不同方面。研究論文
設想兩個平均得分相同的系統:一個始終無法處理某一類問題,另一個的錯誤分散且偶發。輔導產品、定理證明助手與驗證流程,完全可能給出不同的偏好。平均值本身無法說明錯誤是否容易被發現、修復是否昂貴,以及下一次是否還會發生。
同樣,整體成績的差距並不是每一道題上都獲得了相同幅度改善的測量。統計彙總可以幫助比較覆蓋範圍不同的測試,但推論仍依賴假設。關於不同基準組合的研究,明確討論了這種可比性問題;它並沒有把預測結果變成實際完成的答案。基準組合研究
對採購而言,更有用的下一步是配對測試:使用同一批未參與調試的問題,在記錄清楚的約束下運行候選系統,然後檢查它們的分歧。較貴系統解決了哪些較便宜系統無法解決的問題?這些問題在目標產品中是否常見?評估者能否可靠區分正確與錯誤?這些問題才能把整體排名轉化為具體決策的證據。
這裡尤其需要避免把容易評分的任務,誤當成最有價值的任務。若一個產品主要處理定義模糊、上下文不完整的問題,那麼數學題的確定答案只是部分能力證據。測試集應反映實際需要,同時保留有挑戰性的案例,並公開說明它們的權重,而不是為了突出某種優勢而替換整個任務分布。
先用便宜模型,前提是知道何時升級
一種可能的設計,是先使用成本較低的系統,再把未解決的任務轉交給成本較高的系統。這是需要驗證的方案,不是榜單已經證明的節省。如果第一套系統自信地給出錯誤答案,而分流機制接受了它,就不會發生升級;如果分流機制把幾乎所有請求都轉交出去,第一次嘗試只會增加費用和等待時間。
因此,分流本身也需要評估。數學上有效的證書,比模型對自身答案的信心聲明更有證明力,但驗證一個形式化對象,不等於證明它準確表達了現實中的問題。自動檢查器可能完美地驗證一個錯誤的規格。在使用者意圖與形式化任務之間,仍可能需要人工審核。
成本核算應包括首次嘗試、升級、重試、檢查和返工。一個有意義的分母,是被接受且經過獨立檢查的完成任務,同時報告等待時間和剩餘錯誤。這並不意味著每個應用都需要形式化驗證,而是驗收標準應當先於成本比較確定,不能等喜歡的模型獲勝後再調整。
還應保留一種不那麼好看的結果:某些任務暫時無法在既定預算內可靠完成。允許系統拒答或轉交人工,會降低表面上的自動化覆蓋率,卻能避免把未被識別的失敗計入成功交付。這樣的帳目更適合長期預算,也更容易在模型更新後重新評估。
把選擇保留為可逆決策
這次更新足以成為重新評測的理由,卻不足以單憑排名就重寫整個產品。團隊可以保留具有代表性的測試集,記錄提示、工具與停止規則,並保存失敗輸出,以便後續診斷。難題應該被有意識地納入,但不能悄悄取代日常工作。
更穩妥的結論是有條件的:當困難錯誤代價很高時,額外能力可能值得付費;當輸出可以被可靠檢查、限制可以被妥善管理時,較低成本配置可能更合適。兩者都不構成普遍贏家。好的評估不僅回答今天用誰,也應說明工作負載、錯誤容忍度或價格發生什麼變化時,目前選擇將不再合理。
內容僅供參考,不構成投資、法律、稅務或財務建議。