数学榜单领先之后,AI 采购还缺哪笔账
MathArena 新结果呈现能力与成本的取舍,但模型采购仍取决于哪些错误最重要,以及团队能否可靠识别这些错误。

2026 年 11 月 13 日,MathArena 加入 Carbon 与 Fable 结果。总体分数结合实测与估计;这是评测更新,不是今天的新模型发布。更新及方法
目前模型页面列出的预期表现与每题预期成本分别为:Gemini 4 Carbon(high) 85.4%、15.70 美元;Claude Fable 5.2(max) 82.8%、40.20 美元;GPT-6.1 Sol(max) 80.6%、1.07 美元。这些是基准评测估计,不是客户工作负载的报价,也不是物理算力消耗测量。
下文为 Open Market Notes 的分析。值得讨论的并不只是哪个数字更高,而是:多解决一道难题的机会,在什么情况下值得额外付费?团队能否在付费之前识别出这些情况?
榜单不是采购账单
研究团队面对一道难以证明的命题,与应用每天处理大量常规请求,实际上在做两种决策。前者可能认为一条新的推理思路远比调用费用重要;后者需要延迟可控、预算稳定,并且知道无法完成的任务该交给谁。能力与价格的关系图能帮助两者选择实验,却不能替它们确定目标。
分数也属于某一种测试配置。允许的时间、可用工具、重试次数和停止条件改变,即使模型名称不变,也已经是另一个实验。把最高推理强度的成绩与低成本生产配置直接对应,会掩盖采购者真正需要了解的取舍。评估对象应当是运行条件完整的系统,而不是脱离配置的品牌名称。
这也是计算成本倍数之前需要明确的边界。两个总体成本相除,只能描述这两个估计值之间的比例,不能证明某个供应商消耗了相应倍数的算力,更不能证明它在所有任务上都贵这么多。单价、输出长度、尝试的工作量与执行策略都可能参与形成最终费用。公开数字并没有隔离各因素的因果贡献。
平均分没有说明,额外的钱解决了哪些失败
MathArena 2026 年 5 月的平台论文介绍,其评估范围不只包括最终答案,也涵盖证明、研究数学与 Lean 形式化。这些任务检验的是数学工作的不同方面。研究论文
设想两个平均得分相同的系统:一个始终无法处理某一类问题,另一个的错误分散且偶发。辅导产品、定理证明助手与验证流水线,完全可能给出不同的偏好。平均值本身无法说明错误是否容易被发现、修复是否昂贵,以及下一次是否还会发生。
同样,总体成绩的差距并不是每一道题上都获得了相同幅度改善的测量。统计汇总可以帮助比较覆盖范围不同的测试,但推断仍依赖假设。关于不同基准组合的研究,明确讨论了这种可比性问题;它并没有把预测结果变成实际完成的答案。基准组合研究
对采购而言,更有用的下一步是配对测试:使用同一批未参与调试的问题,在记录清楚的约束下运行候选系统,然后检查它们的分歧。较贵系统解决了哪些较便宜系统无法解决的问题?这些问题在目标产品中是否常见?评估者能否可靠区分正确与错误?这些问题才能把总体排名转化为具体决策的证据。
这里尤其需要避免把容易评分的任务,误当成最有价值的任务。若一个产品主要处理定义模糊、上下文不完整的问题,那么数学题的确定答案只是部分能力证据。测试集应反映实际需要,同时保留有挑战性的案例,并公开说明它们的权重,而不是为了突出某种优势而替换整个任务分布。
先用便宜模型,前提是知道何时升级
一种可能的设计,是先使用成本较低的系统,再把未解决的任务转交给成本较高的系统。这是需要验证的方案,不是榜单已经证明的节省。如果第一套系统自信地给出错误答案,而分流机制接受了它,就不会发生升级;如果分流机制把几乎所有请求都转交出去,第一次尝试只会增加费用和等待时间。
因此,分流本身也需要评估。数学上有效的证书,比模型对自身答案的信心声明更有证明力,但验证一个形式化对象,不等于证明它准确表达了现实中的问题。自动检查器可能完美地验证一个错误的规格。在用户意图与形式化任务之间,仍可能需要人工审核。
成本核算应包括首次尝试、升级、重试、检查和返工。一个有意义的分母,是被接受且经过独立检查的完成任务,同时报告等待时间和剩余错误。这并不意味着每个应用都需要形式化验证,而是验收标准应当先于成本比较确定,不能等喜欢的模型获胜后再调整。
还应保留一种不那么好看的结果:某些任务暂时无法在既定预算内可靠完成。允许系统拒答或转交人工,会降低表面上的自动化覆盖率,却能避免把未被识别的失败计入成功交付。这样的账目更适合长期预算,也更容易在模型更新后重新评估。
把选择保留为可逆决策
这次更新足以成为重新评测的理由,却不足以单凭排名就重写整个产品。团队可以保留具有代表性的测试集,记录提示、工具与停止规则,并保存失败输出,以便后续诊断。难题应该被有意识地纳入,但不能悄悄取代日常工作。
更稳妥的结论是有条件的:当困难错误代价很高时,额外能力可能值得付费;当输出可以被可靠检查、限制可以被妥善管理时,较低成本配置可能更合适。两者都不构成普遍赢家。好的评估不仅回答今天用谁,也应说明工作负载、错误容忍度或价格发生什么变化时,当前选择将不再合理。
内容仅供参考,不构成投资、法律、税务或财务建议。