AI 总分要用于决策，先说明它代表哪一种任务分布

一篇于 2026 年 10 月 21 日 UTC、北京时间 10 月 22 日提交的研究，讨论基准题目难度分布如何影响评估。作者注明论文获 NeurIPS 接收。原始论文。

值得追问的是，使用者以为一个总分代表什么。研究团队可能想区分前沿系统的能力；运营团队可能希望日常工作稳定完成；产品团队可能关心下一版能否承接新的任务。同一份测试可以为这些问题提供证据，但平均分不会自动对每个问题都给出同样有效的答案。我们的分析是，任务分布应当像评分规则一样，成为决策定义的一部分。

平均分里藏着什么问题

设想一个纯粹用于说明的日程助手：它处理简单预约、包含多项相互影响约束的会议，以及需要追问的特殊情况。假定两个系统总分相同，一个更擅长常规预约，另一个更擅长复杂约束。这并不是任何真实产品的成绩，而是说明：仅凭平均分，无法还原某家机构真正需要的排序。

如果业务主要是常规请求，前一个系统可能更合适，尤其当它的成本更低。如果服务对象是专门处理复杂规划的团队，后一个系统可能更适合。倘若某种特殊情况会形成代价高昂的承诺，团队仍可能要求人工接手，而不管谁的总分领先。任务出现的频率、出错的后果和系统能力，是三个不同的输入。把它们混在一起，相当于让出题者的选题习惯悄悄替使用者制定业务政策。

等权计分本身也是一种选择。在权重不变时，多加入某类题目，就会提高这类任务的代表性。如果目标只是描述当前试卷，这完全可以成立；如果把结果解释为其他工作场景的表现，就需要额外论证。样本再大，也可能只是非常精确地描述了一个并不对应实际需求的组合。

难题未必更有业务价值

难度适合帮助安排测试，却不是业务价值的通用排序。少见的谜题可以很难，但与实际工作关系不大；一项很简单的请求，也可能因为授权外部行动而后果重大。一个会拒绝复杂任务的助手，有时比不可靠地完成任务更可用，前提是拒绝清晰可见，而且确实存在可行的人工接手机制。

因此，我们建议保留两种报告视角。一种估计系统在明确界定的日常任务组合上的表现；另一种专门探索困难或高后果的情况，即使它们并不常见。把两者揉成一个显眼数字，会遮住某个案例为什么被纳入测试。分别报告，则能同时承认常规任务的优势，并保留对例外情况的使用边界。

目标任务分布最好在看到候选系统成绩之前确定。否则，评估者可以在结果出来后调整权重，使偏好的系统显得更优秀。这不一定涉及故意误导：团队也可能只是更在意留下深刻印象的案例。提前写明目标工作范围、排除的任务以及如何处理转交人工，能让这些判断更容易被检查。

衡量难度的尺子也需要检查

还有一层问题：用来排列题目的难度尺度，本身可能存在不确定性。另一项最初发表于 2026 年 7 月 16 日、10 月 16 日修订的研究警告，在模型样本较小或分布特殊时，项目反应理论（IRT）的估计可能不可靠。校准研究。

这项提醒并不意味着所有按难度组织的评估都失效，而是改变了什么证据才足以使它有说服力。我们会追问：换一组校准模型，题目顺序是否明显变化；估计差异是否超出了不确定范围；在实际工作允许的工具和时间预算下，难度顺序是否仍然成立。一个不能查资料时很难的任务，在拥有合适参考资料时可能变得常规。不交代这些设置，就会把系统比较和资源比较混为一谈。

实用的报告可以展示较宽的难度区间，不必假装每道题都有精确而永久的位置。如果证据无法区分相邻区间，合并区间可能比画出细密刻度更诚实。如果在合理的权重变化下，系统排序发生反转，这种敏感性就是结果的一部分，不应当被当作需要隐藏的麻烦。

缩小测试与扩大覆盖，回答的是不同问题

压缩评估成本有合理理由。2024 年的 tinyBenchmarks 研究探索用挑选后的较小题集估计原有基准的结果。早期研究。这是相关背景，而不是今天的新发布。

我们的理解是，高效复现既有分数，与决定系统应该承接哪些工作，是不同目标。在较小测试与较大测试的关系已经得到验证后，小测试可以成为经济的日常监测工具。但这一点本身，不能证明原来的大测试代表一家新机构的任务。反过来，单纯把题量增加很多，也不能解决任务是否匹配的问题。

评估资源应从尚未解决的决策风险出发分配。如果问题是常规功能有没有退步，重复稳定的核心题集可能有帮助。如果问题是能否放行一种新任务，那么来自这类任务的新案例，比继续重复熟悉题目更重要。如果关心的是罕见但严重的错误，可以有意设置压力案例，同时明确区分人为提高的测试频率与日常表现估计。

保留可比性，不等于冻结试卷

更新测试还会带来报告问题：表面上的分数变化，可能来自新的题目组合，而不是系统本身变化。我们的建议是保留有记录的参考题集，新增部分单独报告；确实需要改变主要指标时，明确说明新旧指标之间的衔接。新的挑战题可以揭示有用能力，而不必被悄悄接入原来的历史曲线。

这样也会形成更合理的研发激励。团队可以解释哪些任务类型改善了，以及相应的使用边界可能如何调整，而不用暗示所有进步同样有价值，也不用把总分不变解释为没有任何有用进展。读者得以区分：究竟是系统更好了、测试不同了，还是希望系统承担的工作变了。

因此，真正与决策质量有关的问题十分具体：在这项用途合理的任务组合和资源限制下，首选系统是否仍然保持优势？如果答案尚不明确，下一步应该是针对性的证据，而不是更多小数位。当读者能看清一项测试代表什么工作、特意考察什么工作，又对什么工作保持沉默，基准才能更好地服务选择。

本文为原创编辑分析。日程助手案例与建议的报告设计均为说明性内容，并非所引论文报告的实验结论。