AI给研究点子排序时，否决决定需要另设一道边界

2026年10月27日，Ai2介绍了AI新颖性判断的不稳定性研究。论文最早于10月1日提交，10月26日更新；生成点子的标签包含假设。这是一项评估研究，不是对所有AI科研的判决。Ai2公告、论文及版本记录。

对研究团队而言，眼下的问题不一定是要不要停用模型评委，而是它的输出进入哪一个决策环节。低分让一个点子在阅读清单中靠后，与低分让它在任何人看见之前被删除，后果并不相同。同一项评估，放在不同的位置，实际上会获得不同的权力。

排序工具如何变成筛选关口

设想一个每月只能开展少量实验的团队：先让代理生成候选方向，再让另一个模型排序。这可能节省阅读时间。但如果研究者只看最高分的提案，就很难知道被放弃的提案质量如何。看板上的结果可以整齐，缺失的证据却不会因此自动补齐。

我们的分析是，工作流程应保留被筛掉的候选池，而不只是获选提案及其分数。否则，后来某项实验成功，并不能说明筛选器表现良好，也可能有更合适的方向在早期就被排除了。需要追踪的对象因此不只是某一份提案，而是整条队列：哪些进入过、哪些被推进、哪些从未得到进一步审阅。

这并不意味着每个点子都值得开展昂贵实验。团队可以从阈值以下挑选一小部分、但类型有差异的提案做人工抽查，看筛选器是否反复忽略某一类方向。抽样不能只选那些差一点入围的高分提案。方法陌生或表达不够顺畅的候选，恰恰可能因为排序系统给予的注意太少，而需要另行检查。

抽查记录还有另一层用途：把过滤错误与后续执行错误区分开来。一个被推进的提案做不出结果，原因可能是实验条件不足；一个被淘汰的提案后来有价值，也不必然意味着当时应投入全部资源。保存决策时可见的条件，才能避免事后只按成败重新解释过去。

分数究竟在比较什么

较早的MT-Bench研究记录了模型评审中的位置和冗长偏差，也在其测试范围内发现了与人类偏好有用的一致性。它提供背景，但并非新颖性研究的直接复现。原始研究。

因此，研究负责人需要比“这个点子新不新”更明确的问题：相对于哪一批文献、哪个研究社群，以及哪个时间点而言？熟悉的机制应用于被忽略的人群，可能有实际价值，却不一定是概念上的重大突破。陌生的机制可能很原创，但现有数据根本无法检验。把这些差别压成一个总分，会掩盖团队真正需要作出的选择。

以一个假设例子来说，提案打算复用已成熟的测量方法。新颖性评价偏低可能完全合理，但它仍可能以较低成本解决重要的不确定性。相反，一个很有想象力、却找不到任何可观察结果来证伪的提案，未必适合占用下一轮实验名额。新颖性、用途和可检验性应当分别记录，即使最后的决策需要把它们综合考虑。

评委给出的解释应让这种比较可以被检查。只附上参考文献清单还不够：人工审阅者要能看见，究竟哪一项旧结论与候选发生重合，候选的哪一部分仍然不同。如果没有找到相关对照，记录应该如实说明检索缺口，而不是把不完整的检索变成“确实原创”的自信结论。

这也影响团队如何分配下一步工作。若争议在于是否存在相同的先前实验，补一次有针对性的检索可能更有用；若争议在于方法是否可行，则需要实验设计或领域知识。反复向模型追问同一个宽泛问题，未必能补上真正缺少的那一类证据。

让候选保留重新进入队列的路径

NIST的AI风险管理框架是自愿性指导，覆盖AI设计、使用和评估中的可信性问题；它不是新颖性认证。NIST框架。

以下操作设计是Open Market Notes的分析，并非上述论文已经验证的方案。把候选原文、比较证据、模型和提示版本，以及推进或暂缓的理由放在同一条记录里。更换模型时，先用一组固定的既有案例重新检查，再决定新旧分数能否放在同一序列里理解。评分尺度变化，不应默默重写团队过去的决策。

不同评委之间的分歧，也可以被当作继续取证的指令，而不只是投票的理由。如果一个评委比较方法，另一个比较应用场景，对分数求平均并没有解决问题。人工审阅者可以明确项目究竟在意哪一种差异，或者要求补充一项特定的文献核查。

反对意见同样值得认真对待：研究预算紧张，团队必须快速过滤，人类委员会也会犯错。过于复杂的审计流程，可能抵消自动化的节省。因此，控制程度应与后果相称。对可逆的阅读排期，可以使用成本较低的模型排序；如果某次排除难以撤回，或会让一个方向从记录中彻底消失，就应要求更充分的依据。

这套做法并不能证明某个评委可靠。它只是让判断错误的代价更容易看见，并保留纠正的通道。团队随后可以评估助手是否改善了专家注意力的分配，而不只是检查获选点子是否得到了一份写得有说服力的新颖性评分。