科研AI需要通过修订检验
评价科研AI，应看修订后留下了什么：可靠的修正、尚未解决的缺陷，以及为此投入的人工。
Deep Review已上线。对于采购科研AI的机构，更难的问题是作者收到评审意见后会发生什么。一条看似合理的质疑，可能带来可靠的修正、无谓的重写，也可能引入新错误。有效的评估应跟踪这段完整过程。
分清测量对象
一篇10月8日的预印本通过植入矛盾测试评审系统，同时提醒，人工制造的错误可能更容易被发现。
此前一项ICLR研究发现，选取的修订版评审意见在盲评中更清晰、信息更充分。
一篇9月的ICML预印本考察政策分配，发现其对论文录用决定的影响接近零，同时存在大量自报违规使用情况。
这里测量的是不同对象：被识别的缺陷、改进后的评审意见，以及机构层面的干预。不能把它们直接替换成实验室真正想要的结果：经过修订，论文的重要主张获得更充分的支持。我们建议下一阶段测试从这里开始。
跟踪变化，也计算成本
设想一篇论文声称某种方法在多个条件下都有效。AI评审质疑其中一个条件是否经过测试。作者可能补做实验，缩小主张以匹配现有证据，也可能发现相关测试早已写在论文里。即便三种情况都得到用户好评，其科学价值也不同。
评估应保留原始主张、具体质疑、作者回应和修订后的支撑材料。另一位评估者随后判断：主张是更加可靠了，只是表达更清楚了，无充分理由地被削弱了，还是新增了错误。合理的争议应在相关证据出现前保持未决。措辞漂亮的回应不应自动使问题结案。
还要计算所需工作量。一条需要半天才能排除的质疑，会消耗稀缺的科研时间。合理的新实验要求可能成本很高，却依然值得执行。应同时报告经确认的改进、作者工时、计算成本，以及尚未解决的重要缺陷。过早将其压缩成一个分数，会掩盖不同实验室需要做出的取舍。
让比较公平
可行的试点可以在取得作者同意、安排妥善保密措施后，将符合条件的稿件随机分为常规修订支持组，以及常规支持加AI反馈组。两组获得相同的修订时间。评估者在不知道各稿件获得何种帮助的情况下审阅结果，再与各自的初稿比较变化。
主要评价指标应在结果产生前确定。例如，可以统计重要主张得到可验证改进、且未引入新重要缺陷的稿件比例。辅助指标应展示有用建议被拒绝、错误建议被采纳，以及反馈未引起变化的频率。所有被分配的稿件都应纳入报告，包括作者忽略工具的情况，同时另行说明实际使用情况。
需要强调，录用率上升回答的是另一个问题。会议或期刊可能认可相关性、表达或原创性；这些决定本身不能证明实验可复现。同样，一条定理被成功修订，也不足以说明工具适用于证据要求不同的其他学科。部署决定应限于经过测试的任务和流程。
保留退回的路径
修订历史应让有害的修改可以撤销。如果作者为回应自动质疑而改动一项假设，系统应保留此前的表述和修改理由。如果后续核查推翻了那条质疑，就需要重新检查受影响的结论。这是我们提出的操作规范，并非声称某个具名产品已经具备这些功能。
商业机会确实存在：帮助研究人员形成站得住脚的修订成果，足以让工具进入严肃的科研工作。采购问题因此应该具体：意见看完、修改完成之后，哪些重要主张得到了改善，哪些仍不确定，而改进付出了什么代价？
内容仅供参考，不构成投资、法律、税务或财务建议。