AI 升级转交需要独立评分

评估 AI 任务转交系统时，采购方应把一部分审核预算留给从未被转交的任务。否则，决定哪些案例需要帮助的系统，也决定了哪些案例会受到检查。Open Market Notes 提议用一项采购测试，把这两个决定分开。

两篇路由论文列于 arXiv 2026年10月16日的更新中。列表

LEASH 以不确定性触发计算机操作任务的转交，并继续监测。论文

另一项研究利用模型分歧学习路由，无须真实答案标签。论文

两篇预印本均于10月15日提交。下文实验是独立提议，并非复现它们的评估，也不表示任何系统已经通过客户试验。

建立路由器无法挑选的比较

设想一家办公用品经销商，正在测试一个编写退货指引的助手。低成本模型处理常规请求，另一个模型供困难案例调用。试点之前，经销商建立一组内容固定的已结案记录，包含适用政策、产品资料和最终处理结果。由未参与路由器开发的审核者确定可接受结果，包括必须交给人工判断的情况。

在沙盒中，让两个模型分别处理相同文件，互相看不到对方答案。这是审核练习，并不授权开具退货标签或联系客户。模型版本、原始材料与评分规则保持不变。输出存在随机性时，需要重复试验。

以下仅为说明：假设一项结果固定的200例练习产生四组情况，140例两个模型都答对，35例只有第二个答对，10例只有第一个答对，15例两个都答错。因此，第一个模型成功150例，第二个成功175例。一个不可能实现、预先知道答案的选择器，最多可完成185例。这些虚构数字不描述任何已发布模型。

实际应考察的是：部署的路由器与这些独立评分方案之间差多少。单看转交率，无法知道额外支出流向了哪一组。在把结果压缩成一个成功率之前，应先报告四组情况。

审查那些安静留下的案例

固定路由器之后，从保留队列和转交队列分别抽样。审核样本的选择不应依赖路由器的置信度，否则，自信的错误可能一直留在测量范围之外。如果刻意增加困难类别的抽样比例，计算整体指标时应按实际工作量重新加权，同时单独报告每个类别。

还应加入一份刻意不完整的文件：删除判断退货政策所需的产品标识。此时，可接受结果是请求补充信息。任何模型给出流畅而直接的答案，都应在这一案例上判为不合格。这是在检验本文提出的采购要求：额外计算不能悄悄取代缺失的证据。

同时加入第一个答案已经合格的案例，记录转交后是保留了正确结果、补全了必要细节，还是引入了新错误。审核者应使用同一验收标准，不受模型品牌、价格或先后顺序影响。

把推理之外的开支算进去

试点账目应分列模型费用、路由开销、人工审核、重复尝试，以及重新打开的退货案件。计算每个验收合格案例的完整流程成本，并明确报告未解决和放弃的案例。只有其余流程没有吃掉节省额，模型供应商账单降低才有价值。

审核支出也是这一设计的一部分。客户可能合理地认为，持续进行少量独立抽查，比逐一审核所有输出更省钱。但这个选择仍需明确错误门槛和责任人。本文不提供通用抽样比例；后果、业务量和观察到的波动决定合适比例。

更新之后，证据仍要有效

保留一组未用于调整路由阈值的封存测试集。在更换任一模型或退货政策之前，重新比较，并检查哪些案例改变了分组。不能因为失败暴露后调整了测试，就让供应商获得更高分。

采购问题很具体：供应商能否提供独立评定的结果，分别覆盖留在低成本模型的任务、被转交的任务，以及两个模型都无法完成的任务？路由或许能够有效分配计算资源，但客户仍须掌握用于评判这种分配的证据。