AI试点的对照组，真的没有受到AI影响吗？

一个没有AI账号的员工，仍然可能在被AI改变的工作环境中工作。同事可能交来更完整的资料，提出更多审批请求，也可能留下额外材料等待核查。企业评估代理试点时，使用者与非使用者之间的差异，因此需要谨慎解释。是否获得工具，与是否受到工具影响，并不是同一条边界。

微软研究院与卡内基梅隆大学的研讨会定于2026年10月22日至23日举行，会后计划公开综合报告。这是评估议题的讨论，并非已经发布的标准。本文关心的是一个采购问题：如何区分账号持有者效率提高，与为这些账号付费的组织效率提高？

先看谁的工作发生了变化

设想一个虚构的供应商入驻团队。部分员工获得代理，用来整理文件、准备复核材料，其他员工继续使用原有工具。两组人的材料都交给同一批专家。企业比较准备时间，发现代理使用者更早提交。这是一个有用的环节性发现，但尚不能证明获批供应商记录的产出发生了怎样的变化。

之后至少有两条可能路径。更规范的材料可能节省专家时间，使两组案件都受益；更快的准备也可能带来更多澄清请求，增加专家的工作。两种结果都不能预先假定。在这个例子中，从未打开代理的人，也是其价值得以实现或被抵消的机制的一部分。

J-PAL的数据分析指南解释，未接受干预的人仍受到影响，就可能出现溢出效应，使效果估计产生偏差。上述职场例子是本文对这一方法问题的应用，不是J-PAL或任何AI供应商公布的实测结果。

因此，部署记录应区分账号持有者、AI辅助成果的接收者，以及最终业务结果的负责人。三个角色可能不是同一个人。若把采购名单当作全部受影响员工的地图，就可能漏掉决定准备时间能否转化为有效产能的那部分工作。

差距变小，可能不只有一种解释

仍在这个假设案例中，假如专家利用更清楚的材料改进了共同模板，非使用者也开始提交更好的材料。两组差距可能缩小，但有用的知识实际上已经扩散。此时把差距小直接解释为代理价值有限，可能过早。反过来，较大差距也可能部分来自试点参与者获得了特殊支持，而其他人仍在处理较难的剩余事项。

这些是竞争性解释，不是对某项部署的诊断。评估需要保留足够的运营背景，才能区分它们：模板改了什么、谁接受了辅导、案件如何在人之间转移，以及复核职责是否重新分配。缺少这些记录，一个很精确的数字，也可能回答了管理者没有意识到的另一个问题。

对积极自愿参加的人，也需要同样谨慎。他们的经历可以显示有动力的员工在获得支持时能做到什么，却不能自动说明整个部门日常使用时会怎样。参与意愿、实际使用，以及接触同事产出的程度，应分开描述，不宜压缩成一个“采用率”。

围绕决策选择比较方式

J-PAL的随机分配资源指出，按群组分配可以应对群组内的溢出，但在其他条件相同时，要达到相近的统计检验能力，需要更大的样本。这是一项设计取舍，不是自动解决所有问题的办法。

对假设中的采购方，首先应画出真实的工作联系。如果不同运营单元各有自己的复核人员，按单元开展试点，可能比逐个账号比较更适合回答全单元采购的问题。如果所有单元仍依赖一个中央团队，组织架构图就没有创造独立边界。仅仅把部门重新命名为实验组，并不能消除共同受到的影响。

采购决策还决定什么属于“干预”。如果上线同时包含新模板、培训与审批流程调整，企业完全可以关心这一整套方案是否有效，但结果就应描述为组合方案的效果，而不应全部归功于模型。要单独回答代理带来的增量，需要能够真正分开这些变化的比较。

这不是一套可直接套用的统计方案。独立运营单元很少的组织，可能无法获得精确的因果估计。有限的运营试点仍能揭示工作转移和实施问题；报告应说明观察到了什么、什么尚未识别，而不是因为少数紧密相连的团队处理了大量记录，就制造确定性。

记录结果，也保留中间的人

普林斯顿SAgE的趋势综述区分能力、人机互动与系统影响三个评估层次，一个层次的证据不能自动证明另一个层次的结果。本文于2026年10月23日查阅该页面。

本文建议在业务判断中保留两幅相互关联的图景。一幅跟踪可用成果，例如在质量要求不变的前提下获接纳的供应商记录；另一幅跟踪人工投入，包括准备、澄清、复核和纠错，也包括账号持有者之外的人。相同总投入产生更多有效记录，与产出不变却把工作转给未被统计的专家，含义显然不同。

数量旁边必须保留质量。如果试点接受更薄弱的证据，或把核查推迟，更高吞吐量可能来自验收规则变化；如果它提高完整性、减少后续更正，收益又可能在初始观察窗口结束后才出现。采购方应预先决定哪些后果能够继续观察，并说明窗口的边界。短期试用无法解决长期可靠性的主张。

也不能把每一分钟新增投入都当成浪费。专家花得更久，可能是代理发现了一个过去未被注意到的真实问题。应问额外工作是否服务于有价值的目的，而不是要求人工参与永远下降。单看总时长解释不了的差异，可以通过检查具体案件来理解。

采购结论应停留在证据支持的层次

一份可信的试点报告，可以得出这样的结论：参与者的准备变快了，复核人员的工作负担出现某种变化，但最终产出的效果仍不确定。这比把三件事合并为一个生产力标题，更适合支持分阶段决策，因为它指出了下一轮试验究竟需要解决什么。

不同角色之间的分歧也应保留。使用者反馈积极与复核团队承压，并不互相矛盾，它们可能描述同一流程的不同部分。只听有账号的人，会奖励容易展示的收益，却把转移的成本留给没有选择这项工具的人。

代理部署的价值，最终取决于它改变的工作系统。相关比较不只是“谁有登录权限”，而是在可信的替代安排下，相互关联的员工与业务成果本来会怎样。建立这种比较，比统计活跃账号更费心，但能让最终的采购主张清楚得多。