真实引文只是起点：法律 AI 应以通过实质审查的工作衡量

一份 AI 生成的法律研究备忘录，可能在研究尚未完成时就显得十分完整：标题井然有序，措辞肯定，脚注也能打开真实文件。对选购法律软件的机构而言，这造成了一个衡量难题。最容易在演示中展示的品质，未必是让答案可以实际使用的品质。

Open Market Notes 的判断是，更合适的价值单位，是围绕一个明确问题、经过审查的结论。生成更长的备忘录、检索更多案件，都可能有用，但前提是它们减少了抵达这一结论所需的工作。如果审查者仍需重建问题、来源与答案之间的每一处联系，部分表面上的效率收益就只是转移到了不太显眼的环节。

本文是截至 2026 年 10 月 22 日的分析，不是新的产品测试报告。研究依据的历史日期需要明确：2024 年 5 月 30 日提交的一项预注册研究发现，其测试的法律研究系统即使使用检索增强，仍然存在错误。这项历史结果不能代表现有产品的表现。

引文留下了哪些问题

设想一项研究任务：判断某份合同通知是否充分。系统找到一份包含相似措辞的真实判决，并将其引文附在确定性的回答后面。文件确实存在，段落也可能引述准确。但审查者仍需判断，这段文字是否支持备忘录的命题，以及两个情境之间的差异是否重要。

例如，相关段落可能是在复述一方的主张，而非说明法院的推理；判决也可能涉及不同的程序问题、不同的合同条款，或一个被备忘录悄然略去的前提。这些都是假设性的失误方式，并非针对某个产品的指控。它们说明，验证文件存在与验证答案，应当视为不同的任务。

更有效的界面，可以把二者之间的推理连接呈现出来：在重要命题旁展示支持段落、段落在原文中的作用、生成答案采用的事实假设，以及它与当前问题之间尚未解决的差异。这样，解释过程才便于检查。单一置信分数则可能掩盖不确定性究竟来自哪里：寻找文件、理解文件，还是把文件用于当前问题。

权威性又增加了一个维度。采购方应能测试，系统是否区分被作为约束性依据的来源、被作为说服性类比的来源，以及背景解释材料。何种定位适当，要结合审理机构与具体争点，不能靠一个通用标签决定。真正有用的输出，是明确说明该来源拟承担什么角色，并允许合格审查者纠正。

版本应与结论一起保留

即使阅读准确，也需要一个能够还原的参照点。美国最高法院的官方出版说明指出，意见书从初步发布文本进入《美国判例汇编》的出版过程中，PDF 会更新。

对产品设计而言，这提示我们保留足以还原审查对象的信息，包括文件版本、相关段落和获取日期。这并不意味着每次出版更新都会改变法律结果。更有限的目标是：如果同事后来发现不同的文字或页码，团队应能确认双方是否使用同一份材料，而不是围绕两个身份不明的副本争论。

时间范围也应写入研究任务。研究当前问题，与研究历史事件当时适用的规则，可能需要不同的时间截止点。如果系统对两者都默默采用“最新”，回答的可能已经不是原本的问题。因此，可靠的工作流程应先记录相关日期，并指出哪些假设仍待专业判断。

完整的审查对象因而不止一个网址。它包括命题、支持段落、来源角色、时间范围和审查处置。保存这组信息，还能让一次纠正惠及一份备忘录之外的工作：某项假设发生变化后，团队可以找到依赖它的结论，而不必从头通读所有文件。

人工审查需要明确的工作内容

美国律师协会于 2024 年 7 月 29 日发布的第 512 号正式意见，讨论律师使用生成式 AI 时包括胜任能力与监督在内的伦理责任。它解释的是协会示范规则，并非创设全国统一规则。

我们的操作建议，不是给文件贴上“人工已审”标签，而是明确审查者究竟解决了什么：是否找到支持材料、接受相关解释、核对答案与任务是否一致，并记录剩余不确定性？这些判断可以同时完成，但如果只存成一次笼统批准，就很难从错误中学习。

一项实用的评估，可以选取范围明确的任务，让合格审查者在不知道答案由哪种流程产出的情况下评阅。对照对象应包括通常的研究流程，而不只是另一款 AI。记录从开始到接受或否决的总耗时、重大修改、未解决问题，以及退回继续研究的原因。这些是建议采用的衡量方法，不是已经取得的实验结果。

分母同样重要。只统计被接受的备忘录，会隐藏工具未能完成的任务；只计算生成时间，又会忽略审查负担。有效记录应包括拒绝回答和中途放弃的尝试，并区分它们是帮助团队识别了未解决问题，还是单纯把整项工作退还给人。

错误成本并不平均

假设两个系统节省的起草时间相近。一个经常附加无关引文，但审查者可以立即删去；另一个很少犯错，却偶尔改变问题范围，而且没有明显提示。单看平均正确率，采购方未必知道哪一种流程使用成本更低、风险更可控。第二种错误可能需要更多调查才能发现和修复。

因此，我们建议用总投入所换来的已审查成果衡量商业价值，同时单独分析后果严重的错误，避免把它们平均掉。总投入包括寻找证据、核查解释、解决不确定性，以及修复已经分享出去的工作，也应包括学习工具的时间。熟练操作员完成的演示，不能单独证明整个团队的使用表现。

一种合理的反对意见是：严格审查可能抵消 AI 原本承诺的节省。这值得实测。探索性研究中，能够提供候选方向的工具，即使文字尚不能直接使用，也可能有价值。团队可以评估这一较窄角色，而不必要求产品扮演独立撰写备忘录的角色。用途不同，验收条件也应不同。

采购能够被追问的工作流程

更有辨识力的采购测试，应让供应商完成代表性任务，并展示失败的尝试。采购方应观察，审查者能否方便地质疑解释、找回原文，并在不丢失其他工作的情况下修改假设。一个结论较少、但边界清楚的系统，可能比总能给出漂亮答案的系统更适合这一流程。

本文引用的来源，都不能证明某款产品现在达到或未达到上述标准。历史研究、专业意见和法院出版流程，只提供有限的事实参照。评估设计与商业含义属于我们的分析，仍需用采购方自己的任务来检验。

法律 AI 的投入价值，取决于它能产出多少被接受的研究，同时不让验证工作变得不成比例地困难。真实引文是许多任务的必要起点。更有区分力的测试，是合格人员能否以更少的总工作量理解、质疑，并最终对结论负责。本文讨论软件评估，不构成具体法律事项的建议。