実在する引用は出発点：法律 AI を実質審査後の成果で測る

AI が作成した法律調査メモは、調査が終わるずっと前から完成しているように見える。見出しは整い、文章は断定的で、脚注を開けば実在する文書が表示される。法律ソフトウェアを選ぶ組織にとって、これは測定上の難しさを生む。デモで見せやすい品質が、そのまま回答を実務で使えるものにする品質とは限らない。

Open Market Notes は、明確な問いに結び付いた、審査済みの結論を価値の単位にすべきだと考える。長いメモを生成したり、多くの判例を探したりすることは有用になり得る。ただし、その結論に到達するまでの仕事を減らすことが条件になる。審査者が問いと資料と回答のつながりを一つずつ組み立て直すなら、生産性向上の一部は、目立ちにくい工程へ移っただけかもしれない。

本稿は 2026 年 10 月 22 日時点の分析であり、新しい製品試験の報告ではない。研究上の参照点は過去のものと明記する。2024 年 5 月 30 日提出の事前登録研究では、調査対象の法律調査システムに、検索拡張を用いても誤りが残った。この過去の結果から現在の製品性能は判断できない。

引用が残す未解決の問い

仮に、ある契約上の通知が十分だったかを調べる仕事を考える。システムは似た表現を含む実在の判決を見つけ、断定的な回答に引用を添える。文書は存在し、該当箇所の引用も正確かもしれない。それでも、その箇所がメモの命題を支えるのか、二つの状況の違いが重要なのかを判断する仕事は残る。

審査者が読むと、その段落は裁判所の判断理由ではなく、一方当事者の主張を紹介しているだけかもしれない。別の手続上の問題や別の契約条項を扱う判決かもしれず、メモが暗黙に省略した前提が重要かもしれない。これは仮想的な失敗例であり、特定製品への批判ではない。文書の存在確認と回答の確認を、別の作業として扱う必要を示している。

有効な画面設計は、その間の推論を見えるようにする。重要な命題の隣に、根拠箇所、原文でのその箇所の役割、回答が置いた事実上の前提、現在の問いとの未解決の相違を表示できる。そうすれば解釈を点検しやすくなる。単一の確信度スコアでは、不確実性が資料の発見、解釈、当てはめのどこにあるのかが隠れかねない。

法的な権威性も別の評価軸になる。調達側は、システムが拘束力のある根拠として提示する資料と、説得的な類推や背景説明として提示する資料を区別しているかを試せるべきだ。適切な位置付けは判断機関や争点によって異なり、共通のバッジ一つでは決まらない。有用なのは、その資料にどんな役割を与えようとしているかを説明し、資格と専門性のある審査者が修正できる出力である。

結論とともに版を残す

正確な読解にも、再現可能な参照点が必要になる。米国最高裁判所の公式な刊行案内は、意見書の PDF が初期公表版から United States Reports の刊行版へ進む過程で更新されると説明している。

製品設計上は、何を審査したのかを再現できる情報、つまり文書の版、該当箇所、取得日を残すことが考えられる。刊行上の更新が毎回法的な結論を変えるという意味ではない。目的はもっと限定的だ。同僚が後から異なる文章やページ番号を見つけた際、出所のはっきりしない二つのコピーで議論するのではなく、同じ資料を見ているかを確認できるようにする。

調査依頼にも時間的な範囲を含めたい。現在の問いを調べる場合と、過去の出来事の時点で適用された規則を調べる場合では、必要な基準日が違う可能性がある。双方に黙って「最新版」を使うシステムは、意図とは異なる問いに答えているかもしれない。したがって、信頼できる工程は関連日を記録し、どの前提に専門的な判断が残るのかを明示するところから始まる。

審査対象の全体は URL より広い。命題、根拠箇所、資料の役割、時間的範囲、審査者の処置を含む。この組み合わせを保存すれば、一つの修正を一つのメモだけで終わらせずに済む。前提が変わったとき、それに依存する結論を探し、すべての文書を最初から読み直す負担を減らせる可能性がある。

人による審査の仕事を明確にする

米国法曹協会が 2024 年 7 月 29 日に公表した正式意見 512は、生成 AI を使う弁護士の能力や監督を含む倫理上の責任を扱う。協会のモデル規則の解釈であり、全米共通の規則を新設するものではない。

私たちの運用上の提案は、「人が確認済み」というラベルを付けることにとどまらない。審査者が実際に何を解決したかを定める。根拠を見つけたのか、解釈を受け入れたのか、回答が依頼に合っているか確認したのか、残る不確実性を記録したのか。これらは同時に判断できるが、一括承認としてしか保存しなければ、誤りから学びにくくなる。

実用的な評価では、範囲を定めた課題を用い、専門性を持つ審査者に、どの工程で作られた回答かを知らせず評価してもらうことが考えられる。比較対象には別の AI だけでなく、通常の調査工程も含める。開始から受理または却下までの経過時間、重要な修正、未解決の問い、追加調査に戻した理由を記録する。これは評価指標の提案であり、報告済みの実験結果ではない。

分母にも注意が必要だ。受理されたメモだけを数えると、ツールが完了できなかった仕事が見えなくなる。生成時間だけを測れば、審査の負担が抜け落ちる。有用な記録には回答の辞退や中断も含め、それが未解決事項の発見に役立ったのか、単に仕事全体を人へ戻しただけなのかを区別する。

誤りのコストは均等ではない

仮に二つのシステムが同程度の起草時間を節約するとしよう。一方は無関係な引用をよく追加するが、審査者はすぐに削除できる。もう一方はめったに誤らないものの、ときどき問題の範囲を変え、その変更が目立たない。平均正答率だけでは、どちらの工程が安く、リスクを管理しやすいか分からない。後者の誤りは、発見と修復により多くの調査を要する可能性がある。

そこで提案する商業的な尺度は、総労力に対して得られた審査済み成果である。影響の大きい誤りは平均値に埋めず、別に検討する。労力には、根拠探し、解釈の点検、不確実性の解消、共有済みの仕事の修復に加え、ツールを習得する時間も含める。熟練者が行うデモだけで、チーム全体の使用成果を証明することはできない。

厳格な審査は、AI の魅力だった節約を打ち消すのではないかという反論には理由がある。これは実測すべきだ。探索段階の調査なら、文章をそのまま使えなくても、候補となる方向を示すツールには価値があるかもしれない。独立してメモを書く製品と見なすのではなく、その限定された役割を評価すればよい。用途が違えば受け入れ条件も変わる。

問い直せる工程を調達する

製品の差を見極める調達試験では、代表的な仕事を供給側に実行してもらい、失敗した試行も示してもらう。審査者が解釈に異議を唱え、原文を取り出し、他の作業を失わずに前提を変えられるかを確認したい。結論の数が少なくても境界を明示するシステムの方が、常に整った回答を作るシステムより、その工程に合う可能性がある。

本稿の資料は、ある製品が現在この基準を満たす、または満たさないことを証明していない。過去の研究、専門職向けの意見、裁判所の刊行工程は、限定された事実上の参照点を与える。評価の設計と商業的な意味は私たちの分析であり、調達側の実際の課題で検証する必要がある。

法律 AI への投資で問うべきは、検証を不釣り合いに難しくせず、どれほど受け入れ可能な調査を作れるかだ。実在する引用は、多くの仕事で必要な出発点になる。さらに重要なのは、専門性を持つ人がより少ない総作業量で結論を理解し、問い直し、最後に責任を持てるかである。本稿はソフトウェアの評価を扱い、個別の法律問題への助言ではない。