調査AIに必要なのは、証拠の独立性を確かめるテストだ

分析｜2026年10月14日。

TRMは10月13日にArdenceを公開した。発表。今回の発表は、調査AIの導入を検討する側に一つの問いを投げかける。システムが複数の裏付け資料を返したとき、その結論を支える別個の観測は実際にいくつあるのか。長い参考文献一覧が、乏しい証拠基盤を覆い隠すこともあり得る。私たちは、完成した説明の巧みさを評価する前に、情報源同士の依存関係を検証することを提案する。

一致の数より先に、観測の数を数える

架空の演習を考えよう。三つの商用データサービスが、一つの登記情報から同じ会社住所を転載する。四つ目の報告書は、そのうち一つのサービスを引用する。検索結果は四件とも一致して見えるが、この演習に存在する元の住所観測は一つだけだ。登記情報が古ければ、繰り返しても訂正にはならない。

確認する人は、各主張がどこから生まれ、どの記録がそれを複製・加工し、独立した収集が行われたかを問うべきだ。提供会社の名前が違うだけでは答えにならない。AIが別の要約を書いても、新しい観測が増えるわけではない。上流の関係が不明なら、記録を暗黙に独立扱いしたり同一扱いしたりせず、「独立性は未確認」と表示することを提案する。

すべての引用リンクを開ける場合でも、この区別は重要だ。NISTのAIフレームワークは、透明性だけでは正確性は保証されないと注意を促している。閲覧できる文書が、システムが結論に至った理由を明確に示していても、結論の根拠は弱いままかもしれない。

重複を、条件を管理した実験にする

情報源の関係があらかじめ分かっている、小規模な合成テストセットを提案したい。一つの元の観測から始め、同じ情報を形式の異なる複数の記録として与える。実質的な証拠は変えない。見せ方の数が増えただけで、システムが示す確信度、仮説の順位、推奨内容が変わるかを調べる。

次に、判断を変え得る、本当に別個の観測を加える。望ましい反応は、確信度を一定の数値だけ上げることとは限らない。新しい記録は弱かったり、矛盾していたり、無関係だったりする可能性がある。重要なのは、その追加観測で何が分かり、どの不確実性が残ったのかを説明できることだ。

最後に、同じ情報源に由来する記録群を丸ごと取り除く。結論がその記録群に依存していたなら、システムはその依存を明らかにすべきだ。これは感度を調べるテストであり、あらゆる主張に複数の証人が必要だという規則ではない。単独で決定的な観測もある。互いに依存する複数の観測にも、情報がどう広がったかを追う価値はある。

対立する説明も公平に検証する

米国の情報分析基準は代替仮説の検討を求める一方、純粋な法執行情報には適用されない。ここでは分析上の参考としてこの原則を用い、普遍的な遵守要件として扱うものではない。

架空の住所の例では、追加検索の前に二つの説明を書き出す。一つは各事業体の運営者が共通しているというもの。もう一つは共通の住所提供サービスを利用しているというものだ。両者を区別でき、権限の範囲内で行える観測を指定する。そのうえで、住所の一致をさらに集めるのではなく、その違いを判別する材料を探すようシステムに求める。

このテストでは、判断を明確に修正することを評価したい。新しい証拠が住所提供サービスの共用という説明を支持したなら、以前の推論は弱まり、影響を受ける結論が示されるべきだ。事業体の照合結果、関係性の仮説、不正行為の証拠は、それぞれ別の欄に置く必要がある。一つの欄から別の欄へ進むには論証が要る。視覚的に説得力のあるネットワーク図で代替することはできない。

分かっていることの境界を残す

有用な確認記録には、提示された結論、独立した観測のグループ、未解明の依存関係、最も有力な対立説明、そして次に説明同士を区別するための問いを示したい。何を調べていないかも明記する必要がある。「結果が返らなかった」という事実を意味のある不在と解釈するには、検索範囲と対象期間の説明が欠かせない。

これらは私たちが提案する評価演習であり、Ardenceの実測結果でも、設計に関する疑惑の指摘でもない。私たちは同製品を独立にテストしていない。導入を判断するうえで問うべきは、証拠が未確定な間は調査の結論も開かれたまま保ち、真に新しい情報をもたらす証拠が得られたときに絞り込めるかどうかだ。取得資料が増えることに価値があるのは、調査チームが何を新たに知ったのか、あるいは何も増えていないのかを説明できるときである。