AIが検索証拠を圧縮するとき、結論を変える条件をどう残すか

企業の検索システムは、関連性の高い文章を返しながら、それを正しく使うための情報を落とすことがある。一文だけなら質問に答えているように見えても、後日の改訂、別文書の定義、未解決の矛盾を踏まえると、その内容は適用できなくなるかもしれない。モデルに何を読ませるかという選別を検索側がより多く担うほど、この違いを独立した技術課題として扱う必要がある。

直接のニュースの背景は、Cohereが2026年10月21日に発表したRerank 5だ。任意機能のContext Focusは、文書内の関連箇所を返す。本稿はこの製品だけを論じるものではなく、私たちは独立した製品試験を行っていない。以下では、関連性のスコアを十分性の保証とせず、特定の判断に必要な文脈がそろったかをどう確かめるかを考える。

ある証拠は別の証拠に依存する

仮想の設備保守アシスタントを考えてみよう。ある文書には校正手順があり、後に発行された技術通知には、その手順を古いハードウェア版に限って使うとある。部品台帳には現場の設備に搭載された版が記録されている。技術者が適切な手順を尋ねた場合、それぞれの記録は異なる役割を持つ。手順書は作業内容を示し、通知は適用条件を変え、台帳はその条件を対象設備に結び付ける。

手順書を検索結果の先頭に置くこと自体は合理的かもしれない。しかし、質問に最も直接答える段落だけを残すと、判断の条件が不足する可能性がある。重要なのは記録同士の関係だ。語句だけを比べれば、ハードウェア台帳は複数の詳しい手順書ほど質問に似ていないかもしれない。その価値は、手順の適用条件を確かめる段階で明らかになる。

この仮定は、特定の検索器の欠陥を示すものではない。検索の目的と判断の目的が離れ得ることを示している。ある主題を論じる文章の選択が得意でも、結論が未確認の条件に依存していると気付く仕組みが別途必要になる。返す文章の数を増やすことは役立ち得るが、必要な関係を回復できた保証にはならない。

証拠が十分とは何かを定める

範囲の明確な業務なら、回答前に解決すべき問いを定めるところから始められる。この例なら、設備の特定、文書の適用範囲、新しい指示が古い指示を置き換えるかという点だ。検索は、校正についての文章を増やすだけでなく、こうした依存関係の証拠を探せるようになる。

ただし、負担は仕事に見合う必要がある。文書の表題を探すだけの依頼に、現場の操作手順を選ぶ際と同じ証拠の要件を課す必要はない。すべての検索で依存関係を網羅的に確認すれば、遅くなり、利用を妨げることもある。適切な境界は、回答の影響と、定義された仕事の範囲内でどんな条件が結論を変え得るかによって決まる。

アクセスできない情報について完全性を保証することもできない。「確認した記録がこの回答を支持している」と「関連するすべての記録を確認した」は区別すべきだ。後者には、文書集合の範囲、網羅性、版の状態について信頼できる説明が必要になる。閲覧できない通知や索引未登録の台帳は、生成された説明が自信に満ちていても重要性を失わない。その欠落が結論に関わるなら、流暢な最終指示よりも、未解決の依存関係を示す方が役立つ。

証拠の変化が回答を変えるか確かめる

実務的な評価方法の一つは、対になった事例を作ることだ。質問と文書の大部分を同じにして、検証済みの適用条件を一つだけ変える。一方では手順が有効であり、他方では版の制限によって不適切になる。変更された証拠を検索できたか、そして正しい理由で結論が変わったかを評価者が確認する。

結論に影響すべきでない変更も含めたい。段落の順序を入れ替える、関連して見えるが適用を左右しない注記を加える、同じ手順書の複製を追加するといった操作で、答えが自動的に逆転してはいけない。そうでなければ、重要な条件に敏感に見えて、実際には表面的な差に反応しているだけかもしれない。専門家は生成された回答を採点する前に、期待する結果を定める必要がある。

過去の研究から得られる注意点もある。2023年7月6日に初めて投稿されたLost in the Middleは、試験したモデルと課題で、証拠の位置が性能に影響することを示した。これは現在の配備システムについての結論ではない。長い文脈を戻せばすべての欠落が解消すると仮定せず、実際のシステムの並べ方を試す理由になる。

評価では中間段階の証拠も残すべきだ。どの文書が候補になり、どの箇所が選別後に残り、回答モデルに何が渡されたのかを追う。重要な通知が候補に入っていなければ、最後のプロンプトだけを直しても問題全体は解消しない。選ばれたのにモデルが無視したなら、検索範囲を広げるだけでは労力を浪費しかねない。段階を分けて把握すると、修正の対象が明確になる。

矛盾にも文脈の枠を割く

適用できそうな二つの記録が食い違う場合は、特に重要だ。最も明快な記述や、繰り返しが最も多い記述を選ぶと、矛盾を隠してしまうことがある。古い手順書の複製が多数あっても、効力を持つ一つの改訂を黙って押しのけるべきではない。逆に、新しく見える文書も、適用範囲や効力の証拠がなければ自動的に優先できない。

影響の大きい業務では、未解決の矛盾と、それを理解するためのメタデータに文脈の枠を残す設計には理由がある。短い回答でも、どの条件が未確定かを説明し、両方の記録を確認担当者に示せる。簡潔な一節だけを渡すより多くの文脈を使うかもしれないが、最終回答がまだ早い理由を保存できる。

2023年9月26日に初めて投稿されたRagas論文は、検索、文脈の忠実な利用、回答品質を異なる評価軸として扱う。本稿の追加的な判断は、選ばれた文章に忠実であることだけでは、選択の十分性を証明できないというものだ。完全に忠実な回答も、上流の欠落を引き継ぎ得る。前述の対事例はこの別の弱点を調べる一案であり、完全で普遍的に検証された評価手法を主張するものではない。

圧縮しても原文へ戻れる設計にする

不要な資料が資源を使い、仕事を妨げるなら、文脈を短くする商業的な合理性は残る。保護策としては、必要なときに選択的に広げる方法が考えられる。既知の依存関係を解決できない場合、既存のアクセス権限の範囲で関連記録を検索し、引用箇所を広げ、または確認担当者に回す。文章を原文とその版へ結び直せる識別情報も保持する必要がある。

すると配備時の問いは、圧縮が平均的に有効かどうかだけではなくなる。どの種類の仕事で、自らの証拠不足を認識できるのかが重要になる。未解決の事例、不要な人への引き継ぎ、警告なしで通過した誤りを調べれば、通常の回答効率と曖昧さに対処する費用の間にあるトレードオフが見えてくる。

この方法で一般的な完全性を証明できるわけではない。未知の依存関係や不完全な文書目録は限界として残る。それでも、その限界を見えるようにすると圧縮の役割は変わる。回答が考慮してよい範囲を一度きりで固定する不可逆の選別ではなく、調整でき、元の記録に戻れる証拠の表現になる。