LFM3の長いコンテキストで問うべきは、証拠同士の関係だ

2026年10月27日、Liquid AIはLFM3を発表した。テキストの構造は畳み込み、局所注意、全域注意を組み合わせ、公称コンテキスト長は256Kトークンである。Liquid AIの発表。

アプリケーションの開発チームにとって重要なのは、その空間で何をするかだ。一度の要求に多くの資料を含めれば、検索でどのページを残すかを事前に決める負担は減るかもしれない。しかし、助手に求める仕事も変わる。短い抜粋から答えるのではなく、互いに矛盾する部分を含む長い記録を照合する必要が出てくる。本稿の分析では、受け入れ試験はこうした関係を中心に組み立てるべきであり、入力できた最長のプロンプトを、そのまま製品の有効容量とみなすべきではない。

事実を見つけるのは、仕事の始まりにすぎない

配送の紛争を扱う架空のサポート窓口を考えよう。最初の注文には配送先が書かれている。その後のメールで住所が変更され、さらに別のメールで、変更は二回目の出荷だけに適用すると説明される。一文ずつ引用するのは難しくない。有用な回答には、修正を正しい出荷に結び付け、一回目の住所はそのまま維持する必要がある。助手が三つの箇所をすべて見つけても、誤った作業指示を出す可能性はある。

この仮想例からは、長い文書に番号を一つ隠すより説明力のある試験が導ける。案件の事実は変えず、修正の説明を元の指示から遠ざけ、その間にもっともらしいが無関係なメールを挿入する。正しい判断は変わらないはずだ。答えが変わるなら、引用された文章がすべて実在していても、調べるべき提示方法への依存が見つかったことになる。

2024年のRULER論文は、長いコンテキストの評価を単純な検索から追跡や集約へ広げた。LFM3以前の研究であり、このモデルの性能を示すものではない。原論文、初回投稿は2024年4月9日。

架空の窓口の例では、追跡とは、どの修正がどの指示を変更するのかを保つことになる。集約は、複数回の部分配送で一件の注文を満たしたかを確認することかもしれない。これは異なる失敗の機会だ。一つの合格率にまとめると、改善すべきなのが検索、文書構造、それとも業務で助手に与える役割の範囲なのか、かえって分かりにくくなる。

見せ方を変えても、意味は保つ

適切な試験では、無関係な変更と意味のある変更を区別する。日付や適用範囲を変えずに段落だけを移動しても、答えは変わるべきではない。一方、対象を二回目だけから両方の出荷へ変えれば、答えは変わるべきだ。評価用の事例には両方が必要になる。そうでなければ、最初の回答を頑固に繰り返すシステムも、安心できるほど一貫して見えてしまう。

2023年のLost in the Middle研究では、対象モデルと課題で証拠の位置が性能に影響した。この過去の結果はLFM3の診断ではない。原論文、初回投稿は2023年7月6日。

本稿が提案する応用上の試験は、中央付近の情報を見つけられるかだけを問わない。並べ方を変えた後も、判断が同じ事実に支えられているかを問う。効力を持つ修正を先頭、中央、末尾へ置き、次に似ているが無関係な修正のそばへ置く。答えとともに、当事者、対象、有効日を結び付けるために使った箇所も記録する。答えが正しくても証拠のつながりが誤っていれば、その結果は脆い。再現可能な能力ではなく、偶然かもしれないからだ。

ただし、この方法には重要な限界がある。実際の文書では順序自体が意味を持つことがある。観察の順番が、判断前に何が知られていたかを決める場合もあれば、会話の順序が誰への返答かを決める場合もある。無作為な並べ替えは、試験ではなく課題の破壊になりかねない。評価者は、どの変換なら意味を保ち、どの変換なら新しい正解が必要かを定めなければならない。これは実質的な専門作業であり、コンテキストを長くすれば自動的に得られる性質ではない。

受け入れの境界は、アプリケーションが決める

構造はモデルの情報処理に関係するが、製品チームが構成要素の名称だけから特定の業務ミスを推測するべきではない。局所と全域の処理を混ぜれば、必ず照合が正しくなると考えるべきでもない。実際の証拠は、モデル、実行設定、文書の処理工程が一緒に動いた結果から得られる。一つの導入設定での試験結果が、あらゆる量子化方式、プロンプト形式、後のモデル改訂にも当てはまるわけではない。

サポートチームが記録を短くするため、古いメールの要約を加えたとする。その要約も評価すべき構成要素になる。二回目の出荷だけという制限が抜け落ちれば、後段のモデルは不完全な説明に忠実に従っているだけかもしれない。最後の助手だけを試験すると、失敗の原因を取り違える。原資料と中間の要約を残すことで、判断を左右する関係がどこで失われたかを調べられる。

長いコンテキストの助手と検索を組み合わせる場合も同じだ。検索は雑音を減らし、証拠を確認しやすくする一方で、助手が見ない情報も選ぶ。有用な比較では、長いコンテキスト経由と検索経由に同じ元案件を与え、解決した案件、見落とした修正、適切に人の確認へ回した案件を数える。選択を一律にする必要はない。短く索引の明確な案件には検索が適し、争点のある記録には広く調べる価値があるかもしれない。

こうした試験は高価で、多くの用途は大まかな分類で十分だという反論は妥当だ。その反論は試験の範囲を変える理由にはなるが、範囲を消す理由にはならない。元に戻せる並べ替えなら、控えめな証拠で足りるかもしれない。配送を変更する指示では、例外の見落としの代償は異なる。受け入れの境界は、入力できる最大トークン数ではなく、助手に許される行動に従うべきだ。

LFM3の登場によって、この製品上の問いは時宜を得たものになったが、モデルへの判定が確定したわけではない。私たちは独立したベンチマークを行っていない。次に有用なのは、境界の明確な主張だ。指定した工程、具体的な文書、意味のある変形のもとで、助手が回答に必要な関係を保つ、あるいは関係が未解決だと認識する。単なる容量よりも、それが実務に使える有効コンテキストの定義になる。