AIの引き継ぎには独立した採点が必要だ

AIの引き継ぎシステムを評価する購入者は、一度も引き継がれないタスクの監査にも予算を確保すべきだ。そうしなければ、助けが必要な案件を選ぶシステムが、点検される案件まで選ぶことになる。Open Market Notesは、この二つの判断を分離する導入前試験を提案する。

二つのルーティング論文がarXivの2026年10月16日付一覧に掲載された。一覧

LEASHは不確実性を使ってコンピューター操作を引き継ぎ、その後も監視する。論文

別の研究は、正解ラベルを使わず、モデル間の不一致からルーティングを学習する。論文

両プレプリントは10月15日に提出された。以下は独立した実験案であり、両研究の評価を再現したものでも、顧客の試験に合格したと述べるものでもない。

振り分け側が選べない比較を用意する

事務用品の販売会社が、返品手順を作成するアシスタントを試す場面を想定する。低コストのモデルが通常の依頼を処理し、難しい案件には別のモデルを利用できる。試験前に、適用規定、製品情報、最終処理を含む解決済み案件の固定セットを作る。ルーターの開発に関わっていない評価者が、人の判断を必要とする場合も含め、受け入れ可能な結果を定める。

サンドボックス内で、二つのモデルに同じ案件を別々に処理させる。互いの回答は見せない。これは監査用の演習であり、返品ラベルの発行や顧客への連絡を許可するものではない。モデルの版、原資料、採点規則を固定する。出力が変動する場合には繰り返し試行する。

説明用の仮定として、結果が確定的な200件の演習で四つの群が得られたとする。140件は両方正解、35件は第二のモデルだけ正解、10件は第一のモデルだけ正解、15件は両方不正解だった。この場合、第一のモデルは150件、第二は175件に成功する。答えを事前に知る、実現不可能な選択器なら185件に到達できる。これらの架空の数値は、公表済みモデルの成績ではない。

実務で調べるべきなのは、導入するルーターと、個別に採点した選択肢との差である。引き継ぎ率だけでは、追加費用がどの群に使われたかは分からない。結果を一つの成功率にまとめる前に、四つの群を報告する。

静かに残った案件を監査する

ルーターを固定した後、保持した案件と引き継いだ案件の両方から標本を選ぶ。監査対象の選択は、ルーターの確信度と独立させる。そうしないと、自信を伴う誤りが測定の外に残りうる。難しい分類を意図的に多く抽出する場合は、全体値を実際の業務量に合わせて重み付けし、分類別の結果も示す。

意図的に情報が欠けた案件も加える。返品規定の判断に必要な製品識別子を削除する。この場合の正しい対応は、足りない情報を求めることだ。どちらのモデルでも、流暢に結論を出しただけでは不合格とする。これは、追加の計算で存在しない証拠をひそかに置き換えてはならないという、本文が提案する購入条件を検証する。

最初の回答がすでに合格している案件も入れる。引き継ぎが正しい結果を維持したか、必要な細部を改善したか、新たな誤りを生んだかを記録する。評価者は、ブランド、価格、処理順にかかわらず、同じ受け入れ基準を適用すべきだ。

推論の外にある費用も追う

試験の費用台帳では、モデル料金、ルーティングの経費、人による確認、再試行、再開した返品案件を別々に記録する。合格案件当たりの業務全体の費用を計算し、未解決や途中で断念した案件も明示する。モデル提供者への支払いが減っても、ほかの工程が節約額を使い切るなら意味がない。

監査費もこの設計の一部である。少数の独立標本を継続的に調べる方が、全出力の確認より安いと顧客が判断することはありうる。それでも、許容する誤りの基準と責任者は必要だ。本文は一律の抽出率を示していない。結果の重大さ、業務量、観測された変動に応じて決めるべきものだ。

更新後も証拠を有効に保つ

ルーティングのしきい値調整に使わない、封印したテストセットを残す。いずれかのモデルや返品規定を変える前に比較をやり直し、どの案件が別の群へ移ったかを調べる。失敗が見えてから試験を変更しただけで、供給者の点数が上がるようにしてはならない。

購入時の問いは具体的だ。低コストのモデルに残した仕事、引き継いだ仕事、両方とも完了できなかった仕事について、供給者は独立した評価結果を示せるか。ルーティングは計算資源を配分する有用な手段かもしれない。その配分を判断する証拠は、顧客が管理できる必要がある。