Chromeが仮想Webで検証するAIエージェント、何を成功と数えるのか
Chromeは仮想サイトで操作を再現する。作業を完了したか、ユーザーが許可した範囲を守ったかは別々に測る必要がある。

11月19日、GoogleのChromeセキュリティーチームは、自動ブラウジング機能を評価する隔離環境「Mirror Dimension」を公開記事で紹介した。数千の模擬サイトがあり、検索、絞り込み、ログインといった一連の操作を、実在するサイトに処理を送らずに試せる。今回公表されたのは試験の方法であり、環境の一般公開や、実際の利用者が問題に遭遇する頻度の公表ではない。
同じ条件から操作をやり直す
チャットで決済の手順を説明できても、ログイン済みの画面でエージェントが注文ボタンを押さないことの証明にはならない。評価では、何をしようとしたかと、操作後にアカウントやページがどう変わったかの両方を記録する必要がある。前の試行でカートに商品が残ると、次の試行に同じ指示を与えても判断の出発点が異なる。これではバージョンの違いを直接比較しにくい。
状態を復元できる模擬サイトでは、原因を切り分けやすい。例えば二つの商品の価格を比較するテストでは、在庫、送料、画面構成を固定してから一つの条件だけを変え、結果を見られる。実際のサイトでは価格と在庫が変わり、地域やセッション、アクセシビリティー設定によって表示が異なることもある。変数を管理できれば、不具合がモデルの解釈、権限の判断、画面への対応のどこから生じたかを追いやすくなる。
完了と権限順守は別の指標
ユーザーが二つの商品の送料込み価格を知りたいだけで、購入は許可していないとする。双方の総額を伝えれば成功だ。総額が合っていても注文を確定すれば権限外の行為になる。一方、決済画面への入口を見ただけで作業を中止すれば、安全でも、認められた範囲の調査は終わらない。完了率だけでは二番目を見逃しやすく、遮断率だけでは三番目が優秀な防御に見えかねない。
Chromeは以前から、影響の大きい操作ではユーザーに確認し、別のコンポーネントで予定する操作とユーザーの意図を照合すると説明している。模擬環境はこうした防御を測る場所であり、防御自体ではない。正当な作業の完了率、権限外操作の阻止率、正当な操作を誤って止めた割合、効果が生じる前に確認できた割合は、分けて示すべきだ。分母がタスク全体なのか、個々の試行なのか、影響の大きい操作だけなのかも重要になる。難しいケースを除くだけで、製品が改善していなくても得点は上がり得る。
件数の多さは、網羅性の証明ではない
Googleによると、この工程ではセキュリティー技術者一人あたり、一日に千件を超えるテスト候補を生成でき、同社が推定した手作業の効率の30倍以上にあたる。これは候補を作る速度で、確認された独立の問題数や実環境のリスク減少を示すものではない。一つの店に多くの画面違いを用意すれば、表示変更への弱さを検証できるが、未知の作業の検証にはならない。大手小売サイトを精密に再現しても、古い行政窓口、言語ごとのフォーム、実際のサイトのアカウント規約まで代表するとは限らない。
今後は、更新前後を比べる固定の回帰テストと、新しい問題を探すために拡張するテストを分け、作業の種類とリスク別に集計を示すと、有用性が高まる。正当な操作の誤遮断も示せば、防御の強化が普段の使い勝手をどの程度変えたかを判断できる。Mirror Dimensionはブラウザー上の判断を再現する手段であって、実環境での安全を保証するものではない。組織が導入を検討する際は、模擬ページの総数より、自社の業務と権限の範囲に合った評価を求めたい。
出典
情報提供を目的とした内容です。投資・法律・税務・財務上の助言には該当しません。