脱獄評価の階層化が進む中、AI調達に足りないリスク記録は何か

FMFは11月5日、サイバー脅威に関する脱獄評価の予備的枠組み1.0を公表した。意見募集は12月21日まで。本稿は11月7日時点で、企業の買い手が次に問うべき点を分析する。発表資料

企業の調達担当者にとって重要なのは、供給者が示すリスク評価が、自社の導入環境で生じ得る損失を説明できるかという点だ。本稿では、この枠組みは修正の優先順位を整理する助けになる一方、買い手には別途、導入リスクの記録が必要だと考える。そうしなければ、評価の低下を安全対策の改善と誤認したり、利用が難しい能力を存在しない能力と読み違えたりする恐れがある。

1. 色を見る前に、何を評価したかを確かめる

仕様書は個々の脱獄の相対的リスクを評価し、比較基準は変化し得る。予備的な提案であり、運用指針ではない。この境界があるからこそ、買い手自身が求める証拠が重要になる。

したがって買い手は、点数の高さより先に、その点数が何を対象とするかを問うべきだ。同じモデルでも、読み取り専用の知識基盤、社内のコード環境、支払い権限のある業務フローに接続すれば、損失に至る経路は大きく異なり得る。これは導入環境を分析するための例であり、FMFの試験結果ではない。モデルの防護回避と企業資産の被害との間に、権限、ツール、人の承認といった段階があることを示している。

調達記録には二層の証拠を残すとよい。第一層は試験したモデルバージョン、脱獄事例とその結果を記述する。第二層は企業が提供するツール、アクセス可能なデータ、実行可能な操作を記述する。両者を対応させれば、供給者の総合評価を承認書類に転記するだけでなく、モデルに関する発見が特定の業務に影響する理由を説明できる。

調達上のもう一つの提案は、目立つデモだけでなく、成功しなかった試験も記録することだ。一度の成功は安全対策の穴を示せても、所定の条件でどの程度頻繁に起きるかまでは答えられない。試験範囲、試行回数、失敗理由は内部検証に役立つが、小さな標本の成功率を実環境の攻撃確率として示すべきではない。

2. 基準線の変化はリスクの説明を変える

製品を、その時点で利用可能な代替手段とだけ比較する調達報告を想定しよう。相対的な位置の改善は、製品自体の変化でも、比較対象の変化でも起こり得る。この二つの説明は修正予算の判断を変える。これは本稿の分析例であり、FMFが報告した試験でも、その評価を計算したものでもない。

ここには見落としやすい管理上の問題がある。広く利用できる能力が向上すると、ある脱獄の相対的な突出度は下がっても、企業が直面する攻撃条件は改善しないかもしれない。昨日まで希少だった技術が今日普及した場合、市場に対する優位性の低下は、既存のアクセス制御が十分だという証明にはならない。これは相対評価から導く想定であり、実際の攻撃件数の予測ではない。

四半期の安全報告では、修正による評価引き下げと、比較基準の変化による引き下げを分けるべきだ。評価日、モデルバージョン、基準線のバージョン、固定した社内試験の結果を併記できる。前者は点数が変わった理由を説明し、後者は自社の防御が本当に改善したかの判断を助ける。この記録がなければ、良好な推移は比較対象が強くなっただけかもしれない。

3. 利用のハードルとモデル能力を分けて記録する

本稿では二つの問いを分けることを提案する。この能力で攻撃者は何ができるか、そして繰り返し使うには何が必要か。発見コスト、専門家の作業時間、自動化は後者の検討に役立つ。難しい作業手順は利用を妨げても、基礎となる能力が弱いことを証明するわけではない。

この区別は予算の議論に重要だ。専門家の継続的関与が必要な事例は、悪用の規模を一時的に制限しても、対処すべき能力を示す可能性がある。逆に、簡単に再利用できる事例でも、既存ツールを大幅に上回る能力を自動的に証明するわけではない。両者を「モデルは危険」「攻撃は難しい」という一文にまとめると、修正費用をどこに投じるべきかが見えなくなる。

企業は供給者に、能力を示す証拠と利用条件を別々に説明するよう求め、保守予算に再試験費用を含められる。モデルの更新、接続ツールの変更、安全対策の改訂後は、以前の結論が有効かを検証する必要がある。これは証拠管理の提案であり、危険なプロンプトや実行可能な攻撃材料の公開を求めるものではない。監査可能な対象範囲、方法の説明、管理された検証結果の方が、攻撃手順の流通より調達に役立つ。

供給者の比較でも最終的な色だけを比べるべきではない。試験範囲が広く開示が充実した供給者は、より多くの問題を示すかもしれない。公開情報が少ない別の供給者が、それだけで安全とはいえない。買い手は証拠の対象範囲と再試験条件を先に比較し、その後で評価差を議論できる。これは特定企業の優劣を論じるものではなく、情報不足を低リスクの証拠としないための注意だ。

4. 公開の枠組みを責任の明確な運用につなげる

現時点の買い手は、宣伝ページの安全ラベルより、独立した確認者が検証できる証拠を重視すべきだ。供給者は何を試し、どこに不確実性があり、どんな証拠で結論を変えるかを説明する必要がある。その上で実行可能な契約が、発見事項を責任者と対応策につなげる。これらは本稿の調達提案であり、新しい枠組みが義務化した条項ではない。

買い手はこれを三つの契約上の質問にできる。何が再評価のきっかけになるか、重大な変化を顧客にどう通知するか、誰がモデルのリスクを業務権限に対応させるかだ。小規模チームは、大きな新しいダッシュボードから始める必要はない。責任者、再試験条件、例外承認手続きを示す短い記録の方が、実行しやすい場合がある。

安全責任者に役立つ成果物は、単純な問いに答える必要がある。明日モデルや業務権限が変わったら、誰が気づき、誰が再確認し、誰が関連業務を止められるか。評価が損失削減に役立つには、この責任分担に組み込まれなければならない。共通の評価表は意思疎通を改善し得るが、責任範囲、検証資源、対応期限は企業が定める必要がある。

今後の価値は、公開検証が増えるか、評価の根拠を比較しやすくなるか、重要な問題を企業がより速く修正できるかで判断すべきだ。この枠組みはセキュリティチーム間の意思疎通コストを下げ得るが、買い手に代わって許容損失を決めることはない。企業が最後に必要とするのは、証拠から責任者までつながる意思決定の記録である。