科学AIには修正後の検証が必要だ

Deep Reviewが公開された。科学AIを導入する機関にとって、より難しい問いは、著者が批評を受け取った後に何が起きるかだ。もっともらしい指摘は、適切な修正にも、無駄な書き直しにも、新たな誤りにもつながり得る。有用な評価は、その過程全体を追う必要がある。

測定対象を分ける

10月8日のプレプリントは、矛盾を挿入して査読システムを試す一方、人工的な誤りは見つけやすい可能性を指摘している。

以前のICLR研究では、選ばれた修正済みの査読文が、盲検評価でより明確かつ情報豊富と判定された。

9月のICMLプレプリントは方針の割り当てを調べ、論文採否への影響はほぼゼロで、自己申告の方針違反も多いと報告した。

測っているのは、それぞれ異なる対象だ。発見された欠陥、改善された査読文、そして組織としての介入である。これらを、研究室が本当に欲しい成果へ無言で置き換えてはならない。その成果とは、修正後の論文で重要な主張を裏付ける根拠が強くなることだ。私たちが提案する次の試験は、そこから始まる。

変更とその負担を追う

ある手法が複数の条件で有効だと報告する、仮想の論文を考えよう。AI査読者が、そのうち一つの条件を試したかと問う。著者は実験を追加するかもしれない。既存の証拠に合わせて主張を狭めるかもしれない。あるいは、要求された試験がすでに記載されていると気づくかもしれない。どの場合も利用者が好意的に評価したとしても、科学的価値は異なる。

評価では、元の主張、具体的な指摘、著者の返答、修正後の裏付け資料を保存すべきだ。そのうえで別の評価者が、主張が確かになったのか、表現だけが明確になったのか、根拠なく弱められたのか、新たに誤りとなったのかを判断する。正当な見解の相違は、必要な証拠がそろうまで未解決として残す。巧みな返答だけで自動的に解決済みにしてはならない。

必要な作業量も数えるべきだ。退けるのに半日かかる指摘は、貴重な研究時間を消費する。正当な追加実験の要求は、高くついても実行する価値があるかもしれない。確認された改善とともに、著者の作業時間、計算費用、残存する重大な欠陥を示す。早い段階で一つの点数にまとめると、研究室ごとに異なる判断の余地が隠れてしまう。

公平に比較する

実用的な試験としては、著者の同意と適切な守秘措置のもとで、対象原稿を通常の修正支援群と、通常支援にAIの助言を加える群へ無作為に分ける方法がある。修正期間は両群でそろえる。評価者はどの支援が使えたかを知らずに完成稿を読み、それぞれの初稿からの変化を比べる。

主要な評価項目は結果を見る前に決める。例えば、重大な主張に検証済みの改善があり、新たな重大欠陥が生じなかった原稿の割合が考えられる。補助指標では、有用な助言を退けた頻度、誤った助言を採用した頻度、助言が変化を生まなかった頻度を示す。ツールを無視した著者も含め、割り当てられた全原稿を報告対象とし、実際の利用状況は別に説明する。

重要なのは、採択率の上昇は別の問いへの答えだという点だ。発表先は関連性、表現、独創性を評価し得るが、その判断だけでは実験の再現性は証明できない。同様に、一つの定理をうまく修正できても、証拠の要件が違う別分野について分かることは少ない。導入の判断は、試験した課題と作業手順の範囲にとどめるべきだ。

戻れる道を残す

修正履歴は、有害な変更を取り消せるものにする必要がある。自動の指摘に応じて著者が仮定を変えたなら、以前の記述と変更理由を残す。後の検証でその指摘が覆された場合、影響する結論を再確認する。これは私たちが提案する運用原則であり、ここで名前を挙げた製品に実装済みだという主張ではない。

事業機会は大きい。研究者が根拠を示せる修正へ進むのを助けるツールには、本格的な研究で役割がある。だからこそ導入時の問いは具体的であるべきだ。指摘を読み、修正を終えた後、どの重要な主張が改善し、何が不確かなままで、その改善にいくらかかったのか。