科研AI需要通過修訂檢驗
評價科研AI，應看修訂後留下了什麼：可靠的修正、尚未解決的缺陷，以及為此投入的人工。
Deep Review已上線。對於採購科研AI的機構，更難的問題是作者收到審查意見後會發生什麼。一條看似合理的質疑，可能帶來可靠的修正、無謂的重寫，也可能引入新錯誤。有效的評估應追蹤這段完整過程。
分清測量對象
一篇10月8日的預印本透過植入矛盾測試審查系統，同時提醒，人為製造的錯誤可能更容易被發現。
此前一項ICLR研究發現，選取的修訂版審查意見在盲評中更清晰、資訊更充分。
一篇9月的ICML預印本考察政策分配，發現其對論文錄用決定的影響接近零，同時存在大量自報違規使用情況。
這裡測量的是不同對象：被識別的缺陷、改進後的審查意見，以及機構層面的介入。不能把它們直接替換成實驗室真正想要的結果：經過修訂，論文的重要主張獲得更充分的支持。我們建議下一階段測試從這裡開始。
追蹤變化，也計算成本
設想一篇論文聲稱某種方法在多個條件下都有效。AI審查質疑其中一個條件是否經過測試。作者可能補做實驗，縮小主張以符合現有證據，也可能發現相關測試早已寫在論文裡。即便三種情況都得到使用者好評，其科學價值也不同。
評估應保留原始主張、具體質疑、作者回應和修訂後的佐證材料。另一位評估者隨後判斷：主張是更加可靠了，只是表達更清楚了，無充分理由地被削弱了，還是新增了錯誤。合理的爭議應在相關證據出現前保持未決。措辭漂亮的回應不應自動使問題結案。
還要計算所需工作量。一條需要半天才能排除的質疑，會消耗稀缺的科研時間。合理的新實驗要求可能成本很高，卻依然值得執行。應同時報告經確認的改進、作者工時、運算成本，以及尚未解決的重要缺陷。過早將其壓縮成一個分數，會掩蓋不同實驗室需要做出的取捨。
讓比較公平
可行的試點可以在取得作者同意、安排妥善保密措施後，將符合條件的稿件隨機分為常規修訂支援組，以及常規支援加AI回饋組。兩組獲得相同的修訂時間。評估者在不知道各稿件獲得何種協助的情況下審閱結果，再與各自的初稿比較變化。
主要評價指標應在結果產生前確定。例如，可以統計重要主張得到可驗證改進、且未引入新重要缺陷的稿件比例。輔助指標應展示有用建議被拒絕、錯誤建議被採納，以及回饋未引起變化的頻率。所有被分配的稿件都應納入報告，包括作者忽略工具的情況，同時另行說明實際使用情況。
需要強調，錄用率上升回答的是另一個問題。會議或期刊可能認可相關性、表達或原創性；這些決定本身不能證明實驗可重現。同樣，一條定理被成功修訂，也不足以說明工具適用於證據要求不同的其他學科。部署決定應限於經過測試的任務和流程。
保留退回的路徑
修訂歷史應讓有害的修改可以撤銷。如果作者為回應自動質疑而改動一項假設，系統應保留此前的表述和修改理由。如果後續核查推翻了那條質疑，就需要重新檢查受影響的結論。這是我們提出的操作規範，並非聲稱某個具名產品已經具備這些功能。
商業機會確實存在：協助研究人員形成站得住腳的修訂成果，足以讓工具進入嚴肅的科研工作。採購問題因此應該具體：意見看完、修改完成之後，哪些重要主張得到了改善，哪些仍不確定，而改進付出了什麼代價？
內容僅供參考，不構成投資、法律、稅務或財務建議。