AI給研究點子排序時，否決決定需要另設一道邊界

2026年10月27日，Ai2介紹了AI新穎性判斷的不穩定性研究。論文最早於10月1日提交，10月26日更新；生成點子的標籤包含假設。這是一項評估研究，不是對所有AI科研的判決。Ai2公告、論文及版本紀錄。

對研究團隊而言，眼下的問題不一定是要不要停用模型評委，而是它的輸出進入哪一個決策環節。低分讓一個點子在閱讀清單中靠後，與低分讓它在任何人看見之前被刪除，後果並不相同。同一項評估，放在不同的位置，實際上會獲得不同的權力。

排序工具如何變成篩選關口

設想一個每月只能開展少量實驗的團隊：先讓代理生成候選方向，再讓另一個模型排序。這可能節省閱讀時間。但如果研究者只看最高分的提案，就很難知道被放棄的提案品質如何。看板上的結果可以整齊，缺失的證據卻不會因此自動補齊。

我們的分析是，工作流程應保留被篩掉的候選池，而不只是獲選提案及其分數。否則，後來某項實驗成功，並不能說明篩選器表現良好，也可能有更合適的方向在早期就被排除了。需要追蹤的對象因此不只是某一份提案，而是整條佇列：哪些進入過、哪些被推進、哪些從未得到進一步審閱。

這並不意味著每個點子都值得開展昂貴實驗。團隊可以從門檻以下挑選一小部分、但類型有差異的提案做人工抽查，看篩選器是否反覆忽略某一類方向。抽樣不能只選那些差一點入圍的高分提案。方法陌生或表達不夠順暢的候選，恰恰可能因為排序系統給予的注意太少，而需要另行檢查。

抽查紀錄還有另一層用途：把過濾錯誤與後續執行錯誤區分開來。一個被推進的提案做不出結果，原因可能是實驗條件不足；一個被淘汰的提案後來有價值，也不必然意味著當時應投入全部資源。保存決策時可見的條件，才能避免事後只按成敗重新解釋過去。

分數究竟在比較什麼

較早的MT-Bench研究記錄了模型評審中的位置和冗長偏差，也在其測試範圍內發現了與人類偏好有用的一致性。它提供背景，但並非新穎性研究的直接複現。原始研究。

因此，研究負責人需要比「這個點子新不新」更明確的問題：相對於哪一批文獻、哪個研究社群，以及哪個時間點而言？熟悉的機制應用於被忽略的人群，可能有實際價值，卻不一定是概念上的重大突破。陌生的機制可能很原創，但現有資料根本無法檢驗。把這些差別壓成一個總分，會掩蓋團隊真正需要作出的選擇。

以一個假設例子來說，提案打算重用已成熟的測量方法。新穎性評價偏低可能完全合理，但它仍可能以較低成本解決重要的不確定性。相反，一個很有想像力、卻找不到任何可觀察結果來證偽的提案，未必適合占用下一輪實驗名額。新穎性、用途和可檢驗性應當分別記錄，即使最後的決策需要把它們綜合考慮。

評委給出的解釋應讓這種比較可以被檢查。只附上參考文獻清單還不夠：人工審閱者要能看見，究竟哪一項舊結論與候選發生重合，候選的哪一部分仍然不同。如果沒有找到相關對照，紀錄應該如實說明檢索缺口，而不是把不完整的檢索變成「確實原創」的自信結論。

這也影響團隊如何分配下一步工作。若爭議在於是否存在相同的先前實驗，補一次有針對性的檢索可能更有用；若爭議在於方法是否可行，則需要實驗設計或領域知識。反覆向模型追問同一個寬泛問題，未必能補上真正缺少的那一類證據。

讓候選保留重新進入佇列的路徑

NIST的AI風險管理框架是自願性指引，涵蓋AI設計、使用和評估中的可信性問題；它不是新穎性認證。NIST框架。

以下操作設計是Open Market Notes的分析，並非上述論文已經驗證的方案。把候選原文、比較證據、模型和提示版本，以及推進或暫緩的理由放在同一條紀錄裡。更換模型時，先用一組固定的既有案例重新檢查，再決定新舊分數能否放在同一序列裡理解。評分尺度變化，不應默默重寫團隊過去的決策。

不同評委之間的分歧，也可以被當作繼續取證的指令，而不只是投票的理由。如果一個評委比較方法，另一個比較應用場景，對分數求平均並沒有解決問題。人工審閱者可以明確專案究竟在意哪一種差異，或者要求補充一項特定的文獻核查。

反對意見同樣值得認真對待：研究預算緊張，團隊必須快速過濾，人類委員會也會犯錯。過於複雜的稽核流程，可能抵消自動化的節省。因此，控制程度應與後果相稱。對可逆的閱讀排程，可以使用成本較低的模型排序；如果某次排除難以撤回，或會讓一個方向從紀錄中徹底消失，就應要求更充分的依據。

這套做法並不能證明某個評委可靠。它只是讓判斷錯誤的代價更容易看見，並保留糾正的通道。團隊隨後可以評估助手是否改善了專家注意力的分配，而不只是檢查獲選點子是否得到了一份寫得有說服力的新穎性評分。