AI 升級轉交需要獨立評分

評估 AI 任務轉交系統時，採購方應把一部分審核預算留給從未被轉交的任務。否則，決定哪些案例需要幫助的系統，也決定了哪些案例會受到檢查。Open Market Notes 提議用一項採購測試，把這兩個決定分開。

兩篇路由論文列於 arXiv 2026年10月16日的更新中。列表

LEASH 以不確定性觸發電腦操作任務的轉交，並繼續監測。論文

另一項研究利用模型分歧學習路由，無須真實答案標籤。論文

兩篇預印本均於10月15日提交。下文實驗是獨立提議，並非重現它們的評估，也不表示任何系統已經通過客戶試驗。

建立路由器無法挑選的比較

設想一家辦公用品經銷商，正在測試一個編寫退貨指引的助手。低成本模型處理常規請求，另一個模型供困難案例呼叫。試點之前，經銷商建立一組內容固定的已結案紀錄，包含適用政策、產品資料和最終處理結果。由未參與路由器開發的審核者確定可接受結果，包括必須交給人工判斷的情況。

在沙盒中，讓兩個模型分別處理相同檔案，互相看不到對方答案。這是審核練習，並不授權開具退貨標籤或聯絡客戶。模型版本、原始材料與評分規則保持不變。輸出存在隨機性時，需要重複試驗。

以下僅為說明：假設一項結果固定的200例練習產生四組情況，140例兩個模型都答對，35例只有第二個答對，10例只有第一個答對，15例兩個都答錯。因此，第一個模型成功150例，第二個成功175例。一個不可能實現、預先知道答案的選擇器，最多可完成185例。這些虛構數字不描述任何已發布模型。

實際應考察的是：部署的路由器與這些獨立評分方案之間差多少。單看轉交率，無法知道額外支出流向了哪一組。在把結果壓縮成一個成功率之前，應先報告四組情況。

審查那些安靜留下的案例

固定路由器之後，從保留佇列和轉交佇列分別抽樣。審核樣本的選擇不應依賴路由器的信心分數，否則，自信的錯誤可能一直留在測量範圍之外。如果刻意增加困難類別的抽樣比例，計算整體指標時應按實際工作量重新加權，同時單獨報告每個類別。

還應加入一份刻意不完整的檔案：刪除判斷退貨政策所需的產品識別碼。此時，可接受結果是請求補充資訊。任何模型給出流暢而直接的答案，都應在這一案例上判為不合格。這是在檢驗本文提出的採購要求：額外計算不能悄悄取代缺失的證據。

同時加入第一個答案已經合格的案例，記錄轉交後是保留了正確結果、補全了必要細節，還是引入了新錯誤。審核者應使用同一驗收標準，不受模型品牌、價格或先後順序影響。

把推理之外的開支算進去

試點帳目應分列模型費用、路由開銷、人工審核、重複嘗試，以及重新開啟的退貨案件。計算每個驗收合格案例的完整流程成本，並明確報告未解決和放棄的案例。只有其餘流程沒有吃掉節省額，模型供應商帳單降低才有價值。

審核支出也是這一設計的一部分。客戶可能合理地認為，持續進行少量獨立抽查，比逐一審核所有輸出更省錢。但這個選擇仍需明確錯誤門檻和責任人。本文不提供通用抽樣比例；後果、業務量和觀察到的波動決定合適比例。

更新之後，證據仍要有效

保留一組未用於調整路由閾值的封存測試集。在更換任一模型或退貨政策之前，重新比較，並檢查哪些案例改變了分組。不能因為失敗暴露後調整了測試，就讓供應商獲得更高分。

採購問題很具體：供應商能否提供獨立評定的結果，分別涵蓋留在低成本模型的任務、被轉交的任務，以及兩個模型都無法完成的任務？路由或許能夠有效分配計算資源，但客戶仍須掌握用於評判這種分配的證據。