一個編碼器，兩套錯誤成本

原創分析 · 2026年10月16日。

DMIS於10月14日發布的UltraBERT依遮罩方案分離預訓練頭，面向分類與檢索。

對企業真正有用的問題，是哪些錯誤可以承受。搜尋系統納入一份無關文件，會增加工作量；路由系統排除正確目的地，卻可能直接拿走正確回答的機會。即使兩套系統起步於同一模型家族，這兩種成本也不會變得相同。

我們的核心觀點是，整合不應延伸到統一的損失函數，也就是企業衡量一次錯誤價值的規則。共同的技術基礎可以很有吸引力，但不意味著一個平均品質分數就適合作為部署目標。最能說明問題的場景，是分類先決定檢索可以看到什麼。

搜尋之前的錯誤

設想一個客服產品。分類器先判斷請求是否需要技術知識庫，檢索器再為獲准進入的請求選擇候選文件。在這種設計中，分類器是一道閘門，檢索器則負責製作候選清單。閘門可以丟掉一個機會，讓後者根本沒有機會評估。

假設有1,000個請求確實需要該知識庫。閘門放行900個；對這900個，檢索器有90%的機率在候選清單中找到相關文件。整個系統成功處理810個，也就是原始1,000個請求的81%。這些是假設，並非UltraBERT測量結果。計算採用的是已經獲准進入條件下的檢索成功率，不假設兩階段錯誤相互獨立。

現在，保持閘門不變，把這一條件檢索成功率提高到95%，總成功數變成855。作為對比，若放行980個請求，同時保持原先90%的條件檢索成功率，就會得到882次成功。後一種比較假設新增放行請求同樣容易檢索，這可能並不成立。它的目的，是指出必須測量什麼：過去被閘門擋住的請求，到底有多難。

如果團隊只慶祝已放行請求的搜尋品質，就可能忽略這個區別。更嚴格的閘門可能讓系統看起來更乾淨，只因為它不再嘗試困難工作。因此，我們會以所有需要證據的請求為分母，報告成功找到證據的比例，包括上游已拒絕的請求。

為多餘工作和遺漏工作分別定價

Scikit-learn文件說明了不同決策閾值下的精確率與召回率。

我們的經濟分析是，根據放行和排除任務的後果來選擇閘門。一次錯誤放行，可能消耗一次搜尋、一次重新排序和一些審核時間。一次錯誤排除，則可能導致問題未解決、客戶再次聯絡或不必要的升級處理。結論並不是一律放行更多，而是比較邊際成本，不把兩種錯誤都視為同等程度的不良結果。

例如，假設調整閾值會增加200次不必要的搜尋，同時挽回20個原本漏掉的案例。只要挽回一個案例、扣除該案例自身處理成本後的平均淨價值超過一次多餘搜尋增量成本的十倍，便能涵蓋這些搜尋的增量成本。這裡是我們的簡化計算，不是價格預測。新增延遲、誤導性搜尋結果和下游回答錯誤，也都應計入成本比較。

這會影響獎勵機制。基礎設施負責人可能因搜尋次數減少而受獎勵，客服團隊則按解決案例數考核。兩個團隊都可能改善自己的儀表板，整體產品卻變差。共享編碼器應當讓這些相互競爭的目標更容易討論，而不是將它們隱藏在一個模型分數後面。

檢索的邊際價值不同

BEIR研究基準跨不同任務和領域評估檢索。

對我們的客服例子，商業問題更具體：下一階段應該收到多少有用候選？多一個候選，可能補回缺失證據，也可能占用注意力或引入看似合理的干擾。它的價值取決於下游如何使用它。瀏覽清單的分析人員和自動生成答案的系統，未必都適合同樣長度的候選列表。

我們會在這個交接點衡量檢索變化的成本效益。測量新增候選是否真正幫助完成案例，增加了多少審核工作，以及是否擠掉更有用的項目。讓相關文件出現在長清單中的某處，不等於把可用證據放到下一階段實際會檢查的位置。高相似度分數，也不等於企業已經決定採取行動。

這形成了兩個不同的最佳化問題。分類器要判斷的是，開啟一條路徑是否值得付出預期成本；檢索器要判斷的是，哪些新增證據值得傳給下一階段。兩者可以使用相關的表示方式，但運行時的取捨應反映不同後果。沒有普遍理由認為，同樣嚴格的篩選程度會同時適合二者。

測試相互作用，不只測試零件

我們建議用同一批保留作測試的請求檢驗四種配置：舊閘門配舊搜尋、新閘門配舊搜尋、舊閘門配新搜尋，以及兩者都換新。固定底層知識庫。這能分離每項變化帶來的收益，也能發現兩份獨立測試報告可能遺漏的相互影響。

被拒絕的請求也要標註。否則，閘門可能透過刪除恰恰最能判斷其成本的案例，來改善表面效率。把數量少但代價高的類別與常見簡單案例分開追蹤，並保留足夠樣本，避免把一次特殊結果擴大成普遍結論。

共同的基礎還帶來一個問題：弱點會不會重疊？如果閘門和檢索器都漏掉同類語言表達，第二階段就可能很難補救。這是需要測試的假設，並非對這次發布的斷言。應檢查實際失敗的重合情況，而不是認定兩次模型呼叫就提供了兩次獨立機會。

機會在於更好地重複利用工程工作。約束在於，省下一次操作與丟掉一個答案，價值並不相同。企業可以整合模型堆疊，同時為打開搜尋路徑，以及選擇沿這條路徑傳遞的證據，保留各自的錯誤成本預算。