繁
← 全部文章

AI壓縮檢索證據時,怎樣保留會改變結論的條件

上下文壓縮需要檢驗遺漏的依賴關係與衝突證據,不能只看片段的相關性。

專欄AI前沿作者Open Market Notes類型文章
米白背景上,黑色手繪文件收攏為答案卡,一條紅色條件註記仍透過細線與卡片相連。

企業檢索系統可以交出一段高度相關的文字,卻沒有交出正確使用它所需的資訊。某句話單獨看足以回答問題,放進後來的修訂、另一份文件裡的定義或尚未解決的衝突中,就可能不再適用。隨著檢索系統承擔越來越多的篩選工作,決定模型能看到什麼,這種差別需要獨立的工程處理。

直接的新聞背景是Cohere於2026年10月21日發布Rerank 5,其可選Context Focus功能回傳文件中的相關片段。本文討論的範圍超出這款產品,我們沒有對它進行獨立測試。以下分析關注的是:系統怎樣判斷選出的上下文足以支持某個具體決定,而不把相關性分數當作充分性的保證。

一段證據可能依賴另一段證據

設想一個假設性的設備維護助手。一份文件介紹校準流程,後來發布的技術通告限定它只適用於較早的硬體版本,零組件登記表則說明現場設備安裝了哪個版本。技術人員詢問應該採用哪套流程。三份紀錄各有作用:流程給出操作內容,通告改變適用範圍,登記表把條件與具體設備連接起來。

把流程文件排在首位完全可能是合理的。但如果只保留其中最直接回應問題的段落,決策仍然可能缺少條件。關鍵單位是紀錄之間的關係。單獨比較措辭時,硬體登記表可能沒有幾份詳細流程文件那麼像使用者的問題;只有檢查流程的適用條件時,它的重要性才顯現。

這個假設並不證明某個檢索器存在缺陷。它說明檢索目標與決策目標可能分離:擅長挑出討論某個主題的文字,還需要額外機制發現結論依賴一個尚未解決的條件。增加回傳片段數量或許有用,卻不能保證必要的關係已經恢復。

先界定什麼叫證據足夠

對於範圍明確的業務流程,可以先列明回答前必須解決的問題。在上述例子中,包括設備身分、文件適用範圍,以及新指令是否取代舊指令。檢索隨後尋找這些依賴關係的證據,而不只是收集更多關於校準的文字。

這種設計必須與任務相稱。查找一個文件標題,不應承受與選擇現場操作流程相同的證據負擔。如果每次搜尋都啟動窮盡式依賴檢查,系統會變慢,甚至妨礙使用。合理邊界取決於答案的後果,以及在已界定任務內,哪些條件確實可能改變答案。

系統也無法對自己無權存取的資訊證明完整性。「已檢查的紀錄支持這個答案」與「所有相關紀錄都已經檢查」應當區分。後者要求對文件集合、涵蓋範圍和版本狀態有可信說明。一份無法存取的通告或尚未建立索引的登記表,不會因為生成的解釋很自信就失去相關性。當這種缺口影響結論時,指出未解決的依賴,比給出流暢的最終操作指令更有用。

檢驗條件變化是否真正改變答案

一種實際評測方法是構造成對案例:保持使用者問題與大部分文件不變,只改變一個經過核實的適用條件。一例中流程仍適用,另一例中版本限制使它不適用。評審者檢查系統是否找到了改變的證據,以及結論是否因為正確的理由而改變。

也應加入不應影響結論的變化。例如,調整段落順序、插入看起來相關但不具約束作用的說明,或增加同一流程的副本,都不應自動逆轉答案。否則,系統看似對關鍵條件敏感,實際上可能只是對表面差異敏感。領域評審者需要先確定預期結果,再評價生成答案。

這裡有一個歷史研究提供的提醒:《Lost in the Middle》最初提交於2023年7月6日,發現證據位置會影響所測試模型與任務的表現。這不是對今天部署系統的結論,而是提示團隊測試自身的排序方式,不要假定恢復更長上下文就能解決所有遺漏。

評測還應保留中間證據:哪些文件進入候選集,哪些片段被保留,最終哪些內容交給回答模型。如果關鍵通告根本沒有進入候選集,只修改最後的提示詞無法解決整個問題。如果它已經被選中卻遭模型忽略,單純擴大檢索涵蓋也可能浪費精力。區分這些階段,才能使修正工作更準確。

為衝突留出上下文空間

另一類重要情況是,兩份看起來都適用的紀錄相互矛盾。選擇表述最清楚或重複次數最多的一方,可能把衝突隱藏起來。舊流程的多個副本不應悄悄壓過一份具有約束作用的新修訂;反過來,看起來更新的文件也不能在缺少適用範圍與效力證據時自動優先。

對於後果較重的流程,為未解決衝突及解釋它所需的中繼資料保留空間,是一種有理由的設計選擇。簡短回答可以說明哪個條件尚未確定,並把兩份紀錄都交給評審者。這可能比只交出精簡片段消耗更多上下文,卻保留了為什麼現在還不能給最終答案的理由。

最初於2023年9月26日提交的Ragas論文把檢索、忠實使用上下文和答案品質區分為評測維度。本文進一步提出的判斷是,忠實於選中的文字,本身無法證明選擇已經充分。完全忠實的回答仍可能繼承上游遺漏。前述成對案例是檢查這種獨立弱點的一種辦法,不是已經得到普遍驗證的完整評測方法。

讓壓縮保留可逆的邊界

當無關材料占用資源或干擾任務時,縮短上下文仍有合理的商業價值。相應的保護措施可以是有選擇地展開:已知依賴無法解決時,在現有權限內檢索關聯紀錄、擴大引用片段,或轉交評審。系統需要保留足以重新連接原文及版本的識別資訊。

這樣,部署問題就不只剩「壓縮平均有沒有用」,還包括:在哪些任務類別裡,系統能夠識別自己的證據不足?團隊可以檢查未解決案例、不必要的轉交,以及沒有觸發提醒就通過的錯誤。這些結果能夠呈現常規回答效率與處理歧義代價之間的取捨。

這種方法不能提供通用的完整性證明。未知依賴和不完整的文件清單仍是限制。但把限制顯露出來,會改變壓縮的角色:它成為可以調整、可以回到原始紀錄的證據表示,而不是一次不可逆的篩選,永久決定答案被允許考慮什麼。

內容僅供參考,不構成投資、法律、稅務或財務建議。