真實引文只是起點：法律 AI 應以通過實質審查的工作衡量

一份 AI 生成的法律研究備忘錄，可能在研究尚未完成時就顯得十分完整：標題井然有序，措辭肯定，註腳也能開啟真實文件。對選購法律軟體的機構而言，這造成了一個衡量難題。最容易在展示中呈現的品質，未必是讓答案可以實際使用的品質。

Open Market Notes 的判斷是，更合適的價值單位，是圍繞一個明確問題、經過審查的結論。生成更長的備忘錄、檢索更多案件，都可能有用，但前提是它們減少了抵達這項結論所需的工作。如果審查者仍須重建問題、來源與答案之間的每一處聯繫，部分表面上的效率收益就只是轉移到了不太顯眼的環節。

本文是截至 2026 年 10 月 22 日的分析，不是新的產品測試報告。研究依據的歷史日期需要明確：2024 年 5 月 30 日提交的一項預先登錄研究發現，其測試的法律研究系統即使使用檢索增強，仍然存在錯誤。這項歷史結果不能代表現有產品的表現。

引文留下了哪些問題

設想一項研究任務：判斷某份契約通知是否充分。系統找到一份包含相似措辭的真實判決，並將其引文附在確定性的回答後面。文件確實存在，段落也可能引述準確。但審查者仍須判斷，這段文字是否支持備忘錄的命題，以及兩個情境之間的差異是否重要。

例如，相關段落可能是在複述一方的主張，而非說明法院的推理；判決也可能涉及不同的程序問題、不同的契約條款，或一個被備忘錄悄然略去的前提。這些都是假設性的失誤方式，並非針對某個產品的指控。它們說明，驗證文件存在與驗證答案，應當視為不同的任務。

更有效的介面，可以把兩者之間的推理連結呈現出來：在重要命題旁展示支持段落、段落在原文中的作用、生成答案採用的事實假設，以及它與當前問題之間尚未解決的差異。這樣，解釋過程才便於檢查。單一信心分數則可能掩蓋不確定性究竟來自哪裡：尋找文件、理解文件，還是把文件用於當前問題。

權威性又增加了一個維度。採購方應能測試，系統是否區分被當作具有拘束力依據的來源、被當作說服性類比的來源，以及背景解釋材料。何種定位適當，要結合審理機構與具體爭點，不能靠一個通用標籤決定。真正有用的輸出，是明確說明該來源擬承擔什麼角色，並允許合格審查者修正。

版本應與結論一起保留

即使閱讀準確，也需要一個能夠還原的參照點。美國最高法院的官方出版說明指出，意見書從初步發布文本進入《美國判例彙編》的出版過程中，PDF 會更新。

對產品設計而言，這提示我們保留足以還原審查對象的資訊，包括文件版本、相關段落和取得日期。這並不意味著每次出版更新都會改變法律結果。更有限的目標是：如果同事後來發現不同的文字或頁碼，團隊應能確認雙方是否使用同一份材料，而不是圍繞兩個身分不明的副本爭論。

時間範圍也應寫入研究任務。研究當前問題，與研究歷史事件當時適用的規則，可能需要不同的時間截止點。如果系統對兩者都默默採用「最新」，回答的可能已經不是原本的問題。因此，可靠的工作流程應先記錄相關日期，並指出哪些假設仍待專業判斷。

完整的審查對象因而不止一個網址。它包括命題、支持段落、來源角色、時間範圍和審查處置。保存這組資訊，還能讓一次修正惠及一份備忘錄之外的工作：某項假設發生變化後，團隊可以找到依賴它的結論，而不必從頭通讀所有文件。

人工審查需要明確的工作內容

美國律師協會於 2024 年 7 月 29 日發布的第 512 號正式意見，討論律師使用生成式 AI 時包括勝任能力與監督在內的倫理責任。它解釋的是協會示範規則，並非創設全國統一規則。

我們的操作建議，不是給文件貼上「人工已審」標籤，而是明確審查者究竟解決了什麼：是否找到支持材料、接受相關解釋、核對答案與任務是否一致，並記錄剩餘不確定性？這些判斷可以同時完成，但如果只存成一次籠統批准，就很難從錯誤中學習。

一項實用的評估，可以選取範圍明確的任務，讓合格審查者在不知道答案由哪種流程產出的情況下評閱。對照對象應包括通常的研究流程，而不只是另一款 AI。記錄從開始到接受或否決的總耗時、重大修改、未解決問題，以及退回繼續研究的原因。這些是建議採用的衡量方法，不是已經取得的實驗結果。

分母同樣重要。只統計被接受的備忘錄，會隱藏工具未能完成的任務；只計算生成時間，又會忽略審查負擔。有效紀錄應包括拒絕回答和中途放棄的嘗試，並區分它們是幫助團隊辨識了未解決問題，還是單純把整項工作退還給人。

錯誤成本並不平均

假設兩個系統節省的起草時間相近。一個經常附加無關引文，但審查者可以立即刪去；另一個很少犯錯，卻偶爾改變問題範圍，而且沒有明顯提示。單看平均正確率，採購方未必知道哪一種流程使用成本更低、風險更可控。第二種錯誤可能需要更多調查才能發現和修復。

因此，我們建議用總投入所換來的已審查成果衡量商業價值，同時單獨分析後果嚴重的錯誤，避免把它們平均掉。總投入包括尋找證據、核查解釋、解決不確定性，以及修復已經分享出去的工作，也應包括學習工具的時間。熟練操作員完成的展示，不能單獨證明整個團隊的使用表現。

一種合理的反對意見是：嚴格審查可能抵銷 AI 原本承諾的節省。這值得實測。探索性研究中，能夠提供候選方向的工具，即使文字尚不能直接使用，也可能有價值。團隊可以評估這個較窄角色，而不必要求產品扮演獨立撰寫備忘錄的角色。用途不同，驗收條件也應不同。

採購能夠被追問的工作流程

更有辨識力的採購測試，應讓供應商完成代表性任務，並展示失敗的嘗試。採購方應觀察，審查者能否方便地質疑解釋、找回原文，並在不遺失其他工作的情況下修改假設。一個結論較少、但邊界清楚的系統，可能比總能給出漂亮答案的系統更適合這個流程。

本文引用的來源，都不能證明某款產品現在達到或未達到上述標準。歷史研究、專業意見和法院出版流程，只提供有限的事實參照。評估設計與商業含義屬於我們的分析，仍須用採購方自己的任務來檢驗。

法律 AI 的投入價值，取決於它能產出多少被接受的研究，同時不讓驗證工作變得不成比例地困難。真實引文是許多任務的必要起點。更有區分力的測試，是合格人員能否以更少的總工作量理解、質疑，並最終對結論負責。本文討論軟體評估，不構成具體法律事項的建議。