AI試點的對照組，真的沒有受到AI影響嗎？

一個沒有AI帳號的員工，仍然可能在被AI改變的工作環境中工作。同事可能交來更完整的資料，提出更多審批請求，也可能留下額外材料等待核查。企業評估代理試點時，使用者與非使用者之間的差異，因此需要謹慎解釋。是否獲得工具，與是否受到工具影響，並不是同一條邊界。

微軟研究院與卡內基梅隆大學的研討會定於2026年10月22日至23日舉行，會後計畫公開綜合報告。這是評估議題的討論，並非已經發布的標準。本文關心的是一個採購問題：如何區分帳號持有者效率提高，與為這些帳號付費的組織效率提高？

先看誰的工作發生了變化

設想一個虛構的供應商加入團隊。部分員工獲得代理，用來整理文件、準備複核材料，其他員工繼續使用原有工具。兩組人的材料都交給同一批專家。企業比較準備時間，發現代理使用者更早提交。這是一個有用的環節性發現，但尚不能證明獲批供應商紀錄的產出發生了怎樣的變化。

之後至少有兩條可能路徑。更規範的材料可能節省專家時間，使兩組案件都受益；更快的準備也可能帶來更多澄清請求，增加專家的工作。兩種結果都不能預先假定。在這個例子中，從未打開代理的人，也是其價值得以實現或被抵消的機制的一部分。

J-PAL的資料分析指南解釋，未接受介入的人仍受到影響，就可能出現外溢效應，使效果估計產生偏差。上述職場例子是本文對這一方法問題的應用，不是J-PAL或任何AI供應商公布的實測結果。

因此，部署紀錄應區分帳號持有者、AI輔助成果的接收者，以及最終業務結果的負責人。三個角色可能不是同一個人。若把採購名單當作全部受影響員工的地圖，就可能漏掉決定準備時間能否轉化為有效產能的那部分工作。

差距變小，可能不只有一種解釋

仍在這個假設案例中，假如專家利用更清楚的材料改進了共同範本，非使用者也開始提交更好的材料。兩組差距可能縮小，但有用的知識實際上已經擴散。此時把差距小直接解釋為代理價值有限，可能過早。反過來，較大差距也可能部分來自試點參與者獲得了特殊支持，而其他人仍在處理較難的剩餘事項。

這些是競爭性解釋，不是對某項部署的診斷。評估需要保留足夠的營運背景，才能區分它們：範本改了什麼、誰接受了輔導、案件如何在人之間轉移，以及複核職責是否重新分配。缺少這些紀錄，一個很精確的數字，也可能回答了管理者沒有意識到的另一個問題。

對積極自願參加的人，也需要同樣謹慎。他們的經歷可以顯示有動力的員工在獲得支持時能做到什麼，卻不能自動說明整個部門日常使用時會怎樣。參與意願、實際使用，以及接觸同事產出的程度，應分開描述，不宜壓縮成一個「採用率」。

圍繞決策選擇比較方式

J-PAL的隨機分派資源指出，按群組分派可以應對群組內的外溢，但在其他條件相同時，要達到相近的統計檢定力，需要更大的樣本。這是一項設計取捨，不是自動解決所有問題的辦法。

對假設中的採購方，首先應畫出真實的工作聯繫。如果不同營運單元各有自己的複核人員，按單元開展試點，可能比逐個帳號比較更適合回答全單元採購的問題。如果所有單元仍依賴一個中央團隊，組織架構圖就沒有創造獨立邊界。僅僅把部門重新命名為實驗組，並不能消除共同受到的影響。

採購決策還決定什麼屬於「介入」。如果上線同時包含新範本、培訓與審批流程調整，企業完全可以關心這一整套方案是否有效，但結果就應描述為組合方案的效果，而不應全部歸功於模型。要單獨回答代理帶來的增量，需要能夠真正分開這些變化的比較。

這不是一套可直接套用的統計方案。獨立營運單元很少的組織，可能無法獲得精確的因果估計。有限的營運試點仍能揭示工作轉移和實施問題；報告應說明觀察到了什麼、什麼尚未識別，而不是因為少數緊密相連的團隊處理了大量紀錄，就製造確定性。

記錄結果，也保留中間的人

普林斯頓SAgE的趨勢綜述區分能力、人機互動與系統影響三個評估層次，一個層次的證據不能自動證明另一個層次的結果。本文於2026年10月23日查閱該頁面。

本文建議在業務判斷中保留兩幅相互關聯的圖景。一幅追蹤可用成果，例如在品質要求不變的前提下獲接納的供應商紀錄；另一幅追蹤人工投入，包括準備、澄清、複核和更正，也包括帳號持有者之外的人。相同總投入產生更多有效紀錄，與產出不變卻把工作轉給未被統計的專家，含義顯然不同。

數量旁邊必須保留品質。如果試點接受更薄弱的證據，或把核查推遲，更高處理量可能來自驗收規則變化；如果它提高完整性、減少後續更正，收益又可能在初始觀察期間結束後才出現。採購方應預先決定哪些後果能夠繼續觀察，並說明期間的邊界。短期試用無法解決長期可靠性的主張。

也不能把每一分鐘新增投入都當成浪費。專家花得更久，可能是代理發現了一個過去未被注意到的真實問題。應問額外工作是否服務於有價值的目的，而不是要求人工參與永遠下降。單看總時長解釋不了的差異，可以透過檢查具體案件來理解。

採購結論應停留在證據支持的層次

一份可信的試點報告，可以得出這樣的結論：參與者的準備變快了，複核人員的工作負擔出現某種變化，但最終產出的效果仍不確定。這比把三件事合併為一個生產力標題，更適合支持分階段決策，因為它指出了下一輪試驗究竟需要解決什麼。

不同角色之間的分歧也應保留。使用者回饋積極與複核團隊承壓，並不互相矛盾，它們可能描述同一流程的不同部分。只聽有帳號的人，會獎勵容易展示的收益，卻把轉移的成本留給沒有選擇這項工具的人。

代理部署的價值，最終取決於它改變的工作系統。相關比較不只是「誰有登入權限」，而是在可信的替代安排下，相互關聯的員工與業務成果本來會怎樣。建立這種比較，比統計活躍帳號更費心，但能讓最終的採購主張清楚得多。