反詐AI需要一份注意力預算

Gemma反詐功能仍待推出。 下一階段值得追問的是：保護系統要求使用者投入多少注意力，又能帶來什麼回報。下文是我們提出的評估框架，並非模型實測結果。

先看分母

假設一項測試包含10,000段對話，其中100段屬於詐騙。若偵測器識別出90%的詐騙，同時誤報1%的正常對話，就會產生90次正確警報和99次誤報。在全部189次警報中，真正識別詐騙的比例約為47.6%，另有10段詐騙對話漏過偵測。

這些數字僅用於示範，不代表Gemma或任何已部署服務的表現。它們說明，識別率較高，本身並不能告訴使用者一則警報有多可信。測試族群中的詐騙占比同樣重要。已經被使用者懷疑的訊息集合與日常收件匣，即使使用錯誤率相同的偵測器，也可能產生截然不同的體驗。

由此產生的是注意力預算。每次不必要的打斷都會消耗時間，也可能讓下一次警報更容易被忽略。反過來，過度壓低警報數量，又可能讓危險對話得不到質疑。可信的評估需要同時展示兩種代價，而不是挑選更好看的指標。

拆開不同決策

現有ScamShield文件提供了一個獨立參照。其查詢功能無需開啟電話攔截或簡訊過濾權限；其通報說明稱，高機率詐騙或垃圾、推廣內容對應的傳送者會被自動通報。這些文件描述的是現有ScamShield功能，不能據此認定其他模型整合的實作方式。

由此可提出一個分析原則：檢查、警告、通報和攔截，應有各自的決策規則。使用者或許願意收到私下的暫停提示，但在資訊被提交、或某個傳送者無法再聯絡自己之前，希望看到更清楚的解釋。將所有步驟合併為一個保護開關，會使效果評估和授權含義都更難辨認。

因此，產品測試應分別回答四個問題：檢查了什麼，展示了什麼，哪些資訊離開了裝置，以及什麼操作改變了對話狀態。每個答案都需要獨立紀錄。警報總數無法同時回答這四個問題。

衡量干預本身

第一組有用的指標，應在明確分母後，列出正確警報、誤報和漏報。結果還應按語言和場景拆分；樣本較小時，應展示不確定性。評估者也要說明，一段長對話何時算作一個事件，避免重複提示抬高表面上的保護效果。

第二組指標應追蹤警報之後發生了什麼：使用者是否理解提示？是否暫停足夠長的時間，以便獨立核實？能否關閉錯誤警報，繼續正常交流？這些是建議的測試問題，並非已公布的功能，也不是對該模型已知缺陷的描述。

尤其需要區分的是，識別出詐騙與避免損失屬於不同結果。要把避免的損失歸因於某項功能，需要證明如果沒有干預，本來會發生什麼。僅靠警報數量無法構建這個反事實。裝置沒有發出警報，也不應被解釋為所有對話都安全。

讓證據蒐集保持適度

效果評估不必以蒐集所有私人對話為前提。範圍明確的測試，可以結合經同意審查的樣本、清楚標註的合成場景，以及保護隱私的彙總指標。同時必須保留其局限：單靠實驗室測試，不能證明真實世界中的損失已經減少。

近期更值得觀察的節點，是一份說明干預如何值得使用者付出注意力的公開報告：適用族群、錯誤之間的取捨、行動邊界，以及衡量收益的方法。這樣的證據，會讓下一次部署公告比單純增加訊息掃描數量更有資訊價值。