OpenAI 披露模型保护测试,54% 降至 0.2% 说明了什么
这项测试的降幅只覆盖一类受保护推理泄露。生产环境还需分别测量漏放、误拦和复核负担。

11 月 20 日,OpenAI 公开了防止模型被未经授权蒸馏的部分测试结果。公司报告,在一项针对先前对话轮次受保护推理的评估中,平均披露率从 GPT-6 Astra 及其原有防护的 54.0%,降至 GPT-6.2 Astra 及其更新防护的 0.2%。这里的「蒸馏」泛指用一个模型的输出来帮助训练另一个模型;这种技术本身并不等于滥用,也不等于实际发生了训练或完成了模型复制。这组测试衡量的是特定信息是否被披露,而非全部蒸馏风险或生产 API 上的事件频率。 11 月 17 日的 GPT-6.2 系统卡为版本和部署背景提供了补充资料,同样来自 OpenAI,不构成独立验证。
先区分哪些问题有了答案
这组数字说明两个模型与防护的组合在所测条件下差异很大。因为模型和防护都变了,单凭这组比较无法分摊两者的贡献。更有说明力的证据,是在同一模型上比较新旧防护,再用独立样本验证;若同一模型无法重跑,至少应把比较口径和仍无法排除的解释公开说明。评估报告还应标出测试样本数、如何合并结果、如何处理重复样本,以及低频结果所对应的不确定性。没有这些,读者不容易判断 0.2% 是少数测试组合贡献的,还是多个条件下都稳定出现。
平均值也可能掩盖问题的集中位置。假设某个版本仅在长对话中表现较差,总平均仍可能很低;而恰好处理长对话的客户会承受不同的风险。按产品能力、会话长度或语言等业务相关类别公布聚合结果,能让读者看见哪些条件尚未充分测试。对于样本很少的类别,公布「未取得足够证据」比给出精确小数更有用。披露无需公开能够帮助复现滥用的细节;可以说明评估的版本、范围、资金与时间约束,以及评审独立性。
把服务误拦作为第二项结果
较强的防护可能影响合法使用。例如,文档支持系统要从大量工单中归纳客户需求,并按同一格式输出。流程重复很多次并不是违规证据。如果监控把这类流量仅凭重复程度判成异常,最先察觉的往往是正常用户,因为他们得重新提交或改用人工流程。测试需要明确合法工作能否继续完成、误拦的比例,以及纠正所需的时间。也要区分阻止动作、要求人工复核和限制使用的不同影响,避免把所有干预都计作一种成功。
NIST 的 AI 风险管理指南建议记录测试集和测量方法,并针对成本较高的失败单独分析。对应到企业,采购或应用团队可固定一批不含敏感数据的常见工作负载,用旧版和新版分别评估正常任务完成率;风险团队再维护另一组授权的防御评估,跟踪高风险输出是否减少。两组指标应按同一发布周期审查。只看漏放,会漏算误拦给用户带来的成本;只看完成率,又看不到防护是否达标。
生产监控需要另一本账
供应商的测试结果可用于比较版本,不能直接成为企业的生产风险率。线上环境的请求结构、模型版本和配置都会变化。运营团队可以保留经复核的脱敏事件记录,将未经证实的告警和已核实的问题分开,记录影响范围、处理用时与后续结果。若上线后告警增多,还应检查是用户流量增长、监控更敏感,还是已经证实的事件确实变多。数量上升本身不支持其中任意一个结论。
这次结果足以说明一个受控场景中的防护有进展。能否把这个进展继续转化为可靠的服务,有赖于分开确认评估范围、正常使用的影响和运营证据。对需要向客户说明模型管控的团队来说,把版本、证据与未知点写清楚,比照抄一个漂亮的百分比更有用。
资料
内容仅供参考,不构成投资、法律、税务或财务建议。