简
← 全部文章

ChatGPT 变慢以后,OpenAI 如何用 Codex 核实修复

OpenAI 公开了一套由 Codex 参与的性能排查流程。评估这套系统,关键是看它能否缩短用户实际受影响的时间。

专栏AI前沿作者Open Market Notes类型文章
两条延迟曲线在一处明显分叉,旁边是一只手绘秒表。

11 月 19 日,OpenAI 公开了内部系统 Performance Factory。它用 Codex 接收性能告警、调查异常并提出修复,工程师审查改动,部署后再由另一个代理检查表现是否回到基线。OpenAI 称,首个工作流程在三个多月里记录了逾 1,700 次调查,并为逾 600 起找到原因。数量说明已有实际工作流在运行,但不是修复次数,更不表示 ChatGPT 的整体响应速度提高了多少。案例真正值得借鉴的是,它把能否确认恢复留给了生产数据,而没有用提交一段代码作为结束标志。

先确定用户在等哪一步

同样是“回答慢”,可能是在等待聊天页面出现第一段内容,也可能是在等答案结束。两段时间受不同因素影响:前者可以受请求排队、模型第一次输出和界面更新影响,后者还取决于回答长度和中途调用的工具。假设一个优化让正文早出现半秒,却让工具返回后的长答案更久才完成。只测前者会判定改动成功,部分用户仍然会感到更慢。这不是 OpenAI 公布的实测结果,而是说明指标为何必须对应具体体验。

同时也要问清楚谁受影响。整体中位数基本没变,可能是因为桌面和一部分移动用户响应正常,某个网络地区或某类会话却出现严重延迟。谷歌的站点可靠性工程教材建议用延迟分布和高分位观察这类慢请求。这里也有陷阱:如果请求越来越多地转向短答案或轻量模型,整体分位数可能自然改善;原来出问题的场景并未变化。比较修复前后,至少应固定场景、观察窗口和流量组成,再看对应人群的异常是否收敛。

一条可信线索,需要另一份证据

异常与新部署同一分钟出现,是很有价值的线索,尚不足以确认原因。更可靠的做法是用发布前后的版本处理可比较的流量,再结合分阶段计时检查问题究竟发生在哪。比如在测试里重放经脱敏的同类请求,同时改变一个服务配置,观察等待时间是否跟着变化;无法重放时,也可用不受改动影响的流量作参照,评估是否碰上外部负载变化。代理可以较快把线索集中到同一张工单,工程师仍需确认比较是否成立,及替代解释是否已经排除。

调查所用的样本也不等于全量用户。根据 OpenTelemetry 的说明,团队可以优先保留耗时长或出错的请求轨迹,用于定位问题;经这样选择的轨迹不适合直接计算整体故障比例。工作流越自动化,越需要区分证据用途:告警告诉团队有变化,轨迹帮助定位发生在哪个环节,具有代表性的生产指标才回答有多少用户受影响、部署后有没有恢复。让同一份数据同时承担三个职责,很容易把采样策略的变化认成性能变化。

审查的不只是补丁,也要看恢复条件

风险低的性能修复可以先对少量流量放量观察。收益要在同类流量中再次出现,并同时跟踪失败率、资源用量和用户可见的异常。假设减少一次后台读取可以缩短等待,工程审查还应检查它是否会展示过期结果、避开必要的校验,或把开销转移到别的服务。若指标有冲突,负责人可以暂停扩大流量,保留回退路径,并以原先约定的观察窗口决定是否结束事件。审查的实质是判断代价与权限,不只是确认代码能编译。

要评估这套流程的价值,可以追踪从告警到初步诊断、到上线、再到确认恢复的时间,并和既有工作方式比较。还应计入误报、重开工单以及工程师审查被占用的时间。如果代理让调查更快,却让工程师面对更多没有把握的变更,瓶颈只是转移。公开报告目前不足以量化这些净收益;它说明的是一种可行的分工。对其他团队来说,先选一种反复发生、可复查也可回退的性能问题,往往比一开始就覆盖全部告警更容易检验自动化到底节省了什么。

资料

内容仅供参考,不构成投资、法律、税务或财务建议。