ChatGPT 變慢之後,OpenAI 如何用 Codex 核實修復
OpenAI 公開由 Codex 協助的效能調查流程。它的價值取決於能否縮短使用者真正受影響的時間。

11 月 19 日,OpenAI 公開內部系統 Performance Factory。Codex 接到效能警示後調查並提出修正,工程師審查變更;部署後,再由另一個代理確認是否回到基線。OpenAI 表示,第一條工作流程在三個多月追蹤超過 1,700 次調查,為超過 600 宗找到原因。這是運作規模,並不是修復次數,也不是 ChatGPT 整體加快的幅度。有參考價值之處在於,完成的條件是正式環境的數據證明已恢復,而非有人送出程式碼。
先釐清使用者在等什麼
同樣是回答慢,可能指的是畫面一直沒有第一段文字,也可能是等不到整個回答結束。前者可能受請求排隊、模型第一次輸出或介面更新影響,後者還取決於回答長度及中途呼叫的工具。假設一次調整讓文字早半秒出現,卻使必須使用工具的長回答晚一點才結束。只觀察首段文字會判定調整成功,部分用戶仍可能覺得變慢。這個例子並非 OpenAI 的實測,而是說明指標應對應使用感受。
還要看是哪一群使用者。整體中位數不變,可能是桌面及部分行動用戶一切正常,特定地區或某類對話卻受到嚴重影響。Google 的站點可靠性工程教材建議用延遲分布和較高百分位觀察慢請求。比較前後時,若短回答或輕量模型在流量中的占比增加,整體百分位也可能改善,原先受影響的群體不一定恢復。至少要固定場景、觀察區間及流量組合,再查看問題是否消退。
找到時間上的巧合,不等於找到成因
異常和部署同時出現,是值得追查的線索,還不足以判定因果。較可靠的方法,是讓前後版本處理可比較的流量,按階段計時,找出時間究竟消耗在哪。例如用經過去識別化的同類請求重現,單獨改變一個服務設定,檢查等待是否跟著改變。若無法重現,可參考未受改動影響的流量,以排除外部負載。代理可以先把線索整理到工單裡,工程師仍須檢查比較條件及其他解釋。
用於調查的樣本也不等於完整使用者群。依 OpenTelemetry 文件,團隊可優先保留延遲長或出錯的請求軌跡,便於定位;這類特別挑選的軌跡不能直接用來算整體問題比例。警示指出趨勢變動,軌跡有助於定位環節,具代表性的正式環境指標才能回答有多少用戶受影響、部署後有無恢復。讓同一批資料身兼三職,容易誤把取樣規則變動認成效能提升。
審查修正,也審查恢復條件
低風險變更可先在小比例流量部署,確認相同場景有收益,再同時追蹤失敗率、資源用量及使用者可見的問題。一項修正若透過少讀取一次來縮短等待,還應確認結果不會變舊、必要檢查沒有跳過、成本沒有轉移到另一個服務。指標如果互相衝突,負責人可暫停擴大部署、保留回復方式,按約定的觀察區間決定是否關閉事件。這些判斷涉及影響和權限,遠超過程式碼能不能編譯。
衡量流程價值時,可以比較從警示到初步診斷、到部署,再到確認恢復的各段時間;還要計入誤報、重開工單和工程師審查的工時。若代理調查得快,卻累積更多欠缺證據的變更,瓶頸只是換了位置。現有的公開資料不足以算出淨收益,但給出一種可實行的設計。可先選擇反覆發生、能重現及復原的一種效能問題,比一開始涵蓋所有警示,更容易看清楚自動化究竟節省了哪些工作。
資料
內容僅供參考,不構成投資、法律、稅務或財務建議。