繁
← 全部文章

AlphaEvolve 擴大搜尋之後,誰來檢驗勝出的程式碼?

平行搜尋能加快實驗,但可靠效益仍取決於獨立驗證、可重現實驗和有邊界的運算預算。

專欄AI前沿作者Open Market Notes類型文章
米白背景上,黑色線條分成多條路徑,其中一條紅線延伸到裝有紅色液體的實驗燒瓶。

Google Cloud 在 2026 年 11 月 13 日的 SC26 文章中介紹了利用 Cloud Batch 平行評估 AlphaEvolve 候選方案。這不是 AlphaEvolve 的首次發布:Google 已於 7 月 9 日宣布其正式商用。現在值得追問的,不只是能試多少程式碼,而是什麼證據足以讓勝出的程式碼進入正式環境。

以下是 Open Market Notes 的原創分析,並非對該方案的獨立效能測試。我們的判斷是:搜尋規模越大,測試設計就越重要;更多候選方案本身不能證明普遍正確,也不保證加速或降低總成本。

搜尋的冠軍,不等於上線的答案

設想一個科學運算求解器,團隊要求它在滿足既定精度的前提下縮短執行時間。如果測試集只有規模較小、容易處理的問題,某種實作就可能表現優異,卻在大型輸入或邊界情況下失效。增加候選數量不會自動修補這種錯位,只會讓系統更充分地探索測試邊界內的改進,包括團隊原本不想獎勵的捷徑。

因此必須區分兩個問題:誰在搜尋過程使用的評分體系裡表現最好?誰在無法反覆窺見的驗收條件下仍然可靠?若把兩者合併,基準測試就不再只是量尺,也成為被最佳化對象的一部分。

可行的安排是讓搜尋接觸開發測試集,另外保留獨立的上線驗收集。後者應涵蓋異常輸入、實際問題規模與失敗行為,而不是把相似樣本再平均一次。在條件允許時,預期結果應來自獨立維護的參考實作,或不與候選程式碼共享關鍵假設的其他檢查。獨立並不意味兩組工程師不能交流,而是不能把搜尋反覆收到回饋的每一道題,最後都包裝成未見過的驗證證據。

有限測試通過,也不等於所有可能輸入都正確。數值軟體需要明確的誤差容忍範圍,排程程式可能有不可違反的可行性約束。違背這些條件的快答案,不是附帶瑕疵的小進步,而是沒有完成原來的任務。驗收標準應先於結果確定,不能為了保住漂亮的分數而事後放寬。

可重現的,應當是實驗而不只是程式碼

另一個容易混淆的區別,是重現效能測量與重現整條搜尋路徑。團隊未必能產生完全相同的一系列候選程式碼,但仍可以證明某個已保存的方案,在明確環境下穩定優於基準版本。反過來,即使保存了完整搜尋記錄,也不能證明其中最快的一次計時具有代表性。

可靠比較應保留候選及基準程式碼、輸入資料、相依套件版本、編譯設定和機器組態。在相近條件下交替或重複執行,觀察波動,而不是只展示最佳成績。若提升幅度小於正常雜訊,就不足以支持上線效益的結論。重現實驗的目的不是讓每一個數字絕對相同,而是讓另一位工程師能判斷差異是否真實、在什麼條件下成立。

測量邊界也不應停在某個函式。一個計算更快的程式,可能產生更大的中間檔案,導致整條流程等待儲存的時間變長;另一個版本可能需要更多記憶體,改變可用機器範圍。這些是假設例子,不是對 AlphaEvolve 的缺陷指控。它們說明,上線驗收必須看完整工作負載和部署環境,不能直接照搬局部搜尋分數。

運算預算也是實驗假設的一部分

Batch 文件明確區分了服務與底層資源:Batch 本身不額外收費,執行工作所用資源仍計費。因此,平行實驗需要經濟驗收,不能只做技術驗收。

一個樸素的判斷框架是:未來每次執行預計節省的成本,乘以真正會採用改進的執行次數,應超過搜尋、驗證和遷移的成本。這是編輯部提出的決策模型,不是 Google 價格預測或客戶報酬承諾。它還依賴一個重要假設:新程式碼在這段時間內仍有用。硬體、軟體和工作負載變化,都可能縮短效益持續期。

同一輪搜尋,對每天反覆執行的穩定工作可能合理,對只計算一次的問題卻未必划算。因此應在實驗開始前設定停止規則,限制總支出,另留驗證預算;當追加搜尋已無法帶來可信改進,就結束探索。把預算全部用於產生候選程式碼,最後沒有資源驗證冠軍,恰恰會削弱整次實驗的價值。

還應區分執行更快與交付更早。一個更好的實作若需要長期重寫介面、重新認證或訓練維護人員,技術效益未必能立即轉化為業務效益。這些成本不是反對最佳化的理由,而是決定什麼時候採用、在哪些工作負載採用的必要條件。

什麼證據才足以支持進步?

有說服力的結果,應當連起三份記錄:程式碼究竟改變了什麼,改進如何通過獨立驗收,以及計入相關成本後,完整流程是否真正受益。上線後也可以保留基準版本、分階段擴大使用,讓退化可被發現,讓採用決定可被撤回,而不是一次性押注。

雲端的大規模探索有價值,因為它讓工程師能檢查過去來不及嘗試的替代方案。但實驗吞吐量與結論可信度,是兩種不同的資源。真正持久的機會,不是用更大的排行榜替代工程判斷,而是在擴展搜尋的同時,讓正確性、測量方法和上線決定保持獨立,不參加爭奪最高分的比賽。

內容僅供參考,不構成投資、法律、稅務或財務建議。