简
← 全部文章

AlphaEvolve 扩大搜索之后,谁来检验胜出的代码?

并行搜索能加快实验,但可靠收益仍取决于独立验证、可复现实验和有边界的计算预算。

专栏AI前沿作者Open Market Notes类型文章
米白背景上,黑色线条分成多条路径,其中一条红线延伸到装有红色液体的实验烧瓶。

Google Cloud 在 2026 年 11 月 13 日的 SC26 文章中介绍了利用 Cloud Batch 并行评估 AlphaEvolve 候选方案。这不是 AlphaEvolve 的首次发布:Google 已于 7 月 9 日宣布其正式商用。现在值得追问的,不只是能试多少代码,而是什么证据足以让胜出的代码进入生产环境。

以下是 Open Market Notes 的原创分析,并非对该方案的独立性能测试。我们的判断是:搜索规模越大,测试设计就越重要;更多候选方案本身不能证明普遍正确,也不保证提速或降低总成本。

搜索的冠军,不等于上线的答案

设想一个科学计算求解器,团队要求它在满足既定精度的前提下缩短运行时间。如果测试集只有规模较小、容易处理的问题,某种实现就可能表现优异,却在大型输入或边界情形下失效。增加候选数量不会自动修补这种错位,只会让系统更充分地探索测试边界内的改进,包括团队原本不想奖励的捷径。

因此必须区分两个问题:谁在搜索过程中使用的评分体系里表现最好?谁在无法反复窥见的验收条件下仍然可靠?如果把两者合并,基准测试就不再只是量尺,也成为被优化对象的一部分。

可行的安排是让搜索接触开发测试集,另外保留独立的上线验收集。后者应覆盖异常输入、实际问题规模与失败行为,而不是把相似样本再平均一次。在条件允许时,预期结果应来自独立维护的参考实现,或不与候选代码共享关键假设的其他检查。独立并不意味着两组工程师不能交流,而是不能把搜索反复收到反馈的每一道题,最后都包装成未见过的验证证据。

有限测试通过,也不等于所有可能输入都正确。数值软件需要明确的误差容忍范围,调度程序可能有不可违反的可行性约束。违背这些条件的快答案,不是附带瑕疵的小进步,而是没有完成原来的任务。验收标准应先于结果确定,不能为了保住漂亮的分数而事后放松。

可复现的,应当是实验而不只是代码

另一个容易混淆的区别,是复现性能测量与复现整条搜索路径。团队未必能生成完全相同的一系列候选代码,但仍可以证明某个已保存的候选方案,在明确环境下稳定优于基线。反过来,即使保存了完整搜索记录,也不能证明其中最快的一次计时具有代表性。

可靠比较应保留候选及基线代码、输入数据、依赖版本、编译设置和机器配置。在相近条件下交替或重复运行,观察波动,而不是只展示最佳成绩。若提升幅度小于正常噪声,就不足以支持上线收益的结论。复现实验的目的不是让每一个数字绝对相同,而是让另一位工程师能判断差异是否真实、在什么条件下成立。

测量边界也不应停在某个函数。一个计算更快的程序,可能生成更大的中间文件,导致整条流程等待存储的时间变长;另一个版本可能需要更多内存,改变可用机器范围。这些是假设例子,不是对 AlphaEvolve 的缺陷指控。它们说明,上线验收必须看完整工作负载和部署环境,不能直接照搬局部搜索分数。

计算预算也是实验假设的一部分

Batch 文档明确区分了服务与底层资源:Batch 本身不额外收费,执行任务所用资源仍计费。因此,并发实验需要经济验收,不能只做技术验收。

一个朴素的判断框架是:未来每次运行预计节省的成本,乘以真正会采用改进的运行次数,应超过搜索、验证和迁移的成本。这是编辑部提出的决策模型,不是 Google 价格预测或客户回报承诺。它还依赖一个重要假设:新代码在这段时间内仍有用。硬件、软件和工作负载变化,都可能缩短收益持续期。

同一轮搜索,对每天反复执行的稳定任务可能合理,对只计算一次的问题却未必划算。因此应在实验开始前设置停止规则,限制总支出,另留验证预算;当追加搜索已无法带来可信改进,就结束探索。把预算全部用于生产候选代码,最后没有资源验证冠军,恰恰会削弱整次实验的价值。

还应区分运行更快与交付更早。一个更好的实现若需要长期重写接口、重新认证或培训维护人员,技术收益未必能立即转化为业务收益。这些成本不是反对优化的理由,而是决定什么时候采用、在哪些工作负载采用的必要条件。

什么证据才足以支持进步?

有说服力的结果,应当连起三份记录:代码究竟改变了什么,改进如何通过独立验收,以及计入相关成本后,完整流程是否真正受益。上线后也可以保留基线、分阶段扩大使用,让退化可被发现,让采用决定可被撤回,而不是一次性押注。

云端的大规模探索有价值,因为它让工程师能检查过去来不及尝试的替代方案。但实验吞吐量与结论可信度,是两种不同的资源。真正持久的机会,不是用更大的排行榜替代工程判断,而是在扩展搜索的同时,让正确性、测量方法和上线决定保持独立,不参加争夺最高分的比赛。

内容仅供参考,不构成投资、法律、税务或财务建议。