OPTScientist: 多智能体协作发现新型优化器

设计深度学习优化器历来是一项极具挑战的科学任务。研究者需要同时考虑优化几何、状态动力学、数值稳定性、实现约束以及经验泛化能力。过去，自动化优化器发现方法要么在无约束代码空间中搜索，产生大量无效或不可解释的程序；要么局限在窄参数化的优化器家族中，虽稳定但缺乏新颖性。OPTScientist 的提出试图解决这一两难困境。

多智能体协作的发现机制

OPTScientist 的核心在于将优化器设计建模为受约束的科学搜索过程。它定义了一个类型化领域特定语言（DSL），候选更新通过方向、缩放、预处理、正则化、状态和分组等模块来表示。这一设计使得搜索空间既能覆盖广泛的可能性，又能保证每个候选程序在数学和计算上的合法性。

框架由四个角色智能体协作完成：Theorist（理论家）负责提出优化原理和约束；Designer（设计师）根据理论家指导在 DSL 中构建候选优化器；Engineer（工程师）实现并测试候选的数值稳定性和效率；Reviewer（评审员）则评估实验结果并迭代反馈。这种分工不仅模拟了真实科研团队的协作模式，还通过明确的角色边界提升了发现过程的透明度和可解释性。

实验表现与意义

在 Transformer 预训练任务上，OPTScientist 自动发现的优化器不仅保持了训练的稳定性，还取得了与广泛使用的 AdamW 相媲美甚至更优的收敛速度和最终性能。值得注意的是，其中某个发现优化器采用了动态缩放和状态分组策略，此前从未被研究者系统探索过。这证明了该方法在超越人类直觉方面的潜力。

对于 AI 社区而言，OPTScientist 提供了一条新路径：通过结构化搜索和角色分工，在保持可解释性的同时突破优化器设计的创新瓶颈。它与 AutoML-Zero 等无约束搜索方法的区别在于，类型化 DSL 天然过滤了无效程序，大大提高了搜索效率。同时，多智能体协作框架也使得领域知识可以无缝注入，避免纯粹随机搜索的盲目性。

当然，这一框架目前仍处于早期阶段。它的规模化搜索能力、对更广泛模型架构的适用性，以及自动发现的优化器能否真正投入大规模生产训练，都还需要进一步验证。但无论如何，OPTScientist 在自动化科学发现的探索上迈出了坚实一步。

对关注优化器设计的读者，不妨关注其未来对更多任务和模型的扩展。如果能将 DSL 开放给社区，或提供预训练优化器的迁移能力，可能会加速实际应用。当前，这个研究更多是方法论的突破，距离直接替代 AdamW 还有距离——但它确实展示了机器辅助发现的巨大可能性。