OPTScientist: 多智慧體協作發現新型優化器

設計深度學習優化器歷來是一項極具挑戰的科學任務。研究者需要同時考慮優化幾何、狀態動力學、數值穩定性、實現約束以及經驗泛化能力。過去，自動化優化器發現方法要麼在無約束程式碼空間中搜尋，產生大量無效或不可解釋的程序；要麼侷限在窄引數化的優化器家族中，雖穩定但缺乏新穎性。OPTScientist 的提出試圖解決這一兩難困境。

多智慧體協作的發現機制

OPTScientist 的核心在於將優化器設計建模為受約束的科學搜尋過程。它定義了一個型別化領域特定語言（DSL），候選更新通過方向、縮放、預處理、正則化、狀態和分組等模組來表示。這一設計使得搜尋空間既能覆蓋廣泛的可能性，又能保證每個候選程序在數學和計算上的合法性。

框架由四個角色智慧體協作完成：Theorist（理論家）負責提出優化原理和約束；Designer（設計師）根據理論家指導在 DSL 中構建候選優化器；Engineer（工程師）實現並測試候選的數值穩定性和效率；Reviewer（評審員）則評估實驗結果並迭代反饋。這種分工不僅模擬了真實科研團隊的協作模式，還通過明確的角色邊界提升了發現過程的透明度和可解釋性。

實驗表現與意義

在 Transformer 預訓練任務上，OPTScientist 自動發現的優化器不僅保持了訓練的穩定性，還取得了與廣泛使用的 AdamW 相媲美甚至更優的收斂速度和最終效能。值得注意的是，其中某個發現優化器採用了動態縮放和狀態分組策略，此前從未被研究者系統探索過。這證明了該方法在超越人類直覺方面的潛力。

對於 AI 社羣而言，OPTScientist 提供了一條新路徑：通過結構化搜尋和角色分工，在保持可解釋性的同時突破優化器設計的創新瓶頸。它與 AutoML-Zero 等無約束搜尋方法的區別在於，型別化 DSL 天然過濾了無效程序，大大提高了搜尋效率。同時，多智慧體協作框架也使得領域知識可以無縫注入，避免純粹隨機搜尋的盲目性。

當然，這一框架目前仍處於早期階段。它的規模化搜尋能力、對更廣泛模型架構的適用性，以及自動發現的優化器能否真正投入大規模生產訓練，都還需要進一步驗證。但無論如何，OPTScientist 在自動化科學發現的探索上邁出了堅實一步。

對關注優化器設計的讀者，不妨關注其未來對更多工和模型的擴充套件。如果能將 DSL 開放給社羣，或提供預訓練優化器的遷移能力，可能會加速實際應用。當前，這個研究更多是方法論的突破，距離直接替代 AdamW 還有距離——但它確實展示了機器輔助發現的巨大可能性。