RubricForge: 自動生成評估規則，減少AI智慧體虛假高評價

用大模型當裁判，在智慧體評測裡已經是常態。環境獎勵訊號貴、慢、部署時拿不到，於是人們讓第二個大模型打分。問題在於，這種無獎勵的代理裁判往往會被「流暢但不成功」的軌跡騙過去，給出過高評價。論文團隊把這個問題叫做 over-crediting，也就是虛假好評。

從手工規則到自動歸納

現有的自動裁判有兩種路子：要麼像 G-Eval 那樣手工寫評分細則，要麼微調裁判模型的權重。兩者都有短板——手工規則跟不上任務變化，微調權重則讓評判過程變成一個黑盒。RubricForge 換了個思路：不手寫規則，也不用調權重，而是根據少量帶真實標籤的軌跡自動歸納出評判細則。這些細則完全是文字形式，人類可讀，每一次打分都能追溯到具體的評判條目。

具體流程分三步：用反射進化在標註軌跡上迭代優化規則，目標是讓規則與真實環境獎勵的一致性最大化；然後凍結這條規則；最後在留出軌跡上只用一次模型呼叫完成評判，全程不碰環境獎勵。整個優化產物是一段可讀文字，這帶來一個額外好處：任何一條評判結果都可以歸因到具體條目，不像微調模型那樣說不清道不明。

兩個基準任務的實測表現

論文用了一個凍結的 7B 模型同時充當智慧體和裁判，在 tau-bench（從 220 條回滾中取 173 條帶標籤軌跡）和 WebShop（160 條）上做了對照。結果有點意思：RubricForge 的主要提升是「忠誠度」而非整體一致率。它的邊緣優勢在統計上並不顯著，絕對分數校準還略輸泛 G-Eval 裁判，但在最關鍵的一項指標上明顯勝出：虛假通過率在 tau-bench 上從 0.173 降到 0.115，幾乎砍半。

作者認為，在無獎勵測評裡，虛假通過率比總一致率更關鍵——因為一個虛假通過會讓有問題的智慧體上線，而虛假失敗最多隻是重試一次。

另外，在 WebShop 分級結果的排序相關性上，RubricForge 也略高（Spearman 0.410 對 0.370）。實驗中還出現了三次「抓住本來會被放過的失敗案例」，並且沒有發生一次反向誤傷。

這研究對誰有意義

• 做智慧體評測的團隊：如果被 G-Eval 這類手工規則的不穩定性困擾，這提供了一種低成本自動生成規則的方式。
• 重視可解釋性的合規場景：評判規則和結果都可追溯，便於審計。
• 依賴單一裁判模型的部署方：用一個小模型既能做智慧體又能當裁判，省去額外獎勵計算。

當然，侷限也很明顯。目前實驗規模有限，且作者明確提到與泛化模型的差距在統計上不顯著。官方公開的技術細節有限，更多架構差異還得等完整論文。

幾點實用參考

對打算復現或借鑑的人，有幾個要點：第一，RubricForge 的核心價值在降低過度好評率，而非提升普通打分一致性，評價它時別盯錯指標；第二，它輸出的規則是文字，意味著你可以直接檢查裁判到底在按什麼標準打分；第三，使用時注意基礎模型的選擇，7B 模型的表現在不同任務上未必穩定。

總體來說，這更像一次方向驗證：讓評估規則從真實反饋裡「長出來」，比在權重裡調來調去更可控。後續若能在更多工和更大模型上確認穩定的收益，有望成為自動評測基建裡一個可靠的新選項。