大規模言語モデルに推論を教える主流の方法が、RLVR（検証可能な報酬による強化学習）だ。最終的な答えだけに点数をつけ、モデル全体を最適化する。
ただしこのフィードバックは非常にスパースだ。推理の途中に十ステップあれば、評価されるのは最後の一つだけ。残りの九つは、正しかったのか誤っていたのか、ほとんど伝わらない。
そこで提案されたのがOPSD（on-policy self-distillation）である。教師モデルが生徒の生成過程に合わせて分布を提示し、トークンごとに密な指導をする。いわば、総合点ではなく一行ずつ添削してくれる仕組みだ。
ところが、新しく公開された論文『DASH: Divergence-Adaptive Supervision Horizons for On-Policy Self-Distillation of Reasoning Models』は、標準のOPSDにも見落としがあると指摘する。
標準OPSDが無視してきた「時間的文脈」
標準OPSDは、各トークンの位置に同じ重みを掛けている。問題が推論のどの段階で起きたのか、そこまでにどれだけ誤差が蓄積しているのかを考慮しない。
自己回帰生成では、これは不自然だ。同じ程度の誤差でも、最初のステップで出るのと十ステップ目で出るのとでは意味が違う。計算の初手でつまずくのは基礎が怪しい証拠で、最終段階のミスは書き間違いかもしれない。局所的な情報だけでは、そうした時間的文脈を読み取れない。
DASHのゲートがやること
DASHは、各トークンの局所的な蒸留信号を、シーケンス全体の平均的なずれと比較する。その差を二つの適応伝播ゲートに変換し、バックプロパゲーションでどれだけ多段階に情報を伝えるかを制御する。
つまり誤差の履歴に応じて、トークンごとの監視重みを動的に変える。標準OPSDの機械的に同じ係数を掛ける部分を、状況に応じて調整できるようにしたわけだ。
しかも、DASHはOPSDがすでに算出した教師と生徒の分布を再利用し、集約の仕方を変えるだけ。追加のフォワード計算は不要だから、計算コストはほぼゼロに等しい。この軽さは、計算資源に余裕のないチームには大きな魅力になる。
実験結果と残された課題
論文は三つの数学推論ベンチマークと三つのモデル規模で比較実験を行い、DASHがすべての組み合わせで再現したOPSDベースラインを上回ったと報告する。劇的な差ではないが、全ケースで勝っている点は評価できる。
しかも比較は「きちんと再現されたバニラOPSD」に対して行われた。弱いベースラインを用意して有利に進めるような真似はしていない。既存手法の再現コストを払った上での全面勝利である。
- コア貢献：トークン重みに時間的文脈を持ち込んだ点。モデル容量は変えない。
- 計算コスト：追加のフォワードパスなし、ほぼゼロで導入できる。
- 検証範囲：3つの数学推論ベンチマーク×3つのモデル規模で一貫。
制約も明確だ。実験は数学推論に集中しており、コード生成や汎用対話での有効性は未検証。論文にも具体的なスコアの絶対値や上昇幅は書かれていない。
ただ、小さな工夫でこれだけの一貫した改善が示せたのは大きい。コードも公開されているので、気になるチームは自分のモデルに載せて追試してみるのがいい。
コメント
コメントはまだありません
最初のコメントを書きましょう