Beyond Teacher Assignment: Domain-Normalized Multi-Teacher On-Policy Distillation
説明教師の割り当てを超えて：領域正規化型マルチ教師オンポリシー蒸留
要約強化学習により、一つの言語モデルを数学やコードなど単一スキルに優れた複数の専門モデルへ育てることができますが、利用者は全スキルを備えた一つのモデルを求めています。マルチ教師オンポリシー蒸留（MOPD）は、専門モデルを教師として一つの生徒モデルに指導させる手法です。本研究では、指示従属の教師フィードバックが数学のものより大幅にばらつき、生徒の更新を支配するため、数学の専門性がほとんど移転しないことを示します。提案手法DN-MOPDは、各領域のフィードバックを実測のばらつきで再スケールし、六つの公開ベンチマークで三つのモデル規模すべてにおいてMOPDを上回りました。