Beyond Teacher Assignment: Domain-Normalized Multi-Teacher On-Policy Distillation
说明超越教师分配：域归一化的多教师在线策略蒸馏
简介强化学习能把一个语言模型训练成多个在单项技能上表现出色的专家模型，但用户需要一个同时具备多种技能的模型。多教师在线策略蒸馏（MOPD）让这些专家共同指导一个学生模型，由对应领域的专家对每个词元给出反馈。本文发现该方法的反馈强度不均衡，指令遵循的反馈波动远大于数学反馈并主导学生更新，导致学生模型未能充分吸收数学专家的优势。作者提出域归一化MOPD（DN-MOPD），按各领域反馈的实测离散程度重新缩放，在六个公开基准上于三种模型规模下均优于MOPD。