Two For The Price Of One: Curvature-Aware Pruning Preserves Influence Functions Too
説明一石二鳥:曲率を考慮した剪定で影響関数も保持
要約本論文は、事前学習済みモデルの重みの剪定と、スパース+低ランク分解を行うADMMベースの最適化手法CACTUSを提案する。曲率を考慮した目的関数により、疎なモデルと密なモデルの勾配の整合性を保つ。Qwen3-4Bの50%剪定では、C4のパープレキシティ差を45%縮小し、LLM-Surgeonより28倍以上速く動作した。また、影響関数の保持によりデータ選択にも有効であることを示している。