Two For The Price Of One: Curvature-Aware Pruning Preserves Influence Functions Too
说明一举两得:曲率感知剪枝也能保留影响函数
简介该论文提出 CACTUS,一种基于 ADMM 的优化器,用于预训练模型权重的剪枝及稀疏加低秩分解,并以曲率感知目标保持稀疏模型与稠密模型的梯度对齐。在 Qwen3-4B 50% 剪枝实验中,CACTUS 将 C4 困惑度与稠密模型的差距缩小 45%,并比 LLM-Surgeon 快 28 倍以上。论文还表明,保留影响函数有助于数据筛选。