Delta N-gram: Forward-Only Continual Writing into a Language Model's Native N-gram Memory
说明Delta N-gram:面向语言模型原生 N-gram 记忆的纯前向持续写入方法
简介这篇论文提出 Delta N-gram,一种只用前向计算、把新知识写入语言模型原生哈希 N-gram 表的方法,原始预训练表保持不变。写入通过一个稀疏补丁实现,由一个小型写入器为每个事件生成目标和门控,并用块平均增量规则更新。实验显示其记忆具有文档特异性,持续写入后较稳定,并指出部分高频格式行的漂移问题。