Delta N-gram: Forward-Only Continual Writing into a Language Model's Native N-gram Memory
説明Delta N-gram:言語モデル固有の N-gram メモリへの順伝播のみによる継続書き込み手法
要約本論文は Delta N-gram を提案します。これは逆伝播を使わず、言語モデル固有のハッシュ N-gram テーブルへ順伝播のみで情報を書き込む方法です。事前学習済みテーブルは変更されず、疎なパッチに書き込みが蓄積されます。実験では書き込まれた記憶が文書固有であり、連続書き込み後も比較的安定していることが示され、一部の格式行における漂移の問題も報告されています。