Where and Why Search-Augmented LLMs Fail When Reasoning over Rapidly Evolving Knowledge
説明検索拡張型LLMが急速に変化する知識を推論する際に、どこで、なぜ失敗するか
要約本論文は、TREK評価スイートを提案します。これは検索と推論のどの段階で失敗が起きたかを特定するTREKTRACE（TREKTRACE）、実世界の質問からなるメタベンチマークTREKBENCH-WILD、そして時間性・関連性・信頼性にまたがる干渉項を含む制御ベンチマークTREKBENCH-CTRLで構成されます。主なボトルネックは検索ではなく検索後の推論であり、最先端モデルでも必要な情報をすべて取得した後に矛盾する証拠に惑わされることが報告されています。