Where and Why Search-Augmented LLMs Fail When Reasoning over Rapidly Evolving Knowledge
说明搜索增强型大模型在快速变化的知识推理中，何处、为何失败
简介本文提出TREK评测套件，包含可归因失败环节的TREKTRACE框架、真实世界问题的元基准TREKBENCH-WILD，以及带时效、相关性与可信度干扰项的受控基准TREKBENCH-CTRL。研究发现，主要瓶颈在于检索之后的推理，前沿模型即使检索到所需全部信息，仍常被相互冲突的证据误导；且以过时干扰项为主的基准会明显低估任务难度。