AI 算法 · 2026年10月20日(周二)

机器学习、人工智能、自然语言处理、计算机视觉、多智能体。

arXiv cs.LG · cs.AI

Orthogonal Boundary Unlearning for Dual-Use Concepts in Large Language Models

说明双重用途概念的正交边界遗忘方法(用于大语言模型中的危险能力消除)

简介本文提出正交边界遗忘(OBU)框架,用于在大语言模型中消除网络攻击、病原体增强等危险能力,同时尽量保留良性的科研用途。方法通过对校准查询的激活协方差做奇异值分解提取能力子空间,并把参数更新限制在其正交零空间内。作者在四个开源基础模型上报告,OBU能较好地分离双重用途概念,并减弱上下文诱导攻击和对抗性重新学习的效果。

Niccol\`o Ronchetti

arXiv cs.AI · cs.CE

The More the Better? A Comparison of Single- and Multi-Agent LLM Setups on a Financial Review Task

说明单智能体与多智能体大模型在金融审阅任务上的对比:是否多即是好?

简介本文用受控实验比较单个大模型智能体与三个智能体分工协作在金融审阅任务上的表现,任务是依据要求检查信贷评估备忘录,数据为300份带标注的合成备忘录。研究发现,多智能体团队在部分模型上能多发现一些有解释的缺陷,但误报也明显增加,且消耗的令牌约为单智能体的2.2至2.4倍。

Pei Liu

arXiv cs.AI

Securing Agentic Commerce Through Behavior-Aware Fraud Detection and Cybersecurity for Trusted AI-Agent Payment Authorization

说明面向可信AI代理支付授权的行为感知欺诈检测与网络安全框架

简介本文提出ACAGS(自主商务代理防护系统),结合监督机器学习、行为分析、代理专用授权控制和可解释AI,用于防范AI代理冒充、未授权支付和代理被攻破等风险。在合成交易数据和五类对抗场景下,实验显示行为特征与代理专用特征提升了检测效果,并支持批准、审核、拒绝三种授权结果。作者指出,结果仍是模拟环境下的结论,需用真实交易进一步验证。

Kayode L. Ogunsusi

arXiv cs.AI

Runtime Control for AI Agents: Closing the Evaluation--Execution Gap in Operational Workflows

说明面向AI智能体的运行时控制:弥合运营流程中的评估与执行差距

简介语言模型智能体越来越多地参与审批、绑定和付款等运营流程。论文提出一种状态绑定的运行时保障层,把概率性测量与确定性裁决分开,将执行许可绑定到审批所依据的关键信息,在相关变更被记录后使许可失效,并在派发时重新检查可接受性。在一组42个脚本化重放案例中,该配置识别出15个后来失效的审批,而不重新评估的对照方案未能重新检查这些审批;结果仅说明在设定政策和事件顺序下的行为,不代表优于派发时强制执行的设计或生产环境中的实际效果。

Jayesh Bhadane, Ramachandra Yerramsetti, Rajesh Gupta 等

arXiv cs.CV

FocusOVD: Geometric and Contextual Feature Refinement for Open-Vocabulary Small-Object Detection

说明FocusOVD:面向开放词汇小目标检测的几何与上下文特征精炼方法

简介该论文提出FocusOVD,一种开放词汇目标检测器,在不修改冻结视觉-语言骨干网络的前提下增强小目标表示。方法包括三个模块:加权跨尺度特征融合、残差风车形门控卷积以及残差卷积门控线性单元。实验显示,在COCO-OVD上其新类别AP为36.3%,在LVIS-OVD上整体AP为33.7%。

Hanlin Kou, Beiqi Bai, Li Chen 等

arXiv cs.LG

When Parameter Gradient Flows Close in Representation Space

说明当参数梯度流在表示空间中闭合时:一篇关于参数化模型梯度流闭合条件的理论研究

简介该论文研究参数化模型的表示梯度流所依赖的迁移率映射,何时对于同一初始化下的所有自治损失都适用。作者对双因子矩阵表示给出了允许秩的完整分类,并讨论了一般表示与线性损失、二次损失的闭合情形。文中同时说明了未解决的情况,并以一个固定的确定性实验对工程化损失构造进行了单独检验。

Shengye Tao

arXiv cs.LG · cs.AI

Training-Free Continual Learning for Multimodal Forecasting via Prompt Evolution

说明无需训练的多模态预测持续学习:通过提示词演化实现

简介本文提出用一段可进化的文字指导(提示词)代替重新训练,使冻结的大语言模型预测器适应变化的时间序列规律。在包含搜索指数、货币、大宗商品及相关新闻的多模态基准上,经过防数据泄露控制的演化,700亿参数的 Llama-3.3-70B 搭配 900 字指导,在留出数据上优于多款时间序列基础模型(如 TabPFN-TS-3)。作者还讨论了该方法的局限与两项扩展。

Laurent Mombaerts, Jonathan Taws, Jacopo Gargano 等

★★★★☆ 值得关注
arXiv cs.LG · cs.AI

Projected Distillation: On Learning to Solve Hard Problems from Close, Correct Targets

说明投影蒸馏:从接近且正确的目标学习解决困难问题

简介该论文针对大模型后训练中的困难问题:当学生模型的所有尝试都失败时,基于奖励的强化学习无法提供学习信号。作者提出投影蒸馏,将学生的失败尝试最小化地修改为正确目标,并用对比更新使修正随学生模型演化而刷新。实验在Qwen3-8B和OLMo-2-7B上覆盖数学、代码、科学和工具使用五个领域,结果显示该方法在专业化与能力保留的权衡上表现更优。

看点提出随学生演化的最小编辑修正与对比更新,并给出编辑规模决定遗憾的理论;多模型多领域实验对比充分,但理论与方法在实际部署中的影响面仍有限。

Shripad V. Deshmukh, Christian Bock, Kangrui Ruan 等

arXiv cs.AI · cs.CL · cs.SE

Recoverability and Verifier Strength: Two Measured Preconditions for Unattended Agent Self-Improvement

说明可恢复性与验证器强度:无人值守智能体自我改进的两项可测前提

简介论文提出平台可测量的两个指标:验证器强度(与可信参考验证器的一致程度)和可恢复性(撤销不良改动的成本)。作者据此规定只有两者都达标的改动才能无人值守执行,并在自有平台和 τ²-bench 基准上做了测试。结果显示部分 LLM 评审器会对所有输入给出相同分数而不报错,且只有保留旧版本时回滚才能恢复原有行为。

De Wang, Peng Qi

arXiv cs.CL

Detecting Errors in Large Language Model Responses: The Incremental Predictive Value of Hidden States

说明检测大语言模型回答中的错误:隐藏状态的增量预测价值

简介该论文研究如何检测大语言模型回答中的幻觉(错误)。作者把推理时可获得的输出端信息整合为一个组合基线,并在相同数据划分与评估规则下,比较加入模型隐藏状态前后的检测效果。实验涵盖开放式生成与受限选择题任务。结果显示,加入隐藏状态在两类任务上分别使AUROC提升约0.004和0.039,说明隐藏状态提供了额外的预测信息,但若单独检测性能已经较强,其带来的增益仍然有限。

Ningzhi Li, Xiaojun Ma, Xiaofei Wang

arXiv cs.AI · cs.CL 有代码

Ask to Distill: Learning to Synthesize Data for On-Policy Distillation

说明Ask to Distill:学习合成用于同策略蒸馏的数据

简介该论文提出 Ask-to-Distill 框架,让模型学会生成对同策略蒸馏(OPD)有价值的合成问题,无需正确答案。方法以冻结的师生模型对计算分布性奖励,结合师生分歧与教师概率质量等指标,并过滤去重形成题库。实验涵盖数学推理、代码生成与智能体任务,论文报告其在多数设置中提升平均表现,并与真实题库蒸馏相当或更好。

Jiashuo Sun, Hao Zhang, Xueqiang Xu 等

arXiv stat.ML · cs.AI · cs.LG

Beyond Scalar Leaderboards: Adaptive Sampling for Pareto Frontier Identification in Multi-Objective LLM Arenas

说明超越单一排行榜:面向多目标大模型竞技场的帕累托前沿自适应采样识别方法

简介本文提出一种名为 VB-EGE 的固定置信度自适应采样算法,用于在竞技场式评估中高效识别帕累托前沿上的大语言模型。该方法通过逐步淘汰已获得足够统计证据的模型来减少所需的成对比较次数。作者在多目标 Bradley-Terry 模型下证明其能以高概率返回正确的前沿,并给出样本复杂度上界与近乎极小化最优的下界。在三个真实竞技场数据集上的实验验证了其有效性。

Liang Twist Shan, Jiahao Ai, Zhimei Ren

arXiv cs.LG

Decision Sufficiency of Learned Representation Interfaces for Safe Generative Control

说明生成式控制中学习表示接口的决策充分性

简介本文研究安全生成式控制中一种表示接口是否足以支撑最优决策。作者比较仅用所选内部特征的控制器与拥有完整状态信息的控制器的最小平均损失,并给出精确计算与冲突检测方法。在SmolLM2的实验中,将控制器限制为两个稀疏自编码器特征后,最小平均损失比完整状态信息高出0.0345至0.1166,表明部分决策失败需要改变控制器的输入。

Jipeng Li, Yanning Shen

arXiv cs.CV · cs.LG

LoRASpace: A Pool-Wide Shared Substrate for Static and Dynamic Multi-LoRA Composition

说明LoRASpace:面向静态与动态多LoRA组合的全池共享子空间方法

简介论文指出,真实LoRA池中各低秩因子堆叠后所需的方向数远少于秩之和,可用共享子空间压缩。作者提出免训练的LoRASpace,每个池只计算一次子空间,并支持静态合并与动态路由两种推理方式。实验显示其在扩散模型池中质量与组合式方法相当,动态模式在含6个活跃LoRA时速度超过组合式方法6倍以上。

Thamirawaran Sathiyalogeswaran, Navindu De Silva, Chamikara Siriwardane 等

arXiv cs.LG · cs.CV

Using Set Learning to Improve Set-Valued Classifiers on Long-tailed Data

说明利用集合学习改进长尾数据上的集合值分类器

简介集合值分类为每个输入预测大小可变的类别集合,以在保持准确率的同时表达不确定性,但在长尾、不平衡数据上表现明显下降。本文研究不同训练策略与损失函数对此类分类器的影响,并改进了基于样本集合训练的 OKO(odd-K-out)损失,将计算开销从标准交叉熵训练的 3.2 倍降至 1.36 倍。实验表明,该方法在多种集合值分类方法上显著提升了宏平均准确率,同时保持有竞争力的微平均准确率,且未明显增大预测集合的大小。

Kevin Kasa, Scott C. Lowe, Graham W. Taylor

arXiv cs.LG · cs.DC

Learning-Theoretic Foundation for General Coded Computing: The Adversarial Setting

说明面向通用编码计算的学习理论基础:对抗场景

简介本文研究分布式计算中恶意工作节点返回错误结果的问题。作者在通用编码计算框架中加入对抗鲁棒性,通过平滑正则化限制错误输出的影响,而不是定位和剔除这些节点。论文给出了近似误差的非渐近上界,误差随对抗节点数与总节点数之比按 (q/N)^(6/5) 量级下降。实验结果与理论预测的收敛行为一致。

Parsa Moradi, Hanzaleh Akbarinodehi, Mohammad Ali Maddah-Ali

arXiv cs.LG · cs.AI

Scaling Graph Reasoning in Language Models with Learnable Graph Positional Encodings

说明用可学习的图位置编码扩展语言模型的图推理能力

简介论文指出,把图序列化后输入语言推理模型会使上下文随边数增长,限制可解问题规模。作者提出可扩展且置换等变的图位置编码,并用GNN加图Transformer计算,以调制注意力、替代序列化邻接信息,将上下文负担降为O(N)。在小图上训练后,模型在最多1000个节点的图论任务上展现出更好的规模泛化能力,且输出token更少。

Javier Porras-Valenzuela, Arush Arora, Alejandro Ribeiro

arXiv cs.LG · cs.AI · cs.PF

MLIPS: Multi-Layer Indexer Pool Sharing

说明MLIPS:多层索引池共享,一种免训练的稀疏注意力加速方法

简介论文提出 MLIPS,让一个生产层发布比注意力预算 K 更大的 top-M 候选池,后续层从中各自选出 top-K,从而共享候选搜索而保留各层自己的打分和选择,无需训练。在 DeepSeek-V4-Flash 的 vLLM 实现中,每个生产层配三个消费层时,四个长上下文测试集上速度提升 1.14 至 1.40 倍,GPU 能耗降低 14.8% 至 27.4%,准确率变化为 -1.49 至 +0.29 个百分点(单次运行)。作者还提出用于预填充的探索性方法 Top-G。

Samkit Jain, Sai Kishan Pampana, Shlok Agarwal 等

arXiv cs.AI · cs.CL

Harness Self-Evolution for Long-Horizon Terminal Agents

说明长时程终端智能体的 Harness 自我演化:通过迭代改进交互框架提升执行可靠性

简介论文提出 RiseHarness 框架,在模型权重固定的前提下迭代改进智能体的 harness(交互框架)。方法聚焦于同一配置下既有成功又有失败运行的任务,结合运行轨迹与内部 harness 追踪进行失败分析,并从其他框架中检索、适配相关实现。候选改动经行为检查和重复评测后,效果提升者进入下一轮迭代;论文在多个模型上评估任务成功率与可靠性,并测试向未见基准的迁移。

Ruhan Wang, Yucheng Shi, Zongxia Li 等

★★★★★ 值得关注
arXiv cs.IR · cs.LG

Baseline and Incremental: User, Item, and Request Debiasing in Instagram Feed Ranking

说明基线与增量:Instagram 信息流排序中的用户、内容与请求去偏

简介论文指出,信息流排序模型中的各项互动预测既包含基线部分,也包含候选内容超出基线的增量部分。作者主张保留原始预测并另行加权增量项,并在 Instagram 信息流上对用户习惯、内容热度与请求上下文三类去偏做了受控消融实验。实验显示,同时使用两项的版本在多数指标上优于单项版本。

看点提出在价值模型中分离基线与增量部分的统一算子,并在Instagram Feed做了受控四臂消融,新颖性较突出;证据为生产环境实验,影响面广。

Hsin-Chiang Chen, Hao Wang, Gedi Zhou 等

arXiv cs.CL · cs.AI · cs.LG

The Router Already Knows

说明路由器已经知道:利用专家路由信息的稀疏自编码器研究

简介该论文研究混合专家(MoE)模型中,能否让稀疏字典复用每个词元已有的专家路由选择。作者提出NR-SAE,为每个专家配一个小字典,只激活冻结路由器选中的部分。在Gemma 4 26B-A4B的第15层,该方法对专家加权输出方差的解释率为0.518,高于多种对照方法。论文同时指出,训练速度、语义可解释性、下游损失和因果忠实性尚未验证。

Andrew Bistras, Marty Johnson

arXiv cs.CV

TokenFlow: Latent Token Rectified Flow Matching for 3D Point Cloud Generation

说明TokenFlow:用于三维点云生成的潜在令牌整流流匹配

简介该论文提出 TokenFlow,一种分层流匹配框架,用一组潜在令牌表示每个三维形状,并在令牌上使用整流流、在点上使用条件流。模型用 M 个可学习令牌通过交叉注意力汇聚全局信息,计算成本为 O(NM),且 M 远小于 N。论文报告其在 ShapeNet 的飞机、汽车、椅子类别上取得最佳 MMD 和覆盖率,在 ModelNet10 上学到的潜在集合达到报告中的最佳线性评估准确率。

Linhao Wang, Dongjin Huang

arXiv cs.AI · cs.CV

KPHarness: Co-Evolving Knowledge and Probing for Long-Horizon Gaming Harnesses

说明KPHarness:面向长时程游戏任务的知识与探测协同演化执行框架

简介论文提出KPHarness,在冻结的视觉-语言-动作模型外部,通过知识与探测的协同演化来调整执行框架。恢复知识提供干预假设,主动探测验证这些假设并反过来完善知识,慢速研究回路据此做出有界修订并以配对评估筛选。在Minecraft的采矿、战斗和合成任务中,其任务覆盖率优于基础策略、人工固定框架及仅知识演化的方法。

Zhikang Chen, Yueqing Sun, Sen Cui 等

arXiv cond-mat.mtrl-sci · cond-mat.supr-con · cs.LG

Learning the Geometry of Materials Space with Trained Neural Tangent Kernels

说明用训练后的神经切线核学习材料空间的几何结构

简介论文使用神经切线核(NTK)在训练后参数处求值,以还原一个仅依据元素组成预测超导转变温度的神经网络所学到的几何结构。使用训练后NTK的核岭回归能够接近该网络的预测性能,并明显优于使用初始核的回归。谱分析与多维标度显示,该几何结构主要由少数几个方向主导;聚类与局部邻域分析可将化合物组织为可辨识的超导家族。

Daniel Kaplan, Gabriel Kotliar, Anirvan M Sengupta

arXiv cs.CV · cs.GR

Test-time Adaptation for Point Cloud Denoising under Unseen Noise

说明未见噪声下点云去噪的测试时自适应方法

简介针对测试点云噪声分布与训练集不一致时深度去噪模型性能下降的问题,本文提出测试时自适应去噪框架TTAD,无需额外监督或源数据重训练。该框架先通过残差驱动的噪声建模模块估计每个样本的噪声分布,再利用噪声感知对比自适应模块在测试时通过对比学习更新模型参数。实验表明,该方法在合成与真实数据集上提升了现有去噪模型对未见噪声的泛化能力。

Kun Jiang, Shida Fu, Fanhao Yi 等

arXiv cs.CL

Looking Into The Past: The Impact of Context on Detecting Deceptive Statements

说明回顾过去:上下文对识别欺骗性陈述的影响

简介该论文研究在阿瓦隆(Avalon)隐藏身份游戏中识别欺骗性消息的问题。作者指出,以往方法多孤立地看待每条消息,而加入此前的游戏对话作为上下文后,大语言模型(LLM)的多项指标有所提升。

Alex Clay, Ernesto Jimenez-Ruiz, Pranava Madhyastha

arXiv cs.AI · cs.CL

More Memory, Worse Agents: Error Reproduction and Anti-Persistence in LLM Agents

说明记忆越多,智能体越差:LLM 智能体中的错误复现与反持久化

简介该论文研究基于外部记忆的LLM智能体。作者指出,若保存从经验中归纳出的规则和技能,其中的错误会通过检索与复用不断被再生。为此提出反持久化(Anti-Persistence)记忆设计:只保存执行轨迹与结果,按需重建任务指导,用后即弃。实验显示该设计在多个基准与模型上取得更高的留出集成功率,且平均LLM调用成本最低。

Ruhan Wang, Kishan Panaganti, Dongruo Zhou

arXiv cs.SD · cs.CL · cs.LG

Steering intonational tunes in text-to-speech synthesis

说明在文本转语音中操控语调曲调

简介本文研究基于残差向量量化的文本转语音系统中,哪些组件负责英语句末语调(如陈述句的降调与疑问句的升调)。作者发现主干网络的隐藏状态承载了语调信息,并通过向量干预可以在一定程度上改变语调走向,但语调的精确选择仍有局限。

Juan Pablo Vigneaux, Jennifer Cole

★★★★☆ 值得关注
arXiv stat.ML · cs.DS · cs.LG

Communication Complexity of Universal Features

说明通用特征的通信复杂度:为可被一族函数评估的数据编码所需的最少比特数研究

简介该论文研究在任务未知时,对数据进行确定性编码所需的复杂度。编码器先观察数据分布,生成有限长度的表示,之后再给定任务函数,解码器需以误差不超过ε预测结果。作者构造了长度为O(d*log(1/ε))比特的编码器,d*为函数族的对偶VC维,并证明该长度在最坏情况下对一切d*≥1、ε<1/4均为最优(至常数因子),并在实例层面近似最优。

看点提出基于对偶VC维的通用特征编码并给出近乎最优的上下界,用势函数论证新颖;实验验证较为初步,影响面集中于理论与表示学习交叉领域。

Lunjia Hu, Anish Jayant, Peter Li 等

arXiv cs.AI

ProMemAgent: Long-Horizon Proactive Assistance with Context-Aware Prospective Memory from Sensory Perceptions

说明ProMemAgent:基于感知记忆的长时程主动协助智能体

简介该论文提出ProMemAgent,这是首个将前瞻记忆引入日常感知场景、用于长时程主动协助的智能体。它将过去的第一视角视频和音频等感知信息组织成带上下文的记忆,生成提示线索并关联前后事件,以便之后检索。论文还提出了包含1000个实例、涵盖八类日常场景的评测基准CPMBench,实验显示该方法在记忆检索和长时程主动协助上优于所有基线。

Lilin Xu, Linyang He, Kaiyuan Hou 等

arXiv cs.AI

Unified Sharp Bounds on Probabilities of Causation

说明因果概率(PoC)统一尖锐界的证明

简介本文是关于因果概率(Probabilities of causation)的理论研究。它补证了 Shu 等人在多值处理与结果情形下提出的闭式界在高维情形下的尖锐性,并证明 PNS、PSub、PRep、PN 等量都是同一个更一般公式的特例。作者结合等价类指出,离散因果概率在任意维度下都能由一个定理给出闭式尖锐界。

Xin Shu, Ang Li

arXiv cs.AI

When PTQ Calibration Helps or Hurts: Dose-Driven Collapse and Validation-Gated Abstention in Quantized Text Embedders

说明何时PTQ校准有益或有害:剂量驱动的崩溃与验证门控弃权

简介本文研究量化文本嵌入模型的训练后量化(PTQ)校准,在三种嵌入模型、4位权重量化下进行161次校准实验。结果显示校准效果取决于更新幅度(以功能位移衡量),过量更新会导致严重性能下降。作者提出基于验证集置信区间的门控规则,仅在通过验证时接受检查点,从而避免了有害选择,但也会放弃部分有益更新。

Hyojung Han, Ryangkyung Kang, Youngeun Kim 等

arXiv cs.AI

Correcting Attribution Patching with a Few Exact Measurements

说明用少量精确测量修正归因修补

简介该论文研究机制可解释性中的归因修补(attribution patching)估计误差问题。作者提出Guided-AP方法,用少量精确测量揭示误差并修正未测量组件的估计。实验显示,单个提示下修正可降低最多26%的误差,多提示场景下对事实补全任务的平均效应误差降低75%至79%。

Luyang Zhang, Minxing Zheng, Jialu Wang

arXiv cs.LG

Fixed-Size Active Statistical Inference

说明固定样本量的主动统计推断:用条件泊松抽样替代随机样本量的泊松抽样,以降低估计方差

简介该论文研究在数据分析中结合机器学习预测与加权抽样以降低方差。作者指出常用的泊松抽样样本量随机,会引入额外方差,因此提出固定样本量的条件泊松抽样作为替代,可直接用于一般多元Z估计问题。论文称其渐近方差不劣于泊松抽样,在预测不完美的情形下可能明显更优,并在合成与真实数据上验证,同时发布了实现该方法的Python包。

Erik Skalnes, Michael Oberst

arXiv cs.RO · cs.LG

Training Controllable World Models via Action Influence Maximization

说明通过最大化动作影响力训练可控世界模型

简介以专家成功演示数据训练的动作条件视频生成模型往往忽略指令动作,只生成看似合理的专家式未来画面。作者指出原因在于训练数据的动作影响力不足,并证明该指标给出了任何在该数据上训练的模型所能表达的动作影响力上限。论文提出动作影响力最大化(AIM)算法,主动收集数据以提升数据集的动作影响力,并在仿真导航和操作任务上与探索启发式及内在动机方法比较。在基于像素的操作任务中,AIM 是唯一能持续提升可控性的方法。

Samuel M. Bateman, Tenny Yin, Chongyi Zheng 等

arXiv cs.LG

Sample-efficient learning with Dense Associative Memories

说明用稠密联想记忆进行样本高效学习

简介本文从解析角度研究稠密联想记忆(DenseAMs)在随机稀疏码码字上训练时能量函数的演化,识别出两种不同学习状态及其之间的转变。作者提出带阈值学习规则的新型稠密联想记忆,使模型能以 O(log n) 个训练样本发现 exp[O(n)] 个解,并在部分存在隐变量的情形下学习底层编码。

Andrew Lucas, Dmitry Krotov

arXiv cs.CL · cs.LG

DStill: Trajectory Consistency Distillation for Accelerated One-Step Drafting in Block Diffusion Speculative Decoding

说明DStill:通过轨迹一致性蒸馏加速块扩散投机解码中的单步草稿生成

简介该论文针对块扩散投机解码中单步草稿生成存在的词元分解误差问题,提出DStill两阶段框架:先训练草稿模型补全部分可见的块,再用其多步精炼轨迹训练学生模型一步完成预测。论文报告,在三个模型系列的推理、数学和代码基准上,DStill相较单步DFlash最高提升28%的接受长度和25%的加速比,相比自回归解码最高可达6.45倍加速。

Shreyas Kulkarni, Uttam Gurram, Madhav Kanda 等

★★★★☆ 值得关注
arXiv cs.AI

REM: What to Store, When to Recall, What to Forget in Experience Memory for Coding Agents

说明REM:编程智能体经验记忆中的存储、调用与遗忘

简介本文提出REM(可复用经验记忆)框架,让大语言模型编程智能体在执行任务过程中管理自身经验的生命周期:决定存什么、何时调用、何时遗忘。在仓库级缺陷修复基准(SWE-ContextBench Lite)上,REM的检索准确率与任务解决率均优于现有记忆系统,且成本降低17%。作者认为,经验复用的瓶颈在于经验如何存储与管理,而非检索精度。

看点提出在智能体思考-行动循环内管理记忆生命周期的三项决策,并在仓库级修复任务上优于现有记忆系统,证据较扎实,影响面主要限于编码智能体子领域。

Xinyi Lisa Chen, Pedro Herrero-Vidal, Xiaohan Chen 等

arXiv cs.LG

Shaped SAEs: Expanding the Toolkit for Mechanistic Interpretability

说明整形稀疏自编码器:扩充机制可解释性的工具箱

简介稀疏自编码器(SAE)用于把大语言模型的稠密激活分解为稀疏、可能可解释的特征。本文提出先对激活做线性整形(基于 J 空间的降秩变换,并学习仿射变换),再训练 SAE,称为匹配滤波 SAE(MF-SAE)。作者在 SAEBench 与 SAE Probes 等基准上,将其与稠密激活及现有先进 SAE 进行了比较。

Oveys Delafrooz Noroozi, Bhagyashree Puranik, Upamanyu Madhow

arXiv cs.CV 有代码

PerQ: Inverse Generative Modeling for Neural Image Compression via Quantization Error Compensation

说明PerQ:通过量化误差补偿实现神经图像压缩的逆生成建模

简介神经图像编解码器在像素保真度与感知质量之间存在权衡。PerQ 将感知重建视为有界支撑集上的逆生成建模,在编解码器诱导的量化单元内进行生成式重建,并在冻结的多码率失真优化主干上附加一个码率条件的流匹配补偿器。实验显示,其在 LPIPS 与 FID 上接近 MS-ILLM 等生成式编解码器,同时在 PSNR 上与 ELIC 等失真优化编解码器保持竞争力。

Tianhao Peng, Ho Man Kwan, Fan Zhang 等

arXiv cs.GT · cs.AI

Fundamental Impossibility Results in AI Safety: Trading Off between Desiderata

说明AI安全中的基本不可能性结果:在不同目标之间的权衡

简介该论文探讨安全AI系统的不同目标(如无害性与有用性)之间是否存在根本性权衡。作者将AI系统与用户的互动形式化为三方博弈:计算或信息受限的防御者和攻击者,以及约束较少、提供公开建议的AI。主要结论是,在建议保持公开的前提下,帮助防御者的建议存在根本性权衡。论文还讨论了AI所分享的信息能否被操纵而只对防御者有利,并探讨这些结果如何用于设计更安全的AI系统。

Ida Mattsson, Ratip Emin Berker, Emanuel Tewolde 等

arXiv cs.CL 有代码

SHAM-Bench: A Span-level Hallucination Benchmark Across Multiple Tasks

说明SHAM-Bench:跨多任务的片段级幻觉检测基准

简介该论文提出 SHAM-Bench,一个统一的片段级幻觉检测基准,涵盖六类自然语言生成任务,由现有人工标注数据集整合而成,共 6,461 个样本。作者用它评估现有方法,发现微调检测器在领域内表现较好但在分布偏移时下降,带推理的提示式方法则跨任务更稳健。论文同时指出,细微的无依据内容仍难以检测,片段边界模糊和标签噪声也对评估构成挑战。数据集、评估代码和公开排行榜均已发布。

Sicong Huang, Ian Lane

arXiv cs.CL

Explore More, Validate Less: Efficient Reflective Prompt Optimization

说明多探索、少验证:高效的反思式提示优化

简介本文提出一个两阶段框架,将反思式候选提示池的构建与验证预算分配分离。构建阶段先在训练问题上筛选改进的候选提示,之后在固定的完整验证预算下从冻结的候选池中选择提示。在五个基准和两种模型上的实验显示,该方法最多比初始求解器提高11.22个百分点。

Xiaofan Zhou, Lu Cheng

arXiv cs.LG · cs.AI

Trail-Weighted Influence Scores for Approximate Outcome Prediction in Bayesian Networks

说明用于贝叶斯网络近似结果预测的路径加权影响分数

简介论文提出一种剪枝证据的方法:对每个证据节点到结果节点的活跃路径计算边强度乘积作为分数,低于阈值的证据被丢弃。对于无对撞节点的二元网络,作者给出了剪枝后后验与精确后验之间的可计算误差界并给出证明。在随机树上的模拟显示,按分数阈值剪枝比随机剪枝误差低1.4至13倍;在七个含对撞节点和环的bnlearn网络上,该分数也优于随机剪枝,但未明显优于互信息排序,且多数情况下计算开销并未带来加速。

Sahil Kumar Rajput, Randhir Kumar

arXiv cs.LG · cs.AI

Predictive Closure: A Set-Level Characterization of JEPA's Feature Selection

说明预测闭包:JEPA特征选择的集合层面刻画

简介联合嵌入预测架构(JEPA)同时训练编码器和预测器,使表示能最小化对下一观测表示的预测误差。本文提出“预测闭包”刻画,认为特征选择取决于特征集合的性质,而非仅看单个特征的可预测性,因此即使不易预测的特征(如交通灯)也可能被保留。受控实验表明,这类特征在有助于预测其他特征时表示会更好,并且通过辅助目标或作为预测器的侧信息,可以间接增强另一特征的表示。

Mosh Levy, Aly Lidayan, Yoav Goldberg

arXiv cs.CL

On the LLM Verification for Argument Graph Generation

说明论大语言模型在论证图生成中的验证问题

简介该论文指出,多智能体大语言模型能把自然语言论证转为结构化图,但目前质量检查多依赖另一个大模型充当审阅者。作者主张按各类工具可保证的能力分层验证:先做确定性检查,再用求解器和大模型审阅,仅在不确定时使用辩论,最后交由人工判断。研究发现,大模型审阅者能以接近满分的召回率发现结构缺陷,但会误判约十分之一的正确图,且结论前后不一致、速度明显慢于精确检查,因此需要确定性验证作为把关环节。

Jakub B\k{a}ba, Jaros{\l}aw A. Chudziak

arXiv cs.CV · cs.AI

On the Limits of Scale: Inverse Scaling in Vision-Language Models

说明规模的局限:视觉语言模型中的逆向缩放现象

简介该论文研究视觉语言模型的规模与表现关系,发现在同一模型系列中,部分子任务上较大的模型反而比较小的模型更差,即“逆向缩放”。研究者用19个模型、8个多模态基准测试做了逐题对比分析,识别出375个出现该现象的子任务与模型组合。论文认为,增大模型规模并不能在所有多模态任务上一致地提升能力,模型选择应结合具体任务。

Rohit Saxena, Alessandro Suglia, Marek Rei 等

arXiv cs.LG · cs.AI

LiBRA: Logit Fingerprints for Byzantine-Robust Client Selection in Federated Learning

说明LiBRA:面向联邦学习拜占庭鲁棒客户端选择的 Logit 指纹方法

简介联邦学习中的拜占庭鲁棒聚合规则通过比较客户端参数向量来过滤可疑更新,但这需要访问所有客户端的更新,与安全聚合相冲突,计算开销随参数维度增长,且只能比较结构相同的模型。本文提出 LiBRA,改为比较模型对伪模式的类别 logit 响应构成的指纹,并将 Krum、Multi-Krum 和 Bulyan 改写为使用该指纹的变体。在 Fashion-MNIST 和 CIFAR-10 上的实验显示,这些变体在四类后门与标签操纵攻击下保持了原规则的鲁棒性。

Saheed A. Tijani, Frank Jiang, Ming Liu

arXiv cs.AI 有代码

A Small Model Asks Better: Fine-Tuning Query Clarification for Retrieval-Augmented Generation

说明小模型更会追问:面向检索增强生成的查询澄清微调

简介该研究关注检索增强生成系统在面对模糊用户查询时的澄清问题,提出了约3900条样本的ClariEdge数据集,包含需要澄清的模糊查询和无需澄清的负样本。作者使用轻量级LoRA微调,分类准确率达到96.6%,在分类与澄清问题生成质量上优于多个更大模型的提示基线。研究还指出困难负样本对区分真正模糊的查询很关键,该模型可在检索前后两处用于生成答案前的检查。

Lihong He, Lucian Popa, Marina Danilevsky

arXiv cs.NI · cs.LG

Robust Lightweight IoT Device Fingerprinting Under Network Traffic Anomalies

说明在网络流量异常下稳健的轻量级物联网设备指纹识别

简介本文提出一种基于数据包头部和局部敏感哈希(LSH)的轻量级物联网设备识别方法,生成数据包级和窗口级的紧凑指纹。作者考察了丢包、扰动、乱序、重复和注入等流量异常对识别的影响。实验显示,该方法在短的有界观察窗口下可达到约99%的准确率,其中影响全局流量结构的异常导致的性能下降最大,而窗口级表示有助于降低对局部扰动的敏感性。

Roya Taheri, Shamik Sengupta

arXiv cs.RO · cs.AI 有代码

Refuses When Asked, Complies When Acting: A Runtime Safety Check for Robot Control Loops

说明被问时拒绝,行动时照做:机器人控制循环的运行时安全检查

简介论文发现,用前沿模型通过代理框架控制低成本机械臂时,即使模型在问答中会拒绝危险指令,其默认控制循环仍会执行危险操作。在三项家庭任务的15次试验中,模型拒绝率为0%,每次都尝试执行危险动作,其中27%完成了伤害。作者提出在首次动作前加入运行时安全检查,让模型基于相同画面判断是否执行指令,该检查可拦截全部危险指令且不误判无害指令。

Arnav Grover

arXiv cs.AI

An LLM-Based Agent for Legal Compliance Assessment: Architecture, Memory, and Evaluation in a Canadian and Quebec Context

说明基于大语言模型的法律合规评估智能体:加拿大与魁北克语境下的架构、记忆与评估

简介本文提出ComplianceAgent,它是多智能体框架COMPASS中的法律合规子智能体,从数字主权、碳影响、合规和伦理四个维度评估文本。该智能体用大语言模型按固定评分标准打分,并依据参考法律语料库作出判断;分数低于临界值时,启动自愈改写、合规标签、可解释性报告和人工复核等纠正流程。在包含十三份法律文件的加拿大及魁北克语料上,基于十五篇人工标注文本的评估显示,该智能体能够区分全部合规与不合规文本,重复查询下分数稳定,检索结果相关。

Soukaina Alaoui Ismaili, Jean-Sebastien Dessureault

arXiv cs.CV

Look Before You Reason: Implicit Visual Thinking for Efficient Multimodal Reasoning

说明先看后想:面向高效多模态推理的隐式视觉思考方法

简介视觉语言模型在细小或易被忽略的图像区域理解上仍有不足,已有的“看图思考”方法需要多轮交互,计算冗余且推理缓慢。本文提出LoRe框架,在单轮交互中预测最相关的图像区域,并强化对应的KV缓存,使后续解码无需额外视觉输入即可利用这些视觉线索。作者还用强化学习引导模型识别有用区域,并提出用于细粒度多模态推理评测的COCO-ObjQA基准。

Zerui Chen, Changrui Chen, Fei Ni 等

arXiv cs.LG

Automated Brick Schema Knowledge Graph Completion Across Buildings

说明跨建筑自动补全 Brick 模式知识图谱

简介Brick 模式以带类型的多关系图描述建筑中的设备、传感器、空间及其关系。本文首次将知识图谱补全用于生成 Brick 模型,比较了梯度提升树、成对 Brick 关系排序和 CompGCN 三种方法,用于推断 feeds、hasPart、hasPoint 三类关系。结果显示,在留出的 MORTAR 建筑上 CompGCN 表现最佳,但没有方法能在所有数据集和关系上一致地泛化。

Daniel Ma, Jalil Huseynov, Xinyi Pan 等

arXiv cs.AI

Modeling Authentic Research Trajectories: A Graph View of Research Ideation

说明建模真实研究轨迹:从图视角看研究构思

简介论文提出“研究进展图”(RPG),用于记录一个研究想法从最初提出到最终成型的完整演变过程。图中将每个研究状态与其之间的认知转换、时间索引及推理依据相连。作者比较了35个研究智能体的表示方式,发现它们都不完整,均未同时保留变化的状态、促成变化的证据以及两者之间的推理。

Ruochen Li, Zhiyu Chen

★★★★☆ 值得关注
arXiv q-bio.QM · cs.LG

EMBER: Predicting TCR--pMHC Binding Without a Docked Complex

说明EMBER:无需对接复合物即可预测TCR与pMHC结合

简介该论文提出EMBER框架,用于预测T细胞受体(TCR)与肽-MHC复合物(pMHC)的结合,不需要预测的对接复合物结构。EMBER分别折叠TCR和pMHC,将二者编码为SE(3)不变的残基图,并比较其学习到的表示,因此相对位姿不作为输入,结构预测的定位误差不会传递到预测结果中。在按表位不相交的评估中,EMBER在四种折叠工具下的各项指标均优于六个重新训练的基线。

看点该方法不依赖共折叠复合物,独立编码TCR与pMHC并比较表示,新颖性较强;在多种折叠工具和基线上有一致优势,证据较充分,对TCR-pMHC预测子领域有实际影响。

Lin Ha, Chen Zhou, Haozheng Luo 等

arXiv cs.AI

Unsupervised Tool Evolution for Coding Agents in Data-Lake Analytics

说明数据湖分析中编码智能体的无监督工具进化

简介编码智能体可以通过发现、清洗和连接相关数据来回答数据湖上的分析问题,但每题结束后都会丢弃这些工作。本文提出TEAL方法,在没有标注答案的情况下,让智能体自动构建并改进可复用的工具库和使用技能;另提出TEAL-Q,在缺少真实问题时生成合成问题用于工具进化。在KramaBench和LakeQA上的实验显示,在步数预算较紧时,TEAL提升了所有测试模型的表现。

Yuqing Yang, Yurong Liu, Deqing Fu 等

arXiv cs.CV · cs.AI

Steering Vision-Language Models for Visual-Contextual Privacy in Location Disclosure

说明面向地理位置披露中视觉情境隐私的视觉语言模型引导

简介该论文研究视觉语言模型在描述图片时可能泄露地理位置的隐私问题,希望模型只披露与图片视觉情境相称的位置细节。作者提出推理时的路由与引导框架:先由有序粒度路由器判断应披露的程度,再通过对应的隐藏状态干预在解码时控制输出。实验显示该方法在四个模型上提高了披露与情境的一致性,并在通用能力基准上变化不大。

Wenyue Chen, Yuhan Cheng, Ruixin Yang 等

arXiv cs.LG · stat.ML

VampPrior Unleashed

说明释放VampPrior:解耦先验与后验协方差并引入狄利克雷过程

简介本文针对深度潜变量模型中的VampPrior(一种近似最优先验的方法)提出两点改进:将先验与后验的协方差解耦,并用狄利克雷过程替代固定均匀混合权重。作者称,改进后模型证据高于原VampPrior,并能进行稳健的非参数聚类。将该先验用于单细胞变分推断(scVI)后,在六个图谱数据集上提升了单细胞整合与聚类效果,同时显著提高模型证据。该方法只改变先验,可用于任何具有连续潜空间的深度潜变量模型。

Andrew A. Stirn, Abhejit Rajagopal, David A. Knowles 等

★★★★☆ 值得关注
arXiv nlin.CD · cond-mat.dis-nn · cs.LG

Physics-Inspired Optimizers beyond the Edge of Stability: Period-Two Orbits and Delayed Instability

说明超越稳定边缘的物理启发优化器:周期二轨道与延迟失稳

简介该论文研究受物理启发的优化器(如 VRAdam)在学习率较大时的训练动力学。作者分析动能映射在稳定边缘之外产生的对称周期二轨道,并借助慢扫描分岔理论解释失稳被延迟的现象。实验在精确二次问题、全批量MLP和ResNet-32上支持理论,但在ResNet-18上,映射带来的大部分优势可由匹配有效学习率复现。

看点提出动能映射并在边缘稳定性之外分析周期二轨道与延迟失稳,结合Neishtadt理论,实验包括精确二次问题和网络,证据较充分。

Alexander Itin

arXiv physics.comp-ph · cs.LG · physics.plasm-ph

Machine-learned spectral PDE solvers for fluids and plasmas

说明用于流体与等离子体的机器学习谱方法偏微分方程求解器

简介该论文提出WARP方法,通过在求解所用的空间离散中进行弱形式方程发现,并借助对多步滚动预测的反向传播来学习偏微分方程,从而得到机器学习求解器。论文在八个流体与等离子体基准系统(包括高维湍流模拟)上进行测试,结果显示该方法在新随机初值下滚动预测稳定,并在系数恢复、滚动精度和统计指标上优于单步弱形式SINDy基线。

Mellow Baixuan Chen, Alan A. Kaptanoglu

arXiv cs.CV · cs.LG

What Not to Erase: Saliency-Constrained Augmentation for Low-Resource Handwritten Character Recognition

说明不该擦除什么:面向低资源手写字符识别的显著性约束数据增强

简介本文研究低资源历史手写字符识别中的数据增强问题,提出用显著性图来约束增强时扰动或保留的图像区域。作者比较了经典文档式变换、随机缺失以及多种显著性约束变体,并提出衡量扰动下显著性模式稳定性的可解释一致性指数(ECI)。结果显示,显著性约束增强在部分情况下优于经典增强,但没有单一策略始终最优,最佳约束形式因架构和语料而异。

Paraskevi Platanou, John Pavlopoulos

arXiv cs.AI

Evolving Self-tuning Benchmarks for Long-Horizon Tool Use

说明面向长程工具使用的自演化自调节基准(TURTLE)

简介该论文提出TURTLE方法,用于自动生成和演化AI助手的工具使用测试任务,减少对人工标注的依赖。系统由出题、解题和反馈三个大语言模型智能体组成,出题者根据解题者的表现获得奖励,以生成困难但可解的任务。在AppWorld、τ-Bench和AutomationBench上的实验表明,演化后的任务难度更贴近目标范围,多样性更高,并能暴露更多样的失败模式。

Hyunji Alex Nam, Michael Dennis, Natasha Jaques 等

arXiv cs.DB · cs.DC · cs.IR

SweepANN: A GPU-Accelerated Large-K Approximate Vector Search for Drug Discovery

说明SweepANN:面向药物发现的 GPU 加速大 K 近似向量检索

简介该论文针对药物发现中的大规模向量检索问题,每个口袋需返回 K=0.1% 的候选分子,而现有近似最近邻方法在这种规模下难以兼顾召回率与速度。作者提出 SweepANN,把压缩向量分布到多块 GPU 上并逐块扫描,利用矩阵乘法为整批查询打分,并通过窗口方案筛选候选。原文报告在 500M 分子库、26,562 个口袋的任务中,四块 RTX PRO 6000 约 61 秒完成,平均召回率为 99.6%。

Zhenyu Zhang, Qi Lin, Nan Zhang 等

arXiv cs.AI

When Does an Added Planning Capability Create Operational Value? An Observable Evidence Standard

说明新增规划能力何时产生运营价值?一套可观测的证据标准

简介本文针对工业人工智能规划系统中,整体策略改进无法说明单个新增组件是否独立贡献的归因问题,提出一套可观测证据标准,区分行动机会、执行计划变化、运营结果、等价性、不确定性与运行范围。作者在 Favorita、M5 和 Walmart 数据上进行预测到计划的回放实验,结果显示单一指标评估存在局限,例如一项控制仅改变了 681 个执行计划中的 15 个。

Yihua Xu, Yan Lyu, Jize Li 等

arXiv cs.CL · cs.AI

Evaluating Context Compaction on the Questions That Come Later

说明在后续问题上评估上下文压缩效果

简介该论文评估语言模型智能体的上下文压缩方法在后续问题上的表现,使用四个标注了多个问题证据的语料和智能体轨迹,并与同等预算下的随机删除进行比较。研究发现,针对当前问题选择句子的方法在后续问题上并未明显优于随机删除,而忽略问题、按词删除的LLMLingua-2在部分数据集上表现更好,但结果依赖于具体数据集和设置。

Junwei Yao, Yongxi Zhou, Zike Yang 等

arXiv cs.CV · cs.AI 有代码

Generalizing Multimodal Foundational Models in Context-Driven Class Incremental Learning

说明在情境驱动的类增量学习中泛化多模态基础模型

简介本文研究音频-视觉多模态的类增量学习,即模型持续学习新类别且不遗忘旧类别。作者发现冻结的多模态基础模型表示在增量场景中表现不佳,于是提出一种框架,利用音频表示作为任务稳定的上下文引导,结合特征级和logit级蒸馏来减少遗忘。论文称该方法在多个音频-视觉类增量学习基准上优于现有最先进方法。

Avi Gupta, Nilotpal Sinha, Vishnu Raj 等

arXiv cs.CL

RealControlBench: A Benchmark for Interpretability-Informed Fine-Grained Control of LLMs and Agents

说明RealControlBench:面向大模型与智能体细粒度控制的可解释性导向基准测试

简介该论文提出 RealControlBench,一个用于评估大语言模型及智能体细粒度控制(steering)效果的综合基准。它将评估从孤立生成任务扩展到复杂的多轮智能体交互,涵盖指令遵循、工具使用决策、推理性能、推理长度和轨迹条件下的安全意识五个维度。研究发现,现有控制方法在更贴近实际的任务中往往难以稳定地诱导预期行为,还可能显著降低模型原有的任务表现。

Xinying Cai, Bin Hu, Mingyu Jin 等

arXiv cs.AI

Vulnerability Analysis for Safe Multi-Agent Reinforcement Learning

说明安全多智能体强化学习的脆弱性分析:针对推理阶段观测攻击的研究

简介该论文研究安全多智能体强化学习(SMARL)在推理阶段面对观测攻击时的脆弱性,即攻击者扰动部分智能体的观测从而改变其动作。作者提出 MinMax Attack 框架,同时考虑被攻陷智能体的选择与良性智能体的协作抵抗,并推导出诱导安全代价的界及其与攻陷智能体预算、扰动预算的关系。在多个安全关键的多智能体基准上的实验表明,该攻击比现有基线诱导出明显更高的安全代价,同时保持任务奖励,因而更难被察觉。

Taozheng Zhu, Shixiong Jiang, Fanxin Kong

arXiv cs.AI · cs.CL · cs.LG

TEX: Test-Time Scaling Testing Agents via Execution-based Cross-Validation

说明TEX:基于执行交叉验证的测试时扩展测试智能体

简介该论文提出 TEX 框架,让多个智能体并行生成测试用例和补丁,并把每个测试与每个补丁相互执行,形成一个 K×K 的反馈矩阵,智能体据此改进结果,无需分享冗长的推理轨迹。在 SWT-Bench Verified 基准上,TEX 达到 86.4%,据称超过此前最优结果,并优于单智能体基线 9.0%。论文还指出,即使随机选取 TEX 的输出(84.4%)也超过此前最优(84.0%)。

Akash Gokul, Srijan Bansal, Yingbo Zhou 等

arXiv cs.CL · cs.AI

When Does Hate Transfer? A Large-Scale Study of Cross-Lingual Hate Speech Detection

说明仲恨言论何时能跨语言迁移?一项跨 14 种语言的大规模研究

简介该研究探讨在一种语言上训练的仲恨言论检测数据,能否在另一种语言上取得相近效果,覆盖 14 种语言,包括部分低资源语言。结果显示语言相似度是最强的预测因素,时间重叠与数据集规模差异作用较小。论文同时以定性观察提出,部分语言对可能与共享的文化线索和交流规范有关,但作者明确表示这只是假设而非测得的原因。

Zahra Bokaei, Walid Magdy, Bonnie Webber

★★★★☆ 值得关注
arXiv cs.LG · cs.AI

VPFlow: Value-Predictive Planning with Imperfect World Models for Offline Goal Reaching

说明VPFlow:基于不完美世界模型的价值预测规划,用于离线目标达成

简介这篇论文研究离线目标条件强化学习中的规划问题,提出用价值预测代替精确的下一状态预测。作者以闭式蒙特卡洛回报作为唯一监督训练潜在世界模型,并提出 VPFlow 规划器,在一步流策略的噪声空间中进行进化搜索。在 30 个 OGBench 状态与像素数据集上,VPFlow 的成功率超过无模型基线,并优于 LeWorldModel、PLDM 和 TD-MPC2。

看点用闭式蒙特卡洛回报替代时序差分训练潜在世界模型,提出价值预测式规划,新意明确;在30个OGBench数据集上与多个基线对比,证据较充分。

Yunzhe Hu, Dong Xu

arXiv cs.AI · cs.LG

A latent control model for realistic rodent motion

说明面向真实啮齿类动作的潜在控制模型:SCAMPER系统

简介本文提出SCAMPER系统,用于训练具身虚拟大鼠模型。它使用带有运动先验(用于控制)和行为先验(用于探索)的变分架构。作者称,结合两种先验后,模型在目标导向行为和随机探索中都能产生自然动作,并能从稀疏奖励中学习实验神经科学中的任务。

Aidan Sirbu, Charles Y. Zhang, Yuanjia Yang 等

arXiv cs.RO · cs.LG

What Would Removing This Corruption Change? Failure Attribution for Vision-Language-Action Models

说明去除这种视觉干扰会带来什么变化?视觉-语言-动作模型的故障归因

简介该论文研究视觉-语言-动作(VLA)模型对视觉干扰的敏感性,提出“故障归因”问题:判断去除某种干扰能否改善当前任务。作者构建了分解式风险模型,在无需成对干净图像或额外反事实执行的情况下,通过潜变量干预估计去除干扰的收益。实验在OpenVLA、π0.5及Franka机器人上进行,结果显示该方法优于单一模型和视觉语言模型基线,归因误差约为前沿视觉语言模型的三分之一。

Carson Sobolewski, Anjali Parashar, Fei Chen 等

★★★★☆ 值得关注
arXiv cs.RO · cs.CV

On Maximum Clique and Maximum Consensus Formulations in Point Cloud Registration

说明点云配准中最大团与最大一致集两种建模方式的对比研究

简介本文从理论上研究机器人点云配准中两种常用的鲁棒建模方法:最大一致集和最大团。作者指出,最大团的对齐误差可以任意大,且在任一固定正容差下可以远大于最大一致集。文中给出了限制该误差的几何条件,并在旋转固定时给出精确的误差界和判别测试。此外,研究了检验 k 个匹配组的 group-k 一致性,并确定了与点云尺度和几何无关的误差界所需的最小组大小。

看点证明最大团与最大一致集的关系,给出几何误差界及群组一致性所需最小群大小,理论贡献明确,并有Lean形式化验证。

Abolfazl Babanazari, Kaveh Fathian

arXiv cs.IR · cs.CL

FLINT: Fixed-budget Late Interaction

说明FLINT:固定预算的延迟交互检索模型

简介该论文提出 FLINT(Fixed-budget Late INTeraction)架构,用基于注意力的池化把每个查询和文档都表示为固定数量的向量,而不是为每个词元保留一个向量。它对查询和文档两侧都进行池化,从而减少文档存储和检索时的向量比较次数。在 BEIR 上排序效果与最接近的基线相当,在 BrowseComp+、CRUMB 等长而复杂的查询基准上表现更好。在长查询语料上,端到端检索速度比 ConstBERT 快 1.5 到 2.8 倍,索引体积比 ColBERTv2 缩小 5.3 到 9.3 倍。

Himank Handa, Negar Arabzadeh, Matei Zaharia

arXiv cs.SE · cs.AI

Certifying Repeatable Entry-Replay Witnesses for COBOL-to-Java Migration

说明面向 COBOL 到 Java 迁移的可重复入口回放见证的认证方法

简介本文提出一种为 COBOL 迁移后的应用生成合成端到端测试用例的方法:在代理 COBOL 程序上通过按时间顺序记录外部操作的磁带模拟外部交互,并观察执行轨迹来认证测试用例。作者将该方法用于一个 33,429 行的大型 COBOL 程序,生成 849 个测试用例,覆盖 78.1% 的源代码分支和 95.7% 的段落。文中还报告,在种入 450 个缺陷的测试中,验证门控检测到 47.6%,未能检测到舍入和精度类缺陷。

Andras L. Ferenczi, Mariya Bessonov, Allwyn Ponnudurai 等

arXiv cs.CL

African Languages AI Safety Readiness Report

说明非洲语言的AI安全准备度报告

简介本报告评估非洲各语言被纳入AI安全讨论的准备程度。报告综合现有文献和数据,考虑四个因素:AI相关资源(包括文本数据)、国家AI政策支持、既有文本基准上的表现以及使用人口。据此,语言被划分为完全准备、基本准备、新兴和需要基础支持四类,用于指导AI安全基准中非洲语言的纳入和相关投入。

Israel Abebe Azime, Jesujoba O. Alabi, Tajuddeen Gwadabe 等

arXiv cs.CL · cs.AI · cs.LG

Auditing Safety Preference Supervision with Recorded Derivations

说明用记录的推导审计安全偏好监督

简介本文研究安全偏好标签的构造能否被检查。作者提出符号化偏好标注方法:预训练语言模型先对提示和回复的预定义属性进行分类,再由明确规则给出回复判定,并按固定排序决定偏好标签。每个标签都保存推导过程,无需重新运行语言模型即可复算。论文区分了标签的可复现性与属性判断的正确性,指出后者和语义安全需要单独验证。

Chenhan Lyu, Amir Rahmani

★★★★☆ 值得关注
arXiv cs.LG · math.PR · math.ST

Solving the Ho--Nguyen Conjecture for Gaussian Mixtures: Applications to Mixtures of Experts

说明解决高斯混合模型的Ho–Nguyen猜想:在专家混合模型中的应用

简介该论文讨论过拟合高斯混合模型中参数的消去阶数,这决定了参数学习速率。作者证明了Ho与Nguyen提出的猜想,即对于每个聚类规模M≥2,相关多项式系统的阶数为2M,并给出了上下界的论证。论文还将结论应用于专家混合模型,区分了高阶消去与精确的参数对称性。

看点解决了Ho与Nguyen提出的高斯混合过拟合阶数猜想,给出锐利的符号变化界与构造,证明严格,对参数学习速率有明确影响。

Yuyang Zhang, Qihuang Zhang

arXiv cs.LO · cs.AI

Theorem prover Arend

说明定理证明器 Arend 介绍

简介本文介绍了 JetBrains Research 开发的定理证明器 Arend。该语言面向在单值基础框架下形式化数学,侧重构造性数学,基于带立方语法的同伦类型论变体。它提供强大的类与记录系统,并配有 IntelliJ 插件作为集成开发环境,主库 arend-lib 包含构造代数、拓扑和综合同伦论的形式化内容。

Fedor Part, Valery Isaev, Sergey Sinchuk

arXiv cs.AI · cs.CL · cs.LG

TxnQA: Benchmarking Analytical Reasoning and Evidence Grounding over Transaction Event Sequences

说明TxnQA:面向交易事件序列的分析推理与证据溯源基准测试

简介该论文提出 TxnQA,一个用于交易事件序列分析问答的基准,包含 27 个任务族、81 个模板,以及一个 5 个场景的欺诈风险推理套件。基准基于合成且经过隐私处理的交易数据,标准答案由程序计算。研究发现,微调能让模型较好地遵循输出格式,但算术计算仍是瓶颈,同时模型在给出正确结论时常难以准确归因证据。

Rabimba Karanjai, Yiming Bian, Yun-Shiuan Chuang 等

arXiv cs.HC · cs.AI · cs.CY

ValiAssist: Scaling LLM-generated Programming Feedback Validation by Demonstration

说明ValiAssist:通过示范规模化验证大模型生成的编程反馈

简介该论文提出 ValiAssist,一个通过示范进行验证的系统。它从教师对 AI 生成反馈的修改中推断可复用的验证逻辑,并让教师检查和完善这些逻辑,再应用到其他学生提交上。在与 16 位教师的对比研究中,使用该系统后,反馈与教学意图的一致率从 57% 提高到 91%,纠正问题标准的准确率从 32% 提高到 77%。

Xiaohang Tang, Rehema Abulikemu, Peng Gao 等

arXiv cs.CL · cs.AI

Target-Aware Curation of Hallucination Stress Tests for Large Language Models

说明面向大语言模型幻觉压力测试的目标感知式题目筛选与编辑

简介该论文提出一种迭代编辑基于原文的种子提示的方法,以暴露目标模型的幻觉。LLM编辑器依据目标模型的回答和评判器的评分与解释修改提示,在500个种子、七个数据集上测试了内在与外在幻觉。结果显示编辑显著提高了严重程度评分,且不同模型对同一组提示的失败模式差异明显。

Jiho Lee, Bingquan Zhang, Lin Ting Liang 等

arXiv cs.CL

Diagnostic Analysis for Large Language Model Reasoning

说明大语言模型推理的诊断分析:检验推理图结构是否可靠

简介这篇论文研究大语言模型生成的推理结构(如推理链和推理图)是否可靠。作者在开放式多跳问答中提出两阶段诊断评估:第一阶段检验构建推理图的不同能力,发现图的可靠性随拓扑结构、提示设计和模型系列而变化;第二阶段以不确定性估计为下游测试,表明图上的计算对上游图错误敏感,并且把图结构仅作为提示上下文时收益很小,但在用标准答案图时,能更好地用置信度区分正确与错误答案,并支持节点级诊断。

Xinyu Liu, Dongqi Fu, Jun Wu

★★★★☆ 值得关注
arXiv cs.CL 有代码

Predicting Linear Relational Decodability Without the Relation

说明无需关系信息即可预测线性关系可解码性

简介线性关系嵌入(LRE)用仿射函数近似语言模型从主体到客体的映射,但不同关系的忠实度差异很大。作者提出“实体透镜”,仅用实体类型和中性提示训练,不依赖具体关系,在Olmo-3-7B上的28种关系中与LRE忠实度的相关系数为0.7355(p<0.01)。这表明线性可解码性主要取决于主体表示本身携带的信息。

看点提出实体透镜,用无关关系的读出预测线性可解码性,并指出数据集问题,有新意;证据限于单一模型与28个关系。

Jonas Rohweder, Adrian M\"ulthaler, Faridoun Mehri 等

arXiv cs.CL 有代码

CEFR-oriented Russian Text Simplification Using Reinforcement Learning

说明基于强化学习的俄语文本简化(面向CEFR等级)

简介本文研究使用基于偏好的优化算法对俄语文本进行可控自动简化,目标是将文本调整到A1、A2和B1水平。作者用拒绝采样和直接偏好优化(DPO)微调YandexGPT,并比较多种训练配置。最佳模型的目标等级准确率为87.15%,人工评估显示75%的简化结果符合目标水平,但A1仍是最具挑战的等级。

Kristina Mustakova, Alexey Sorokin

arXiv cs.AI 有代码

EGI-BENCH: An Enterprise General Intelligence Benchmark Suite

说明EGI-BENCH:企业通用智能基准套件

简介本文发布了统一的大语言模型智能体基准套件EGI-BENCH,整合了八个面向企业的智能体基准,并通过单一命令行接口运行,提供快速和深度两种运行预算模式。作者还定义了六维度的企业通用智能(EGI)评分框架,各维度由细粒度子指标汇总而非基准平均值。论文报告了14个主流LLM在快速模式下的结果,总分从39.6到65.6不等,且没有单一模型在所有能力维度上占优。

Zhiwei Liu, Zhujun Lan, Jielin Qiu 等

arXiv cs.CL · cs.AI

MMedAgent-Plus: Scaling Multimodal Medical Agents across Modalities, Tasks and Workflows

说明MMedAgent-Plus:面向多模态、多任务与多流程的医学智能体扩展研究

简介本文提出 MMedAgent-Plus,一个多模态医学工具调用智能体,由视觉-语言规划器和 18 个专业模型(覆盖 12 项任务、8 种模态)组成。规划器选择并依序调用专业模型,再基于其输出综合生成回答。作者在 32 个公开医学基准的 208,928 条样本上进行指令微调,并在保留样本上分别评估工具编排、回答综合与端到端执行。文中报告其端到端最终答案准确率为 0.98,与最强专业模型相当,高于最强基线(0.28)。

Ruoxin Wang, Yuanting Pan, Binxu Li 等

arXiv cs.IR · cs.LG

Neighborhood-Aware Unlearning for Generative Recommendation

说明面向生成式推荐的邻域感知遗忘方法(NAU)

简介生成式推荐通过自回归生成语义标识符(SID)来预测物品,而不同语义相近的物品会共享部分标识符词元。本文指出,当需要从训练中删除某些交互(如注入的垃圾数据)时,遗忘更新可能无意中影响被遗忘交互邻域内物品的预测,且这种局部退化会被全局指标掩盖。作者提出邻域感知遗忘方法 NAU,显式控制被遗忘物品邻域上的概率质量,在三个数据集和四种 SID 分词器上取得了与重训练参考接近的效果。

Pierre Lubitzsch, Yubao Tang, Maarten de Rijke 等

arXiv cs.AI · q-bio.BM

Magnolia: A Persistent-Memory Agent Framework for Computational Chemistry

说明Magnolia:面向计算化学的持久记忆智能体框架

简介该论文提出 Magnolia,一个结合大语言模型的持久记忆智能体框架,可串联对接、分子动力学和量子化学等计算流程,并整合实验记录与对话日志。其采用三层记忆系统,经人工确认的经验可提升为跨项目规则以指导后续工作。作者在四个案例中对其进行了验证,结果显示带记忆的运行在对接配置检查等任务上表现更好。

Tao Jiang, Benjamin Navet, Yousouf Taghzouti 等

★★★★☆ 值得关注
arXiv cs.CL

Which Agent's Skill Should Change? Group-Relative Credit Assignment for Evolving Multi-Agent Teams

说明哪个智能体的技能应该改?面向演进型多智能体团队的群体相对信用分配

简介该论文提出GRSE方法,让协作的语言模型智能体在不更新权重的情况下改进可复用技能。它将团队奖励归因到具体智能体与技能组合上:同一问题在相同技能库下多次执行并相互对比,同时对失败进行结构化诊断。在HotpotQA和LoCoMo基准上,GRSE在多数类别上优于此前的MASkills方法,在多跳问题上提升最大,并对被植入有害技能的技能库表现稳健。

看点提出组内相对比较的技能信用分配,解决存在即责任的问题;在HotpotQA与LoCoMo上对比最强基线并做污染技能鲁棒性实验,证据较充分。

Yanan Ma, Yang Wang, David Le 等

arXiv cs.AI

Sparse RL Relaxation for LLM Reasoning

说明面向大模型推理的稀疏强化学习松弛方法(SpaRLax)

简介该论文针对链式思维推理中的软 token(连续表示)训练问题,指出以往强化学习把软 token 当作马尔可夫决策中的动作,无法沿时间步传播梯度。作者提出 SpaRLax,利用软推理的可微性,并采用自适应稀疏的 entmax 方法,在确定时截断长尾噪声、在不确定时保留多个候选。作者称在九个推理基准上平均表现优于基线方法。

Jiabin Fan, Matthias Lindemann, Zita Marinho 等

arXiv cs.LG

A Theoretical Analysis of Environment-Aware Out-of-Distribution Detection for Vision-Language Models

说明视觉-语言模型中环境感知的分布外检测:理论分析

简介本文研究持续学习的视觉-语言模型在依次面对多个环境时如何识别不属于当前环境的输入。作者提出基于跨环境概念匹配(MCM)的检测分数,利用前一环境的类别文本辅助判断,并给出理论保证:在特定条件下误报率不高于标准MCM检测器。文章还区分了软、硬两类分布外环境,并分析了级联检测中误报率随时间的变化。

Salimeh Sekeh, Mary Wisell

arXiv cs.CV · cs.AI

Language Guidance for Supervised Vision Training: An Empirical Study of Generalization

说明视觉监督训练的语言引导:泛化能力的实证研究

简介该论文研究能否用预训练语言模型作为轻量辅助监督来训练视觉模型,无需配对图文数据、提示工程或对比目标。作者比较了显式语言引导(ExLG)与隐式语言引导(ImLG)两种形式,并在分布内、分布外、捷径与伪相关抵抗、纹理与形状偏好、对抗鲁棒性和持续学习六类泛化场景中进行评估。结果显示两者各有优势:显式引导在分布内、低数据量和持续学习的记忆保持上更有益,隐式引导则在捷径敏感场景和较强对抗扰动下更有用。两种方法都只增加极少参数和训练开销。

Shruthi Gowda, Nikita Jain, Elahe Arani 等

arXiv stat.ML · cs.LG

Diffusion Score Estimation with Shallow Neural Networks: Regularity, Approximation, and Finite-Sample Rates

说明用浅层神经网络估计扩散模型的分数函数:正则性、逼近与有限样本速率

简介本文研究在R^d中使用去噪分数匹配和有限宽度浅层ReLU网络估计Ornstein–Uhlenbeck扩散分数的样本复杂度,并分析其对逆向过程采样的影响。作者在初始密度满足弱可微性和多项式增长条件下,给出了对每个固定时间均一致的Sobolev界,并建立了路径范数约束经验最小化器的高概率风险界。在额外假设下,得到固定时间t>0的平方L²(P_t)分数风险为Õ(n^{-(d+3)/(2d+3)}),并进一步得到生成分布与原始分布之间总变差误差为Õ(n^{-(d+3)/(4d+6)})。

Fan Liu, Yahong Yang, Wei Zhu

arXiv cs.CL · cs.AI

LoWAgent: A Low-Resource Multilingual Benchmark for Web Agents

说明LoWAgent:面向网页智能体的低资源多语言基准测试

简介该论文提出LoWAgent基准,用于评估网页智能体在英语及印地语、孟加拉语、乌尔都语、阿姆哈拉语等低资源语言网站上的任务表现。基准包含6个本地化网站、5种语言共3000个任务实例,测试了3个闭源和5个开源模型。结果显示模型在低资源语言上的表现低于英语,开源模型下降更明显;对Cookie提示和广告弹窗等界面干扰也会进一步降低表现。在少量LoWAgent轨迹上进行后训练可显著提升低资源语言的任务表现。

Ocean Monjur, Daud Ahmad Nisar, Shahriar Kabir Nahin 等

arXiv cs.AI

LSA-PAST: Layer-Specific Adaptation and Prototype Transport for Compositional Incremental Learning

说明LSA-PAST:面向组合式增量学习的分层适配与原型迁移方法

简介该论文针对组合式增量学习问题,即视觉概念由状态与物体等基本元素组合而成,新组合不断出现时模型需保留旧知识。作者提出LSA-PAST方法,在冻结的ViT中加入分层的LoRA适配器,并通过无需回放数据的仿射变换,把锚定的旧原型映射到当前适配器空间。实验表明该方法在准确率与遗忘之间的权衡上达到当前最优水平。

Kyle Stein, Andrew Arash Mahyari, Guillermo Francia III 等

arXiv cs.CL

The Culture Within: Towards Mechanistic Understanding of Cultural Reasoning in LLMs

说明文化之内:面向大模型文化推理机制的理解

简介本文提出 CultureLens 基准,包含 75 个国家的 9,261 个场景,用于考察大模型如何使用文化信息。研究发现,陈述相反的规范会使对齐答案下降 32 至 47 个百分点,而用有监督微调加入相反规范的样例后,对齐答案在相反规范下有所回升,且包括未见过的国家。

Samee Arif, Furkan Danisman, Angana Borah 等

arXiv cs.CL · cs.SD

Preference-Aware Pareto Steering for Multi-Task Speech LLMs

说明面向多任务语音大模型的偏好感知帕累托调控方法

简介语音大模型同时执行语音识别、时间戳预测和语音翻译等任务,联合训练会产生任务间的权衡,但固定损失权重的常规训练无法按部署偏好控制这种权衡。论文提出EA-SURF方法,在训练过程中根据各任务相对参考值的表现动态调整加权系数,使最终的任务权衡符合期望偏好。实验中,该方法在六个三目标请求上逐步趋近目标,相比固定损失权重,端点包含的归一化超体积提高了17.8%。

Liuyuan Jiang, Vishal Sunder, Samuel Thomas 等