AI 算法 · 2026年9月28日(周一)

机器学习、人工智能、自然语言处理、计算机视觉、多智能体。

arXiv cs.AI

PDE-JEPA: Predictive Representation Learning of Latent Dynamics Modeling for Parametric PDEs

说明PDE-JEPA:面向参数化偏微分方程的隐空间动力学预测表示学习

简介本文研究以预测式表示预训练替代基于重建的学习,用于参数化偏微分方程(PDE)。作者提出 PDE-JEPA:先用掩码隐变量预测训练编码器,再通过几何投影器使隐轨迹几何与物理场演化几何对齐,最后用物理结构化的隐预测器将动力学分解为与参数无关的演化项和与参数相关的响应项。在九个常用 PDE 基准上,该方法在分布内平均优于现有最先进方法 33.4%,外推到未见参数时平均提升 51.4%。

Zhentao Tan, Jianrong Zhang, Ruijie Quan 等

arXiv cs.AI

RSI-Router: Evolving Subtask-Level LLM Routing and Skills for Cost-Efficient Agents

说明RSI-Router:面向低成本智能体的子任务级大小模型路由与技能自演化

简介该论文提出 RSI-Router,一种通过递归自我改进来构建子任务级模型分配和模型专属技能的路由框架,用于降低大语言模型智能体的推理成本。在 DeepSeek-V4.1-Flash 与 Qwen3.5-9B 之间路由,它在五个智能体基准上以约一半推理成本(48.3%)持续超过仅使用 DeepSeek 的基线,并在性能-成本帕累托前沿上优于 9 种路由方法。

Hao Li, Hangfan Zhang, Zhiyao Cui 等

arXiv cs.LG

Learning Propagation Geometry from Message-Passing Feedback

说明从消息传递反馈中学习传播几何

简介图神经网络需要学习局部几何,以调整如何比较和整合邻域信息。本文提出GeoF,一种循环框架,通过消息传递反馈同时更新节点特征和传播几何。每个节点维护局部对称正定几何,并由结构感知的原型图谱初始化;几何决定邻域权重,并在聚合前通过三角框架传输将消息映射到目标节点的局部坐标。实验显示,GeoF在基准数据集上持续优于当前先进的图神经网络基线。

Yingxu Wang, Kunyu Zhang, Xinwang Liu 等

arXiv cs.AI

FromPitch2Board: Benchmarking LLM Agents in Long-Horizon Football Management

说明FromPitch2Board:在长周期足球管理中评测大模型智能体

简介该论文提出 FromPitch2Board,一个确定性的足球管理基准,在同一模拟器上通过受控对比,分别考察基础模型、智能体框架、职责范围、比赛控制粒度和时间跨度等因素。作者评测了四个基础模型与四种智能体框架。结果显示,职责扩大后,GPT-5.6 的表现在最终职责边界处明显下滑,跳过决策率从 1.1% 升至 57.9%。

Peiyu Zang

arXiv cs.AI · cs.LG

ResonAct: Streaming Metrics for Runtime Diagnosis and Self-Healing in Multi-Agent Systems

说明ResonAct:用于多智能体系统运行时诊断与自愈的流式指标框架

简介论文提出ResonAct,一个运行时自愈框架,通过流式运行指标持续监控多智能体系统,定位故障根因并选择修复策略。它作为外部控制层运行,无需修改应用智能体。实验显示,在企业工作流与AppWorld基准上,策略驱动的修复可将任务完成率提升至多10.00个百分点。

Tarun Chintada, Neelamadhav Gantayat, Ishaan Romil 等

arXiv cs.CV · cs.AI

Triangular Resampling for Long-Horizon Motion Generation

说明用于长时程动作生成的三角重采样

简介本文提出三角重采样(TR),一种用于缓解运动扩散模型长时程误差累积的后训练方法。它在训练中模拟推理时模型自身生成的中间状态,并用真实数据做限幅,以减少两者不一致带来的漂移。在 HumanML3D 测试提示下生成 120 秒动作的实验中,TR 相对无回放的同等后训练,FID AUC 降低 40.9%,FID 退化斜率降低 55.3%。

Kunhang Li, Yiyi Cai, Xiangyue Zhang 等

arXiv cs.RO · cs.AI

Sufficiency of Zeroth-Order Reward Shaping for Policy Gradient in Stabilization Control

说明零阶奖励塑形对稳定控制中策略梯度的充分性

简介本文研究机器人深度强化学习中,稳定控制任务的奖励函数应包含哪些信息。作者比较了零阶(位形)与一阶(速度)信息的作用,发现策略梯度方法无需一阶奖励项即可完成稳定任务,而加入这类项反而可能随其尺度增大带来严重的敏感性。结论是奖励函数需对目标相关坐标保持零阶完整,策略观测中仍需包含一阶状态。

Yisheng Zhang, Tao Wang, Sicun Gao

arXiv cs.LG

Predicting Delayed Train Trajectories on the Dutch Railway Network: Explainable AI Evaluation of Topological, Operational and Weather Features with Tree Based Ensemble Methods

说明荷兰铁路列车延误预测:基于树集成方法的可解释人工智能评估

简介本文利用可解释的树集成模型,基于荷兰全网铁路数据,研究拓扑、天气和运营特征对列车延误的预测效果。研究发现,同月内预测效果较好,但跨月的未来预测性能会系统性下降。SHAP与离散度分析显示,这一下降与环境特征的波动及统计目标定义的不稳定有关。作者认为,仅增加特征并不能解决长期预测问题,需要转向具有季节感知能力的动态模型。

Jia Long Bao, Ali Mohammed Mansoor Alsahag, Seyed Sahand Mohammadi Ziabari

arXiv cs.CL · cs.AI 有代码

Using LLMs to Detect LLM-Generated Texts: A Cross-Generation Analysis

说明用大模型检测大模型生成文本:跨代际分析

简介本文系统评估了15个跨三代的大语言模型,让它们既充当文本生成者又充当检测者,判断文本是否由AI生成。研究使用1000篇人写文本和15000篇模型生成文本作为基准,共收集超过233000次二分类判断及其自然语言解释。结果显示,检测效果主要取决于检测器本身的能力而非生成器来源,但较新模型生成的文本更难被检出。

Haiyue Yuan, Jie Guo, Weidong Qiu 等

★★★★☆ 值得关注
arXiv cs.CV

Unified Trajectory Matching Policy Optimization: Diverse T2I Generation and VLA Generalization

说明统一轨迹匹配策略优化:多样化文生图与视觉-语言-动作模型泛化

简介本文提出统一轨迹匹配策略优化(Uni-TMPO),一种适用于扩散与流策略的强化学习后训练框架。它将奖励转化为轨迹组内的目标分布,并通过前向KL优化使策略分布与之匹配,以避免仅追求最高奖励导致的模式坍塌。实验显示,该方法在文生图任务中获得更高奖励并兼顾多样性与效率,在视觉-语言-动作模型上也提升了对未见任务和场景的泛化能力。

看点提出以前向KL匹配轨迹目标分布替代奖励最大化,缓解模式崩溃并统一扩散与VLA策略;实验覆盖T2I与VLA及真机评估,证据较充分。

Zhiyuan Ma, Jiaming Li, Lingzhen Li 等

arXiv cs.AI

VCN-Bench: A Video-Contextualized Navigation Benchmark for Spatial Reasoning over Prior Visual Experience

说明VCN-Bench:基于先前视觉经验的视频情境导航空间推理基准

简介论文提出VCN-Bench,一个用于评估多模态大模型在先前视频经验上进行闭环空间推理的导航基准。智能体需依据覆盖起点和终点的先前视频,推断指令指定的目标并朝其导航。基准基于Matterport3D构建,包含五种指令类型、10万条训练片段和1250条评估片段。实验显示导航表现有限,且即使正确识别目标,仍经常出现导航失败。

Siqi Zhang, Meng Wei, Chenyang Wan 等

arXiv cs.AI

Jailbreak Context Lingers: Divergent Safety Routing and Its Cross-Task Predictability in Tool Agents

说明越狱语境持续影响:工具型智能体中分化的安全路由及其跨任务可预测性

简介本文研究大模型作为工具调用智能体时,越狱之后残留的上下文如何影响后续行为。作者构建了配对续写框架,覆盖192个父任务与42个领域,并在八个智能体上分析了12,148组续写对。结果显示,相同的安全反馈会因模型不同而产生截然不同的行为:不安全轨迹被拉回合法完成、持续未授权执行,或对良性任务过度拒绝。通过分层激活修补发现,因果效应集中在最后几层;在关键层上的表征与宏观路由结果相关,并能改变具体的工具操作;局部干预特征还能在留一父任务的评估中,对完整轨迹路由结果给出一定的预测信号。

Xi Wang, Songlei Jian, Yiming Zhang 等

arXiv cs.RO · cs.CV · cs.LG

Natural State-Prediction Accuracy can Hide Weak Controlled Responsiveness in VLA Readouts

说明自然状态预测准确率可能掩盖VLA读出中较弱的受控响应性

简介该论文指出,在视觉-语言-动作(VLA)模型内部表示中准确解码物体状态,并不能证明预测对目标物理状态的变化有真实响应。作者提出一个评估框架,把预测准确率、目标状态响应性和情境稳定性区分开来,并用与机器人情境交叉的物理验证观测进行测试。研究发现,自然轨迹上的高准确率可以与受控条件下较弱的目标状态响应性并存;对表示、读出器和训练数据的比较与干预也显示三者提供不同的诊断信息。

Hyungjoon Kim, Wonbin Son, Mi Young Lee 等

arXiv cs.LG

AgentPerfBench: A Benchmarking and Evaluation Suite for Inference Performance of Agentic LLMs

说明AgentPerfBench:面向智能体大模型推理性能的基准测试与评估套件

简介本文提出 AgentPerfBench,用于评估智能体大模型的推理性能。现有基准多针对单轮聊天场景,与编程、终端执行等多轮工具调用场景存在差距。该套件基于 SWE-Bench 和 TerminalBench 等真实调用轨迹,并结合标准聊天基线,同时可按真实轨迹的输入长度、输出长度和轮数分布生成合成负载。论文还指出,部分现有基准因未考虑上下文增长及未在硬件饱和状态下测量而不能准确反映真实硬件性能,并利用 Nsight Compute 轨迹构建多维屋顶线模型分析瓶颈。

Cheuk Hang Lau, Zeyu Cao, Kevin Wong Cheuk Yin 等

arXiv cs.CV

V-Gym: Enhancing Agentic Visual Reasoning via Skill-Data Co-Evolution

说明V-Gym:通过技能与数据协同演化增强智能体视觉推理

简介该论文提出V-Gym框架,让智能体从执行轨迹中迭代地同时演化程序性技能与多模态练习数据。技能更新仅在验证性能提升时保留,数据则针对轨迹中发现的瓶颈生成并经质量检查后扩充题库。实验显示,在多个多模态推理基准和多种骨干模型上均优于基线,演化出的技能可跨领域和模型泛化。

Bei Yan, Yuecong Min, Jie Zhang 等

arXiv cs.LG

SOLAR: A State-Driven Online Learning Rate Scheduler for LLM Pretraining

说明SOLAR:面向大语言模型预训练的状态驱动在线学习率调度器

简介该论文提出SOLAR框架,用于大语言模型预训练中的学习率在线调整。它以预设调度为基准,为各参数组学习有界的、依赖状态的残差修正,并通过断路器机制在罕见的不安全动作后恢复训练。论文报告,在60M至1B的稠密模型及两种MoE设置上,SOLAR的最终困惑度优于调优后的静态调度和自动学习率调节器。

Qiulin Shang, Binyu Wang, Yongqi Qiao 等

arXiv cs.LG

QuantForge: Discovering Residual Decompositions for MXFP4 Post-Training Quantization

说明QuantForge:为 MXFP4 训练后量化发现残差分解方法的系统

简介该论文提出 QuantForge,用于自动发现大语言模型 MXFP4 W4A4 训练后量化的算法。系统记录相互竞争的解释,选择能区分它们的对照实验,并检验后续代码是否落实结论,从而逐步修正程序。基于此发现的固定量化器 HiRes 在七项任务中取得了最低的七模型 Robust Fit(0.09300)。

Qiulin Shang, Zhoutong Wu, Jie Hu 等

arXiv cs.LG · cs.AI

From Preference to Reciprocity: Decentralized Matching with Empirically Grounded LLM-agent Based Modeling

说明从偏好到互惠:基于经验校准的LLM智能体去中心化匹配建模

简介本文提出一种动态二部匹配框架,将大语言模型(LLM)智能体与上下文多臂赌博机结合,在模拟的中国婚恋市场中进行去中心化匹配。智能体分别评估自己喜欢谁、对方是否可能回应,无需事先掌握全市场偏好排序。在50×50匹配实验中,Bandit-UCB的平均互惠福利高于Gale-Shapley,阻塞对数量在LLM-ABM策略中最少。

Wangxuan Fan, Xiaoyu Nie, Zhoutian Shi 等

★★★★☆ 值得关注
arXiv cs.CL · cs.AI

Fair Fact-Checking: Closing the Cross-Lingual Gap in LLM Factual Judgement with RoSh

说明公平事实核查:用RoSh缩小大模型事实判断的跨语言差距

简介该论文测试了八个模型在八种语言的1500条百科事实陈述上的判断表现,发现英语表现普遍优于其他语言,较小模型差距最大。作者提出RoSh方法,在残差流上按语言做平移与旋转,无需训练即可提升所有模型,平均缩小约75%的差距。

看点发现模型内部已编码正确答案而输出失败,并提出无需训练的闭式残差流旋转方法,新颖;多模型多语言实验与对照充分,影响较大。

Muhammad Ahmad, Fatemeh Seyedin, Adrian Weller 等

arXiv cs.LG · cs.AI · cs.CV

Learning What to Recall: Adaptive Multi-Cue Episodic Memory for World Models

说明学习该回忆什么:面向世界模型的自适应多线索情景记忆

简介世界模型依据当前经验和动作预测未来观测,而预测有时需要依赖很久以前的观测。本文提出未来感知回忆框架(FAR),训练时以已回忆上下文条件下真实未来的对数似然(由扩散预测损失近似)衡量预测效用,据此训练一个推理时不接触未来信息的检索器,并从时间、位姿、视觉、音频等线索中为每个查询自适应选择可信线索。在三种互补设置中,FAR优于手工设计的回忆方法。

Beomsu Kim, Chieh-Hsin Lai, Bac Nguyen 等

arXiv cs.LG

FestDPO: Few-step Generator Alignment with Direct Preference Optimization

说明FestDPO:用直接偏好优化对齐少步生成模型

简介少步生成模型能用很少的函数计算次数生成高质量样本,但样本的某些性质未必理想。本文提出FestDPO,将直接偏好优化(DPO)扩展到少步生成模型,通过经验样本的非参数似然估计,使基于样本的DPO损失可计算。实验显示,该方法在文生图和蛋白质骨架生成两个任务中均优于偏好优化基线。

Jaewoo Lee, Kyuil Sim, Hyeongyu Kang 等

arXiv cs.CV · cs.AI

Evidence-Aligned Multimodal On-Policy Self-Distillation for Fine-Grained Visual Understanding

说明基于证据对齐的多模态在线策略自蒸馏,用于细粒度视觉理解

简介该论文针对模型需要识别复杂图像中细小细节的细粒度视觉理解问题,提出证据对齐的多模态在线策略自蒸馏方法EAD。方法保留由证据裁剪图条件化的教师作为目标,同时构建单独的证据参考,用于对教师修正进行加权:以当前学生模型的预测变化来排除滞后模型状态的影响,并遮蔽原图中的证据区域以保留其他视觉上下文。EAD按各教师修正与该参考的余弦对齐程度加权,保留对齐的修正并降低其余修正的权重。论文称该方法仅保留密集OPSD约6%的监督量,但仍持续优于先前的最先进方法。

Nanxing Hu, Qiwei Yan, Jinchao Zhang 等

arXiv cs.MA · cs.LG

Agentic Federated Learning: Rule-Based Client and Server Agents for Adaptive Training

说明智能体联邦学习:基于规则的客户端与服务器智能体,用于自适应训练

简介联邦学习让多个分布式客户端在不共享原始数据的前提下协同训练模型。本文提出智能体联邦学习(AFL)框架,在客户端和服务器端分别加入轻量级的规则型自主智能体:客户端智能体动态调整本地训练参数、控制参与并评估更新可靠性,服务器端编排智能体进行质量感知的客户端选择与自适应聚合。在 CIFAR-10 上的实验显示,该框架在 IID、非 IID 及含噪客户端设置下,优于 FedAvg 和 FedProx 等基线。

Deepthy K. Bhaskar, VP Binu, B Minimol

arXiv eess.SP · cs.LG

Hierarchical Clustering and Signal Denoising on Digraphs

说明有向图上的层次聚类与信号去噪

简介本文将有向图表示为由邻接矩阵导出的厄米矩阵,同时刻画图的连通性与边的方向。基于该矩阵的谱分解,提出结合k-means的有向图聚类算法,并递归应用以得到层次化的嵌套划分。此外,利用各聚类的入度与出度构造多层样条拟插值,对含噪图信号进行去噪。实验表明该方法在聚类与信号恢复上均有较好表现。

Yi Wang, Sippanon Kitimoon, Hrushikesh N. Mhaskar 等

arXiv stat.ML · cs.LG

Two-Timescale Fine-tuning Provably Learns New Features for Two-Layer ReLU Networks

说明双时间尺度微调可证明地为双层ReLU网络学习新特征

简介论文研究在预训练权重基础上微调的理论问题,采用高斯多指标设定,教师网络含m+1个特征,其中m个在预训练中学到,另有一个需在微调中学习。作者证明,对双层ReLU网络,让外层权重更新速度无限快于隐藏层的双时间尺度训练,能学到新的任务特定特征,同时保留预训练特征。所需微调样本数为O(d),与预训练特征数量无关;而随机初始化在相同样本量下无法恢复目标参数。

Etienne Boursier, Nicolas Flammarion

arXiv cs.RO · cs.LG

On the Numerical Reliability of Differentiable Physics-Based Optimization for Robotic Material Manipulation

说明可微分物理优化在机器人材料操作中的数值可靠性研究

简介本文研究基于可微分物理(以物质点法MPM模拟弹塑性与颗粒材料操作)的梯度计算可靠性。作者发现,GPU上多对一求和的顺序会影响长时程梯度,甚至使某参数梯度符号反转;长时程模拟中有限差分检验也变得不可靠。此外,观测与损失函数的定义会改变优化行为和结果。论文建议采用可复现的累加方式、比较扰动损失变化与重复运行差异的有限差分验证,并明确报告目标函数构造。

Xintong Yang, Minglun Wei, Yu-Kun Lai 等

★★★★☆ 值得关注
arXiv cs.SE · cs.AI 有代码

Codoku: Renewable Program-Reasoning Challenges for Frontier Coding Agents

说明Codoku:面向前沿编程智能体的可持续更新程序推理挑战基准

简介论文提出Codoku(代码数独)基准,要求求解者在部分程序中填入带类型的空缺,使其满足全局静态与动态约束(如指定的控制流图与执行路径)。由于部分程序无法执行、有效填充稀疏,工具调用与枚举都难以替代推理。题目可从零合成并保证可解。在300道题上评估五个前沿模型,大题上即便是商用模型也仅解出约一半。

看点提出可再生的程序推理基准,用语义具体化从零合成谜题并保证可解,针对智能体可执行程序作弊的问题有新意;基于五个前沿模型在300个谜题上的评测,证据较充分但规模和对比有限。

Cong Li, Hao Sun, Zenan Li 等

arXiv cs.CL

Rewarding Novel Deductions: Solver-guided Process Supervision for Logical Reasoning

说明奖励新颖推理:基于求解器的逻辑推理过程监督

简介论文提出SPRING方法,用SMT求解器在训练时逐步验证大模型的中间推理步骤,只奖励逻辑有效、与当前状态一致且能带来新推论的步骤,并惩罚矛盾或无信息的步骤。在ZebraLogic、AR-LSAT和Knights and Knaves三个逻辑推理基准上,SPRING在四个大模型上的表现优于基础模型、仅看结果的奖励基线和Logic-LM。

Muhammad Asif Ali, Wenqing Wang, Huan Wang 等

arXiv cs.CV

CapField-OPD: Learning Continuous Capability Fields via Joint-Anchored Multi-Teacher On-Policy Distillation for Flow Models

说明CapField-OPD:面向流模型的联合锚定多教师在线策略蒸馏,学习连续能力场

简介该论文提出CapField-OPD框架,用于把多个针对不同能力训练的教师模型整合为一个学生模型。它通过显式的能力坐标构造连续能力场,让能力调用不再依赖提示词的语义类别,并支持推理时连续调节能力强度。实验涉及组合生成、文字渲染和视觉美学任务。

Pengyang Ling, Jiazi Bu, Yujie Zhou 等

arXiv cs.LG · cs.GT

Minimax Last-Iterate Convergence in Matrix Games with Observed Actions

说明对战双方动作可见的矩阵博弈中的极小极大末次迭代收敛

简介本文研究双人零和矩阵博弈中,收益仅以赌博机反馈形式给出、但对手动作可见的情形下的末次迭代收敛问题。作者提出一种算法,在每一轮 t 以高概率达到 Õ(√(d/t)) 的对偶间隙,相比此前最优结果在动作数 d 上的依赖改进了 d^{3/2} 倍,并与赌博机下界匹配。该算法每轮仅需 O(d) 的时间与内存。

Yuheng Zhang

★★★★★ 值得关注
arXiv cs.AI · q-bio.QM

A General Harness for Protein Foundation Model Fitness Prediction

说明面向蛋白质基础模型适应度预测的通用增强框架

简介该论文提出VenusREM-Harness(VRH),一种模型无关、无需训练的检索增强突变框架,用于提升蛋白质基础模型的适应度预测。它将冻结模型的评分与多序列比对(MSA)证据按模型不确定性融合,并基于结构置信度和溶剂暴露度进行背景校正与分数收缩。在1,211项实验、310万个变体的三个基准上,所有71种配置的Spearman相关性平均提升0.073;基于VRH构建的VenusREM2在ProteinGym上的平均Spearman达0.556。

看点提出模型无关、免训练的检索增强突变框架,融合MSA证据与结构置信度;在1211个实验、310万变体上验证,平均Spearman提升0.073,影响较广。

Yang Tan, Qijia Tian, Gangyu Sun 等

arXiv cs.AI · cs.LG

OmniTide: Co-Designing Algorithms and Systems for Efficient On-Device Omni-LLM Streaming

说明OmniTide:面向端侧全模态大模型流式推理的算法与系统协同设计

简介该论文针对在设备端进行全模态流式推理时,KV缓存随多模态数据持续增长而耗尽内存和算力的问题,提出了名为OmniTide的算法与系统协同设计方案。算法层面的OmniPick依据单元边界和模态重要性保留关键上下文,系统层面的OmniPage则按保留概率对缓存分块并动态压缩稀疏token。论文报告在三个流式基准和两种消费级设备架构上取得最高12.72倍的内核加速和2.40倍的流循环延迟降低,在StreamingBench上准确率较滑动窗口基线最多提高18.0个百分点。

Zongshang Shen, Wangsong Yin, Daliang Xu 等

arXiv cs.CV 有代码

Revitalizing Medical Time Series with Vision-Informed Retrieval: A Vision-Language Perspective

说明借助视觉信息检索振兴医学时间序列:视觉-语言视角

简介医学时间序列常用于临床分类任务,但现有方法大多只把它当作数值序列处理,较少利用波形图中直观可见的形态信息。本文提出视觉信息检索方法ViRe,用冻结的视觉-语言模型从波形图提取的表示作为形态感知查询,从原始数值特征中检索相关证据。在六个公开基准上,相较先前最优方法整体相对提升6.42%,并优于十个已有基线。代码已在GitHub公开。

Guoqi Yu, Juncheng Wang, Shujun Wang

arXiv cs.CV

DirectUV: Image-Conditioned UV Texture Generation with Surface-Aware Positional Encoding

说明DirectUV:基于图像条件、带表面感知位置编码的 UV 贴图生成方法

简介该论文提出 DirectUV,在预训练图像 VAE 的潜在 UV 空间中用扩散 Transformer 生成三维网格的 UV 贴图,输入为单张图像和粗略 UV 图。其核心是表面感知位置编码(SAPE),用由 UV 到表面对应关系得到的三维表面坐标替代二维网格位置编码,使注意力依据三维位置邻近度交互,从而改善接缝和不连通 UV 岛之间的一致性。实验称其纹理比基线更清晰、整体更一致,尤其在被遮挡和未见视角区域改进明显。

Jiantao Lin, Yingjie Xu, Mingzhi Sheng 等

arXiv cs.LG · cs.CL

When Can Attention Heads Be Statically Defined?

说明哪些注意力头可以静态定义?

简介该论文研究部分注意力头在不同输入间学习到相似模式的现象。作者提出选择性注意力冻结(SAF)方法,挑选注意力模式方差较低的头,在训练中途用拟合的softmax后均值替换其注意力权重,并以绝对位置与相对距离偏好表示这些固定模式。报告称替换25%注意力头后,在124M参数和4K上下文下训练优化器更新快1.056倍,困惑度上升0.77%。

Weixian Waylon Li, Yintao Tai, Marcio Fonseca 等

arXiv cs.AI

Beyond Skill Evolution: Self-Evolving Context Management Policies for Long-Horizon Agent Harnesses

说明超越技能演化:面向长时程智能体框架的自演化上下文管理策略

简介该论文提出ContextEvo框架,通过分析长时程任务的执行轨迹,在关键决策点重建模型可见的上下文,找出与上下文相关的失败并进行有针对性的策略更新。基于开源的Pi-agent框架,ContextEvo在三个长时程任务基准上表现提升,结果与Codex、OpenCode、OpenClaw等知名智能体框架相当或更好。

Weiyuan Li, Jinghan Xu, Aili Chen 等

arXiv cs.SD · cs.AI 有代码

SEmoEdit: Probing and Harnessing the Editability of Pre-trained Speech Flows

说明SEmoEdit:探究并利用预训练语音流的情感可编辑性

简介本文研究大规模文本转语音(TTS)模型的预训练生成动态能否直接用于免训练的语音情感编辑。作者构建受控测试集,分析生成轨迹上的编辑效果,并提出SEmoEdit框架,将情感编辑表述为源情感与目标情感之间的动态速度传输。该框架统一了情感替换、情感消除和连续情感插值三种操作,无需参数更新。作者还发布了包含600个编辑案例的SEmoEditBench,实验显示其效果优于训练类和激活引导类方法。

Tianxin Xie, Pengfei Zhang, Kai Jiang 等

arXiv cs.SE · cs.AI

UNBIND: UNlearning By INference-time Directional Steering for Code LLMs

说明UNBIND:面向代码大模型的推理时方向性引导遗忘方法

简介该论文提出 UNBIND 框架,用于让代码大模型在推理阶段选择性地“遗忘”特定代码实现,而无需修改模型权重。它分别构造识别目标代码隐藏状态和抑制其复现的方向。实验显示,在多个设置中 F-BLEU 衡量的目标代码复现率降低 97.3% 至 99.1%,同时编程能力只有轻微下降。

Zhengyang Shan, Jiayun Xin, Yanjun Lin 等

arXiv cs.DC · cs.AI

Nereus: Adaptive Parallelism for LLM Post-Training

说明Nereus:面向大语言模型后训练的自适应并行系统

简介Nereus 是一个面向强化学习后训练的运行时系统,可在训练过程中根据资源、序列长度等变化,自动调整多模型在 GPU 集群上的并行执行方案。它通过成本模型决定是否切换方案,并用弹性模型单元和全局转换图来组织状态迁移。原文报告,在真实数据构建的轨迹中,平均步延迟比固定布局降低 27.7%,端到端 8B PPO 吞吐相比 OpenRLHF 和 Verl 分别提高 2.14–7.27 倍和 1.10–1.47 倍。

Songlin Jiang, Tuo Shi, Sitong Zhang 等

★★★★☆ 值得关注
arXiv cs.LG

Universal Dynamic Portfolios

说明通用动态投资组合:一种能跟踪变化基准组合的在线资产配置方法

简介本文将经典的通用投资组合(Cover, 1991)推广到动态场景,使其与任意变化的比较序列竞争。作者指出,在动态设定下,对数损失的指数凹性优势通常会消失,动态遗憾中的 √(T·P_T) 依赖不可避免。为此,作者提出了Jensen-Shannon距离和JS^q路径长度两种结构感知度量,并提出无参数的通用动态投资组合方法(UDP);在额外的有界梯度假设下,OPS算法可达到 T^{1/3}P_T^{2/3} 的更快动态遗憾率。

看点将Cover通用组合推广到动态后悔并提出结构感知度量与新算法,理论界限改进明显;证明完整但缺乏实验。

Yu-Jie Zhang, Yu-Xiang Wang, Peng Zhao 等

arXiv cs.LG

Tilted Schrödinger Bridge Matching

说明倾斜薛定谔桥匹配:对已训练的薛定谔桥做奖励倾斜后训练,以适应人类偏好或物理约束

简介薛定谔桥为无配对的领域转换提供了带熵正则化的框架。本文提出倾斜薛定谔桥匹配(TSBM),在保持源分布不变的前提下,将已学好的桥微调到奖励倾斜后的目标分布。方法基于伴随匹配推导出交替优化算法,并在MNIST数字属性与CelebA人脸属性的无配对图像转换任务上进行了评估。

Sergei Kholkin, Evgeny Burnaev, Alexander Korotin

★★★★☆ 值得关注
arXiv cs.CV

Backdoor as Probe: Test-Time Adversarial Defense for CLIP

说明后门即探针:面向CLIP的测试时对抗防御

简介该论文针对CLIP等视觉-语言模型,提出无需重新训练的测试时对抗防御方法BaP。方法通过闭式编辑某一MLP层,植入一个由防御者控制、对干净输入弱激活、对对抗扰动强激活的后门式探针,用于检测对抗输入,并对检测到的输入优化小扰动进行修正。论文报告在16个基准上平均鲁棒准确率由1.0%提升至52.3%,同时保持干净准确率,推理速度最高提升5.7倍。

看点将后门机制重新用作对抗检测探针,并以闭式模型编辑实现;在16个基准上验证,鲁棒精度从1.0%提升至52.3%,证据较充分。

Zhongqi Wang, Jie Zhang, Nie Sen 等

★★★★☆ 值得关注
arXiv cs.LG · stat.ML

Uniform Race: Parameter-Free Approximate Rejection Sampling

说明统一竞赛:无需参数的近似拒绝采样

简介该论文研究近似采样问题:给定来自提议分布的独立样本,从中选出一个分布接近目标分布的样本。作者提出一种无需设定阈值参数的算法“统一竞赛”(UR),它用重要性权重除以独立均匀随机数得到分数,并返回分数最大的候选样本。实验与理论比较显示,该方法在各预算下都达到已知的最佳拒绝采样误差界,并在大语言模型数学推理任务中保持竞争力。

看点提出无需阈值参数的均匀竞争采样算法,同时达到所有阈值下的最优近似拒绝采样误差界,并给出指数级改进的实例;理论与LLM实验相互印证。

Seiyun Shin, Juhyeong Pang, Kwang-Sung Jun

arXiv stat.ML · cs.IT · cs.LG

Memory Prediction Excess: A Probabilistic Quantity for Predictive Gain and Memory Length in Stochastic Processes

说明记忆预测增益:衡量随机过程中历史信息预测价值与所需记忆长度的概率量

简介本文提出记忆预测增益(MPE),用于量化在离散时间有限状态随机过程中,利用全部观测历史相比仅使用静态边际分布所带来的平均预测准确率提升。文中证明了MPE非负、存在上界,并给出归一化版本、有限历史版本以及达到完整历史预测性能所需的最小记忆长度,对有限阶马尔可夫链,该长度受马尔可夫阶数限制。

Jiahao Jiang

arXiv cs.LG 有代码

Correction-space Cross-variate Interaction for Test-time Adaptation in Time Series Forecasting

说明修正空间中的跨变量交互,用于时间序列预测的测试时自适应

简介论文针对时间序列预测中的分布偏移,提出测试时自适应方法CoRe,在修正量(而非预测值)上做跨变量交互,避免把主干模型的误差在变量间直接传播。方法包括共享锚点的修正精炼(SCR)和基于输入的频谱门控。论文在七种主干模型、六个数据集和四个预测时长上进行实验,报告相比主干模型平均MSE降低25.82%,相比当前最先进的TSF-TTA方法降低10.57%。

Yuanyuan Deng, Mykola Pechenizkiy, Songgaojun Deng

arXiv cs.AI

MechReasoner: A Simulator and Benchmark for Mechanistic Reasoning in Qualitative Physics

说明MechReasoner:定性物理中机制推理的模拟器与基准测试

简介本文提出 MechReasoner,一个基于汇合式定性物理的机制性定性模拟器,并配套一个机制推理基准。基准包含 1120 个题目,覆盖 18 种机制和六类任务,题目由确定性规则生成。实验显示,GPT-5.5 的准确率随机制复杂度升高而下降,从最低复杂度的 76.1% 降至最高复杂度的 38.0%,并且这一负相关在控制提示和答案长度后依然存在。

Danilo Gusicuma, Andr\'e Freitas

★★★★☆ 值得关注
arXiv cs.AI

A Persistent State for Auditable Mixture-of-Experts Routing

说明面向可审计专家混合路由的持久状态

简介稀疏专家混合(MoE)模型会反复将词元路由到部分专家,但常规路由器不记录跨层影响如何累积。本文提出 SA-MoE,为每个路由器提供一个低维持久状态(专家不可见),并由各层学习的写入更新,其更新差值精确分解了该状态对后续路由差距的贡献,形成路由账本。实验基于稀疏升级的 SmolLM2 与 Gemma 模型,每种架构三个随机种子,该路径增加的前向计算不到 1%,且被训练后的路由器大量使用。

看点提出可审计的持久路由状态与精确账本,并在两类模型、三个随机种子上验证其被路由器实际使用,证据较充分。

Abdurrahman Javat, Allan Kazakov

arXiv cs.CV · cs.AI · cs.CL

Do Motion Tokenizers for Co-Speech Gesture Generation Encode Gesture Semantics?

说明用于共语手势生成的运动分词器是否编码了手势语义?

简介论文研究了用于共语手势生成的离散运动分词器(codebook)能否保留手势的语义相关属性。作者用19种从原始运动到抽象交流功能的手势描述符对一个以重建为目标训练的码本进行探测。结果显示,几何形状和惯用手较容易从词元嵌入中解码,而运动类别的解码效果较弱,尽管其离散编码使用上存在系统性差异。这表明仅靠重建目标并不能保证捕捉手势语义,相关评估有助于设计更具语义性的运动分词器。

Varsha Suresh, Divij Jain, Jia Liu 等

arXiv cs.LG

GenMem: Generative Symbolic Memory for Self-Evolving Harness

说明GenMem:面向自我进化智能体框架的生成式符号记忆

简介该论文提出 GenMem,把大模型智能体的长期记忆管理转化为生成式符号寻址:用一组由少量离散符号组成的符号标识符(SID)作为记忆地址,记忆进化时只改写固定地址上的内容。系统包含检索器和进化器两个模块,并通过 GRPO 进行训练。作者在 ALFWorld、WebShop、多跳问答、医学推理和深度研究等任务上,将其与强记忆增强基线进行了对比实验。

Xinke Jiang, Tao Feng, Weixuan Xu 等

arXiv cs.CV

Long Time No See: Benchmarking VLMs for Out-of-Sight Spatiotemporal Reasoning in Egocentric Videos

说明《Long Time No See》:评测视觉语言模型在第一人称视频中的视野外时空推理能力

简介该论文提出Beyond3D基准,用于检验模型能否推理已移出视野的物体,例如记住物体被移动后的位置。基准包含9000个问题,取自135段视频,涵盖可见性、时间定位、场景定位和三维空间感知等推理环节。评测显示,表现最好的模型准确率为42.2%,高于29.7%的随机水平,但仍远低于理想水平,在回忆物体最后可见时间方面失误最多。

Fangzhou Ma, Ivo Alexander Ban, Eren Homburg 等

arXiv cs.LG · math.DS

DisKO: Deep Koopman Learning in Distribution Space from Unpaired Snapshots

说明DisKO:从无配对快照在分布空间中进行深度库普曼学习

简介许多复杂系统只能通过时间上不成对的分布快照观测到,缺少额外假设时难以基于轨迹学习动力学。该论文直接在分布空间中建模,将分布本身视为动力学状态。作者提出DisKO,将深度库普曼学习扩展到分布动力学,联合学习预测性分布观测量、有限维库普曼表示以及回到完整分布的生成映射。论文称其在七个基准上外推性能达到当前最优,并能在具有解析谱的系统上恢复主要的库普曼特征值与特征函数。

He Ma, Xiaochen Liu, Wanfeng Lu 等

arXiv cs.SE · cs.LG

CLAD: Constrained Abstract Domain for Neural Network Verification

说明CLAD:用于神经网络验证的约束抽象域

简介神经网络验证用于形式化地确认网络在给定输入区域内对所有输入都满足某一性质。现有抽象域通常只用Lp范数球描述输入区域,难以处理实际中带额外约束的区域,容易导致验证失败或出现虚假反例。本文提出约束拉格朗日抽象域CLAD,通过拉格朗日乘子将凸约束纳入目标并用投影原始-对偶方法求解,以更紧的边界进行验证。在1,944个实例的评估中,CLAD在无约束Linf性质上与GCPCROWN验证数量相当,在带约束性质上总体多验证22%,其中L2球性质多60%。

Hai Duong, Thanh Le, ThanhVu Nguyen

arXiv cs.LG

Evaluating Dynamical Fidelity through Predictive Structure in Physical Representations

说明通过物理表示中的预测结构评估动力学保真度:用于检验学习到的物理动力学是否忠实于参考轨迹的框架

简介本文提出一种评估机器学习物理模型动力学保真度的框架。专家定义物理表示空间,参考轨迹决定哪些关系具有预测性并保留为评估测试。作者在大气预报中以ERA5的行星波活动和北方环状模态演变为表示,评估了Pangu-Weather、GraphCast和FengWu三个模型。结果显示,这些模型与参考预测结构存在不同偏离,而这些偏离无法被常规预报误差反映。

Oskar Bohn Lassen, Joao Paulo de Souza Boger, Simon Driscoll 等

arXiv cs.CV

BMND: Direct Poisson Denoising by N-Dimensional Block Matching and Collaborative Filtering

说明BMND:基于N维块匹配与协同滤波的泊松噪声直接去噪方法

简介该论文提出BMND,是块匹配与协同滤波方法(BM3D、BM4D)的维度无关扩展,可直接处理泊松噪声数据,无需方差稳定变换。方法结合噪声感知的块匹配、信号相关噪声方差的传播以及加权重叠相加时的可选质量守恒,适用于一维、二维和三维数据。实验表明其重建质量有所提升,并能减少低计数数据去噪造成的强度损失;该方法为非学习型方法,已以开源库形式发布。

Christof Duhme, Lars Schiefelbein, Florian B\"uther 等

arXiv cs.CV

Does Native 3D Texture Generation Necessarily Require 3D Assets for Training?

说明原生三维纹理生成一定需要三维资产来训练吗?

简介本文提出Tex-Zero,探讨在不使用三维资产的情况下训练原生三维纹理生成模型。作者认为训练的关键是高质量细粒度的颜色信息,几何信息可以人工构造。研究将二维图像作为平面放入三维空间并进行随机旋转与聚合,构造训练数据,训练出的VAE和DiT模型仅依靠图像即可生成具有细节的高保真三维纹理。

Jiangshan Wang, Zeqiang Lai, Jiayi Guo 等

arXiv cs.CV · cs.AI · cs.CL

Latent Multimodal Memory Reasoning

说明潜在多模态记忆推理(LMMR):在连续潜在空间中组织长期多模态记忆的神经符号框架

简介论文提出 LMMR 框架,把长期多模态记忆的组织放进连续潜在空间,将文本隐藏状态与视觉图像块特征映射到共享的稀疏自编码器概念空间,动态构建轮次级多模态记忆图。图编码器聚合跨模态和时间依赖,并将图读出结果以连续残差形式注入生成主干,同时保留原生视觉 token 以保留细节。作者称在九项 Mem-Gallery 任务和十二种 MemEye 设置上显著优于现有基线。

Cai Ke, Xinghao Chen, Yuanchen Bei 等

arXiv cs.AI

LLMs for Executable Multi-Agent System Specification Generation

说明用大语言模型从自然语言生成可执行的多智能体系统规范

简介多智能体系统(MAS)的规范需要描述智能体及环境行为的效果以及时间相关的现象,且须可执行以支持运行时监控,但编写此类规范需要形式化语言的专业知识,而机器学习方法又缺少标注数据。本文提出 genRTEC 方法,利用预训练大语言模型,根据自然语言描述生成 Run-Time Event Calculus(RTEC)语言的可执行 MAS 规范。作者称其仅依据概念的简短描述即可构建具有复杂层次与循环依赖的规范,并通过定性与定量评估表明,生成的规范预测准确率较高,且不影响推理效率。

Andreas Kouvaras, Periklis Mantenoglou, Alexander Artikis

arXiv cs.LG

Learning Regional Snow Water Equivalent and Snow Height Variations from Sentinel-1 InSAR Acquisitions

说明利用Sentinel-1 InSAR数据学习区域积雪水当量与积雪深度变化

简介本研究比较了XGBoost、U-Net和SegFormer三种机器学习模型,利用Sentinel-1 InSAR数据,以IT-SNOW再分析数据为参考,估算意大利阿尔卑斯山区的积雪水当量和积雪深度变化。SegFormer在两个目标上表现最好,积雪深度平均绝对误差为10.391厘米,积雪水当量为27.113毫米水当量。研究还发现,使用全部特征并不一定误差最小,且误差主要来自平均变化量的系统性偏移。

Luca Barco, Lorenzo Innocenti, Bianca Bartoli 等

arXiv stat.ML · cs.LG · math.PR

Probabilistic Geodesic Flow Matching on Location-Scale Families

说明概率测地线流匹配:在位置-尺度分布族上的生成建模方法

简介本文把流匹配(一种基于常微分方程的生成建模框架)推广到位置-尺度分布族,以更好地处理重尾、尖锐对比等非均匀数据结构。作者提出在概率分布流形上的测地线定义概率路径,称为概率测地线流匹配,并认为基于欧氏最优传输的路径在概率空间中不一定最优。在合成基准和不同规模的科学数据集上,该方法比较复杂分布的能力更强,性能优于或不逊于现有几何驱动生成模型。

Zeyuan Yu, Zhi Chang, Shiwei Lan

arXiv cs.LG

Beyond Site Agreement: Re-estimation for Brain Network Generalization

说明超越站点一致性:面向脑网络泛化的重估计方法

简介该论文针对静息态fMRI跨站点泛化问题,指出仅依靠全扫描功能连接图的跨站点一致性并不能保证预测依据在同一扫描内重新估计功能连接后仍然成立。作者提出BRIO框架,利用扫描内功能连接重估计来指导跨站点对齐。在ABIDE、REST-metaMDD、SRPBS和ABCD四个真实数据集上的留一站点实验显示,BRIO优于对比基线,准确率相对提升最高达3.8%。

Yingxu Wang, Kunyu Zhang, Yanwu Yang3 等

arXiv cs.RO · cs.AI

Efficient World Action Model Inference with Adaptive Intermediate States

说明自适应中间状态下的高效世界动作模型推理

简介世界动作模型(WAM)通过联合建模动作与环境动态实现面向未来的控制,但迭代式扩散或流匹配推理延迟较大。本文提出 WAMACHINE,一种免训练框架,在控制循环推进过程中保留并调整推理状态,以加速推理。它包含三部分:轨迹重映射、观测重绑定与残差重缩放。在 LIBERO 与 RoboTwin 2.0 上对三种代表性架构的评估显示,其观测到动作延迟与单次重规划的 GPU 推理时间分别获得 1.47–3.05 倍与 2.23–3.27 倍加速,同时保留原生模型 96.69%–99.54% 的任务成功率。

Zhinnan Liu, Haozhi Han, Ruge Zhang 等

arXiv cs.CV

WorldAttention: An Efficient Attention Architecture for Interactive Video World Models

说明WorldAttention:面向交互式视频世界模型的高效注意力架构

简介该论文提出 WorldAttention,用于文本条件的交互式视频世界模型,目标是在长时间生成中保留历史上下文并控制计算与显存开销。方法包括混合稀疏注意力(HSA)与分层 KV 缓存(HKV),并配有专门的计算内核。作者报告在 VBench-Long 和 InterVBench 上的主体一致性分数分别为 0.9472 和 0.9668,优于此前的先进方法。

Zeyu Zhang, Jinyuan Mao, Dakai An 等

arXiv cs.LG

PMOPD: Task Ordering, Cycling, and Parameter-Update Subspace Protection in Multi-Teacher On-Policy Distillation

说明PMOPD:多教师同策略蒸馏中的任务排序、循环与参数更新子空间保护

简介多教师同策略蒸馏(MOPD)用于在共享参数中整合多项专门能力,但不同任务之间容易互相干扰,即提升一个领域时会压制另一领域已获得的能力。本文发现不同任务的参数更新会快速集中到各自的低维子空间,并据此提出PMOPD方法:通过投影梯度和优化器更新来去除干扰保护任务方向的分量,并配合冲突探测与循环训练策略。在代码、推理和数学任务上,PMOPD在Qwen2.5-7B和Llama-3.1-8B上的三项任务平均分分别提高了2.54和2.09分。

Youzhi Liu, Ruobing Zheng, Boyuan Tong 等

arXiv cs.LG

Shaping Persistent Representations from Independent Interactions

说明从独立交互中塑造持久表征(SPRII):利用交互之间的关系,让世界模型学到可复用的持久环境属性

简介该论文提出SPRII训练原则,利用同一系统不同轨迹之间共享的持久属性作为弱监督,而无需数值属性标签。它通过对齐(Align)和交叉预测(Cross)两个组件,引导学习可复用的上下文表征。论文区分了表征形成、使用和任务价值三个阶段,并在十三种设定中评估,报告相对基线的平均下游任务性能提升超过10%,持久属性读出提升超过15%。

Ji Dai, Quan Fang, Junyu Gao 等

arXiv cs.AI · cs.CL · cs.SE

After the Fix: Transfer of Corrected Agent Experience

说明修复之后:已修正智能体经验的迁移

简介该论文研究修复失败的智能体经验后,能否使其成为更好的记忆并帮助后续任务。作者在ThinkingBox和APEX两套任务上进行了约3300次实验,比较修正后的经验与独立执行的效果。结果显示修正带来的提升在不同设置下并不一致,部分增益主要来自未修正基线表现更差,而非修正记忆本身更优,因此修复经验的价值需与复用经验的价值分开评估。

Yanfei Zhang, Xu Lin

arXiv cs.LG

When local gains fail to transfer: Frozen Earth-observation embeddings across wildfires

说明当局部增益无法迁移:冻结遥感嵌入在野火中的表现

简介本文评估冻结的地球观测嵌入(TESSERA、AlphaEarth)在野火烧毁区识别中的表现,对比ESA WorldCover与Sentinel-2指数。在同一区域内嵌入优于指数约0.05至0.13 ROC AUC,但迁移到另一地区时优势消失。同一区域内的预测(2023年火灾预测2024年火灾)仍有效,TESSERA达到0.772 AUC,因此作者建议评估应报告留出区域的结果。

Philipp Stark, Alexandros Sopasakis, Ola Hall

arXiv cs.LG

The Low-Rank Structure of VLA Reinforcement Learning

说明视觉-语言-动作(VLA)强化学习的低秩结构:研究强化学习如何改变机器人策略模型的参数

简介该论文研究用强化学习后训练视觉-语言-动作模型时,参数如何变化。作者发现,在多个基于流的VLA模型和四个基准上,强化学习带来的参数更新秩较低,且集中在动作专家中一个较小的时间步模块里。文章还分析了这些模块的作用,并表明沿偏移向量的更新方向可在无需额外强化学习训练的情况下进一步提升策略表现。

Minjae Oh, Yoonah Park, Jongwon Lim 等

arXiv cs.CV · cs.AI

Summarize Before Grounding: Query-Guided Chunk Condensation for Long-Video Temporal Grounding

说明先总结再定位:面向长视频时序定位的查询引导分块压缩

简介该论文针对长视频中根据语言查询定位对应时间片段的任务,提出名为SumGround的框架。其核心是先将视频分块,用查询引导的潜在摘要压缩冗余视觉信息,再通过关联摘要检索选出最可能包含目标事件的片段。作者称该方法在多个下游数据集上优于previous最先进方法,在长视频上提升明显。

Nanxing Hu, Xiaoyue Duan, Qiwei Yan 等

arXiv cs.AR · cs.AI

One Distribution, Two Channels: Coverage-Calibrated KV Retention and Compensation

说明一个分布,两条通道:面向KV缓存的覆盖校准保留与补偿方法

简介本文针对长上下文解码中键值(KV)缓存的内存与带宽瓶颈,提出CORE方法。该方法将一个结合查询效用与对数行列式覆盖度的离线分配蒸馏为轻量索引器,在推理时同一校准分布既决定保留哪些KV状态,也用于被淘汰注意力质量的重分配写入。论文在RULER、LongBench等基准上报告,90%压缩率下较最强基线最多提升3.78分。

Shuxin Liu, Qing Liu, Yi Du 等

arXiv cs.CV

Temporal Modelling for Burn Scars on Sentinel-3

说明基于Sentinel-3的过火区域时序建模

简介本文利用Sentinel-3 OLCI卫星影像,研究如何更快速准确地划分野火过火区域,以便进行火灾后损失评估。作者构建了一个数据集,包含2016至2025年间来自哥白尼紧急管理服务的246次野火事件,并配有时间配对的Sentinel-3影像。研究比较了三种骨干网络的空间与时序(ConvLSTM增强)变体。结果显示,只有加入火灾前影像时,时序建模才能提升分割效果;且5波段子集与完整的21波段配置表现相当。

Luca Barco, Edoardo Arnaudo, Andrea Bragagnolo 等

arXiv cs.LG · stat.ML

Deep Weighted Bellman Residual Minimization for Q^* Estimation

说明基于深度加权贝尔曼残差最小化的 Q* 估计

简介该论文针对离线强化学习中的分布偏移、Q 值高估和样本利用率低等问题,提出一种结合密度比加权的加权贝尔曼残差最小化框架,将专家示范与行为数据结合使用。论文不依赖深度强化学习理论中常见的完备性假设,给出了密度比估计的收敛速率以及深度 Q* 估计量超额风险的收敛速率。实验表明,该方法在数值表现和策略泛化方面优于现有方法。

Lican Kang, Jerry Zhijian Yang, Cheng Yuan 等

★★★★☆ 值得关注
arXiv cs.AI

TULIP: Targeted LLM Unlearning at Layers Identified Per-input

说明TULIP:在每个输入对应的特定层上进行定向大模型遗忘

简介该论文针对大语言模型的表示层遗忘问题,指出现有方法对整个遗忘集只作用于固定的一层,而答案形成的层因输入而异。作者提出TULIP方法,对每个输入借助logit lens定位答案形成与读出的边界层,并在该层消除隐藏状态与遗忘答案非嵌入向量的对齐。论文报告其在TOFU、PISTOL和WMDP基准上优于输出层和表示层基线,并对改写与量化攻击保持鲁棒。

看点提出按输入逐层定位遗忘的新思路,通过劫持实验揭示答案在中间层形成,并在多个基准和模型上对比基线,证据较充分。

Yejin Kim, William F. Shen, Seokwon Jung 等

arXiv cs.CL · cs.LG

The Model Knows When to Stop: Training-Free Early Stopping for Long-Context Reading

说明模型知道何时停止:一种免训练的长文本阅读提前停止方法

简介长输入常被分块顺序处理,但证据已足够时继续阅读会浪费计算。该论文提出免训练的 Answer-Convergence Stopping(ACS),每块读完后探测冻结模型当前的答案状态,在其既自信又稳定时停止,只需输出端的生成与 token 对数概率。在 LongBench-v2 上,ACS 是唯一达到或超过全文阅读准确率的停止策略;在 S-NIAH 的 250 个问题上,其过早停止率为 0% 至 12%,而口头询问式闸门为 8.4% 至 45.6%。

Muath Alyobi, Mohamed Eltahir, Almoayyad Abuljdail 等

arXiv cs.CV · cs.AI

Reinforcement Learning from Intermediate Renders for Image-to-Code Generation

说明基于中间渲染结果的强化学习:图像到代码生成

简介本文针对图像到代码生成(如由参考图像生成 SVG 代码)任务,指出仅用最终渲染结果计算奖励的强化学习反馈过于稀疏,难以对应到单个 token。作者观察到许多中间代码前缀已能执行并生成部分渲染结果,并据此提出 IR4RL 框架,以 token 级的渲染进度奖励将中间渲染之间的变化转化为局部反馈。实验在 Image-to-SVG 与 Image-to-TikZ 两项任务上进行,结果显示该方法优于监督微调与标准 GRPO。

Omri Kaduri, Kate Feingold, Phillip Isola 等

arXiv cs.DC · cs.LG

AgentWare: Automating the Lifecycle of Agentic Applications across the Edge-to-Cloud Continuum

说明AgentWare:边缘到云连续体上智能体应用全生命周期的自动化框架

简介该论文提出 AgentWare,一个面向智能体应用(AgenticOps)的框架,用于在边缘到云的基础设施上自动完成部署环境准备、应用部署、可观测性采集和评估。框架还支持通过 LLM-as-a-Judge 进行自动语义评估,并生成涵盖正确性、性能、资源利用和能耗的可复现报告。作者以一个分布式图书助手智能体在真实边缘到云基础设施上的部署进行了验证,结果显示其能显著减少人工部署、插桩和分析的工作量。

Michalis Kasioulis, Moysis Symeonides, George Pallis 等

arXiv cs.LG

Compute Time Scaling with Recursive Models for Combinatorial Optimization

说明用递归模型扩展组合优化的计算时间

简介本文提出用于组合优化的微型递归模型(Tiny Recursive Models),通过同时增加递归深度和并行采样宽度来扩展计算。模型在旅行商问题和最大独立集问题上,在解质量与推理速度之间取得了更好的平衡。文中还探索了自重标注的自监督训练方式,用模型自身较优解替代训练标签,并称其可达到相近质量。

Zhengxi Zhang, Paul Swoboda

arXiv cs.CL · cs.AI · cs.LG

In-game Toxic Detection: Bi-directional Representations with Attention Residuals

说明游戏内有毒言论检测:基于注意力残差的双向表示模型

简介本文针对游戏内玩家聊天中的有毒言论检测问题,基于真实游戏聊天数据提出一项共享任务。由于聊天语句很短且大量使用游戏俚语、缩写和专业术语,通用语言模型难以识别。作者提出在有毒语言槽位填充任务中表现最佳的模型BRAR(带注意力残差的双向表示),实验表明其能有效捕捉全局上下文,并在槽位填充上优于现有基线。

Yuanzhe Jia

arXiv cs.AI · cs.SD

SpeechCritic: Learning a Diagnostic Speech Judge from Limited Human Preferences

说明SpeechCritic:基于有限人类偏好学习的语音诊断评判器

简介论文提出 SpeechCritic,用约 300 条人工标注的比较数据,学习一个能判断两段语音哪个更好、在哪些感知维度上存在差异并给出依据的诊断性语音评判器。方法是用声学测量校准前沿音频语言模型,使其在维度层面与人类判断的一致性有所提高,并通过 SFT、OPD、RL 训练一个 7B 评判器。论文还在英日和英西两种语言对上验证了该流程。

Mingyue Huo, Shivam Mehta, Bhavin Jawade 等

arXiv cs.CV

Counterfactual Attention Policy Distillation for Temporal Video Grounding

说明反事实注意力策略蒸馏:用于视频时间定位的多模态大模型训练方法

简介该论文针对多模态大语言模型在长视频中定位事件时间点的问题,提出名为反事实注意力策略蒸馏(CAPD)的训练方法。方法通过遮蔽不同时间段并观察教师模型输出分布的变化,衡量各片段对时间戳预测的影响,并据此加权蒸馏。使用2500个样本在Qwen3-VL-8B-Instruct上训练一个轮次,在TimeLens上平均召回率相对GRPO提升12.0%,同时保持通用视频理解能力,准确率与基础模型相当。

Shaobo Ju, Haiyang Yu, Xuecheng Wu 等

arXiv cs.AI · cs.IR

Calibrated Uncertainty for Informative Path Planning in Aquatic Environmental Monitoring

说明水环境监测路径规划中的校准不确定性:用深度集成替代高斯过程,提升溢油场重建效果

简介该论文研究在水体溢油监测中,用经过良好校准的深度集成(Deep Ensemble)替代高斯过程,以提供路径规划所需的预测不确定性。作者在基于物理模拟的溢油数据上,比较了五种规划策略。结果显示,深度集成的归一化重建误差比高斯过程基线低83%,且在该模型下,多步前瞻规划器明显优于贪心选择,其中蒙特卡洛树搜索在重建质量上与Orienteering相当,计算成本低一个数量级。

Samuel Yanes Luis, Alejandro Casado P\'erez, Alejandro Mendoza Barrionuevo 等

arXiv cs.AI

Diffusion Subgoal Planning for Long-Horizon Offline Goal-Conditioned Reinforcement Learning

说明用于长时程离线目标条件强化学习的扩散子目标规划(DSP):一种用扩散模型生成中间子目标、引导智能体完成长期任务的方法。

简介离线目标条件强化学习在长时程任务中,因奖励稀疏和折扣因子,目标条件价值函数的指导往往不稳定。论文提出扩散子目标规划(DSP),用扩散模型生成高层子目标:同时学习条件与无条件流,借助无分类器引导在推理时加入目标导向偏置,不再依赖显式价值引导。实验表明,DSP 在多项导航与操作基准上优于已有方法,在需要多步子目标规划的迷宫环境中表现尤为突出。

Hengrui Zhang, Yuhu Cheng, C. L. Philip Chen 等

arXiv cs.AI · cs.CL · cs.LG

Nudgeability: Reasoning Models Follow Confidence Signals Without Tracking Their Own Competence

说明可引导性:推理模型会跟随置信信号,却并不追踪自身能力

简介该论文研究能调用工具的推理语言模型在推理中途是否选择自行作答或转交工具。研究者在相同推理轨迹的固定位置插入一句表达自信或怀疑的第一人称话语,比较模型之后的选择。结果显示,模型对此类信号普遍敏感,怀疑会增加转交,自信会减少转交;但这种反应针对性较差,约42%的诱导变化是有针对性的,仅比随机基线高2个百分点。

Rohit Saxena, Utkarsh Upadhyay

arXiv cs.AI

PersonaManifold: Revealing and Exploiting Curved Geometry in LLM Persona Representations

说明PersonaManifold:揭示并利用大语言模型人设表示中的弯曲几何结构

简介该论文指出,现有在大语言模型激活空间中用欧氏线性运算控制人设的方法存在系统性失效。作者提出PersonaManifold框架,把人设表示建模为激活空间中弯曲的低维黎曼子流形,并提出沿测地线插值的几何引导方法。作者还提出行为相似性三元组(BST)基准,通过情境化行为回答而非自我报告问卷衡量人设相似性。在三个开源模型上的实验显示,测地距离比欧氏距离更能预测行为相似性,且几何引导在偏离平坦程度较大的区域效果更好。

Rui Xu, Yinghui Xu, Libo Wu

arXiv cs.CV · cs.ET

Recent Advances in Agentic Agri-Robotic Phenotyping: A Perspective Review from Fragmented Multimodal Sensing to Unified PhenoAgent Intelligence

说明农业机器人表型研究的综述:从零散多模态感知到统一的PhenoAgent智能

简介本文综述了植物表型分析从人工测量发展到高通量、机器人和人工智能驱动监测的过程,指出当前系统在传感模态、作物性状、生长阶段等方面仍较为分散。作者将表型分析视为种子、土壤、植物、环境和管理的综合智能问题,并提出概念性的PhenoAgent框架,用于基于证据的作物状态解释与不确定性推理。文章同时讨论了数据集稀缺、标注、基准测试、模型泛化和可解释性等挑战。

Muhammad Owais, Ehtesham Iqbal, Samee Ullah Khan 等

arXiv cs.LG

Retracing Hodgkin and Huxley: State Recovery Does Not Certify Mechanism

说明重走 Hodgkin-Huxley 之路:状态恢复不等于机制认证

简介这篇论文研究机器学习能否复现 Hodgkin-Huxley(HH)神经元模型背后的隐状态推理。作者在仿真数据上训练结构化隐变量模型,并隐藏门变量身份与轨迹,再检验响应预测、状态恢复、协议迁移及与 HH 动力学的一致性。结论认为,预测准确不足以说明机制被恢复,状态与动力学应分别评估。

Peiyu Zang, Jiayi Hao, Yongqiang Cai

arXiv cs.AI

FlowState: Execution State as Memory for Long-Horizon LLM Agents

说明FlowState:把执行状态作为长时程LLM智能体的记忆

简介该论文提出FlowState方法,把智能体的执行状态视为可保留、可回溯的记忆,记录带语义类型的状态节点、它们之间的关系以及对原始工具观察结果的引用。通过增量状态更新和渐进式状态访问两种机制,智能体可以按需调用历史信息并重新评估先前决策。与使用相同DeepSeek-V4-Flash模型的全上下文基线相比,该方法在MemoryArena和τ³-Bench上的平均成功率分别提高4.55和13.95个百分点,同时总token消耗分别减少43.2%和40.6%。

Minghao Li, Bangyan Li, Zifan Wang 等

arXiv cs.CV

GLF-Q: Global-Local Feature-based Quantization for Vision Transformers

说明GLF-Q:面向视觉Transformer的全局-局部特征量化方法

简介本文提出GLF-Q,一种无需重新训练的视觉Transformer(ViT)后训练量化方法。它通过全局-局部特征对齐引导模块重建,并在模型中加入零运行时开销的Hadamard变换以压缩激活值动态范围。原文报告,在3比特图像分类任务上,GLF-Q使用标准均匀量化器明显优于现有方法,并在8比特GPU部署中取得加速。

Peilin Sun, Guang Liang, Jin Tong 等

arXiv cs.CV · cs.CL · cs.LG

Rethinking Latent Visual Reasoning: Grounding Latent Reasoning in Visual Evidence

说明重新思考潜在视觉推理:让潜在推理扎根于视觉证据

简介该论文研究多模态大模型在连续潜在向量中进行中间推理(潜在视觉推理)时存在的问题:潜在向量对改变正确答案的图像扰动反应较弱,即存在潜在证据归因差距。作者提出ReaLVR方法,通过对比正确答案与模型生成的错误答案,以及相关与不匹配的视觉证据,为潜在推理提供视觉证据监督。实验显示该方法在三类模型上优于基线,并可扩展到235B规模。

Xi Xiao, Tianchen Zhao, Youngeun Kim 等

arXiv cs.LG

Single-Layer MeMo as a Randomized Hamming-Kernel Classifier

说明单层MeMo作为随机汉明核分类器

简介MeMo是一种语言模型架构,用相关矩阵记忆存储上下文与下一个词元之间的关联。本文研究其单层形式,指出其理想检索规则是基于位置汉明核的多类分类器,并用高斯随机编码表示输入与输出,分析了由此引入的误差及其与模型和数据参数的关系。在受限的WikiText-2下一词元任务上,作者将单层MeMo与经典基线进行比较,认为它在预测准确率、内存和吞吐量之间可提供有用的权衡。

Alessandro Straziota

arXiv cs.LG

Brain-Conditioned Action Policies for Neural Motor Decoding

说明基于脑信号条件的动作策略,用于神经运动解码

简介该论文提出BrainVLA框架,借助预训练的视觉-语言-动作(VLA)模型,通过语言中介对齐实现神经运动解码,以缓解配对神经-动作数据稀缺的问题。研究者构建了兼容VLA的数据集,用LoRA微调OpenVLA-OFT策略,并通过神经-语言对齐训练神经编码器,将神经活动转化为运动意图信号以指导动作生成。在两个不同动作维度的数据集上,该方法在跨会话解码R²和任务成功率上优于对比基线,并显示出较高的训练数据效率。

Luyao Jin, Running Zhao, Huan Zhao 等

arXiv cs.CV

ACPruner: Visual Token Pruning as Biased Attention Coverage Maximization in LVLMs

说明ACPruner:把视觉令牌剪枝视为有偏注意力覆盖最大化的方法(用于大型视觉语言模型)

简介大型视觉语言模型因视觉令牌数量多而计算效率低。本文从覆盖的角度重新看待视觉令牌剪枝,将其表述为有偏注意力覆盖最大化问题,即选出一个紧凑的令牌子集,使其在视觉编码器内的注意力能共同覆盖图像,并对信息量更大的区域给予更高优先级。作者提出免训练的剪枝框架ACPruner,结合模态内显著性与模态间相关性评估令牌重要性,再通过贪心选择最大化覆盖目标。多个模型主干上的实验表明,它能保持较好的性能,并带来明显的端到端推理加速。

Xu Li, Yuxuan Liang, Yi Zheng 等

★★★★☆ 值得关注
arXiv cs.CL · cs.LG

RoPE is Dead, Long Live RoPE: Towards Scalable Data-aware Positional Encodings

说明《RoPE 已死,RoPE 万岁》:迈向可扩展的数据感知位置编码

简介该论文指出,主流的旋转位置编码(RoPE)偏向邻近词元,且其慢频带在超出训练长度时会暴露于未见过的角度。作者提出数据感知 RoPE(DaRoPE),快频带保留标准 RoPE,慢频带则改用从上下文表示学习得到的有界坐标。实验涵盖合成任务、符号音乐、基因组学、神经信号及 1.24 亿至 500 亿参数的语言模型,结果显示 DaRoPE 在非文本基准上领先,并缓解了近因偏差。

看点在RoPE慢频段引入数据相关坐标,针对性改进长度外推;在多领域、124M至50B参数规模上对比,证据较充分,影响面较广。

Jarod L\'evy, Mathurin Videau, Jad Yehya 等

arXiv cs.AI

SkillRubric: Co-Evolving Actor Guidance and Evaluator Rubrics for Multimodal Agents

说明SkillRubric:为多模态智能体共同进化行动指导与评估准则

简介该论文提出SkillRubric,为每项技能同时设计面向执行者的指导和面向评估者的评分准则。多模态验证器依据截图和工具输出,为相关步骤给出完成与进度奖励。作者还提出交替共同进化方案,在不同条件下分别验证指导修订和准则修订,实验显示在多种多模态智能体基准上性能有所提升。

Bingqing Jiang, Guoxi Zhang, Jasper Wang 等

arXiv cs.CV

Attention-Scoped Guidance: Training-Free Spatial Control for Image Editing

说明注意力范围引导:无需训练的图像编辑空间控制方法

简介该论文提出注意力范围引导(ASG),一种无需训练、不需外部掩码也不增加网络计算的采样器封装方法。它利用编辑器已计算的指令注意力生成软支持图,在支持度低的区域减弱文本引导、在支持度高的区域加强图像锚定。在MagicBrush和PIE-Bench++数据集上,ASG提升了侧重保留的指标,并对照实验表明空间分配本身带来增益。

Zeyan Li, Wei Zhou, Hadi Amirpour 等

arXiv cs.LG

PulseInfer: I/O-Centric Sparse KV Cache Offloading for Efficient Long-Context LLM Decoding

说明PulseInfer:以I/O为中心的稀疏KV缓存卸载,用于高效长上下文LLM解码

简介长上下文大模型推理中,解码阶段常因庞大的KV缓存限制批大小、降低GPU利用率。本文提出PulseInfer,一种以I/O为中心的稀疏KV缓存卸载系统,通过可中断的分层调度、自适应卸载准入以及稀疏选择与聚合传输来减少CPU-GPU召回的I/O瓶颈。基于SGLang实现,论文报告解码吞吐最高提升4.7倍,TPOT最多降低76%,且准确率接近无损。

Qiuyang Zhang, Kai Zhou, Kai Lu 等

arXiv cs.LG · cs.SE

Verifying Neural Networks with Reinforcement Learning

说明用强化学习改进神经网络验证中的分支策略

简介本文提出RSB框架,用强化学习改进神经网络形式化验证中的分支启发式方法。它训练一个actor-critic结构,以最大化长期累积奖励,而不只看即时分数,并借助神经元特征与图嵌入生成注意力权重来调整基线分数。在600个困难实例上的评估显示,RSB优于现有先进分支启发式方法,多解出11%的实例,同时将分支探索量减少50%。

Hai Duong, Thanh Le, ThanhVu Nguyen

arXiv cs.LG · math.OC

On Parameter Symmetries and Conservation Laws in Gradient Flow

说明梯度流中的参数对称性与守恒律

简介本文研究神经网络参数空间的对称性与守恒律之间的关系,并借鉴物理学中的诺特定理加以探讨。作者提出统一的几何框架,厘清两者在何种条件下对应,并引入组合可辨识性概念,建立多层网络中对称性与守恒律完整刻画的继承原理。文中将该框架应用于多头注意力与分组查询注意力、多项式神经网络以及方形深度线性网络。

Khang Nguyen, Guido Mont\'ufar

arXiv cs.AI

SGG-ReflAct: Sub-Goal Guided ReflAct with Structured Planning for Reliable Long-Horizon Reasoning

说明SGG-ReflAct:用子目标引导反思与结构化规划,提升长程推理可靠性

简介论文针对大语言模型智能体在长程多步任务中因中间信念不一致而偏离目标的问题,提出SGG-ReflAct,把单路径LLM规划器生成的子目标纳入反思过程;并扩展出基于束搜索规划的BeamSGG-ReflAct。在ALFWorld、ScienceWorld和Jericho上的实验显示,该方法在几乎所有设置中优于REFLACT,并减少了幻觉动作。

Jaeho Jung, Sung Hoon Jung

★★★★☆ 值得关注
arXiv cs.CV · cs.AI · cs.CL 有代码

ActionLens: Diagnosing Spatial-Temporal Binding Failures in Vision-Language Models

说明ActionLens:诊断视觉语言模型的时空绑定失败

简介该论文提出 ActionLens 诊断基准,包含 6,701 道视频多选题,覆盖过渡检测、特定行动者识别、并发动作绑定、有向互动推理和视线检测五类任务,答案由 158 万条逐秒、逐人标注确定性生成。测试 20 个视觉语言模型后发现,最强模型在人工复核子集上得分 65.9%,人类为 91.0%;视线检测接近随机水平。研究还显示模型常选错行动者的动作,并揭示了数值坐标解析带来的性能损失。

看点提出针对时空绑定失败的细粒度诊断基准,并用逐秒逐人标注确定答案,实验覆盖20个模型并有控制实验,对子领域有实质参考价值。

Gueter Josmy Faure, Min-Hung Chen, Hao Ping Wang 等

arXiv cs.AI

Remember Before You're Asked: MemDream for Self-Probing Memory Evolution

说明事前自检的记忆进化框架 MemDream:在被提问前先检查并修复记忆

简介论文提出 MemDream,用于让大模型智能体在长期交互中主动检验并修复自身的记忆图谱,而不是等真实查询暴露问题后才修补。系统会周期性进入离线“梦境”循环,由三个专门的智能体协作探测、诊断和修复记忆,并用强化学习训练选择有效的修复操作。在 LoCoMo 和 MemoryAgentBench 上的实验显示,相比最强的被动进化基线,答案 F1 提高 4.5 分,MAB 总分提高 9.1 分。

Mingfei Lu, Mengjia Wu, Runsong Jia 等