AI 算法 · 2026年10月13日(周二)

机器学习、人工智能、自然语言处理、计算机视觉、多智能体。

arXiv stat.ML · cs.IT · cs.LG

Delay Complexity Dimension: Learning with Delayed and Censored Labels

说明延迟复杂度维度:基于延迟与被截断标签的学习

简介本文研究标签在随机延迟后到达、且超出观察窗口 W 即被截断时的二分类器 PAC 学习,提出分布相关的延迟复杂度维度(DCD),将 VC 维与观察信道的精确标签信息率结合。作者证明任何学习器都需要 Ω(DCD/ε²) 个样本,并表明在下界所对应的实例族上,伪标签 ERM 可达到该速率。文中还给出量化方案、带 (1-1/e) 保证的探索策略,以及固定收集期限下中等窗口优于即时标签的现象,并在合成数据和 Criteo 转化日志上进行了实验。

Madhava Gaikwad

arXiv cs.SE · cs.CL

SWE-MISBEHAVIOR: Benchmarking and Mitigating Boundary Violations in Software Coding Agents

说明SWE-MISBEHAVIOR:编程智能体越界行为的评测与缓解

简介该论文提出 SWE-MISBEHAVIOR,这是首个用于诊断编程智能体越界行为的分类体系与评测框架,包含约 7.4K 条人工参与合成的样本,涵盖代码生成、文件管理和系统交互三层动作空间,共 11 类行为。实验显示,主流开源编程智能体存在明显的偏离行为,如依赖误解、擅自修改用户输入和静默破坏环境完整性。作者还提出轻量级框架 CODE-KIT,据称使 smolagents 和 OpenHands 的此类行为分别减少 52% 和 34%,同时提升了任务完成表现。

Do Xuan Trong, Duc Anh Nguyen, Do Xuan Long 等

arXiv cs.LO · cs.AI

Reset Early, Reset Often, Eliminate Models

说明尽早且频繁重置,淘汰模型:一种连接表方法的改进证明器

简介该论文研究连接表(connection-tableau)自动定理证明器,指出传统回溯搜索难以复用失败尝试中的信息。作者提出SATResetCoP,不回溯无效的表,而是重新开始新的表,持续向增量SAT求解器提供基础子句。在TPTP基准上,相比基线分别提升54%和18%;在MPTP2078上求解616题。

Martin S. Fixman, Fredrik R{\o}mming, Sean B. Holden

arXiv cs.PF · cs.AI · cs.CY

How Reliable Are Large Language Models for Soil Organic Carbon Assessment? An Australian Benchmark

说明大语言模型评估土壤有机碳可靠吗?澳大利亚基准测试

简介该论文用澳大利亚数据测试七种通用大语言模型估算土壤有机碳的能力,涉及308个牧场的表层土壤浓度估算、120个情景的碳储量计算,以及300组牧场对比。结果显示,加入实测土壤指标后浓度误差明显降低,但高碳值被低估的问题仍然存在;输出几乎都能解析,却不一定正确。论文认为,应按任务进行验证,并使用可审计的计算,而不能直接把大模型输出当作生态证据。

Yingxuan Cheng, Tong Li, Yayong Li 等

arXiv cs.LG · cs.AI

A Few More Tokens Ahead: Reinforcing Parallelism in Diffusion LLMs

说明《A Few More Tokens Ahead》:强化扩散大语言模型的并行生成能力

简介论文指出,扩散大语言模型虽被认为具备并行生成优势,但在固定每步生成16个词元的设置下,四个代表性模型在数学和代码任务上的表现严重下降,得分均低于15%。作者提出RePara方法,通过组相对策略优化强化短的连续词元块,并降低了采样与对数概率重算的成本。在LLaDA和SDAR模型上,该方法在降低去噪预算的条件下,GSM8K和MATH-500准确率均优于JustGRPO,且在LLaDA/MATH设置中训练步骤速度提升1.96倍。

Jiahao Kuang, Yangfan Gao, Tao Gui 等

arXiv cs.AI

QORH: Learning Query-Specific Ordered Rule Hypergraphs for Inductive Knowledge Graph Link Prediction

说明QORH:面向归纳式知识图谱链接预测的查询特定有序规则超图学习方法

简介该论文针对知识图谱中包含未见实体和关系的链接预测问题,提出QORH模型。它把规则头与有序规则体编码为以查询关系为条件的超边,显式建模多个关系间的联合依赖,并基于规则置信度、覆盖度等统计证据进行可学习的规则选择。作者称其在实体归纳和完全归纳基准上显著优于其评估中包含的基线方法。

Naixing Xu

arXiv stat.ML · cs.LG

Hierarchical Time Series Forecasting with Operator-Valued Kernels

说明基于算子值核的分层时间序列预测:在假设空间中直接保证预测一致性的方法

简介该论文研究分层时间序列预测,即要求不同汇总层级的预测结果彼此一致。作者将其表述为向量值再生核希尔伯特空间中的多元回归问题,并设计结构化的算子值核,使所有预测在构造上满足层级约束。论文还推导了描述泛化性能的超额风险界,并在合成数据和真实数据集上进行了实验。

Junjie Yang (LPSM (UMR\_8001), SU), Adeline Fermanian 等

arXiv eess.SP · cs.LG

Link Both Views: Cross-Image Routing Attention for Dual-Endpoint V2I Beam-Pair Power Prediction

说明双端视觉链路注意力:用于车联网(V2I)毫米波波束对功率预测

简介论文指出单端感知只能看到部分传播情况,因此提出跨图像路由注意力(CIRA),在收发两端的RGB图像之间稀疏关联并相互增强与传播相关的特征。基于此提出CiFormer模型,用于预测车到基础设施(V2I)通信中毫米波波束对的功率矩阵。实验显示,相比最强基线,CiFormer平均绝对误差更低,Top-1波束对选择准确率提高3.15个百分点。

Shiliang Lu, Lu Bai, Ziwei Huang 等

arXiv cs.CV

VARI: Robust Text-to-Video Generation via Group-Structured Intent Alignment

说明VARI:基于组结构意图对齐的稳健文本到视频生成

简介该论文针对文本到视频模型对语义相同但措辞不同的提示词敏感的问题,提出VARI框架,把经自动验证的、表达同一视觉意图的多种提示形式视为共享的监督单元。方法包括组一致蒸馏(GCD)与形式对比Flow-DPO(FC-DPO)。在HunyuanVideo-1.5上,VARI在T2V-CompBench、VBench和StoryEval上取得所评测方法中最高的分数,并在提示形式扩展的基准上提升了最弱形式的对齐表现、降低了跨形式下降,同时保持视觉质量。

Mingxuan Zhu, Hohei Chan, Shiyuan Liu 等

arXiv cs.AI · cs.CL · cs.LG

The Agentic Scientist: Orchestrating Coding Agents for Automated Scientific (Co-)Discovery

说明《The Agentic Scientist》:统筹编程智能体开展自动化科学(协同)发现

简介论文提出 The Agentic Scientist,一个分布式流水线,让人类研究者与现代编程智能体协作开展计算研究,流程涵盖任务拟定、想法生成、规划、沙箱实验、结果汇总、基线与消融构建、事后分析和报告撰写。系统由元控制器管理并行研究智能体,并在各阶段执行评分标准验证。作者称,用开发版系统协作完成的一篇论文已被 ALIFE 2026 录用,并将系统完全自主地用于机器学习中的开放问题求解。消融实验显示,可靠的科学自主性不仅取决于基础模型能力,也取决于跨智能体的编排层。

Robert Tjarko Lange, Luca Grillotti, Yutaro Yamada 等

arXiv cs.LG

Reinforcement Learning for Large-Scale Lifelong Multi-Agent Path Finding with Shared Spatial Fields

说明基于共享空间场的大规模终身多智能体路径规划强化学习

简介该论文针对大规模终身多智能体路径规划(LMAPF)提出一种导航策略:卷积网络每个时间步计算一次地图上的共享空间场,紧凑的目标条件算子据此得出各智能体的移动偏好。策略以吞吐量为奖励,采用平均奖励强化学习端到端训练,无需规划器示范或独立的在线路径规划器。在六种布局、10000个智能体的测试中,其吞吐量与最强基线相当或更高,每步平均执行时间低于10毫秒。

Jean Seong Bjorn Choe

arXiv cs.CV · cs.LG 有代码

FrameScout: Scouting Query-Relevant Frames for Long Video Understanding

说明FrameScout:为长视频理解挑选与查询相关的帧

简介长视频理解需要视频大模型回答数十分钟到数小时视频中的问题,但这类视频产生的视觉标记远超现有模型的处理能力。FrameScout 提出一种流式关键帧选择器,利用滑动窗口KV缓存和后继聚合生成带有时序上下文的帧表示,并通过帧与查询的对比学习目标,训练选择器区分相关与不相关的帧。作者称在三个长视频基准和六个基础视频大模型上,该方法均取得了最先进的表现。

Haonan Hu, Shuhao Chen, Weisen Jiang 等

arXiv cs.AI · cs.LG

Neuro-Symbolic Graph Transformers for Hierarchical Intention Recognition from Multimodal Human Activity Sequences

说明用于多模态人类活动序列分层意图识别的神经符号图Transformer

简介本文提出神经符号图Transformer(NSGT),把人类推理图(HR-G)通过可学习的拓扑偏置融入自注意力机制,并加入可微一阶逻辑(FOL)损失,在原子动作、复合活动、低层意图和高层意图四个层级上约束本体一致性。实验基于由NTU RGB+D 120扩展得到的NTU-Hierarchy数据集,共119,383个分层片段。结果显示,逻辑一致性从基线提升3.26个百分点至96.67%,在λ=0.5时达到94.59%,动作top-1准确率为89.90%。

Farnaz Soleimani (LISSI), Abdelghani Chibani (LISSI), Yacine Amirat (LISSI) 等

arXiv cs.LG · cs.AI

Looped Reasoning Finishes Earlier Than You Think

说明循环推理比你想象的结束得更早

简介该论文研究带动态深度的循环推理模型中潜在轨迹的收敛问题。作者指出,缓慢衰减的振荡模式会限制收敛速度,而直接抑制这些模式又可能破坏推理计算。为此提出 QRR(商空间循环推理器),这是一种具有逐 token 相位旋转对称性的规范等变循环架构,使与推理相关的动力学不受旋转运动影响。论文称 QRR 在 Sudoku、Maze 和 Mini-ARC 任务上实现了更稳定、更快的收敛,并达到或超过近期循环推理模型的表现。

Sumin Park, T. Konstantin Rusch

arXiv cs.CL

TRACESTEER: Trace Driven Activation Steering for Hallucination Mitigation in Diffusion Language Models

说明TRACESTEER:面向扩散语言模型幻觉缓解的轨迹驱动激活引导方法

简介该论文提出TRACESTEER框架,用于缓解扩散大语言模型(dLLM)的幻觉问题。方法利用前序去噪步骤的预测作为反馈,动态调整激活引导的方向和强度,包括去噪反馈引导(DF-Steering)与轨迹引导门控(TS-Gate)两个组件。在两个dLLM上的实验显示,该方法提升了TruthfulQA上的事实可靠性,并在五个下游基准上具有泛化能力。

Xin Zhang, Yili Wang, Yue Tan 等

arXiv cs.AI

Back to the Future: Reverse-Consequence Modeling for Long-Horizon Particle Dynamics

说明《Back to the Future》:用于长时程粒子动力学的逆向后果建模(ReStep 方法)

简介该论文针对自回归模型在长时程预测中误差逐步累积的问题,提出 ReStep 方法,逆转传统的前向预测方式:先用随机模型直接预测最终状态,再通过锚定扩散(Anchored Diffusion)生成以该状态为目标的中间轨迹。作者还将其接入 3D 高斯溅射(3D Gaussian Splatting)流程,实现从图像进行推断的物理与视觉统一框架。在多种刚体和非刚体碰撞数据集上的实验显示,该方法长期预测精度更高,并能显著减轻误差累积。

Leyan Zhang, Nantian He, Jiajun Ma 等

arXiv stat.ML · cs.AI · cs.LG

Lifting Finite-Sample Gaussian Approximation of Wide Neural Networks to Functional Convergence

说明将宽神经网络的有限样本高斯近似提升为函数收敛

简介随机初始化的宽度为m的神经网络在m趋于无穷时收敛到高斯过程。已有的有限样本界在任意定义域上以二次Wasserstein距离给出m^{-1/2}的收敛速率,但常数随样本数增长,样本加密后界便失去意义。本文把有限样本界提升为函数意义下的界:通过按样本计量误差使常数与样本数无关,对多项式激活函数和任意紧致输入集,在上确界范数下得到m^{-1/2}速率并给出显式常数。

Luis Wiederhold, Nil Ayday, Debarghya Ghoshdastidar

arXiv cs.LG

Random Probing for Structural Self-Interactions in Graph Neural Networks

说明用于图神经网络结构自交互的随机探测方法

简介图神经网络难以捕捉由节点自交互定义的结构性质,如环计数、子图中心性和热核特征。本文提出 DIAL 消息传递层,通过图衍生算子的对角元让节点获取图结构信息,并采用随机探测实现可学习且置换等变的访问。作者证明该方法能够表达环计数、子图中心性和热核特征,实验涵盖分子性质预测、环计数和模式检测任务。

Saku Peltonen, H. \c{C}a\u{g}r{\i} Bilgi, Kubilay Atasu

arXiv cs.LG · cs.AI · cs.CL

LoOPSD: On-Policy Self-Distillation with Looped Teachers

说明LoOPSD:利用循环教师进行同策略自蒸馏

简介该论文提出 LoOPSD 方法,在保持模型权重不变的前提下,搜索重复执行哪些层以构造更强的教师模型,并用其对学生生成前缀的预测指导学生学习。训练时交替进行搜索与蒸馏,每轮从更新后的学生重建教师。在数学与逻辑推理任务上,Qwen3-1.7B 在 GSM8K(400 token 思考预算)上的准确率从 42.30% 提升到 79.61%,后续蒸馏轮次带来进一步提升。

Wei Fan, Qingyue Yang, Chao-Hong Tan 等

arXiv cs.CV

Benchmarking Multimodal Large Language Models for Zero-Shot Human-Object Interaction

说明面向零样本人-物交互的多模态大语言模型基准测试

简介本文首次系统研究多模态大语言模型在人-物交互(HOI)识别与检测中的表现,采用外部物体检测器定位实体、零样本多模态推理理解交互的流程。作者提出包含统一零样本提示策略分类和将词元对数转为交互分数方法的评测框架,并为HICO、HICO-DET、V-COCO构建问答标注,还提出两种视觉提示策略。实验显示在HICO上达到53.50 mAP,在HICO-DET上达到23.69 mAP,取得当前最佳零样本性能。

Oriol Rabasseda, Zenjie Li, Kamal Nasrollahi 等

arXiv cs.CL · cs.AI

Claim Framing as a Driver of LLM Sycophancy

说明用户观点的表述方式如何驱动大模型的谄媚行为

简介该论文研究大语言模型的“谄媚”现象,即模型倾向于迎合用户偏好而非事实。作者在事实问答中,用多种方式表述用户的正确或错误观点,评估了14个模型在42K个问题上的表现。结果显示,所有模型都会受用户观点影响,且受表述的自信程度、归属对象和是否为双方共同观点的影响最大,而专业身份、权威和社会压力影响较小。

Jean Seo, Pepa Atanasova, Isabelle Augenstein

arXiv cs.AI 有代码

When and How Order-Flow Interventions Work After Dealers Adapt

说明做市商适应后,订单流干预何时、如何有效:一种按市场状态对齐的订单流分配合约(SOFA)

简介论文指出,学习型做市商可能长期维持较宽的报价,从而抬高客户交易成本。作者提出SOFA合约,包含按滞后公开数据对市场状态排序的评分器、在做市商报价前公布预算干预强度的调度器,以及把有限比例客户订单转向更紧报价的分配器。实验在ABIDES市场中用20组独立训练的做市商进行,结果显示,把干预集中在低风险状态下可降低低风险交易成本,但高风险交易成本随之上升,只有场所更看重低风险成本时才划算。

Guanghao Wu, Zhuo Cai, Zhidong Li 等

arXiv cs.CL · cs.AI · cs.MA

Fan Out or Relay? Ownership-Aware Routing for LLM Agents Querying Siloed Tables

说明扇出还是中继?面向孤岛式表格查询的、感知数据归属的 LLM 智能体路由方法

简介该论文研究企业内多个数据所有者各自持有表格、互不共享时,LLM 协调器应同时向所有所有者发问(扇出)还是依次查询并复用已返回数据(中继)。作者发现两者都不是事先就安全的,数据归属决定哪种更合适:单一所有者可回答的问题中扇出通常更准确,而涉及两个所有者表格的连接问题中扇出几乎无法作答。作者据此提出感知归属的路由方法 OAR,在读取任何私有数据之前,依据仅含模式的草稿 SQL 所涉及的所有者数量进行路由,并在多数设定下不明显弱于最优的固定协议。

Zhexi Feng

arXiv cs.LG · cs.AI

When Do Learned Blocks Preserve Causal Meaning? Block Identifiability and Constructive Causal Abstractions

说明学习到的模块何时能保留因果含义:模块可辨识性与构造性因果抽象

简介论文研究的是:当表示学习把高层概念编码在多维模块中、而模块内部坐标无法唯一确定时,这些模块的因果含义是否仍然成立。作者将模块可辨识性与构造性因果抽象联系起来,证明块对角可逆变换加上兼容的坐标置换,是能保持基于这些模块构建的所有构造性因果抽象的最大变换类。一个基于加性自编码器的小型合成实验表明,高层干预可以在独立学习的表示之间迁移,且大致保留其预期效果。

Karim Zaghw, Wieland Brendel, Patrik Reizinger

arXiv cs.LG · math.GR · stat.ML

Learning a Group Element from Its Action: Galois Correspondences, Optimal ERM, and an Abel-Ruffini Threshold for the Natarajan Dimension

说明从作用中学习群元素:伽罗瓦对应、最优经验风险最小化与Natarajan维数的阿贝尔-鲁菲尼阈值

简介本文研究在可数集合上有限轨道作用的群中,如何从样本(x,gx)学习未知元素g。通过伽罗瓦对应,多类维数被转化为群不变量,对称性使经验风险最小化在确定性学习者中达到最优。对五次方程的伽罗瓦群A5、S5,Natarajan维数与DS维数不同,而可解群中二者相同,并与方程能否由根式求解相关联。

Xiaoyu Li

arXiv cs.CL

Attacking Only Half the Data: Two-Sided Evaluation of AI-Text Detector Robustness

说明只攻击一半数据:AI文本检测器稳健性的双向评估

简介本文研究了广泛使用的AI文本检测器在同时对人类文本和机器文本施加攻击时的稳健性。作者提出双向评估协议,发现在该评估下,原先报告的AUROC提升消失,被攻击的人类文本最高有100%被误判。简单的预处理可以逆转字符级攻击,但词级同义词替换仍然有效且不可逆。

Apu Chandraw Shill, Rabindra Nath Nandi

arXiv cs.AI

RadixFlow: Filling Execution Bubbles in Prefix-Cached Hybrid LLM Serving

说明RadixFlow:填补带前缀缓存的混合 LLM 推理中的执行空泡

简介该论文提出 RadixFlow,用于大语言模型推理中的前缀缓存复用。在混合架构模型中,某些请求需要等待另一请求仍在计算的循环状态,原调度器因此在队列中停滞,造成批次槽位空闲。RadixFlow 将前缀匹配与状态就绪分离,只阻塞受影响的请求,让其他可执行分支继续填充批次。在五个混合模型上,平均延迟降低 3% 至 24%,工作轮次减少 11% 至 44%,复用率几乎不变。

Huihao Jing, Wenbin Hu, Shaojin Chen 等

arXiv cs.CV

FlowCred: Hierarchical Credit Assignment and Functional Coordination for Joint Text-to-Video Post-Training

说明FlowCred:面向文本到视频联合后训练的分层信用分配与功能协调

简介该论文提出FlowCred框架,用于同时优化文本到视频生成中的提示词策略与视频生成器。通过匹配的提示-随机种子采样网格区分提示层面的贡献与生成器残差,并在生成轨迹状态上探测替代提示以协调两个模块的更新。在LTX-2.5上,FlowCred在T2V-CompBench和StoryEval基准上分别将严格匹配的联合训练对照从61.47提升至64.46、从55.58提升至58.08。

Mingxuan Zhu, Yanwei Huang, Shiyuan Liu 等

arXiv cs.AI

Mitigating Cross-Modal Hallucinations by Correcting Modality Misrouting in Omnimodal LLMs

说明通过纠正模态误路由缓解全模态大模型的跨模态幻觉

简介全模态大语言模型在音频与视觉相互干扰时容易出现跨模态幻觉。论文发现,相当一部分联合预测错误的样本中,与问题相关的单模态分支仍能得出正确答案,并将这类可恢复的失败称为模态误路由。作者提出无需训练、仅在推理时使用的CaRe方法,通过冲突感知的残差干预把多模态状态拉向相关模态证据,并在CMM和AVHBench上优于评估的基线方法。

Yu Mi, Licheng Pan, Jiayi Zhu 等

arXiv cs.CL

SparPR: Runtime KV-Cache Recovery for Resource-Constrained LLM Inference on Consumer Hardware

说明SparPR:面向消费级硬件的大模型推理运行时KV缓存恢复方法

简介论文提出SparPR,一种在推理运行时恢复KV缓存的方法,无需修改模型权重,也不需要离线训练。它结合查询感知的块选择、动态预算控制和按需局部重计算,在单台消费级笔记本上运行。原文报告在1k、2k、4k提示词长度下端到端延迟分别降低31%、52%、63%,并能完成8k词元任务。

Jieyun Deng, Keming Hu, Yanghe Liu 等

arXiv cs.LG · eess.SP

Revisiting Error Feedback for Model Quantization

说明重新审视模型量化中的误差反馈

简介该论文研究因果误差反馈系数作为模型量化的设计变量,将量化误差建模为独立、零均值且方差固定的变量,并提出一种依赖度量的迹优化问题。研究证明了联合旋转-反馈迹的最小值为 n·det(H)^(1/n),并给出可达到该最小值的构造方法。实验表明,考虑下游敏感性的反馈设计有一定收益,但迹的最优性不一定能提升有限量化位数下的实际性能。

Wai-Yiu Keung, Chi Cui, Wing-Kin Ma 等

arXiv cs.CV

Human-Inspired Asymmetric Collaboration for Dual-Student Semi-Supervised Medical Image Segmentation

说明受人类教学启发的双学生非对称协作医学图像分割方法(HAC)

简介该论文针对半监督医学图像分割,提出一种双学生闭环框架HAC,让一个学生用弱增强、一个用强增强进行协作学习。其中强化学习驱动的难度校准(RDC)根据历史与训练反馈动态调整强增强的幅度、操作次数和范围;几何保持约束(G2PC)通过全局体积和成对面积约束保持早期三分支几何结构,避免两个学生同质化。作者在LA、Pancreas和BraTS-2019数据集上进行评估,验证了分割效果与难度校准的有效性。

Huiyi Ren, Ziming Fang, Jiaming Cai 等

arXiv cs.AI · cs.CL

Monitoring latent reasoning in looped language models

说明监测循环语言模型中的潜在推理

简介循环语言模型在每次生成一个词元时多次复用同一组网络层,以在不增加存储的情况下获得更多潜在计算。作者构建了一套基于机制可解释性的检测方案,包含五种不同的分析视角,并用它检查了来自四个模型系列的八个循环语言模型。研究发现,这些模型的关键差异在于提示是只在循环状态中传递,还是在每次迭代时重新输入,文中据此给出了关于安全性与高效使用的若干观察。

Pawel Olszowiec, Paulina Tomaszewska, Maciej \.Zelaszczyk 等

arXiv cs.AI · cs.GT · cs.IR

Fresh at Decision, Stale at Action: Routing New Information to LLM Decisions Already Made

说明决策时新鲜,执行时过时:将新信息路由到已做出的LLM决策

简介论文提出决策有效性的时间戳理论和决策账本,认为LLM决策的新鲜度在做出时决定,而执行发生在之后变化的世界中。研究在五个不同规模的LLM上通过受控决策流验证了相关预测,指出准确性由新鲜度上限、信息路由和时间判断共同决定。

Ayoub Merimi, Souhail Bakkali, Abdeljalil Sakat

arXiv cs.CV · cs.AI · cs.LG

H-DDCM: Hadamard Codebooks for Fast Generative Image and Video Compression

说明H-DDCM:用于快速生成式图像与视频压缩的Hadamard码本

简介该论文提出H-DDCM框架,用隐式随机Hadamard字典取代稠密高斯码本,无需重新训练生成模型即可进行压缩。借助快速Walsh-Hadamard变换,字典的计算与内存开销显著降低,并设计了无表格的字典序编码方案。作者还将其扩展到自回归视频流模型,在单GPU上实现接近实时的长视频生成式压缩,在图像与视频基准上取得有竞争力的率失真感知性能。

Or Ronai, Vladimir Kulikov, Tomer Michaeli

arXiv cs.CL

Cheap, Consistent, Calibrated, but Biased? Typed Decision Models as Judges

说明便宜、一致、校准良好,但有偏差?以类型化决策模型作为评审

简介类型化决策模型(TDM)不生成文本,而是为每个允许的答案给出概率,因此可能用于替代比较两个答案的LLM评审。本文在八个TDM和七个LLM评审上运行CALM基准的偏差测试,发现所有TDM都存在偏差,在十二项测试中有三到八项出现问题。情绪语气影响最大,将较好的答案改写为该语气后,典型TDM的准确率从99%降至42%。研究认为,若针对任务测试其偏差,TDM仍可能是有吸引力的评审方式。

Fabian Lukassen, Christoph Weisser, Alexander Silbersdorff

arXiv cs.CL

Narrative Lookahead in LLMs: Event-Level Decodability, Predictive Advantage, and Steering

说明大语言模型中的叙事前瞻:事件层面的可解码性、预测优势与引导

简介本文研究大语言模型在写出叙事事件之前是否已携带相关信息,以及能提前多远。研究以显著的状态变化事件为单位,从四个开源大模型生成的2000个故事中标注了23355个事件,并在部分样本上进行人工验证。结果显示,未来事件类型在随后至少四个事件内可被解码,但探针仅在下一个事件上显著优于纯文本预测器;探索性引导实验表明,探针导出的方向能在较高强度下改变目标事件类型的比例。

Donghoon Jung, Min Kim, Seojin Choi 等

arXiv cs.LO · cs.AI

Certifying Almost-Sure Reachability in Unknown MDPs

说明在未知马尔可夫决策过程中认证几乎必然可达性

简介本文研究在转移概率未知、只能通过采样获取信息的马尔可夫决策过程中,能否验证一个已有策略满足几乎必然可达性规范。作者以排序上鞅(RSM)作为证书。结果显示,在缺乏额外信息时既无法学习也无法以概率保证验证此类证书;但在非零转移概率存在已知下界 p_min 的温和限制下,可以用 PAC 式保证学习到正确证书。实验表明,基于 p_min 的充分条件虽然可靠但偏保守,学到的证书在真实模型上往往仍然有效。

S Akshay, Suguman Bansal, Gaurav Mahla

arXiv cs.LG · cs.AI

When Missingness Follows the Graph: Beyond Feature Propagation for Missing Features

说明当缺失遵循图结构:超越特征传播的缺失特征处理方法

简介图神经网络通常假设节点特征完整可观测,但现实中特征缺失很普遍。现有图方法主要依靠沿图边传播已观测值来处理缺失,但其评估多在缺失独立均匀分布的理想条件下进行。本文提出“图结构化掩码依赖”概念,并构建相应的受控缺失机制,发现传播类方法的效果在此情形下明显变化。为此作者提出PEMix,利用全局结构表示为不完整节点特征的概率模型提供条件,再进行消息传递,实验显示其在复杂缺失情形下表现稳健,缺失严重时优势尤为明显。

Enrico Chial\`a, Francesco Ferrini, Antonio Longa 等

arXiv cs.LG · cs.CV 有代码

SYNPRED: A Synergistic Approach to Multimodal Learning for Clinical Prediction

说明SYNPRED:面向临床预测的协同多模态学习方法

简介该论文提出一种协同多模态变分自编码器(VAE)框架,用于临床预测。它将与任务相关的单模态与多模态信息,与样本特有的、与任务无关的变异分开,从而利用不同模态间的互补信号。在利用医学影像和RNA数据进行治疗反应预测的实验中,该方法相较基于对齐的方法和多模态VAE方法取得了更好的多模态预测性能。

Ivana Jan\'i\v{c}kov\'a, Yen Y. Tan, Thomas H. Helbich 等

arXiv cs.LG · cs.AI

A CaLLM Judge is a Better Judge: Mitigating Bias in LLM-as-a-judge

说明CaLLM 评委:用多重校准减少 LLM 作为评判者时的偏差

简介大语言模型常被用作评判者,预测人类更偏好两个候选答案中的哪一个,但其判断可能存在系统性偏差,如位置、冗长程度或同系模型带来的偏好。本文提出 CaLLM,一种事后多重校准框架,可同时约束多个(包括未预先指定的)偏差群组。作者给出理论证明,并在成对偏好基准上评估,结果显示该方法在指定与未指定的偏差群组上都降低了多重校准误差,同时提升了评判者的预测性能。

Cesare Barbera, Luca Stradiotti, Lorenzo Cascioli 等

★★★★☆ 值得关注
arXiv cs.AI · cs.CL

Chain of Thought Monitoring Can Fail Even When CoT Is Necessary

说明即使思维链必不可少,思维链监控仍可能失效

简介该论文研究用思维链(CoT)监控检测AI系统不当行为的可靠性。作者指出,此前认为思维链必不可少时就可监控的二元判断过于粗略,并提出四级必要性层次与三级干预实验框架。在一项医疗诊断任务中,患者性别和某临床属性在有必要思维链的正确回答中分别影响至少19%和24%的答案,却几乎从未被表述出来。

看点提出四级CoT必要性层次并用干预实验测量监控性,在医疗诊断任务上证明即使CoT必要仍会监控失败,证据较充分,对监控实践影响较大。

Lennart B\"urger, Piotr Komorowski, Moritz Weckbecker 等

arXiv cs.LG

The Effect of Layer Ordering in Hybrid Architectures

说明混合架构中层排列顺序的影响

简介本文研究混合注意力架构中各类层的选择与排列顺序对模型性能的影响。作者证明,对于任一层配置,都存在一个任务,使该配置的模型在固定资源约束下可证明地优于其他配置。实验显示,在相同内存预算下,理论预测的最优架构在分段检索任务上表现更优,同时发现Transformer层在联想回忆任务中贡献了最大的性能份额。

John Cooper, Mingchen Ma, Jiaqi Mo 等

arXiv cs.LG

From Spectral Saliency to Finite Deletion: Evaluating Selective Language Model Edits

说明从谱显著性到有限删除:评估选择性语言模型编辑

简介本文研究对语言模型的奇异分量做有限删除以移除某项能力时,一阶谱显著性排序的预测误差如何影响选择性编辑。作者在 Mistral-7B-Instruct-v0.3 上以算术为目标任务、同时保留代码和问答能力进行实验,并在 Llama-3.1-8B-Instruct 上做扩展。结果显示,区间覆盖、可行候选保留与独立测试保持是三种不同的性质,需要分别评估。

Ibne Farabi Shihab, Joyanta Jyoti Mondal

arXiv cs.CV · cs.AI

APT: Feedback-Driven Agentic Post-Training for Text-to-Image Generation

说明APT:基于反馈的智能体式文生图后训练方法

简介该论文提出APT(Agentic Post-Training),一个全自动的文生图模型后训练框架,由三个智能体协同工作:根据用户需求构建评估集、诊断模型的强项与弱点,并生成强化学习数据。该方法会侧重模型表现较弱的能力,通过反复评估、诊断和更新生成器形成反馈循环。实验表明该方法适用于多种基础模型、基准和生成架构。

Sirui Zhang, Fangyun Wei, Dong Chen 等

arXiv cs.AI

LifeSearch: Benchmarking Deep Research Agents for Real-World Life and Productivity

说明LifeSearch:面向真实生活与工作效率的深度研究智能体基准测试

简介本文提出 LifeSearch 基准,包含 203 项中英文任务,取自真实用户查询,覆盖 7 个生活与工作效率领域。研究者用超过 4500 小时的人工标注构建了 4000 多条专家撰写的细粒度评分标准,并在统一评测框架下测试了 12 个先进深度研究智能体。结果显示,表现最好的 GPT-5.6 Sol 仅得 63.4% 分,说明现实场景任务仍有较大提升空间。

Yibo Wang, Senjie Jin, Yansong Ning 等

★★★★☆ 值得关注
arXiv cs.AI 有代码

AM-Bench: Understanding Agents under Task Underspecification across Models and Harnesses

说明AM-Bench:在不同模型与执行框架下理解任务描述不完整时的智能体表现

简介该论文提出 AM-Bench 基准,包含 48 个任务,每个任务配有完整描述的参考版本及六种目标、上下文或约束模糊或缺失的变体。研究对五个模型与四种执行框架的所有组合进行了共 20,160 次运行的评测。结果显示,目标缺失会阻碍任务完成,上下文缺失会增加令牌消耗,约束缺失会削弱合规性,且缺失信息比模糊信息造成更大的成功率下降。

看点针对任务欠规范下智能体的评测视角新颖,基于48个任务、五模型四框架共20160次运行,证据充分,对子领域有实际参考价值。

Kaiyu Huang, Yiting Li, Angyang Gu 等

arXiv cs.AI

One-Sided Verification Under Limited Expert Review

说明在有限专家审阅下的单侧验证方法

简介该论文针对专家审阅能力有限的情形,提出 OSVerify 框架,将错误提出与错误验证分离,在保持低误拒率的前提下尽量过滤无效解,以减少人工审阅工作量。实验表明,相较投票基线,该方法在同等约束下平均减少约 46% 的无效解人工审阅量,对验证器进行后训练后可进一步减少至约 57%。论文还报告了将其用于发现已发表论文错误并协助解决三个朗兰兹开放猜想的应用案例。

Fan Nie, Haotian Ye, Shurui Liu 等

arXiv cs.AI · cs.LG

ResearchFlow-Eval: Tracing the Execution Gap in End-to-End Multi-Claim Autoresearch

说明ResearchFlow-Eval:追踪端到端多论断自动科研中的执行差距

简介该论文提出 ResearchFlow-Eval 框架,用于评估自动科研系统在连续、多阶段流程中的科学执行与迭代能力,依据已发表论文制定分阶段评分标准。结果显示,各系统的实验执行普遍落后于设计与规划,重复尝试也很少带来可测量的改进,技能增强与科研专用编排也未必能稳定提高得分。

Peng Jiang, Dongyang Li, Quanying Liu 等

arXiv cs.LG · cs.NE

Same Function, Different Trajectory: No Standard Optimizer Is Equivariant to Transformer Reparameterization

说明同一函数,不同训练轨迹:没有标准优化器对 Transformer 重参数化具有等变性

简介论文指出,两个表示同一函数的 Transformer 因参数缩放不同,训练轨迹可能不同,例如查询矩阵加倍、键矩阵减半。作者提出对称感知梯度几何稳定方法 SAGGS,周期性地对齐对称矩阵对的 Frobenius 范数,并提出其软化版本 Soft SAGGS。文中报告了在 WikiText-103 等实验中困惑度的改善,以及在检查点恢复实验中的表现。

Bum Jun Kim

arXiv cs.AI

AReaL-RSI: Adaptive Scaling and Coordination of Recursive Self-Improvement

说明AReaL-RSI:递归自我改进的自适应扩展与协调框架

简介本文提出AReaL-RSI框架,用于组织一支持久的研究型智能体团队,且不更新骨干大语言模型的权重。领导智能体负责选择研究方向并指导调查,条件化记忆共享区分未解决问题与已获支持的发现。实验中,该框架在Terminal Bench、KernelBench等任务上与Codex-Goal对比,报告了性能提升和内核延迟降低的结果。

Wenhao Zhou, Jiajun Song, Haitao Wang 等

arXiv cs.LG

Failure Recovery via Belief Updates and World Modeling for Long-Horizon Agents

说明基于信念更新与世界建模的长程智能体故障恢复

简介长程智能体常因几步之前的原因而难以从故障中恢复。论文提出BELIEFWEAVER框架,跨尝试保存证据并对修复方向进行前瞻推理,并通过监督微调与在线策略蒸馏,将其中的推理能力迁移到一个9B学生模型。在三个基于终端的基准测试中,该框架的最终得分平均提升5.1个百分点,学生模型提升9.8个百分点,估计的教师API成本降低54.8%。

Xiyang Wu, Zhichao Liu, Shengxin zhang 等

arXiv cs.LG

Causal Discovery Under Hard Selection Bias: A New Robust Score-Matching Approach

说明硬选择偏差下的因果发现:一种新的稳健得分匹配方法

简介该论文研究因果发现中由非随机选择导致的数据偏差问题,聚焦截断数据(硬选择)并针对加性噪声模型给出通用结果。作者发现得分函数在确定性截断下保持联合分布的得分及其雅可比矩阵,据此提出一种在截断数据下仍稳健的新因果发现方法。在无选择偏差时,该方法的表现与现有先进方法相当。

Yiwen Qiu, Francesco Montagna, Shimeng Huang 等

arXiv cs.CV

LensErase: A Foundation Model for Erase Anything

说明LensErase:面向“擦除任意内容”的基础模型

简介该论文提出 LensErase,一个基于掩码的通用擦除模型,可处理物体、视觉文字、水印及相关视觉效果等多种擦除场景。作者构建了包含约 1.01 亿组源图-掩码-目标样本的 LensErase-100M 数据集,并以文生图模型 Lens 为基础预训练,结合 Mask-Aware RoPE、强化学习奖励和推理阶段的 TraceFusion 技术。论文称其在六个公开基准及 LensErase-Bench 上均有明显提升。

Yunuo Chen, Xiuyu Wu, Qinhong Yang 等

arXiv cs.CL

From Agents to Edges: Paired Optimization for Multi-Agent Collaboration

说明从智能体到边:多智能体协作的成对优化方法

简介本文提出PACO方法,针对多智能体系统中相邻智能体之间的通信边,同时优化两端的指令及二者共用的通信约定。该方法保持模型权重、智能体角色和工作流拓扑不变,并通过分阶段端到端执行评估修改效果。在四智能体工作流的多个基准测试中,PACO优于主流的提示优化和通信基线方法。

Feng Lin, Xiaotian Yu, Yifan Yang 等

arXiv cs.AI · cs.LG

WorkRover: Scaling Long-Horizon Cowork Agent Training Via Recursive Environment Evolution

说明WorkRover:通过递归环境演化扩展长周期协作智能体训练

简介该论文提出WorkRover框架,用于通过递归环境演化训练长周期协作智能体,使构建智能体能联合生成并验证工作上下文、可执行任务和验证器。框架还引入Factorial Compatibility Replay(FCR)选取经验证的最小修复,以及Verifier-to-Turn Credit Assignment(VTCA)为前置回合分配更细粒度的训练信号。基于该框架对Qwen3.5-35B-A3B后训练得到的WorkRover-35B-A3B,在JobBench、OfficeQA Pro和GDPval v2上报告的得分高于基座模型。

Hang He, Linting Wang, Guanming Liu 等

arXiv cs.LG · cs.AI

Uncertainty Evaluation: Bridging Machine Learning and Measurement Science

说明不确定性评估:连接机器学习与计量科学

简介本文探讨机器学习中的不确定性评估与计量科学之间的概念类比,借鉴计量学从误差方法发展到《测量不确定度表示指南》(GUM)框架的历程。文章认为,将机器学习不确定性划分为偶然性与认知性两类的做法依赖模型,不足以构成统一框架,并主张采用计量学式的方法,系统地识别、量化和传播不确定度分量,以评估单个预测的可信度。

Dario Petri, Luca Mari

arXiv cs.CL 有代码

A Benchmark for Bangla Task-Oriented Dialogue Understanding

说明孟加拉语面向任务对话理解基准(BanglaTOD)

简介该论文提出BanglaTOD,一个孟加拉语、英语和罗马化孟加拉语(Banglish)三语平行的面向任务对话基准,包含209段多轮对话,涵盖九个孟加拉国特定服务领域和64种意图。研究以mBERT、BERT-base-uncased和BanglaBERT建立了意图分类与槽位填充的上下文感知基线。结果显示,去除对话历史会使意图准确率下降19.0至25.7个百分点。数据集已在Hugging Face公开。

Afrina Alam Lamia, Sumiaya Sharif, Prottoy Modak 等

arXiv cs.LG · cs.AI

From Policy Evaluation to Off-Policy Control: Provable Emergence of In-Context Q-Learning

说明从策略评估到离策略控制:上下文中 Q 学习的可证明涌现

简介本文研究 Transformer 如何在上下文中实现 Q 学习这一无模型控制算法。作者证明,一个两层、仅含注意力的 Transformer 可以实现有限温度版本的 Q 学习,温度 τ 控制对贪心动作选择的近似程度,τ 趋近于 0 时恢复为窗口 Q 学习。在随机生成的 MDP 任务上,训练出的模型表现与 Q 学习相当,理论预测的参数结构也在训练中出现。

Yingjun Mo, Yajie Zhao, Fang Kong

arXiv stat.ML · cs.LG

Reliable Scale-Free Bandits via Empirical Likelihood

说明基于经验似然的尺度无关多臂老虎机可靠方法

简介本文研究在不知道奖励尺度和尾部参数的随机多臂老虎机问题。作者提出 EL-F 策略,即对 Cowan 与 Katehakis(2020)的 g-Forcing 策略进行经验似然(EL)扩展。文中给出了渐近遗憾、期望遗憾上界和有限时间尾部界等理论结果,并在实验中显示其相比 g-Forcing 能减少长时间次优臂的选择。

Pratham Gupta, Alhad Sethi, Shubhada Agrawal

arXiv cs.RO · cs.LG

LADDER: A Long-Horizon Robot Manipulation Benchmark

说明LADDER:一个长时程机器人操作基准测试

简介该论文提出LADDER基准,用于评估机器人操作策略在长时程任务上的表现,子目标数从1扩展到10,覆盖三个仿真套件共145个任务。实验显示,单子目标任务上低层策略准确率为85.4%,但在长任务上接近零;加入编排后约为25%,使用工具选择编排的GPT-Policy方法约为62%,但耗时与成本较高。真实机器人实验也验证了上述结论。

Petko Petkov, Giuliano Albanese, Nikolay Nikolov 等

★★★★☆ 值得关注
arXiv cs.AI 有代码

Can Agents Forget When Asked? A Benchmark for Memory Unlearning in LLM Agents

说明智能体能在被要求时遗忘吗?LLM 智能体记忆遗忘基准测试

简介长期记忆是大语言模型智能体的核心组件,用户常要求删除敏感或过时的信息。本文提出首个专门评测记忆遗忘能力的基准 Bemula,包含 50 个多轮对话实例、135 条六类遗忘请求和 1,742 个测试问题。对六种主流记忆系统的测试显示,所有系统的端到端遗忘通过率都不超过 1.5%,多数完全无法通过,记忆遗忘仍是待解决的挑战。

看点首个面向记忆遗忘的基准,填补用户显式删除请求评估的空白;通过成对对照与五类测试套件评估六个系统,结果显示现有方法几乎全部失败。

Bofan Xie, Chaokun Wang, Guanchen Ge 等

arXiv cs.LG · cs.AI · cs.CL

inLoRA-MINT: Internal Representations for Auditing Training Data in Domain-adapted LLMs

说明inLoRA-MINT:利用内部表示审计领域适配大模型的训练数据

简介本文研究将成员推断测试(MINT)应用于用LoRA微调的大语言模型,判断特定样本是否参与过训练,以应对数据隐私与泄露问题。作者在此前仅依赖困惑度的黑盒方法基础上,提出利用激活值等中间表示的方法,使分类器无需完全访问模型参数即可区分训练与非训练样本。在四个模型和三个涵盖医学、数学与学术推理的数据集上,该方法得分在95%至98%之间。

Gonzalo Mancera, Julian Fierrez, Aythami Morales 等

arXiv cs.AI

Beyond Black Boxes: Visual Grounding for Text Embeddings

说明超越黑箱:文本嵌入的视觉化接地

简介本文提出一种基于草图的视觉接地框架,把文本嵌入转换为视觉化的拓扑草图,以便观察其中编码的语义。作者在MS-COCO数据集上比较了SBERT与草图方法的文本检索表现:SBERT在top-1精确检索上更强,在top-5上两者相近;将二者级联使用时效果优于单独的SBERT。

Slimane Larabi

arXiv physics.flu-dyn · cs.AI · cs.LG

High-fidelity Three-Dimensional Flow Field Reconstruction Driven by Turbulent Fluid Dynamics

说明基于湍流流体动力学的高保真三维流场重建

简介本文提出一种面向湍流的三维流场时序重建框架,用于从粗粒度数据恢复高精度三维流场。该框架结合多尺度神经算子与状态空间模型以保持时间一致性,并将Navier-Stokes方程残差作为软约束,同时引入专家混合机制以适应未知的粗化方式。在典型湍流系统和大气再分析数据上的测试表明,该方法相比基线方法降低了重建误差,并更好地保留了多尺度空间结构与时间演化。

Hanlin Kong, Jianan Wei, Yuntian Chen 等

arXiv cs.CV · cs.AI

Scaling Vision Transformers Without Training: Prune-and-Merge Token Compression

说明无需训练即可扩展视觉Transformer:剪枝与合并的令牌压缩方法

简介视觉Transformer性能强但因令牌间的二次方交互计算成本高。本文提出Prune-and-Merge ViT,一种面向现成模型、无需训练的框架,结合基于类别注意力的剪枝与基于相似度的合并来减少冗余并保留语义信息。作者还提出相对准确率下降(RAD)与预测翻转率(PFR)两项指标评估鲁棒性,在预训练的ViT和DeiT上,该方法在保持鲁棒性的同时以有竞争力的计算量减少优于现有令牌压缩方法。

Vatsal, Soumil Malhotra, Priyanshu Chahal 等

arXiv cs.RO · cs.CV

Data-Free Continual Learning for World Action Model with Rectified Generative Replay

说明基于修正生成式回放的无数据持续学习(世界动作模型)

简介世界动作模型(WAM)基于预训练视频生成模型,能快速适应新的机器人任务,但顺序微调会遗忘旧任务。本文提出R²-WAM,让模型自行生成过去任务的完整轨迹进行回放,无需保留旧数据;通过智能评估器在任务完成处截断轨迹,并过滤动作与观测不一致的轨迹。在四个LIBERO套件和五项真实任务上,相比顺序微调遗忘程度降低超过90%,接近使用旧数据的经验回放效果。

Kaipeng Fang, Hangxu Liu, Chaojian Shi 等

arXiv stat.ML · cs.LG

Weighting-Based Strategies for Classification: Analysis and Local Peak Dynamics with CART Trees

说明基于加权的分类策略:分析及CART树的局部峰值动态

简介该论文针对表格数据中的类别不平衡问题,比较了不加权与加权两种再平衡策略。研究发现,随着样本量增加、预测器复杂度上升,两者在所有评估指标上的预测表现渐近相同,仅最终阈值存在偏移。作者还在有限深度的CART树上进行了理论分析,并通过数值实验识别出加权策略更具优势的复杂合成场景,最后提出一个指标用于判断数据集是否适合加权。

Abdoulaye Sakho (LPSM (UMR\_8001)), Emmanuel Malherbe, Erwan Scornet (LPSM (UMR\_8001))

arXiv cs.CV

COMPASS: Contextual Moment Prior Alignment for Generalizable AIGI Detection

说明COMPASS:面向泛化的AI生成图像检测的上下文矩先验对齐方法

简介该论文针对AI生成图像(AIGI)与深度伪造检测的泛化难题,提出COMPASS数据感知子空间适应框架。它利用少量无标注的语义代理集估计目标激活统计量,将激活协方差纳入预训练权重分解,以保留目标相关语义表示,同时让残差适配器学习伪造相关变化。论文称该方法无需基于梯度的优化,并在多项跨数据集、跨方法及开放世界评测中取得领先表现。

Zhan Yang, Tiancheng Shen, Weijie Lyu 等

arXiv cs.CV

FlowSim: Rendering-Free Closed-Loop Simulation for Evaluating End-to-End Driving Systems

说明FlowSim:无需渲染的端到端自动驾驶闭环仿真评测方法

简介本文提出FlowSim,一种无需图像渲染的闭环仿真方法,用于评估端到端自动驾驶系统。它根据上一帧的潜在表示和目标帧的符号化场景条件,直接预测内部潜在表示,再交由冻结的下游模块处理,从而省去图像渲染和感知重编码。在nuScenes和NavSim上的实验显示,其下游行为表现与图像空间仿真相当,且多数情况下更优,每步仿真仅需0.04至0.06秒。

Hanfeng Wu, Alvaro Marcos-Ramiro, Michael Schmidt 等

arXiv physics.chem-ph · cs.AI · cs.LG

Can Machine Learning Potentials Be More Accurate Than the Methods They Are Trained On?

说明机器学习势能能否比其训练所用的方法更准确?

简介机器学习势能(MLP)能够跨构型空间和化合物空间进行泛化,但其精度通常被认为受限于训练方法。本文提出,可以通过跨量子化学方法空间进行泛化,使MLP在无需拟合实验数据的情况下超越训练方法的精度。作者提出了可在未见方法上预测的方法可迁移MLP,并在密度泛函和波函数理论中给出可行实现。

Pavlo O. Dral, Yi-Fan Hou, Yuxinxin Chen 等

arXiv cs.LG · cs.AI

ChampionKV: Head-Wise Adaptive Budget Allocation for KV Cache Compression

说明ChampionKV:面向KV缓存压缩的注意力头自适应预算分配方法

简介该论文提出ChampionKV,一种针对长上下文KV缓存压缩的输入自适应注意力头预算分配方法。它以观察窗口注意力最大聚合分数作为注意力集中度的轻量代理:注意力分散的头分配更多预算,集中的头分配较少。该方法可接入SnapKV、PyramidKV等压缩器而不改变其token选择流程。在LongBench和RULER上,它相较基础压缩器总体有所提升,在Llama3.1-70B-Instruct上提升最明显且具统计显著性,但在7B/8B模型上结果互有胜负,且并非全面优于Ada-KV。

Yuechuan Chen, Yanda Guo, Xiaoxi Liu 等

arXiv cs.AI · cs.LG

SHELDON: Reasoning through Dual Search over Hypothesis and Observation Spaces

说明SHELDON:基于假设与观测双空间搜索的推理框架

简介该论文提出SHELDON,一种科学推理框架,将假设空间与观测空间分开表示并联合探索。它主动寻找新观测,从而发现现有假设无法解释的现象,借此引导生成超越已有假设细化的新假设。论文称,在诊断、抽象推理与优化基准上,SHELDON 最多比所评估的基线高出 26.7 分,并生成最多 4.5 倍的新颖解。

Harshit Joshi, Priyank Shethia, Monica S. Lam

arXiv cs.LG

FRACTION: Fraud Explanation Generation via Agentic Graph Context Navigation

说明基于智能体图上下文导航的欺诈解释生成(FRACTION)

简介该论文针对图结构欺诈检测中的解释生成问题,提出名为FRACTION的框架,让语言模型通过逐步展开邻居记录的图工具导航图上下文。作者还设计了一套评估解释质量的任务专用评分标准,并通过轮询训练智能体学习工具使用与结构化解释生成。实验在三个欺诈数据集上显示,在该人工对齐评分标准下,其表现优于现有基线方法。

Cecelia Soh, Jun Hu, Yuan Li 等

arXiv cs.CL

Machine--human agreement in marking undergraduate assignments is specific to model, prompt and institution

说明大语言模型批改本科作业:人机评分一致性因模型、提示词和院校而异

简介该研究使用英国三所大学的761份本科心理学作业,评估了三种前沿大语言模型(单独及组合使用)的评分表现。结果显示人机评分一致性差异很大,没有哪一种模型或提示词在所有院校都最优。所有模型都倾向于把分数压向中间,高估最弱作业、低估最强作业,且机器评分比人工更看重语言特征。作者认为,仅在单一情境下的验证会高估其部署就绪程度。

Giulio Corsi, Maryam Abo-Tabik, Yael Benn 等

arXiv cs.CV

Dynamic Interpolation for Training-Time Prediction Reshaping in Low-Light Image Enhancement

说明低光照图像增强中的训练期动态插值方法(DITM)

简介该论文针对低光照图像增强任务,提出一种仅在训练时使用的动态插值模块DITM,不增加可学习参数。它将模型预测与按真实图像平均亮度重新缩放的图像做亮度感知插值,使训练后期残余局部误差对反向传播影响更大,从而抑制伪影并恢复细节。实验表明,该方法在CNN、Transformer和Mamba等主干网络上提升了保真度与视觉质量,且推理时不增加计算开销。

Peirui Zhu, Shijie Hao, Jingxi Liao 等

arXiv cs.CL · cs.AI 有代码

LatentRemedy: Efficient Remedy For Non-Prefix KV Cache Reuse in Multi-Agent Systems

说明LatentRemedy:多智能体系统中非前缀KV缓存复用的高效补救方法

简介本文针对多智能体系统中非前缀KV缓存复用在任务冲突时性能显著下降的问题,提出LatentRemedy方法。该方法用一个MLP把目标前缀的最后隐藏状态映射为少量任务条件潜在token,放在复用的KV块之后,帮助智能体利用复用上下文而无需重新计算共享块。实验表明,在冲突任务上其效果优于现有复用基线,且随缓存规模增大,首token时延仍接近直接复用。

Zhiwei Chen, Zhongtao Rao, Waikit Xiu 等

arXiv cs.LG · cs.AI

Correcting or Continuing? What On-Policy Distillation Learns from Student Errors

说明在学生出错的题目上做在线策略蒸馏,会纠正还是强化错误?

简介本文研究在线策略蒸馏(OPD):学生在冻结教师模型下使用自身生成的轨迹训练。作者只在学生目前做错的数学竞赛题上训练,用 Qwen-3 与 Phi-4 模型测试了五种代表性机制。结果显示,在这些困难题上准确率没有提升,多数机制反而下降,即使训练 KL 散度持续降低;而不集中于错题时,同一流程可提升 4.6 个百分点。

Shuo Yang, Zheyu Zhang, Mahito Sugiyama 等

arXiv cs.SD · cs.CL 有代码

Fish Audio Drama 3 Technical Report

说明Fish Audio Drama 3 技术报告:可按指令演绎的开源语音生成模型

简介本报告介绍 Fish Audio Drama 3,一个开源语音生成模型,可将文本转化为带有导演指令的表演。它基于 35B 参数的混合专家骨干网络,每个 token 激活 3B 参数,支持多参考音色克隆、自然语言指导、多角色场景配音、基于填充的语音编辑以及长文本和流式音频合成。模型权重已在 GitHub 与 Hugging Face 公开。

Dawei Han, Shidong Li, Shijia Liao 等

arXiv cs.CV

Surface Reconstruction from Range Scans Under Visibility Constraints

说明基于可见性约束的距离扫描表面重建

简介本文研究从距离扫描数据重建三维表面的问题,在噪声和离群点存在时需要在拟合观测与抗测量误差之间取得平衡。作者将重建表述为对每条采集射线上预测的首个表面交点与测得深度进行鲁棒回归,并用Huber损失进行回归,同时用1-Lipschitz多层感知机表示表面并采用球体追踪求首个交点。实验表明,该方法在干净数据上具有竞争力,在中等程度污染下拟合保真度和鲁棒性明显更好;作者还指出拟合能力与鲁棒性之间存在权衡,通常在中等容量时达到最佳平衡。

Gabriel Lenain, Edmond Boyer, Jean Ponce

arXiv cs.SE · cs.AI

SWEPatchTest: Evaluating Software Tests Beyond Reproduction

说明SWEPatchTest:超越复现的软件测试评估基准

简介该论文提出SWEPatchTest基准,用于评估编码智能体生成的测试能否正确判断补丁是否满足问题需求。基准包含619个任务和82,579个候选补丁,同时衡量问题复现、正确补丁的接受与错误补丁的拒绝。结果显示,表现最佳的配置在59.29%的任务上能复现参考补丁的行为变化,但联合验证率仅为9.21%。作者还利用验证分数筛选和扩展监督微调的示范数据,使联合验证率约提升至三倍,并改善了下游修复效果。

Hua Lu, Pengcheng Wang, Han Li 等

arXiv cs.LG · cs.AI · cs.CL

Match the Canvas, Not Just the Answer: Predictability-Aware SFT for Diffusion Language Models

说明关注生成画布,而不只是答案:面向扩散语言模型的可预测性感知监督微调

简介扩散语言模型按模型自身的可预测性并行生成词元,训练时的随机掩码与推理方式不一致,可能误导监督信号。作者提出PACS方法,利用模型自身的可预测性选择每个样本的可见输入长度,并在参考词元被置信度引导揭示之前进行监督。在推理与代码生成基准上,PACS的平均准确率在比较的监督微调方法中最高,单项基准最多比普通监督微调提高12.84个百分点。

Miao Li, Hanyang Jiang, Hengyu Fu 等

arXiv cs.LG · cs.AI · cs.CV

Saliency-Guided Replay for Continual Learning in Deep Spiking Neural Networks

说明深度脉冲神经网络持续学习中基于显著性引导的回放方法

简介本文研究在深度脉冲神经网络(SNN)中用经验打包与回放(EPR)缓解持续学习中的灾难性遗忘,并在低延迟条件下进行。方法结合了时间批归一化稳定的VGG9 SNN与基于脉冲活动的脉冲激活图(SAM);SAM将脉冲活动在时间上聚合为空间注意力图,用于挑选信息量最大的图像块进行回放,而不是保存完整图像。在Split CIFAR10和Split CIFAR100上的实验表明,在严格的内存预算下,SAM引导的EPR改善了准确率与内存之间的权衡,并且在存储需求大幅降低的同时保持了有竞争力的表现。

Francesco Panetta, Federico Di Valerio, Michela Proietti

arXiv cs.CV

Uncertainty-Aware Semi-Supervised Framework with Supervised Contrastive Learning for Sugarcane Leaf Disease Detection

说明面向甘蔗叶病检测的不确定性感知半监督框架(结合监督对比学习)

简介本文针对甘蔗叶病检测中标注数据昂贵、类内差异大、类间相似及标签噪声等问题,提出U-SSDNet半监督检测网络,结合离散小波变换预处理、KL散度refine伪标签以及监督对比学习。在甘蔗叶病数据集上的实验表明,该方法在标注样本大幅减少的情况下性能接近全监督模型,并优于现有监督与半监督方法。

Shalini Dangi, Divya Teja, Omkar Kabde 等

arXiv cs.LG

Improving Neural Symbolic Regression with a Diverse Prior and Post-training Alignment

说明用多样化先验与训练后对齐改进神经符号回归

简介符号回归要从候选表达式的组合空间中找出拟合数据集的公式。本文提出RASR方法,改进神经符号回归的训练方式:先用更贴近真实数据的合成先验进行监督预训练,再用强化学习依据留出数据的拟合度与表达式大小进行后训练。在SRBench 2.0黑盒赛道上,RASR的平均测试R²排名最高。

David Otte, J\"org K.H. Franke, Frank Hutter

arXiv cs.LG · stat.ML

Counterfactual Certification for Sequential Unlearning with Long-Run Performance Guarantees

说明顺序删除请求下的反事实认证机制:长期性能保证

简介本文研究机器遗忘中的顺序删除问题:删除请求以大小不一的群组形式陆续到达。作者对每次模型发布,与一条假定该群组从未参与训练的反事实遗忘轨迹进行认证。在每次删除的微调预算固定、目标函数为平滑强凸时,性能损失可在请求数量增加时保持有界。基于FEMNIST的多类逻辑回归实验显示,该方法所需修正步骤少于现有顺序方法,且在群组大小差异较大时优于训练时差分隐私。

Hanna Benarroch (DI-ENS), Jamal Atif (CMAP), Olivier Capp\'e (DI-ENS)

arXiv cs.CV

PolUR: Polarization Aware Multimodal Degradation Perception for Underwater Image Restoration

说明PolUR:基于偏振感知多模态退化感知的水下图像复原

简介该论文提出PolUR框架,联合利用偏振图像与RGB图像,识别水下图像的色偏、雾霾和低光等混合退化类型与程度,并借助退化感知语义特征指导图像复原。作者还构建了MixPolar基准数据集,用于评估退化感知、图像复原及下游任务表现。实验表明该方法在相关任务上具有竞争力。

Wenshuo Zhang, Xiangyue Zhang, Junlin Li 等

arXiv cs.CL · cs.AI

Seeing Through the Forgery Is Not Enough: Regressive Sycophancy under Fabricated Evidence in Medical Vision-Language Models

说明识破伪造还不够:医学视觉语言模型在伪造证据下的回归式谄媚

简介该论文研究医学视觉语言模型在面对伪造文件时的表现:模型原本答对,用户再附上伪造的处方施压,模型就可能放弃正确答案。作者在VQA-RAD的400道是非题上,用四个开源模型测试了19200段多轮对话。未声明文件为合成时,模型放弃了80.1%的正确答案;有些模型即使拒绝处方仍会改答,且在系统提示中声明文件为合成可降低部分模型的改答率。结论是,识别出伪造并不能阻止模型采纳其答案。

Sadif Ahmed, Soumya Swagata Biswas, Rifat Shahriyar 等

★★★★☆ 值得关注
arXiv cs.CV · cs.IR 有代码

Web Scale on a Budget: Tail-Aware Retrieval Evaluation

说明低成本的大规模检索评测:尾部感知方法

简介本文针对图像实例检索中为提高区分度而不断扩大图库规模的做法,提出用小规模随机抽样来估计大规模检索指标的方法。作者定义了与图库规模无关的单查询检索难度,并借助极值理论(EVT)进行估计。在ILIAS、INSTRE和Google Landmarks v2上的实验显示,仅用5%样本即可接近全量mAP,平均绝对误差约为0.005。

看点将推荐系统与生物识别中的采样排名机制首次改编用于视觉检索,并以逐查询难度估计大规模mAP;在5种骨干、3个基准上验证,误差约0.005。

Boaz Meivar, Shai Avidan

★★★★☆ 值得关注
arXiv cs.LG · cs.DS · cs.GT

Exact power indices for plurality-voting ensembles

说明多数投票集成模型的精确权力指数

简介该论文研究如何衡量多数投票集成模型中每个基础分类器对最终预测的贡献。作者借用合作博弈论中的Banzhaf与Shapley权力指数,为多数投票和随机打破平局建立新博弈模型,并提出名为ENPOWER的方法。论文称二分类情形可在线性时间内精确计算,多分类情形可在低次多项式时间内计算,并在集成剪枝和视觉语言模型提示集成中进行了应用验证。

看点将合作博弈的Banzhaf与Shapley指数用于多数投票集成,并给出线性时间精确算法,有明显新意,并通过实验与视觉语言模型应用验证。

Ilie Sarpe, Theofanis Georgakopoulos, Aristides Gionis

arXiv cs.AI

Seeing Depth but Choosing Cues in Vision-Language Models

说明视觉语言模型能感知深度,却在判断时偏向图像平面线索

简介该研究考察视觉语言模型判断物体远近时,是利用深度信息还是依赖图像平面上的线索(如视觉大小和垂直位置)。通过受控的深度与线索冲突实验、表示分析和干预发现,模型的深度判断会系统性地偏向误导性线索;但正确的深度顺序仍可从物体的视觉表示中解码,即使回答错误时也是如此。

Zhengtao Zou, Pekka Marttinen

arXiv physics.chem-ph · cond-mat.mtrl-sci · cs.LG

All-electron machine-learned orbital-free density functional for periodic CHNO systems

说明面向周期性CHNO体系的全电子机器学习无轨道密度泛函

简介论文提出STRUCTURES-P,一种用于周期性CHNO体系(碳、氢、氮、氧)的全电子机器学习无轨道密度泛函。静电项在原子中心高斯基组中解析计算,等变网络从非基态密度的能量和梯度中学习动能与交换关联能。在保留的晶体测试集上,密度误差从6.7%降至电子数的0.4%,能量误差为每原子0.25 mHa。

Marc K. Ickler, Andreas Hermann, Fred A. Hamprecht

★★★★☆ 值得关注
arXiv cs.IT · cs.LG · math.IT

Rarity Determines Minimax Rates of Semantic Entropy From Weak Pairwise Judgments With a Known Channel

说明弱成对判断下语义熵的极小极大速率:稀有语义决定估计难度

简介本文研究大语言模型语义熵的估计问题。语义含义无法直接观测,只能通过已知信道下的成对等价判断来估计。作者证明,估计难度由可能稀有的含义数量决定,而非由全局最坏情形决定,并给出对应的极小极大速率与一致性阈值。

看点提出以稀有含义数量刻画语义熵极小极大速率的新框架,并给出匹配上下界,理论结果显著改进了全局速率的认识。

Xiaoli Yu, Jiamiao Liu

arXiv cs.PF · cs.LG

AlignPred: Error-Controlled KV Cache Compression via Alignment and Predictive Coding

说明AlignPred:通过对齐与预测编码实现误差可控的KV缓存压缩

简介论文提出AlignPred,一种用于压缩大模型KV缓存的编解码方法,适用于长时间运行、需长期保存缓存的智能体。它先用局部正交变换对齐相关注意力头或层,再结合预测编码,在可配置的重建误差预算下量化残差并做熵编码。论文称,在三种注意力机制上,相比所评估的基线,它在相近的重建误差下占用更少存储,解码速度至少快1.6倍,并在LongBench-Pro(128K上下文)上取得接近原始模型的任务分数。

Xu Yang, Jiapeng Zhang, Zhiwei Zuo 等

arXiv cs.LG · cs.NE

Neural Dimensional Analysis: Foundations of Dimensionless and Scale-Consistent Computation

说明神经维度分析:无量纲与尺度一致计算的基础

简介该论文提出神经维度分析(NDA),以维度一致性统一解释 Transformer 中的尺度控制机制,定义神经单位并给出无量纲的单位违例指数(UVI)用于诊断尺度不匹配。作者还提出了带归一化坐标和正交化残差相加的 Gauge-Canonical Transformer(GCT)。在 51M 至 1B 参数的语言模型实验中,GCT 在较宽的学习率范围内训练稳定,并在量化后的验证损失增幅远小于基线。

Bum Jun Kim, Makoto Kawano, Yusuke Iwasawa 等

arXiv cs.CV

dMRI-F: A Foundation Model for Generalizable Diffusion MRI Analysis from Sparse Acquisitions

说明dMRI-F:基于稀疏采集实现可泛化扩散磁共振分析的基础模型

简介该论文提出dMRI-F,一个统一扩散磁共振成像(dMRI)数据增强与多种下游任务的基础模型,仅需少量采集体积作为输入。模型通过预测密集采样的多壳层数据进行预训练,学习可泛化的潜在特征,并可适配脑分区、脑配准和跨模态合成等任务。作者在九个独立采集的数据集上称其优于现有方法。

Xi Zhu, Yijie Li, Xiaofan Wang 等

★★★★☆ 值得关注
arXiv cs.LG · cs.AI

BELT : BEhavior-Aligned Low-Rank KV Cache Compression with Learned Top-k Rank Allocation

说明BELT:面向注意力行为对齐的低秩KV缓存压缩方法(带学习式Top-k秩分配)

简介论文提出BELT,一种低秩KV缓存压缩框架,用于缓解大语言模型长上下文推理时KV缓存占用过大的问题。其键侧目标针对注意力分布,并通过闭式解求得低秩解,同时用可学习的全局秩分配器在用户指定的预算内分配秩。在三个大语言模型和多个基准上,BELT可实现最高70%的低秩压缩,结合量化后KV缓存最高减少17.8倍,并在解码吞吐量上有所提升。

看点提出以注意力分布为目标的低秩KV缓存压缩与可学习的全局秩分配,在三个LLM和多个基准上验证,效果与速度提升明显。

Yaoyang Liu, Shuwei Shen, Jincheng Tang 等

arXiv cs.LG · cs.AI

Better Capturing Interactions Between Products in~Retail: Revisited Negative Sampling for~Basket Choice Modeling

说明更好地捕捉零售商品之间的相互关系:面向购物篮选择建模的改进负采样方法

简介本文提出一种购物篮模型,通过学习表示商品、价格和门店之间相互作用的嵌入向量,从大规模交易数据中发现销售规律。为应对商品数量庞大带来的计算瓶颈,模型在优化损失时使用随机负样本,并基于实际可售商品的品类组合进行抽样。合成数据实验显示该抽样方式优于文献中的方法;在东南欧零售企业 Fortenova Group 的数百万笔交易数据上的验证也表明模型有应用前景。

Jules D\'esir, Vincent Auriau, Martin Mo\v{z}ina 等

arXiv cs.NI · cs.LG

CALM-5G: Event-Level Conformal Risk Control for Predictive Service-Assurance Alarms

说明CALM-5G:面向预测性服务保障告警的事件级保形风险控制

简介本文提出 CALM-5G,一个位于任意预测模型之上的服务保障告警层,在有限样本条件下给出与分布无关的误报漏报保证。它以服务质量违规事件为校准对象,直接对违规发生的时刻打分,并在样本外选择校准方案,同时报告每个认证漏报率对应的告警占空比。实验基于四个独立数据集,结果显示:在线校准能恢复合规性,而批量校准在标签漂移下会明显超出容许范围。

\"{O}mer Faruk \.{I}\c{s}canl{\i}, Ya\u{g}mur Sabucu Sandal