AI 算法 · 2026年10月15日(周四)

机器学习、人工智能、自然语言处理、计算机视觉、多智能体。

★★★★☆ 值得关注
arXiv cs.LG

Hard Way, The Only Way: Provable Merits of Training on Hardest Examples

说明困难样本优先:数据剪枝训练的可证明优势

简介本文从理论上分析了通过加权经验风险最小化进行数据剪枝的学习问题,给出了输入维度与样本量比例固定时测试误差的精确极限曲线。作者证明,在样本量远大于维度的情形下,策略性剪枝可使分类测试误差的衰减速度从经典的 sqrt(N/P) 加快到 N/P 量级。最优策略是仅保留最难的 2N 个训练样本,丢弃其余几乎全部数据。

看点在高维极限下精确刻画数据剪枝的测试误差,证明可将误差衰减从√(N/P)加速到N/P,并指出最优策略只保留最难的2N个样本,理论突破明显。

Elvis Dohmatob

★★★★☆ 值得关注
arXiv cs.LG · q-bio.QM

Poisoning the corpora of protein design systems during pre-training and retrieval

说明对蛋白质设计系统预训练与检索语料库的投毒攻击研究

简介本文研究了针对蛋白质设计系统的两种仅通过数据实施的投毒攻击:一是在自回归蛋白质语言模型(ProtGPT2、ProGen2 变体)的预训练语料中注入带触发器的恶意序列;二是在文本引导蛋白质生成器的检索语料中插入记录。实验显示,投毒样本可使模型形成稳定的触发相关生成行为,检索攻击也能显著占据检索结果并改变生成序列,而模型的普通行为基本保持不变。作者据此强调蛋白质序列数据的完整性与生物学来源可追溯性,是生成式蛋白质设计系统的重要保障。

看点首次在蛋白设计系统的预训练语料和检索语料上系统研究数据投毒攻击,并用300M参数模型与检索实验验证,但多为已知投毒思路向新领域的迁移。

Charalampos Koilakos, Kimon-Antonios Provatas, Michail Patsakis 等

arXiv cs.AI

Condition-Contrastive Extrapolation for On-Policy Distillation of Language Models

说明条件对比外推:用于语言模型同策略蒸馏的方法

简介该论文提出条件对比外推同策略蒸馏(CCE-OPD),针对同策略蒸馏中教师模型可能偏好违反题目前提的错误续写这一问题。方法通过遮蔽题目条件进行固定前缀对比,并对教师分布做有界对数概率对比重加权。在6个数学基准上,相比OPD,蒸馏到0.6B和1.7B学生模型的avg@8分别平均提升1.60和1.95个百分点。

Wenxuan Luo, Chenxi Li, Haoyue Liu 等

arXiv cs.CV

ControlFlow3D: Distilling Multi-View Knowledge into Latent Flow Matching for Point Cloud Upsampling

说明ControlFlow3D:将多视角知识蒸馏到潜空间流匹配中,用于点云上采样

简介论文提出 ControlFlow3D,用于把稀疏点云补成更密的三维点云。训练时它把预训练基础模型的知识蒸馏进轻量生成网络,因此测试时不需要多视角图像。方法在冻结的三维编码器定义的潜空间中做条件流匹配,并构建了包含 35K 个物体的 ShapeNetPU 多模态基准,论文报告其在多个基准上有效且泛化能力强。

Yuang Liu, Zhi Zuo, Zhengkai Zhao 等

arXiv cs.LG

Resisting Harmful Instructions through Training-Free Weight Editing

说明通过免训练的权重编辑抵抗有害指令

简介该论文提出一种无需训练的权重编辑方法,用于降低指令跟随型语言模型对有害指令的服从。方法只需对每种目标行为的一小组提示对做前向传播,编辑结果存入模型权重,因此修改提示词无法撤销。在五个指令微调模型上针对指令撒谎和指令性别歧视两类行为进行评估,结果显示诚实回答率提升,性别歧视回答率从57.9%降至24.3%,加入公平性提示后进一步降至11.9%。

Ali Ebrahimpour-Boroojeny, Xiaocong Yang, Samuel Schapiro 等

arXiv cs.LG · cs.SY · eess.SY

Sensor Diagnosis for Fuel and Emissions Monitoring in Heavy-Duty Diesel Vehicles

说明重型柴油车燃油与排放监测中的传感器故障诊断

简介论文研究如何利用健康测量数据学到的关系,诊断发动机传感器故障并修正燃油读数,以提高燃油消耗与二氧化碳排放估算的准确性。在一台重型柴油发动机的217个稳态工况点上,对五种合成故障进行测试,结果显示诊断可对77.3%的组给出结论,其中92.1%正确。在作者设定的假设下,选择性燃油修正使燃烧二氧化碳计算的平均绝对误差降低83.8%。

Tejas Dahiya, Saurabh Kumar Gupta

arXiv cs.AI · cs.LG

Mine, Sample, Render: Test-Time Diversity Alignment Of Generative Models

说明挖掘、采样、渲染:生成模型推理时的多样性对齐

简介该论文指出,现代生成模型单个输出质量高,但即使被明确要求,也难以多样化采样。作者提出MINE-SAMPLE-RENDER(MSR)方法,在推理阶段从真实语料中挖掘可解释的分类模式并提供采样统计,再据此采样属性组合,让生成模型仅作为条件渲染器。论文在天气报告、用户模拟、网页设计、文生图和智能体生成的3D资产等任务上评估,结果显示MSR提升了与语料分布的一致性和输出的多样性。

Kostas Triaridis, Morris E. Sharp, Nebojsa Jojic

arXiv cs.NE · cs.AI

IWOO: Wave Optics Optimizer Improved with Hybrid Strategies for Numerical Optimization and Engineering Applications

说明IWOO:融合混合策略改进的波动光学优化器,用于数值优化与工程应用

简介本文提出改进的波动光学优化器(IWOO),在原有基于光学衍射与干涉的优化方法上加入四种互补策略,以加快收敛、避免陷入局部最优。作者在 IEEE CEC2019、CEC2022 和 CEC2017 基准测试集上与代表性优化算法比较,并通过消融实验验证各策略的作用。文中还在六个带约束的工程优化问题上进行了测试。

Rui Du, Yaming Zhang, Yongpeng Wen 等

arXiv cs.CL

Beyond Retrieval Failure: Understanding Why LLMs Miss Evidence in Multi-Hop RAG

说明超越检索失败:理解多跳RAG中大模型为何遗漏证据

简介论文研究多跳检索增强生成中,错误答案缺失所需证据的原因,区分是检索器无法获取文档还是智能体未发出能检索到该文档的查询。作者提出免训练的需求登记方法ExecutionRAG,记录未解决子问题及其证据,在MuSiQue的1000个问题上减少了缺证据的错误答案数量。研究认为,剩余瓶颈已从引导搜索转向验证检索证据是否充分。

Jiaqi Wei, Wenxuan Huang, Chengdong Xu 等

arXiv eess.IV · cs.CV

Monotone Piecewise-Linear Harmonization of Multitemporal Multispectral Surface Reflectance With Unsupervised Deep Multiview Pseudoinvariant Features Learning

说明基于无监督深度多视图伪不变特征学习的多时相多光谱地表反射率单调分段线性协调方法

简介光学卫星地表反射率产品因各景影像独立大气校正,不同日期之间可能存在系统性偏差。本研究提出深度多时相广义典型相关分析(DeepMGCCA),结合深度广义典型相关分析与多元变化检测,学习深度伪不变特征以去除偏差。在四个区域的Landsat-8/9和Sentinel-2数据上,基于深度特征分位数的单调分段线性变换取得了最大的偏差降低效果,光谱角和RMSE均有下降,PSNR最多提高约4.04 dB。

Lino Garda Denaro, Chia-Hsiang Lin

arXiv cs.AI

Does Latent Chain-of-Thought Actually Reason? A Single, Unifying Taxonomy for Latent Reasoning

说明潜在思维链真的在推理吗?一个统一的潜在推理分类框架

简介该论文研究用连续隐藏状态代替文字推理步骤的潜在思维链(latent chain-of-thought)是否真正参与推理。作者在21种模型与任务配置中,结合删除思维链、内容替换、探针和轨迹分析进行检验。结果显示,在逻辑任务上答案常在思维链开始前即可读取,而算术任务则表现出对链内容的依赖;因此仅凭准确率或可解码的中间答案不足以证明推理。作者据此提出一个将“链表示什么”与“模型如何使用它”区分开来的分类框架。

Jingjie Qiu, Sheldon Yu, Xunyi Jiang 等

arXiv cs.LG · cs.AI · cs.CL

Judging the Judges: Confidence and Disagreement in Rubrics as Rewards

说明评判者的评判:奖励型评分标准中的置信度与分歧

简介该论文研究用大语言模型按结构化评分标准为回答打分、进而用强化学习训练模型的方法(Rubrics as Rewards,RaR)。作者发现,仅更换评判模型就会导致打分差异明显。在此基础上,他们提出RaRE方法,以多个评判者组成集合:按置信度加权的奖励,并屏蔽分歧过大的样本。结果显示,RaRE在HealthBench与GPQA Diamond上优于所有单一评判者的变体。

Michael Tian-Yue Liu, Anne Harrington, Trevor Darrell 等

arXiv cs.AI

AgentEval: Evidence-Bounded Assessment of Stateful Agents

说明AgentEval:有证据边界的有状态智能体评估

简介本文提出 AgentEval 系统,在工具执行、状态与事件记录、报告审核和案例维护全过程中保留受契约约束的评估记录,区分智能体做了什么、证据能证明什么,以及结论是否支持当前用途。在 32 次工具环境运行中,独立检查在 30 个完整片段上结论一致,并区分已满足、已违反和未解决的义务;另有两次中断运行被保留。对 48 个证据视图的受控干预发现 36 处仅靠哈希检查漏掉的绑定故障,且不改变智能体行为。

Ruiqi Gao (Alibaba Cloud, Alibaba Group)

★★★★☆ 值得关注
arXiv cs.LG · cs.AI · cs.CL

Language Models Share a Readout Bottleneck in Working Memory

说明语言模型在工作记忆中共享同一个读出瓶颈

简介该论文研究大语言模型在N-back任务上的表现:随着记忆负载N增大,正确率下降,错误多来自干扰项。作者比较了两种解释,即注意力精度不足与干扰项内容干扰决策,并在15个预训练模型及从零训练的小型Transformer中进行验证。结果显示,模型通常已注意到正确目标,但干扰项内容会损害读出,抑制非目标项可提升敏感度,表明其工作记忆限制在于干扰下的读出。

看点通过解离注意力精度与干扰两种机制,发现LLM工作记忆瓶颈在读出阶段,并以探针与抑制实验验证,新颖性较高。

Dongyu Gong

arXiv cs.AI

MemScope: Evolving Agent Memory Architectures through Localized Code Repair

说明MemScope:通过局部代码修复演化智能体记忆架构

简介本文提出MemScope框架,用于对智能体的记忆架构进行基于证据、局部化的修改,而非大规模重写。其工具型补丁代理结合执行轨迹、运行时记忆状态与架构代码定位问题并做有界的原地编辑。在GAIA、xBench和ALFWorld等任务上,经演化的记忆架构表现有所提升,架构代码的中位改动比例为4.4%。

Miao Su, Yucan Guo, Zixuan Li 等

arXiv cs.AI

GRADS: Graph-Regulated Agentic Data Synthesis with Controllable Difficulty

说明GRADS:可控难度的图引导智能体数据合成框架

简介本文提出GRADS,一种带显式难度控制的图引导智能体数据合成框架,用于生成多跳、长链条的深度研究任务数据。它通过图结构记录回答所需的证据与推理依赖,并据此逐步生成问题与答案并进行验证。实验显示,在安全、软件工程和科学文献三个领域,该方法生成的任务难度分布更为明确,用其训练的4B模型在部分领域表现优于Sonnet 4。

Gaocheng Yang, Ruijie Tao, Kai Ye 等

arXiv cs.CL

From Long Context to Selective Memory:A Survey of Memory-Centric Compression for Large Language Models

说明从长上下文到选择性记忆:面向大语言模型的记忆中心压缩综述

简介这篇综述把大语言模型的长上下文压缩重新定义为推理时的记忆管理问题。作者区分了直接参与计算的活跃记忆与存放在计算路径之外、可存储检索或遗忘的非活跃记忆,并将信息的写入、卸载、召回、淘汰、整合与遗忘等操作置于统一的预算成本框架中。文章总结了评估维度与基准缺口,并主张未来研究应转向动态、可治理、覆盖生命周期的记忆管理。

Chaogui Gou

arXiv cs.CL

Automatic Sentence Completion Using Bengali Audio Speech with a Transformer-Based Early Speech Recognition System

说明基于孟加拉语语音与Transformer早期语音识别系统的自动句子补全

简介本文提出一种面向痴呆症患者的辅助系统,通过孟加拉语语音和文本分析检测认知衰退迹象,并在对话中提供句子自动补全支持。研究使用Transformer模型将语音转写为文本,比较了多种机器学习和深度学习模型,其中LSTM结构在建模语音和语言上下文方面表现较好。补全任务采用带注意力机制的双向LSTM模型,用于补全不完整的孟加拉语句子。

Md Asif Akram, Arif Faisal, Sakir Hossain Faruque 等

arXiv cs.DC · cs.LG

Coordination-Free Workload Regularization for Variable-Cost Distributed Training

说明无需协调的可变成本分布式训练工作负载正则化方法(论文)

简介该论文针对同步数据并行训练中各进程样本成本差异大、导致等待空转的问题,提出 Batch Cost Lookahead(BCL)数据加载策略:在各进程本地缓冲一个有界窗口并重新划分为成本均衡的固定数量批次,无需跨进程通信或修改训练框架。作者称在公开负载分布的模拟中,单进程估计批次成本的变异性最多降低 82.8%,并在 NeMo-RL 的多个 SFT 语料和 H200 GPU 上取得约 1.05 至 1.34 倍的加速。论文同时指出,对高方差或易内存溢出的数据需先设定 p99 上限,并说明何时仍需数据预处理或更广泛的协调。

Tao Huang, Chen Zhu, Antonio Alonso 等

★★★★☆ 值得关注
arXiv cs.CV

VisualTrust: Video Reasoning under On-Screen Claim Framing

说明VisualTrust:屏幕文字误导下的视频推理研究

简介该研究关注多模态大模型是否会因视频画面上的文字说明而忽视与之相矛盾的视觉证据。作者构建了包含5,063个案例的反事实基准VisualTrust,每个案例提供无说明、准确说明和误导性说明三种版本。实验显示,模型平均准确率从无说明时的90.1%降至误导说明下的51.9%。作者还提出了无需训练的视频问答智能体DEAR,在误导说明场景下将准确率提升至81.8%至85.2%。

看点提出区分画面证据与文字断言的反事实基准并设计免训练的仲裁代理,实验覆盖11个模型和5063个案例,证据较充分。

Huachao Zhu, Junjielong Xu, Sicheng Li 等

arXiv cs.CV

Material and Defocus Cues for Occluded Object Localization in Single Hyperspectral Images: An Exploratory Study

说明用于单张高光谱图像中被遮挡物体定位的材质与离焦线索:探索性研究

简介部分遮挡使可见区域纹理弱或外观相似的物体难以检测。本文利用高光谱成像的材质相关光谱与随波长变化的光学模糊,结合基于非负矩阵分解的材质分组、基于散度的光学线索和图拉普拉斯传播,在推理时无需额外深度传感器即可提取区域并定位边界框。论文用两套相机采集的30个室内和6个室外高光谱场景给出定性示例,说明材质信息与光学线索各自在何种情况下有助于区分物体。同材质且同深度的物体仍然困难,系统的定量评估尚待完成。

Ali Zia, Jun Zhou

arXiv eess.IV · cs.AI

Really Need Recursion? Revisiting One-pass Registration with Multi-level Multi-space Contextual Guidance

说明一次性配准是否真的需要递归?基于多层级多空间上下文引导的一次性配准方法

简介本文面向可变形医学图像配准,提出M2CG网络,在单次前向计算中完成多步渐进的金字塔配准,无需递归多次迭代。每一步都利用前一步、当前步和后续步三个层级,以及图像、图像特征、分割和分割特征四个空间的上下文信息进行引导。M2CG支持无标签的无监督和部分训练数据带分割标签的半监督配准,在八个公开数据集的两类医学配准任务上取得了当前最优的表现。作者认为,对递归的依赖可能源于缺乏足够的上下文线索来刻画距离目标对齐的剩余位移。

Yue Lin, Shenghai Wu, Mingyuan Meng

arXiv cs.CL

Stop Training Against Soft Users: Mentalized Adversarial Self-Play for Proactive Dialogue

说明不要只对着“软用户”训练:面向主动对话的心智化对抗自博弈

简介该论文提出 MASP 框架,把主动对话视为系统与会理性抵抗的用户之间的不完全信息博弈。它用基于 BDI 的潜在状态刻画用户不断变化的心理状态,并通过交替进行的自博弈更新系统与用户策略。与 SFT 和仅规划器方法相比,MASP 在多个基准上提升了成功率与理性约束成功率,并减少了平均轮数。

Zanwu Liu, Dan Zhang, Xiaodi Wang 等

arXiv cs.CL

From Observation to Intervention: Distilling Self-Generated In-Context Demonstrations via Executable Causal Intervention

说明从观察到干预:通过可执行因果干预提炼自生成的上下文示例

简介本文研究大模型自生成少样本示例的筛选方法。作者指出,仅凭观察结果筛选理据存在缺陷,因果理据与伪事后理据可能得到相同输出,仅凭观察无法区分。作者提出ECI2D方法,将语言理据转为可执行程序,并对逻辑相似样本施加因果干预,只保留具有迁移不变性的示例。在数学、逻辑和常识推理基准上,该方法优于基于观察的上下文学习,且保留的示例明显更少。

Minming Ye, Min Liu, Haoang Chi 等

arXiv cs.AI

All-in-One Memory: Process-Rewarded Reinforcement Learning for Memory Agents

说明全能记忆:面向记忆智能体的过程奖励强化学习

简介论文提出 All-in-One Memory(AiO-Mem),把检索、写入记忆和停止决策统一为对共享证据状态的操作,并在同一奖励空间中评估每个动作的语义质量。系统用过程奖励模型为完整交互轨迹打分,再通过 PA-DAPO 优化记忆策略。论文称,在长上下文记忆基准上,该方法的回答准确率优于静态记忆系统和经强化学习训练的记忆智能体。

Bingbing Wang, Jingjie Lin, Weiming Qiao 等

arXiv cs.CL · cs.AI · cs.SD

CoSTA: Compressed Speech Token Adaptation for Efficient Spoken Dialogue Models

说明CoSTA:面向高效语音对话模型的压缩语音标记适配框架

简介语音对话模型通常用同一套语音标记同时完成生成与合成,导致自回归序列很长、推理成本高。本文提出 CoSTA,在保留原有语音标记器和解码器的前提下,把生成用的标记空间与合成用的标记空间解耦:先用均值初始化的词表扩展、发音适配和对话适配引入压缩表示,合成前再确定性地展开回原始语音标记空间。在双语语音对话基准上,CoSTA 的展开后语音标记生成速度约为 1.7 倍,整体响应延迟更低、吞吐量更高,且回复质量基本保持。

Yingzhuo Deng, Chong Li, Bingxin Liu 等

arXiv math.OC · cs.AI · cs.LG

When is a better LLM worth paying for? Stochastic Optimization with Switching Mixed-Fidelity Oracles

说明何时值得为更好的大语言模型付费:基于混合保真度预言机切换的随机优化

简介该论文研究在使用大语言模型进行数据清洗等上游工作时,何时值得支付更高保真度模型的成本。作者提出两类成本感知的自适应算法框架,可在不同保真度的随机预言机之间切换,并分别处理已知与未知偏差的情形。实验表明,自适应策略可跳过部分昂贵模型,在精度相当的情况下显著降低总成本。

Swati Gupta, Tianjiao Li

arXiv cs.AI · stat.ML

CleanRM: Reward Modeling from Noisy Feedback with a Few Clean Feedback for RLHF

说明CleanRM:利用少量干净反馈,从含噪反馈中训练奖励模型(用于 RLHF)

简介偏好数据中的反馈噪声很常见,来源包括主观判断、标注错误和不完善的大语言模型评判。论文提出 CleanRM 方法,用少量干净反馈通过最优传输校准每个样本各自的噪声比例,再用噪声校正后的替代损失训练奖励模型。作者在理论上证明该目标对干净风险是无偏的,实验显示其优于现有去噪基线,并能带来更有效的下游 RLHF 对齐效果。

Licheng Pan, Haocheng Yang, Yuzhou Chen 等

arXiv cs.HC · cs.AI · cs.GL

OnBodyAI - Why the Next AI Needs a Body

说明OnBodyAI:为什么下一代人工智能需要一个身体

简介本文是一篇观点文章,主张下一代人工智能的优势在于理解用户,而非掌握更多世界知识。作者提出 OnBodyAI 一词,指大语言模型被赋予身体、贴身服务并听从用户指令的情形,并讨论研究与产业需要做什么来实现这一目标。文章基于作者在 UbiComp/ISWC 2026 工业论坛上的演讲,并依其十项主要论点展开。

Michael Beigl

arXiv stat.ME · cs.LG · math.PR

Pathwise Shrinkage and Probabilistic Calibration of the Multiplicative Half-Cauchy Process

说明乘性半柯西过程的路径收缩与概率校准

简介本文通过对数尺度随机游走表示研究乘性半柯西过程,刻画了收缩、扩张和临界三种状态,并讨论了几乎必然可和性、局部回升和有效维数等性质。文中还给出一个半解析的校准规则,把可解释的先验概率陈述与过程的尺度参数联系起来。

Siddhesh Kulkarni

arXiv cs.LG

Predicting Live Birth After Fresh Embryo Transfer in IVF/ICSI: Differential ICM/Trophectoderm Morphology Encoding and a Hybrid Attention--Logistic Regression Ensemble

说明预测体外受精/卵胞浆内单精子注射新鲜胚胎移植后的活产:内细胞团与滋养外胚层形态的差异编码及注意力-逻辑回归混合集成模型

简介该论文基于一家中心616个新鲜胚胎移植周期(其中251例活产、365例非活产)的临床、实验室和胚胎学数据,构建用于预测活产的模型。研究提出对内细胞团与滋养外胚层进行差异加权的胚胎形态编码,并开发了一种混合注意力网络与逻辑回归的集成模型。在保留测试集上,该集成模型的AUC-ROC为0.710,高于多种经典机器学习、TabPFN及文本序列化语言模型的基线,论文作者认为仍需外部验证。

Abdul Raheem Shahzad, Jinxin Chen, Ming Zhang 等

arXiv cs.CV

Trajectory Prediction Method for person under WSN with Hierarchical Envelope Adversarial Domain Adaptation

说明基于分层包络对抗域适应的行人轨迹预测方法(HEADA-LTCTPM)

简介本文针对行人轨迹预测中社交耦合单一、域偏移处理依赖预定统计指标的问题,提出分层包络对抗域适应的松紧耦合模型(HEADA-LTCTPM)。模型先构建包络样本并扩展为图结构,再通过融合局部与全局策略的对抗域适应模块适应不同场景下的耦合关系。在两个公开数据集上与六种基线算法比较,ADE和FDE指标分别降低17.6%和19.1%,耗时满足实际需求。

Wenqian Jiang, Qifeng Sun, Xiaosong Gao 等

arXiv cs.CV

Sparse Attention for Video Generation Acceleration via Growing Sparsity and Reduced Search

说明面向视频生成加速的稀疏注意力:逐步增长的稀疏度与缩减搜索

简介扩散Transformer(DiT)是视频生成的主流模型,但自注意力的二次复杂度使推理成本很高。本文提出一种免训练的框架GSRS,去噪前期保留更多计算,后期逐步减少,并将后续搜索限制在早期候选集合内以降低搜索开销。在HunyuanVideo和Wan 2.1上的实验显示,GSRS可实现1.55至2.21倍的加速,同时生成质量与全注意力相当。

Yun Dai, Yuyun Chen, Jiarui Wen 等

arXiv cs.CL · cs.AI

When Judges Agree and Are Wrong: Consistency-Accuracy Dissociation as a Blind Spot for Label-Free Evaluation

说明当评审一致却出错:一致性与准确性的脱节,是无标签评估的盲区

简介本文检验了无标签评估方法所依赖的假设,即一致性可以代替正确性。作者在四个金融问答数据集、十个一致性维度和两个前沿模型系列上,逐例考察一致性与准确性的联合分布。结果显示,60%的错误答案出现在高一致性区域,其中77.7%是完全坍缩,即在所有扰动变体中给出相同的错误答案,因此仅凭一致性信号难以发现这类错误。

Xiang Zhang, Lovedeep Gondara, Jekaterina Novikova

arXiv cs.CL

Compression Does Not End at Selection: Post-Selection Positional Geometry for Sparse KV Caches

说明压缩不止于选择:稀疏KV缓存的选后位置几何

简介稀疏KV缓存压缩通过保留部分历史状态降低长上下文推理成本,但这些状态仍沿用完整历史中的位置坐标,被移除词元留下的间隔会影响查询与键的匹配。本文在固定的选择器缓存上研究选后位置几何,并提出RoPERelay方法,重新分配紧凑且保序的RoPE坐标并同步后续生成,无需重新选择、重新预填充或增加缓存预算。在两种模型、六种稀疏选择器和三项长期记忆任务的36组对比中,该方法在32组中提升了回答质量,例如Llama-3.1-8B-Instruct配合BM25在LongMemEval-S上的准确率从23.6%提高到35.4%,完整请求的时间开销约为1%至3%。

Wanyang Hong, Zhaoning Zhang

★★★★☆ 值得关注
arXiv cs.LG

Noise-Space Reward Alignment for Few-Step Generative Models

说明少步生成模型的噪声空间奖励对齐(Noise Policy Optimization,NPO)

简介论文针对只需一两步即可生成样本的少步生成模型,如何在仅能获取黑盒奖励评分时引导其输出符合期望属性。作者提出NPO方法:保持生成器冻结,学习一个作用于初始高斯噪声空间的摊销流策略,把噪声映射到奖励倾斜后的分布,使经生成器输出的样本服从奖励倾斜分布。论文称在图像、语言和蛋白质结构生成任务中,NPO在奖励与质量的权衡上优于直接微调,并在推理成本低16至549倍的情况下与测试时搜索方法相当。

看点提出在少步生成器初始噪声空间学习摊销流策略的新思路,并在图像、语言、蛋白质结构上以多项实验对比验证,推理成本降低16至549倍。

Woocheol Shin, Taeyoung Yun, Jiwon Sung 等

arXiv cs.LG · cs.AI

DST-Net: Decomposed Spatio-Temporal Network for Time Series Forecasting

说明DST-Net:用于时间序列预测的分解式时空网络

简介该论文提出DST-Net,一种对时间序列做分解后分别建模的网络。趋势分量用潜在图模块捕捉跨通道的全局依赖,季节分量用带可学习高斯先验的多尺度注意力聚焦局部时间变化。作者称在多个真实数据集上的实验验证了该模型的有效性。

Yaohua Zha, Hai Wu, and Shu-Tao Xia

arXiv cs.AI · cs.MA

Sensitivity Analysis of Decision Rules in an Agent-Based Agro-Ecological Model

说明基于智能体的农业生态模型中决策规则的敏感性分析

简介该论文针对基于智能体的农业生态模型,指出其参数呈树状决策结构,经典全局敏感性分析在此不适用。作者将MAELIA平台的作物管理流程编码为包含分类与数值变量的分层设计空间,并提出一种随机森林监督的HSIC-ANOVA方法,可在树结构上排序主效应与交互作用。该方法应用于氮淋溶、土壤有机碳变化和产量预测等模拟输出,以得到可解释的决策导向结果。

Benjamin Pianet, Baptiste Lesquoy, Paul Saves 等

arXiv cs.GR · cs.CV

ResStreamGS: Residual-Sensitive Dual-Stream Gaussian Splatting for Mobile Volumetric Video Streaming

说明ResStreamGS:面向移动体积视频流的残差敏感双流高斯泼溅方法

简介该论文针对移动端实时体积视频传输中带宽与算力受限的问题,提出ResStreamGS框架。它根据3D高斯泼溅(3DGS)中各高斯基元的时间变化特性分别处理:时间上稳定的高斯每个图像组(GOP)只传输一次,仅随时间变化的残差敏感高斯进入逐帧硬件可解码视频流。实验显示,在复杂全场景视频上,相比对全部高斯编码的基线,该方法编解码后PSNR提升7.51至8.35 dB,摊销数据量最多降低56.5%,并在骁龙778G平台上达到30.883 FPS。

Haoran Liu, Di Wu, Wang Luo 等

arXiv cs.LG · cs.CV 有代码

Spectral-Spatial Interpretation

说明光谱-空间解释(SSI):为多光谱图像逐位置、逐通道分配归因的方法

简介该论文提出光谱-空间解释方法(SSI),用于解释模型在多光谱图像上的判断。SSI对每个空间位置的通道在固定周围上下文下构造局部博弈并计算Shapley值,得到完整的位置-通道归因矩阵。在HLS Burn Scar等数据集上,论文报告其在多项指标上优于MC-Owen估计器,且计算预算约为其6%。

Haotian Ma, Ruqi Yang, Philip Townsend

arXiv cs.MA · cs.AI · cs.IR

SSR: Structural Signal Retriever for Scalable Agent Discovery in LLM-Orchestrated Multi-Agent Systems

说明SSR:面向大规模多智能体系统的结构化信号检索器

简介本文针对大语言模型编排的多智能体系统,提出一种无需训练、确定性的检索方法SSR(结构化信号检索器),用于从Agent Card中发现合适的智能体,避免把整个注册表交给大模型。SSR基于能力字段提取结构化词汇信号,用逆文档频率加权,并借助倒排信号索引进行选择性打分。在合成基准和MS MARCO上的实验显示,1000个智能体时可使大模型输入减少98.8%,编排延迟降低70.9%。

Giancarlo Maldonado C\'ardenas, Carlos A. Astudillo, Nelson L. S. da Fonseca

arXiv cs.AI · cs.CL · cs.HC

Kolab: Benchmarking Human-Agent Collaboration in Long-Horizon Workflows

说明Kolab:长周期工作流中人机协作的基准测试

简介该论文提出 Kolab 数据集,收录 50 名来自 40 个职业的专业人员与智能体协作完成真实长周期任务时的 115 小时以上屏幕录像,并包含协作与产出质量的评价。研究发现前沿模型高估了与专家的协作效果,也难以区分高质量与低质量的协作,且更长的工作流上下文并未稳定地改善这些预测。

Shirley Anugrah Hayati, Patricia Anugrah Setiani, Ruizi Wang 等

arXiv cs.AI · cs.CL

Planning Commitment of LLM under Partial Observability

说明大语言模型在部分可观测环境中的规划承诺:激进与保守策略的权衡

简介本文研究基于大语言模型的规划代理在部分可观测环境中的两种策略:激进策略基于对未观测状态的假设提交长计划,保守策略只规划已观测部分。两种策略准确率相近,保守策略失败更少但调用 API 次数更多,激进策略则在先验信息可靠时才能高效重规划。论文还探索了可调超参数的混合策略,以平衡安全与效率。

Cassie Huang, Zhanwei Cao, Yeawon Lee 等

★★★★☆ 值得关注
arXiv math.ST · cs.IT · math.IT

A One-Sided McDiarmid-Type Inequality for Heavy Tails via Reverse KL Tensorization

说明重尾分布下的单侧 McDiarmid 型不等式:基于反向 KL 张量化

简介本文重新审视统计学习理论中的核心工具 McDiarmid 不等式,证明对独立随机变量的函数,若其几乎处处有上界且满足 p∈(1,2] 阶条件矩假设,则高于均值的大偏差概率呈指数级下降。当 p<2 时,即使函数方差无穷大,结论依然成立。证明依赖一种针对 KL 散度的新张量化不等式,称为反向 KL 张量化。

看点提出反向KL张量化不等式,将McDiarmid型集中界推广到仅有有限p阶矩的重尾情形,理论上有实质推进,证明严格。

Hanuka Eshima, Amedeo Roberto Esposito, Andrea Paudice

★★★★☆ 值得关注
arXiv cs.CL · cs.AI · cs.LG 有代码

ToolBottleneckBench: Measuring Tool-Agent Performance under Controlled Pressures and Fixed Harness Budgets

说明ToolBottleneckBench:在受控压力与固定运行预算下衡量工具智能体的表现

简介该论文提出 ToolBottleneckBench,用于在固定的运行框架(harness)预算下,逐一施加工具目录、可见工具菜单、流程规范和返回记录编码等压力,测量工具智能体的表现。在 21 种模型与框架配置中,可见菜单是唯一对模型产生较大负面影响的压力,且该影响与完成上限导致的截断相关。作者建议报告压力效应时同时注明所用的运行预算,并已在 GitHub 公开该基准。

看点提出在固定工具预算下分离工具代理瓶颈的基准,通过受控压力实验揭示截断效应,对评测方法有实质性改进。

Zichuan Xu, Yuyang Dong, Makoto Onizuka 等

arXiv cs.CV

Can World and Action Modeling Benefit Each Other under Unified Causal Training?

说明世界建模与动作建模能否在统一因果训练下互相促进?

简介该论文提出 OneWM 框架,在共享的视频-动作架构中,把动作同时作为世界预测的条件和策略学习的目标进行统一因果训练。作者在 LIBERO、LIBERO-Plus、RoboCasa365 上评估策略学习与世界建模,并补充了真实机器人实验。结果显示,学习指定动作的视觉后果可提升策略表现与跨场景泛化能力,动作学习也能提高多视角世界预测的保真度。

Yue Su, Bokai Lin, Xinkai Wang 等

arXiv cs.AI · cs.CL

MemComposer: Learning to Assemble Memories for LLM Agents via Reinforcement Learning

说明MemComposer:通过强化学习学习为LLM智能体组装记忆

简介该论文提出MemComposer,一种记忆组装器,结合当前查询与检索到的候选经验,决定纳入哪些经验、选取多少条以及如何排序。它采用基于GRPO的经验策略优化(ExPO)进行训练,以完整智能体交互中的任务成功反馈优化组装策略。在三个τ²-bench领域和两种冻结执行器上,该方法优于各执行器的最强基线,并分别减少了16.9%和4.9%的平均记忆token用量。

Yixuan Xie, Xueqiang Xu, Xinyi Fan 等

★★★★☆ 值得关注
arXiv cs.CV · cs.GR

RoboCloth: A Large-Scale Real Cloth Material Dataset for Neural Reflectance Reconstruction

说明RoboCloth:用于神经反射重建的大规模真实布料材质数据集

简介本文提出 RoboCloth 数据集,收录 500 种真实布料材质,在机器人控制、经过标定的相机与光照条件下采集,每种材质约 580 张高动态范围图像。作者用该数据训练共享 MLP 解码器学习布料材质先验,再为每种目标材质拟合 2048x2048 潜在纹理。结果显示,在本数据集及独立的 UBO2014 基准上,该解码器优于现有测量反射数据集训练的解码器和解析式 PBR 拟合方法。数据集以 CC BY 4.0 协议在 Hugging Face Hub 公开。

看点新数据集结合机器人控制采集与两阶段神经重建,并在独立基准UBO2014上验证优于现有解码器,属实质性改进。

Zhen Li, Haoran Qin, Francesco Di Sario 等

arXiv cs.AI · cs.LG

Probe-and-Resume: When and How to Evaluate Agent Execution

说明Probe-and-Resume:何时以及如何评估智能体执行过程

简介论文研究测试时搜索在终端计算机操作环境中的应用。作者发现,常规蒙特卡洛树搜索配置对任务成功率提升不明显,原因在于评判器看不到所需的环境状态,且中间状态难以判断轨迹能否成功。为此提出 Probe-and-Resume 方法:仅在智能体认为任务完成时调用评判器,并让其在当前状态和初始状态的分叉副本上探测,被驳回的智能体从停止处继续。论文报告在 Terminal-Bench 2.1 上成功率比带常规评判器的 MCTS 高 8.4 个百分点。

Jiakai Xu, Tiancheng Ge, Tujie Guan 等

arXiv cs.LG · cs.AI · cs.CV

SIEVE: Overcoming Topological Obstruction in Equivariant Self-Supervised Learning

说明SIEVE:突破等变自监督学习中的拓扑障碍

简介该论文指出,三维点云掩码自编码与SE(3)等变网络在理论上存在不兼容,标准掩码会导致拓扑坍缩,迫使模型在没有参考框架的情况下“幻想”方向。作者提出SIEVE框架,将点云几何压缩为不变的标量嵌入,并用球面投影掩码保留全局姿态、遮蔽局部语义。实验显示,该方法在下游点云任务上优于基于坐标的基线和手工几何描述子,在未见形状类别上的泛化提升最大。

Jongann Lee, Sun Woo Park, and Yun Young Choi

arXiv cs.CV · cs.RO

RoPE-Flow: Monocular Vision-based Robot Pose Estimation via 2D Graph-Conditioned 3D Flow Matching

说明RoPE-Flow:基于二维图条件三维流匹配的单目视觉机器人位姿估计

简介本文提出RoPE-Flow,一种基于流匹配的端到端框架,用于从单张单目图像估计相机到机器人的位姿。方法利用预测的二维热图提取以关键点为中心的特征,并通过可学习邻接图生成流匹配的条件,同时引入骨长损失和射线深度损失以保证拓扑一致性与尺度稳定性。作者称该方法在多种机器人和多相机设置下优于现有方法,并建立了跨场景基准用于零样本评估。

Liangjing Shao, Wanhao Liu, Zhiwei Fang 等

arXiv cs.CL · cs.AI · cs.MA

A Jury, Not an Electorate: Label-Free Reliability Estimation for Ensembles of Language Models

说明陪审团而非选民:面向语言模型集成的无标签可靠性估计

简介本文把语言模型集成看作陪审团:每个模型的答案被视为可靠性未知的证词。作者用期望最大化(EM)算法,仅依据各模型答案之间的一致与分歧模式,估计每个模型的可靠性,无需标签。在包含1560道题的基准上,九个参数规模最大为30亿的模型组成的陪审团,表现与使用标签拟合权重的同一融合规则相当,并优于最佳单一模型及最强的无标签替代方法。

Alessandro Rozza, Davide Mambelli, Steven Motta 等

arXiv cs.AI

SciPivot: Benchmarking Principal-Investigator Judgment at Pivotal Moments of Scientific AutoResearch Agents

说明Sci$\Pi$vot:评测科研智能体在关键节点的研究判断

简介该论文构建了包含248个案例的Sci$\Pi$vot基准,用于评测大语言模型智能体的科学判断力。案例取自六个月内资深研究者在六个学科26个项目中对智能体研究决策的人工修正记录。模型需在原始LLM方案与人工修正方案之间做选择,结果显示前沿模型表现普遍不佳,部分低于随机水平。

Youran Sun, Xingyu Ren, Chugang Yi 等

arXiv math.NA · cs.LG · cs.NA

Adaptive Randomized Neural Networks for PDEs: Structure-Aware Feature Redistribution and Residual-Driven Block Enrichment

说明面向偏微分方程的自适应随机神经网络:结构感知特征再分配与残差驱动块扩展

简介该论文提出SFRBE–RaNN方法,用于求解偏微分方程。方法分两阶段构造自适应试验空间:先按区域指标质量重新分配固定数量的随机特征并调整权重尺度,再通过筛选激活函数族、去除已表示的响应方向来构造非冗余扩展。论文对固定线性问题给出精确的离散残差下降恒等式和条件解误差估计,并在局部、多尺度及非线性时空问题上进行了数值实验。

You Yang, Fei Wang

arXiv cs.AI · q-bio.GN · q-bio.QM

OmicsBench: a long-horizon multi-turn benchmark of AI agents on research-study-scale bioinformatics

说明OmicsBench:面向研究规模生物信息学的长程多轮AI智能体基准

简介该论文提出OmicsBench,一个用于评估AI智能体在生物信息学任务上表现的长程多轮基准,包含97个任务、共662个子任务,并以确定性方式对照标准答案评分。在12个模型、三种运行框架上的测试显示,没有任何组合接近饱和,平均分在0.43到0.57之间(无上下文反馈)及0.54到0.67之间(有上下文反馈)。作者还提出一种无监督的失败模式发现流程,用于归纳智能体失败的方式。

Gideon Shaked, Siddharth Nagisetty

arXiv cs.SE · cs.AI · cs.CL

Skip the Compressor: Coding Agents Fix More Issues When They Pick Whole Files

说明跳过压缩器:编码智能体在完整文件上修复更多问题

简介论文研究编码智能体在上下文长度受限时如何选择代码。作者提出简单选择器CQ2-CARE,在相同token预算下整文件原样展示需修改的文件,而非剪裁或检索片段。在300个SWE-rebench问题上,它的修复率高于三种压缩器和三种检索器,也高于SweRank与SWE-Pruner。

Xiaocong Yang, Rishit Chatterjee, Himanshu Udupi 等

★★★★☆ 值得关注
arXiv cs.CL 有代码

Multimodal AI Detection for Math-Heavy Scientific Text

说明面向数学密集型科学文本的多模态AI检测

简介随着大语言模型越来越多地参与科学写作,检测AI生成内容的需求上升。作者基于2022年前arXiv的人工撰写段落,用15个现代大模型重新生成,得到LaTeX源码、PDF渲染图和PDF提取文本三种形式的配对数据。研究发现,现有检测器在数学内容增多时准确率明显下降,而基于图像的检测器SnapJudge在0.1%误报率下对前沿模型生成的证明和散文分别达到92%和93%的检出率,优于文本检测器。

看点针对数学密集科学文本提出图像式AI检测器,并构造LaTeX、图像、文本三种配对数据,证据充分;对检测领域有实际用途。

Yixuan Huang, Danish Pruthi, Bhuwan Dhingra

arXiv stat.ML · cs.LG

Score Mismatch and Set-Constrained Sampling in Zero-Shot Conditional Discrete Diffusion

说明零样本条件离散扩散中的得分失配与集合约束采样

简介本文研究离散扩散模型在零样本条件生成中的得分失配问题,即用无条件分布训练的模型直接用于条件目标分布采样时产生的偏差。作者给出了此类失配情形下的理论分析,推导出一般的KL散度上界,并分析了经典的Conditional SEDD采样器在部分观测约束下的偏差。在此基础上,论文提出了面向坐标级集合约束的随机硬钳位(RHC)采样器,并通过数值与真实数据实验验证其有效性。

Renxiang Huang, Yuchen Liang, Yingbin Liang 等

arXiv cs.LG · cs.AI

Bellman-Consistent Trajectory RL for LLM Arithmetic Reasoning

说明面向LLM算术推理的贝尔曼一致性轨迹强化学习

简介该论文针对大语言模型算术推理中终端奖励稀疏的问题,提出一种贝尔曼一致性轨迹强化学习方法,核心为轨迹贝尔曼残差最小化(TBRM),将稀疏奖励转化为词元级稠密信号,并结合RLOO分组策略降低梯度方差、使用事后目标重标注加速中间学习。在Countdown任务上,TBRM-RLOO将Pass@1提升至0.55至0.64,Pass@16达到76.0%至84.0%,优于SFT、IPO/DPO和RLOO基线。

Lianfa Li

arXiv cs.AI · cs.CL · cs.LG

Athanor: An Agent-Native System for Autonomous Post-Training Research

说明Athanor:用于自主后训练研究的智能体原生系统

简介该论文提出 Athanor,一个在真实 GPU 上运行的开源系统,让前沿智能体自主完成大模型后训练研究。在 104 小时的实验中,四个智能体团队将 Qwen3-4B-Base 在开发集上从 15.9 提升到 67.3,在未公开的held-out测试集上从 9.2 提升到 48.2,平均表现与官方 Qwen3-4B-Instruct-2507 相当或更好。论文指出,智能体主要通过组合已有方法和彼此的模型来实现这一结果。

Yufa Zhou, Yichen Wang, Jiakun Fan 等

arXiv cs.LG · math.DS

SALTO: Solver-Anchored Lifted Transfer Operators for Nonlinear Event Inference

说明SALTO:用于非线性事件推断的求解器锚定提升转移算子

简介该论文提出SALTO(Solver-Anchored Lifted Transfer Operators),一种基于Koopman方法的框架,用于推断有限幅度的源。模型在提升空间中用线性传播子近似非线性动力学,其转置可将每个传感器的测量反向传递,从而只需一次求解即可预测任意候选局部事件产生的测量。在三个非线性偏微分方程系统上,SALTO的预测误差为2%至8%,而经典伴随方法的误差为41%至165%。

Qi Wang, Rylie Foster

arXiv cs.CL · cs.AI · cs.LG

PremiseCheck: Efficient Fact-Checking of Human and AI Peer Reviews

说明PremiseCheck:高效核查人工与AI同行评审的事实错误

简介同行评审因投稿量增长而压力加大,人工或AI撰写的评审意见可能误述论文内容。作者提出ReviewFact基准,用统一定义标注评审意见中的事实错误,并同时衡量成本与延迟。提出的PremiseCheck框架先由LLM把评审意见改写为显式前提,再由决策模型逐条对照论文核查,在三个领域准确率与GPT-5.5相当,成本约为其一半,在NLP评审上成本约为四分之一。

Dingjie Song, Zhiling Yan, Ziqian Zhang 等

arXiv cs.AI

Learning When to Withdraw: Curriculum Coverage and Rule-Specific Failures in Fine-Tuned Language Agents

说明学习何时撤回:微调语言智能体中的课程覆盖与规则特定失效

简介本文研究工具调用型语言智能体在证据变化或授权被撤销时,如何暂停受影响的行动、保留仍有依据的工作并在修复后恢复。作者在合成环境NAQD-Env中对Qwen2.5-3B-Instruct进行LoRA监督微调,比较原始课程与增强课程。研究发现,微调模型的总体一致率更高,但逐条规则的诊断显示原始课程模型会错误撤回大量仍有替代依据的行动,因此论文主张该方法用于发现被总体准确率掩盖的规则级退化,而非证明微调本身能保证安全。

Mohamed Abouzahra

arXiv cs.CL · cs.AI · cs.IR 有代码

ReviewPilot: A Multi-Agent System for Screening and Data Extraction in Systematic Reviews

说明ReviewPilot:用于系统综述文献筛选与数据提取的多智能体系统

简介本文提出一个名为 ReviewPilot 的对话式多智能体系统,按 PRISMA 流程自动完成从文献筛选到信息提取的工作。研究者可通过对话调整筛选标准和提取模式,系统记录每个筛选决定的理由及每个提取数值的来源。论文称其在流行病学专家综述上优于单提示词大模型和 AgentSLR,并在生物医学与人机交互案例中与人工标注者高度一致。

Zhaoqian Xue, Shaoze Zhou, Xuexin Li 等

arXiv cs.AI · cs.MA

Recursive Reward Improvement via Adversarial Meta-Prompt Evolution

说明通过对抗式元提示进化实现递归奖励改进

简介该论文提出RRI(递归奖励改进)方法,用于开放式专家任务(如临床报告生成)的自我改进训练。方法引入奖励作弊对抗者,检测模型生成的评分标准是否可被钻空子,并通过最多两轮修复来修正评分标准。在HealthBench Professional上,RRI相比仅生成的自我改进基线有明显提升,并能迁移到PRBench Hard和ProfBench。

Wei Dai, Qianchu Liu, Guanghui Qin 等

arXiv cs.CL · cs.AI · cs.SD

A Benchmark for Controllable Speaking-Style Captioning in Audio-Language Models

说明可控说话风格描述的基准:面向音频语言模型

简介本文提出可控说话风格描述(SSC)任务,要求模型依据明确指令,只描述语音中指定的风格维度,如音色、情感或表达方式。作者构建了首个此类标准化基准 StyleInstructCaps,包含数据集与评估框架,衡量元数据依据性、幻觉、指令遵循、对未见指令与音频数据的泛化以及说话人风格一致性。对九个先进音频语言模型的测试显示,指令遵循能力强并不等于真正理解说话风格;针对该任务的多样指令训练能明显改善依据性、可控性与说话人一致性。

Shreeram Suresh Chandra, Ashwyn Sharma, Liang Lu 等

arXiv cs.LG · cs.CL

INCONVENIENT: A Benchmark to Assess LLM Generalization Capabilities from Convenience Samples

说明INCONVENIENT:评估大语言模型从便利样本中泛化能力的基准

简介该论文提出INCONVENIENT基准,用于检验模型在训练数据因便利抽样而存在偏差时的稳健性。它不沿用自然领域划分,而是直接扰动训练分布中特征与目标的关系,并保留原始总体作为部署环境,且可控制偏移的方向和强度。基准包含200个表格分类与回归数据集,生成约15,500个偏移训练分布,并导致明显的下游性能下降。

Sara Rezaeimanesh, Chad Klochko, Kundan Thind 等

arXiv cs.IR · cs.CL

Learning When to Think: Utility-Guided Adaptive Reasoning for Efficient Text Retrieval

说明学习何时推理:基于效用引导的自适应推理用于高效文本检索

简介该论文提出 AURA 框架,直接依据中间推理状态区分相关文档与困难干扰文档的能力来监督推理过程,并训练轻量效用估计器在推理时自适应决定推理深度。在推理密集型的 BRIGHT 基准上,AURA-4B 平均 nDCG@10 达到 34.7,每个查询平均使用 2.8 个推理步骤和 96 个生成词元。在相同部署条件下,自适应停止将延迟从 4.6 秒降至 0.76 秒,MS MARCO 结果显示这种专门化不必大幅损害常规领域内检索。

Yingtao Luo, Kangyi Zhao, Shiyi Du 等

arXiv cs.MA · cs.AI

SCARCE: Emergent Institutions in Long-Horizon Multi-Agent Coding Systems

说明SCARCE:长周期多智能体编程系统中自发形成的制度性行为

简介该论文提出 SCARCE 框架,让多个编程智能体在各自截止时间下完成连续的编码任务,并通过协商共享的执行资源(用于检查代码、编译和运行测试)。研究发现,智能体会自发形成基于声誉、互惠和先例的非正式规则与承诺,即“制度性行为”,并影响资源分配。作者还建立了 21 类协商策略与涌现规范的分类体系,分析了 8 个模型的 1500 多条轨迹。

Abhinav Kumar, Rediet Abebe, Eugene Bagdasarian 等

arXiv math.OC · cs.LG · stat.ML

On the Last-Iterate Convergence of Clipped Gradient Methods

说明梯度裁剪方法的末次迭代收敛性

简介本文研究随机(强)凸优化中一阶方法的末次迭代收敛性,即最后一个迭代点的收敛保证。现有结果多依赖梯度噪声的强条件,而现实中常见重尾噪声,此时标准SGD可能表现不佳甚至不收敛。作者针对梯度裁剪版本Clipped-SGD,在重尾噪声下证明了高概率意义下的首个最优末次迭代收敛速率,填补了该领域的研究空白。

Zijian Liu

arXiv cs.CL · cs.AI · cs.LG

Learning to Read Out: Unembedding Dynamics in Language Model Pretraining

说明学习读出:语言模型预训练中的反嵌入动态

简介本文研究语言模型何时获得某项能力,指出仅凭输出何时正确判断能力获得时间并不可靠,因为输出要经过仍在学习中的反嵌入(读出)矩阵。作者提出参数轨迹交叉编码方法,仅依据各检查点的权重追踪读出变化。研究发现在Pythia预训练早期一个很窄的时间窗口内读出发生重组,且隐藏状态中的任务信息先于模型输出显现;改变读出学习率的小模型实验显示,学习率越高,读出发展越早、差距越快闭合。

Matteo He, William F. Shen, Alex Iacob 等

arXiv cs.SD · cs.AI · eess.AS

From Individual Songs to Music Corpora: Evaluating Explainable Harmonic Decision-Making on HookTheory

说明从单曲到音乐语料库:在 HookTheory 上评估可解释的和声决策

简介本文将一个为单首乐曲设计、规则固定的可解释旋律配和声模型(EMH)应用于 HookTheory 中人工标注的旋律与和弦片段。模型仅根据旋律生成和弦,人工和弦只用于事后比较。19 个片段共得到 439 个可评估的和声段,和弦完全一致率为 20.50%,根音一致率为 31.66%,和声功能一致率为 47.62%。研究区分了模型表示能力的限制与和弦选择上的差异。

Josef Pavl\'i\v{c}ek, Martin Pelik\'an

★★★★☆ 值得关注
arXiv stat.ML · cs.LG · math.OC

Acceleration and its Limits in Gaussian Variational Inference

说明高斯变分推断中的加速及其极限

简介本文研究在强对数凹、对数光滑的目标分布下,经典动量加速能否推广到高斯变分推断(GVI)。在精确高斯期望下,作者给出的凸复合形式可达到经典的 √κ 收敛率;但在只能获得逐点导数时,作者构造了一类目标分布,使任何随机算法都需要 κ^{1-o(1)} 次查询,说明仅靠曲率界无法保证均匀的加速查询复杂度。文中还给出了在 Hessian 利普希茨条件下,Hessian 变化足够小时方差缩减随机方法可获得加速保证的正例,并通过真实数据实验展示了加速在多种方法上的明显提速。

看点证明了仅靠曲率界无法保证统一加速,构造了需要κ^{1-o(1)}查询的下界族,并给出Hessian-Lipschitz下的正面结果,理论上有明确推进;实验覆盖较广。

Jaesung R. Park, Uijeong Jang, Yifan Chen

arXiv eess.IV · cs.LG

Deep Learning for Forest Plantation Mapping in Godavari Districts of Andhra Pradesh, India

说明基于深度学习的印度安得拉邦戈达瓦里地区森林人工林制图

简介本文研究如何利用深度学习方法,在印度安得拉邦东、西戈达瓦里两个县中绘制小面积森林人工林的分布图。研究使用 Harmonized Landsat Sentinel-2 无云卫星数据,以像素级神经网络分类,训练数据结合实地调查与专家航片判读标注。作者在约 21543 平方公里、为期 3 年的研究区内,将深度学习方法与随机森林基线分类器进行比较,并分析不同土地覆盖类别和季节下的结果差异。

Snehal More, Anuj Karpatne, Valerie A. Thomas 等

arXiv cs.AI · stat.ML

Failure Is the Mother of Success: Recovering Supervision with Grounding Hindsight

说明失败是成功之母:用事后经验重建监督信号

简介论文针对GRPO训练中所有尝试都失败时模型无法学习的问题,提出“回放筛选事后蒸馏”(RSHD)方法。模型先对失败尝试写出纠正性笔记,不看参考答案,再带着笔记重新解题,只有当笔记的回放成功率高于原失败组时才被采纳,并蒸馏进普通提示下的策略。论文报告该方法在多个模型系列、规模和两个训练领域中,对领域内基准优于GRPO,且收益可迁移到领域外评测集。

Sheldon Yu, Tong Yu, Nikki Lijing Kuang 等

arXiv cs.LG · cs.AI 有代码

CausalEvo: Causal Skill Self-Evolution for Health LLM Agents

说明CausalEvo:面向健康大模型智能体的因果技能自进化方法

简介该论文提出 CausalEvo,让健康领域的大语言模型智能体根据任务反馈积累并筛选文本技能(如计算标准、测量时间点、公式单位)。方法在固定模型权重、反馈案例和规则数量的前提下,通过配对替换比较不同技能集的相对效果并保留较优规则。在六个 MedCalc-Bench-Verified 任务、120 个留出案例上,其准确率为 60.00%,高于 SkillOpt 的 55.83% 和无技能的 51.67%;训练 token 消耗比 SkillOpt 少 55.6%,但部分任务有退步,且配对准确率区间包含零。

Yuchen Zhang

arXiv cs.CV · cs.LG

Audio-Visual Dog Identification and Tracking in Real-World Videos

说明真实视频中基于视听融合的狗只识别与追踪

简介该论文提出一种多模态狗只识别框架,结合视觉识别、多目标追踪和犬类叫声声纹,把吠叫事件与视频中的具体个体对应起来,即使存在遮挡、叫声重叠或画面外吠叫也能维持身份档案。作者还发布了一个包含46段真实视频、213个人工标注吠叫事件的基准数据集。结果显示,在交并比不低于0.30时,框架在61.83%的可见事件中正确定位了正在吠叫的可见狗只;在区分可见与画面外吠叫上,F1分数为91.33%。

Aryahvishwa Babu, Kingsley Jin, Lillian Wang 等

arXiv cs.AI

Deep Reinforcement Learning for HPC Job Scheduling: A Statistical Evaluation

说明用于高性能计算作业调度的深度强化学习:统计评估

简介本文比较了六种深度强化学习方案(PPO、A2C、DQN,各有带与不带动作掩码两种)在两个真实Slurm作业负载轨迹上的表现,并与三种启发式方法及带掩码随机控制进行对照。结果显示,在同构轨迹上,带掩码的DRL方案在平均等待时间和有界减速指标上均未显著优于随机控制;在异构轨迹上,MaskablePPO三项指标均优于控制组,但与若干启发式方法相比,其优势主要体现在最大有界减速上。

Justin M. Cheney, Clement N. Nyirenda

arXiv cs.CV

Mind the Tail: Data Selection Through Sparse Concepts

说明关注长尾:基于稀疏概念的数据选择

简介该论文提出一种数据选择方法,利用稀疏自编码器从图像中提取视觉概念,依据数据集层面的概念覆盖度,降低常见概念权重、突出长尾概念,并结合局部覆盖度选取能强化支持不足概念的样本。作者称该方法在细粒度、伪相关及一般图像分类和多模态预训练等基准上优于强基线,并带来对分布外和伪相关场景更好的鲁棒性。

Ziheng Zhang, Neha Hulkund, Colin Lee 等

arXiv cs.CL · cs.LG

Can LLMs Anticipate Their Cruxes?

说明大语言模型能否预判自己的关键分歧点?

简介本文研究如何从语言模型的多次推理结果中提取决定其推荐选择的“关键因素”(cruxes),即多次生成结果之间存在分歧、改变其取值可能改变结论的子问题。作者比较了三种成本递增的方法:事先让模型直接列出关键因素、基于单次推理提取、以及对多次生成结果进行比较。实验表明,前两种低成本方法都不足以找出完整的关键因素,对高风险决策而言需要多次生成的方法。

David Reber, James Reber, Ari Holtzman 等

★★★★☆ 值得关注
arXiv cs.LG

Imperfect Is Perfect: Learned Column Prefilling for Branch-Price-and-Cut

说明非完美也能完美:分支定价切割中的学习型列预填充

简介该论文研究分支定价切割算法中的列预填充。作者发现,预先加载并非最优解的普通路线列,并配合学习得到的平滑中心,能显著加快根节点定价。在带容量车辆路径问题的 RouteOpt 求解器上,该方法在 95 个 300 至 1000 个客户的实例中,以约 13.2% 的根节点定价时间达到相同的已认证界。

看点提出以非最优的不完全列预填充并结合学习的生成器与平滑中心预测,证明反直觉现象;在300至1000客户的基准上以13.2%根节点定价时间达到相同界,并在调度问题上认证全部25个实例,证据充分。

Haoran Liu, Yu Yang

arXiv cs.CV · cs.AI · cs.LG

EigDiff: Eigensample Diffusion - or how to significantly reduce training dataset size with marginal performance variation?

说明EigDiff:特征样本扩散——如何在性能几乎不变的前提下大幅减少训练数据

简介扩散模型训练成本高,通常需要大规模数据集。本文提出EigDiff方法,利用预训练CLIP模型的潜在空间做主成分分析得到特征向量,并以其为参考点挑选包含代表性样本和多样图像的训练子集。实验表明,在多个数据集和扩散模型上,该方法可将训练数据减少至多14倍,子集选择速度提升至多1607倍,性能差异很小。

Andrei Jarca, Vlad Hondru, Florinel-Alin Croitoru 等

arXiv cs.LG · stat.ML

Halve-Then-Greedy: Adaptive Sampling for Posterior Success with Near-Optimal Instance Dependence

说明先减半后贪心:面向后验成功概率的自适应采样方法

简介该论文研究固定预算下的自适应实验,目标是最大化获得足够后验证据、证明推荐设计的均值表现超过目标值的概率,而不需要找到最优设计。作者针对带高斯先验的高斯老虎机提出 Halve-Then-Greedy(HTG)方法,结合初始均衡分配、逐次减半和后验贪心采样,并给出依赖具体实例的有限预算指数界。仿真结果展示了其样本效率优势。

Yinan Li, Kwang-Sung Jun, Kapilan Balagopalan 等

arXiv cs.CL · cs.LG

One Bias Score, Two Factors: How Mitigations Affect Option Bias in Multiple-Choice Evaluation

说明一个偏差分数,两个因子:缓解方法如何影响多项选择评估中的选项偏差

简介该论文指出,调换多项选择题的选项顺序会改变模型答案,这既被视为对选项字母的选择偏好,也被视为对顺序的敏感性。作者用汇总选择率标准差将两者统一,并将其分解为翻转率与位置偏斜两个因子。在41个检查点和12个基准上,先验校正主要降低位置偏斜,而与反转顺序聚合主要降低翻转率,但后者可能使问题集中到同一个错误选项上,因此建议同时报告两个因子和准确率。

Hyunjong Ok, Minjae Park, Jaeho Lee

arXiv cs.CV

DeSpatial: The devil of Agentic Spatial Reasoning Lies in 3D Itself

说明DeSpatial:空间推理的难点在于3D感知本身

简介论文指出,带有重建与分割工具的空间智能体,常因预测不一致、物体身份碎片化而难以输出可靠的三维场景信息。作者提出DeSpatial,将空间理解拆分为感知与推理两部分,通过共享的三维感知工具把各自独立的感知结果整合为统一、公制、重力对齐的三维场景。实验显示其在VSI-Bench、MindCube-Tiny和ViewSpatial上取得领先性能,并在VSI-SUPER长视频上给出结果。

Yifei Liu, Xiaolong Zhou, Ziyang Gong 等

arXiv cs.LG · cs.CV 有代码

Do As I Do, Not As I Say: On-Policy Distillation Inherits the Teacher in Vision-Language Models

说明《照我做的去学,而非照我说的去学》:视觉语言模型中的同策略蒸馏会继承教师模型的缺陷

简介该论文比较了两种让视觉语言模型变强的后训练方法:用教师模型生成示范数据的监督微调(SFT),以及对学生模型自身生成轨迹提供教师反馈的同策略蒸馏(OPD)。研究发现,只有当教师在学生生成的轨迹上仍然可靠时,OPD才有效;在Geometry3K任务中,教师有22%的解答不完整,OPD因此比SFT低7.9个点,且差距主要来自回答不完整。论文还表明,从SFT学生出发的OPD会把完成率从76%降到62%,并指出同策略监督会传递教师在学生所经历状态上的持续失败模式。

Frank F. Yang, Kefei Yan, Yiren Wang 等

arXiv cond-mat.stat-mech · cond-mat.dis-nn · cs.LG

The Blume-Capel Model as a φ⁶ Field Theory: A Monte Carlo and Flow Model Study

说明Blume-Capel 模型作为 φ⁶ 场论:蒙特卡洛与流模型研究

简介本文对连续自旋版本的 Blume-Capel 模型进行蒙特卡洛模拟,计算晶体场与温度平面上随自旋软硬程度变化的相图。作者使用可直接采样、无自相关的归一化流模型作为采样器,覆盖一级相变区域与三临界点附近。有限尺寸标度分析显示,其定位相变与三临界点的精度与常规及扩展系综蒙特卡洛方法相当。

Ejaaz Merali, Ryan Larson, Ehsan Khatami 等

arXiv cs.LG · cs.AI

How to Train Your Little Dragon: Teaching a Small Language Model to Construct and Refine GPU Optimization Scripts

说明《如何训练你的小龙》:教小型语言模型构建并改进GPU优化脚本

简介论文提出一种训练方法,让一个80亿参数的小型语言模型生成完整的编译器优化脚本,并改进已有脚本,用于GPU内核优化。作者基于TVM MetaSchedule在54,116个工作负载上构建训练数据,经监督微调和带正确性与延迟奖励的强化学习训练。论文报告模型在构建与改进任务上的单次正确率分别为91.27%和92.01%,并称其在多项任务中优于六个前沿大模型。

Annabelle Sujun Tang, Wei Tang, Songyao Jiang 等

arXiv stat.ML · cs.LG · math.ST

Two-Stage Score Estimation for Group-Specific Diffusion Models

说明面向分组扩散模型的两阶段分数估计

简介本文研究相关分布之间的扩散迁移:利用共享的合并分数与目标分布特有的偏移量,在目标样本有限时提高生成精度。作者建立统计框架,给出分别学习两部分的收敛速率,并说明何时简单偏移量比分开拟合更快。文中还在合适的假设下证明偏移量随扩散时间趋近于零时保持有界且正则,并给出总变差保证;合成数据与图像基准实验为框架提供概念验证。

Huitao Yang, Oscar Hernan Madrid Padilla

arXiv cs.CV

PiCo: Physics-Informed Concept Probing for Geo-Foundation Models

说明PiCo:面向地理基础模型的物理引导概念探测方法

简介地理基础模型通常只用下游任务的预测性能来评估,难以反映其依赖哪些物理特征。本文提出PiCo,一种事后解释框架,利用三维辐射传输模型与游戏引擎生成合成多光谱卫星观测,在模型嵌入空间中识别概念向量。文中在三个模型和七个森林与冠层物理概念上进行了评估,结果显示概念表示可保留70.0%至93.8%的完整嵌入分类精度。

Yihang She, Andrew Blake, Jianbo Qi 等

arXiv cs.RO · cs.AI

SOMA: Stack-of-Objects Manipulation using a Quadruped Robot

说明SOMA:利用四足机器人进行多物体堆叠的非抓取操作

简介本文提出SOMA,一种分层强化学习框架,让四足机器人以全身推动的方式操作多层物体堆叠,无需专用机械臂。该方法加入了机器人本体高度控制,使推动不再局限于二维平面。在仿真测试中,单物体重新摆放成功率为90.3%,双箱动态堆叠最高为90.1%。研究还在Unitree Go1机器人上验证了零样本的仿真到真机迁移。

Stergios E. Bachoumas, Panagiotis Artemiadis

arXiv cs.SD · cs.LG · eess.AS

MIDI-REPA: Improving Text-to-Music Generation with Symbolic Representation Alignment

说明MIDI-REPA:利用符号表示对齐改进文本到音乐生成

简介这篇论文提出MIDI-REPA框架,用自动音乐转录得到的MIDI信息作为监督信号,对齐流匹配DiT模型的中间表示,以改进文本生成音乐的效果。作者以122M参数的FluxAudio-S为基线,研究对齐的内容、位置和时机,发现在整个流轨迹上将钢琴卷帘与早期DiT层对齐效果最好。该方法在单张RTX 3090上约31小时即可训练完成,并公开了转录流程、JamendoMIDI数据集、训练代码和音频样例。

Song-Ze Yu, Fang-Duo Tsai, Yi-Hsuan Yang

arXiv cs.AI · cs.CV

MSP: Modality Self-Play for Training Multimodal LLMs Without Paired Cross-Modal Data

说明MSP:无需成对跨模态数据训练多模态大模型的模态自博弈方法

简介该论文提出模态自博弈(MSP)训练框架,用模型生成的代理文本描述作为语义桥梁,代替真实的成对跨模态数据。训练时仅使用一个真实锚定模态及其代理描述,推理时即可对多种模态进行零样本组合与推理。作者称其在多个多模态基准上达到领先或有竞争力的表现,但仍依赖模态-文本对、预训练对比编码器和模态分布桥校准。

Robert Moseley, Md Kaykobad Reza, Ameya Patil 等

arXiv cs.CV

ESC: Escaping 2D Diffusion Ambiguity with Geometric Constraints for Consistent Novel View Synthesis

说明ESC:利用几何约束消除二维扩散歧义,实现一致的新视角合成

简介该论文提出一种框架,在相机视角大幅变化时,通过同时生成目标视角图像及其深度图,提升单张图像新视角合成的几何对齐效果。模型以单张源图像、源深度和目标相机光线为条件,并加入逐像素深度一致性约束,以保证生成视角之间的三维一致性。作者称其在视觉精度和空间对齐方面优于现有方法。

Ge Ya Luo, Daniel Severo, Brian Karrer 等

arXiv cs.CV · cs.CL 有代码

VELD-QA: A Large-Scale Dataset for Visual Evidence Grounding and Question Answering in Long Documents

说明VELD-QA:面向长文档视觉证据定位与问答的大规模数据集

简介该论文提出VELD-QA,一个用于长文档视觉证据定位与问答的大规模基准,包含15,000组人工撰写的问答对,覆盖5,859份真实PDF、共372,445页,并兼顾图表、表格和复杂版式任务。人工标注了支撑页面、证据元素及所引用的视觉内容,便于分别评估检索与解释能力。实验评估了九个视觉语言模型和七个检索增强或智能体系统,结果显示基于检索的方法明显逊于使用标注支撑页面的上限设置,而在上限设置下准确率最高为81.7%,仍存在视觉解释与推理难题。用视觉元素标注丰富输入后,性能差距缩小17%至24%。

Zhivar Sourati, Marianne Menglin Liu, Rongguang Wang 等

arXiv cs.AI

StepSafe: Learning Timely Intervention with Context-Aware Safety Reasoning

说明StepSafe:基于情境感知安全推理的及时干预学习

简介本文针对智能体系统的逐步安全问题,提出训练框架 ASPO,让模型在每一步判断是否需要干预。框架包括按步骤比较同前缀回复的阶段对齐,以及模型自我蒸馏的推理反馈。作者据此构建了 StepSafe 安全护栏,在五个智能体安全基准上于开源护栏中表现最佳,4B 版本的 Youden's J 为 53.0,对比值为 46.2。

Siyi Gu, Kunhan Gao, Chao Peter Yang 等

arXiv cs.CL · cs.AI

Same Context, Different Agents: A Behavioral Study of Semantic Layers, Multi-Agent Orchestration and Memory Compaction in Data Agents

说明同一上下文,不同智能体:数据智能体中语义层、多智能体编排与记忆压缩的行为研究

简介该论文研究了数据智能体在上下文工程中三种技术(语义层、多智能体编排和交互历史压缩)的单独及组合效果。作者在五个基准的1,514个长程任务上,用七个大语言模型分析行为、准确率和成本。结果显示,不同行为类型的智能体对这些技术的响应不同,并据此给出了按智能体行为、任务需求和准确率-成本权衡选择技术的建议。

Zhivar Sourati, Marianne Menglin Liu, Zheng Wang 等

arXiv cs.RO · cs.CV

Line-Augmented cuVSLAM: Robust Visual Odometry in Low-Texture Environments

说明线特征增强的 cuVSLAM:低纹理环境中的鲁棒视觉里程计

简介本文为 cuVSLAM(一种 CUDA 加速的视觉 SLAM 系统)加入线特征,用于仓库等缺乏纹理、点特征较少的场景。线特征被用于增强位姿求解和滑动窗口优化,且只在现有求解器中增加残差项。在 RGB-D 模式下,线特征使 TUM RGB-D Freiburg3 的 22 个序列平均绝对轨迹误差降低 38.5%,Replica 的 8 个序列降低 30.1%,且在所有测试配置中未出现跟踪失败。

Dara Molloy, Terry Wu, Wonju Lee 等

arXiv eess.SP · cs.LG · q-bio.NC

Cross-subject decoding of imagined speech from scalp EEG: a leakage-controlled evaluation on three public corpora

说明基于头皮脑电的想象言语跨被试解码:三个公开数据集上的防泄漏评估

简介该研究测试了用头皮脑电记录的想象言语内容能否在不同人之间迁移,即新用户无需校准即可使用解码器。研究分析了三个公开数据集,并检验了单个被试内部准确率偏低的若干解释。结果显示,在482组被试两两配对中,没有一组在多重比较校正后显著,跨被试准确率与机会水平的差距均在0.006以内。作者认为,这些数据中想象言语内容并未通过所考察的任何表征在人与人之间迁移。

Blessing Isoyiza Adeika, Onyema Osuagwu

arXiv cs.DL · cs.AI · stat.AP

Learning Checklists to Reduce Lottery Effects in Scientific Peer Review

说明学习检查清单以减少科学同行评审中的“抽签效应”

简介论文指出,若评审人数有限,少数评审可能只关注论文的部分问题,导致评审误差。作者从历史评审语料中学习一组批评检查清单,通过大语言模型辅助的流程生成并选择最能提高评审者间相关一致性的版本。在 NeurIPS 2021 与 ICLR 2022 的模拟评审中,该清单使三人评审小组的均方误差分别降低 58% 和 21%。

Xuanyou Liu, Ziyang Guo, Jason Hartline 等