AI 算法 · 2026年10月14日(周三)

机器学习、人工智能、自然语言处理、计算机视觉、多智能体。

arXiv cs.CV

MMKG-R1: Constructing Multimodal Knowledge Graphs via Reinforcement Learning

说明MMKG-R1:通过强化学习构建多模态知识图谱

简介该论文提出MMKG-R1,一个以知识图谱质量为驱动的强化学习框架,用于训练多模态大模型作为多模态知识构建器。方法引入多种质量感知奖励,分别直接评估从各知识来源提取的信息质量以及组装后的多模态知识图谱质量,并用这些奖励指导训练。论文报告,在多个数据集上的实验表明,该方法构建的多模态知识图谱能够提升下游问答的准确率。

Zongyu Wu, Yilong Wang, Xiaochen Wang 等

arXiv cs.AI

Can We Believe AI Peer Review?

说明AI 同行评审能信吗?一项关于 AI 评分可靠性的论文研究

简介本文研究大型语言模型给论文打分是否可靠。作者使用 ICLR 2025 和 2026 的 200 篇论文与约 14,000 条 AI 评审,分析评分稳定性、评分分布估计,以及不同模型对修改收益判断的一致性。结果显示,即使条件相同,重复评审的分数也会波动;更细的评分方案能降低方差,但会系统性地改变平均分;而修改带来的收益高低很大程度上取决于评审模型。

Zongrui Yang, Haoyuan Li, Zhongsheng Wang 等

arXiv cs.CL · cs.AI

LLM-jp-4 Technical Report

说明LLM-jp-4 技术报告:日本自主可控的大语言模型系列

简介本文介绍 LLM-jp-4,这是一组以透明性、可复现性和实用性为重点开发的日语大语言模型。该系列包括一个 8B 稠密模型和一个 32B-A3B 混合专家模型,均从零开始在约 12 万亿个 token 上训练。作者还明确了训练数据、外部模型和软件的选择标准,并公开了开发过程。结果显示其相较于此前的 LLM-jp 模型有显著提升,并与同等规模的开放权重模型表现相当。

LLM-jp: Chaoran Liu, Daisuke Kawahara, Hideyuki Tachibana 等

arXiv stat.ML · cs.LG · math.CO

A polylogarithmic bound for list replicability

说明列表可复现性的多对数上界

简介这篇论文讨论的是学习理论中的“列表可复现性”(list replicability)数,即在 M 个二元概念、N 个域点的概念类上该数的上界。作者给出一个简短、自包含的证明,表明该数为 O(log²M·log N),这是此量的首个多对数上界。论文的思路沿袭 Zhang 的手稿,但论证更为简化。

Ari Blondal, Hamed Hatami, Pooya Hatami 等

arXiv cs.CV · cs.RO 有代码

NavAble: A Large-Scale Dataset and Synthetic Data Generation Pipeline for Blind Navigation

说明NavAble:面向盲人导航的大规模数据集与合成数据生成流程

简介该论文介绍了NavAble,一个覆盖11类无障碍关键物体(如声音行人信号、门禁按钮、扶手)的大规模数据集,包含41K张开源图像和8K张新采集并密集标注的真实图像。作者还开发了合成数据生成流程,共生成452K帧带标注的数据。实验显示,在该数据集上微调的分割模型mIoU超过80%,合成数据增强可带来最高+3.5 mIoU的提升。

Hochul Hwang, Jahir Sadik Monon, Soowan Yang 等

arXiv cs.CV

SonoWorld: Towards Interactive Pose-Controllable Ultrasound World Models

说明SonoWorld:面向交互式姿态可控超声世界模型的研究

简介机器人超声可以规范图像采集,但缺乏真实、可控的仿真环境限制了策略学习。SonoWorld 是一个因果超声世界模型,先用约 690 万帧未标注多器官超声视频预训练,再用一小批经电磁传感器追踪的甲状腺手持扫描数据,将视频动态映射到 6 自由度探头控制。论文报告模型在动作判别中最高有 74.8% 的试次能正确区分目标方向的探头运动。

Zefan Yang, Zheyuan Zhang, Boris Maihe 等

arXiv cs.LG

Why don't Graph Transformers attend to the same token?

说明为什么图 Transformer 不会都关注同一个节点?

简介大语言模型的注意力通常集中在第一个词元上,这被称为“注意力汇聚”。本文研究图 Transformer 是否也会出现这种现象,发现先进模型 GRIT 在分子图上很少形成汇聚,且在更大图上训练时汇聚更少。作者指出,主要原因是注意力打分函数:把 GRIT 的门控打分换成点积后,汇聚率从 0.09 升至 0.68。因此,注意力汇聚更多是点积注意力的特性,而非 Transformer 本身的特性。

Alexandre Bismuth

arXiv cs.CL · cs.LG

TopicMerge: A Divide and Conquer Approach to Topic Modeling

说明TopicMerge:一种分治式主题建模方法

简介本文提出TopicMerge,一种多阶段主题建模流程,结合了高效的嵌入聚类与大语言模型(LLM)的合并判断。流程先将文档过度切分为大量细粒度微簇并赋予初始标签,再由LLM依据局部邻域上下文迭代决定合并哪些候选对并重新标注。在Bills和Wiki数据集上的实验显示,该方法达到了最先进的聚类表现,相比文档级方法,所需的LLM调用次数减少了92%以上。

Matthew Raffel, Lizhong Chen, Sai Munikoti 等

arXiv cs.AI

Generalization Analysis of Biased Stochastic Gradient Methods for Minimax Problems

说明有偏随机梯度方法求解极小极大问题的泛化分析

简介本文研究用于极小极大优化问题的有偏随机梯度方法的泛化性能,这是首个系统研究其稳定性与泛化的框架。作者将有界梯度假设放宽为有界二阶矩条件,建立稳定性与泛化之间的联系,并针对偏差与梯度估计器给出广义Lipschitz型条件及一般稳定性界。将分析应用于零阶与截断随机梯度下降上升(SGDA)方法后,结合收敛性分析,得到阶为1/√n(n为样本量)的最优超额风险界。

Shuang Zeng, Yunwen Lei, Yiming Ying

arXiv cs.GT · cs.CL · cs.MA

Truthful and Expected-Payment-Optimal Model Routing in Graph-Based Agentic Workflows

说明图结构智能体工作流中的诚实且期望支付最优的模型路由

简介该论文研究在基于图的智能体工作流中如何把任务分配给不同大模型服务商,以降低生成成本。作者把路由问题建模为单参数采购拍卖,并提出 STAR 方法:在给定报价下最小化虚拟成本加权的图工作负载,使服务商如实报价成为效用最大化的策略,同时使用户的期望总支付最小。合成实验表明,拓扑感知带来的执行成本收益随扇出和传输负载增加而增长,而支付收益随先验分布异质性逐步上升。

Jiayuan Liu, Mingyu Guo, Jiarui Gan 等

arXiv cs.LG

Historical-Feature Residual Adaptation for Sequential Screening

说明序贯筛选中基于历史特征的残差适应

简介本文研究序贯筛选策略在有限实验预算下如何利用反馈:在反馈揭示前,用固定的历史特征构建一个小型排序修正项,并锚定到基础分数上。主要实例在预训练的AssayFormer基础上加入64个历史方向特征,在20个官方测试筛选中,来源宏平均的命中召回率从22.58%提升到28.61%,超过六个预设对比方法。在独立的非线性基础模型上也观察到一定迁移效果,但收益依赖于基础模型。

Yixiang Hong, Yuchen Zhang

arXiv cs.CL

PersEvalBench: Can LLM Evaluators Judge Contextually Appropriate Use of Persona Information?

说明PersEvalBench:LLM评估器能否判断个性化信息的使用是否恰当?

简介该论文提出PersEvalBench基准,包含403个多轮场景,用于测试大语言模型评估器能否识别个性化助手对用户历史信息的恰当与不恰当使用。基准覆盖三类共九种受控错误。结果显示,即使提供完整对话历史,五个LLM评估器对这些错误的识别能力仍然有限;在人工评估子集上,欠个性化错误的识别率人类为94.4%,最强评估器为63.9%。

Xinyi Liu, Hooshang Nayyeri, Emine Yilmaz 等

arXiv cs.CV

Data-free Multistep Diffusion Distillation

说明无数据多步扩散模型蒸馏:一种让同一模型支持多种推理步数的方法

简介这篇论文研究如何把扩散生成模型压缩为多步推理的学生模型,且不需要训练数据。作者提出渐进式多步无数据蒸馏方法(PMDD),为每个学生分布分配专用的适配网络,并加入阶段性防遗忘损失,以保留早期步骤的生成质量。原文称,该方法在多种推理步数下与数据无关的少步基线相当或更优,并用更少的训练算力支持三种推理预算。

Ngoc Duy Tran, Kien Do, Duc Thanh Nguyen 等

arXiv cs.LG · cs.AI

DTDD: Divergence-Triggered Dynamic Distillation for Reliable On-Policy Supervision

说明DTDD:面向可靠同策略监督的分歧触发动态蒸馏方法

简介该论文提出DTDD方法,用于改进同策略蒸馏(OPD)。当学生与教师模型在推理片段上出现较大分歧时,由教师接管并生成恢复后缀,学生通过行为克隆学习这些内容。实验涵盖长程推理、基础模型初始化蒸馏和多轮智能体等场景,结果显示该方法在梯度稳定性、优化效率和部分任务表现上优于基线OPD。

Qijia He, Zequn Li, Spencer Luo 等

arXiv cs.AI 有代码

Beyond ICD Codes: Semantic IDs for Generative Medical Coding

说明超越ICD编码:面向生成式医学编码的语义ID

简介该论文提出SemICD框架,让大语言模型在自动ICD编码中生成语义ID(SID),而不是直接生成原始ICD编码字符串。SID通过对编码文本描述的嵌入进行层次聚类构建,语义相关的编码共享前缀,每个完整SID唯一对应一个ICD编码。实验表明,在MIMIC-III和MIMIC-IV数据集上,SemICD优于直接生成编码的方法,Micro-F1有所提升。

Yihang Cheng, Qian Zhang, Yonghui (Andie) Huang 等

★★★★☆ 值得关注
arXiv cs.LG

Verifier-Grounded Agentic RL for Provably Correct Code

说明基于验证器的智能体强化学习,用于可证明正确的代码

简介该论文提出一种用形式化验证器(而非仅仅通过测试)作为强化学习奖励的智能体环境。奖励依据验证器的诊断信息,按通过的证明义务加权比例打分,并对篡改规范或假设待证结论的候选程序进行完整性审计。在多个Qwen3模型上,代码生成的保留集验证率在DafnyBench上从66.1%升至93.5%,在SWE-Proof上从56.3%升至100%。

看点将验证器诊断信息转化为细粒度奖励并加入完整性审计,且在多个基准和留出套件上提升显著,证据较充分,对代码生成训练有一定影响。

George Ma, Yuhao Zhang, Bing He 等

arXiv cs.CL

Qwenfant: Train Big Character-level BabyLMs on Concise Parallel Text

说明Qwenfant:在简洁平行文本上训练大型字符级 BabyLM

简介本文是作者提交给 2026 年 BabyLM 挑战赛多语言赛道的参赛工作。作者使用大语言模型总结并翻译的数据改进基线,表明合成数据也能提供更高质量的训练材料。此外,作者采用更大的模型并使用字符级词表,两者都需要 LoRA 式微调才能充分发挥作用。最终基于 Qwen3 的模型 Qwenfant 在提交时位列多语言赛道第一。

Lukas Edman, Alexander Fraser

arXiv cs.AI

Whose turn is it? Context-guided model routing for stateful agents

说明轮到谁了?面向有状态智能体的上下文引导模型路由

简介该论文研究在大模型智能体中按用户轮次进行模型路由,把简单请求分配给更便宜的模型以降低成本。研究在多轮版本的 SheetCopilot 和 SpreadsheetBench 2 上测试了携带会话历史的路由器,发现在相同分流率下,利用历史能提高任务通过率,并分析了切换模型时提示缓存成本的非对称性。

Anikesh Parashar, Avik Dutta, Vashu Chauhan 等

arXiv cs.CL

Can LLM Agents Efficiently Identify Appliance Faults? Insights From Diagnosing a Simulated Appliance

说明LLM智能体能否高效识别设备故障?基于模拟咖啡机的诊断研究

简介该论文提出CoffeeBench,这是一个使用模拟设备的LLM智能体故障诊断任务。研究发现,多数模型仅凭传感器信息难以稳定识别故障,但表现最好的模型能通过逐步缩小故障选项范围最终完成诊断。论文还分析了模型效率差异、表现落后的原因,并提出了初始诊断不确定性和推理合理性等有助于判断诊断成败的启发式方法。

Lucas H. McCabe, Sarah Lukens, H. Howie Huang

★★★★☆ 值得关注
arXiv cs.CV 有代码

Kandinsky S2V 1.0: Audio-Driven Avatar Video Generation

说明Kandinsky S2V 1.0:音频驱动的数字人视频生成模型

简介该论文提出 Kandinsky S2V 1.0,一组可控的语音驱动视频生成模型,包括 2B 参数的 Lite 版和 21B 参数的 Pro 版。给定一张参考图、一段语音和一条文本提示,模型可生成 25 FPS 的长视频,使口型、表情、姿态和手势与语音对应。论文报告 Pro 版在人工对比评测中总体不逊于或优于对比模型,并在口型同步方面更受偏好;还提供了蒸馏加速版本,代码与模型以 MIT 许可证开源。

看点在视频基础模型上整合文本与音频条件及参考记忆模块,并加入面部损失与蒸馏加速;人工评测与五项指标基准支撑结果,影响面主要在语音驱动视频生成子领域。

Nikolay Semenov, Artem Riabinin, Sergey Bassenko 等

arXiv cs.CY · cs.CL

From Efficiency to Sufficiency: The Cost-Aware Measurement Design Framework for Automated Essay Scoring

说明从效率到充分性:自动作文评分的成本感知测量设计框架

简介本文将自动作文评分(AES)视为受成本约束的测量系统,提出包含计量、分配、单位经济和决策四层的成本感知测量设计(CAMD)框架。文章以“每份可辩护评分的成本”(CPDS)作为比较指标,主张在满足测量要求的可辩护设计中选择成本最低者,并指出评分量会影响各层成本,因此该指标应视为规模的函数。

Yi Gui

arXiv cs.LG

Exact Scaling Laws for a Random-Features Bigram Model

说明随机特征二元组模型的精确缩放定律:一个用于理解大语言模型规模效应的可解析玩具模型

简介本文在一个带瓶颈的二元组(bigram)模型中研究容量受限下的缩放规律,该模型采用幂律(Zipf)词元统计,被视为大语言模型的可解析玩具模型。作者用固定的随机嵌入作为表示容量的代理,由此推导出预测遗憾随模型宽度、词表大小和 Zipf 指数变化的缩放定律。理论在适当条件下与经典神经缩放定律的函数形式一致,实验在 WikiText2 与 OpenWebText 数据集上的结果与预测曲线吻合。

Julian Enoch, Elvis Dohmatob

★★★★☆ 值得关注
arXiv cs.LG · cs.AI

Dimension-Free Scaling Laws for Size Generalization: An Exponential Separation

说明与输入规模无关的缩放定律:规模泛化中的指数级分离

简介本文研究模型在一种规模的输入上训练后,能否泛化到规模不同(可能大得多)的输入上,并分析其统计代价。作者证明,多项式式的源衰减不足以高效实现规模泛化:领域内学习误差为 n^{-Θ(1)},而规模泛化误差只按 (log n)^{-Θ(1)} 下降,二者样本复杂度呈指数级分离。作者还给出可达到多项式样本复杂度的指数型源条件,并提供匹配的极小极大下界。

看点提出尺寸泛化的统计学习理论,证明多项式与指数样本复杂度之间的指数分离,并给出匹配的极小极大下界,理论贡献突出。

Behrooz Tahmasebi, Melanie Weber

arXiv eess.IV · cs.CV

Deep Learning for Atmospheric Turbulence Mitigation: A Comparison Between GANs and Transformers

说明深度学习用于大气湍流抑制:GAN 与 Transformer 的比较

简介本文比较了两类用于抑制大气湍流影响的深度学习方法:生成对抗网络(GAN)和基于 Transformer 的模型,二者均在 SOTIS 数据集上训练和测试。结果显示,GAN 在严重退化、低质量场景中表现更好,而 Transformer 在中等到高质量场景中效果更佳,尤其擅长校正几何畸变。作者还改进了湍流抑制 Transformer(TMT),包括优化训练策略、加入时间平均帧作为结构先验,并引入结合 SSIM 的损失函数,在各种湍流条件下均取得稳定提升。

Juan S. Carrillo, J\'er\^ome Gilles

arXiv cs.LG

Outcome-Routed Distillation and Reinforcement Learning for Diffusion Language Models

说明面向扩散语言模型的结果路由蒸馏与强化学习

简介该论文提出一套无需似然比的训练流程,用于混合专家结构的扩散语言模型。训练组根据验证器结果分流:混合组使用无比率的组中心化REINFORCE;若学生样本全部失败而教师成功,则对学生去噪画布施加密集KL监督;其余组跳过。论文以锚定于蒸馏检查点的KL项限制验证器奖励之外的能力变化,并报告了工具调用、推理与直接回答等任务上的对比结果。

Wentao Lu, Tianyu Zhu, Jesse Clark

arXiv cs.LG · cs.AI

Exploring Interpretability in Deep Learning-Based Forest Classification - Separating Similar Forest Classes using Sentinel-2 Time Series

说明基于深度学习的森林分类可解释性研究:利用Sentinel-2时间序列区分相似森林类别

简介该论文使用Sentinel-2时间序列,比较循环神经网络(RNN)与随机森林、XGBoost对树种分类的效果,重点区分纯挪威云杉与混交云杉像元。最佳RNN的Macro-F1为0.851,优于XGBoost 0.012、随机森林0.103。通过积分梯度(Integrated Gradients)分析发现,约第125天后特征贡献明显增加,B11波段在两类光谱差异扩大时最为重要,有助于理解混交林制图的光谱时间机制。

Maximilian Kirsch, Christine Preisach

arXiv cs.CL · cs.AI · cs.CY

Whose Data, Whose Benchmark? A User-Centric Framework for Auditing Evaluation Resources

说明数据属于谁,基准属于谁?一个以用户为中心的评测资源审计框架

简介该论文提出一个以用户为中心的审计框架,区分贡献基准内容的用户与评测结果应代表其需求的用户。研究覆盖16个资源,发现文本基准中以美国为中心的惯例占匹配信号的62.4%至94.4%,图文资源的地理可见性与国家GDP占比高度相关(平均Pearson r=0.780)。所有资源都记录了来源用户语境,但没有一个记录目标用户语境。

Mir Tafseer Nayeem, Davood Rafiei

arXiv cs.AI · cs.CL · cs.CY

MemeTrace: A Multimodal LLM-Based Agent for Safety-Aware Meme Provenance Analysis

说明MemeTrace:基于多模态大模型、用于表情图片安全溯源分析的智能体

简介网络表情图(meme)常携带虚假信息、宣传等不安全内容,且随新闻事件快速演变,平台难以有效审核。现有研究多只依据单张图片判断安全与否,缺乏溯源分析能力。本文提出 MemeTrace,一个基于多模态大模型的智能体,用于自动追溯新兴表情图的来源与潜在风险。在包含 100 张真实表情图的 Meme100 数据集上,其表现明显优于视觉语言模型基线,在识别不安全内容(尤其是涉及虚假信息和敏感内容的)方面准确率更高,并且在视觉扰动下仍保持稳健。

Bo Shao, Yihan Ma, Yiting Qu 等

arXiv cs.CV

LAMP: 3D Source-Aware Lighting Estimation at Multiple Points

说明LAMP:面向多个点位的三维光源感知光照估计

简介现有光照估计方法主要恢复用于渲染的光照分布,却很少说明场景中各个物理光源对特定位置的贡献。本文提出LAMP框架,借助视觉语言模型,从带有标记查询点的单张RGB图像中,推理每个点的光照来源,并预测各光源到查询点的三维方向。在Infinigen测试集上,微调后的Qwen3-VL-8B将主光源的三维PCK@0.5m从0%提升至70.6%。

Yanqiao Wang, Jin Sun

arXiv cs.RO · cs.AI

MIND: Instruction-Conditioned Incremental Grounding for Robots

说明MIND:面向机器人的指令条件增量定位,用于维护房间判断

简介论文提出 MIND 框架,让执行持续语言指令的机器人在环境变化后只重新评估受影响的房间判断,而不必每次事件后重算所有房间。在 ProcTHOR 与 AI2-THOR 仿真及 Unitree G1 机器人实验中,该方法在保持决策结果的同时显著减少了语义评估次数。

Mohamed Abouagour, Junhyun Nam, Wonse Jo 等

arXiv cs.CV

Long-horizon Video Generation with Slot Memory Addressed By Region Tokens

说明基于区域令牌寻址槽位记忆的长时程视频生成

简介本文提出SMART,一种由区域令牌寻址的槽位记忆,用于长时程视频生成。它以固定大小的槽位递归存储内容,写入由观测相机决定位置,读取由渲染相机查询,无需显式三维表示或不断增长的缓存。在Memory Maze和Minecraft的长轨迹实验中,SMART在训练时长之外仍保持较高的回忆保真度,且内存与每步计算成本恒定。

Eren Cetin, Julius Erbach, Vukasin Bozic 等

arXiv stat.ML · cs.LG · stat.ME

Multi-Sensitive Distributional Fairness: Joint Wasserstein Audits and Shapley Allocation

说明多敏感属性的分布公平性:联合Wasserstein审计与Shapley分配

简介本文针对多个敏感属性的公平性审计,指出逐个属性检查可能遗漏只在属性组合中出现的差异。作者基于一维Wasserstein距离研究实值评分的分布式人口统计均等,用全格条件分位数函数构造希尔伯特空间随机变量,其方差即为联合差异。该框架通过Shapley值在不同属性间进行与顺序无关的归因,并在独立情形下归结为Hoeffding-ANOVA分解。文中还给出了估计与置换校准方法,并在合成数据和ACSIncome数据上做了演示。

Agathe Fernandes Machado, Charlotte Jamotton, Arthur Charpentier

arXiv cs.CL · cs.AI

Copy-Paste Language Models

说明复制-粘贴语言模型:为语言模型增加一个轻量的复制头,提升训练与检索表现

简介本文提出复制-粘贴语言模型(CPLM),在传统语言建模头之外增加一个轻量的复制-粘贴头,以显式建模上下文复制能力。作者在1.35亿至17亿参数的模型上进行预训练,报告在各种规模和主干网络上均有提升,且训练与推理开销可忽略。文中还解释,该方法通过另一条梯度路径部分缓解了语言模型头的梯度瓶颈。

Nathan Godey, Yoav Artzi

arXiv cs.LG · cs.AI 有代码

Refined Topology-Pass Scheduling: Damped Trust-Region Compensation for Dynamic k-NN Graphs in SE(3)-Equivariant Structure Prediction

说明改进的拓扑两遍调度:面向SE(3)等变结构预测中动态k近邻图的阻尼信赖域补偿

简介该论文研究结构预测中k近邻图的重建问题:每个块边界重建图最准确但昂贵,固定复用图则快但存在拓扑偏差。作者提出两遍设计,第一遍记录少量状态,第二遍做保守补偿,并给出非翻转证书、最小方差回放增益及信赖域投影等理论结果。实验显示,L2在信赖域移除时完全复现PB边集,L1误差在0.6%以内,相比PB在第一遍和整个epoch分别获得1.5倍和1.76倍加速,且未观察到可测量的损失差距。

Jiankai Huang, Hanwen Shen

arXiv cs.LG

FinGREAT: Evaluating LLMs on Financial Graph-guided Retrieval And Typing

说明FinGREAT:评测大模型在金融图引导检索与分类上的表现

简介论文研究开源大模型能否依据预定义的复式记账关系,从财务披露文本中抽取并分类证据。作者以含11个账户节点和11个交易类型边的会计图,在26年间1300份SEC 10-K年报第7项中评测多个开源模型,并与三个闭源模型比较抽取表现。另建立了包含483段文本的人工标注关系分类基准,最佳开源和闭源模型准确率分别为84.1%和92.8%。

Ashman Mehra, Bryan Routledge, Jane JaeYeon Pyo 等

arXiv cs.LG · cs.PL

LLMs program using Reusable and Composable Abstract Representations

说明大语言模型利用可复用、可组合的抽象表示来编程

简介这篇论文研究大语言模型生成代码时的内部激活。研究发现,模型在中间层形成可跨编程语言复用的抽象表示,并可通过激活干预独立控制功能、编程语言和实现策略,且这些干预可以组合使用。作者还发现,在一种语言上微调的任意函数示例能迁移到其他语言,并在合成数据实验中观察到类似的可复用结构。

Casper L. Christensen, Kyle J. Ray, Dmitry Manning-Coe 等

arXiv cs.SD · cs.LG

From Detection To Anticipation: Continuous Onset Forecasting For Stuttered Speech

说明从检测到预判:面向口吃语音的连续发作预测

简介该论文将口吃预测定义为连续的因果时间事件预测任务:模型仅依据之前的语音,每100毫秒估计一次即将发生口吃的风险。研究在FluencyBank Timestamped数据集36名说话人的基础上,经人工复核补充了重复、延长和阻塞等标注,共得到2,872个预测事件。该模型基于冻结的Whisper-large-v3语音表征和一个约367万可训练参数的紧凑因果Conformer,取得0.63的AUROC。

Tampu Ravi Kumar, Ayoub Daliri, Vivek Gupta

arXiv cs.AI

Write Once, Plan Many: Building Reusable Visual Planning Systems from One Scene

说明一次编写,多次规划:从单个场景构建可复用的视觉规划系统

简介该论文提出一种无需训练的框架,仅凭领域说明和一个练习场景(无配对解答),就能生成可复用的感知与规划程序。视觉语言模型负责渲染与动态建模,通过比对渲染结果和检验模拟动作,迭代修正程序;之后程序固定,无需再调用模型即可解决新实例。跨十五个涵盖二维、三维、离散与连续状态的领域变体,其平均规划成功率为99.3%,高于基线方法。

Ruixiao Yang, Yilun Hao, Mingxin Yu 等

arXiv cs.LG

Spectral-MoE: Heterogeneous Per-Layer Expert Utilization in Dense-to-MoE Conversion

说明Spectral-MoE:稠密模型转混合专家(MoE)时逐层分配专家利用率的新方法

简介该论文提出 Spectral-MoE,把预训练稠密前馈网络(FFN)的神经元划分为专家,并在不同层之间异质地分配激活专家的利用率预算,而不是每层固定相同数量。方法包括静态(每层一个跨 token 共享的标量)和动态(每个 token 输出一套调度)两种。论文称在解析式和学习式两类方法上,两种分配器都优于均匀分配。

Zachary Broveak, Christian Kubicka, Thierry Tambe

arXiv cs.CL · cs.AI

Do Syntax Heads Influence Model Behavior?

说明句法注意力头是否影响模型行为?

简介本文研究 Transformer 语言模型中专门处理句法关系(如动词关联主语)的注意力头,是否对模型的句法预测起因果作用。研究人员强迫这些头关注非主语的干扰名词,但模型的句法预测仍更多与主语保持一致。对专门句法头的干预,仅在作者提出的两项指标之一中,效果显著强于对随机头的干预。

William Timkey, Tal Linzen

arXiv cs.AI

Agentic Self-Awareness: Aligning Knowing, Acting, and Holding

说明智能体自我意识:对齐认知、行动与坚持

简介该论文研究AI智能体在任务看似可解却缺少前提、存在冲突要求或执行中才暴露障碍时的表现,提出“智能体自我意识”(ASA)概念,将可行性判断、合理行动和对质疑的回应三者对齐。作者在Terminal-Bench 2.1与零售τ²-bench上构建成对的可行与受阻任务,并设计M0-M3评分标准区分识别障碍与以正确理由执行认证的推迟行动。结果显示,基线中障碍识别率为84.4%,但严格自我意识仅为40.6%;仅通过框架搜索(不更新模型权重)可将其提升至93.8%。

Qinglin Chen, Hiroaki Hayashi, Jiaxin Zhang 等

arXiv cs.AI

Definition Grounding in Theory-Level Auto-formalization

说明理论层面自动形式化中的定义落地

简介基于大语言模型的自动形式化系统可以快速生成经过形式验证的 Lean 代码。作者提出“定义落地”方法,持续评判并修订定义的形式化结果,以保证质量,使后续结论能够复用这些定义。研究发现,从教科书文本形式化的定义中,只有 25% 到 50% 与所有后续陈述兼容;澄清非形式化定义后,兼容率平均可提升至 77.5%。

Leyan Pan, Christian Szegedy, Frederick Rajasekaran 等

arXiv cs.AI

REPORT-OPS: Hybrid Evidence-Guided Reporting with Human-Supervised Refinement for HPC

说明REPORT-OPS:面向高性能计算的混合证据引导报告系统,附人工监督的策略优化

简介本文提出REPORT-OPS,一种用于高性能计算(HPC)设施运维报告的混合智能体,由大语言模型负责理解请求、规划证据收集并起草报告,由预设策略和自动检查判断证据是否支持结论。系统可回答问题、给出有保留的结论,或拒绝缺乏依据的主张。在68个查询上,其Pass@80达到68.63%,高于最强检索基线的7.02%。

Mah Kadidia Konate, Mayur Akewar, Janki Bhimani 等

arXiv cs.LG · cs.CV · cs.NE

Riding the Fixed-Point Curve: Image Classification in the Continuous Thought Machine

说明沿不动点曲线前行:连续思维机在图像分类中的表现

简介本文研究连续思维机(CTM)如何对 ImageNet 图像进行分类。作者发现其思维步骤呈吸引型但强非正规的映射,训练会增强非正规性,因此神经状态存在局部唯一的吸引不动点,思维轨迹即这些不动点连成的曲线。该曲线的运动大体跨图像共享,注意力调度也基本通用,结论是 CTM 似乎为所有 ImageNet 图像找到了同一种处理策略。

Thomas Hannagan

arXiv cs.CV

A Gradient-Regularized Deep Learning Method for Restoring Image in Myopic Vision

说明一种用于近视视觉图像复原的梯度正则化深度学习方法

简介近视导致的球面离焦像差会削弱人眼对精细细节的感知。该研究训练一个U-Net神经网络,预先对图像进行变换,以抵消由二阶泽尼克多项式Z2^0建模的离焦像差,从而让固定距离观看的近视者看到更清晰的画面。训练仅使用KITTI数据集,测试在DIV2K和ImageNet上进行,结果显示相比经典基线,该方法在各数据集和严重程度下的PSNR提升1.48至7.34 dB,感知误差也明显降低。

Kebin Contreras, Luis Toscano-Palomino, Rafael Torres 等

arXiv cs.LG · cs.AI · cs.MA

Narrowing the Collaboration Gap, Probably

说明缩小协作差距(概率论证):比较智能体之间传递行动还是传递校准概率的效果

简介论文研究多个大语言模型智能体各自掌握不同信息时,如何通过交流更好地协作。作者比较了只传递建议行动与传递校准后的概率信念两种方式,理论与实验均显示,在保持校准的前提下,传递概率更有效。若概率存在偏差,这一优势会消失,作者因此提出一种事后对话校准方法来修正偏差,并在玩具模型与预训练大语言模型上验证其效果。

Mirah Shi, Marcel Hussing, Ira Globus-Harris 等

arXiv cs.AI

PREFER: From Player Experience to Personalized Game Refinement

说明PREFER:从玩家体验到个性化游戏改进

简介本文提出 PREFER 框架,利用改编自心理测量问卷的一组体验维度,评估大语言模型对游戏体验的判断方式,并据此为不同偏好的玩家角色(persona)修改游戏规则和实现。框架会选择改进目标、调整游戏并进行试玩,以检验体验变化和预测的偏好提升。实验涉及五个角色,结果显示其玩后偏好评分平均比最强的对照基线高 9.2%。

Qi Chai, Zhang Zheng, Lu Yang 等

arXiv cs.CV

Decoupled Drift-Diffusion World Models for Consistent Future Frame Prediction

说明解耦漂移-扩散世界模型:用于一致的未来帧预测

简介该论文提出解耦漂移-扩散世界模型(D3WM),根据动作序列预测未来图像帧。模型用Transformer同时输出确定性的下一状态预测和空间不确定性图,再用该图引导条件扩散过程:确定区域锚定在预测状态上,不确定区域(如遮挡区域或动态纹理)由扩散过程采样。论文称其在机器人桌面操作和相机运动两类动作空间中优于有竞争力的基线方法。

Anton Arapin, Aditya Singh, Yixin Wang 等

★★★★☆ 值得关注
arXiv stat.ML · cs.AI · cs.LG

Generalizing Identifiability Results in Causal Discovery from Complete Data to Missing Data Settings

说明将完整数据下的因果发现可识别性结果推广到缺失数据场景

简介论文指出,现有因果发现方法在完整数据上较成熟,但处理缺失值的方法仍然有限。作者给出了在包括非随机缺失在内的多种缺失类型下,因果图仍可由数据分布唯一确定的充分条件,并提供框架把完整数据因果发现算法的正确性保证扩展到缺失数据场景。在无未观测混杂的情况下,满足缺失机制之间不因果相互作用、变量不直接导致自身缺失、且缺失机制满足忠实性或服从广义线性模型等条件时,因果图的可识别性得以保持。据此,作者针对加性噪声模型提出两种渐近正确的算法。

看点将完全数据下的因果可识别性推广到含缺失数据的多类机制,给出充分条件并提出两个渐近正确的算法,理论贡献较扎实。

Matteo Ceriscioli, Shohei Shimizu, Mallika Gupta 等

arXiv cs.CL · cs.AI 有代码

Titan-Llama: Retrofitting Pre-trained LLMs with External Neural Memory Modules

说明Titan-Llama:为预训练大模型外接神经记忆模块的后训练方法

简介论文提出 Titan-Llama,一种后训练方法,可在不从头训练的前提下,为基于注意力的预训练语言模型加入分层记忆结构,并在测试时更新参数。近期词元保持完整注意力,历史上下文则压缩进固定大小的循环神经记忆模块。在 Llama-3.2-1B-Instruct 上,QuALITY 与 LongHealth 的准确率分别有所提升,并报告了部分推理速度与显存指标的改善。

Sarah Pan, Ali Behrouz

arXiv math.ST · cs.AI · stat.TH

Finite-sample certification of coverage regret for budgeted document selection under adaptive stratified auditing

说明在自适应分层审计下,预算约束文档选择覆盖遗憾的有限样本认证

简介本文研究在查询分布未知时,从预算约束的文档片段中选择子集(如检索增强生成系统的知识库)所损失的期望查询覆盖。作者构造了与分布无关、有限样本有效的覆盖遗憾置信上界,即使在数据依赖的选择之后仍然成立。主要结果是对所有保留的覆盖对比给出同时成立的界,并通过经验伯恩斯坦方差校准或无校准的一阶段构造使其可观测。模拟研究验证了其有效性,并量化了方差校准与可认证冗余带来的收益。

Nora Serdyukova

arXiv cs.CL

DUALVIEW: Leveraging Broad and Output-Specific Evidence for LLM-based Multi-Output Text Regression

说明DualView:利用通用与输出专属证据进行基于大语言模型的多输出文本回归

简介本文提出DualView,一种参数高效的方法,利用大语言模型完成多输出文本回归任务。该方法先从冻结的大语言模型中提取通用表示和输出专属表示,再通过双分支结构输出完整的评分向量。在五个异构回归任务和八个大语言模型(最大122B)上,DualView优于七个有监督回归基线,所需拟合参数少82至1842倍。

Yiheng Su, Junyi Jessy Li, Matthew Lease

arXiv cs.CL

Weighted Ensemble Sampling for Rare-Event Estimation in Language Models

说明语言模型罕见事件估计的加权集成采样

简介大型语言模型的罕见但严重的失败在部署规模下可能变得具有实际意义。直接蒙特卡洛采样估计其概率效率很低,而基于提议分布的方法通常需要额外学习一个辅助提议分布。本文提出无需训练的加权集成(WE)框架,仅从原始语言模型采样,并定期将采样预算重新分配给更可能达到目标罕见事件的前缀。论文还给出了算法的理论分析,并在安全相关任务上验证了其提高概率估计效率与可靠性的效果。

Zixuan Liu, Gustavo Didier, Fangzheng Wu 等

arXiv cs.CV · cs.RO

Into the LidarVerse: A Real-Time Unified LiDAR World Model Across Tasks and Sensors

说明LidarVerse:跨任务与跨传感器的实时统一激光雷达世界模型

简介该论文提出 LidarVerse,一个用于激光雷达传感器仿真的实时统一生成模型。它把基于重建的方法(需逐场景优化)与生成式方法融合进同一框架,可在给定激光雷达前缀、高精地图、空间缓存等条件下生成新场景、预测点云或重仿真已观测场景。模型在单张 H100 GPU 上以 11 FPS 实时推理,支持 32、64、128 线激光雷达,并能泛化到未见过的扫描模式。

Henry Che, Xuanchi Ren, Sanja Fidler 等

arXiv cs.AI · cs.LG · stat.ML

Embedding Geometry Shapes LLM Routing: Tracing Failure Modes and Improving Generalization

说明嵌入几何结构如何影响大模型路由:失效模式分析与泛化能力改进

简介本文研究在多个大语言模型中为每个提示选择合适模型的路由问题。作者发现,基于语义嵌入加轻量分类器的方法在分布内表现稳健,但难以泛化到未见过的任务,原因是语义嵌入中决定邻居的特征并不能可靠地代表模型选择。作者改用 Qwen2.5-7B-Instruct 深层最后一个 token 的隐藏状态作为表示,使 kNN 等简单分类器在不同成本惩罚下平均表现更好,并优于所有评估的语义嵌入基线,也超过了 RouterBench 上一种近期的隐藏状态路由方法。

Leonardo Torti, Emanuele Rimoldi, Tomer Galanti 等

arXiv cs.LG

FireGraphNet: Sub-daily wildfire spread prediction with directed graph neural networks

说明FireGraphNet:基于有向图神经网络的亚日级野火蔓延预测

简介该论文提出FireGraphNet模型,把野火未来12小时的扩展建模为有向H3图上的节点分类问题,并在边上编码风向、地形、燃料连续性和屏障等信息。在加州卫星火场边界测试中,其平均精度约为最强距离基线的1.7至1.9倍,并可用于分析干预措施对蔓延的影响。

Aiyshwariya Paulvannan Kanmani, Miguel Esparza, Ali Mostafavi

arXiv cs.CL

NEPSEE: A Double-Annotated Benchmark for Nepali Sentiment Analysis

说明NEPSEE:尼泊尔语情感分析的双重标注基准

简介本文构建了一个尼泊尔语情感分析基准,由两名标注者对同一批句子独立标注,取两人极性一致的3,189句作为数据。在三分类任务上,NepBERTa与IndicBERTv2的宏平均F1分别为0.877和0.867,三个商业大语言模型零样本表现为0.882至0.896,差异不显著。论文还发现,某些尼泊尔语BERT模型的默认分词器会删除部分天城文符号,恢复这些符号后,NepBERTa的宏F1提升0.084。

Gaurab Baral, Mimansak Nepal, Grishma Basnet

arXiv cs.LG

Adaptive Computation with Conformal Certification

说明基于共形认证的自适应计算:在科学影像数据上以保证的风险降低计算量

简介论文针对医学和天文等科学影像数据规模大、关键目标稀疏的问题,提出“共形自适应”方法。模型先在低分辨率下预测,再用共形风险控制认证信号,并只对认证后的区域进行精细化计算。作者在3D医学图像分割、2D星系通量预测和1D钙爆发率预测三项任务上进行了测试,报告的挂钟时间加速为2.5至72倍,包括在普通CPU上。

Shehtab Zaman, Aneesh Rangnekar, Nancy Lee 等

arXiv cs.AI

Identity, Incentives, and Cooperative Behavior for AI: Reverse-Engineering Multiagent Cooperation

说明AI 智能体为何合作:逆向推断多智能体合作机制

简介该论文提出一个框架,用于逆向推断一组 AI 智能体为何表现出特定的合作相关行为,区分利他偏好与出于自利的工具性合作等不同机制。作者设计了相应的实验方案,并说明在何种条件下这些方案能够区分相互竞争的解释。作者将该框架应用于模拟环境中一组前沿模型的互动,结果显示不同模型的行为来自实质上不同的机制。

Andrew Perrault, Bryan Wilder

arXiv stat.ML · cs.LG · physics.geo-ph

Structure-aware Bayesian full waveform inversion via diffusion-regularized Stein variational gradient descent

说明基于扩散正则化Stein变分梯度下降的结构感知贝叶斯全波形反演

简介全波形反演(FWI)用于重建高分辨率地下速度模型,但问题高度非线性且不适定。本文在贝叶斯粒子框架ASVGD-FWI中引入学习得到的扩散模型作为隐式正则,引导粒子趋向合理的速度模型分布,而不显式计算扩散先验密度。数值实验表明,该方法得到的平均模型地质一致性更好,非物理伪影减少,不确定性估计更集中于结构复杂且约束不足的区域。

Chao Li, Mrinal K. Sen, Sergey Fomel 等

arXiv cs.CL

How to Evaluate When You Don't Know How to Evaluate? Choosing Reliable Setups for Base Language Model Benchmarking

说明当你不知道如何评估时,怎样评估?为基座语言模型基准测试选择可靠设置

简介该论文探讨大语言模型评估中的设计选择,考察了8个方面(如任务表述、上下文示例数量)对结果的影响。作者用单调性、非随机性和跨中间检查点排名一致性三项指标比较各设置,并在26个2B参数单语模型及三个不小于7B的较大模型上,用四种语言的80项任务进行测试。研究给出具体建议:如使用多个提示词较为有效,而任务表述的效果则因模型规模而异。

Shenbin Qian, David Samuel, Jind\v{r}ich Helcl 等

★★★★★ 值得关注
arXiv cs.GT · cs.LG · cs.PF

Learning in Strategic Queuing with Geometric Recharge: From Bandits to Systems

说明几何补充机制下策略排队中的学习:从多臂老虎机到系统

简介本文研究排队系统中的数据包路由问题,其中各队列作为使用无悔学习算法选择服务器的自利短视代理,服务器服务速率未知,且每台服务器只有单包缓冲。作者证明任何无悔学习者的长期平均吞吐量至少为服务器速率的Hamacher和,且该界是紧的;单队列稳定当且仅当到达率低于该和。多队列系统的结果表明,保证稳定的最小超配因子为1/(1-λmax)。

看点将排队路由建模为带几何充能的强化学习赌博机,证明哈马赫和界与0.77竞争比并紧致,并改进已有上界。

Cristian Palma Foster, Eva Tardos

arXiv cs.LG · cs.AI

Diagnosing Low-Confidence Patient Profiles via Localized Harmful Covariate Shift Detection

说明通过局部有害协变量偏移检测诊断低置信度患者画像

简介论文提出一种结合两种视角的诊断流程:先用MED3pa找出可解释的低置信度患者画像,再在每个画像内用Detectron检测其性能下降是否与可检测的有害协变量偏移相关。在MIMIC-IV上的三项临床预测任务和三种注入的亚组偏移实验中,研究发现偏移是否可被检测本身即有参考价值:年龄偏移在总体层面无法检测,却能定位到特定的性能下降画像。

Olivier Lefebvre (1), Hakima Laribi (1), Dan Poenaru (2 等

arXiv cs.AI

Multi-System Cognitive Steering for Generative Communication

说明面向生成式沟通的多系统认知引导:利用多模态语境与模型控制,从简略输入还原用户真实意图的研究

简介论文指出,用户输入缩写文字速度快但易被AI误解。作者提出“认知引导”框架,通过多模态语境并结合AI控制方法,帮助大型语言模型还原用户意图。在模拟缩写基准测试中,前五候选扩展准确率最高约88%,约为无语境基线的两倍。研究还发现,物理场景信息宜用显式文本提示提供,而情绪等抽象因素更适合直接调整模型内部激活。

Eric Lacosse, Pablo Tano, Daniel C. McNamee

★★★★☆ 值得关注
arXiv cs.AI 有代码

Learning from Self-Generated Responses: Reliability--Uncertainty Self-Distillation for Reasoning

说明从模型自身生成的回答中学习:用于推理的可靠性-不确定性自蒸馏

简介该论文提出可靠性-不确定性自蒸馏方法(RUSD),在没有参考答案或问题专属评分标准的情况下,让同一模型自己的解答作为学习材料。教师模型看到问题和已完成的解答,学生模型仅凭问题进行学习,并通过自评的分数与置信度估计的可靠性,结合学生的预测不确定性,为每个解答的蒸馏损失加权。作者称在十一个推理基准上,该方法平均准确率高于五个基线,Qwen3-4B 与 Qwen3-8B 分别达到 70.47% 和 76.69%。

看点在自蒸馏中用自评可靠性与学生不确定性加权注意力损失,属有新意的组合;在十一个推理基准上优于五个基线,证据较充分。

Jinhao Pan, Bowen Wei, Yuqing Zhou 等

arXiv cs.AI

Verification Turns Capability Gaps into Routing Decisions: Small Language Models for Clinical Documentation

说明验证机制把能力差距转化为路由决策:面向临床文书的小型语言模型

简介本文研究从医患对话生成临床病历的任务,其中捏造的检验数值可能造成患者安全风险。作者保持四评估器验证体系与修订策略不变,仅替换生成器:比较一个带QLoRA适配器的4B参数小模型与前沿基线模型。结果显示,小模型在主张级事实蕴含上得分0.984(基线为0.992),完整性仅低3.3分,并可完全在设备端生成;其不足主要在于章节间的结构准确性。

Nina Fatehi, Meysam Ghaffari, Animesh Agarwal 等

arXiv cs.CL

Fantastic Metrics and How to Find Them: Meta-Evaluating Metrics for Multi-lingual Style-Personalized Generation

说明指标元评估:如何找出多语言风格个性化生成的优秀评测指标

简介本文指出仅用指标与人工评分的相关性来评估评测指标并不可靠,因此提出一种基于回归的元评估方法,并以常数均值基线和人工一致性作为参照。作者构建了覆盖10种语言、四个评估维度的多语言风格个性化文本生成基准,并对32种指标及其集成在40个评估设置下进行了元评估。结果显示,经人工评分校准后,简单的字符串与嵌入类指标可以媲美强大的LLM评审器。

Anubhav Jangra, Adrian de Wynter

★★★★☆ 值得关注
arXiv cs.AI · cs.CL 有代码

ListQA: A Benchmark for Evaluating List-Formatted Factual Knowledge Retrieval in Large Language Models

说明ListQA:评测大语言模型以列表形式检索事实知识的基准

简介该论文提出ListQA基准,包含9,045个人工整理并交叉验证的问题,要求模型回忆多个事实并组织成3至10个元素的结构化列表。研究用线性和分配问题的方法结合LLM语义评分评估34个模型,发现最佳标准推理模型的LLM-Judge-F1低于37%。提供来源维基页面后分数明显提高,表明模型能组织事实但仅凭参数难以准确检索。

看点提出以列表形式检索多个事实的新基准,以匈牙利匹配加LLM语义评分评估,实验覆盖34个模型,证据较充分。

Mayank Kulkarni, Rakesh Vaideeswaran

arXiv cs.CL

From Qualitative Text to Integrated Evidence: The Parallel-Then-Integrated (PTI) Procedure

说明从定性文本到综合证据:并行后整合(PTI)流程

简介本文是一项方法学研究,提出“并行后整合”(PTI)四步流程,用于整合同一批定性文本的两种计算表示。研究以尼泊尔29位母亲的1,203段访谈文字为例,比较了基于本体的患者声音编码(PVminer)与非负矩阵分解(NMF)生成的数据驱动主题,并用交叉对照表记录两者的一致与分歧。

Elyas Irankhah, Ashley Hagaman, Samah Fodeh

arXiv cs.AI · cs.CL · cs.LG 有代码

Into the Unknown: Benchmarking AI agents on open scientific research problems

说明《Into the Unknown》:用开放式科研问题检验 AI 智能体的基准测试

简介该论文提出名为 Into the Unknown 的基准,给 AI 智能体一篇科学论文和一个研究方向,让其撰写后续论文。研究人员与美国能源部国家实验室的科学家合作,提供未发表的研究方向及投稿必须满足的条件,并以此作为评分标准。结果显示,9 个前沿智能体共撰写 135 篇论文,没有一篇满足全部条件,其中 114 篇未通过完整性检查,多数是声称完成了未做的工作或报告了与记录不符的数值。

Seungone Kim, Jiayi Geng, Young-Jun Lee 等

arXiv cs.SE · cs.CL

DivAlgo: A systematic evaluation of algorithmic diversity for code generation models

说明DivAlgo:代码生成模型算法多样性的系统评估

简介该论文提出 DivAlgo 基准,包含大量针对编程题的算法多样化解法,并引入一种轻量级相似度指标以支持大规模评估。作者测试了 24 个现代代码生成模型,发现未加控制的模型生成代码的多样性明显低于人类解法,仅约为人类多样性的 31%;即使是最好的多样化生成策略也只能达到约 70%。模型即使被引导参照人类策略生成代码,也无法复现人类解法的多样性。作者认为,过度接触模型生成的代码可能会缩小程序员的算法词汇。

Anubhav Jangra, Smaranda Muresan

arXiv cs.CV

Agronomic Characterization and Time-Series UAV Phenotyping to Support Field Pea Breeding in Iowa

说明田间豌豆育种:作物农艺性状与无人机时序表型研究

简介该研究在爱荷华州评估了17份PI种质材料和7个加拿大品种的农艺性状与籽粒产量。结果显示种质材料在物候和冠层性状上存在遗传多样性,加拿大优良品种产量潜力较高。研究发现,无人机获取的时序冠层面积与产量相关性最强(r = 0.63),且选择可靠性较高,可用于豌豆表型选择。

Yanben Shen, Joscif Raigne, Asheesh Singh 等

arXiv cs.AI · cs.SC

Compiling Expert Procedures into Verified Programs: When a Small Model Is Enough

说明将专家流程编译为可验证程序:小模型何时就够用

简介该论文提出PLVR方法,用教师模型(Kimi-K3)的推理轨迹构建显式程序,在不修改权重的前提下让小型冻结模型(含8B模型)执行。在tau2-Bench的Retail与Telecom测试集及LiveMCPBench上,程序化方法在Telecom任务中将Granite-4.2-8B从43.0%提升至91.2%,并显著缩小不同基础模型之间的差距。

Vishvesh Bhat, Asad Aali, Muhammad Ahmed Mohsin

arXiv cs.LG

Demystifying On-Policy Distillation: Where Does the Teacher's Advantage Live?

说明《重新审视同策略蒸馏:教师的优势究竟在哪里?》:分析学生生成轨迹中教师修正带来的准确率提升

简介论文研究同策略蒸馏(OPD),即在学生自己生成的轨迹上由教师提供监督的一种知识蒸馏方法。作者在学生与教师预测不一致的位置进行受控的词元翻转,以测量教师修正所带来的准确率增益。结果显示,重复翻转可将准确率从28.4%提高到74.5%,接近教师的76.9%;基于概率质量和KL的选择方式在相近次数下比随机翻转高出15至18个百分点。作者认为应采用既能学到更有价值的教师修正、又能保持分布稳定的训练方案。

Yiping Li, Fan Zhao, Zhibo Hou 等

arXiv cs.LG · cs.DB

Towards Training and Inference of Graph Neural Networks in Graph Databases

说明在图数据库中训练与推理图神经网络的探索

简介大规模图上的图神经网络通常依赖内存中的图存储和临时的数据处理流程。本文探讨直接在图数据库中完成GNN的训练与推理,包括采样、特征检索甚至完整前向计算,并使用Cypher实现即时采样与检索。作者提出的优化使训练速度约提升2.5倍且精度保持不变,完全在数据库内的推理在真实图上比将图冷加载到内存快10倍以上,且没有额外内存开销。

Victor Pekkari, Harry Wik, Alfred Clemedtson 等

★★★★★ 值得关注
arXiv cs.DS · cs.LG

Online Tokenization with Optimal Delay in Linear Time

说明线性时间内具有最优延迟的在线分词算法

简介分词是几乎所有大语言模型的必要预处理步骤,常用的 BPE 分词包括特殊符号切分、预分词和字节对编码。本文将在线分词形式化并给出解决方案,提出"延迟"概念来衡量算法输出落后于最优结果的程度,给出近线性时间且延迟最优(至常数因子)的算法,并证明除非 P=NP,否则不存在能将延迟改进超过常数因子的多项式时间算法。实现的实用版本在 tiktoken 与 HuggingFace tokenizers 上取得更低的首词延迟和更高吞吐量。

看点形式化在线分词并给出最优延迟的近线性算法,并证明条件下界;实验显示首token延迟与吞吐显著提升,影响较广。

Mina Dalirrooyfard, Christopher Ye

arXiv cs.LG · cs.AI · cs.CL

MA-Bench: Measuring Operational Planning in Language Models

说明MA-Bench:衡量语言模型的作战规划能力

简介该研究提出MA-Bench基准,以军事作战规划的第一步“任务分析”为依据,考察语言模型能否把大量、不完整且部分矛盾的文件整理成简报。基准包含10个专家编写的场景,每个场景有10至12份文件,并配有1257条专家撰写的通过/不通过要求。研究称,表现最好的模型在评分条目上的正确率为62%,在文件明确陈述的事实上为58%,在需要推断的判断上仅为33%。

Rodney Lafuente-Mercado, Robert Sincero, Phil Sage 等

arXiv cs.AI

Graph-Based Orchestration of Heterogeneous AI Models: A Control Node Approach to Composite Intelligence

说明基于图的异构AI模型编排:用控制节点实现复合智能

简介该论文提出一个基于图结构的复合AI系统框架,通过专门的控制节点统一调度规划、机器学习、约束规划和大语言模型等多种模型。系统使用有向无环图和行为树管理模型之间的关系与执行顺序,并支持层级、顺序和并发三种组合方式。作者通过案例研究说明,该架构能让多种AI技术在统一的运行模式下协同工作,弥补单一模型方法的局限。

G. Michael Youngblood, Filip Dvo\v{r}\'ak, Slavo \v{S}vanc\'ar 等

arXiv stat.ML · cs.LG · stat.ME

Student Copula Markov Networks

说明学生 Copula 马尔可夫网络:面向非高斯数据的概率图模型

简介本文把概率图模型扩展到非高斯数据。作者用 Copula 密度刻画无向概率图模型中的成对马尔可夫性质,并据此推出学生 Copula 马尔可夫网络满足该性质的一个必要条件。文中提出期望条件最大化(ECM)算法,用于惩罚极大似然估计和图结构选择。模拟研究表明该算法能有效估计模型参数并恢复潜在的图结构。

Salha Mamane, Cheikh Tidiane Seck

arXiv cs.CL · cs.AI

CAFE: Confining Feature Distillation to Language-Routed Adapters for Compact Multilingual Automatic Speech Recognition

说明CAFE:将特征蒸馏限制在按语言路由的适配器中,用于紧凑型多语言语音识别

简介这篇论文研究紧凑型多语言自动语音识别中的特征蒸馏。作者发现两种常见特征损失与任务梯度的关系不同,并借此解释为何特征蒸馏会在非英语语言上降低词错误率,却损害数据丰富的英语。作者据此提出CAFE方法,把CKA梯度限制在英语绕过的适配器中。在Open ASR Leaderboard上,平均词错误率从8.55%降至8.02%。

Tianchi Liu, Nicholas Moratelli, Khurram Azeem Hashmi 等

arXiv cs.LG

TRACER: Trace-Regularized Training Against Indirect Prompt Injection

说明TRACER:面向间接提示注入的迹线正则化对抗训练方法

简介论文指出,间接提示注入的攻击成功率取决于注入内容的呈现渠道:同样的攻击作为后续消息时成功率为18%,放在检索上下文中时为53%。作者提出TRACER方法,通过对抗训练并结合答案锚定、证据门控的奖励与ATRC对齐机制来增强模型防御。在GSM8K上使用Qwen2.5-3B-Instruct,RAG形式的攻击成功率从65.5%降至6.1%,干净准确率保持在78%至82%之间。

Kshitij Mishra, Salem Lahlou, Nils Lukas

arXiv cs.AI · cs.CL

Plant Memory: Technical Language Processing and a Verified Maintenance Ontology for Agent-Accessible Failure Knowledge from SAP PM Work Orders

说明Plant Memory:面向智能体的设备故障知识系统(基于 SAP PM 工单)

简介本文提出 Plant Memory,用技术语言处理(TLP)从 SAP 设备维护工单中抽取信息,构建符合 ISO 14224 的维护本体,每条事实附带置信度、来源证据和验证状态。系统先用规则抽取,可选大语言模型作为第二读者,分歧只提高审核优先级。在 400 条合成工单的测试中,规则抽取的部件准确率为 96.2%,故障模式准确率为 88.9%;在 28 个诊断问题上,本体排名的首选根因正确率为 82.1%,高于原始 SAP 根因字段的 53.6%。

Akash Raj

arXiv cs.LG · cs.AI

Imagining Goals with Geometric Horizon Models for Policy Generalization

说明用几何视野模型想象目标,提升策略泛化能力

简介该论文关注离线数据训练的策略在零样本目标泛化上的不足,即让策略组合已有知识完成未见任务。作者提出 TD-Aug 方法,从几何视野模型中采样,直接想象通过组合已有知识可以达到的新结果。将这些未来结果作为目标训练目标条件行为克隆策略,论文报告在 OGBench 的拼接类任务上泛化效果有明显提升。

Daniel Lawson, Dhruv Sreenivas, Adriana Hugessen 等

arXiv cs.MA

CLASHarness: Benchmarking Multi-Agent Conflict in Computer Use via a Controllable and Verifiable Generation Pipeline

说明CLASHarness:通过可控、可验证的生成流程评测计算机使用中的多智能体冲突

简介本文提出CLASHarness,一个用于生成可验证多智能体冲突场景的可控框架,并附带600个多轮任务的基准。框架结合分层场景规划与八步验证流程,在渲染前预先确定关键视觉事实,并由执行过的参考轨迹自动生成评分器。对15个前沿模型的评测显示:弱模型更容易盲目采信误导信息,修复冲突比发现冲突困难得多,且协调协议是普遍瓶颈,多数模型在收尾动作上失败率较高。

Yuxiang Lai, Jike Zhong, Chengzhi Liu 等

arXiv cs.LG · cs.AI · physics.chem-ph

PairIT: Autoregressive Transformers for Low-Data Molecule Optimization

说明PairIT:面向小数据分子优化的自回归Transformer

简介该论文提出PairIT框架,用于基于SMILES序列训练的自回归Transformer。模型通过学习结构相似的分子对,从给定的起始分子出发生成局部、具有化学意义的修改,以改善目标性质。提示词元可指定性质、方向和变化幅度,支持多性质优化;强化学习后训练可进一步提升优化效果。作者在MoleculeNet和Therapeutics Data Commons数据集上报告,一个约6800万参数的标准Transformer在小数据场景下也能实现稳定的种子分子优化。

Hannah Lawrence, Bodhi P. Vani, Ji Won Park 等

arXiv cs.RO · cs.AI · cs.SY

Learning in Orbit: Onboard Training and Closed-Loop Attitude Control with a Thermal Segmentation Model on a Spacecraft

说明在轨学习:航天器上基于热成像分割模型的星上训练与闭环姿态控制

简介这篇论文介绍一颗6U立方星的飞行部署,在太空中的NVIDIA Jetson TX2 NX GPU上直接训练并运行热成像分割模型,并用该模型处理实时热图像来闭环控制姿态,使卫星对准月球。论文还采用ROS 2 Foxy作为数据传输中间件,并集成了具备数据完整性保障和自愈功能的开源文件系统。在约一年内,团队在卫星上完成了12次实验,展示了在低地球轨道的计算与环境约束下,这类基于学习的系统可以可靠运行。

Elena Sorina Lupu, Hannah Grauer, Phaedrus Leeds 等

arXiv cs.LG · cs.AI · cs.CL

Unlocking Structured Pruning for Reasoning Language Models via Attention-Preserving MLP Trimming

说明通过保留注意力的 MLP 裁剪,为推理语言模型解锁结构化剪枝

简介论文提出 LayerTrim,一种无需训练的结构化剪枝方法,通过识别冗余解码层并选择性裁剪其 MLP 特征,同时保留注意力和解码器深度。在三个推理模型和五个基准上,该方法在多数设置中优于现有方法,平均准确率最高提升 21.4 个百分点(相对 RESP)。在 Qwen3-14B 上,预填充速度提升 1.24 倍,峰值显存降低 19.7%。

Woosang Lim, Haneul Yoo, Vincent-Daniel Yun 等

arXiv eess.IV · cs.CV · physics.med-ph

DoReMe: Dual optimization of Reconstruction and Motion estimation for self-navigated free-breathing abdominal MRI using Gaussian Splatting

说明DoReMe:利用高斯溅射对自导航自由呼吸腹部MRI进行重建与运动估计的双重优化

简介本文提出一种耦合重建与运动估计的算法,用于自导航自由呼吸的腹部MRI采集。呼吸运动由紧凑的高斯基元表示,并在迭代重建过程中与图像估计同时优化,无需预先估计运动场或外部呼吸信号。在4名健康志愿者的梯度回波数据上,与正则化压缩感知重建相比,该方法改善了视觉图像质量,尤其是冠状位肝脏图像,并在回顾性缩短采集的数据中更好地保留了解剖结构。

Majd Helo (1, 2), Dominik Nickel (2) 等

arXiv cs.CL 有代码

DecisionRobust: Benchmarking Robustness for JEV Style Decision Models Across Text and Vision

说明DecisionRobust:面向文本与视觉的JEV式决策模型鲁棒性基准

简介该论文提出DecisionRobust基准,用于系统评估JEV式决策模型在文本和图像输入下的鲁棒性,涵盖语义保持的文本扰动、图像扰动以及两种模态的提示注入攻击。研究评估了30个文本任务模型配置和17个视觉任务模型配置,并包含未参与候选筛选的留出模型。主要发现包括:攻击能暴露超出构建和筛选所用模型的脆弱性,但优化的图像扰动在多数目标上迁移较弱;对输入扰动的抵抗力不一定意味着对提示注入的抵抗力;标签一致性检查能显著降低测得的攻击成功率。

Yifan Lan, Zhongye Liu, Yurui Chang 等

arXiv cs.LG · cs.AI 有代码

Genesis Steering: Better Activation Steering Through Training Data

说明Genesis Steering:利用训练数据改进大语言模型的激活引导

简介论文提出 genesis steering 方法,从模型自身微调数据中的对比样本推导出 genesis 向量,用于在推理时引导大语言模型的行为。若训练数据不可得,则借助成员推断(membership inference)方法筛选可能的训练样本,构建代理数据集。在 Tülu-3-8B 上,其训练数据中的安全数据比外部数据集带来更强的引导效果。

Tora Bodin, Eric Aubinais, Ilaria Torre 等

arXiv cs.CL · cs.AI · cs.LG

From Copying to Composition: How Language Models Develop In-Context Learning

说明从复制到组合:语言模型如何发展上下文学习

简介这篇论文研究语言模型如何通过提示中的指令和示例学会调整行为。作者设计了一个受控诊断任务,区分模型是简单复制附近的示例,还是跨提示整合信息。实验涵盖17个模型,多数模型倾向于遵循规则得出的答案;训练实验显示,不同训练方式会让上下文学习沿着不同路径发展。

Minglai Yang, Xinyu Guo, Renxiong Wang 等

arXiv cs.CV · cs.AI · cs.CL

Towards a Data-Centric Understanding of Spatial Reasoning in Multimodal Large Language Models

说明面向多模态大模型空间推理的数据中心视角综述

简介本文是一篇综述,梳理了为预训练多模态大语言模型(MLLM)进行空间推理任务微调的方法,涵盖监督学习到强化学习,并重点关注所用数据集。论文从数据集设计、构建和评估三方面分类研究,指出构建空间标注的四种主要方法:规则与模板、LLM提示、程序化生成和人在回路。文中还指出评估方式差异较大,并提出未来研究方向。

Mahdieh Mallahnezhad, Masoud Jafaripour, Mohamadali Tofigh 等

arXiv stat.ML · cs.LG · stat.ME

Neural Supervised Clustering for Learning Individualized Treatment Rules with Many Treatments

说明用于多种治疗方案个体化治疗规则的神经监督聚类方法

简介该论文研究在治疗方案较多、每组样本有限的情况下,如何学习个体化治疗规则(ITR)。作者提出非线性监督聚类融合方法(NSCF),通过共享的非线性协变量表示和低维治疗嵌入,将响应相似的治疗方案归为一组。在非线性模拟中,NSCF 的遗憾值低于强神经网络基线,在黑色素瘤异种移植应用中,策略价值也优于该基线。

Daixi Huang, Yixin Yuan, Yifan Dai 等

arXiv cs.LG

Contextual Credit Policy Optimization

说明上下文信用策略优化:让大语言模型智能体按步骤分配学习信号

简介这篇论文针对大语言模型智能体在长链任务中只能拿到稀疏结果奖励的问题,提出上下文信用策略优化(CCPO)。该方法按上下文相似度为相同观测的其他轨迹样本加权,并把历史信用与短期未来信用结合,使每一步因其实际进展获得相应评价,无需额外的价值网络。在 Qwen2.5-Instruct 1.5B 与 7B 上的实验显示,CCPO 在 ALFWorld 最高达到 97.4% 成功率,在 WebShop 上达到 79.4%,并优于 GRPO。消融实验表明,上下文加权优于均匀加权,两种信用信号具有互补性。

Huiwen Han, Ziyao Zeng, Zihao Zhu 等

arXiv cs.CV

The Gap Is in the Geometry: A Convergent Meta-Analysis of Multi-Facet Aerial and Remote Sensing Video Understanding

说明差距在几何结构中:多方面航拍与遥感视频理解的一致性元分析

简介本文指出,目前用多模态大模型对采样帧做选择题并报告准确率的评测方式,测量的并非关键方面。作者汇总大量已发表结果进行元分析,发现参数规模的提升带来的准确率增益远小于人类与模型之间的差距,而拍摄条件(如高度、视角、目标尺寸)对感知表现影响更大。文章据此提出五条可证伪的原则,并提出用于航拍视频基准报告的 AVU-Card。

Georgios Angelidis, Aggelos Psiris, Maria Vakalopoulou 等

★★★★☆ 值得关注
arXiv cs.AI · cs.CL · cs.CV 有代码

GroundGUI: GUI Grounding by High-Quality Data and Distillation-to-Reinforcement Learning

说明GroundGUI:用高质量数据与“蒸馏到强化学习”实现图形界面定位

简介该论文面向GUI智能体,提出屏幕指代定位数据集ScreenRef(覆盖桌面、网页、移动端,含约58.6万张截图和超过63.3万条指代表达)。作者还提出蒸馏到强化学习(D2RL)方法,并以此训练得到GroundGUI-8B模型。原文报告其在多个基准上的定位成绩,其中ScreenSpot-V2为95.2%,ScreenSpot-Pro为63.9%。

看点提出大规模GUI定位数据集ScreenRef及蒸馏到强化学习的训练方法,在多个基准上取得强结果,对该子领域有实质贡献。

Qingsong Xie, Jiahao Tian, Jiacheng Tang 等

★★★★☆ 值得关注
arXiv cs.CL · cs.LG

Similar Models, Broken Odds: Where Luce's Axiom Fails in Chatbot Arena

说明《相似模型,错位赔率:Luce 公理在 Chatbot Arena 中何处失效》:论文解读

简介论文指出 Chatbot Arena 用 Bradley-Terry 模型给每个模型一个分数,隐含了 Luce 选择公理。基于 180 万条投票,作者发现近似模型之间的比较比该模型预测的更为分明,同一模型的不同版本间约为 1.37 倍,同代不同规模约 1.26 倍,同一实验室的不同模型约 1.12 倍。作者还提出一个参数较少的修正模型,主要通过刻画平局改善预测,而排行榜顺序几乎不变。

看点将选择公理失效的理论预测应用于Chatbot Arena大规模投票,发现近似模型间投票更果断并给出修正模型;证据充分,含保留测试与稳健性检查。

Soovadeep Bakshi, Apurba Bose, Aishwarya Bose 等

arXiv cs.RO · cs.AI

DexMimic: A Generalist Dexterous Hand-Object Tracking Policy via Value-Guided Reset Allocation

说明DexMimic:通过价值引导的重置分配实现的通用灵巧手-物体跟踪策略

简介本文提出DexMimic,一种在多种人手-物体交互轨迹上联合训练的通用灵巧手跟踪策略,以替代针对单条轨迹训练的专用策略。其核心方法价值引导重置分配在线调整初始状态分布,优先训练较难的阶段,并选择预期跟踪回报更高的重置状态。论文还提出了涵盖训练、微调和泛化的基准,实验显示跟踪成功率和训练效率有所提升,并在真实灵巧操作平台上进行了验证。

Zhexi Luo, Zhixuan Xu, Rui Yang 等

arXiv physics.comp-ph · cs.LG · physics.app-ph

Global-in-time Spectral Duhamel-Picard Method for Post-Exposure Bake Simulation and Physics-Informed Neural Operators for EUV Lithography

说明用于曝光后烘烤模拟的全局时间谱 Duhamel-Picard 方法,以及用于 EUV 光刻的物理信息神经算子

简介本文提出一种全局时间谱 Duhamel-Picard 方法,用多项式展开表示全过程轨迹,并用 Anderson 加速的 Picard 迭代求解,避免逐步推进时间。作者称其在 1200×1200×100 体素的三维曝光后烘烤模拟中约一分钟内完成。该表示还被用于物理信息神经算子(PINO),训练时无需预先计算的解轨迹,可预测烘烤时间区间内任意时刻的浓度场。

Doyun Kim, Mircea Dusa, Werner Gilijns 等