AI 算法 · 2026年10月1日(周四)

机器学习、人工智能、自然语言处理、计算机视觉、多智能体。

★★★★☆ 值得关注
arXiv stat.ME · cs.LG · stat.ML

Generalized Engression Models

说明广义 engression 模型:为任意类型的多元结果建模条件联合分布的统一方法

简介该论文提出广义 engression 模型,一种统一的非参数分布回归框架,用于估计多元结果(连续、二元、类别、有序或排序,且相互依赖)在给定协变量下的条件分布。方法基于 engression 并引入针对数据类型的链接函数和随机扰动以平滑损失,使不连续链接也能进行梯度训练。作者在模拟及两个应用(242 个物种的群落生态基准和 17 维混合类型健康结果)中报告,该方法在边际得分上与各类型专用模型相当,在联合分布上更优,并与专门的联合物种分布模型相当或更好。软件以 Python 提供。

看点将engression扩展为统一的多类型结果分布回归框架,新颖性中等;在242个物种与17维混合型数据上验证,并与专用模型对比,证据较充分,影响面限于统计与生态学应用。

Xinwei Shen, Zijian Guo, Francis Bach

arXiv cs.LG · cs.CL

Beyond Linear Concepts: Discovering and Aligning Non-Linear Concept Manifolds in Large Language Models

说明超越线性概念:发现并对齐大语言模型中的非线性概念流形

简介该论文针对大语言模型内部表示的几何结构,将计算机视觉中的非线性多维概念发现方法(NLMCD)用于词元级激活,把概念建模为低维流形。作者提出基于概念的对齐分数(CBA),用于比较不同层与不同模型之间的概念流形。研究发现不同层之间存在块状结构,英语与普通话的概念共享依赖训练方式,同系列模型之间对齐较强,并且在Tulu-3各训练阶段中,相邻阶段对齐度最高。

Tido Specht, Elias Benedict Krey, Nils Neukirch 等

arXiv cs.LG

MECHVAR: Variance-Guided Mechanism Discrimination for Autonomous Machine Learning Experiment Selection

说明MECHVAR:用于自主机器学习实验选择的方差引导机制判别方法

简介该论文研究在有限候选机制库中,如何用有限实验预算判别某项基准提升背后的真正机制。作者提出MECHVAR方法,选择使后验加权预测响应方差最大的探针,计算开销低且可审计。在held-out Digits实验中,其机制识别AUC为0.8975,高于评分贪心策略(0.7825),与EIG(0.9092)相近;单线程全库打分速度远快于六节点求积EIG。

Yifan Guo

arXiv cs.LG

Debias Anything: Fairness with Diversity without Supervision in Diffusion Models

说明Debias Anything:扩散模型中无需监督的公平性与多样性方法

简介扩散模型生成图像质量高,但会复现并放大训练数据中的人口结构失衡。本文提出一种同时处理公平性与多样性的方法,可用于任意扩散模型和任意敏感属性。方法通过适配器将冻结的扩散模型与预训练视觉-语言嵌入空间相连,无需敏感属性标注即可进行引导。实验显示,在公平性水平相当的情况下,该方法提升了质量与多样性指标。

Th\'eau d'Audiffret, Mariia Vladimirova, Jean-Yves Franceschi

★★★★☆ 值得关注
arXiv cs.AI

AI-assisted mitotic counting improves reproducibility and efficiency across multiple tumour types

说明AI辅助有丝分裂计数可提高多种肿瘤类型的可重复性与效率

简介本文介绍了MitPro,一种辅助病理医生进行有丝分裂计数的AI工具,它引导医生关注预测有丝分裂活性最高的区域并标出有丝分裂图像,区域选择和最终计数仍由医生掌握。在一项涉及385张全切片图像、13名病理医生、7种肿瘤类型的回顾性配对阅片研究中,AI辅助使组内相关系数从0.589提高到0.949,中位评估时间平均减少151.8秒。

看点该工具将AI引导区域选择与有丝分裂标注结合,新颖性中等;385张全切片图像、13名病理医生的配对读者研究证据扎实,ICC从0.589提升至0.949,对常规病理实践影响较大。

Simon Graham, Mostafa Jahanifar, Quoc Dang Vu 等

arXiv cs.CV · cs.LG 有代码

PhaseAT: Fourier Phase Adversarial Training for Medical Image Domain Generalization

说明PhaseAT:面向医学图像域泛化的傅里叶相位对抗训练

简介论文提出PhaseAT,一种感知相位的对抗训练框架,用于提升医学图像模型在不同扫描设备、医院和采集协议间的泛化能力。方法在傅里叶域中迭代更新有界的相位扰动,保持振幅谱不变,并只作用于YCbCr色彩空间的亮度通道,同时用相位显著性掩码聚焦最有影响的频率。作者称在两个医学数据集上,单源域泛化性能提升超过20%,优于多种现有方法。

Ahmed Sharshar, Asif Hanif, Naveen Kumar Kummari 等

arXiv cs.AI

LineupRL: Verifiable Reinforcement Learning for Time Series Captioning via Caption-to-Series Identification

说明LineupRL:通过“描述到序列识别”实现可验证的时间序列描述强化学习

简介该论文提出LineupRL,用强化学习优化时间序列自然语言描述的生成。奖励来自一个冻结的大语言模型验证器:它只读取生成的描述和若干候选原始时间序列,需要从干扰项中找出被描述的那一条。在两个描述基准上以及只依赖描述进行预测和重建的任务中,该方法在各项指标上均优于监督微调和强化学习基线。

Haochen Zhang, Laura Yao, Zachary Plotkin 等

arXiv cs.LG

SkillEvoLean: Mutation-enhanced skill evolution for Lean provers

说明SkillEvoLean:面向 Lean 证明器、基于变异增强的技能演化方法

简介该论文提出 SkillEvoLean,一种用于 Lean 形式化定理证明的技能自演化框架,可在不更新模型参数的前提下改进大语言模型智能体。框架同时演化高层求解策略及其参考知识,在没有完整证明时通过数学概念采样变异产生新候选技能,并以验证器反馈进行筛选。论文报告,在 MiniF2F、PutnamBench、IMO 2025 和 USAMO 2026 上,该方法在相同设置下优于基线,概念引导的变异也优于随机文本变异。

Kuo Zhou, Zixiong Yang, Lu Zhang

arXiv cs.CV · cs.RO

Continuous Conditioning of VLAs with Augmenting EMG and Visual Task Descriptors

说明用肌电与视觉任务描述增强视觉-语言-动作模型(VLA)的连续条件控制

简介视觉-语言-动作模型通常主要依靠语言描述任务。本研究测试了其他模态能否提供补充信息:一是加入8通道肌电包络作为连续输入的EC-VLA,二是加入视觉分割标注的VA-VLA。在三名参与者的方块选择任务中,EC-VLA在无干扰的常规场景下与语言基线相当,在杂乱且分布外的场景中明显更优;VA-VLA在常规场景中略有提升,在杂乱分布外场景中提升明显。作者认为结果支持语言之外的任务条件输入具有潜在价值。

Edward W. Staley, Connor O. Pyles, Rahul Hingorani 等

arXiv cs.LG · cs.AI

iADD: Improving Alignment and Diversity in Diffusion Policy Optimization

说明iADD:改进扩散策略优化中的对齐性与多样性

简介这篇论文研究用强化学习对扩散模型进行后训练(如DDPO)时,奖励优化常以牺牲多样性和质量为代价。作者从理论上分析认为,只更新较后时间步的做法可能损害多样性,并提出基于Feynman-Kac的增量训练方法(iADD),在三项任务中与相关方法对比,报告对齐性与多样性均有提升。

Ashok Prasad Neupane, Saugat Adhikari, Pramish Paudel 等

★★★★☆ 值得关注
arXiv cs.AI · cs.GR

Not All Experience Belongs in the Weights: Component Routing for Self-Improving GUI Agents

说明并非所有经验都应写入权重:面向自我改进型 GUI 智能体的组件路由

简介该论文研究自我改进的图形界面(GUI)智能体如何利用自己产生的轨迹:可以微调进模型权重,也可以检索后放入提示词。作者把经验拆成定位器、流程、状态事实和经验教训四类组件,分别路由到上下文或权重,并提出基于训练前可测属性(重复性与状态条件性)的规则。文中报告该规则在留出的骨干模型家族上的判断全部正确,且优于整体轨迹基线及各骨干模型较优的单一去向。

看点提出按组件分流经验的路由方法,并用可训练前测属性拟合规则,跨骨干与环境验证,对子领域有实质贡献。

Beining Wu, Zihao Ding, Jun Huang

arXiv cs.LG · eess.SP · q-bio.NC

Inferring Multi-Timescale Neural Dynamics with Switching Linear Dynamical Systems

说明用切换线性动力系统推断多时间尺度神经动力学

简介神经活动常表现出多个随行为状态变化的时间尺度,从群体记录中识别它们很有价值。本文提出多时间尺度切换线性动力系统(MTS-SLDS),用于从连续或尖峰神经观测中识别各状态特定的潜在时间尺度。该方法结合多滞后矩初始化与状态条件的拉普拉斯期望最大化推断,时间尺度由学习到的潜在转移矩阵的特征值提取。在高斯和泊松尖峰观测的合成与神经实验中,该方法能准确恢复时间尺度与切换结构。

Lulu Gong, Yongxu Zhang, Shreya Saxena

arXiv cs.CV · cs.AI · cs.CL

VETO: Video Efficient Token Optimization for Vision Language Models

说明VETO:面向视觉语言模型的视频高效令牌优化方法

简介论文提出VETO,一种可选训练的即插即用模块,用于降低视觉语言模型处理长视频时的视觉令牌开销。它分两步压缩:先在每帧内合并语义相似的令牌,再合并时间上冗余的帧。在LLaVA-OneVision-7B上推理速度最高提升45%,在仅保留10%令牌预算时,准确率达到55.7%,并在多个模型上保持或提升了零样本准确率。

Gueter Josmy Faure, Hao Ping Wang, Min-Hung Chen 等

★★★★☆ 值得关注
arXiv cs.AI · cs.LG · cs.LO

Q-Learning for Reachability in MEC-Free MDPs

说明马尔可夫决策过程中可达性问题的无模型Q学习方法(Quasar)

简介该论文针对不含非终止最大末端组件(MEC)的马尔可夫决策过程,提出了无模型强化学习算法Quasar,用于求解可达性问题。它采用经典Q学习的时序差分更新,无需估计转移概率,并可收敛到最优策略。在标准化量化验证基准集上,该算法所需样本数比此前的基于模型方法少几个数量级,内存占用也从O(|S|^2|A|)降至O(|S||A|)。

看点首个无模型、具渐近保证的可达性学习算法,将内存从O(|S|^2|A|)降至O(|S||A|);在QVBS基准上样本数大幅减少,证据较充分。

Lu-Chin Chang, Suguman Bansal

★★★★☆ 值得关注
arXiv cs.AI

RealCompanion: Benchmarking Human Understanding from Reasoning over Longitudinal Real-World Conversations

说明RealCompanion:基于长期真实对话推理的人类理解基准测试

简介论文发布了 RealCompanion 数据集,收集了 10 段人与 AI 陪伴者的真实关系,共 27,218 条消息,时间跨度最长 120 天,并附有用户档案、人设及聊天和问答测试项,每条标签都指向支撑它的消息。研究发现,人们很少回指过去的内容(仅 3.4% 的消息依赖更早的信息),AI 系统难以判断何时需要引用过去,且系统常会对用户做出超出其实际表达的推断。

看点发布基于十段真实人机长期对话的基准,揭示用户很少回指旧信息且系统难以判断过往相关性,新颖性与证据较扎实,影响面限于研究社区。

Arman Behnam, Sunglyoung Kim, Jiayi Yu 等

arXiv cs.CV

GIFTBench: Diagnosing Generalization in Image Forgery Localization and Informing Model Design

说明GIFTBench:诊断图像伪造定位的泛化能力并指导模型设计

简介该论文提出 GIFTBench,一个包含 115,013 张带像素级标注的篡改图像的多维度基准,涵盖篡改来源、语义目标、编辑操作和合成复杂度。研究用它诊断跨数据集迁移,发现不对称的跨来源迁移和以召回为主的失败模式。论文还提出了检测与定位框架 ForenScope,在提升跨数据集定位效果的同时保留图像级检测能力。

Baoke Dou, Ziye Wang, Hao Wang 等

arXiv cs.CE · cs.AI

CODesign: Consistency from Data to Trajectory in All-Atom Protein Binder Co-Design

说明CODesign:全原子蛋白结合物协同设计中从数据到轨迹的一致性

简介论文提出CODesign框架,用于从头设计蛋白质,同时生成序列与结构并保证二者一致。作者通过生成约10.5万个一致性蒸馏的二聚体改进数据,并用多模态联合流模型及一致性感知的联合重采样策略优化序列与侧链。实验称其在蛋白质和配体结合物设计上取得计算机模拟成功率最高的结果,消融实验显示蒸馏数据集使性能提升70.9%。

Yuanle Mo, Bo Qiang, Haitao Lin 等

arXiv cs.SE · cs.AI

CONTRA: Discovering and Qualifying Behavior-Changing Questions for Selective Clarification in LLM Code Generation

说明CONTRA:在 LLM 代码生成中发现并筛选会改变行为的澄清问题

简介该论文提出 CONTRA,一种无需训练的方法,用于在代码生成智能体遇到需求不明确时,选择性地提出澄清问题。方法先生成候选问题并过滤无关或已被需求解决的问题,再通过比较两种可能答案对应程序在共享输入上的行为差异来筛选关键问题。在 ClarifyCodeBench 上的实验显示,CONTRA 在四种编码智能体中取得最高 F1,并优于 Claude Code 和 OpenHands。

Zheng Fang, Yongmin Li, Yichang Zhang 等

arXiv cs.CL · cs.IR

A Matryoshka Hierarchical RAG for Efficient Multi-Hop Question Answering

说明面向高效多跳问答的 Matryoshka 层级 RAG 方法

简介该论文提出 MatRAG,一种结合检索增强生成(RAG)与 Matryoshka 表示学习(MRL)的层级框架,用于多跳问答。它把文档语料组织成粒度逐层变粗的有向无环图(DAG)聚类结构,每一层由较低的 Matryoshka 维度建立索引,并通过自上而下的迭代遍历与实体驱动机制控制跳数并重新排序候选结果。在三个标准多跳问答基准上,论文报告 MatRAG 的检索质量优于七个代表性基线中最强的对手,同时避免了知识图谱构建和基于大模型的摘要,从而降低了索引与查询成本。

Gianluca Bonifazi, Christopher Buratti, Michele Marchetti 等

arXiv cs.AI · cs.CV 有代码

VideoEvolve: Evolving Agent Harnesses for Video Temporal Grounding

说明VideoEvolve:自动演化视频时序定位的智能体框架

简介该论文针对视频时序定位任务,即根据自然语言查询在视频中定位事件。作者提出VideoEvolve框架,自动演化基于冻结视频-语言模型构建的智能体框架(harness)。其方法包括保留阶段接口、同时开放工作流与指令的完形结构表示,以及保留有潜力代码分支并利用执行反馈与验证进行迭代改进。实验显示多个基准上的定位性能有所提升,其中指令优化是稳定的增益来源。

Bingjun Luo, Yuhuan Fan, Jialin Guo 等

arXiv cs.LG

Physics-Refined Spatiotemporal Forecasting on Open-Boundary Hydrologic Graphs

说明开放边界水文图上的物理约束时空预测

简介本文针对开放边界水文图上的时空预测不稳定问题,边界外的输入(如上游来流、潮汐信号)在预测时不可得。作者提出一个框架,通过学习边界外的“幽灵节点”代理来近似缺失的外部输入,并用两个物理约束模块抑制自回归预测中的误差累积。在两个真实水文图上的实验显示,该方法在长时程预测精度和稳定性上优于已有的学习方法和物理信息模型。

Haoyang Jiang, Zhengui Wang, Shenghan Gao 等

arXiv cs.AI

TopK-Guided: Adaptive, Budget-Aware Activation Sparsity for Efficient LLM Inference

说明TopK-Guided:面向高效大模型推理的自适应、预算感知激活稀疏方法

简介该论文提出 TopK-Guided,一种无需训练的方法,用于加速大语言模型推理。它结合了有界的逐词元稀疏自适应与考虑各模块敏感度的分块预算分配。在 Llama-2 和 Llama-3 上,该方法在困惑度和下游任务准确率上均优于 TEAL 与 WINA,且投影计算量与 WINA 基本相同,在高稀疏度下提升最明显。消融实验表明两个组成部分的改进具有互补性。

Mukund Agarwalla, Chih-Jen Lin

arXiv cs.CV

OneStreamer: Unifying Perception, Memory, and Proactive Response in Streaming Video Interaction

说明OneStreamer:统一流式视频交互中的感知、记忆与主动响应

简介该论文提出OneStreamer模型,用于流式视频大语言模型,在视频到来时持续记录事实证据并判断何时作出响应。模型通过分层字幕记忆保存已发生事件的字幕与摘要,并通过状态转换学习优化主动输出。作者还构建了包含百万条记录的OneStreamer-1M数据集,其4B模型在八个流式视频理解基准上取得了最佳结果。

Xiangyu Zeng, Yuandong Yang, Zhiqiu Zhang 等

arXiv cs.CV

PhysDEM: Physics-Defined Energy-Matching Diffusion for Spatiotemporal Field Generation under Scarce Measurements

说明PhysDEM:稀疏观测下基于物理定义能量匹配的时空场扩散生成方法

简介该论文提出 PhysDEM,一种物理定义的扩散框架,结合偏微分方程约束与空间稀疏观测,生成多个合理的时空物理场。方法通过 PDE 残差能量对测量条件高斯参考分布进行重加权,并推导出去噪的精确条件均值恒等式。实验表明,在合成 PDE 系统及真实数据启发的应用中,PhysDEM 能实现连贯的场恢复与高效采样,但论文未涉及其在所有场景下的表现。

Zhenyu Liang, Yining Huang, Yubo Zhao 等

★★★★☆ 值得关注
arXiv cs.CV

GenCOPE: Syn2Real Generalized Category-Level Object Pose Estimation for Robotic Picking

说明GenCOPE:面向机器人抓取的合成到真实类别级物体位姿估计

简介本文提出 GenCOPE 方法,目标是只用渲染的合成数据训练模型,并直接用于真实世界的类别级物体位姿估计。方法通过 2D 与 3D 语义一致性约束学习域不变特征,并采用端到端的 2D-3D 跨模态一致性位姿回归框架,仅依赖全局特征,结构轻量。作者在 REAL275 和 Wild6D 基准以及真实机器人操作场景中进行实验,结果显示该方法具有较好的合成到真实泛化性能。

看点提出2D与3D语义一致性约束及2D-3D跨一致性学习,在REAL275、Wild6D与真实机器人场景上验证了Syn2Real泛化,对该子领域有实质贡献。

Jian Liu, Wei Sun, Zhenqi Dai 等

arXiv cs.CV · cs.AI

Cog-VADU: A Training-Free Cognitive Reasoning Framework for Video Anomaly Detection and Understanding

说明Cog-VADU:一种无需训练的视频异常检测与理解认知推理框架

简介该论文提出 Cog-VADU,将视频异常检测视为按顺序进行的认知推理任务,整个框架无需训练。它通过 CoADTP 方法,把大型视觉语言模型展开为跨视频片段的循环推理链,并设计跨模态重排序以保持文本推理与视觉特征的一致性。在多个公开基准上,该方法取得了有竞争力的零样本表现,并可在不同模型上通用。

Mohd Ubaid Wani, Sara Atito, Josef Kittler 等

arXiv cs.LG

Evidence-Gated Research: Statistically Controlled Model Adoption in Adaptive Search

说明证据门控研究:自适应搜索中有统计控制的模型采纳方法

简介该论文指出,自适应模型搜索中一旦采纳新模型,后续候选都以它为基准,因此缺乏统计依据的替换会影响尚未提出的假设。作者提出证据门控研究(EGR),在挑战者被采纳前用可随时有效的证据和在线控制器控制错误发现率。在5000条轨迹的闭环基准中,部分变体未观察到持续错误采纳,并在600组配对回放中减少了56.1%的决策证据。

Yifan Guo

arXiv cs.CV

FFBL-Coop: Association-Decoupled Cooperative 3D Multi-Object Tracking

说明FFBL-Coop:解耦关联的协同三维多目标跟踪

简介该论文提出FFBL-Coop框架,用于多智能体协同三维多目标跟踪,先融合观测信息、后绑定身份,将实例准入与身份管理分开处理。框架包含置信度排序的槽位准入(CSA)、统一表示聚合(URA)和协同优先身份锚定(CPIA)三个模块,并采用共享码本以降低传输负载。论文报告在V2X-Seq上AMOTA/AP为0.611/0.548,在Griffin-25M上为0.688/0.653,代码将公开。

Haoxin Wu, Xiaokai Bai

arXiv cs.CY · cs.HC · cs.LG

Designing for Interpretation Uncertainty: Architecture and Principles for Topological Learning Analytics Dashboards

说明面向解释不确定性的设计:拓扑学习分析仪表板的架构与原则

简介本文介绍TopoLA仪表板系统,它将Zigzag持续同调应用于学习管理系统数据,以分析随时间变化的学习动态。作者提出三项早期设计原则:区分客观测量与情境解释、分层展示从指标到模式再到反思提示,并明确承认方法上的不确定性。该系统采用可扩展的三阶段模块化流程。

Hitoshi Inoue, Koichi Yasutake

arXiv cs.RO · cs.CV · cs.LG

End-to-End Learning vs. Modular Architectures: Comparative Insights into Autonomous Driving Systems

说明端到端学习与模块化架构的自动驾驶系统对比分析

简介本文比较了自动驾驶的两种设计路线:端到端学习直接把原始传感器输入映射到驾驶执行器,模块化架构则把系统划分为感知、认知、规划和控制等子系统。文章从可解释性、可扩展性、鲁棒性和实际适用性等方面评估两者的优劣与权衡。结论指出,两者各有局限,结合二者优点的混合架构是值得探索的方向。

Kartik B. Kapse

arXiv cs.CV · cs.RO 有代码

3DROID: A Renderable 3D Gaussian Dataset with Measured Per-Scene Reliability

说明3DROID:可渲染的三维高斯数据集,附带逐场景可靠性测量

简介机器人操作模型大多基于二维观测推理,而实际动作发生在三维空间。该论文研究相机外参的可靠性及位姿条件对前馈式3D高斯溅射(3DGS)的影响,并提出一套标定感知的流程,将重建场景锚定到机器人的度量工作空间。实验显示,位姿条件能提升新视角的渲染质量,但其几何效益取决于所注入外参的可靠性。作者据此发布了一个可渲染、带有度量位姿锚定及逐场景可靠性信息的数据集,供机器人操作研究使用。

Wonguen Cho, Junhoo Lee, Nojun Kwak

arXiv cs.RO · cs.CV

World Motion Models: Flexible Sequence Modeling of SE(3) Trajectories

说明世界运动模型:SE(3) 轨迹的灵活序列建模

简介论文提出世界运动模型(WMM),用稀疏的 SE(3) 位姿轨迹表示动态三维场景中的各类实体,包括关节物体、人体、机器人状态与动作等,并以带逐 token 噪声水平的流匹配方法建模其联合分布。通过上下文 token 机制,同一网络可通过不同掩码完成未来预测、运动补全、模型预测控制、逆运动学、跨形态重定向和策略学习等任务,论文报告了六项三维视觉与机器人应用的实验结果。

Jiahui Lei, Qianqian Wang, Trevor Darrell 等

arXiv cs.CV

ATI-VLA: Action-Centric Predictive Vision-Language-Action Models via Actionable Alignment Then Adaptive Injection

说明ATI-VLA:通过可执行对齐与自适应注入实现以动作为中心的预测型视觉-语言-动作模型(论文)

简介这篇论文提出 ATI-VLA 框架,用于改进机器人操作。作者认为现有预测型视觉-语言-动作模型因观测与动作之间的模态错位以及联合优化冲突,表现不及直接预测动作的模型。该方法分两步:先通过共享码本把预测观测与动作表示对齐,再通过轻量自适应旁路把预测潜变量注入动作解码。作者称其在仿真与真实机器人任务中取得了最先进的性能,且收敛更快。

Yijie Zhu, Rui Shao, Jie He 等

arXiv cs.LG

Fixed-point neural samplers on discrete spaces

说明离散空间上的不动点神经采样器:一种无需数据、直接从未归一化密度中采样的方法

简介本文提出离散吉布斯迭代神经采样器(Discrete Gibbs Iterative Neural Sampler),这是一种不动点神经采样器,用于从离散的未归一化分布中采样,且无需数据。该方法基于掩码扩散,并可扩展到两个分布之间的传输。作者称其能有效扩展到高维系统、支持不同条件下的摊销采样,并能准确估计合金相图。

Jiajun He, Denis Blessing, Mouyang Cheng 等

arXiv cs.CY · cs.LG

Participation-Sensitive Convergence and the Fragment First, Converge Later Pattern in Asynchronous Online Learning: A Topological Analysis Across 22 OULAD Courses

说明参与度敏感的收敛与“先碎片化、后收敛”模式:基于22门OULAD课程的拓扑分析

简介本文研究异步在线学习中学习群体的结构变化,以零点持续同调得到的连通分量数β₀作为指标。作者在22门OULAD课程(样本超过22,000人,共857个周对)中检验β₀的收敛是否反映真实行为一致,或只是学习者退出。结果显示,β₀变化与活跃学习者人数显著共变,β₀被认为是对参与度敏感的结构指标,并观察到考核截止日期后常见的碎片化与收敛循环。

Hitoshi Inoue, Koichi Yasutake

arXiv cs.LG 有代码

Function-Structured Reinforcement Learning with Executable Verifiers for Mathematical Reasoning

说明基于可执行验证器的函数结构强化学习,用于数学推理

简介本文提出函数结构图强化学习(FSG-RL),将子问题图与Python实现结合,并引入多验证器反馈来提升数学推理能力。方法先用监督微调学习从函数图生成代码,再用GRPO结合答案门控奖励和片段级信责分配进行优化。在基于GSM8K、MathQA、MATH和Omni-MATH构建的基准上,GRPO将最终答案准确率从43.25%提高到67.50%,完整解题成功率从32.25%提高到52.25%。

Zihan Liu, Xurong Xie

arXiv cs.LG · cs.AI · math.OC

Removing spurious minima for planar features by skip connections

说明通过跳跃连接消除平面特征的伪极小值

简介该论文研究浅层无偏置ReLU网络在教师-学生设定下的高斯总体损失函数,分析其局部极小值结构。作者证明,加入可学习的线性跳跃连接后,当学生网络宽度不小于教师网络时,可消除所有非负输出权重下的伪局部极小值;而无跳跃连接时,即使学生网络过参数化,伪极小值仍可能存在。

Jakob Paul Zimmermann, Andrei Balakin, Moritz Grillo 等

arXiv cs.LG · eess.AS

Effects of interpulse-interval variation on deep-learning classification of bat vocalizations

说明脉冲间隔变化对深度学习蝙蝠叫声分类的影响

简介该研究探讨蝙蝠叫声之间的脉冲间隔(IPI)变化能否为物种分类提供有效信息,并比较Transformer模型(PaSST)与卷积网络(EfficientNet-B0)对此类信息的敏感性。研究使用欧洲蝙蝠录音,对比保留原始间隔与统一为50毫秒间隔两种条件。结果显示,IPI归一化对两类模型的影响不同,但总体上对自然IPI变化的贡献和Transformer更有效利用该信息的假设支持有限;在归一化数据上训练的模型迁移到自然录音时性能下降。

Welmoed R. Eversteijn, Burooj Ghani, A. Leonie Baier 等

arXiv cs.LG

RelICL: Training-free Relational Learning with Tabular Foundation Models

说明RelICL:基于表格基础模型的免训练关系学习

简介该论文提出 RelICL 方法,用于关系型数据的学习,无需额外训练。它沿关系结构图逐步传递并融合信息,并使用最终用于预测的同一表格基础模型完成这一过程。作者指出了深度特征合成(DFS)的特征爆炸和忽略特征交互两个问题,并在 RelBench 任务的实验中表明,RelICL 与最强的 DFS 方法表现相当。

Simon Forbat, Rainer Gemulla

arXiv cs.CV

Rethinking Memorization Mitigation in Diffusion Models: Reinforcing Text Conditioning

说明重新思考扩散模型中的记忆缓解:强化文本条件

简介文生图扩散模型有时会逐字复现训练样本,即出现记忆现象。本文提出一种无需训练的方法:先用高斯平滑重新分配交叉注意力,再增强内容词的贡献、削弱填充词的贡献,且不需要额外的去噪器评估。在 Stable Diffusion v1.4 和 v2.0 上,所测试的各平滑宽度都位于训练图像相似度与提示对齐度、图像偏好度的经验帕累托前沿上;在 Stable Diffusion 上选定的配置还能在 DeepFloyd IF 中减少模板复现。

Hyungjun Joo, Sehwan Kim, Hyeonggeun Han 等

arXiv cs.LG

Anomaly Detection and Localization for the Pantograph-Catenary System

说明受电弓-接触网系统的异常检测与定位

简介该论文关注受电弓-接触网系统的健康监测。现有工业方案用卷积神经网络从视频中追踪接触线高度和拉出值,但未考虑列车线路的地理位置。作者提出一个框架,将接触线高度和拉出值与参考线路的标称GPS坐标对齐以实现定位,并进行集体异常检测以评估系统健康状况。研究在意大利铁路多次列车运行的真实工业数据上进行了案例评估。

Francesco Vitale, Hangli Ge, Francesco Flammini

arXiv cs.AI

vFedProtoQNAS: Prototype-Guided Personalized Quantum Neural Architecture Search for Virtual Federated Learning

说明vFedProtoQNAS:面向虚拟联邦学习的原型引导个性化量子神经架构搜索

简介该论文针对量子联邦学习中各设备能力不同、难以共用同一量子神经网络结构的问题,提出 vFedProtoQNAS 方法。各客户端独立搜索并训练自己的量子神经网络,参数不在客户端之间聚合,而是通过共享按类别计算的原型进行协作。实验显示,该方法的准确率比 FedAvg 高 3.70%,并改善了类别一致的表示对齐。

Seok Bin Son, Samuel Yen-Chi Chen, Soohyun Park 等

arXiv cs.CY · cs.AI

Architecture Without an Architect? Global Governance of Artificial Intelligence in a Divided World

说明无建筑师的架构?分裂世界中的全球人工智能治理

简介本文是对 Matthijs Maas 所著《全球人工智能治理的架构》一书的书评。作者认为,人工智能治理难以由单一机构主导,国际应对目前较为分散且多不具约束力。文章指出,制度设计无法脱离权力分配,国家与少数私营企业在前沿人工智能决策中各自拥有不同形式的权力。

Simon Chesterman

arXiv cs.LG · cond-mat.dis-nn · stat.ML

In-context Learning of Single-index Targets: Comparing Kernel and Feature Learners

说明单指标目标的上下文学习:比较核学习器与特征学习器

简介本文研究预训练模型在无需更新参数、仅凭示例推断任务的上下文学习(ICL)中的非线性情形。作者比较两种单层注意力结构在同一族单指标任务上的表现:核学习器先经固定非线性特征映射再做线性注意力,特征学习器则先对原始输入做注意力,再接可学习的非线性读出。作者用复本方法推导两者的记忆与泛化误差预测,并与数值实验对比吻合。

Haotian Gu, Yizhou Xu, and Lenka Zdeborov\'a

arXiv cs.AI · cs.CV

CoEvolve: Construct-to-Edit Visual Grounding with Bidirectional State Refinement

说明CoEvolve:基于构建后编辑的视觉定位与双向状态精修

简介该论文提出 CoEvolve 框架,把视觉定位拆分为显式状态构建与状态编辑两步。其中 RER 组件按语义到空间的渐进轨迹生成候选区域,BDR 组件则在固定语义上下文下双向精修坐标。论文称,使用 9B 骨干模型即可在定位精度上接近参数量达 241B 的模型,且在受控破坏条件下,单次 BDR 精修可使平均框重叠率提升超过 27 个百分点。

Dongwei Sun, Yujie Zhang, Bowen Yao 等

arXiv cs.CV

MEGA: Object-Level Mesh Extraction from 3D Gaussian Splatting via Spatial Visual Distillation

说明MEGA:通过空间视觉蒸馏从3D高斯泼溅中提取物体级网格

简介该论文提出MEGA框架,用于从复杂的3D高斯泼溅(3DGS)场景中提取物体级、封闭(watertight)的网格。方法采用先分割后建网格的流程,核心是空间视觉蒸馏(SVD):以3DGS模型为教师,采样多样相机位姿渲染每个分割物体的视角,再通过光度监督训练网格重建模型。作者称,在多个常用基准上,MEGA在恢复准确的物体级三维占用方面达到了当前最优性能,并可结合物体网格与3DGS渲染实现复杂的物理交互。

Liwei Liao, Yingkui Zhang, Qianqian Tong 等

arXiv cs.CL

Task-Oriented Rank Adaptation for Continual Learning in Text Classification

说明面向文本分类持续学习的任务导向秩自适应方法(TORA)

简介本文针对文本分类持续学习中的灾难性遗忘与负迁移问题,提出任务导向秩自适应方法TORA。该方法利用LoRA适配器的低秩结构,根据结构相似性决定是迁移最匹配专家的知识(Boosting),还是隔离新任务(Shielding)。在15个文本分类基准上的评估显示,兼容任务的表现超过隔离训练且训练时间减少,结构差异大的任务则不受干扰。

Rey Sanchez Lopez, Eduardo Morales Manzanares, Hugo Jair Escalante

arXiv cs.LG

Learning PDE Dynamics between Submanifolds Using Green's Observation Operators

说明在子流形之间学习偏微分方程动力学:基于格林观测算子的方法

简介许多物理系统只在更大空间域的低维子流形上加载和观测,其动力学却由整个环境介质决定。本文提出格林观测算子(GObO),将环境介质一次性映射为线性偏微分方程在源与观测子流形上的格林核,之后新的源只需计算一个低维积分,无需网络推理。论文在三维热传导和对流扩散问题上进行了实验,结果显示该方法对移动源的零样本预测误差比黑箱代理模型低4至8倍,每次查询约1.4毫秒。

Jan Tauberschmidt, Jephte Abijuru, Naukshatro Bose 等

arXiv cs.CL 有代码

Acmite: Mitigating Gender Bias in LLMs through Concept-Guided Mutual Information

说明Acmite:利用概念引导的互信息缓解大语言模型中的性别偏见

简介大语言模型会复现训练数据中的社会刻板印象。该论文提出轻量级的概念引导框架Acmite,用MMR选取多样的刻板印象概念,以词元级KL散度近似模型输出与刻板印象概念之间的统计依赖并予以削弱,并仅在输入与刻板印象相关时激活LoRA适配器。在BBQ、CrowS-Pairs和StereoSet上,三个模型的性别偏见均有所缓解,同时在ARC-Challenge、GSM8K和PIQA上保持了有竞争力的表现。

Tian Lan, Xiaoqing Cheng, Han Zhang 等

arXiv cs.LG · eess.SP

Artifact Annotations Partially Substitute for Per-User Calibration: SAFE-EDA and a Normalization-Controlled Evaluation of Wrist-EDA Affect Recognition

说明伪影标注可部分替代个体校准:SAFE-EDA 与归一化控制下的腕部皮肤电情绪识别评估

简介该论文提出紧凑卷积网络 SAFE-EDA,在 43 名受试者的专家伪影标注上预训练,并在 WESAD 数据集(15 人,留一受试者交叉验证)上与从零训练的同结构网络比较。归一化统计量仅来自训练受试者时,预训练使宏观 F1 提高 0.078 至 0.227;若使用被测用户自身的完整记录,增益降至 0.020 至 0.050 且不再显著。作者指出,归一化数据来源的报告对区分首次使用性能与校准后性能十分必要。

Haochen Chai, Xinbi Luo, Zining Liu 等

arXiv cs.CL

Compound interpretation is based on analogy

说明复合词释义基于类比:提出复合类比模型(CAM)

简介该论文提出复合类比模型(CAM),通过将复合词两个组成成分的词向量与其各自复合词家族的平均偏移向量相加,预测复合词的语义表示。该模型无需额外参数,并在普通话复合词上与CAOSS模型比较,除三字词外预测准确率更高。作者还发现,CAM衍生的语义指标能更好地预测双字复合词的视觉词汇判断反应时,认为复合词意义更像是局部类比推广,而非全局线性变换的结果。

Tian Shen, Harald Baayen

arXiv cs.CV · cs.AI

Architectural Sampling: Test-Time Scaling via Computational Diversity in Frozen Vision-Language Models

说明架构采样:冻结视觉语言模型中通过计算多样性实现测试时扩展

简介该论文提出一种无需训练的“架构采样”方法,通过复用解码器层中的部分模块块,让候选答案经过不同的前向计算路径生成,而不改变模型权重或增加额外参数。在五个Qwen模型和十二个多模态基准上,相同的九候选预算下,该方法的pass@9平均比标准路径温度采样高6.58个百分点。复用早期层的提升最明显,且在贪心解码下候选覆盖率的提升依然存在。

Akshit Singh, Shyam Marjit, Wei Lin 等

arXiv cs.LG

MiLoop: Selective Memory Propagation for Neural Combinatorial Optimization

说明MiLoop:面向神经组合优化的选择性记忆传播方法

简介本文提出 MiLoop(Memory-in-the-Loop),一种仅基于强化学习的构造式神经组合优化框架。它在每一步决策中把当前嵌入与历史记忆融合,并通过自适应门控更新表示,使浅层策略无需外部解标签或训练时的搜索空间剪枝,也能学习有效的动态嵌入。在四类组合优化问题上的实验显示,该方法在 100 到 1000 万节点的实例上都能稳定给出高质量解,并体现出较强的泛化能力。

Changliang Zhou, Yuanyao Chen, Rongsheng Chen 等

arXiv cs.LG

MuLoRA: Spectrally Balanced Low-Rank Adaptation for Continual Learning

说明MuLoRA:用于持续学习的谱平衡低秩适配方法

简介论文指出,低秩适配(LoRA)在持续学习中,更新能量会集中到少数奇异模式上,导致可用低秩空间未被充分利用,即“谱可塑性崩塌”。作者提出MuLoRA,先通过历史白化选取对当前任务响应强的输入方向,再对动量更新做近似极分解正交化以降低谱集中度。论文在五个类增量基准、八种增量设置下测试,报告其在16项指标中有15项取得最高平均准确率。

Junkang Liu

★★★★☆ 值得关注
arXiv cs.RO · cs.CV 有代码

Beyond Leaderboard Scores: A Deployment-Focused Protocol for Interpretable Tracking Evaluation in Pedestrian-Centric Environments

说明超越排行榜分数:面向部署的可解释行人跟踪评测协议

简介本文提出一种面向实际部署的仅评估跟踪器的协议,使用共享检测结果隔离跟踪器本身的表现,考察初始化、检测缺失时的延续、身份恢复、近邻关联及嵌入式平台上的运行时间。作者在JRDB数据集上测试了六种开源跟踪器及其轻量级行人参考跟踪器PedRefTrack,结果显示在检测缺失1.0秒后,多数跟踪器难以维持正确的位置与身份,并且部分跟踪器在拥挤场景中低于10 Hz实时目标。

看点提出面向部署的跟踪器评估协议,区分初始化、检测器缺失续跟、身份保持与运行时间,并以JRDB基准和六种跟踪器进行实证分析。

Dominik Wojcikiewicz, Diego Paez-Granados

arXiv cs.CV

When Text-to-Image Helps Editing: The Effects of Conditioning During Denoising

说明文生图如何辅助图像编辑:去噪过程中条件控制的影响

简介统一模型同时用于指令式图像编辑和文生图(T2I)。本文研究编辑能否借助T2I能力:在纯编辑中,部分编辑的源图注意力会随采样过程下降,据此提出任务切换,即在有限区间内切换到T2I任务。在三个统一编辑模型和四个基准上,这种切换提升了编辑质量,平均感知保持度与纯编辑接近;切换时机决定质量与保持之间的平衡。

Lidia Troeshestova, Alexander Ustyuzhanin, Sergey Kastryulin

arXiv cs.LG

Invent a Dataset: Measuring Dataset Generation Abilities with Zero Seed Data

说明Invent a Dataset:在零种子数据条件下衡量数据集生成能力

简介本文针对开发者没有任何相关数据的极端场景,提出 Invent-A-Dataset,一种基于提示的系统:输入数据集描述,即可生成逼真且大规模的后训练数据集。作者在八类任务、最多 2 万条样本的设定下,将其与五个前沿模型 API 对比,报告其质量和多样性均更高,且多样性优势随数据规模扩大而增大。用其生成的数据微调的模型,在多种后训练架构上表现也更好。

Shivalika Singh, Andrija Djurisic, Gbemileke Onilude 等

arXiv cs.CV · cs.LG

Do MLLM Judges Judge the Edit? Auditing Bias in Image Editing Evaluation with Verified Quality Preservation

说明MLLM评审是否真正在评判编辑效果?利用已验证的质量保持性审计图像编辑评估中的偏差

简介本文提出EditJudgeBias,这是一个反事实基准,包含1196个真实图像编辑样本和在四个评估位置注入的13种线索,并用校准的多模态验证器、对照和人工检查确认所注入线索不改变编辑质量。作者据此审计五个多模态大语言模型评审在线索敏感性、与人类判断的一致性及成对偏好稳定性三方面的表现。结果显示,质量保持型线索会使每个评审的评分超出其自身噪声范围,并且交换候选顺序会使高达60.9%的成对判断被翻转。

Yuan Huang, Zirui Song, Xiuying Chen

★★★★☆ 值得关注
arXiv cs.LG · q-bio.BM

pCoMole: Pareto-Constrained Molecule Editing with Discrete Flows

说明pCoMole:基于离散流的帕累托约束分子编辑方法

简介本文提出pCoMole框架,用于对生物分子序列进行多目标、带硬约束的编辑。它基于离散流匹配,引导预训练的编辑流朝用户指定偏好发展,并保证终态可行。作者在GFP缩短、Cas9同源蛋白缩短及多肽压缩等任务上进行了验证,并在湿实验中测试了两个229个残基的eGFP设计变体,报告其在大肠杆菌BL21细胞中仍保留绿色荧光。

看点将离散流匹配与Doob-h变换结合用于带硬约束的多目标序列编辑,并有湿实验验证GFP缩短变体仍发荧光,证据较扎实,影响面主要在生物分子设计领域。

Tong Chen, Maximilian Holsman, Lin Zhao 等

arXiv math.OC · cs.LG · stat.ML

Lower Bounds for Stochastic First-Order Algorithms with Variance Reduction in Nonconvex--Concave Minimax Optimization

说明非凸-凹极小极大优化中带方差缩减的随机一阶算法下界

简介本文为非凸-凹极小极大优化中的随机一阶算法建立复杂度下界,允许算法使用方差缩减技术。作者针对一类尊重零点的算法给出下界,并在有界方差和均方光滑的随机一阶神谕假设下,给出依赖于精度、对偶域半径和噪声的界。文中还给出了非凸-强凹情形的互补下界。

Jiayi Song, Zi Xu

arXiv cs.CV

DiVid: Diagnosing Dimension-Specific Diversity Collapse in Video Generation Models

说明DiVid:诊断视频生成模型中按维度划分的多样性坍缩

简介视频生成模型在同一提示词下重复采样时,输出往往高度相似,限制了创作探索。作者提出 DiVid 框架,把视频多样性拆分为语义、风格、主体、场景、运动和镜头六个可解释维度,并用可复现的计算机视觉流程逐维测量。结果显示多样性具有明显的维度差异,运动和镜头两个维度的坍缩最为突出,文本控制这类时间因素的忠实度损失也更大。

Huanran Hu, Zihui Ren, Dingyi Yang 等

arXiv cs.LG · cs.AI

Iterative Policy Refinement through Semantic Rollout Analysis

说明通过语义化回放分析迭代优化策略结构

简介本文提出一个闭环框架,利用大语言模型分析策略执行回放的表格化记录,迭代修正模仿学习中的结构化策略,无需人工指导。实验在赛车和开门任务上进行,结果显示相比零样本生成的结构,模仿学习性能最多提升15%,达到相同强化学习性能所需计算量减少75%。

Feiyu Gavin Zhu, Qi Xu, Zhifei Deng 等

★★★★☆ 值得关注
arXiv cs.LG

CrossGMN: Graph Metanetworks for Cross-Architecture Weight-Space Transformations

说明CrossGMN:用于跨架构权重空间变换的图元网络

简介该论文提出 CrossGMN,一种直接处理神经网络参数的图元网络,用于把已训练的源网络变换为结构不同的目标网络,例如模型压缩。它将源网络与目标网络的初始化一并输入,通过保持对称性的跨网络消息传递来优化目标网络的初始化。论文报告,该方法在多种 INR 与图像分类模型上可将知识蒸馏加速最多 8.89 倍,并可跨数据集迁移。

看点提出跨架构权重空间的等变算子新形式并证明通用性,在2D/3D INR与多类图像模型上验证,蒸馏加速最高8.89倍。

Adir Dayan, Yam Eitan, Haggai Maron

arXiv cs.DC · cs.LG

Towards a Cloud Fog Edge System for Smart Building

说明面向智能建筑的云-雾-边缘系统构想

简介本文提出一种去中心化系统构想,让建筑物本身充当数据中心,在楼内实时数据上学习,以支持可持续且保护隐私的智能环境。作者介绍了一个轻量级、类似 Kubernetes 的编排框架,用于在此类环境中部署 AI 服务,并展示了在 Arduino 等低功耗微控制器上实现 AI 算法的进展。文中还评估了两种新的在线算法,并给出基于真实数据的实验结果。

Christophe C\'erin, Mamadou Sow, Fr\'ed\'eric Andr\`es

arXiv cs.LG

Beyond Demographic Balance: Multi-Metric and Intersectional Evaluation of Fairness in MIMIC-IV Mortality Prediction

说明超越人口平衡:MIMIC-IV 死亡率预测中公平性的多指标与交叉群体评估

简介本文以 MIMIC-IV 数据库中的 ICU 死亡率预测为例,比较了多种公平性干预方法在预测效用和子群体误差指标上的表现。作者还提出了一种轻量级的适配策略,在不依据死亡结局的前提下平衡种族、性别和保险类型的代表性,并同时在边际和三重交叉子群体层面进行评估。结果表明,不同指标下干预方法的评价可能差异很大,而边际人口汇总可能掩盖各交叉子群体内部的异质性误差。

Abdullah Al Noman, Fahmid Al Rifat, Tahrima Hashem 等

arXiv cs.LG · cs.AI · stat.CO

MCIR: A Feature Dependence-Aware Explainability Method with Reliability Guarantees

说明MCIR:一种考虑特征依赖、带可靠性保证的可解释性方法

简介现代机器学习模型常含高度相关或冗余的特征,导致SHAP、LIME等方法在多重共线性下的排序可能不稳定。本文提出互相关影响比方法(MCIR-M),通过以强依赖邻域为条件,衡量每个特征超出该邻域的独有预测信息,并给出归一化得分。文中还提出用部分数据估计MCIR的轻量流程,实验显示其在注入近重复特征的合成数据上优势最明显,真实数据上的比较结果则不一。

Poushali Sengupta, Sabita Maharjan, Frank Eliassen 等

arXiv cs.CV · cs.AI

Not All Error Yields to Scale: Where Scaling Stops in Vision-Language Inference

说明并非所有错误都会随规模消失:视觉-语言推理中的规模扩展边界

简介本文针对视觉-语言模型在固定算力下,在更多视觉信息与更大语言骨干之间的取舍问题,提出了“可分离定律”,描述性能随语言骨干规模和视觉令牌数量的变化。作者用26个InternVL与QwenVL模型(骨干规模1B至72B)在四个高分辨率基准上进行拟合。结果显示,部分问题的表现可以依据所需技能预测,但也有相当比例的问题完全不随规模改变。

Xinye Zhao, Yunkai Dang, Yunchen Wu 等

arXiv cs.LG

FedSAP: Federated Learning with Structured Adaptive Partitioning for Multi-Domain Heterogeneous Edge Devices

说明FedSAP:面向多领域异构边缘设备的结构化自适应分区联邦学习

简介该论文针对资源预算不同、本地数据存在领域偏移的边缘设备联邦学习问题,提出FedSAP框架。它把结构化剪枝视为预算约束下的三态通道分配:稳定通道放入全局池,有用的领域敏感通道放入伪领域私有池,低效用通道被丢弃。在Digits和Office-Caltech数据集上,三个随机种子的平均全局准确率分别为76.00%和72.67%,分别比最强基线高1.70和4.92个百分点,客户端剪枝比例最高可达80%。

Wentao Yue, Tianyou Lai, Hongji Li 等

arXiv cs.CV

Fusing Visual and Textual Representations via Multi-layer Fusing Transformers for Vietnamese Visual Question Answering

说明通过多层融合 Transformer 融合视觉与文本表示,用于越南语视觉问答

简介视觉问答(VQA)要求计算机用自然语言回答关于图像的问题,而越南语方面的研究很少。本文提出一种多层融合 Transformer 模型,利用交叉注意力模块,将不同层级的图像与文本多模态特征聚合为统一表示,从低层到高层提取信息。作者在越南语 ViVQA 数据集上通过实验与消融研究,表明该模型相对竞争性基线取得了有前景的结果。

Cong Phu Nguyen, Huy Tien Nguyen, Tung Le

arXiv cs.CL

Yo-ByT5: Efficient and High-Fidelity Diacritic Restoration for Yorùbá

说明Yo-ByT5:面向约鲁巴语的高效高保真变音符号还原模型

简介约鲁巴语是一种声调语言,依赖变音符号区分词义,但常被省略书写,影响自然语言处理任务。本文提出基于字节级的 Yo-ByT5 模型,在 ByT5-small 基础上微调,并在 YAD 基准上与五个公开的约鲁巴语模型及一个开源大语言模型对比。结果显示其表现与最强的现有模型 mT5-base 相当(DER 为 10.14%,CER 为 3.48%),参数量约为后者的一半,文本保真度更优。

Ahmad Samuel Gali (1), Shamsuddeen Hassan Muhammad (2, 3) ((1) University of Lagos 等

arXiv cs.LG

Generalization in Neural Networks Through the Lens of Magnitude Potential

说明从度量量级势角度看神经网络的泛化能力

简介本文提出“量级势”(magnitude potential)这一基于度量量级理论的量,用来衡量一个点被给定点集表示得有多好。作者用它计算的类内与全数据量级势之比,发现其与 Feldman 记忆分数相关,并能检测决策边界的结构变化,还可作为模加运算中 grokking 现象的几何指标。即便抑制神经坍缩(neural collapse),该比值依然有参考价值。

Sahel Torkamani, Henry Gouk, Rik Sarkar

arXiv cs.MA

After Cooperation Is Learned: Gradient Routing and Optimizer-Dependent Maintenance in Multi-Agent Reinforcement Learning

说明合作学成之后:多智能体强化学习中的梯度路由与依赖优化器的维持性

简介本文研究多智能体强化学习中已习得的合作行为在继续训练后能否保持。作者比较了三种设置:允许价值损失梯度更新共享actor特征、保留评论家但阻断该梯度、以及移除评论家的无评论家参照。实验显示,在奖励尺度较大时,允许梯度直接传入共享特征的设置更易失去合作,而阻断梯度的设置基本保持稳定,因此风险与直接的价值梯度路由相关,并非所有评论家都会导致失效。

Chaoyuan Hao, Wentao Yue, Tianyou Lai 等

★★★★☆ 值得关注
arXiv cs.CL · cs.AI

What Makes Something Hard(er)? Explaining Question Difficulty in Natural Language

说明什么让问题更难?用自然语言解释问题难度

简介本文提出一种数据驱动方法,自动生成并验证用自然语言描述的假设,解释为什么一道题比另一道更难。研究先用项目反应理论依据大量大语言模型的作答结果估计每题难度,再对比简单题与困难题并提出候选解释,最后在留出的题目上验证和筛选。在数学、逻辑和常识推理三个数据集上,这些假设既可解释又有预测力,并能进一步提升现有难度回归模型的效果。

看点提出数据驱动方法自动生成并验证题目难度的自然语言假设,并通过编辑题目验证因果性,在三个数据集上实验,证据较充分。

Peng Cui, Qiaoyuan Zheng, Rudolf Debelak 等

arXiv cs.AI

Measuring the Stability Assumption Behind Action Chunking

说明衡量动作分块背后的稳定性假设

简介该论文研究动作分块(action chunking)为何能提升行为克隆策略的表现。作者在每个状态注入小的动作误差,测量其在开环和闭环两种执行方式下是增长、收缩还是无法确定。在三个基准套件的十二个操作任务中,明确稳定的状态很少,误差放大较常见;测得的传播速率还强烈依赖拟合窗口长度。

Aryan Goyal

arXiv cs.CV

Beyond Domain-Level Adaptation: Margin-Oriented Semantic-Appearance Interaction Correction for Personalized Federated Vision-Language Models

说明超越领域级适配:面向个性化联邦视觉-语言模型的边界导向语义-外观交互修正

简介本文研究联邦参数高效微调中各客户端之间领域差异的问题。作者指出,现有个性化方法把每个领域视为与类别无关的变换并不充分,只有部分类别-领域残差会损害图文决策边界。为此提出MOSAIC方法,通过决策感知的有害性评分、低秩残差适配器和图像条件门控来修正这些交互。实验表明,在Office31、OfficeHome和DomainNet100上,该方法在各种领域偏移设置下均提升了宏观客户端的top-1准确率。

Wentao Yue, Qingyu Mao, Tianyou Lai 等

arXiv cs.AI

FedLore: Communication and Memory Efficient Federated Learning via Shared Gradient Low-Rank Projection

说明FedLore:通过共享梯度低秩投影实现通信与内存高效的联邦学习

简介该论文针对联邦训练大模型时客户端内存和通信开销大的问题,提出 FedLore 方法,让各轮次共享同一低秩优化基并定期刷新。作者指出独立选择的客户端子空间会产生“子空间碎片化”问题,并声称共享基能够消除投影偏差。实验涵盖视觉与语言任务,结果显示该方法优于所评估的低秩适配器基线,并在降低通信与优化器状态内存的同时达到或超过全参数训练的表现。

Junkang Liu

arXiv cs.LG · cs.AI · cs.SD

Exposing the Cost of Deep Learning Audio Development

说明揭示深度学习音频开发的成本:开发阶段的能耗可能远超模型训练本身

简介该论文关注深度学习的能耗问题,指出以往研究多只计算模型训练和推理的能耗,而忽略了架构原型设计和大量实验所在的开发阶段。作者基于LORIA实验室使用的Grid5000共享计算平台的活动日志,提出了估算这些成本的方法,并以Multispeech团队的音频项目为案例进行评估。结果显示,开发阶段所需能量是训练最佳模型本身的3到256倍,作者因此呼吁对深度学习音频项目的全生命周期能耗进行更系统的报告。

Constance Douwes, Paul Magron, Romain Serizel

★★★★☆ 值得关注
arXiv cs.AI 有代码

Agents Are Systems, Not Models: Rethinking Agentic Evaluation

说明智能体是系统而非模型:重新思考智能体评估方式

简介该论文指出,现有智能体评估通常把智能体本身视为固定不变,但实际上它是可配置的系统。作者在四项科学任务的新基准上,考察任务信息、推理、自我验证、时间预算和底层模型五个配置项的影响。结果显示,同一配置重复运行的结果波动约占结果方差的54%,其中提供给智能体的信息影响最大,并能降低成本、改善校准。

看点提出把智能体视为可配置系统进行评估,通过大量配置实验与轨迹分类揭示信息、时间、验证工具的作用,证据充分,对智能体评估方法有较大影响。

Luis Wiedmann, Leander Girrbach, Cordelia Schmid 等

arXiv cs.CL · cs.AI · cs.DB

Can LLMs Reliably Annotate Bioassay Metadata to Improve Data Readiness?

说明大语言模型能否可靠地为生物测定元数据加注释,以提升数据就绪度?

简介该研究发现,PubChem约200万条生物测定中,多数缺少测定格式和检测技术等注释,覆盖率很低。作者用七个开源及商用大语言模型,从测定文本自动预测并审核这些元数据,与现有标签对照,在多数类别上召回率不低于0.96。结论认为大模型可辅助大规模注释,但在输入下游机器学习流程前,仍需逐类可靠性评估和人工复核。

Laura van Weesep, Riccardo Tedoldi, Jens Sj\"olund 等

arXiv cs.CV

Oneira: From Open-Ended Generation to Open-World Interaction in Video World Models

说明Oneira:让生成式视频世界模型从开放生成走向开放世界交互

简介该论文提出 Oneira,一种交互式视频世界模型,通过由编码代理管理的显式世界状态,把生成与交互闭合起来。新生成的物体可以被纳入可交互范围,交互造成的状态变化也会在后续视频片段中持续保留。实验显示,该方法能与新生成物体进行直接且一致的交互,并在长时程中保留先前交互的效果。

Xindi Yang, Baolu Li, Liam Lee 等

arXiv cs.CV · cs.AI · cs.LG

Hob-VL: A Benchmark for Visually Grounded Boolean Reasoning

说明Hob-VL:基于视觉的布尔推理基准测试

简介该论文提出 Hob-VL,一个评测视觉布尔推理能力的基准,包含判断布尔规则是否成立与识别唯一满足布尔描述的物体两项任务。数据集含6000个人工校验的是非题和1000个物体识别题,覆盖生成场景与标注照片。实验显示,各模型布尔题准确率约为48.52%至50.57%,识别准确率最高43.0%,多数模型仍存在明显错误与不一致。

Yuzhou Wang, Emile Anand, Ijay Narang

arXiv cs.LG · cs.AI 有代码

Permutation-Robust Decision Modeling with Candidate-Independent Block-Causal Attention

说明候选无关块因果注意力:对候选排列顺序更稳健的决策建模

简介该论文针对把一组候选动作编码为单一序列进行评分的决策模型,指出标准因果注意力会使评分受序列化顺序影响。作者提出候选无关块因果注意力,在共享上下文和各候选内部保持因果计算,阻断候选之间的信息流并重置候选位置。在 Gemma 3 1B、Qwen3 1.7B 和 Qwen3 4B 上的实验显示,该方法能降低对排列的敏感性,同时保持有竞争力的决策质量。

Guy Amit

arXiv math.OC · cs.LG

Convergence Analysis of STORM Under Different Geometries

说明不同几何条件下 STORM 方法的收敛性分析

简介论文研究 STORM(随机递归动量)优化方法在非凸、凸与强凸目标下的收敛速率,不依赖平均光滑性假设。作者设计辅助序列进行分析,证明非凸目标下仍可达到 O(T^{-1/4}) 速率,并在凸与强凸情形下给出最优速率。所有结果使用同一递归形式,仅调整超参数。

Wei Jiang, Yibo Wang, Wenhao Yang 等

arXiv cs.CV · cs.AI 有代码

Before It Fades: Reinforcing Temporal Representations at Inference Time in VideoLLMs

说明在推理时强化视频大语言模型的时序表示(Before It Fades)

简介论文发现视频大语言模型(VideoLLMs)即使把帧顺序反转,最终回答常常不变,说明时序推理存在缺陷。作者定义了时序差异向量,发现其在中间层达到峰值后逐层衰减,因而提出无需训练的时序激活注入方法(TAI),把中间层的时序信息按衰减规律重新注入后续各层。作者称该方法在三个模型、四个基准上提升了时序推理表现,对非时序任务影响很小。

Youngwoo Shin, Yusung Ro, Minseo Kim 等

arXiv cs.CL · cs.LG

Which LLM to pick? Online Active Model Selection for Large Language Models

说明如何挑选大语言模型?面向大语言模型的在线主动模型选择

简介该论文提出 ONLINE LLM PICKER,一个用于在线场景下为大语言模型做主动模型选择的框架。在有限标注预算下,它挑选信息量最大的提示进行标注,以找出候选模型中最优的模型。作者在涵盖 10 个数据集、130 多个语言模型的多项任务上进行了实验,报告其最多节省 71.67% 的标注成本,并能可靠地识别出最优或接近最优的模型。

Alessandro Turrin, Patrik Okanovic, Torsten Hoefler 等

arXiv cs.LG · cs.CV

Two Routes to the Middle: Placement Search and Brain Readouts Converge on Where Continual Learners Should Specialize

说明通向中间层的两条路径:放置搜索与脑信号读出都指向持续学习者应专门化的位置

简介论文研究在视觉Transformer中只在少数层放置任务专用适配器时应放在哪里。通过对所有连续四层组合的训练搜索发现,最终准确率在中间深度达到峰值,波动可达3.5个百分点;而基于权重谱或激活统计的低成本准则则倾向于最深层。作者进一步提出LS-B方法,利用冻结的fMRI编码模型在早期任务中确定专用层,无需标签或反向传播,在ImageNet-R分割任务上以60%的适配器存储保持接近完整性能。

Yuan Huang, Zihan Chen, Runbin Zhang 等

arXiv cs.CV

PAGER: Partial-to-global Alignment via Geometric and Relational Distillation

说明PAGER:通过几何与关系蒸馏实现局部到全局的对齐

简介该论文指出,在全局重建场景上预训练的3D编码器,在处理相机坐标系下的局部单视角观测时性能严重下降,例如冻结的Sonata编码器在单帧输入上仅达到2.57 mIoU,而全场景为72.47 mIoU。作者提出PAGER方法,利用成对的局部与全局几何数据,在无需局部标签的情况下训练轻量适配模块,将局部特征与冻结的全局语义空间对齐。实验显示其效果优于基于标签的参数高效微调方法,并在ScanNet到ScanNet++的零样本迁移中超过全量微调的Sonata。

Akira-Miranda Adeyomi Adeniran-Lowe, Binod Singh, Lars Arnold Dethlefsen 等

arXiv cs.NE · cs.LG

Continual Reinforcement Learning with Neuroevolution

说明基于神经进化的持续强化学习:用权重空间搜索应对任务不断变化

简介论文指出,现有强化学习方法在任务持续变化时难以兼顾适应新任务与保留旧能力。作者改用神经进化(直接在权重空间中通过变异与选择搜索神经网络),将进化策略与遗传算法同多种持续强化学习方法及基于种群的强化学习进行比较。结果显示进化策略总体上最能平衡稳定性与可塑性,遗传算法可塑性最强但遗忘更多。

Eleni Nisioti, Andrea Cossu, Kathrin Korte 等

arXiv cs.AI

Evaluating Physical Consistency and Plausibility in Generative Scenario Models for Autonomous Driving

说明评估自动驾驶生成式场景模型的物理一致性与合理性

简介本文提出一种分五层的评估协议,用于检查自动驾驶场景生成模型的内部表示与输出是否符合车辆动力学。前四层分析潜在空间与运动学特征的对齐、统计基线比较、潜在可控性及激活情况,第五层检验输出是否满足横向加加速度阈值等约束。作者以基于变分自编码器(VAE)的场景生成器为例进行演示,并表明该协议也可用于其他生成模型。

Manasa Mariam Mammen, Zafer Kayatas, Stefan Wagner

arXiv cs.LG · cs.AI

Beyond Pointwise Error: A Multi-Metric Evaluation of Spatial Climate Downscaling

说明超越逐点误差:空间气候降尺度的多指标评估

简介本文针对气候降尺度(由粗分辨率数据重建精细空间场)的评估问题,提出多指标基准。研究比较了五种空间降尺度方法在ERA5温度、风速和降水场上的表现,采用逐点误差、结构相似性、分布误差、谱误差和梯度误差五类指标。结果显示,空间保真度与精细尺度变率之间存在系统性权衡,方法排名会随指标和变量而改变,因此文章认为不存在单一最优方法,多指标评估十分必要。

Loys Masquelier, Etienne Le Naour

★★★★☆ 值得关注
arXiv stat.ML · cond-mat.dis-nn · cs.LG

The hidden advantage of mask resampling: a theory of masked autoencoders

说明掩码重采样的隐藏优势:掩码自编码器理论

简介本文在高维模型中研究掩码自编码器(MAE),说明掩码线性重建在无掩码重建(等价于PCA)失效的情况下,仍能以线性样本复杂度恢复潜在特征。文章还量化了掩码重采样的统计优势,并指出随机裁剪和翻转会掩盖这一优势,去除这些变换后,动态掩码在CNN和视觉Transformer上表现更好。

看点证明掩码线性重建在无掩码方法失效的区域可以以线性样本复杂度恢复潜在特征,并量化了掩码重采样的优势,理论与实验相互印证。

Jorge Medina Moreira, Lorenzo Bardone, Lenka Zdeborov\'a

arXiv math.OC · cs.LG

Optimal Momentum Methods for Stochastic Multilevel Compositional Optimization

说明随机多层复合优化的最优动量方法:一种用于嵌套非凸目标的收敛速率改进算法

简介本文研究目标函数为多个光滑非凸函数嵌套复合的随机多层优化问题,仅能获取各层梯度与函数值的随机估计。作者用小批量动量估计器跟踪各层函数值并构造动量梯度估计,证明达到ε-稳定点的样本复杂度为O(ε^-4),且无需较强的平均光滑性假设。文中还给出无需小批量的批量自由方法及在风险厌恶组合优化和分层倾斜经验风险最小化上的实验验证。

Wei Jiang, Rui Yan, Sifan Yang 等

arXiv cs.MA · cs.AI · cs.LG

Managing Context and Communication in Distributed Agentic UAV Swarms

说明分布式智能无人机群中的上下文与通信管理

简介本文研究由多架无人机组成的分布式集群,每架无人机运行一个独立的小型语言模型进行任务推理,因而需要解决信息管理问题。作者提出一种分布式无人机智能体架构,采用事件驱动的推理-行动-观察循环,并按核心、本地和对等节点分层组织运行时知识。在十架无人机的模拟搜救任务中,该方法完成了全部实验运行,而无限制泛洪消息仅完成70%至85%。与无限制泛洪相比,该方法约使推理令牌消耗减半,并降低了传输数据量与幸存者计数误差。

Andrea Iannoli, Ivan Zyrianoff, Angelo Trotta 等

★★★★☆ 值得关注
arXiv cs.LG

Towards Optimal Policy Improvement

说明迈向最优策略改进:一种在近似评估下进行贪心化的新算子

简介该论文从第一性原理出发研究策略改进,将单次更新中可获得的最优策略定义为最优策略改进。作者证明,在状态子集上的最优改进等价于求解一个诱导MDP,并在近似评估约束下将贪心化表述为不确定性下的概率决策问题,由此推导出一个新算子。实验显示,该算子及其基于梯度的近似在多种强化学习算法和场景中整体提升了性能。

看点提出最优策略改进的形式化定义并推导新算子,在多种RL算法和离散、连续动作设置中验证了整体性能提升,证据较充分。

Yaniv Oren, Viliam Vadocz, Wiktor Zabka 等

arXiv cs.CL · cs.LG · cs.SD

AURAL: Adaptive Latent Reasoning with Joint Chunk for Speech Language Models

说明AURAL:面向语音语言模型、结合联合分块的自适应潜在推理

简介本文提出AURAL方法,在潜在空间中建模多条合理的推理路径,并联合预测未来状态的分块,以减少顺序前向计算和推理延迟。为此构建了包含约1000小时双语语音、683K条的AuralReason-683K数据集,用于情感识别、共情对话和通用推理的简洁思维链监督。在Qwen2.5-Omni上,首个答案词元的时间从1.22秒降至0.10秒,快了11.8倍。

Yuxiang Wang, Kunyu Feng, Yuancheng Wang 等

arXiv cs.RO · cs.AI · cs.LG

Completion Aware Guidance for World Action Models

说明世界动作模型的完成感知引导:一种免训练的采样方法,用于减少任务未完成的想象

简介论文指出,世界动作模型(WAMs)在短片段控制下容易生成看似合理、动作一致但遗漏任务完成所需转换的预测。作者提出完成感知引导(CAG),这是一种免训练的采样方法,使生成结果朝向任务完成方向。文中报告,在代表性WAMs上,CAG使RoboTwin 2.0子集的成功率从64%提升到70%,零样本仿真从69%提升到75%,并将任务未完成的想象比例从79%降到40%。

Seungyeon Kim, Junhoo Lee, Baekseung Kim 等

arXiv cs.LG · cs.CL

QK-Wanda: Coupling Queries and Keys for Unstructured Pruning

说明QK-Wanda:在非结构化剪枝中耦合查询与键的权重

简介该论文提出 QK-Wanda 方法,在大语言模型剪枝中同时为查询(query)和键(key)投影的权重打分,并让两者共享剪枝预算,而不像 Wanda 那样各自独立打分。该方法使用闭式打分,无需梯度或权重更新,计算开销仅比 Wanda 略高。作者在 15 个模型(0.5B 至 72B 参数)上评估,结果显示 QK 重建误差平均降低,但下游效果因模型而异,部分模型困惑度更高。

Ivan Ilin, Peter Richt\'arik

arXiv cs.IR · cs.CL

From Rules to Neural Graphs: Scalable Structured Prediction for Patent Prior Art Search

说明从规则到神经图:面向专利现有技术检索的可扩展结构化预测

简介专利检索需要处理动辄数万词元的长文档,多数神经检索方法只能处理截断后的输入。本文提出神经解析器,借鉴依存句法分析中的双仿射注意力,直接从专利文本预测发明图;局部注意力把计算复杂度从O(n²)降到O(n·w),模型在短序列上训练后可直接用于超过40,000词元的文档。该模型由100万篇规则解析文档蒸馏而来,在下游图Transformer检索系统中,神经图使引用召回率在短查询上提升0.5%,在完整文档上提升1.1%。

Nikolai Zenovkin, Sebastian Bj\"orkqvist

arXiv cs.LG

Range-GRPO: Policy Optimization via Pairwise Relations among Reward Intervals

说明Range-GRPO:基于奖励区间两两关系的策略优化方法

简介这篇论文研究大语言模型后训练中缺少可靠标注时的监督问题。作者用 LLM-as-a-Judge 为无标注回答给出经共形校准的奖励区间,而不是单一分数。提出的 Range-GRPO 在 GRPO 框架下对奖励区间做两两比较,使区间的不确定性同时影响学习信号的大小和方向。论文报告其在分布内和分布外的平均表现在评估的半监督方法中最高,且所需训练资源更少。

Ryunyi Lee, Kangjun Noh, Somin Kim 等

★★★★☆ 值得关注
arXiv math.OC · cs.AI · cs.LG

Reinforcement Learning to Accelerate Primal-Dual Hybrid Gradient for Linear Programming

说明用强化学习加速线性规划的原始-对偶混合梯度方法

简介该论文提出 GALLOP,用强化学习同时学习 PDHG 算法的连续参数与离散重启决策,无需对求解器求导。在六类线性规划及一个公开基准上,GALLOP 减少了迭代次数并提升了算法的实际运行速度;每类训练一个策略后,可直接泛化到规模大得多的同类问题。

看点用强化学习联合学习PDHG的连续参数与重启决策,并提出广义加速更新,新意明显;在六类LP上迭代次数降低1.9–5.6倍,最高提速16倍,证据较充分。

Jinhwan Sul, Alex Oshin, Evangelos A. Theodorou