AI 算法 · 2026年10月8日(周四)

机器学习、人工智能、自然语言处理、计算机视觉、多智能体。

arXiv cs.CL

CoTrace: Data Recipes for Training Terminal Agents with Harness-Model Co-Evolution

说明CoTrace:面向终端智能体的 Harness 与模型协同进化数据配方

简介该论文指出,终端智能体的能力同时取决于模型权重和运行时 harness(负责提示格式化、工具绑定与错误恢复)。作者提出交替式协同进化框架 CoTrace,依据 harness 对轨迹进行路由与匹配,仅用与当前运行时一致且经过验证的轨迹进行监督微调或在线强化学习。在 Tmax 划分上,Qwen3.5-9B 的已解任务数从 78 提升到 88(监督微调)及 90(在线强化学习)。

Jixuan Chen, Jiaxin Zhang, Qinyuan Ye 等

arXiv cs.CV 有代码

GraphRectify: Graph-Based Transfer of Adversarial Example Detectors Across Neural Networks

说明GraphRectify:基于图结构在不同神经网络之间迁移对抗样本检测器

简介该论文提出 GraphRectify,一种基于图的框架,用于把对抗图像检测器从一个分类器主干迁移到另一个主干。方法先学习中间层特征的结构化图表示,再把新主干的表示适配到原模型上训练好的检测器上,从而实现检测器复用。作者在多个数据集、主干架构和对抗攻击(包括同时针对分类器与检测器的自适应攻击)上进行评估,总体 ROC-AUC 高于在新主干上从零训练检测器及其他迁移消融方案;在数据不足的情况下,从零训练仍具竞争力。

Arash Vashagh, Roozbeh Razavi-Far

arXiv cs.LG · cs.CL

Which Rollout Taught It That? BehaviorTrace and the Limits of Training-Data Attribution in Online RL

说明哪条训练样本教会了模型这个行为?BehaviorTrace与在线强化学习中训练数据归因的局限

简介本文研究在使用GRPO进行在线强化学习微调时,能否找出教会语言模型某一新行为的训练样本。作者发布了开源评测工具BehaviorTrace,在Qwen2.5-1.5B上以已知成因的植入行为进行实验,并加入梯度大小、流畅度等对照。结果显示,表面上的归因信号大多来自混杂因素,只有触发词的梯度在三个随机种子上都与行为发生处的目标相符,作者据此给出RL归因评估清单。

Amit Nautiyal

arXiv cs.SD · cs.LG · eess.AS

Steerspeech: Activation Steering For Emotion Control In Generated Speech

说明SteerSpeech:用于生成语音情感控制的激活引导方法

简介该论文提出SteerSpeech,一种轻量级激活引导框架,通过向隐藏激活注入引导向量来控制预训练文本转语音模型生成语音的情感。方法为每种目标情感训练低秩变换,并保持TTS主干冻结。在Qwen3-TTS上的评测显示,相比基线,目标情感得分提高1.08至7.12倍,说话人与内容退化有限。

Afsara Benazir, Darius P\'etermann, Felix Xiaozhu Lin 等

arXiv cs.LG · cs.AI · cs.CL

Training Parallel Speculative Draft Models by Directly Minimizing Expected Decoding Rounds

说明通过直接最小化预期解码轮数训练并行推测草稿模型

简介该论文针对并行与半自回归推测解码的草稿模型训练问题,指出现有基于块内局部替代目标的训练方式忽略了跨轮次耦合,无法直接优化全局解码效率。作者将推测解码建模为马尔可夫奖励过程,提出预期解码轮数(EDR)目标,并推导出可用于无偏随机优化的精确时序差分梯度。在对 DSpark 和 DFly 两个草稿模型进行 EDR 微调后,在九个涵盖数学推理、代码生成和对话的基准上,平均接受长度均优于现有训练目标。

Yunxiao Zhao, Changxiao Cai

arXiv cs.RO · cs.LG

RobotWorld: Benchmarking Multimodal Agents for Robot Use Across Diverse Tasks and Embodiments

说明RobotWorld:面向多种任务与机器人形态的多模态智能体机器人操作基准

简介该论文提出 RobotWorld,一个用于评估智能体通过机器人接口执行物理任务能力的仿真测试平台,包含 84 项涵盖操作、移动操作、移动、驾驶和空中控制的任务。研究通过任务结果与执行轨迹分析发现,智能体能构建复杂的感知与控制流程,但这些能力难以稳定组合成成功行为,并且不同模型在不同类型目标上的表现有所差异。

Zhiqin Yang, Chenxin Li, Xiaomeng Hu 等

★★★★☆ 值得关注
arXiv cs.CV · cs.CG · cs.LG

Rubix: Global Correspondence-Free Point Set Alignment through Assignment Geometry

说明Rubix:通过分配几何实现全局无对应点集对齐

简介该论文针对无需给定点对应关系的点集对齐问题,提出Rubix方法,在平面等权情形下于平方欧氏损失下全局求解。方法利用匹配的复相关向量构成的凸包(置换多边形)来求得全局最优对齐,并证明顶点数上界为n(n-1),回答了Rote提出的旋转-分配开放问题。实验表明,在MPEG-7形状数据上该方法在12毫秒内达到数值参考值,比同精度的旋转网格快约50倍。

看点将无对应点集配准转化为排列多边形的凸包几何问题,给出n(n-1)顶点的紧界并回答Rote公开问题,理论新颖;实验在MPEG-7形状与3D扫描上验证,速度比旋转网格快50倍。

Subhransu S. Bhattacharjee, Dylan Campbell, Rahul Shome

arXiv cs.AI · cs.CL

Reasoning-Token Spikes Under Prompted Untruthful Responses in Large Language Models

说明提示大语言模型给出不如实回答时,推理令牌数量出现峰值

简介该论文研究在系统提示要求模型如实、撒谎或不顾真假作答时,推理令牌的生成数量是否不同。三个具备推理能力的大语言模型回答了210道选择题,结果显示如实作答所生成的推理令牌比撒谎或不顾真假的作答少,且在一个模型中不如实指令还提高了推理的可能性。作者认为推理令牌数量可作为一种与内容无关的黑盒候选信号,但尚未证明它能检测自发欺骗。

Maverick Morales, Tom\'a\v{s} Dominik, Vermut Gao 等

arXiv cs.CV

Self-correction Optimization for Interleaved Multimodal Generation

说明面向交错式多模态生成的自我修正优化

简介本文提出自我修正优化(SCO),一种无需额外训练的方法,用于提升图文交错内容生成的一致性。该方法以无分类器引导的更新作为参照,在新事件和状态保持两项约束下进行最小化的自我修正,分别改善时序连贯性和视觉主体的保持。实验显示,在交错式多模态生成基准上,时序连贯性和视觉主体保持均有明显提升;该方法还可扩展到视频生成,改善机器人操作等物理过程的建模。

Xin You, Zhiwei Ning, Zukai Chen 等

arXiv cs.LG

Cross-Domain Pretraining for Steady-State Neural CFD Surrogates

说明用于稳态神经CFD代理模型的跨领域预训练

简介本文研究用于计算流体动力学(CFD)的神经代理模型,它可以加速仿真,但通常难以泛化到训练集之外的几何形状和应用场景。作者在不同几何、边界条件和精度的数据上训练模型,发现跨领域预训练在零样本和少样本场景下优于从头训练和迁移领域专家模型。文中指出,微调预训练模型可在相同样本量下将误差降低2到3倍,或以约八分之一的样本量达到相同误差;简单汇集稳态数据集即可有效。

Anthony Zhou, Amir Barati Farimani, Shirley Ho 等

arXiv cs.CV 有代码

Gaussian Density Splatting Network

说明高斯密度溅射网络:一种基于连续高斯基元的人群计数方法

简介本文提出高斯密度溅射网络(GDSNet),用于人群计数。与依赖网格式密度图、对空间分辨率敏感的方法不同,该方法把人群表示为连续二维高斯基元的叠加。其核心包括:一种基于控制点的拟合机制来预测高斯参数,以及将可微高斯溅射框架应用于计数任务,实现端到端训练。作者称在四个标准基准上的实验中,GDSNet 持续优于现有最先进方法。

Miao Shang, Yabin Wang, and Xiaopeng Hong

arXiv cs.LG

Executing Causal Structure Learning with Linear-Attention Transformers

说明用线性注意力 Transformer 执行因果结构学习

简介本文研究 Transformer 能否在前向传播中执行因果发现算法。作者构造了一个固定权重的 Transformer 模块,使其前向传播精确复现一种连续优化方法的一次更新,并在更新之间保存当前因果图和拉格朗日乘子。实验表明该模块与参考更新在浮点精度内一致,但执行结果会继承参考求解器在因果恢复上的成功与失败;普通注意力模型则无法可靠执行。

Amartya Roy, Sayar Karmakar

arXiv cs.LG

Kernel Autoresearch for Open-Ended Model Discovery

说明核函数自动研究:面向开放式模型发现的核设计方法

简介论文提出 Kernel Autoresearch(Kernaut),把核函数设计视为开放式模型发现。编码智能体以程序形式编写核函数,构造合约保证每个被接受的核函数有效,质量-多样性档案保留表现优秀且行为各异的核函数。实验显示,所发现的核函数能在未见任务上泛化,并在若干基准上优于对照基线。

Richard Cornelius Suwandi, Feng Yin, Kevin Murphy

arXiv stat.ML · cs.LG · math.OC

Safe Meta-Policy Design with Risk Control

说明带风险控制的安全元策略设计:决定何时更新模型的离线规划方法

简介论文研究在新模型训练出来之前,如何规划何时替换策略,以兼顾性能提升与退化风险。作者设定了更新次数上限约束(更新后表现变差的期望次数不超过预算),用历史学习轨迹估计每次切换的收益与风险,并用有向无环图上的动态规划选择更新方案。实验在合成数据和临床试验数据上展示了性能与风险的权衡,并与其他基线方法作了比较。

Wenbin Zhou, Michael Lingzhi Li, Shixiang Zhu

arXiv cs.CV

MOTIP2: Spatial Priors for End-to-End Multi-Object Tracking

说明MOTIP2:面向端到端多目标跟踪的空间先验

简介端到端多目标跟踪器在关联困难的基准上已接近经典检测-跟踪方法,但仍会犯经典跟踪器不会犯的空间不合理错误,例如把画面两侧的物体分配同一身份。论文提出数据、损失和表示三个层面的空间先验,并在基于DEIM检测Transformer的MOTIP2中实现。论文称其主模型MOTIP2-L在DanceTrack、SportsMOT和PersonPath22上取得新的最优结果,在不使用额外数据的情况下分别达到73.4、76.0的HOTA和71.1的IDF1。

Beno\^it Roussel, Damien Bouet, Liming Chen 等

arXiv cs.CV

Explicit Geometric Chain-of-Thought for Vision-Language-Action in Autonomous Driving

说明面向自动驾驶视觉-语言-动作模型的显式几何思维链(GeoCoTDrive)

简介视觉-语言-动作(VLA)模型用于自动驾驶时,驾驶动作需要精确的三维几何信息,而视觉语言推理多在二维语义空间进行,两者存在错配。本文提出 GeoCoTDrive 框架,先在二维中定位对决策关键的区域,再从几何基础模型在这些区域内采样局部三维特征,并将其插入自回归上下文以生成轨迹。文中还提出规划相关的区域级定位任务并构建 PlanningGrounding 数据集,多个端到端自动驾驶基准上的实验显示安全关键规划性能有所提升。

Xingtai Gui, Yucheng Zhou, Dongqian Guo 等

★★★★☆ 值得关注
arXiv cs.RO · cs.AI · cs.CV

RoboQuest: Generalist Physical Agents that Search, Inspect and Test

说明RoboQuest:能搜索、检查与测试的通用物理智能体

简介该论文提出 RoboQuest 基准,用于评估智能体在陌生环境中通过物理交互主动获取任务相关信息的能力,涵盖搜索、操作检查与交互测试三类不确定性共十项移动操作任务。作者评估了五个前沿多模态智能体及一个经微调的策略模型,最佳智能体仅成功 23% 的回合,微调策略几乎无成功。分析认为,多数失败并非源于执行能力,而在于智能体过早停止探索、很少避免或修复探索造成的干扰,且通过试错学习仍然困难。

看点提出面向目标导向具身探索的新基准,覆盖搜索、检验和交互测试三类不确定性,并对多个前沿模型做了系统评估。

Liu Renhang, Navonil Majumder, Tej Deep Pala 等

arXiv cs.LG

OrBIT: Structure-Guided Embedding Compression

说明OrBIT:结构引导的嵌入压缩方法

简介本文提出OrBIT框架,用于压缩大语言模型中体积很大的嵌入表。该方法从轨道动态中学习可复用的局部几何结构,并用它约束一小组共享码字,再由全局重建残差决定固定存储预算的分配位置。实验显示,相较16位存储,OrBIT在GPT-2嵌入表上实现37.9倍压缩,在四个大语言模型嵌入表中,7B模型的各表压缩比均超过23倍,率失真表现与现有量化和低秩基线相当。

Yunied Puig, Amit Kumar Jaiswal

arXiv cs.LG · cs.AI

Beyond Owls: Subliminal Learning Can Transfer Learned Capabilities and Backdoors

说明超越猫头鹰:潜意识学习可以迁移习得的能力与后门

简介该论文研究“潜意识学习”(一个模型通过与某特质语义无关的数据蒸馏,把该特质传给另一个模型)能否迁移更广泛、更复杂的特质。实验显示,学生模型能学会预测随机初始化MLP的输出,并能部分习得法语回答的后门(女性名字提示时23.5%,男性名字为0.0%),在国际象棋环境中的黑客行为比例也从10.9%升至58.3%。迁移程度受设置影响。

Jan Dubi\'nski, Anna Sztyber-Betley, Jan Betley 等

arXiv cs.LG

Boosting and the Expressive Power of Simple Weak Learners via the γ-VC Dimension

说明通过γ-VC维度研究提升方法与简单弱学习器的表达能力

简介论文研究提升(boosting)方法:如何把仅略优于随机猜测的弱假设组合成高精度预测器,以及基础假设类结构对最终分类器表达能力的影响。作者使用 Alon 等人(STOC 2021)提出的γ-VC维度作为分析工具。文中指出该参数可以刻画弱到强学习的样本复杂度(相差一个与γ相关的常数因子),改进了经典VC维度与γ-VC维度之间的关系,并给出决策桩与 R^d 中轴平行矩形两类基础概念类的γ-VC维度改进上下界。

Arthur da Cunha, Kasper Green Larsen, Liang-Yu Zou

arXiv cs.LG

ResidualQuant: KV Cache Quantization for Looped Transformers with 2-Bit Residuals

说明ResidualQuant:面向循环Transformer、采用2比特残差的KV缓存量化方法

简介循环Transformer通过多次重复调用共享的Transformer模块来提高参数效率,但其KV缓存内存随循环次数增长,限制了批量大小和推理吞吐量。本文提出ResidualQuant,以最后一轮循环的KV状态为参考,用低精度残差表示其余循环,并结合最小二乘缩放、残差旋转和分循环混合精度,实现低至INT2的量化。在多个循环Transformer模型和数学推理、代码生成基准上,该方法在相同内存下优于基于旋转的KV量化方法,理论KV存储减少80.7%,并在RTX 5090上提升了解码吞吐量。

Heejun Kim, Junyoung Lee, SangLyul Cho 等

arXiv cs.LG

Continual Learning without Continual Training

说明无需持续训练的持续学习:用上下文推断代替参数更新

简介该论文提出 Latent Concept PFN,一种元训练后冻结参数的模型,在潜在概念空间中进行上下文贝叶斯推断。新类别或新领域到来时,只把样本加入记忆集,通过更新后验信念适应,而不做梯度更新,从而减少遗忘。实验显示其在类别和领域增量学习上表现有竞争力,并能学到可解释的潜在概念。

Nikita Narayanan, Ritham Majumdarr, Sonali Parbhoo

arXiv cs.CL

Document-Level Text Simplification in Estonian Using Large Language Models

说明用大型语言模型对爱沙尼亚语文档进行篇章级文本简化

简介本文研究如何用大型语言模型对爱沙尼亚语长文本做篇章级简化,不仅调整句子,还关注篇章连贯、指代消解和段落间一致性。作者评估了五个多语言大模型,比较单次生成、模块化流水线和加入指南的流水线三种提示策略,并结合自动指标与人工标注进行评测。结果显示Gemini-2.0与LLaMA-3.3的输出流畅度接近母语水平、语义保留较好,其他模型则存在明显的语法和语义问题。

Meeri-Ly Muru, Eduard Barbu

arXiv cs.SE · cs.AI

TaoD2C-Bench: Benchmarking MLLMs for Industrial UI Code Generation Beyond Visual Fidelity

说明TaoD2C-Bench:面向工业界UI代码生成的多模态大模型评测基准,关注超越视觉还原的实现要求

简介该论文提出TaoD2C-Bench,用于评估多模态大语言模型能否把UI设计稿生成满足工业实现要求的代码。数据集包含来自17个商业平台的2861份设计稿及97652条专家标注,涵盖组件、分组、对齐和位置四类。基准定义了端到端代码生成、需求推断和需求实现三项任务,对八个模型的评测显示其在满足实现要求方面存在明显差距,且视觉还原能力并不等同于生成合规代码的能力。

Chengwei Shi, Yunnong Chen, Tingting Zhou 等

arXiv cs.HC · cs.CV

PalmSpace: Towards a Versatile On-Palm Interaction Space through Unified Touch Modeling

说明PalmSpace:通过统一触摸建模打造通用的掌上交互空间

简介这篇论文提出 PalmSpace,一种佩戴在手腕上的红外系统,可在裸露手掌上实现带模式感知、以手掌为参照的绝对位置输入,无需为每位用户单独校准。系统在 17 名参与者的留一人评估中,平均定位误差为 6.7 毫米,接触检测准确率为 98.9%,四类交互状态识别的 F1 为 96.7%。用户研究还展示了绝对指向与拖拽、闭眼数字输入,以及滚动和捏合缩放地图等多指操作。

Chentao Li, Mingze Gao, Runze Sun 等

arXiv cs.LG · cs.CL · cs.SE

Input-Blind Controls Produce Substantial Oracle Headroom for Layer Programs in Multiple-Choice Evaluation

说明无输入依赖的对照扰动也能在层程序上产生可观的理论提升空间

简介该论文研究用于语言模型多选题评估的层跳跃与重复程序,并使用已知答案的预言式评估估计自适应计算的潜在收益。作者将这些程序与在相同层位置施加、不依赖输入的扰动对照进行比较,结果显示两者都能产生相近规模的提升空间。论文认为,这一提升空间并不足以证明所选层计算本身带来了特定收益。

Yibei Guo, Rui Liu

arXiv cs.LG · cs.RO 有代码

Temporally Interpretable Differentiable Decision Trees

说明可解释的时间可微决策树:通过动作分块提升时间可解释性

简介该论文针对序贯决策任务中可微决策树(DDT)的可解释性问题,提出将时间作为新的可解释性维度,称为时间可解释性,并利用动作分块实现时间抽象来改进它。作者提出了两种结合动作分块的策略梯度算法,并设计了基于信息论的树结构重构算法以保持参数高效。在四个仿真环境中,从蒸馏的动作分块策略进行热启动训练的决策树效果最好,在其中三个环境中与神经网络策略相当,同时参数量最多减少80%。

Eisuke Hirota, Aarav Sane, Rohan Paleja

arXiv cs.LG · math.DS · stat.ML

Koopman Observers for Diffusion Acceleration: Correcting Feature Forecasts with Shallow Measurements

说明用于扩散加速的 Koopman 观测器:用浅层测量校正特征预测

简介该论文提出一种基于 Koopman 算子的观测校正框架,用于加速冻结的扩散模型采样。方法利用标定轨迹拟合描述浅层与深层网络特征增量的时变近似算子,采样时以新计算的浅层特征创新量校正对深层特征的预测,并周期性做完整前向计算以刷新观测器,且不改动生成模型参数。在 CIFAR-10 与 ImageNet 十类子集上,相比逐通道仿射预测,论文报告 Inception 特征 MSE 分别降低 19.9% 与 11.9%,相对 DDIM-50 的实测加速约为 1.89 倍和 1.85 倍。

Hanru Bai, Yuanchao Xu, Fengyi Li

arXiv cs.IT · cs.LG · math.IT

Pathwise Information Certificates for Decentralized Adaptive Sensing

说明分散式自适应传感的路径信息证书:用实际采集的证据判断多智能体感知是否足够

简介本文研究多个智能体在通信网络上交换信息、并依据局部信念选择测量的分散式自适应传感。作者提出一种基于实际采样轨迹累积的Rényi-Chernoff信息的路径证书,给出非渐近的MAP误差界和适用于任意历史依赖策略的随时停止规则。研究表明,信息相对最难区分的竞争假设线性增长时,误差呈指数衰减;在一维和结构化二维实验中,最坏竞争者得分与定位速度的相关性高于平均配对指标。

Theodoros Tsiligkaridis

arXiv cs.LG

ORDERS: An Empirical Study of Norm-Rank Aggregation for Personalized Federated Learning

说明ORDERS:面向个性化联邦学习的范数排序聚合实证研究

简介本文研究一种名为ORDERS的个性化联邦学习配置,结合共享主干网络、客户端私有残差适配器与分类器,并按更新范数降序分配几何权重。服务器对同一广播模型得到的更新做加权求和。在两个数据集、五个随机种子共80次最终运行中,ORDERS在CIFAR-10每客户端两类设置下的原生平均客户端准确率为80.51±0.79%,在Sent140上为74.71±0.49%。消融实验仅提供有限且依赖端点的证据。

Koffka Khan

★★★★☆ 值得关注
arXiv cs.RO · cs.CV 有代码

MultiFly: A Real-World Multimodal Aerial Dataset with Annotation-Efficient Label Transfer and Cross-Modal Semantic Consistency

说明MultiFly:带标注高效标签迁移与跨模态语义一致性的真实低空多模态无人机数据集

简介本文提出 MultiFly,一个面向 RGB、热成像、LiDAR 和雷达四种模态语义感知的真实低空无人机数据集,包含来自四个郊区场景的 17,272 组同步样本,并标注了 15 个语义类别。作者仅人工标注 115 张 RGB 图像,再通过共享几何表示将标签迁移到所有模态,平均与人工标注的一致率为 89.93%。文中还为四种模态建立了语义分割基准。

看点通过共享几何表示将仅115张人工标注的RGB图像标签迁移至四种模态,并在大规模真实低空数据上建立分割基准,证据充分。

Markus Gross, Andreas Greiner, Taehyoung Kim 等

arXiv cs.AI

Open-MMUnlearning: Unifying Methods and Evaluation for MLLM Unlearning

说明Open-MMUnlearning:统一多模态大模型遗忘方法与评测的开源框架

简介本文提出Open-MMUnlearning,一个开源、可扩展的框架,用于多模态大语言模型的机器遗忘,整合模型准备、数据处理、遗忘与评测,涵盖隐私、安全和版权五类基准、八个模型及十二种遗忘方法。在统一协议下比较十种方法,GD与MIP-Editor综合得分并列最高,前者遗忘质量最好,后者保留模型效用更多。作者还提出评测指标的元评估方法,在十三个指标中,BLEU综合可靠性最高。

Junkai Chen, Yuhao He, Qianshan Wei 等

arXiv cs.SD · cs.AI

MIRA: A Musical Intent Refinement Agent for Aligning Text-to-Music Generation with User Intent

说明MIRA:让文本生成音乐更贴合用户意图的优化代理

简介该论文指出,现有文本生成音乐系统的评估只看整体相关性,难以判断结果是否符合用户的具体要求和隐含意图。作者提出按条目逐项验证的评分标准,并构建了由音乐专家整理的 MuRA-Bench 基准。同时提出 MIRA 代理,在有限预算下迭代修改提示词并验证生成结果,实验显示开源模型可接近部分商业系统的表现。

Zekai Liu, Zhilin Wang, Xuzheng He 等

arXiv cs.AI · cs.HC

The Handover Problem: Governing Autonomy Transitions in Human-AI Collaboration

说明交接问题:人机协作中自主权转移的治理

简介本文提出“交接问题”,即在多轮人机协作中每个运行周期决定提升、维持或收回AI自主权,并保持过程可逆、可恢复、可审计。作者提出交接就绪分数(HRS),综合操作者准备度、人机信任、学习稳定性和运行表现四类信号,并配合带滞后机制的转换策略。论文称,在软件工程和制造业场景中,HRS与硬性安全防护分别应对不同类型的失效。

Vicente Pelechano, Antoni Mestre, Manoli Albert 等

arXiv cs.LG

AutoAdapt: Automatic Domain Discovery Enables Low-Cost Extensibility

说明AutoAdapt:自动发现领域以实现低成本扩展

简介这篇论文提出 AutoAdapt 框架,用于在不重新训练整个模型的情况下加入新领域或新数据。它自动发现潜在领域,并为每个领域独立、并行地训练 LoRA 适配器,再通过无参数路由进行调用。在 14 个领域基准及 GPT-4o 两两比较评判中,其表现与在全部领域上训练的 LoRA 适配器相当。

Josh McGiff, Salma Mekaoui, Robert Shanahan 等

arXiv stat.ML · cs.LG

Dataset Pruning from First Principles: A Label-Free Linear Programming Approach

说明从第一性原理出发的数据集剪枝:一种无需标签的线性规划方法

简介论文提出一种数据集剪枝方法,把大型训练集压缩为有代表性的子集,同时尽量保持模型性能。作者将无偏子集选择转化为方差最小化问题,推导出几何选择准则,选择过程无需标签,也无需训练模型。在 CIFAR-10、MNIST 和 CelebA 上,该方法在各个评估预算下的平均测试准确率均不低于均匀采样,在小预算时优于多数几何方法。该框架还可用于增加小批量内的多样性,以降低随机梯度方差。

Rodrigo Schuller, Francisco Ganacim

arXiv cs.CV

Real-Time Joint Audio-Video Generation by Parallel Adapter Composition

说明通过并行适配器组合实现实时音视频联合生成

简介论文提出一种实时联合生成音频与视频的方法。它不再依次蒸馏模型,而是在冻结的骨干网络上并行训练因果适配器,并与现成的少步采样适配器直接相加组合。作者称两者的权重更新方向近似正交,因此组合后互不干扰。结果显示,该系统在 480×832 分辨率下约 26 fps 实时生成,并能稳定持续生成 30 秒,多数指标与串联基线相当或更优。

Jingyu Li, Xiaoxiao Xiang, Yiwen Guo

arXiv cs.CV

Position Forcing: Self-Conditioning 3D Generation

说明位置强制:基于自我条件的三维生成

简介该论文针对单阶段三维生成模型中 VecSet 表示的隐式位置推断问题,提出 Position Forcing 框架。它在去噪过程中从当前干净潜变量估计中恢复 token 位置,按去噪阶段逐步细化量化,并把位置编码反馈给扩散 Transformer,以由粗到细的方式引导形状生成。实验表明,该方法在单阶段三维生成方法中表现较强,并优于若干多阶段方法。

Ziheng Ouyang, Zeqiang Lai, Jiarui Chen 等

★★★★☆ 值得关注
arXiv stat.ML · cs.LG

Data Reuse in Non-Stationary Learning

说明非平稳学习中的数据复用:在参数反复切换的环境里,重复利用过去观测的统计价值研究

简介本文研究非平稳环境下的在线学习,目标是追踪在有限个反复出现的取值之间突然切换的未知参数。作者提出一类任意时刻算法 Exposure-Capped Reuse(ECR),结合在线变化检测、兼容性检验和污染控制来复用历史数据。文中指出,在特定条件下 ECR 的遗憾随不同取值个数而非切换次数增长,并给出信息论下界,证明其近极小极大最优性。

看点提出可复用过往数据的ECR算法并给出近极小极大最优的信息论下界,理论贡献显著,对非平稳在线学习有实质推进。

Tomer Gafni, Garud Iyengar, Assaf Zeevi

arXiv cs.CV

When to Unpair: Regulating Pairing Dependence in Medical Visual In-Context Learning

说明何时解绑:调控医学视觉上下文学习中的配对依赖

简介视觉上下文学习利用支持集中的图像-标签对来演示输入输出映射,适用于医学影像等标注稀缺的场景。论文提出一种测试时打乱标签的方法来衡量模型对配对的依赖,并提出“后期解绑课程”(LUC)训练策略,先进行匹配训练,再随机解绑标签。结果显示,LUC在两种骨干网络上基本消除了配对差距,并在BraTS全肿瘤分割上将匹配支持的DSC从0.733提升至0.857,差距从-0.184缩小到-0.008。

Cheng Wan, Chenjun Li, Qingyu Zhao

arXiv cs.CV 有代码

How Private is Private? A Comparative Study for Face De-Identification

说明这篇论文如何衡量人脸去标识化的隐私保护效果:提出统一基准与评估指标

简介论文指出,现有人脸去标识化(FDeID)评估方法互不统一,数据集、指标和标注各不相同,导致不同方法难以直接比较。作者构建了人口分布较均衡的 UtilFace 基准数据集,并提出 HiFD 分层评估指标,将身份抑制、多层级效用保留和图像质量统一到一致性评分框架下。作者还用该协议比较了对抗式、GAN 和扩散模型等方法,并公开了基准与评估工具包。

Hui Wei, Hao Yu, Hui Kuurila-Zhang 等

arXiv cs.CL

Learning to Act with Task Progress: Distilling Small Agents from Compact Teacher Supervision

说明利用任务进度学习行动:从紧凑的教师监督中蒸馏小型智能体

简介论文提出任务进度蒸馏(TPD)方法,为大模型示范中的每个动作配上描述当前任务阶段的简短标签,让小模型学习这些紧凑目标并选择动作。在ALFWorld基准上,1.7B参数的学生模型用404条示范达到72.4%的未见任务成功率,明显高于推理训练的学生模型(48.3%)。作者还发现,在示范数量较少时,显式任务阶段信息带来额外收益。

Wenxi Gan

arXiv cs.LG · math.OC

Average-Reward Reinforcement Learning for Multichain MDPs: A Hierarchical Decomposition Approach

说明多链马尔可夫决策过程中的平均回报强化学习:一种分层分解方法

简介本文研究平均回报多链马尔可夫决策过程中的最优策略学习,最优增益可能依赖初始状态。作者提出一种基于异步值迭代的强化学习算法,仅需状态转移图,并借助Bather分解将状态空间分层划分为可通信子系统和瞬态状态,从而把全局决策问题转化为结构化子问题。文中证明该算法能收敛到最优增益并在有限时间后给出增益最优策略,并在此基础上提出两种进一步的算法,分别逼近近似增益最优和偏差最优策略,三者均给出几乎必然收敛保证,实验显示后两者在瞬态性能上更优。

Huizhen Yu, Isaiah Heidt

arXiv cs.CV · cs.AI

Performance at What Cost? A Sustainability-Aware Performance Index for Cell and Nucleus Instance Segmentation

说明性能需付出何种代价?面向细胞与细胞核实例分割的可持续性感知性能指标

简介本文比较了用于细胞与细胞核实例分割的多种预训练模型,它们在架构、参数量和计算需求上差异很大。作者提出可持续性感知性能指标(SAPI),综合分割性能、能耗和模型大小进行评估。研究发现,规模更大、计算更密集的模型并不总能带来相应的分割质量提升,且基于SAPI的排名与仅看性能的排名会有所不同。

Eiram Mahera Sheikh, Alaa Tharwat, Wolfram Schenck

arXiv cs.LG · cs.CE

HAN-Mamba: Hierarchical Selective State Space Networks for Multi-Scale Financial Volatility Forecasting

说明HAN-Mamba:面向多尺度金融波动率预测的分层选择性状态空间网络

简介该论文针对短期已实现波动率预测,提出HAN-Mamba模型,在分层架构中用选择性状态空间(Mamba)编码器替代原有的Transformer编码器,仅在融合层保留注意力机制。在Optiver已实现波动率预测基准上,按时间感知的五折交叉验证,该模型平均RMSPE优于HAN-T(0.1942对0.1965),参数减少33%,并可将高频上下文从60扩展到240个时间桶,降低误差至0.1927。

Mihai Bogdan Deaconu, Ioan Daniel Pop

arXiv cs.CV

From Digital Human Interactions to Physics-Based Humanoid Skills: Physics-Grounded Post-Training of Interaction Generators

说明从数字人交互到基于物理的人形机器人技能:交互生成器的物理约束后训练

简介该论文提出DIGHT框架,将数字人交互生成器与人形机器人跟踪策略相互协同优化。方法在仿真中执行文本条件下的多个交互候选,依据跟踪误差、摩擦和悬浮,以及接触发生、位置、持续时间和力大小等指标构建偏好,并用物理解耦的扩散直接偏好优化对生成器进行对齐。实验表明,该方法提高了生成动作的物理合理性,并使仿真中的人形交互更可靠、更忠实于原意。

Kerui Chen, Jianrong Zhang, Kai Lv 等

arXiv stat.AP · cs.LG · stat.ME

Estimating Uncoded Crash Factors with Tabular Foundation and System One Models: Kumo Tabular and Jev

说明用表格基础模型与系统一模型估算未编码的事故因素

简介本文提出一套系统,结合得克萨斯州2017至2025年共5,601,890起事故的编码字段与警方叙述文本,估算被编码字段遗漏的事故因素。系统使用表格基础模型Kumo Tabular读取编码记录,用系统一模型Jev读取两组概率样本的叙述,并以人工判断校准概率,再通过多轮估计器合并结果。研究显示叙述记录的伤害事故数多于编码字段,且人工复核与全部15项估计结果一致。

Amir Rafe, Subasish Das

arXiv physics.chem-ph · cs.AI · physics.comp-ph

LLM-Assisted Generation of Transparent, Open-Source Multiphysics Models of Electrochemical Devices

说明用大语言模型辅助生成透明、开源的电化学器件多物理场模型

简介本文提出一种利用大语言模型智能体生成电化学器件多物理场连续模型的方法。研究以多孔气体扩散电极中一维电化学CO2还原为CO为测试案例,由人工编写包含控制方程、参数、数值方法和检查点的可机读规范,智能体据此在开源Julia中构建模型。结果显示,独立构建的模型(包括全自主构建的模型)与等效的COMSOL实现在CO分电流密度峰值上相差不超过0.7%,模型之间相差不超过0.04%。

Sebastian Castro, Maya F. Schuchert, Spencer A. McCluskey 等

arXiv cs.CL

Nobody Truly Agrees on Sentiment: Humans, Bespoke Tools, and LLMs Struggle with Social Media Texts

说明人类、专用工具与大语言模型在社交媒体文本情感判断上都难以达成一致

简介本研究比较了三种专用情感分析工具、三种大语言模型与六位人工标注者对100条推文的情感判断一致性。结果显示,即使是人工标注者之间的一致性也仅为一般水平,说明情感判断本身具有较强主观性。在社交媒体文本上,专为推特训练的Twitter-roBERTa-base模型与人工判断最为接近。

Himarsha R. Jayanetti, Sivakanesan Dhanushkanda, Shuai Hao 等

arXiv cs.LG

Thinking in Depth: Retrospective Inference for Tabular Foundation Models

说明深度思考:表格基础模型的回溯推理

简介表格基础模型在推理时以新表格的带标签样本作为上下文进行预测。该论文发现,这类模型的预测精炼多集中于后层,因此提出Retro模型,让后续层显式复用前面产生的中间表示,并借助注意力残差与门控注意力调整复用方式。论文称,在TabArena、TALENT和RelArena三个基准上,Retro位列前三并处于帕累托前沿。

Hao-Run Cai, Si-Yang Liu, Zi-Jian Cheng 等

★★★★☆ 值得关注
arXiv cs.LG · physics.flu-dyn

PoreML: A Data-Driven Framework for Learning Multiphase Flow in Porous Media

说明PoreML:用数据驱动方法学习多孔介质中多相流的开源框架

简介论文提出开源框架PoreML,统一了多孔介质孔隙尺度多相流的数据生成、模型训练与评估。框架包含经验证的GPU格子玻尔兹曼求解器、一个3.3 TB、含560次模拟运行的数据集,以及统一的学习与评估流程。作者用该流程评估了五个不同架构的模型,并设置了向更大区域和从合成结构到微CT结构的迁移挑战。

看点提出统一的多相流数据生成、训练与评估框架,并以大规模时序三维数据集及多模型评测支撑,对子领域有实质贡献。

Chunyang Wang, Mingrui Zhang, Yuyan Zhang 等

★★★★☆ 值得关注
arXiv cs.LG · cs.AI · cs.AR

Fault-tolerant foundation models

说明容错基础模型:让大语言模型适应不可靠的低能耗硬件

简介论文指出,为节能而牺牲可靠性的新型计算硬件,也可以训练大语言模型去容忍其错误。研究者依据约 4 万 GPU 小时在模拟故障数字硬件上的训练结果,推导出修正后的神经网络缩放定律,显示模型越大,错误容忍能力反而越强。作者推测,经适当训练的大语言模型或可形式上具备容错性,从而在低能耗、有故障的硬件上运行推理,有望大幅节省能源。

看点提出大模型随规模增长反而更耐受硬件错误的新现象,并以修正的神经缩放定律刻画,新意突出;证据基于模拟故障硬件上约4万GPU小时训练,规模可观但仅为模拟。

Trevor McCourt, Ila R. Fiete, Isaac L. Chuang

arXiv cs.LG

RSIGym: A Flexible Environment for Recursive Self-Improvement

说明RSIGym:用于递归自我改进研究的灵活环境

简介论文提出 RSIGym,一个基于“一切即服务”(EaaS)设计的智能体研究环境,把训练、推理、评测与沙箱执行等基础设施封装为可复用服务,并支持数据、执行框架(harness)及联合三种改进路线。作者定义了 RSI-Index 指标,即在五个基准上所缩小剩余性能差距的平均比例。在六个前沿模型的联合实验中,Opus 5 取得最高 RSI-Index 0.4809,并将 SWE-bench Verified 从 17.67% 提升至 50.33%,AIME 从 31.67% 提升至 97.78%。代码与结果已开源。

Fanqing Meng, Lingxiao Du, Haocheng Lu 等

arXiv cs.CV

One-Shot Adaptive Segmentation For Scientific Images

说明面向科学图像的单样本自适应分割方法

简介该论文提出一种无需训练的单样本分割框架,仅用一张带标注的参考图像即可让通用视觉基础模型适应科学图像分割任务。方法结合DINOv3特征与背景自适应特征正交化以抑制伪影相关特征,再通过余弦相似度定位候选区域,交由SAM完成分割。在红细胞显微图像、结构光池沸腾和胸部X光数据集上,相比最强基线,平均IoU在前两类数据集上分别提升5.91%和78.62%,在胸部X光上表现相当。

Tejaswi V. Panchagnula, Allison M. Davis, Fengqing Zhu

arXiv cs.LG

How Do Transformers Learn to Represent Symmetries?

说明Transformer 如何学习表示对称性:研究 Transformer 怎样通过有限数据增强学会点云数据中的各种对称性(不变性与等变性)。

简介本文研究普通 Transformer 在点云数据上,借助有限数据增强学习各类对称性的能力。作者按可学习程度排序:非保角对称、保角对称,以及平移、旋转、缩放等基础保角子群。针对基础子群,作者还考察了模型的外推表现,并对训练后的模型做结构分析,找出可解释的不变性诱导机制。最后,这些机制也被证明可作为学习等变函数的关键组成部分。

Eduardo Santos-Escriche, Valerie Engelmayer, Ya-Wei Eileen Lin 等

arXiv cs.LG · cs.AI · cs.CL

SemanticFold: Latent Sequence Compression SeparatesLanguage Modeling, Decodability, and Reasoning

说明SemanticFold:潜在序列压缩会把语言建模、可解码性与推理能力区分开

简介本文研究对大模型提示前缀进行潜在序列压缩后,推理所依赖的能力是否得以保留。作者提出 SemanticFold 方法,在学习得到的边界处折叠前缀的隐藏状态,并在五个模型上测试。结果显示,压缩对各项指标的影响并非单调,且不存在统一的压缩阈值,语言模型拟合度、可解码性与推理表现可能朝不同方向变化。

Mingyan Liu, Min Huang

arXiv cs.LG · cond-mat.mtrl-sci

PXtal: Learning to Align Powder X-Ray Diffraction and Crystal Structures under Information Asymmetry across Modalities

说明PXtal:在模态信息不对称下学习对齐粉末X射线衍射与晶体结构

简介该论文提出PXtal框架,用于学习粉末X射线衍射(PXRD)图谱与晶体结构的对齐表示。由于一维衍射图谱丢失了三维晶体结构的信息,两种模态的信息量并不对等。PXtal采用非平衡最优传输和耦合层面的广义KL散度进行监督,在PXRD到晶体候选检索任务的六个测试集上均优于基线模型,所学编码器也能更好地迁移到下游材料与晶体学任务。

Zhuoran Yang, Christopher M. Collins, Bei Peng 等

arXiv cs.LG · cs.AI

Beyond the Ergodic Wall: A Discrete Geometric Physics Sandbox for Analysing AI Scaling Limits and Complexity Collapse

说明超越遍历壁垒:用于分析AI规模极限与复杂度坍缩的离散几何物理沙盒

简介本文认为当前深度学习趋向于历史人类知识的统计平均,存在遍历上限和热力学低效问题。作者提出以数字物理沙盒(基于E8全息投影引擎)对模型进行物理约束验证,并声称借此可把NP问题的搜索空间限制为多项式时间路径。文中关于时空模型与质量谱的内容为作者的理论构想。

Simon Richard Daniel

arXiv cs.CV

On the Necessity of Attention-FFN Split in Vision Transformers

说明论视觉Transformer中注意力层与前馈层分离的必要性

简介本文研究视觉Transformer(ViT)中注意力层与前馈网络层严格交替的结构是否必要。作者提出统一模块AttenFeed,并据此构建统一视觉Transformer(uViT),用一连串AttenFeed模块替代标准的交替结构,并在多个数据集和模型规模上与标准ViT进行对比。实验显示,在较小模型规模下,这种二分结构会因参数分配僵化而影响性能。

Junhyeok Kim, Jinyeong Kim, Jae Wan Park 等

arXiv cs.LG

Continual Graph Multi-Agent Reinforcement Learning

说明持续图多智能体强化学习:让多个智能体在一系列结构不同的任务中持续学习的方法

简介本文研究持续多智能体强化学习,即智能体需依次学习多个任务并兼顾新任务适应与旧任务保留。作者提出 CGMARL 框架,将每个任务的结构建模为属性图,并构建首个基准 GRAFO,分析遗忘现象。为缓解遗忘,提出冻结图编码器 FROG,在图策略中保留过去的结构信息;实验表明与现有持续学习方法结合后,在多个场景中性能有明显提升。

Tommaso Marzi, Ahmed Hendawy, Jan Peters 等

arXiv cs.LG · stat.ML

Revisiting Explainable AI through Model-Independent Concept Dictionaries

说明通过与模型无关的概念字典重新审视可解释人工智能

简介本文提出DictXAI方法,在输入域中用预定义的可解释元素字典直接定义概念,先计算输入的稀疏编码,再将模型预测归因到对应的字典元素上。作者展示其可用于识别如“聪明汉斯”效应等模型错误所对应的数据伪影,并在生物医学信号上促进人机对齐。该方法可适用于学习得到的图像基、心电图解析波形及实验采集的字典元素。

Thomas Schnake, Doreen Sch\"oppenthau, Alexander Meyer 等

★★★★☆ 值得关注
arXiv cs.LG · stat.ML

Shared Gaussianization: What Gaussian Regularizers Certify About Contrastive Learning, and What They Miss

说明共享高斯化:高斯正则化器能为对比学习证明什么,又遗漏了什么

简介该论文研究共享高斯化(SG)这一基于特征函数的高斯性检验,用于两个归一化视图平均值的分布匹配,并讨论它与LeJEPA中SIGReg正则化器的关系。文中给出SG与InfoNCE超额损失之间的理论界,并分析对齐权重、噪声通道与有限批量等情形下的表现。

看点证明了SG与InfoNCE超额损失之间的尖锐平方根界及对称性条件,理论新颖;并以受控实验验证理论预测,但影响面限于特定正则化视角。

Ruoyu Zhao, Yuting Chen, Jinheng Zhang 等

arXiv cs.RO · cs.LG

Energy-Efficient Gait Adaptation via Hierarchical Reinforcement Learning for Quadrupedal Locomotion Across Diverse Terrains

说明基于分层强化学习的四足机器人节能步态自适应,用于多种地形行走

简介本文提出一种分层强化学习框架,把高频的关节运动执行策略与低频的步态自适应策略分开,后者以最小化运输成本(CoT)为目标。训练分三阶段在Isaac中完成,策略可零样本迁移到实机,并在Unitree AlienGo四足机器人上验证。仿真结果显示,在较宽的指令速度范围内运输成本降低,且在平地、粗糙不平和斜坡地形上保持稳健行走。

Ammar Issa, Anubhav Singh, Anton Tsaritsin 等

arXiv cs.CL

Large Language Model-Assisted Preparation of Transportation Management Plans: A Case Study with WisDOT WisTMP System

说明大语言模型辅助编制交通管理方案:以威斯康星州交通部 WisTMP 系统为例的案例研究

简介本文提出一个由大语言模型辅助的框架,用于自动生成道路施工区的交通管理方案(TMP)内容,应用场景为威斯康星州交通部的 WisTMP 系统。研究在本地部署并微调多种不同规模的开源模型,并以历史 WisTMP 文档构建领域数据集。实验显示微调可明显提升文本生成指标,但模型倾向过度生成策略,且在项目专属理由和成本估算方面表现欠佳;从 7B/8B 扩展到 14B 的收益有限。

Zihao Sheng, Pei Li, Zilin Huang 等

★★★★☆ 值得关注
arXiv cs.CV

TouchScale: 500 Hours of Human Vision and Touch for Visual-Tactile Learning

说明TouchScale:500 小时人类视觉与触觉数据,用于视觉-触觉学习

简介论文提出 TouchScale,一个由统一可穿戴设备采集的 500 小时接触密集型人类交互数据集,同步记录第一人称 RGB-D 视频、手腕视频和双手触觉数据。实验显示,在该数据上训练可将未见过的触觉传感器零样本接触 IoU 从 0.134 提高到 0.383,并使机器人四项接触密集型操作任务的平均真实成功率从 22.5% 提升到 57.5%。作者还表示将公开该数据集。

看点构建了统一传感器采集的500小时人类视觉-触觉数据集,并以未见传感器零样本接触IoU、动作识别和机器人成功率等多项实验验证数据规模收益。

Dayou Li, Hao Wang, Qianqian Yang 等

arXiv cs.CV 有代码

ΔRepresentation: Geometry Supervised Representation Learning of Phenotypes via Counterfactual Reasoning for Medical VLMs

说明ΔRepresentation:基于反事实推理、由几何监督学习表型表示的医学视觉语言模型方法

简介论文针对医学视觉语言模型在影像表型表示上的不足,提出 ΔRepresentation 框架,包含 BaseAnatomy(利用解剖结构间的空间关系提供几何监督)和 ΔPhenotype(计算病灶表示与对应正常解剖表示之间的增量,并使同一表型的增量在表示空间中聚类)两个模块。作者在 ReXGroundingCT 和 LIDC-IDRI 数据集上的实验表明,该方法能更好地组织病理表型表示,并提升病灶定位和表型表征的准确性。

Hao Wang, Qiwei Zeng, Jinghao Lin 等

arXiv cs.AI · cs.LG

AI Safety Considerations for Agents With Limited Time to Act

说明有限时间内行动的智能体的AI安全考量

简介这篇论文讨论了在只能部分观测、且必须在有限时间内行动的环境中,与具体智能体无关的安全保证存在哪些理论上限。作者提出两个场景,一个状态空间无限,一个涉及信号混合,并证明即使是完美的智能体也无法保证安全行为。论文认为,任何关于AI安全或对齐的证明都需要将环境及相应的安全行动与智能体一并考虑。

Leo Zeitler, Jack Richings, Victoria Nockles

★★★★☆ 值得关注
arXiv cs.RO · cs.CV · cs.LG 有代码

Temporal Visuo-Tactile Learning for Dexterous Grasp Stability

说明基于时序视触觉学习的灵巧抓取稳定性预测

简介本文用装有四个 Digit 360 触觉传感器的多指灵巧机械手,采集了 200 个物体上的 10,000 次抓取试验,记录视觉、本体感知和触觉数据。研究训练端到端时序多模态模型,根据抬起前的抓取观测预测抬起后的稳定性,并比较不同感知模态与编码骨干网络。实验显示,加入触觉,尤其是高分辨率动态触觉,能提升稳定性预测效果;在真机上以该预测器作为在线稳定性门控后,执行抬起的成功率比无触觉门控高 10.5 个百分点。

看点将高分辨率动态触觉用于灵巧手抓取稳定性预测,并在真实机器人上部署验证,有实质新意;数据集规模与对比实验较充分。

Ken Nakahara, Aleksei Buvailik, Prokhor Kotov 等

arXiv math.NA · cs.LG · cs.NA

Neural Sampling with Reweighted Normalizing Flows via the Wasserstein--Fisher--Rao JKO Scheme

说明基于Wasserstein–Fisher–Rao JKO格式与重加权归一化流的神经采样方法

简介本文提出一种从未归一化玻尔兹曼密度中采样的神经算法,基于Wasserstein–Fisher–Rao几何下KL散度的JKO格式。理论上,证明了对任意固定步长,精确迭代随迭代次数增加指数收敛到目标分布,且不需要对目标做对数凹性或对数Sobolev不等式等结构假设。实现上,用重加权归一化流参数化该格式的输运与反应部分,并在多模态目标上的数值实验中展示了方法的良好表现。

Chenguang Duan, Johannes Hertrich, Gabriele Steidl

arXiv cs.LG

Sparse Planning in Visual World Models via Cost Gradients

说明基于代价梯度的视觉世界模型稀疏规划

简介该论文提出 COSTGRAD,一种无需训练、面向目标的空间 token 筛选方法,通过规划代价对每个输入 token 的梯度范数来排序,保留对规划真正重要的 token。在 50% 稀疏度下,它在四个连续控制基准中的三个上达到或超过全 token 规划的表现,每个环境规划步的墙钟时间约快 2.6 倍。论文还指出,其效果受网络架构影响:在 AdaLN 结构上表现较好,在 concat 结构上则不再优于随机选择。

Yingchen Xu, Edward Grefenstette

★★★★☆ 值得关注
arXiv cs.LG

A Closed-Loop Non-Asymptotic Convergence Analysis of PPO with Learned Critics and Clipping

说明带学习型评论家与裁剪的 PPO 闭环非渐近收敛分析

简介本文将带裁剪的近端策略优化(PPO-Clip)视为闭环的行动者-评论家系统,给出非渐近分析,涵盖两者耦合、概率比裁剪、有限批次复用和提前停止。论文在同步与异步设定下刻画策略平稳性与评论家跟踪精度,并对有限分层 MDP 与表格型评论家给出样本复杂度结论。作者还给出两时间尺度调度下 O(T^{-2/5}) 的界,并称这些结果可为调参提供理论指导。

看点对PPO-Clip作闭环actor-critic非渐近分析,耦合裁剪、有限批复用与学习critic,给出显式界与多时间尺度结论,理论推进明显但仍依赖较强假设。

Junwei Su, Mengfan Liu, Yanyong Zhang 等

arXiv cs.CV · cs.RO

Video Prediction Policy 2: Predict Better, Act Better

说明视频预测策略2(VPP2):预测更准,行动更好——一种用视频预测能力辅助机器人操作的通用策略模型

简介论文指出,现有的世界动作模型在开放环境中常常预测错误的运动,进而导致错误动作。作者提出VPP2,先用大规模操作视频和详细字幕继续预训练视频基础模型,再将其蒸馏为固定预测步长的单步视觉规划器,并通过混合Transformer结构加入动作模块以学习隐式逆动力学。实验显示,VPP2在开放任务的视频预测指令遵循成功率、真实ALOHA零样本操作以及LIBERO-Pro、LIBERO-OOD、RoboDojo基准上均有提升。

Yanjiang Guo, Haodong Yan, Zhide Zhong 等

arXiv cs.LG

Leakage-Controlled Multimodal Learning for Diagnosis and Progression Prediction in Alzheimer's Disease Research

说明用于阿尔茨海默病诊断与进展预测的防泄漏多模态学习

简介该论文提出一个多模态多任务框架,用于阿尔茨海默病的诊断和病情进展预测,可处理不规则就诊、异构测量和缺失模态的问题。框架结合改编的MRI编码器、临床Transformer、共享融合模块和任务特定的ODE-GRU动态模型。在ADNI、OASIS-2和MIRIAD的2,649名受试者、17,317次就诊数据上,内部验证的诊断AUROC为0.935,OASIS-3外部验证的混合诊断AUROC为0.767。

Akeem Temitope Otapo, Ghazaleh Khodabandelou, Zuheng Ming 等

arXiv cs.CV · cs.AI

LoomSC: Scalable Deep Subspace Clustering with Projector Factorization and Exact Spectral Reduction

说明LoomSC:通过投影矩阵分解与精确谱约简实现可扩展的深度子空间聚类

简介本文提出LoomSC框架,用于解决子空间聚类中稠密自表示矩阵和全亲和谱聚类带来的可扩展性瓶颈。该方法通过两个细因子联合学习潜在特征与投影矩阵自表示,并借助精确特征映射将谱问题化为仅依赖因子宽度的特征值问题,整个流程对样本数呈线性时间与内存复杂度。在五个图像聚类基准上,其在15项数据集-指标比较中均排名第一或第二,并可扩展至50万样本且准确率保持在99.8%以上。

Nairouz Mrabah, Youssef Melki, Mohamed Bouguessa 等

arXiv cs.AI

Stale, Misattributed, or Late: Where Personal Memory Fails Before Generation

说明过时、错归属或来不及:个人记忆在生成之前会在哪里失效

简介该论文研究语言智能体的个人记忆在生成答案之前的失败环节,包括记忆中残留过时的值、事实归属到错误的人,或在截止时间前没有可用事实。作者以个人事实记忆(PFM)为参照,在受控的修订基准上发现:只提供每个正确键槽的当前有效值即可消除过时暴露;但把修订正确地归入对应键槽仍是更难的问题。论文主张应在生成前评估智能体记忆,并区分存储状态有效性、身份识别、弃答与服务延迟。

Haonan Deng, Park Sinchaisri

arXiv cs.SE · cs.LG

Using Small Language Models to Reverse-Engineer Machine Learning Pipelines Structures

说明用小型语言模型逆向分析机器学习流水线结构

简介本文探讨能否用小型语言模型(SLM)从源代码中识别机器学习流水线的各个阶段(如数据预处理、建模等)。作者将其与两项既有参考研究对比,检验不同分类方法的表现及其对数据科学家实践认知的影响。结果显示分类表述会显著影响性能,最佳SLM效果尚可但未超过其他分类器,且不同方法得出的实践见解存在显著差异;同时,SLM推理成本较高,限制了其在大规模研究中的应用。

Nicolas Lacroix, Frederic Precioso, Mireille Blay-Fornarino 等

arXiv cs.DS · cs.LG

On the Cyclic Assumption of the Cow-Path Search Algorithm

说明关于牛路搜索算法循环假设的探讨

简介牛路问题是:一头牛要在 w 条仅在原点相连的路径中,找到位于未知距离处的目标,性能以竞争比衡量。Kao、Reif 与 Tate 设计了一种高效的随机算法,让牛按固定循环顺序访问各条路径,并证明其在 w=2 时最优;随后 Kao、Ma、Sipser 与 Yin 证明其对所有 w 都最优,并断言没有算法能优于最好的循环算法。本文提供了这一断言的详细证明。

Yuan Ma, Yiqun Lisa Yin

arXiv cs.LG · cs.AI

Logarithmic Regret via Passive Change Detection in Piecewise-Stationary Self-Tuning Regulation

说明基于被动变化检测的分段平稳自调节控制中的对数遗憾

简介本文研究未知自回归外生输入系统在系数于未知时刻变化时的最小方差控制问题。作者在有界独立扰动、稳定性与可行性等条件下,证明了以至少1-δ概率成立的O((C+1)log((T+1)/δ))遗憾界,其中T为时间跨度,C为变化次数。算法PIECE-CD在初始阶段及报警后进行探索,并通过能量检测判断系统变化,控制阶段采用门控递归最小二乘法。

A.Ch. Madhusudanarao, Rahul Singh

arXiv cs.LG · cs.AI

Stationary Bias and Extrapolation in Nonlinear Two-Timescale Stochastic Approximation

说明非线性双时间尺度随机逼近中的平稳偏差与外推

简介本文研究恒定步长随机逼近在时间平均后仍存在的非零平稳均值误差,对象是由外生有限状态马尔可夫链驱动的非线性双时间尺度递推。作者在假设条件下推导一阶偏差展开,并证明误差界在慢步长远小于快步长时保持一致。文中还通过可精确求解的非线性马尔可夫例子验证系数,并比较有限运行中的外推方法。

A.Ch. Madhusudanarao, Rahul Singh

arXiv cs.LG · cs.HC

MorphCL: Morphological Contrastive Learning for Inertial-based Human Activity Recognition

说明MorphCL:面向惯性传感器人体活动识别的形态学对比学习

简介本文提出形态学对比学习(MorphCL),一种自监督预训练框架,通过结构感知分组把大规模运动数据的全局结构引入惯性传感器学习。该方法结合运动基元(motif)发现与领域特征描述子,在线性探测和微调中将F1分数最多提升15个百分点。与现有基础模型相比,其预训练编码器在线性探测上表现相当或更好,且所用数据量少约4600倍。

Marius Bock, Yuwei Zhang, Juergen Gall 等

arXiv cs.SE · cs.AI

TestGRAD: Evolving Test Suites via Failure Pattern Momentum for SWE-Agent Ensemble

说明TestGRAD:基于失败模式动量演化测试套件,用于 SWE-agent 集成选择

简介本文提出 TestGRAD 框架,把为 SWE-agent 集成挑选最佳补丁的问题视为测试空间优化:通过演化可执行的仓库测试套件,使其能区分相互竞争的候选补丁。方法包括以执行行为为目标的差分损失、覆盖读取、新增、更新与删除的完整 CRUD 梯度,以及从历史失败中挖掘频繁失败序列的失败模式动量。在 SWE-bench Verified 上,4 智能体集成达到 84.2% 的 Pass@1,比最强基线高 3.6 个百分点,同时将失败历史上下文压缩超过 100 倍。

Pengfei He, Jiayuan Zhou, Shaowei Wang 等

arXiv cs.CY · cs.AI

When Scientific Cognition Is No Longer Scarce

说明当科学认知不再稀缺:AI 如何改变科研的瓶颈

简介本文设想一个机器在大多数可通过计算完成的科研工作上都优于人类的世界,探讨此时科学进展的限制因素。作者提出“稀缺性反转”概念,认为文献综述、假设生成、软件开发等将变得充裕,而实验、观测、可靠结论与问责机构的权威则变得稀缺。文章从选择、物理访问、验证和组织选择四个方面讨论这一变化,并指出国家实验室的关键角色是把充足的机器推理转化为可信结果。

Nathan DeBardeleben

arXiv cs.CV 有代码

Geometry-Supervised Visual Representation Learning for Multi-Phenotype Lesion Interpretation in Medical VLMs

说明面向多表型病灶解读的几何监督视觉表征学习(医学视觉语言模型)

简介医学视觉语言模型在解读需要综合多种病理表型判断的病灶时仍有困难,现有视觉与语义对齐方法难以保留解剖层级及表型子类之间的关系。本文提出PureVision框架,包含几何监督表征模块PureEyes和解剖引导证据聚合模块PureNeurons,前者以编码解剖层级与表型子类关系的理想空间分布提供几何约束,后者据此聚合病灶相关证据。论文报告在LIDC-IDRI、CBIS-DDSM和3DReasonKnee数据集上,该方法在视觉问答和放射报告生成中改善了病灶定位与表型描述。

Hao Wang, Qiwei Zeng, Shuchang Ye 等

arXiv cs.IT · cs.AI · math.IT

Beyond LLM-GA: Secure Fluid Antenna Systems with ReEvo-Designed Memetic Algorithm

说明超越LLM-GA:基于ReEvo设计的模因算法用于安全流体天线系统

简介流体天线系统在军事、卫星和物联网中很有应用前景,但需要防范窃听。本文提出一种基于反思式进化(ReEvo)的模因算法,用于安全端口选择问题。该方法离线利用大语言模型进化出交叉、变异和局部搜索算子,并嵌入模因搜索框架,执行时无需在线调用大模型。在相同代数的仿真中,该算法获得了比传统遗传算法和现有LLM辅助遗传算法更高的安全和速率。

Hanyong Xu, Zhaolai Dang, and Tong Zhang

arXiv cs.RO · cs.AI

Masked Generative Motion Planning with Geometry-Guided Token Search

说明基于几何引导词元搜索的掩码生成式运动规划

简介本文提出掩码生成式运动规划方法MGMP,用掩码生成Transformer并行生成离散轨迹候选,再通过几何引导词元搜索GGTS利用场景几何信息决定修改位置与替代方案。该方法把修复转化为对离散运动方案的搜索,可实现路线级重构。论文报告在Ring Maze上成功率96%,在Kuka的受控路线失效修复任务上修复成功率82%,并在未见布局、额外障碍物、双臂规划及真实Baxter任务上具有泛化能力。

Lipeng Zhuang, Yingdong Ru, Shiyu Fan 等

arXiv cs.CL · cs.AI · cs.CY

LLM Persuasion Is in the Eye of the Evaluation

说明大语言模型的说服力取决于评估方法:不同自动化评测结果一致性较弱

简介本研究将九种已发表的自动化说服力评测方法统一设置,在同一组十五个大语言模型上运行,比较其排名是否一致。结果显示各方法之间一致性较弱(平均Spearman ρ为0.25)。拒绝部分任务的模型会降低一致性,且拒绝多集中在操纵类任务上。因此,单一说服力分数只能说明其特定设定下的表现,难以反映模型在各类任务中的整体说服力。

Kamile Dementaviciute, Julija Vaitonyte, Tijl De Bie

arXiv cs.LG · cs.AI · cs.CL

From Prompts to Trees: Effective LLM-Guided Tree Generation for Few-Shot Tabular Classification

说明从提示到决策树:利用大语言模型生成少样本表格分类的树结构

简介大语言模型知识丰富,但直接用于表格分类推理成本高、可解释性差;决策树快速透明,在数据稀少时表现欠佳。本文提出一种框架,在少样本设定下把大模型的知识蒸馏为可解释的决策树。该方法不直接让模型生成完整决策树,而是分三阶段先生成规则,再将规则组织成树。多个真实表格数据集上的实验表明,与现有基线相比,该方法准确率和可解释性更好,提示开销显著降低。

Yue Qiu, Zekang Du, Yiqun Diao 等

arXiv cs.SE · cs.AI

Why Software Engineering Is Indispensable in the Age of Coding Agents

说明为什么在编码智能体时代软件工程仍不可或缺

简介本文探讨AI编码智能体的兴起是否会让软件工程学科和软件工程师过时,结论是二者仍然必不可少。文章指出大语言模型的概率生成、不可知性和语义无状态三种结构性特征,使AI辅助开发可能产出看似合理却无法验证、不值得信任的软件。作者提出方法论知识、领域知识、设计选择和过程选择四类知识杠杆,并主张软件工程师需承担方法论者、中介和保管者的角色。

Alfonso Fuggetta

★★★★☆ 值得关注
arXiv cs.CV 有代码

Masked Feature Encoding for Large-Scale Whole Slide Image Representation

说明用于全切片病理图像表示的掩码特征编码(MFE-MIL):一种改进病理图像分析的特征空间方法

简介该论文针对计算病理学中全切片图像(WSI)的多示例学习流程,提出MFE-MIL框架。它在特征空间训练轻量MLP适配器,并结合窗口式掩码重建与MIL分类头,以抑制切片内部的补丁差异。推理时仅保留适配器和MIL分类头。论文报告在多个数据集和编码器上提升了分类指标与生存分析的平均一致性指数。

看点在特征空间引入掩码重建与MIL联合训练,对已有MIL流程有实质改进;在多数据集、多编码器上实验充分并与强基线对比,对计算病理子领域有用。

Haoyu He, Basile Tessier-Cloutier, Yang Wang 等

arXiv cs.LG

Evaluating Sequence Assembly Strategies for Differentially Private Synthetic Time-Series Forecasting

说明差分隐私合成时间序列的序列拼接策略评估:拼接方式如何影响预测效果

简介差分隐私时间序列生成器通常输出固定长度的合成窗口,而下游预测模型往往需要较长的连续序列。本文系统改变窗口重叠率和加权方式,评估拼接后序列的边界连续性、统计与时序保真度,以及合成训练、真实测试(TSTR)的预测效果。在四个公开数据集和五种预测模型上的实验表明,拼接策略的最优选择取决于具体预测模型;更高的重叠率通常改善边界连续性,但这些诊断指标并不总能降低预测误差。

Guoxiong Long, Huizhen Huang, Qikun Cai 等

arXiv cs.LG · stat.ML

Finite-Sample Approximation of Hessian-Guided Perturbed Wasserstein Gradient Flows

说明基于Hessian引导扰动的Wasserstein梯度流有限粒子近似

简介本文研究扰动Wasserstein梯度流(PWGF)用有限个相互作用粒子近似时,在时间跨度增长的情况下近似是否仍然准确。作者分析了沿总体参考路径累积的曲率,并在若干正则性与曲率条件下,于高概率事件上证明了粒子及目标函数值的跟踪界。

Ryotaro Kawata, Atsushi Nitanda, Taiji Suzuki

arXiv stat.ML · cs.LG · math.ST

RoBART: Bayesian Additive Regression Trees with Tree-Specific Rotations

说明RoBART:带树专属旋转的贝叶斯加性回归树

简介该论文提出RoBART方法,为每棵回归树分配一个旋转,使树内所有内部节点共享该旋转,从而在旋转后的坐标中仍使用轴对齐分裂。作者用Metropolis-Hastings同时采样旋转序列与切点,并证明其可逆性。论文还给出了在特定条件下的后验收缩率,并证明存在RoBART能适应内在维度而轴对齐BART无法做到的函数。

Jeongung Heo, Seonghyun Jeong

arXiv cs.LG

Edge Accuracy Is Not Enough: Why Dynamics-Learned Structure Fails to Transfer to Inverse Problems

说明边缘准确度不够:从动力学学到的结构为何无法迁移到逆问题

简介论文指出,把正向仿真数据中学到的关系结构迁移到标签稀缺的逆问题,会系统性地失败,即使满足理论上的要求也是如此。在氢气泄漏和声学源定位任务中,经神经关系推断(NRI)学到的结构表现明显变差,而物理先验(格林函数)的退化幅度较小。作者还提出一个基于Jaccard相似度的轻量迁移性测试,但仅作为启发式方法,并非经过验证的通用阈值。

Nicholas Tan Jerome, Fangnian Wang

arXiv cs.LG

OrthoGen: A Generative Orthogonal Learner for Time-Varying Treatments

说明OrthoGen:面向时变治疗的生成式正交学习器

简介本文研究在时变治疗下,利用灵活的生成模型估计条件分布潜在结果(CDPO),以便例如评估患者在不同治疗序列下的个体化风险。作者提出一种生成式递归g计算调整策略,递归地传播完整的条件结果分布而非条件均值,并在此基础上提出具有Neyman正交性和双重稳健性的OrthoGen学习器。实验涵盖合成、半合成和真实数据集,结果显示OrthoGen效果显著。

Tom\`as Garriga, Valentyn Melnychuk, Konstantin Hess 等

arXiv cs.SD · cs.LG

CARES: A Controlled Synthetic Benchmark of Speaker Reactions to Sound

说明CARES:说话人对声音反应的受控合成基准

简介本文提出CARES数据集,用于评估音频场景描述中哪些声音值得保留。作者规定,当说话人可听见地对某声音作出反应时,该声音即视为显著。数据由受控场景生成,对话由语言模型撰写,共包含10,000个双人场景。作者在场景识别、声音标注和反应分类三项任务上测试了六个音频-语言模型,发现这些模型能听到声音,却难以判断说话人如何反应。

Marcel Gibier, Thomas Thebaud, Olivier Bo\"effard 等

arXiv math.GT · cs.LG · stat.ML

Computations of the slice genus and the unknotting number of links via machine learning

说明用机器学习计算链环的切片亏格与解结数

简介本文利用强化学习与贝叶斯优化,为若干尚无已知可算法计算的链环不变量给出新的上界,包括链环的切片亏格和解结数,以及代数可分链环的强切片亏格。作者同时用已知不变量计算下界,并结合上下界在许多情形中得到新的精确值。其解结智能体还复现了 Brittenham 与 Hermiller 给出的若干反例中解结数的不可加性,部分情形找到了新的解结路径。

Yutong Dai, Oliver Hayman, Andr\'as Juh\'asz 等

arXiv cs.LG

How to train your model organism

说明如何训练你的模型生物(model organism):用多目标验证评估可解释性方法

简介论文指出,目前常见的做法是只让“模型生物”学会某种目标行为(如后门、谄媚、伪相关),这并不充分。作者提出从目标行为植入、通用能力保持和输出自然度三方面用指标验证模型生物,并提出基于模型合并的多目标训练方法。实验显示,验证指标能预示可解释性方法恢复目标行为的效果,且不同训练方式会影响能得出的结论。

Xilin Wang, David Bau, Byron C. Wallace

arXiv cs.AI · cs.CL · cs.CV

GAGR-Lab: Evaluating Joint Spatial-Geometric and Analytic Function Reasoning

说明GAGR-Lab:评测空间几何与解析函数联合推理能力的框架

简介论文提出 GAGR-Lab 框架,用笛卡尔坐标游戏场景、显式函数语义和 Rust 轨迹执行器来衡量模型把空间配置转化为满足几何约束的符号函数的能力。论文对单个托管模型 Llama 3.2 11B Vision Instruct 做了小规模试点,在 432 次尝试中没有命中目标;作为对照,一个特权解析搜索方法在 600 个方向性案例上成功。论文还给出了分阶段的后续研究计划,完整难度矩阵和多模型比较尚未测试。

Jingyao Zhang, Yun Li, Lu Han

arXiv cs.LG

Robust Decentralized Fairness Auditing

说明稳健的去中心化公平性审计(Auditopus)

简介本文针对大语言模型的公平性审计问题,提出去中心化的审计方法Auditopus:多个审计者各自发出查询,只共享累计统计向量而不共享原始查询。文章指出,即使网络中只有一个恶意审计者,也能通过伪造向量让不公平的模型看起来公平;为此,Auditopus让诚实审计者降低与历史数据统计不一致的审计者的权重。实验显示,相比无防御及稳健聚合基线,该方法显著降低了审计误差,即使一半审计者为恶意也能防止明显不公平的模型被判定为公平。

Sayan Biswas, Jade Garcia Bourr\'ee, Anne-Marie Kermarrec 等