AI 算法 · 2026年10月7日(周三)

机器学习、人工智能、自然语言处理、计算机视觉、多智能体。

arXiv cs.CL · cs.AI

Multi-Objective Aligned Small Language Model Framework for SUD Patient Dialogue Generation

说明面向物质使用障碍患者对话生成的多目标对齐小型语言模型框架

简介本文提出一种基于认知的框架,用于生成物质使用障碍(SUD)患者的对话回应。该方法先检测患者的潜在认知成分,再据此生成与病史和咨询师问题对齐的回应,并结合知识蒸馏、基于人工标注的偏好优化和注意力引导的奖励塑形来训练小型语言模型。实验结果显示,认知感知的微调相比通用指令微调基线和心理健康领域小型模型,在认知成分的体现与对齐方面有明显提升。

Thushara Manjari Naduvilakandy, Hyeju Jang, Mohammad Al Hasan

★★★★☆ 值得关注
arXiv cs.LG · cs.IT · math.IT

An Accuracy-Information Tradeoff for Loss-Difference Conditional Mutual Information

说明准确性与损失差条件互信息之间的权衡

简介该论文研究损失差条件互信息(ld-CMI),即学习器的损失差异揭示了其训练时选用了每对候选样本中哪一个的信息量。作者证明,在特定的线性预测器、凸损失函数、正则化及乘积分布条件下,要求学习器达到一定精度就会迫使其ld-CMI达到约 n 比特的量级,因此基于范围缩放的ld-CMI泛化界无法趋于零,尽管这些学习器的泛化差距为 O(n^{-1/2})。

看点证明了精度会迫使损失差条件互信息增长,并给出阶数级的下界,理论上对已知界限有实质推进,证明完整。

Hazar Yueksel

arXiv cs.CV · cs.AI

Do Vision Models Learn Physical Constraints or Rendering Shortcuts? A Counterfactual Benchmark for Grounded Physical Consistency

说明视觉模型是在学习物理约束,还是在利用渲染捷径?一种用于检验物理一致性的反事实基准

简介本文针对图像编辑后是否违背场景物理规律的问题,构建了一个反事实基准,用 Mitsuba 3 生成 5500 张合成图像,涵盖阴影、反射、支撑、表面响应和遮挡五类违规。研究以 LLaVA-1.5-7B 等三个模型作为诊断基线,结果显示在标准划分上类别宏 F1 约为 64.0%–67.8%,但在干预偏移下 LLaVA-1.5-7B 降至 40.8%,说明高准确率部分依赖于与渲染和反事实构造相关的线索。

M. Moein Esfahani, Sepehr Salem, Mohammed Alser 等

★★★★☆ 值得关注
arXiv stat.ML · cs.IT · cs.LG

The optimal information complexity of VC learning

说明VC 学习的最优信息复杂度:用条件互信息框架恢复最优 PAC 保证

简介本文研究基于条件互信息(CMI)框架的学习算法信息复杂度,重点分析其中的 evaluated CMI(eCMI)。作者构造了一种随机化的五数多数投票(Majority-of-5)基学习器算法,在可实现情形下其 eCMI 为 O(d)(d 为概念类的 VC 维),从而证明可以通过算法相关的 CMI 分析恢复 VC 类的最优 PAC 保证。

看点证明了VC类可通过CMI框架恢复最优PAC保证,构造了eCMI为O(d)的随机化算法,理论上具有实质推进。

Steve Hanneke, Juexiao Wang

arXiv cs.AI · cs.CL · cs.LG

Few Bits, One Law: Toward W2A4KV2

说明《Few Bits, One Law: Toward W2A4KV2》:面向极低比特大模型压缩的联合量化训练框架 CanonQ

简介该论文提出 CanonQ,一个统一的量化感知训练框架,用于同时压缩大语言模型的权重、激活值和 KV 缓存。方法先通过固定旋转和能量归一化把不同来源的张量映射到规范坐标,再联合训练以适应三者耦合产生的量化误差。在 LLaMA3 等模型的 W2A4KV2 极低比特设置下,论文报告其困惑度和零样本准确率相较基线有明显提升。

Kai Yi, Tarek Elgamal, Sruthikesh Surineni 等

arXiv cs.CV · cs.GR

StyleFields: Multi-Scale AdaIN-Modulated Implicit SDFs for Coarse-to-Fine 3D Shape Reconstruction and Editing

说明StyleFields:用于由粗到细三维形状重建与编辑的多尺度 AdaIN 调制隐式 SDF

简介本文提出 StyleFields,一种基于 DeepSDF 的三维重建架构,可在不同解码层注入多级自适应实例归一化(AdaIN)潜变量,并以由粗到细的调度监督辅助头。方法使一个物体的粗略结构可与另一物体的精细细节组合,无需部件标注或对抗训练。作者还将学习到的代理阻力预测器用作可微目标,用于优化重建的汽车模型。

Ehsan Garaaghaji, Nicolas Talabot, Pascal Fua 等

arXiv cs.AI · cs.LG

FreeEvolve: Learning to Evolve Beyond Fixed Loops

说明FreeEvolve:学习超越固定循环的智能体进化方法

简介本文提出FreeEvolve,用于自动优化语言模型智能体的提示、技能和工作流。它不再依赖人工设计的固定搜索流程,而是让进化器在环境给定的限制内自行决定测试内容、收集证据量、保留哪些候选方案以及何时停止,并通过元进化不断改进其可编辑的进化技能。作者称,在四个基准测试上,该方法在主要留出指标上平均提升13.6分,并与人工设计的进化器持平或更优。

Lecheng Kong, Like Hui, Nikos Kanakaris 等

arXiv cs.LG · stat.ML

Exact Dynamics and Finite-Sample Trajectory Recovery of Linear Recursive Feature Machines

说明线性递归特征机的精确动力学与有限样本轨迹恢复:一种用于研究表示学习过程的简单线性模型分析

简介论文研究线性递归特征机(RFM),它通过交替拟合预测器与用平均梯度外积(AGOP)更新特征来学习数据表示。作者在带噪声的多输出回归设定中分析其动力学,并证明学到的特征矩阵在每次迭代中都接近无限数据下的理想结果;样本数为 n 时,特征矩阵误差以高概率按 O(√(d/n)) 衰减。文中还用真实文本与单细胞基因表达数据展示了该线性模型学到的特征。

Andrew Cheng, Bobak T. Kiani, Yue M. Lu 等

arXiv cs.CV · cs.GR · cs.RO

StableGrasp: Reconstructing Physically Stable Human Hand Grasps from Single Images

说明StableGrasp:从单张图像重建物理稳定的人手抓握姿态

简介该论文提出 StableGrasp,用于从单张 RGB 图像重建物理上稳定的人手抓握。方法基于可微分仿真优化,将视觉上的手部姿态与决定抓握力的控制目标分开处理,通过最小化抓握的动能联合优化手部几何与控制,并对手部几何加以正则化以保持视觉一致性。原文称,其结果在严格物理仿真下比其他手部控制策略更稳定,同时与输入图像视觉一致、几何合理。

Han Jiang, Etienne Vouga, Qixing Huang 等

arXiv cs.LG · cs.AI

Patient, Place, Prior (P³): What Counts as Personalization in Medical World Models?

说明患者、位置与先验(P³):医学世界模型中什么才算个性化?

简介该论文关注纵向影像预测模型是否真正利用了患者自身的历史影像,而非仅靠群体平均。作者提出P³审计框架,检验预测是否使用患者历史、患者匹配的病灶空间信息,以及是否超越群体平均预测。作者还提出Cancer JEPA模型用于预测新辅助治疗期间乳腺动态增强MRI的未来表征;在验证队列中,使用患者自身历史的修正项误差更低,但与群体平均修正项相比的95%区间包含零。

Xingrui Gu, Hanxue Gu, Yuxiang Zhang 等

arXiv cs.AI · cs.CL

Bookkeeping, Composition, or Unreachable Gold? Reading MemoryAgentBench's Conflict-Resolution Scores Against a Frozen Last-Write Resolver

说明记账、组合还是无法触达的标准答案?对照冻结的“最后写入”解析器解读 MemoryAgentBench 冲突解决分数

简介本文审视 MemoryAgentBench 冲突解决部分的评测结果。作者将基准自身的规则(关于同一事实,最新陈述者胜出)实现为一个无需学习、在四个事实列表之一上冻结的解析器。按官方指标,该规则可回答 80.25% 的问题(在三个留出列表上为 74.5%)。其余 67 题的标准答案无法被“最后写入”图谱触达,但被覆盖的陈述可以。作者认为,应按单题拆分而非整体平均来解读此类分数。

Egor Pakhomov, Erik Nijkamp

arXiv cs.CV

R-CNN-Based Chess Position Recognition

说明基于R-CNN的国际象棋局面识别

简介该论文提出一种基于R-CNN的框架,仅依据三维棋盘的单张图像识别棋局局面。系统分别进行棋子识别和棋盘几何估计,并将两者结果结合以重建局面。在合成数据集上,棋子检测的平均精度由61.59%提升至90.14%,完整框架有76.61%的测试局面被完全正确识别。

Paras Govind, Ognjen Arandjelovi\'c

arXiv cs.AI

From Probabilities to Decisions: Search and Multi-Teacher Distillation with Jev

说明从概率到决策:结合Jev的搜索与多教师蒸馏

简介论文研究Jev这一只输出校准概率、不生成文本的快速模型,在限时决策任务中的应用。在子弹棋中,将Jev的判断置于Stockfish搜索中,对战其他机器人可达到Lichess子弹棋2200分以上。由于实时调用模型过慢,作者把两两判断蒸馏为可在每个局面运行的紧凑评估器;在象棋中,平均Jev与Qwen3-32B的标签优于将全部预算用于Qwen,并在新开局上复现。

Mohamad Yazan Sadoun, Sarah Sharif, Yaser Mike Banad

arXiv cs.LG · cond-mat.dis-nn

The Dichotomy Between Pattern Recognition and Step-by-Step Reasoning

说明模式识别与逐步推理之间的二分:一篇关于大语言模型推理机制的论文

简介论文提出模式识别与逐步推理是同一光谱的两端:当下一个词只依赖少量前文时,模型会学会逐步推理,并可用德布鲁因图描述推理路径。作者认为学习这类结构的样本效率较高,并以 Qwen2.5-1.5B-Instruct 微调实验显示,状态出现频率影响准确率与抗扰动能力。作者还称真实数据具有该结构,Qwen3 系列在限制注意力窗口后仍保持较高准确率。

Amrut Nadgir, Vijay Balasubramanian, Pratik Chaudhari

★★★★☆ 值得关注
arXiv cs.CV

One Frame, Full Heartbeat: ECG-Free 4D Cardiac Cine MRI Synthesis via Radial-Decomposed Flow Matching

说明单帧生成完整心动周期:基于径向分解流匹配的无心电图四维心脏电影磁共振合成

简介该论文提出PhaseFlow3D,可在无心电门控的情况下,仅根据一个舒张末期三维心脏磁共振体积,合成完整的四维心脏电影序列。方法用分段线性相位描述心动周期,并通过径向收缩分解生成三维位移场来逐帧变形该体积。论文报告其在ACDC与M&Ms基准上射血分数误差最低,并展示了合成序列在分割、病理分类、标签传播和心肌应变分析中的应用。

看点提出ECG-free的4D心脏电影MRI合成新框架,结合分段线性相位与径向收缩分解;在ACDC和M&Ms上多项指标领先,并有消融和下游验证。

Shiyi Wang, Ruochen Sun, Xiang Li 等

arXiv cs.LG

Q-PACE: Dynamic Precision Allocation for Quantization-Aware Training

说明Q-PACE:面向量化感知训练的动态精度分配方法

简介该论文针对大语言模型的量化感知训练,提出Q-PACE方法,用二阶敏感度模型预测损失增幅,并在训练中定期重新计算每层的精度分配。在参数规模最高4B的预训练与监督微调实验中,Q-PACE相较现有混合精度训练方案表现更优,并能以明显更低的总内存预算达到相近损失。论文还指出,量化敏感度可由网络深度和层类型较好预测,且训练中较为稳定,因此可低频、低成本地重新校准。

Alexandra Volkova, Matin Ansaripour, Erik Schultheis 等

★★★★☆ 值得关注
arXiv cs.LG · cs.AI · cs.CL

LayerRoPE: Dynamic Depth-wise Magnitude & Angular Superposition

说明LayerRoPE:深度方向的动态幅度与角度叠加(一种按层数调节残差流归一化增益的方法)

简介研究者考察了16个预训练大语言模型,发现Transformer中隐藏状态范数随深度增长,并非单纯的缺陷,而是由归一化权重γ编码的层位置信息:随深度增大,γ的幅度增长且方向旋转。作者据此提出LayerRoPE,用一个共享向量加按深度条件化的标量替代各层γ,在参数减少、计算量几乎不变的情况下,报告其训练效果优于多种归一化方案,并能改善学习率敏感性。

看点将残差流归一化增益解释为深度位置编码并提出类RoPE的深度方案,新颖;在16个预训练模型和多个规模上验证,对比充分。

Shikhar Srivastava, Christopher Kanan

arXiv cs.LG

Context-aware Attention-based Gaussian Mixture Models for Vehicular Trajectory Prediction

说明基于上下文注意力的高斯混合模型,用于车辆轨迹预测

简介本文提出一种上下文感知注意力高斯混合模型(CAA-GMM),用于在复杂环境中预测车辆的多种可能运动轨迹并给出不确定性。模型以场景上下文和车辆动态为条件,用可解释的高斯分量表示多种行为模式,并通过轻量注意力机制融合栅格化环境信息与运动历史。在 nuScenes 和 Argoverse 2 数据集上,该方法精度与现有基于栅格的方法相当或更优,计算复杂度较低。

Arash Raftari, Babak Ebrahimi Soorchaei, Yaser P. Fallah

arXiv cs.CV

RDGSplat: Render-Dedicated Geometry for Novel View Synthesis

说明RDGSplat:面向新视角合成的渲染专用几何表示

简介该论文提出RDGSplat框架,用于基于冻结的三维基础模型进行新视角合成。它复制预训练解码器,仅以光度监督优化副本,从而解码出专用于渲染的几何,同时保留模型原有的度量预测。论文还引入依赖目标相机位姿的适配器。实验显示,在三种前馈骨干模型和四个基准上均有提升,例如在RE10K上WM2.0由20.918 dB提升至24.266 dB。

Zhijie Zheng, Xinhao Xiang, Jiawei Zhang

★★★★☆ 值得关注
arXiv cs.DS · cs.AI · cs.CC

Lower Bounds for Parallel Diffusion Sampling

说明并行扩散采样的下界:证明即使可同时查询大量分数,仍需一定数量的顺序轮次

简介该论文研究扩散模型采样能否通过并行查询加速。作者证明,对于光滑的近各向同性高斯混合分布,需要约 d^{1/3} 的顺序轮次;对于单位球内轴对齐的各向异性方框上的均匀采样,需要 d 轮。这些下界适用于任意随机算法,且结论在该类近似分数误差下成立。

看点首次给出扩散采样并行轮数的多项式下界,并有Ω(d)紧界,理论结论具有明显新意且证明严谨,但影响主要限于理论层面。

Yiwen Kou, Yimeng Wang

arXiv cs.AI

Training Language Models To Be Coherent Decision-Makers

说明训练语言模型成为连贯的决策者:通过微调保持信念一致并按效用选择行动,并识别信息缺失时无法做出决策的情形

简介这篇arXiv论文研究语言模型能否通过监督微调学会稳定的决策流程:先保持对结果概率的判断,再根据效用选择期望效用最大的行动。作者在20个数据集上训练模型,并测试其在新领域、新表述和不同收益结构下的迁移效果。论文还引入关键效用被移除的不完整信息设定,结果显示经过针对性微调的模型能更好地做出连贯决策,并能识别信息不足、无法论证行动的情况。

Khurram Yamin, Xavier Fernandes, Paul Koch 等

arXiv cs.CL · cs.AI

ToolRACER: A Robust Agentic Conversation Emulation Resource for Agent Training and Evaluation

说明ToolRACER:用于智能体训练与评估的鲁棒对话模拟资源

简介任务型对话智能体在真实场景中较脆弱,现有函数调用基准多侧重顺利的合作式交互。本文提出ToolRACER,一条合成数据生成流程,协调用户、助手与工具模拟模型,生成并验证多轮交互轨迹,并据此构建覆盖六个领域、约5.6K条对话轨迹的ToolRACERBench,其中约66%含易出错场景。作者还在τ²-bench、BFCLv3和ACEBench等基准上评估了在该数据上训练的模型,结果显示其端到端智能体准确率有所提升。

Arkajyoti Chakraborty, Aryan Tayal, Ishika Agarwal 等

★★★★☆ 值得关注
arXiv cs.AI · cs.LO · cs.SE 有代码

SpecGuard: Proving a Task Is Broken Before the Agent Cheats

说明SpecGuard:在智能体作弊之前证明任务存在缺陷

简介该论文提出 SpecGuard,用于在编码智能体执行前检测任务描述与测试之间的冲突。它将任务意图自动形式化为 Lean 4 规范,独立形式化测试,并由 Lean 内核检查二者能否同时被满足,冲突时生成机器可检验的证书。在有冲突的 SWE-bench 任务上,SpecGuard 检测出最多 72.8% 的冲突,形式化证明出最多 51.1%,冲突漏检率约为基于模型判断方法的五分之一。

看点将任务意图自动形式化为Lean 4规范并由内核机器检验冲突,新颖性较突出;实验在SWE-bench冲突任务上检测率与认证率有量化结果,但规模与对比范围有限。

Param Biyani, Krishnamurthy Dvijotham

★★★★☆ 值得关注
arXiv cs.CL · cs.AI 有代码

sk-bench: A Native-First Benchmark for Evaluating Large Language Models in Slovak

说明sk-bench:面向斯洛伐克语大语言模型评测的原生优先基准

简介多语言大语言模型基准往往遗漏斯洛伐克语,或仅通过机器翻译覆盖。本文提出 sk-bench,包含 30 个数据集(33 个计分任务变体)、涵盖十类能力,其中多项资源为首次引入或首次为生成式模型评测打包。作者在统一框架下评测了 55 个开源与闭源权重模型,并讨论了原生数据与翻译数据、模型对语言适应与推理的反应等发现。

看点为斯洛伐克语构建原生优先的基准并评估55个模型,提出多项设计经验,对小语种评测有实质贡献。

Marek \v{S}uppa, Ivan Vykopal, Andrej Ridzik 等

arXiv hep-lat · cs.LG · hep-th

Sampling SU(N) gauge theory on a 2D lattice from independent plaquettes via holonomies and corner reweighting

说明通过全息量与角点重加权,从独立方块采样二维SU(N)规范场论

简介论文研究二维SU(N)规范场论(Wilson作用)的生成式采样方法。作者把作用量写成全息量变量,将链接变量的一致性条件转化为给定群换位子的条件采样问题,从而让方块可以独立采样,再通过权重修正结果。文中给出SU(2)和SU(3)下换位子密度的闭式表达,并在2×2与32×32格点上测试,单方块接受率超过99%,有效样本量通常高于一半。

Javad Komijani

★★★★☆ 值得关注
arXiv cs.AI

Frozen Models, Evolving Expertise: Model-Agnostic Learning from Deployment Experience for Multimodal Medical AI

说明冻结模型,持续积累专业经验:面向多模态医疗AI、与模型无关的部署经验学习框架

简介大语言模型和视觉语言模型部署后通常参数固定,无法从已处理的病例中学习,这在医学领域尤其成问题。该论文提出一种与模型无关的框架,在不修改模型权重的前提下,通过技能、知识记忆和多模态知识库三种外部专业知识让冻结模型从部署经验中学习,并用只在不损害旧病例表现时才保留更新的验证策略。论文在六个基准、四种基础模型上测试,报告在医疗任务的在线部署中最高提升34.2%。

看点提出模型无关的外部经验框架(技能、知识库、多模态知识库),在六个基准和四种模型上验证,医疗任务最高提升34.2%。

Yexiao He, Yucheng Tang, Pengfei Guo 等

arXiv cs.LG · cs.CL 有代码

Noise Your Prompt: Noising Conditioning Tokens in Continuous Diffusion Language Models

说明给提示词加噪声:连续扩散语言模型中条件提示令牌的训练改进

简介该论文挑战了连续扩散语言模型训练中的常规做法:训练时保持条件提示令牌不加噪。作者改为在训练时同样对提示令牌加噪,并在数独、N皇后等组合推理任务和Gigaword摘要任务上报告了性能提升,但在开放式对话生成任务上未见同样收益。该方法只需修改训练目标的一行代码,且默认不增加推理成本。

Justin Jung

arXiv cs.AI

DIVA: Dual-Space Intent-Aware Visual Attenuation for Vision-Language-Action Policies

说明DIVA:面向视觉-语言-动作策略的双空间意图感知视觉衰减

简介本文提出DIVA模块,用于视觉-语言-动作(VLA)策略。它结合高层任务意图与低层视觉证据,估计各视觉图块的相关性,并在骨干网络输入前和网络内部两个空间中对相关性低的视觉特征进行衰减,同时保留完整视觉序列,且无需外部定位监督。在LIBERO上,DIVA将OpenVLA-OFT的平均成功率从96.6%提升至98.0%,零样本LIBERO-Plus得分从69.6提升至72.6。真实世界实验也显示其在与任务无关的视觉扰动下有稳定提升。

Kaixi Feng, Guoheng Sun, Ziyao Wang 等

arXiv cs.AI · cs.SE

Finding Side-Effect Loopholes in Verifiable Rewards

说明在可验证奖励中寻找副作用漏洞

简介本文研究强化学习可验证奖励中的验证器是否能识别“完成任务但附带未请求副作用”的运行。作者用变异测试检验发现,所有误判通过的情况都来自未请求的改动,而非缺失或错误的工作。在部分任务模板中,验证器会通过重复写入的错误运行,且部分近期强化学习方法的奖励设计会给重复写入满分。

Richard Abrich

arXiv cs.AI · cs.CC

Breaking the Space Barrier and its Application to Language Model Inference

说明突破空间障碍及其在语言模型推理中的应用

简介论文指出,结构化输出(如遵循模式的JSON)可由自动机约束,此类自动机的图结构具有少路径的性质。作者证明判定两点连通性(同时验证路径稀少)可用O(log²n/loglog n)空间完成,低于Savitch定理的经典O(log²n)。基于这些构造,作者实现了推理引擎,并在Apple M2 Pro上与MLX及llguidance对比,报告了更快的完成速度和更小的语法开销。

Arip Asadulaev

arXiv cs.LG

Directional Evidence Guided Search-Space Reduction for Exact DAG Learning

说明基于方向性证据的精确 DAG 学习搜索空间缩减方法(DECO)

简介该论文研究从观测数据中学习有向无环图(DAG)的问题,指出精确打分方法计算量大、约束方法在图规模增大时不稳定。作者提出非参数混合框架 DECO,先从数据中提取依赖与方向性证据,筛除缺乏经验支持的父节点组合,再进行精确优化。实验显示该方法在多个基准网络和合成数据上明显缩减了搜索空间,并取得有竞争力的结构恢复效果。

Upala Junaida Islam, Abdelmonem Elrefaey, Rong Pan

arXiv stat.ML · cs.LG

The Impact of Likelihood Tempering on the Limiting Predictive Moments of Variational Bayesian Linear Neural Networks

说明似然温度调节对变分贝叶斯线性神经网络极限预测矩的影响

简介在宽的贝叶斯神经网络中,高斯平均场变分推断容易出现先验主导问题,即ELBO中的KL正则项压过对数似然,预测分布随宽度增加退化为先验预测分布。本文研究对似然进行温度调节(温度T小于1)时,T随宽度M应以多快速度下降才能抵消这种退化并平衡两项。对于各向同性高斯先验的单隐层线性网络,作者推导了T=τ/M^c下的极限预测分布,并与未调节的NNGP后验进行比较,发现预测均值与方差在不同尺度上发生相变。

Ian Zhang, Thibault Randrianarisoa

arXiv cs.AI · cs.LG

CADFather: Autonomous CAD Reconstruction through Coordinated Tool Use

说明CADFather:通过协同调用工具实现自主CAD重建

简介该论文提出CADFather,一种自主智能体系统,可从三维网格中恢复可编辑的参数化CAD程序。系统由视觉语言助手检查渲染图并决定调用哪些工具,学习型与算法型工具提出CAD操作,数值优化则细化参数,并保留每个零件的最优有效结果。该方法不需额外训练,在DeepCAD、Fusion360、MCB等多个测试集上评估重建质量与执行有效性,并分析计算成本与质量之间的权衡。

Gennadiy Savrasov, Maksim Elistratov, Nikita Gavrilov 等

arXiv cs.LG

Domain-informed Adaptive Sampling for Generalizable PINNs in Metal Additive Manufacturing via Conditional Flow Matching

说明基于条件流匹配的金属增材制造可泛化PINN领域自适应采样方法

简介本文针对金属增材制造热建模中物理信息神经网络(PINN)采样点固定、泛化能力受限的问题,提出一种两阶段自适应采样框架。首先用条件流匹配模型学习不同工艺条件下的高残差分布,再与领域先验基础分布混合生成配点以优化PINN。在金属增材制造数值基准上,该方法在相同配点预算下平均使相对L2误差降低62.1%。

Hyeonsu Lee, Jihoon Jeong

arXiv cs.CV

Depth-to-RGB: Repurposing a Frozen Depth Estimator for Geometry-Guided Compositing

说明Depth-to-RGB:利用冻结深度估计器进行几何引导的图像合成

简介该论文提出 Depth-to-RGB(D2R)框架,用于基于参考图像的物体插入或替换。模型在冻结的深度估计器上学习参考条件修正,预测合成后场景的深度,再据此合成 RGB 图像。论文还提出 AnyInsertion++ 数据集用于评估泛化能力。摘要称 D2R 在多项几何与画质指标上优于多个基线方法。

Sanghyun Jo, Chae Yeon Lim, Donghwan Lee 等

arXiv cs.LG · cs.AI

Spatial Induction Heads: In-Context Learning of Multidimensional Cellular Automata

说明空间归纳头:在上下文中学习多维元胞自动机

简介论文研究 Transformer 如何在展平为序列的多维元胞自动机轨迹中,学习未知局部规则。作者提出空间归纳头,由两层“聚合并匹配”电路组成:第一层重建相关空间邻域,第二层将该邻域配置与先前出现的位置匹配。实验表明,训练后的两层 Transformer 能泛化到未见过的一维和二维规则,在确定性规则上接近完美预测,在随机规则上与贝叶斯最优预测器的 KL 散度低于 0.005 nats。

Kimia Kazemian, Menghan Xu, John Thickstun 等

arXiv cs.LG 有代码

Are Parameter-Efficient Fine-tuning Methods Really Different?

说明参数高效微调方法真的不同吗?——比较六种方法在语言与扩散模型上的表现、遗忘与权重几何变化

简介本文比较了六种参数高效微调(PEFT)方法在语言模型和扩散模型上的表现,考察其参数化方式与任务性能、遗忘程度及预训练权重几何结构变化之间的关系。研究发现,所选的LoRA系列方法大致保留了预训练几何结构,恢复其略有漂移的奇异值谱后,任务性能基本不受影响,这对显式几何保持的必要性提出质疑。论文还指出,各方法在适应与保留之间存在不同权衡,例如LoRA最稳定地限制遗忘,DoRA在多数比较中平均任务分数更高,PiSSA则常有更大的保留代价。

Yikuan Li, Pinyan Lu, Fanghui Liu

arXiv cs.LG · cs.SY · eess.SY

The Deceptive Bandit Problem: Exploratory Coupling and the Fragility of Multi-Agent Learning

说明欺骗性赌博机问题:探索耦合与多智能体学习的脆弱性

简介该论文研究多智能体学习中随机探索的安全风险。一个欺骗方获得与受害方探索行为相关的泄露信号,并将其与自身探索动作耦合,从而改变学习动态,使系统收敛到称为“欺骗性纳什均衡”(DNE)的新稳态。作者证明该动态可收敛到DNE任意小的邻域,并保持最优收敛速率,同时在资源分配博弈中说明欺骗何时会改变稳态及欺骗方的成本。

Michael Tang, Mahmoud Abdelgalil, Jorge I. Poveda

arXiv cs.AI

Which Buildings Are Artificial Intelligence-Ready? A Measurement-Based Assessment Framework for AI Question Answering and Actuation

说明哪些建筑已具备人工智能就绪条件?一套基于测量的 AI 问答与控制就绪度评估框架

简介该论文提出一个框架,用于量化建筑对智能体式人工智能(AI)问答与控制的就绪程度。框架先由建筑知识图谱给出两个上限:可回答运营问题的比例与可执行控制动作的比例;再用参考 AI 智能体在固定问题集上的准确率,衡量这些上限的实现程度。在模拟办公楼中,智能体实现了 0.64 可回答上限中的 0.62,作者认为限制就绪度的主要是数据缺失而非 AI,故障原因识别除外;在 37 个公开真实建筑图谱中,可回答上限的中位数为 0.16。

Wooyoung Jung

arXiv cs.CV

TopoCurve: Geometry-Aware Topology Reasoning via Bézier Curves in Autonomous Driving

说明TopoCurve:基于贝塞尔曲线的自动驾驶几何感知拓扑推理

简介该论文针对自动驾驶中从多视角图像检测三维车道与交通元素并推断其结构连接关系的任务,提出TopoCurve方法。它用端点固定的三次贝塞尔曲线表示车道,使几何连续、端点精确且切线方向可解析。该方法在OpenLane-V2基准上取得50.6 OLS,并在端点检测指标上优于已有方法。

Mihai Bogdan Deaconu, Laura Dio\c{s}an

arXiv cs.RO · cs.LG

Workhorse: Learning Robust Whole-Body Humanoid Loco-Manipulation from Human Data

说明Workhorse:从人类数据中学习鲁棒的全身人形机器人移动与操作

简介该论文提出 Workhorse 方法,让人形机器人无需机器人示范即可学习全身接触式操作。视觉规划器预测躯干、双手腕和双脚的目标位姿,强化学习的全身跟踪器在机器人上执行这些目标,两者在相同的人类动作数据上分别训练。在真实 Unitree G1 上,机器人可搬运箱子、踢箱子、接住抛来的箱子并攀爬箱子,并能在被推或箱子被拿走后恢复。仿真实验中,搬运任务成功率为 77%,在 40 N.s 推力下为 64%。

Songbo Hu, Qiayuan Liao, Yufeng Chi 等

arXiv cs.CV

SPLATIFY: Reproduce, Discover, Innovate! From Papers and Ideas to Trainable 3DGS Code

说明SPLATIFY:把3DGS论文和想法自动转化为可训练代码的多智能体框架

简介本文提出SPLATIFY,一个多智能体框架,可将3D高斯泼溅(3DGS)论文转换为基于gsplat、可直接训练的代码实现。框架通过受约束的代码生成语法、引用恢复、图式思维合成、视觉反馈等模块提高复现忠实度,并能自动组合正则项、损失和致密化策略以改进结果。在30篇论文的基准SPLATIFY-Bench上,无公开代码的论文实现与专家水平相当,PSNR最多提升2.4 dB。

Seemandhar Jain, Keshav Gupta, Manmohan Chandraker

arXiv cs.AI · cs.CL · cs.LG

From Uncertainty to Action: Learning to Steer LLM Agents

说明从不确定性到行动:学习引导大语言模型智能体

简介本文研究如何判断何时、在哪一步以及用何种机制纠正大语言模型智能体的执行轨迹。作者在每个非终止步骤用四种机制分别干预并运行至结束,构建了约82,000条反事实续写的逐步结果表。研究发现不确定性可识别失败轨迹,但没有单一信号能可靠定位干预有效的步骤。为此,作者提出VoS(干预价值)监控方法,学习每一步干预的价值并据此决定干预位置,同时以有害预算触发器限制对成功轨迹的干扰。

Hanwen Li, Jinhao Duan, Guanhua Zhu 等

★★★★☆ 值得关注
arXiv cs.AI

GeoNatureAgent (GNA): A Framework and Benchmark for Pre-Production Evaluation of Tool-Using Agents on Geospatial and Environmental Tasks

说明GeoNatureAgent(GNA):面向地理空间与环境任务的工具调用智能体上线前评测框架与基准

简介本文提出GeoNatureAgent(GNA),用于在投入生产前评测调用工具的大语言模型智能体。框架以一个包含16个工具、通过MCP服务器发布的固定地理空间接口为基础,其基准包含103项任务,覆盖西班牙和葡萄牙的三项环境指标。作者评测了九个大语言模型,结果显示Claude Sonnet 4的准确率最高(61.7%),DeepSeek V3.2以较低成本达到其93%的能力;严格评分与部分得分之间的差距,部分源于评分严格程度。

看点提出可复用的工具代理预生产评估框架与103任务基准,并对九个LLM做了多种子对比,方法上有实质性组合创新。

Gabriel Diaz-Ireland, Diego Prieto-Herr\'aez, Mario Garc\'ia Peces 等

arXiv cs.CL · cs.LG

Same Text, Different Prediction: Serving-Context Nondeterminism in Text Classifiers

说明同一文本,不同预测:文本分类器中的服务上下文非确定性

简介该论文系统研究了文本分类器在不同推理服务条件(如批大小、批次组成、硬件、推理引擎)下的输出差异。作者训练了180个模型并在固定检查点和文本的前提下比较多种服务上下文,发现标签稳定不等于概率稳定,且生成式分类器比判别式分类器更易改变标签。论文还给出了各机制下标签稳定的充分条件及对应缓解方法。

Santhosh Kumar Kasa, Siva Rajesh Kasa, Sumit Negi

★★★★☆ 值得关注
arXiv cs.LG 有代码

Breaking Adversarial Transferability in Fine-Tuned Speech Recognition

说明打破微调语音识别模型中的对抗迁移性

简介许多机构会微调公开的预训练语音识别(ASR)模型并以黑盒方式部署,认为有限的访问权限可以提供保护。本文指出这一假设并不可靠:在公开基础模型上生成的对抗扰动可以有效迁移到微调后的目标模型,严重降低其性能。作者提出统一的微调框架TransferBreaker,结合基础对抗微调、潜空间雅可比正则化和HybridGrad-AFT三部分来抑制对抗迁移,并在三种语言和四个大型ASR模型上评估,将对抗词错误率从92.6降至27.8。

看点提出针对微调ASR对抗迁移的统一框架并给出理论依据,在三种语言、四个大模型上验证,将对抗WER从92.6降至27.8。

Mojtaba Nafez, Aref Mousavi, Mohammad Ebrahim Mahdavi 等

arXiv cs.LG · cs.AI

Convex-Concave Reinforcement Learning

说明凸-凹强化学习:把策略学习的非凸目标改写为可用序列凸规划求解的问题

简介这篇论文指出,强化学习中最大化期望回报的问题虽然非凸,但在对数密度比坐标下,其逐轮目标可写成差分凸约束的差分凸规划。作者用序列凸规划求解该问题,并给出收敛保证,同时复原了CPI、NPG、TRPO、AWR等方法作为特例。实验显示,多步的凸-凹强化学习在依赖跨度较长的诊断环境中表现更好,在经典控制任务上与调优后的PPO相当,在医疗场景中收敛明显更快。

Shripad V. Deshmukh, Yaswanth Chittepu, Dhawal Gupta 等

arXiv cs.AI · cs.CL

Constraint Tree Exploration for Learning from Language Feedback

说明基于语言反馈学习的约束树探索(TRACE 算法)

简介该论文研究交互式学习中如何利用自然语言反馈推断用户的隐含约束。作者提出 TRACE 算法,把候选约束组织成树结构,通过生成满足约束的动作进行检验,只有在反馈不与之矛盾时才确认该约束。论文给出了高概率覆盖界,并在六个语言反馈任务上进行评估,其中 RecMovie 任务的最终输出成功率高于所比较的提示基线。

Shaoang Li, Daniel R. Jiang, Jian Li

★★★★☆ 值得关注
arXiv cs.CC · cs.LG · math.ST

On the Computational Complexity of Hidden Markov Model Identification

说明隐马尔可夫模型可辨识性判定问题的计算复杂度

简介论文研究隐马尔可夫模型(HMM)能否从采样数据中唯一恢复参数,即判断模型是否可辨识。已有条件多为充分而非必要,无法给出确定结论。作者从计算角度证明,多种可辨识性概念对应的判定问题都可在PSPACE内判定,并指出确定性变体对简单参数化族已是coNP难的。

看点将HMM可识别性判定转化为实数理论问题,给出PSPACE可判定性及coETR/coNP难度下界,突破了以往仅有充分条件的研究。

Markel Zubia, Nils Jansen

arXiv cs.LG

Are We Really Benchmarking Forecasting Models? The Impact of Preprocessing on Time Series Performance

说明我们真的在评测预测模型吗?预处理对时间序列性能的影响

简介该论文指出,当前时间序列预测基准通常只做简单缩放,忽略了差分等处理非平稳性的关键变换,从而产生对内置数据处理的模型有利的偏差。作者用11个预测模型、16种可逆预处理流程,在29,000条M4时间序列上进行了考虑预处理的评测。结果显示,对每条序列优化预处理可使各模型性能提升约27%至87%,且缺乏内置预处理的简单模型提升最明显。

Guilherme Afonso Galindo Padilha, Paulo Salgado Gomes de Mattos Neto, Rafael Menelau Oliveira e Cruz

arXiv cs.LG · cs.AI

MaRK: Markov-adapted Recurrent Kernels for Dynamic Operator Conditioning in State Space Models

说明MaRK:面向状态空间模型动态算子条件化的马尔可夫自适应循环核

简介该论文提出MaRK框架,把上下文向量映射为冻结状态空间模型(SSM)循环参数的有界调制,使每个扩散时间步都能改变模型的输入输出记忆核。作者在1.11亿参数的Hydra骨干上测试了三种适配器,仅需630万到1100万可训练辅助参数。实验中切比雪夫变体表现最好,平均验证损失为2.55。

Syed Ibrahim Omer, Ginny Y. Wong, Xiangyu Zhao

arXiv cs.LG · math.OC · stat.ML

FedRSPO+: A Heterogeneity-aware Algorithm for Decision-focused Federated Learning

说明FedRSPO+:面向决策的联邦学习中考虑异质性的算法

简介该论文提出FedRSPO+,用于跨机构场景下的决策导向联邦学习。它以正则化的先预测后优化代理模型RSPO+为基础,通过投影平滑决策映射,以应对各客户端目标函数和可行域的异质性。实验在合成背包、最短路径及真实能源定价任务上进行,与仅做预测的联邦学习和决策导向学习基线比较。

Konstantinos Ziliaskopoulos, Alexander Vinel, Jiaqi Wang

arXiv cs.LG

Tucker Bottleneck Attention for Multi-Dimensional Sequence Modeling

说明Tucker瓶颈注意力:面向多维序列建模的高效注意力机制

简介论文提出Tucker瓶颈注意力(TuBA),利用张量低秩结构,把隐藏张量投影到紧凑的Tucker核心上进行自注意力计算,再写回原空间,从而实现次二次复杂度。在视频预测和全球天气预报任务中,相比标准自注意力,TuBA在误差和计算量上均有降低,并取得最高4.27倍的加速。

Ryan Solgi, Parsa Madinei, Zheng Zhang

arXiv cs.AI

RippleCP: Measuring Counterfactual Checkpoint Advantage in Coding Agents

说明RippleCP:衡量编程智能体中反事实检查点的收益

简介本文针对编程智能体的检查点机制,提出“反事实检查点收益”,即对某个候选位置做检查点而非跳过所带来的未来恢复成本降低。作者在12个SWE-bench Verified任务、106个真实恢复分支上进行实验,结果显示平均每个任务节省49.4秒,但不同检查点的收益差异很大:第一个检查点收益明显,第二个检查点甚至略有负收益。

Mayur Akewar, Ravi Ranjan

★★★★☆ 值得关注
arXiv cs.CL · cs.AI · cs.LG 有代码

U-Space: Uncovering When and Why Uncertainty Arises in Language Models

说明U-Space:揭示语言模型何时、为何产生不确定性

简介本文提出 U-Space,一个低维子空间,用于衡量并解释语言模型在生成过程中不确定性的变化。方法通过语义锚点与对应的反嵌入方向构造正交基,并借助 U-Lens 为每个词元生成可读的不确定性图,也可汇总为单一分数。该方法无需正确性标签、重复生成或额外训练,在推理基准上的置信度分数优于既有基线。

看点提出无需训练或重复生成的低维不确定性子空间,并通过长度控制评估验证其优于基线,影响面限于LLM可信度研究。

Tobias Braun, Nils Loose, Alexander Herzog 等

arXiv cs.CV 有代码

Anaximander: Interactively Running Geospatial Deep Learning Models on Any Compute Backend

说明Anaximander:在任意计算后端交互式运行地理空间深度学习模型

简介遥感从业者在地理信息系统中对卫星影像应用深度学习模型时,常因模型格式不兼容、运行环境不同而需要大量定制代码。本文提出开源系统 Anaximander,通过一个交互界面统一选择模型来源与计算位置,后端为推理服务器,并配有 QGIS 插件处理切片、结果拼接与地理配准。作者在农田边界划分任务上,以无代码方式并排比较了三个异构模型。

Satej S. Soman, Akram Zaytar, Girmaw A. Tadesse 等

arXiv cs.SE · cs.CL · cs.CV

Large-scale Repository Engineering via Agent-Native Reusable Code Primitives

说明基于智能体原生可复用代码原语的大规模仓库工程(LEGO)

简介这篇论文提出“代码原语”,即带接口契约、依赖闭包、验证测试和来源信息的可复用可执行组件,并建立了包含1,424个经验证原语的检索库CodeFace。作者提出LEGO方法,用于激活任务相关原语、整合改写后的实现并依据执行测试修订结果,同时构建了包含522个可执行重建任务的LEGO-REPO基准。原文报告,LEGO将13个评测骨干模型的得分平均提高0.1474,并将GPT-5.6-terra的得分从0.3180提升至0.5134。

Haibo Jin, Peng Kuang, Xucheng Yu 等

arXiv cs.CV

DISRQAD: Diffusion Image Super-Resolution Quality Assessment Dataset and Benchmark

说明DISRQAD:扩散图像超分辨率质量评估数据集与基准

简介该论文提出DISRQAD数据集,收录了10种扩散方法和4种非扩散方法生成的14,000张超分辨率图像的主观平均意见分(MOS),涵盖四种低分辨率退化条件及x2、x4放大倍数。研究发现,现有质量评估指标与人类感知的一致性在扩散方法输出上明显更弱,最强的无参考基线在扩散结果上SRCC为0.431,而在非扩散结果上为0.813。

Nikita Kukuzei, Artem Borisov, Evgeney Bogatyrev 等

arXiv cs.SD · cs.LG · eess.AS

Towards AI-Generated Music Plagiarism Detection as a Version Identification Problem

说明将AI生成音乐的抄袭检测视为版本识别问题

简介本文研究如何把音乐版本识别技术从人与人之间的翻唱场景迁移到人与AI之间的抄袭检测。作者构建了COPYCAT基准,包含350,654组评估音频对,由真实抄袭案例经生成式重合成和数字信号处理混淆扩展而来。结果显示,单一距离阈值在生成式重合成下失效,而基于坐标逐维嵌入偏移的监督方法能找回分散的抄袭信号,总体F0.5从0.612提升到0.803。

Fotis Koutsikos, Ioannis Prokopiou, Spyridon Kantarelis 等

arXiv cs.LG

TAP: Efficient Long-Horizon Agent Pruning via Trajectory-Anchored Recovery

说明TAP:通过轨迹锚定恢复实现高效的长时程智能体剪枝

简介论文指出,长时程智能体任务需要反复调用大模型,推理成本高,而现有面向问答任务的剪枝方法应用到智能体模型上会严重降低任务表现。作者提出轨迹锚定剪枝(TAP),这是首个面向强化学习训练智能体的结构化剪枝框架,结合在线策略恢复并迭代重新评估通道。在移除60%的前馈网络通道后,7B智能体在ALFWorld和WebShop上分别保留了密集模型99.2%和88.0%的任务成功率,每个成功任务的GPU时间分别减少约22%和17%。

Yuanzhe Li, Pengxin Wang, Yuxin Ren 等

arXiv cs.CV

OverLay++: Dense-Overlap Layout-to-Image Generation Dataset

说明OverLay++:密集重叠布局到图像生成数据集

简介该论文提出OverLay++,一个包含结构复杂场景的大规模布局到图像生成数据集,约50万张图像,平均每张含6.6个对象,标注密度比现有数据集高1.67倍。其对象描述长度超过现有数据集六倍以上。文中指出,在该数据集上训练的先进方法在多个基准上表现持续提升且收敛更快。

Shivansh Aggarwal, Shresth Grover, Divyansh Srivastava 等

arXiv stat.ML · cs.LG · stat.ME

Covariate-dependent Joint Modeling of Multivariate Ordinal Preferences and Its Connections with Comparison Models

说明协变量相关的多变量有序偏好联合建模及其与比较模型的联系

简介论文关注带协变量的多变量有序数据(如 MovieLens 评分、HelpSteer 的 LLM 回复属性评分),指出常见做法单独看各属性,或把数据转成成对/列表式胜负比较,会丢失观测信息。作者提出协变量相关的连续比率马尔可夫随机场联合模型,并说明成对或列表比较模型是该联合模型的特殊限制情形,同时给出在归一化常数难以计算时的最大似然推断方法。

Yujie Chen, Antik Chakraborty, Anindya Bhadra

arXiv cs.CV · cs.RO

GUARD: Geometric Uncertainty-Aware Point Cloud Denoising and Segmentation for Robotic Hard Disk Drive Disassembly

说明GUARD:面向机器人硬盘拆解的几何不确定性感知点云去噪与分割

简介该论文针对硬盘点云中由扫描和重建产生的伪影问题,提出GUARD框架,通过学习几何表示的可靠性来估计每个点的几何不确定性,并结合预测熵抑制不可靠测量。在2745个真实硬盘点云上,PointNet++的分割平均交并比由0.7739提升至0.8318。论文还在ShapeNetPart和ScanNet上验证了鲁棒性。

Zuoxu Wang, Xiao Liang

arXiv cs.CY · cs.AI · cs.CL

Talking with Language Models

说明与语言模型“对话”?一种将其视为人工制品的视角

简介本文提出“人工制品立场”,认为大语言模型的输出只是为实用目的而优化的候选文本,而非有意义或有效力的言语,模型背后并无说话者。作者认为,所谓“对话”实为用户的单独操作,关于“我”“你”指代、系统能否撒谎或履约等哲学问题因此不成立。文章主张,值得探讨的问题应集中于设计、采用、授权及使用实践的规范基础。

James Ravi Kirkpatrick, Alexandru Radulescu, Rachel Katharine Sterken

arXiv cs.LG · cs.CL

Multi-Label Topic Assignment via LLM Distillation: A Comparative Analysis of Generative vs. Discriminative Student Models

说明基于大模型蒸馏的多标签主题分配:生成式与判别式学生模型对比分析

简介本文面向电商用户生成内容(如商品评论和买卖双方对话)的多标签主题分配问题,以大语言模型作为标注工具蒸馏出小模型。作者比较了1B、4B、8B三种参数规模的生成式模型与DeBERTa-V3、ModernBERT等判别式模型。结果显示,判别式模型在结构化商品评论上表现更好,而最小的1B生成式模型在复杂多轮对话上优于判别式基线;在标签数扩展到112个及长尾分布下,生成式模型更稳健。

Sourabh Kasliwal, Shubhranshu Singh

arXiv cs.LG

EDiS: Edge Disjoint Subgraph Sparsification Framework for Graph Neural Networks

说明EDiS:面向图神经网络的边不相交子图稀疏化框架

简介该论文提出EDiS框架,用于图神经网络的稀疏训练。它先将图一次性分解为可缓存的边不相交子图,每个训练轮次再按边预算和保留比例将这些子图重新组合成训练图,无需重复提取结构。实验在19个节点分类基准上与17种基线在相同边预算下比较,EDiS取得了最高的平均基准分数和最低的平均排名。

Sai Karthik Navuluru, Siddhartha Shankar Das, Franck Dernoncourt 等

arXiv cs.LG

Learning Cross-Model Activation Alignments with Explicit Many-to-Many Layer Maps

说明用显式多对多层映射学习跨模型激活对齐

简介本文研究两个独立训练的大语言模型之间如何对应层,以及特征如何在二者之间变换。作者提出 MATCHA 方法,将激活映射拆分为可提取、可检查的层映射矩阵和层间共享的特征映射,并从提示中联合学习两部分。在三个模型家族共七个模型的 42 组配对上,MATCHA 比以往方法更忠实地重建目标模型的激活,检索类指标也明显提升。学到的映射大体随深度单调,但呈多对多结构,且可用于在模型间迁移激活空间干预(如导向向量和探针)。

Alina Sudakov, Guy Bar-Shalom, Fabrizio Frasca 等

arXiv cs.AI

Epistemic Uncertainty-Aware Defect Detection for Quality Control in Medical Device Manufacturing

说明面向医疗器械制造质量控制的认知不确定性感知缺陷检测

简介本文研究在医疗器械制造缺陷检测中考虑认知不确定性能否提高自动检测的可靠性。方法是基于知识图谱表示的制造与器械报告数据,对认知不确定性超过阈值的预测选择拒绝输出。在合成基准和266,170条真实FDA MAUDE器械报告上的实验显示,拒绝10%的样本可使分类错误降低48%,同时可控制预测覆盖率。

Raham A. Butt, Marco Romanelli, Roche C. de Guzman

arXiv cs.LG

A Geometry-Based Capacity Theory for Finite-Feature Associative Memory

说明基于几何的有限特征联想记忆容量理论

简介本文提出一种基于几何的容量理论,用于压缩有限特征 Hebbian 联想记忆的精确键检索。文中将检索干扰分为随特征维度下降的有限特征噪声,以及由存储键之间核重叠平方决定、在无限特征极限下仍然存在的结构性干扰。该理论给出无需拟合的检索质量预测、几何相关的容量上限,以及达到目标检索质量所需的特征预算。在合成、视觉和医学图像表示上的验证表明,预测曲线与经验结果接近。

Jianhai Zhang, Donghao Zhang, Pattarawut Charatpangoon 等

arXiv cs.RO · cs.AI

MimicX: Policy-in-the-Loop Supervision Refinement for Video-Driven Humanoid Motion Tracking

说明MimicX:基于策略闭环的视频驱动人形机器人动作跟踪监督优化

简介论文提出MimicX框架,利用物理执行中的反馈,改进从人类视频重建并重定向得到的人形机器人动作跟踪训练监督。该方法定位困难动作转换与受影响的身体部位,联合调整跟踪目标和重置课程,并通过反复滚动验证选择保留的改进。在四项核心视频任务中,相较固定参考基线,任务平均身体跟踪误差降低25.7%,执行时长提升255.6%。

Shuaijun Liu, Chenglong Zhang, Xuhao Liu 等

arXiv cs.AI

Justice After Identity: Large Language Models and the View from Everywhere

说明超越身份的正义:大语言模型与“无处不在的视角”

简介论文探讨能否借助大语言模型,在不依赖个人社会身份的前提下形成更公正的伦理判断,以回应罗尔斯“原初状态”思想实验的局限。作者将人类、基础模型与前沿或微调模型的判断进行对比,并系统性地改变身份关系与罗尔斯式的身份约束。文末思考:若先进人工智能提供审慎建议,人类是否会真正接受。

W. Russell Neuman

arXiv cs.LG · eess.SP

BeatFlow-ECG: Rectified Flow for ECG Reconstruction from Indirect Wearable Signals

说明BeatFlow-ECG:用整流流从间接可穿戴信号重建心电图

简介该论文提出BeatFlow-ECG模型,利用同步采集的光电容积脉搏波(PPG)与惯性测量单元(IMU)信号,重建单通道心电图(ECG)。模型基于条件整流流,在PPG-DaLiA和WESAD数据集上采用留一受试者协议评估。结果显示其在各项波形与心拍时序指标上优于对比基线,并降低了L1误差。

Mohamed Kamel, Sahar Selim, Walaa Medhat 等

arXiv cs.LG

A Self-Pruning Transformer: Extreme KV-Cache Compression with Universal Attention

说明自剪枝 Transformer:借助通用注意力实现极致 KV 缓存压缩

简介大语言模型的 KV 缓存很大,影响部署效率。该论文提出统一的衰减机制框架,并构建 Universal Attention 架构,使其可端到端训练,同时保留 RoPE 位置编码与 Softmax 注意力。其复合衰减机制可作为自适应剪枝标准,移除对注意力计算贡献最小的标记。实验显示,该方法在自然语言与合成任务数据上实现 10 倍压缩,并在长上下文(16k)下达到 25 倍压缩。

Davis Wertheimer, Haochen Shen, Ahan Gupta 等

arXiv cs.LG

Towards Financial World Modeling

说明迈向金融世界建模

简介本文关注金融市场表示学习,指出过去的评估多局限于单一预测任务和较窄的数据。作者提出了包含约一万亿条观测的美股数据集Market-1T(2008至2025年,1赫兹分辨率),并设计了严格的评估方案。研究比较了18种编码器训练策略,发现预测表现相近的编码器对市场状态的组织方式可能差异很大。

Humzah Merchant, Alec Guthrie, Simon Mahns 等

arXiv stat.ML · cs.LG

Learning Transition Kernels of Jump-Diffusion Processes with Conditional Diffusion Models

说明用条件扩散模型学习跳跃扩散过程的转移核

简介本文研究如何用条件扩散模型学习时间齐次跳跃扩散过程的转移核,从高频离散时间网格上观测的 N 条独立轨迹训练数据中生成新的样本路径。理论方面,作者给出了条件分数估计误差以及真实与生成的离散观测路径分布之间 KL 散度的非渐近界。数值实验先在合成数据上验证理论结论并与 Gao 等人(2025)的方法对比,随后应用于真实数据的概率预测任务。

Yuzhen Zhao, Yating Liu, Quentin Guibert

arXiv stat.ML · cs.LG · math.PR

Quadratic Weak-to-Strong Generalization in Random Feature Networks via Random Matrix Theory

说明随机特征网络中基于随机矩阵理论的二次弱到强泛化

简介该论文研究两层随机特征网络中的弱到强泛化现象:由弱教师标注训练的强学生模型,有时能比教师泛化得更好。作者利用随机矩阵理论推导了最优训练教师与梯度流训练学生总体误差的确定性等价形式。对于ReLU激活和纯球谐目标,在高斯普适性假设下得到精确渐近结果,显示学生误差与教师误差的平方成正比,即二次改进,并与Medvedev等人(2025)的一般下界相符。

Deborah Oliveira, Elliot Paquette

arXiv stat.ML · cs.AI · cs.LG

Careful Judge: Safe and Efficient Human-AI Collaborative Decision Making

说明《Careful Judge》:安全高效的人机协同决策方法

简介论文提出 CARE(校准自适应修正与升级)流程,结合 AI 模型与人工复核,在保证决策安全、与人类判断一致的同时,从人工反馈中持续学习,以减少人工查询次数并提高自动化程度。该方法适用于任何黑箱 AI 模型,并设计了自适应校准模块以在每个时间步控制风险。实验涵盖驾驶、语言和机器人领域的四个安全关键数据集,结果显示相比基线方法人工查询减少 25% 至 81%。

Chenyu Zhang, Rachel Luo, Boyi Li 等

arXiv cs.LG

ORACLE: Optimizer-Relative Alignment for Constrained LEarning

说明ORACLE:面向优化器的约束学习对齐方法

简介该论文提出在优化器完成一步更新之后评估约束是否兼容,而非仅在目标函数或梯度层面干预。作者提出ORACLE方法,通过对多类约束的联合端点线性化,在优化器自身的几何中构造对齐修正,限制其作用强度,并在验证后才提交。在八个偏微分方程基准和四种优化器上,ORACLE在94%的配置中优于或持平原生优化器。

Utkarsh Grover, Wyatt Mackey, Kaixun Hua 等

arXiv cs.AI · cs.IR

From High Recall to High Utility: Dataset-Adaptive Post-Processing of LLM-Generated Customer Intents

说明从高召回到高效用:面向数据集自适应的大模型客户意图后处理

简介论文提出一套数据集自适应的后处理架构,用于客户意图抽取(CIE),把大模型从非结构化客户语言中召回的大量候选意图,去重、标准化、聚类并压缩为稳定、可追溯的意图单元。方法将召回式抽取与效用导向的归约分开,并在后处理中加入关键词解释层和受约束的语言模型聚合。文中还介绍了两个下游应用:基于相似客户推断潜在意图,以及将稳定意图作为查询映射到业务结果。

Mahesh Viswanathan, Joan Rossello, Leticia Fernandes 等

arXiv cs.AI · cs.MA

When the Governor Becomes the Disturbance: Control-Generated Disturbance and Cost-Aware Backoff in Governed Tool-Using Agents

说明当监管者成为干扰源:受治理的工具调用智能体中的控制诱发干扰与成本感知退避

简介该论文研究监管者(governor)对其所约束的工具调用智能体可能造成的干扰。在可控的文件恢复环境中,监管强度提高会触发实验设定的工具故障;不计成本的监管者会把这些故障转化为持续阻断,导致任务无法完成。作者比较了一种退避规则,它依据已知诱发事件的滑动平均值降低干预概率。实验结果显示,退避机制在多种设定下减少了阻断并提高了任务完成率。

Veronique Ziegler

arXiv cs.AI · cs.LG · cs.MA

Shared-Roadmap Generation and Evaluator for Multi-Agent Path Planning Using Heterogeneous Graph Neural Network

说明基于异构图神经网络的多智能体路径规划共享路线图生成与评估

简介本文提出一种可扩展的异构图神经网络框架,用于自动生成并评估多智能体共享路线图。模型将路径点、智能体位置和任务位置表示为异构图中的不同节点,并利用专家求解器轨迹汇总的占用密度图进行训练,以识别关键兴趣点并剪除冗余节点与边。实验结果显示,该方法在稠密路线图上运行时间和图规模均可减少至少40%。

Brandon Ho, Nikola Rogers, Seung-Kyum Choi

arXiv cs.CV

Shape-Bayes: Bayesian Inference of Structured Shapes under Visual Ambiguity

说明Shape-Bayes:在视觉模糊条件下对结构化形状进行贝叶斯推断

简介论文指出,从图像中推断人脸等结构化形状时,确定性回归在遮挡严重时容易失效,会预测出不连贯的形状或退化为平均形状。作者提出Shape-Bayes概率框架,将具不确定性感知的视觉感知与贝叶斯形状推理相结合,在PCA形状流形上得到结构有效的后验分布。在人脸形状回归任务中,该方法在严重遮挡下相对现有确定性模型取得了约34%的IDR绝对提升,并将相对误差降低最多12.5%。

Mani Kumar Tellamekala, Tosh Brown, Michel Valstar

arXiv cs.CV · cs.LG

Beyond Explanation: Debugging Medical Imaging Models via Concept Intervention

说明超越解释:通过概念干预调试医学影像模型

简介医学影像模型常被视为黑箱,难以解释和系统性调试。该论文提出一个易用、即插即用的框架,将单模态编码器与BioMedCLIP对齐,构建概念瓶颈模型(CBM),通过概念层面的干预区分因果概念与虚假相关概念,并生成反事实样本用于定向微调。在Mayo Clinic超声数据集和CheXpert 5x200胸片数据集上的结果显示,概念干预可支持可靠的模型诊断,并在保持、偶尔提升预测性能的同时完成引导式微调。

Samrajya Thapa, Daniel J. Quest, Timothy L. Kline 等

arXiv cs.AI · cs.CL · cs.IR

BEACON-SP: Ontology-Grounded GraphRAG Framework for Clinical Suicide Risk Assessment

说明BEACON-SP:基于本体的图检索增强生成框架,用于临床自杀风险评估

简介本文提出BEACON-SP,一种面向临床医生的基于本体的GraphRAG框架,用于自杀预防等行为健康场景的决策支持。该框架整合患者知识图谱与本体引导检索,支持跨诊断、用药、风险与保护因素、生活事件及时间关系的多跳推理。在包含100名患者、15个临床类别共1500条查询的基准上,其在完整性、临床相关性和证据依据方面优于向量检索RAG基线,事实准确性略有提升;成对比较中76.4%的情形更受青睐。

Kemal Davaslioglu, Nathan Conger, Sastry Kompella 等

arXiv cs.LG

SPIN: Shadow Predictive Indexer for Sparse Attention

说明SPIN:用于稀疏注意力的影子预测索引器(一种减少大模型解码时索引计算开销的方法)

简介该论文提出SPIN方法,针对基于索引器的稀疏注意力在长上下文中需要为每个解码步骤扫描全部KV缓存的瓶颈,改用轻量的基于历史的预测来识别重要的KV块。在长上下文与智能体基准测试中,SPIN实现了30%至40%的稀疏度并保持任务质量;在vLLM端到端服务中,输出吞吐量最高提升14.9%,中位词元间延迟最高降低13.2%。

Yao Fu, Jiahan Chang, Ritchie Zhao 等

★★★★☆ 值得关注
arXiv cs.AI 有代码

Not Every Call Needs a Frontier Model: Per-Call-Site Evaluation of Small Language Models in a Deployed Agentic Home-Automation System

说明并非每次调用都需要前沿大模型:在已部署的智能体家居自动化系统中,按调用位点评估小型语言模型

简介论文指出,一个智能体系统中的不同LLM调用难度差异很大,但实践中通常用同一个模型服务所有位点。作者在开源家居自动化框架Wactorz的五个调用位点上,比较了9个从0.8B到前沿托管模型的模型,并在两个真实Home Assistant环境中测试(280个案例,2520次评分调用)。结果显示,最佳本地模型在其中四个位点与两个托管模型无统计差异,只有代码生成有区别;按位点路由到最佳本地模型可达91.8%,对比全托管模型的95.4%。

看点按调用位点评估小模型并发现能力排序不一致、路由策略可省成本,有实用新意;证据来自2520次评分调用和真实部署验证。

Panagiotis Kasnesis, Christos Chatzigeorgiou, Lazaros Toumanidis 等

arXiv cs.LG

Neighborhood Smoothing for Calibration

说明用于校准的邻域平滑:在训练阶段利用表示空间中的近邻结构,改善神经网络的置信度校准

简介现代神经网络常出现过度自信的校准问题。本文提出把图平滑作为训练阶段校准的通用原则,鼓励表示空间中相邻样本具有相似的预测分布,并推导了相关理论界。作者据此提出基于图的正则项,惩罚相邻样本预测分布之间的 Jensen-Shannon 散度。实验显示,该方法在多数标准基准上提升了预测质量,且与事后温度缩放互补,在八个图像与表格设置中的七个里取得了训练期方法中最低的 NLL。

Idan Horowitz, Avigdor Gal

arXiv cs.AI

PAIR: Bridging Perception and Action in Vision-Language-Action Models

说明PAIR:连接视觉-语言-动作模型中的感知与动作

简介该论文提出PAIR框架,用于视觉-语言-动作(VLA)机器人模型,在感知表示与动作表示之间学习共享的中间表示。训练时通过掩码动作自编码器和桥接模块生成桥接令牌,并注入动作令牌作为动作专家精修的起点;推理时无需自编码器。在LIBERO-Plus上,VLA-Adapter成功率由59.1%提升至64.2%;在七项真实任务中,OpenVLA-OFT成功率由51.4%提升至65.0%。

Kaixi Feng, Guoheng Sun, Ang Li

arXiv cs.CV · cs.AI

Personalize at Test Time: Learning User Preferences for Image Generation

说明测试时个性化:学习用户对图像生成的偏好

简介扩散模型能生成高质量图像,但让输出符合每位用户的个人偏好仍有难度。该论文提出从用户历史图像偏好对中直接学习个性化奖励模型的方法:先用自编码器把大量视觉属性压缩为50个偏好维度并训练评分器,再用每位用户的低维权重向量拟合其偏好。推理时用学到的奖励引导生成,扩散模型保持冻结。在真实用户数据上,留出集两两偏好预测准确率约为77%,并提升了生成图像与个人偏好的一致性。

Jiamu Bai, Jiaming Hu, Yanhong Wu 等

arXiv cs.AI

Enabling Dynamic Computation in Looped LMs

说明在循环语言模型中实现动态计算

简介循环语言模型参数效率高,并有望对简单词元节省显存和计算量,但现有开源模型(Ouro)未能在实践中实现这一动态计算,因为每次循环都需要单独的KV缓存。本文提出一种简单的“最佳可用”KV缓存策略,可直接使用,据称可在保持全深度性能的同时,将计算量(FLOPs)和KV内存减少最多30%。此外,文中还改进了提前退出先验的约束目标,使词元根据难度以不同深度退出。

Aayush Mishra, Arnau Padr\'es Masdemont, Victor Conchello Vendrell 等

arXiv cs.AI

Whose Memory Is It? Scope-Aware Commit Rules for Long-Term LLM Memory

说明记忆属于谁?面向长期大模型记忆的范围感知写入规则

简介该论文指出,大模型智能体在推理中产生的假设、模拟结果或他人信念若被直接存入长期记忆,可能在之后被当作事实使用。作者提出CASK方法,保留表明内容归属(世界、分支或说话者)的稳定关系,使共享事实进入长期记忆,而临时内容只在原有范围内可用。受控长对话与工具智能体实验显示,该方法提升了记忆准入效果,并防止临时内容污染后续回答。

Hongyu Gu, Xinchang Li

arXiv cs.LG · cs.AI

Algorithmic Scratchpads and Curriculum Staging for Arithmetic Reasoning in Tiny Transformers

说明小型Transformer算术推理:算法草稿纸与课程分阶段训练

简介该论文研究约1060万非嵌入参数的小型Transformer在加减乘除多步算术上的表现,训练数据为合成数据并采用逐步草稿纸形式。作者发现序列填充会导致梯度饥饿,连续打包可以修复;语言预训练是必要前提;采用逐位长除法草稿纸与四阶段课程后,单位数除法准确率从4.0%提升到86.7%,但多位数乘法仍然困难,在未见过的四位数操作数上表现降至0.00%。

Sourabh Kasliwal

arXiv cs.AI · cs.MA

Learning to Report Unsafe Tasks in a Multi-Agent Game

说明学习在多智能体博弈中报告不安全任务

简介本文研究一组共享完成任务奖励的智能体何时应报告并停止不安全工作。作者分析了共享策略在何种审计条件下,通过策略梯度可收敛到普遍报告,并指出完全共享的策略即使报告最优也可能被沉默所吸引。实验在24个见证者图上用PPO进行,结果显示分组共享策略能显著降低不安全任务的完成率。

Avyay M. Casheekar, Hariganesh Tangirala

arXiv cs.RO · cs.AI

PhysEvo: Astra Can Act, Let It

说明PhysEvo:让冻结模型通过实践持续改进机器人操作

简介PhysEvo 是一个针对机器人操作的物理递归自我改进框架,基于单个冻结模型,不更新模型权重,也不训练单独的动作策略。任务智能体执行机器人任务,元智能体根据轨迹诊断失败、修订工具与技能并测试修正,还能改进自身的诊断工具。在 42 个 RoboDojo 任务的留出布局评估中,平均分为 68.14/100,成功率 62.00%,高于参考基线的 47.17%;在真实机器人上,五项任务共 25 次试验的成功率为 84.00%。

Wenqing Tian, Zeyu Zhang, Zhaocheng Liu 等

arXiv eess.AS · cs.CL · cs.SD 有代码

Phoneme-Guided Initialization for LLM-based Speech Recognition

说明面向基于大语言模型的语音识别的音素引导初始化方法

简介该论文针对语音大模型在低资源条件下语音识别性能下降的问题,提出“音素引导初始化”方法。方法先用语音到音素任务预训练音频编码器,用音素到字形任务预训练大语言模型,再将两者连接并在目标识别任务上端到端微调。实验涵盖日语(CSJ)、中文(AISHELL-1)以及 Common Voice 25.0 中的鞑靼语和乌尔都语,结果显示该方法的表现与级联式基线相当或更好,也优于未做此初始化的端到端模型。

Ryo Magoshi, Shinsuke Sakai, and Tatsuya Kawahara

arXiv cs.AI

Verify Less, Evolve More: Training Idea-Level Critics for Verification-Efficient ML Evolving Agents

说明少验证多进化:训练面向想法层面的评审模型,提升机器学习进化智能体的验证效率

简介本文针对用大模型做机器学习自动化(AI4ML)时,经验验证需要高昂训练与评估成本的问题,训练了专门的想法级评审模型,用于预测某个拟议的机器学习改动是否能优于当前方案。评审模型先用Gemini-3.1-Pro合成的高质量评语做监督微调,再经GRPO进一步提升预测准确率。结果显示,该模型在静态想法评估中优于Gemini-3.1-Pro,并在推理进化、持续学习和策略训练中带来收益。

Jiamu Bai, Lizhu Zhang, Xin Yu 等

arXiv cs.LG · cs.HC

REFIT: Recognize, Fix, and Test Wearable Sensor Placement Shifts without Labels

说明REFIT:无需标签识别、修正并检验可穿戴传感器佩戴位置偏移

简介REFIT 是一种针对冻结活动识别模型的输入校准方法,用于解决用户佩戴方式改变(如手表换到另一只手、传感器反戴)导致的数据偏移。它用坐标轴变换族描述偏移,并通过匹配简单统计量来判断偏移类型和修正方式,全程无需标签或重新训练。实验显示其在真实与模拟的重新佩戴场景中优于无标签的测试时自适应方法,并能较可靠地识别偏移类型与检验修正效果。

Bangxun Tang

arXiv cs.LG

Coverage, Not Difficulty, Sets How Much Synthetic Data an Activation Probe Needs

说明覆盖范围而非难度,决定激活探针需要多少合成数据

简介该论文研究用于监控大语言模型的激活探针需要多少合成训练样本。作者对高风险情境、对人有害的回复、不遵循用户指令的回复三个概念,在14个留出评估分布和4种探针模型上绘制学习曲线。结果显示所需样本数由监控概念决定,指令类概念需要的样本明显更多;所需深度主要取决于覆盖范围,而非单类数据的难度。

Ankush Checkervarty

arXiv cs.LG · cs.AI · cs.RO

LASER: Latent Space Adjoint Matching for Support-Constrained Entropy-Regularized Offline RL

说明LASER:用于支持约束、熵正则化离线强化学习的潜空间伴随匹配方法

简介离线强化学习从静态数据集中优化策略,但执行分布外动作的风险是主要瓶颈。本文提出LASER算法,在通过流匹配学到的行为克隆策略的潜空间中,利用潜空间伴随匹配实现熵正则化的强化学习,并避免时间反向传播。在40个OGBench任务上的实验显示其达到当前最优性能,且所有任务使用固定的方法超参数。

Songyuan Zhang, Oswin So, Eric Yang Yu 等

arXiv astro-ph.IM · astro-ph.HE · cs.LG

A method for multimodal analysis of TAIGA experiment data using essential features

说明基于本质特征的TAIGA实验多模态数据分析方法

简介该论文提出一种利用自编码器等神经网络提取本质特征的方法,用于同时分析来自多个装置的多模态实验数据。研究以TAIGA实验的多模态数据为对象,指出目前各装置是分别独立分析的。基于蒙特卡洛模拟,论文表明该方法能够有效分析多模态数据,并可用于其他实验装置。

Alexander Kryukov, Julia Dubenskaya, Elena Fedotova 等