arXiv
cs.AI
说明LatentIndex:面向稀疏注意力的跨层共享与层级选择
简介稀疏注意力可减少核心注意力计算,但其索引器仍需重复选择并为每层保存键缓存。本文提出LatentIndex,将多头潜在注意力的潜在共享思想扩展到索引器层之间:每组层从首层隐藏状态构建共享潜在缓存,同时各层独立打分以选择令牌。在四层共享下,DeepSeek-V3.2上的逻辑索引缓存存储减少61.1%,并在多种上下文长度下实现了相对DSA更快的解码索引速度。
Zhaohui Wang, Zhixin Pan, Fanxu Meng 等
arXiv
cs.CV
说明DistScene:面向三维场景生成的从物体到场景的蒸馏方法
简介该论文提出 DistScene 框架,用于从单张图像生成组合式三维场景。它将环境与各个物体共同建模,让环境几何为物体放置提供上下文。方法包括场景-帧联合生成、以物体为中心的局部精修,以及将预训练物体生成先验迁移到场景生成的蒸馏策略。在室内外基准上的评测显示,其场景层面的空间一致性优于所比较的基线方法。
Kunming Luo, Hongyu Yan, Ken Deng 等
arXiv
cs.LG · cs.NA · math.NA
说明大语言模型的数值线性代数:一篇面向数值方法专家的综述,介绍大语言模型的核心概念、所用的线性代数方法,以及数值线性代数近年的相关贡献。
简介这是一篇综述文章,重点讨论机器学习,特别是大语言模型。文章有两个目标:一是以数值方法专家能理解的方式,阐明大语言模型背后的核心概念;二是梳理大语言模型技术所用的关键数值线性代数概念,并介绍数值线性代数领域近期的若干重要贡献。
Abdelkader Baggag, Yousef Saad
arXiv
cs.CV
说明图像退化下目标检测中表示迁移的任务敏感几何结构
简介本文研究在图像退化(高斯模糊)条件下,利用干净图像的任务知识进行蒸馏,如何影响退化图像的表示。作者借助梯度导出的任务敏感几何,分析局部表示方向的响应与干预效果之间的关系。结果显示,这种局部关系在特定方向族中成立,但将其转化为更优的全局训练方法仍是未解决的问题。
Van Vung Pham
arXiv
cs.LG
说明面向稀疏观测PDE逆问题的后向一致扩散采样方法
简介本文针对从极稀疏观测中恢复偏微分方程系数场的病态逆问题,提出函数空间后向一致采样方法FunBCS。该方法在输入空间进行优化,使去噪器重建结果满足物理一致性。作者证明,在不连续PDE设定下,输出空间方法可能无法正确最小化未观测误差,而FunBCS可以。在四个PDE逆问题(包括不连续达西流)上,FunBCS相比当前最优方法将重建误差降低27%至64%,速度快1.4至2.1倍。
Yida Pan, Muhammad H. Ashiq, Chanyong Jung 等
arXiv
cs.CL · stat.AP
说明立场漂移:AI 中介的沟通如何扭曲原意
简介该论文研究大型语言模型在代写或转述时能否忠实保留发言者的立场。作者把流程建模为“生成论点、再从论点中提取立场”的两步管线,并用立场保留率衡量一致程度。在 112 个辩论命题上测试的九个模型,默认设置下均未超过 0.7;常见的漂移包括极化、偏离中立和立场反转。
Lingchong Liu, Yanfei Zhou, Jacob Bien 等
arXiv
cs.RO · cs.CV
说明PerturBot:用扰动训练打破视觉-语言-动作模型的捷径先验
简介该论文指出,视觉-语言-动作(VLA)策略可能依赖视觉、语言或动作中的捷径线索,而非任务所需的证据来决策。作者提出 PerturBot 训练方法,通过任务保持的腕部视角扰动、补充决策相关的指令描述,以及加入随机和失败轨迹片段来削弱捷径。同时提出离线评分 GroundingFscore,用于诊断策略对捷径的依赖程度。
Mingyu Liu, Chonghao Sima, Tianjian Feng 等
arXiv
cs.RO · cs.LG
说明利用分层控制器结构进行上下文参数学习,用于人形机器人的行走与操作
简介这篇论文研究如何同时调校人形机器人分层控制系统中各层的参数,而不是各层各自独立调参。作者提出一种上下文贝叶斯优化框架,分别建模任务表现、动作实现质量和控制代价等性能分量,并用相关多输出高斯过程进行建模。在箱子推动任务中,该方法对质心预测控制器和全身控制器联合调参,在不同箱子质量下进行了评估,在训练和适应阶段的平均经验遗憾均低于所比较的基线方法。
Sebastian Hirt, Lukas Theiner, Jan Peters 等
★★★★☆ 值得关注
arXiv
cs.RO · cs.CV
有代码
说明ForeAct3D:面向VLA策略的、以策略为基础的未来世界建模
简介该论文提出ForeAct3D框架,让视觉-语言-动作(VLA)机器人策略在学习中预测未来的三维场景状态,且预测以策略生成的动作为条件,并加入背景静止、物体刚性等物理一致性约束。推理时无需做未来预测。实验报告在LIBERO和CALVIN基准上优于基础策略,真实世界实验中平均成功率由6.7%提升至37.8%。
看点将动作条件的未来3D场景预测与物理一致性约束引入VLA策略训练,LIBERO和CALVIN上均优于基线,并有消融与真机实验支持。
Zhe Tao, Feiran Wang, Gaowen Liu 等
arXiv
cs.CV
说明基于时空先验与生成辅助的稀疏视角四维高斯溅射
简介本文提出一种四维高斯溅射框架,用于 SIGGRAPH Asia 2026 体积视频挑战赛稀疏视角赛道,仅使用六台宽基线相机重建动态场景。方法结合区域自适应空间先验、运动一致的时间先验以及基于扩散模型的虚拟相机图像修复作为伪监督。在官方测试基准上,该方法取得全帧 30.04 dB、前景 27.88 dB 的 PSNR,在该赛道中排名第一。
Shengqi Wang, Zhengxian Yang, Kaiwen Tian 等
arXiv
cs.CV · cs.AI · cs.LG
说明ConEx:基于概念感知归因的人类可理解显著性图
简介本文提出 ConEx 框架,把像素级的显著性可视化与基于概念的推理结合起来。它自动发现每个类别的概念,并用概念激活向量表示,能显示每个概念在图像中的位置及其对预测的贡献。作者还提出两项评估指标 VCM 和 CCM,并报告 ConEx 在忠实度、分割和概念质量基准上取得了较好表现。
Yehonatan Elisha, Oren Barkan, Ziv Weiss Haddad 等
arXiv
cs.LG
说明用大语言模型预判课程学习决策的后果
简介该论文把自动课程学习视为序列决策问题,指出常用局部学习信号与决定课程决策价值的因素之间存在差距。作者提出一种方法,将在线学习进展估计与大语言模型给出的估计相结合,判断各任务的潜在下游收益以及直接训练是否可能带来进展。方法在Craftax环境中的256个文本目标自建基准上进行评估,针对单个目标任务时收益最明显。
Octavio Pappalardo, Nathan Herr, Tim Rockt\"aschel
arXiv
cs.CV
有代码
说明将几何基元组织为语义部件:面向三维分割的强化推理(RePart)
简介该论文提出 RePart 方法,用于把三维形状的几何基元(超二次曲面)组合成语义部件。它将组合过程建模为有限步马尔可夫决策过程,通过轨迹级强化推理学习合并与停止策略,并借助边界感知表面标注将结果映射回原始网格。在 PartNet 和 3DCoMPaT++ 上的实验显示该方法取得了较好的分割指标,论文认为强化推理能有效完成基元到部件的组织。
Xiaoming Gong, Ruoyu Wu, Zhenhong Sun 等
arXiv
cs.CV · cs.LG
有代码
说明WASP:用于胎儿脑部 MRI 与超声学习的弱对齐时空配对方法
简介本文提出 WASP 框架,在没有公开胎儿 MRI-超声配对数据的情况下,利用胎龄和诊断切面等临床元数据,通过熵最优传输实现跨模态弱对齐,并训练轻量对齐模块将 MRI 表征映射到超声潜在空间,不微调主干网络。在 USFM 上,胎龄估计误差从 21.9 天降至 17.4 天,标准切面分类准确率从 61.9% 提升到 69.0%;对两种模态均预训练过的主干,提升较小。
Francesco Correnti, Gabriele Magrini, Marco Mistretta 等
arXiv
cs.LG · cs.IT · math.IT
说明差分隐私下固定预算最优臂识别的渐近最优算法
简介本文研究在纯 ε-差分隐私约束下、固定采样预算的最优臂识别问题:学习者需在给定采样次数后推荐一个臂,同时保护整个交互记录。作者给出了错误概率最优指数衰减速率的上界,该界依赖于实例并具有隐私感知的传输指数。基于此提出 AO-Pri-BAI 算法,并证明其满足纯 ε-差分隐私,且失败概率的指数与隐私感知基准一致;数值实验显示其在非渐近场景下也优于基准算法。
Keqin Chen, Jie Bian, Yulian Wu 等
arXiv
cs.LG
说明DiffGate:面向同策略蒸馏的难度门控教师指导方法
简介本文提出 DiffGate,用于大语言模型的同策略蒸馏(OPD)后训练。该方法结合 GRPO 与有选择、有界的教师指导:仅对失败轨迹施加教师监督,并按组内难度缩放,同时平滑限制教师与学生差异过大的影响。在 Qwen3-0.6B 和 Qwen3-1.7B 上的代码与数学实验显示,相比匹配的 GRPO,pass@8 在四组模型与领域设置中均有提升。
Karn Tiwari, Varnith Chordia, Prathosh A P
arXiv
cs.CL · cs.LG
说明SIFT:分布偏移下思维链推理的稳健元忠实性验证
简介该论文研究用于审计推理模型的思维链(CoT)忠实性检测器本身是否稳定。作者提出 SIFT,一种基于隐藏状态轨迹、以跨环境不变性目标训练并支持可认证弃权的检测器,并在 14,996 条轨迹、四个领域和八个模型上进行测试。结果显示现有检测器在分布转移下性能明显下降,而采样随机性比分布偏移更主要地导致检测器不稳定。
Noor Islam S. Mohammad, Md. Basim Al Zabir Shammo, Hasan Siddiki 等
arXiv
cs.AI
说明KRATOS 诊断指标的数学界限、分解与零假设行为
简介本文给出 KRATOS 这一分组文献计量诊断指标的完整数学定义,比较各组的文献占比(参与度)与被引权重(认可度)的分布。文中推导了各分量的界限与取等条件、组成上限与分解式,并给出在全局与分层置换零假设下认可比率的一阶、二阶矩。作者以附带脚本的数值验证支持这些结果;该规范只涉及测量结构,不定义认知变化或公正性的度量。
Maria Dolores Gonzalez, Alberto Barbado
★★★★☆ 值得关注
arXiv
cs.CV
说明《静止于单帧:JEPA世界模型中的速度盲区》:单帧编码无法体现速度,论文提出结构修正方案
简介论文指出,基于单帧画面训练的JEPA世界模型,其编码无法包含速度信息,即使是官方发布的LeWM权重也不例外。作者在四个真实基准上验证了这一问题,速度探针的R²不高于随机水平,而位置探针可达约0.95。作者提出TI-JEPA,将潜变量拆分为位姿编码与有限差分运动编码,并在多个环境的停止于目标规划任务中取得显著提升。
看点指出单帧JEPA对速度无信息的结构性盲点并给出可检验的形式化论证,通过分离位姿与运动编码的轻量改进在多环境中取得显著规划增益,证据充分。
Tinghe Zhang, Chunyu Liu, Yu Leon Liu 等
★★★★☆ 值得关注
arXiv
cs.AI · cs.CL
有代码
说明强模态帮助弱模态:多模态大模型中的定向跨模态对齐迁移
简介论文发现,把一个对齐良好、数据充足的源模态多模态大模型合并到数据稀缺的目标模态模型中,能在目标模态自身基准上明显提升表现。作者通过理论与实验分析,认为这源于源模态带来的文本与目标模态令牌之间对齐增强,并据此提出 DCAT 框架,在无需再微调的情况下,利用小规模校准集的闭式权重空间解完成迁移。
看点提出从强模态向弱模态单向迁移文本对齐的新思路,并给出互信息下界与闭式权重解;实验规模与对比范围尚需更多证据支撑。
Hoigi Seo, Byung Hyun Lee, Minjun Kim 等
★★★★☆ 值得关注
arXiv
cs.CL · cs.AI
说明从探针分数到告警策略:语言模型智能体激活监控的可操作有效性
简介论文指出,激活探针能较好地预测模型的安全相关属性(AUROC很高),但实际部署时的监控需要在严格误报率下做出阈值告警决定,二者衡量的目标不同。作者提出“可操作有效性契约”,并在多个基准上测试,发现即使AUROC很高,固定误报率下的检出率仍然偏低,且部分阈值与实际误报率存在偏差;样本不足时作者选择弃权而非报告成功。
看点提出区分AUROC与操作性告警风险的验证契约,并在多个基准上以预注册协议检验,揭示高AUROC监控器在低误报预算下检出率很低,证据较充分。
Xueping Gao
arXiv
cs.LG · cs.AI · cs.CE
说明只投影一次:用于精确满足约束的投影自适应损失
简介该论文针对神经网络预测需满足约束的问题,提出投影自适应损失(PAL)。训练中只需一步分离的投影,并据此自适应地加权约束惩罚,在非线性约束下几乎保持完全可行。论文称其训练速度比基于修复的基线方法 DC3 快 2.5 倍。
Tim Aebersold, Soheyl Massoudi, Mark Fuge
arXiv
cs.FL · cs.LG
说明从 Transformer 到加权自动机:迈向大语言模型的形式化验证
简介大语言模型常用于安全关键场景,但其黑箱特性使行为难以获得形式化保证。本文在 Transformer 与形式语言理论中的经典模型加权自动机之间建立联系,使自动机理论中的验证工具可用于分析大语言模型。作者提出了 Transformer 与实数上加权自动机之间的形式对应,并给出一种加权自动机的恒等性检验算法,用于在容差范围内统计判断两个随机模型是否定义同一分布。
Smayan Agarwal, Aslah Ahmad Faizi, Shobhit Singh 等
arXiv
stat.ML · cs.LG · math.OC
说明无梯度采样:基于随机有界极值搜索的生成模型采样方法
简介本文提出一种不需要计算模型梯度的采样方法,适用于基于能量或得分的生成模型。方法用模型取值的高频抖动余弦项替代通常包含得分函数的漂移项,在高频平均极限下可对应朗之万采样或扩散模型的反向时间SDE。论文证明了该动力学的轨迹收敛于目标SDE,并给出在全局界条件下的均方收敛速率。实验在CelebA-HQ和CIFAR-10上进行,结果显示该方法在潜空间采样和时变目标跟踪中有应用。
Alexander Scheinker