AI 算法 · 2026年9月29日(周二)

机器学习、人工智能、自然语言处理、计算机视觉、多智能体。

arXiv eess.SY · cs.LG · cs.RO

Statistical Learning of Contractive Dynamical Representations for Composite Adaptive Control

说明用于复合自适应控制的收缩动力学表示统计学习

简介本文提出一种表示学习框架,用于存在动态耦合扰动时的复合自适应跟踪控制。作者用统计上有依据的硬EM方法(E步使用卡尔曼平滑器)学习扰动的动态表示,其潜在演化具有一致收缩性,并将其扩展为可预测的扰动抑制控制形式。实验在打滑地面车辆(带晃动液体箱与摆锤负载)和耦合Duffing振子系统上进行,结果显示该方法的扰动预测与整体跟踪性能优于基线方法。

Min Kim, Jos\'e Leonardo Brenes, Fred Hadaegh 等

arXiv cs.LG · cs.NA · math.NA

Neural Harmonic Measure Operator

说明神经调和测度算子:用神经网络求解可变形状区域上的椭圆偏微分方程

简介本文提出神经调和测度算子(NHMO),一种面向可变形状区域上椭圆偏微分方程的神经求解器。它用基于Transformer的边界核来近似只依赖几何形状的调和测度密度,并用Walk-on-Spheres采样进行监督,因此同一个训练好的核可以处理同一形状上不同的边界条件,无需重新训练。论文还通过经典分解将方法扩展到泊松方程,并在MCB-B三维可变形状泊松基准上优于四个基线方法。

Jinjin He, Sinan Wang, Yuchen Sun 等

arXiv cs.LG · cs.AI · cs.CL 有代码

How to Loop MoE: Flatten the Experts, Untie the Attention

说明如何循环使用混合专家模型(MoE):展平专家、解绑注意力

简介该论文研究如何把循环 Transformer 与稀疏混合专家模型(MoE)结合。提出的 Foil 方法在专家参数和每个 token 的计算量保持不变的前提下,将专家层减半、每层专家数加倍、循环次数加倍,并为每次循环分配独立的注意力参数。实验显示其预训练损失优于未展平的循环基线,在 100B token 下最展平的版本低 0.012 nat,下游准确率相当或更好。

Shouren Wang, Chuang Ma, Mohsen Hariri 等

arXiv cs.CL

Capacity, Responsiveness and Alignment: What Makes a Latent Structure Actionable

说明容量、响应性与对齐:什么样的潜在结构才真正可操作

简介该论文研究语言模型激活空间中的潜在结构为何在因果影响上差异很大。作者将因果影响分解为容量、响应性和对齐三个因子,并在4个模型系列、50个概念上进行实验。结果显示三者都需较高才能有效,其中因果有效方向在不同上下文中构成随上下文变化的低维子空间;基于该子空间训练的因果探针在引导效果上有所提升,概念检测仅下降约3%。

Or Shafran, Mor Geva

arXiv cs.LG · cs.AI

KV-streams for Efficient Compaction in Agentic Reinforcement Learning

说明KV流:用于智能体强化学习中高效上下文压缩的方法

简介该论文针对智能体大语言模型因上下文过长而难以训练的问题,提出KV-streams方法。它把KV缓存向前流式传递,而非在每次压缩后清空,可与任意压缩策略配合使用。实验显示,该方法使三种压缩策略的训练墙钟速度提升2.6至5倍,且未见性能受损。

Emiliano Penaloza, Dane Malenfant, Dheeraj Vattikonda 等

arXiv cs.CL

Towards Communication-Efficient Social Intelligence in Language Agents

说明面向语言智能体的高效社交沟通训练(TACT)

简介该论文提出教师辅助沟通训练方法TACT,让语言智能体在达成社交目标的同时减少沟通成本。方法通过表达与策略两类专家修订学生生成的动作,借助对方回应检验修订效果,再将有效反馈蒸馏回学生模型。在SOTOPIA和AgentSense上的实验显示,TACT提升了目标达成度,并减少了目标词元数量和交互消息数。

Linxiao Gong, Yijie Xu, Tianfu Wang 等

arXiv cs.LG · cs.AI

ROSS: Relearning from Self-Generated Rollouts through Selective Supervision

说明ROSS:通过选择性监督从自生成轨迹中再学习

简介该论文针对大语言模型后训练中强化学习与同策略蒸馏产生的历史轨迹被弃用的问题,提出ROSS方法:保留完整历史轨迹作为上下文,仅对选定的模型生成续写部分计算损失。该方法在数学、代码生成、指令遵循和软件工程等任务上优于基线。在Qwen3.6-35B-A3B上,六项基准的MOPD平均分从58.40%提升至62.20%,SWE-bench Verified从64.20%提升至68.40%。

Zhiwei Zhang, Huayu Deng, Fei Zhao 等

arXiv cs.CL · cs.LG 有代码

Improving Test-Time Scaling with Adaptive Looped Transformers

说明用自适应循环 Transformer 改进测试时扩展

简介该论文研究循环 Transformer(重复使用网络层进行隐式计算)在推理阶段随输出变长而扩展的效果。作者提出 TaH2 方法,只对受益于额外迭代的 token 增加迭代次数,并通过前瞻深度监督联合训练骨干网络与迭代决策器。在 AIME 基准上,其准确率-计算斜率比非循环基线提高 53%,且随最大迭代深度增加,优势持续扩大。

Yichen You, Tianyu Fu, Aosong Feng 等

arXiv cs.CV · cs.AI · cs.LG

Copy the Same, Distill the Difference: Initializing Linear Vision Transformers

说明复制相同之处,蒸馏不同之处:线性视觉Transformer的初始化方法

简介线性视觉Transformer(ViT)用线性复杂度的注意力替代Softmax注意力,但通常需要从零预训练,且表现往往不及原版。本文研究能否利用基于Softmax的预训练权重来初始化线性ViT。结果显示,直接复制注意力权重效果有限,而通过合适的损失设计进行蒸馏,可以恢复注意力的token路由行为;MLP权重则可直接复制。两者结合后,线性ViT能缩小差距并超过Softmax版本,结论在多种变体、模型规模和数据集上一致。

Huaiyuan Qin, Muli Yang, Gabriel James Goenawan 等

arXiv cs.CV

InfiniHand: Streaming World-Space Hand Motion Estimation from Egocentric Video

说明InfiniHand:从第一人称视频中流式估计世界坐标系下的手部运动

简介该论文提出 InfiniHand,一个端到端的流式前馈框架,可直接从未标定的第一人称视频中同时估计 MANO 手部参数、相机轨迹和手部位置。方法结合持久时空记忆与以手部为中心的视觉特征,并分两阶段训练,预训练使用约 5000 小时的多个公开数据集。论文报告其在域内基准上优于现有方法,ARCTIC PA-p 相比 ViDiHand 降低 21.4%,并能泛化到野外视频,运行速度为 11.19 FPS。

Kerui Ren, Kaiwen Song, Weiguang Zhao 等

arXiv cs.AI · cs.CL

Shockingly Simple Self-retrospection Improves Agentic Models Without RL

说明简单的自我回顾即可改进智能体模型,无需强化学习

简介该论文提出 ROFT(仅回顾微调),让语言模型智能体只在自己对经验的解释文本上训练,不依赖外部教师或奖励更新。在 SWE-bench Verified 和 Pro 的软件工程实验中,基于 Qwen3.5-4B,ROFT 以 20 次更新取得的解决率与 GRPO 以 40 次更新取得的相近,且早期进展更快。研究还发现它能学会此前所有采样尝试均失败的任务。

Jonathan Light, Christopher Zhang Cui, Jeonghye Kim 等

arXiv cs.AI

Right Words, Wrong Moment: A Clinician-Grounded Analysis of Distress in 19,930 Conversations between Young People and ChatGPT

说明用词得当,时机不对:临床医生对19,930段青年与ChatGPT对话中痛苦情绪的分析

简介该研究收集了158名18至25岁青年的19,930段ChatGPT对话及问卷数据,并挑选五段反映用户痛苦的对话,请十位临床医生审阅。结果显示,有痛苦的用户与ChatGPT的情感互动和行为改变更多;但在急性痛苦时,ChatGPT回应往往过于戏剧化,行动建议过多。医生认可其可及性和大部分措辞,但指出七类流程问题,如过早给出解决方案,并据此提出三阶段设计指南。

Marx Wang, Ella Zhang, Cameron Tan 等

arXiv cs.CL · cs.LG

Harness Learning Enables Generalizable Test-Time Adaptation

说明Harness Learning:让语言模型代理在测试时通过修订可执行程序实现可泛化的适应

简介论文提出 harness learning,即训练一个提议模型,依据执行反馈修订语言模型代理的可执行框架(harness,负责组织模型调用、工具使用与信息流)。修订被视为元学习中的参数更新,并以修订后框架的任务表现作为强化学习奖励进行训练。实验在推理与多跳问答任务上显示,该方法提升了修订质量,且测试时的适应能力可迁移到未见过的任务。

Alvin Zhang, Xuecheng Liu, Zixuan Wang 等

arXiv cs.LG

REVO: Rollout-Efficient Off-Policy Distillation via Variance-Guided Reuse

说明REVO:基于方差引导复用的高效回放离策略蒸馏

简介论文提出REVO,一种离策略语言模型蒸馏方法,通过把每条学生模型生成的轨迹用于多步学习更新来减少生成开销。它借助稳定的前缀加权和当前学生模型的单步重采样处理策略不匹配问题,并利用学生与教师对数概率比的方差来确定需要优先优化的词元位置。实验显示,仅用50轮回放的REVO在域内和跨域推理基准上,达到或超过训练200轮的OPD基线。

Yuxiao Yang, Shangzhe Li, Tianrun Yu 等

arXiv cs.CV

GeoVerse: World-Consistent Novel View Synthesis in Geometric Latent Space

说明GeoVerse:在几何潜空间中生成跨视角一致的新视角图像

简介该论文针对稀疏图像的新视角合成问题,提出GeoVerse框架,在预训练3D基础模型的几何潜空间中生成新视角,并从视频生成模型注入外观先验以补全未观测区域。框架通过ControlNet式适配器融合多级特征,并用全局空间记忆聚合已观测与生成内容以保持跨视角一致。实验显示其在DL3DV上PSNR提高2.23 dB,在Mip-NeRF360上ATE降低32.4%(与GLD相比)。

Kerui Ren, Tao Lu, Linning Xu 等

arXiv cs.AI

Failure-Transparent Agents: Benchmarking Post-Failure Reporting in Tool-Using Language Models

说明《失败透明智能体》:工具调用语言模型失败后报告行为的基准测试

简介本文提出“失败透明智能体”(FTA)基准,在生成前固定工具失败的观察结果和所需证据状态,以便直接审核模型在失败后的说法。该基准包含100个任务、五类失败情形及用户施压条件,并对六个模型、三种回应策略下的3600条人工标注回应进行评估。结果显示,使用结构化证据约束策略时,虚假成功率从22.8%降至0.8%,有用回应率从74.9%升至98.8%。

Junru Zhu, Shiming Xie, Aime Lu Fan Chen 等

arXiv cs.CV

FlowAct-R2: Beyond Talking Avatar via Streaming Multimodal References and Proactive Agent Planning

说明FlowAct-R2:超越会说话的虚拟形象——基于流式多模态参考与主动智能体规划的交互式人形视频生成

简介该论文提出FlowAct-R2框架,用于交互式人形视频生成,结合连续多模态控制与主动智能体规划。其一是流式多模态参考扩散Transformer,以Seedance 2.0 Mini参考生成视频模型为基础,接收滚动动作提示、流式音频及动态更新的图像、音频和视频参考;其二是主动交互智能体,预先准备角色设定、长期议程和可复用技能,并在直播中自主安排行为、回应观众并处理中断。该框架支持实时720p生成及小时级流式输出。

Ziyao Huang, Zhengkun Rong, Shiyang Qin 等

arXiv cs.CV

Impact of Patient Orientation in Single- and Multi-View Camera Environments for AI-based Rehabilitation Monitoring

说明单视角与多视角相机下患者朝向对基于AI的康复监测的影响

简介该论文研究相机摆放角度如何影响康复动作质量评估中的姿态估计效果。作者构建了REHAB26-ViewAngles数据集,包含多种相机角度下的正确与错误康复动作,并提出一种可衡量区分正确与错误动作能力的可分性指标。论文比较了单相机2D/3D姿态估计及多相机多种融合策略,结论为:合适位置的2D相机可比常用的0°正面视角提升16.9%的可分性,两视角组合最多可再提升13.1%的准确度。

Miriama J\'ano\v{s}ov\'a, Andreas Lang, Petra Budikova 等

arXiv cs.CV

Superquadric Primitive Decomposition of 3D point clouds via Geometric-Aware Inlier Refinement

说明基于几何感知内点精化的三维点云超二次曲面基元分解

简介该论文研究如何将三维点云分解为可解释的几何基元,采用超二次曲面作为表示。作者在拟合过程中引入局部表面几何信息(如法向一致性),并将内点精化建模为能量最小化问题,通过图割优化求解。与基于RANSAC的现有方法相比,实验结果显示该方法在几何精度、抗噪与抗离群点能力以及收敛效率方面均有改进。

Alessandro Rinaldi, Edoardo Tedesco, Andrea Ferraris 等

arXiv cs.CV

Hard Vision, Easy Vision: What GPT-6 Astra Reveals Across Computer Vision

说明困难视觉与简单视觉:GPT-6 Astra 在计算机视觉各领域的表现

简介这篇论文评估了通用大模型 GPT-6 Astra 及另外五个前沿通用 AI 系统,涵盖计算机视觉九个领域中的 34 项能力、55 个基准测试。结果显示,语义理解、推理和以对象为中心的预测已接近或达到参考水平,而度量几何精度、忠实重建、时序一致的稠密预测及细粒度专业视觉知识方面仍有较大差距。额外推理和专用工具能缩小部分差距,但效果因能力而异。

Hanoona Rasheed, Mohammed Irfan Kurpath, Bin Ren 等

arXiv cs.LG · cs.AI · cs.RO

X-Reset: Scaling Object-Centric Reinforcement Learning via Cross-Embodiment Resets

说明X-Reset:通过跨机器人形态重置扩展以物体为中心的强化学习

简介该论文提出X-Reset框架,用人手与物体的演示数据来解决仿真中强化学习的探索难题。方法是将人手-物体状态映射到带噪声的机器人状态,过滤掉仿真中不稳定的状态,并把其余状态作为训练时的重置起点,策略仅依赖物体状态与目标。论文称该方法在三种机器人形态、20个物体上训练出通用策略,可泛化到未见物体,并能零样本从仿真迁移到真实机器人。

Prithwish Dan, Chenyang Ma, Wei Zhan

arXiv cs.CV

Lagrangian--Hamiltonian Flows for Video Prediction and Image Generation: A Symplectic Perspective

说明视频预测与图像生成的拉格朗日-哈密顿流:辛几何视角

简介该论文提出LHFM,一种基于经典力学与辛几何的图像动力学学习框架,把每张图像表示为精确拉格朗日图,并用依赖图像的哈密顿流描述其演化。主要应用是确定性视频预测(LHFM-V),在相近预测精度下报告的浮点运算量在所比较的循环模型中最低;图像变体LHFM-I可与流匹配兼容,并在匹配实验中取得低于流匹配基线的FID。

Jiawei Hu

arXiv cs.CV

Mind the RefGAP: Correcting Reference Attention in Diffusion-Based Visual Editing

说明《Mind the RefGAP》:修正扩散式视觉编辑中的参考注意力

简介论文指出,基于参考图的扩散编辑模型常常无法忠实还原用户提供的参考内容,原因之一是参考注意力分配不足。作者提出RefGAP,一种无需训练的修正方法,在前向传播中依据参考注意力质量在线调整每层的logit偏移,并用两个全局系数控制。实验显示,在七个扩散图像/视频编辑器上,RefGAP提高了换头与换脸中的身份保真度。

Yanan Wang, Shengcai Liao, Guangyi Liu 等

arXiv cs.LG

ScAn-Bench: Evaluating Scaling Analysis Methodology

说明ScAn-Bench:评估缩放分析方法的基准

简介本文指出,尽管缩放定律对基础模型很关键,却缺乏跨模型类型评估获取缩放定律方法的系统研究。作者提出代理基准ScAn-Bench-LLM与ScAn-Bench-VLM,分别基于4524个语言模型和8024个视觉-语言模型流程的检查点。作者在此基础上首次系统评估了不同数据模态下缩放分析的数据获取与外推方法。

Artin Sermaxhaj, Nastaran Alipour, Donat Sinani 等

arXiv cs.AI · cs.CL

Reinforcing Agentic Creativity in Scientific Ideation with Night Science

说明借助“夜间科学”强化智能体的科研构思创造力

简介该论文指出,大语言模型擅长结构化、可验证的任务,但输出往往同质化、可预测,不利于开放式科研构思。作者提出 AI Night-Scientist 框架,用强化学习训练模型何时、如何偏离常规推理,并从行动、过程、结果三个维度建模创造力,借助 GRPO 进行训练。实验报告称,相比基础模型,研究方向多样性提升 27.8%,贡献类型增加 14.9%,预测引用影响最高提升 32.0 个百分点,原创性提升 66.2 分。

Priyanka Kargupta, Silviu Cucerzan, Shweti Mahajan 等

arXiv cs.CV

DynaTokens: Teaching Dynamics to Camera-Controlled Video Models at Test Time

说明DynaTokens:在测试时教会相机可控视频模型场景动态

简介该论文提出DynaTokens,一组轻量的可学习场景专用令牌,用于在保持基础模型冻结的前提下,让已有的相机可控视频世界模型学会场景中的物体动态。模型仅需少量示例轨迹进行训练,之后即可在新的相机路径下生成带有动态的视频。在VBench2和WorldScore评测中,其在动态与相机控制的综合权衡上优于LoRA、分块微调等基线方法。

Ziqi Ma, Hongqiao Chen, Georgia Gkioxari

arXiv cs.LG · cs.AI

A Unified Uncertainty Representation for Graph Neural Networks via Doubly-Spectral Stochastic Expansion

说明基于双谱随机展开的图神经网络统一不确定性表示

简介该论文提出一种统一的图神经网络不确定性表示方法(DSS展开),将节点嵌入视为随机图信号,由图傅里叶滤波器捕捉结构变化,正交多项式混沌坐标捕捉潜在随机变化。同一表示可用于校准、分布外检测和分布偏移下的预测。文中报告,独立模式的DSS-GNN在14个节点分类基准上取得最低Brier分数,混合模式DSS-Hybrid在多数节点分布外设定中AUROC最佳。

Fred Xu, Thomas Markovich, Florence Regol 等

arXiv cs.LG

MeqMuon: Matrix-Equilibrating Muon for LLM Pretraining

说明MeqMuon:用于大模型预训练的矩阵均衡 Muon 优化器

简介本文提出一种改进的 Muon 优化器 MeqMuon,用于大语言模型预训练。它在行方向归一化的基础上,通过对行与列的幅值进行均衡归一化,可自动适应不同的不平衡模式,无需人工干预。此外,MeqMuon 无需存储 AdamW 的二阶矩估计,从而降低了优化器状态的内存占用。实验结果表明,其收敛表现优于 AdamW、Muon 及其他基线方法。

Chang-Wei Shi, Xu Wang, Wu-Jun Li

arXiv cs.LG

Provable Benefits of Regularization: Fast Rates for Adversarial Imitation Learning

说明正则化的可证明收益:对抗式模仿学习的快速收敛率

简介本文研究对抗式模仿学习,即智能体通过针对区分专家与学习者行为的对抗奖励优化策略,来模仿专家示范。论文在有限步马尔可夫决策过程与一般函数逼近下,为同时使用奖励正则化与策略正则化的方法建立了快速收敛率,并提出双重正则化对抗式模仿学习算法。在固定正则化参数下,论文证明了正则化模仿差距的 Õ(1/K+1/N) 界,其中 K 为在线回合数,N 为专家轨迹数。

Hanbin Zhou, Shangzhe Li, Alexander Braverman 等

arXiv cs.LG · cs.CL

Rethinking Personalized Generation: Test-Time Alignment via Factorized Ranking Models

说明重新思考个性化生成:基于因子化排序模型的测试时对齐

简介论文指出,让大语言模型适应不同用户偏好,受限于面向单一用户的对齐方法。作者认为个性化生成适合用Best-of-N等测试时扩展方法,并提出一个百万参数级、复用基础生成模型嵌入的MLP排序模型,用于为大量候选结果打分。在九个数据集上的实验显示,该模型的表现优于十亿参数级的通用奖励模型,参数量不足后者的0.4%,打分延迟低四个数量级。

Qiyao Ma, Junshan Zhang, Zhe Zhao

arXiv cs.AI

Report: Progressive Disclosure of Agent Skills

说明报告:智能体技能的渐进式披露

简介Workday 已部署的基于大语言模型的智能体常需要新功能,这些功能可通过在上下文中定义命名流程(即技能)来实现。随着技能库增大,运营成本也随之上升。本报告通过实证研究发现,按需渐进加载技能能提升技能检索质量,但会略微增加整体延迟。

Guilin Zhang, Kai Zhao, Priyanka Mudgal 等

arXiv cs.LG · cs.AI

Rethinking Circuit Evaluation: Do Circuits Explain Model Errors?

说明重新审视电路评估:电路能解释模型的错误吗?

简介机制可解释性通过分析模型内部计算来解释其行为,基于电路的解释则用紧凑子网络来复现这些计算。本文发现,按此方式验证的电路能很好地复现模型的正确回答,却难以覆盖其大多数错误,因此好的解释还需要复现模型的具体错误。作者在多个任务和模型上验证了这一点,并表明恢复被遗漏的注意力头可明显提升错误复现率。

Li Zhang, Chuqin Geng, Mark Zhang 等

arXiv cs.CL

QuanReview: Offline, Auditable Reconciliation of Human and LLM Span Annotations

说明QuanReview:人工与大模型标注结果的离线、可审计对账工具

简介这篇论文介绍了开源系统 QuanReview,用于审核和修正文本中的结构化片段标注(如数量及单位、不确定性修饰词、事件类别)。系统在字符级别对齐人工与大模型两组标注,按明确记录的规则自动处理无歧义的情况,并把冲突交给浏览器端的审核界面由人工裁定。在一个 4,457 条记录的人道主义基准和一个大模型抽取结果上,系统完全自动合并了 8% 的文档,对另外 1,513 条记录作出自动决策,人工需要处理 3,131 个候选冲突,平均每份已审文档 5.4 个。

Matteo Musacchio, Juan Cruz Giner Pulero, Isabel Casta\~neda 等

arXiv cs.IT · cs.LG · math.IT

The Hidden Perception Constraint in Task-Aware Compression

说明任务感知压缩中隐藏的感知约束(论文)

简介该论文研究在任务感知压缩中自然出现的感知约束,主任务为重建,次任务为分类(统计检验)。作者在不同程度的领域信息条件下,讨论如何利用这些约束设计速率最小的压缩方案,同时提高次任务效用。原文指出,若分类器的决策边界对源分布定义不清(失配),则使重建分布匹配目标分布可提升分类准确率。

Sahan Liyanaarachchi, Semih Akkoc, Sennur Ulukus 等

arXiv cs.SD · cs.AI · cs.CY

HEAR: Real Voices, Real Bias: A Large-Scale Human-Recorded, Demographically Diverse Benchmark for Audio Language Models

说明HEAR:真实声音、真实偏见——面向音频语言模型的大规模真人录音、人口多样性基准

简介本文提出HEAR基准,收集了来自843名不同人口背景参与者的约8.7万条真实人声录音,用于评估音频语言模型。它通过选择题问答和开放式长文本任务进行测试,覆盖实时语音对语音与语音转文本两类架构。研究发现,基于声音的偏见因模型而异,且个性化指令会加剧人口群体间的差异。

Shen Yan, Duc Le, Irina-Elena Veliche

arXiv cs.AI

Verifier Errors in RLVR: Reward Hacking, Limits of Feedback, and Selective Control

说明RLVR中的验证器错误:奖励投机、反馈局限与选择性控制

简介该论文研究带可验证奖励的强化学习(RLVR)中,不完善的验证器可能给错误回答打高分,从而出现奖励投机问题。作者刻画了奖励上升而正确率下降的条件,并指出仅靠RLVR过程中的观测通常无法识别被接受的错误。为此,论文引入来自审计的额外正确性反馈,实现选择性控制,在部分审计下既降低被接受错误的概率又提高正确回答的比例。实验在对数线性与神经上下文赌博机及语言模型上验证了分析结论。

Christian Moya, Elliott Thornley, Guang Lin

arXiv cs.CV

FlowTool: Controlling Tool Parameter in Image Retouching via Flow Matching

说明FlowTool:通过流匹配控制图像修饰工具的参数

简介该论文提出FlowTool框架,把基于工具的图像修饰(图像编辑)建模为流匹配问题,直接生成以输入图像和用户指令为条件的工具参数,而不是让多模态大模型逐步生成推理和参数。文中称其在多个基准上的参考式评估表现优于专用的多模态编辑代理和专有多模态大模型,推理延迟至少降低50倍,显存需求约减半。

Thanh-Long V. Le, Steven Walton, Seunghyun Yoon 等

arXiv cs.AI

PhoneCLI: From App Interfaces to Callable Commands for Mobile Agents

说明PhoneCLI:把手机应用界面编译为可调用命令的移动智能体方法

简介这篇论文提出 PhoneCLI,用于移动图形界面智能体。该方法在离线阶段从外部探索目标应用,把页面、可交互元素和导航关系整理成带语义标注的地图,每个页面对应一条可确定性重放的命令。在线运行时,智能体选择并验证命令后以零视觉语言模型开销快速执行;遇到开放式交互或失败时回退到原有的视觉语言模型。在 AndroidLab 上,该方法提高了任务成功率并减少了步骤和 token 消耗,并能迁移到 AndroidWorld 的 M3A 智能体上。

Yangqin Jiang, Lingrui Xu, Chao Huang

arXiv math.OC · cs.LG

Learned Preconditioning for a Primal-Dual Interior-Point Method

说明用于原对偶内点法的学习型预条件子

简介论文提出 pdLIP,一种面向光滑非线性规划的内点法,用共享的逐坐标循环网络预测正对角预条件子,以替代牛顿方向中昂贵的二阶信息和线性方程组求解。训练采用自监督方式,无需目标方向或预先求得的解。在四类 200 维问题中,以 KKT 残差 10^-8 为终止标准,相比冷启动,热启动使 pdProj 精修迭代次数减少 63%–67%。

Abhinav Madabhushi, Jialin Liu, Minxin Zhang

arXiv cs.CL · cs.AI

MS-GLA: Multi-Scale Gated Linear Attention for Addressing Representational Bottlenecks via Multi-Temporal Resolution

说明MS-GLA:通过多时间分辨率解决表征瓶颈的多尺度门控线性注意力

简介该论文提出多尺度门控线性注意力(MS-GLA),把注意力头分布到多个时间分辨率上:粗分辨率的头汇聚更长的词元跨度,更适合长程依赖;细分辨率的头保留对局部句法结构的敏感性。可学习的融合层在每个时间步动态组合各组头的输出。在语言建模、召回密集型任务和长上下文泛化测试中,MS-GLA在参数量相同的情况下,准确率和困惑度均优于GLA,召回任务最多提升18.9%,语言建模平均困惑度降低9.5%。

Prasoon Dev, Anirudh Sankar, Vasudeva Varma

arXiv cs.CL

Late Attention Layers Alone Can Copy Entity Tokens, but Not Without Attending to Their Context

说明仅靠后层注意力即可复制实体词元,但需依赖其上下文词元的注意力

简介该论文研究大语言模型如何把提示中指代实体的词元原样复制到输出中。作者在Qwen3-8B上用两种新方法做实验:一是控制哪些层可以参与复制任务,二是切断特定词元对实体词元的注意力。结果显示,模型后半部分的两组层对实体复制既必要又充分;上下文词元对实体词元的注意力也是准确复制所必需的。

Muyu He, Yuchen Liu, Ran Tao 等

arXiv cs.CV

Many Eyes, One World: Feed-Forward 3D Reconstruction from Mixed Cameras

说明多相机混合输入的前馈式三维重建(MEOW)

简介论文提出 MEOW,一种前馈式三维重建系统,可在单次前向计算中,仅凭图像同时恢复透视、鱼眼与全景图像混合输入下的度量点云和相机位姿,无需标定或相机类型标签。模型沿用透视图预训练的骨干网络,主要通过程序化数据引擎在合成数据上学习异构相机。在真实采集的 2D3DS 数据上,MEOW 的 mAA@30 为 79.9,高于在已知每个视图相机类型条件下的 Wid3R(53.8)。

Qiaoge Li, Yifan Zhan, Haijun Yang 等

arXiv cs.NE · cs.AI

CMDO: A Cognitive Memory-Driven Optimization Algorithm for Adaptive Population-Based Search

说明CMDO:一种基于认知记忆驱动的自适应群体搜索优化算法

简介本文提出认知记忆驱动优化算法(CMDO),一种无需导数的群体优化方法,它把搜索情境、搜索行为与结果之间的关系作为经验记忆保存,并按当前搜索状态的相似度检索。该方法利用成功与失败的经验指导后续搜索,并通过探索、定向与局部搜索生成新的候选点。作者在BBOB/COCO与CEC2017测试集及光伏模型参数估计中与多种算法比较,结果显示其表现依问题而异且具有竞争力,并表明经验记忆会改变实际执行的搜索行为。

Mohammed Yusuf Mujawar, Shahram Rahimi, Noorbakhsh Amiri Golilarz

★★★★☆ 值得关注
arXiv cs.RO · cs.MA 有代码

Denoising Multi-Robot Trajectories

说明多机器人轨迹的去噪规划(D4orm 框架)

简介本文基于动力学感知的扩散去噪框架 D4orm,研究多机器人轨迹规划。该方法通过大规模并行采样(可利用 GPU)迭代优化候选控制轨迹的形变,以生成满足运动学动力学约束且无冲突的轨迹。作者据此提出解耦、在线滚动时域和分布式三种规划器,并在差速与全向机器人的仿真及真实四旋翼、地面机器人实验中展示了相较 MPPI 及学习型扩散方法的表现。

看点在D4orm基础上构建分解、在线与分布式三类规划器,并与MPPI和学习型扩散方法对比,同时在真实四旋翼与百台仿真机器人上验证,证据较充分。

Yuhao Zhang, Keisuke Okumura, Ajay Shankar 等

arXiv cs.LG

Transferable Mass Spectrum Prediction via Reference-Guided Test-time Specialization

说明基于参考谱图引导的测试时专门化,实现质谱预测的可迁移性

简介串联质谱预测可用于代谢组学、天然产物发现和环境分析中的化合物鉴定。该论文提出SPARC框架,在不访问测试样本谱图的情况下,利用谱图参考库对预训练预测模型进行测试时适配。方法为每个目标查询检索化学结构相关的参考谱图,重新校准碎片强度,并通过可靠性感知的一致性机制保留可信预测。论文称其在MassSpecGym、NPLIB1和GNPS库上多种迁移设置下均改善了谱图预测效果。

Yunhua Zhong, Runting Li, Yifan Li 等

arXiv cs.CV

Medical Image Alignment Assessment as a Test of Generalist Visual Reasoning in Frontier Multimodal Models

说明医学图像对齐评估:检验前沿多模态模型的通用视觉推理能力

简介本文以医学图像对齐评估为测试任务,判断两幅图像之间是否存在解剖学对应关系,考察前沿多模态大模型能否在不做任务专门参数优化的情况下完成此类视觉判断。研究比较了不同代际的多模态模型、本地微调模型与专用卷积神经网络,并改变了提示策略和图像呈现方式。结果显示,较新的前沿模型已能有效完成该评估,而数月前发布的模型表现较差,微调的本地模型迁移到未见场景的效果则明显较弱。

Ross Callaghan, Niannu Gao, Hojjat Azadbakht 等

arXiv cs.CL

Rubric Rewards from Item Response Theory

说明基于项目反应理论的评分标准奖励(Rubric Response Theory,RRT)

简介论文针对强化学习中用评分标准(rubric)对语言模型回答打分的问题,指出简单按满足标准的分数求和会让不同判定模式得到相同奖励。作者提出 RRT,用双参数项目反应模型把判定模式视为质量的证据,并用响应参数网络预测标准的难度与区分度,训练中以在线 EM 更新。实验以 Qwen3.5-4B 为策略模型,报告 RRT 在多个数据集上的宏观标准得分比 GRPO 高 1.7 分,并在减半的判定次数下接近 GRPO 全量判定的结果。

Milad Yazdani, Yaser Souri, Xiren Zhou 等

arXiv cs.SD · cs.CL · cs.LG

CoSE-E: A Benchmark for Code-switched Speech Evaluation in Enterprise Settings

说明CoSE-E:企业场景下语码转换语音评测基准

简介本文提出面向企业场景的语码转换语音识别合成基准与多维评测框架,系统评估了前沿语音识别系统在5种语言对上的表现,并分析语码转换带来的额外转录错误。作者同时发布了CoSE-E基准,用于支持多语言语音智能体的企业级评测。

Shama Gupta, Hoang H Nguyen, Chelsea Huang 等

★★★★☆ 值得关注
arXiv cs.AI

Not All Thinking is Created Equal: Latent Reasoning Discovers a Recurrent Search Algorithm for Depth Generalization

说明并非所有思考都相同:潜在推理学会了一种可泛化至更深推理的循环搜索算法

简介本文比较了同一GPTNeoX骨干网络的五种变体,在扩展的多跳推理任务(ProsQA-Ext)上从头训练。结果显示,分布内表现良好并不保证对更深层推理的泛化:普通模型、思维链模型和暂停令牌模型泛化较差,而潜在推理模型表现更好。因果干预和电路分析表明,后者的计算局限于一个稀疏的循环搜索电路,实现了可泛化至训练深度之外的前向搜索。

看点通过对比五种模型并进行因果干预与电路分析,揭示潜在循环可学到可泛化到更深推理的前向搜索算法,证据较充分。

Huzi Cheng, Zhewei Zhang

arXiv cs.SD · cs.CL · eess.AS

When Does a Spoken Agent Have Enough Evidence to Act? The PACT-SLM Contract Test

说明语音智能体何时有足够证据行动:PACT-SLM 契约测试

简介该论文提出 PACT-SLM,一种用于评估流式语音语言模型的受控测试,考察模型在只听到部分语音时是否已能给出正确动作及其时机。测试基于 80 组配对对比样本与 1600 次前缀预测,结果显示在动作识别与起始时机两方面表现不一致,因此作者主张应分别衡量二者。

Mengzhe Geng

arXiv cs.AI · cs.CV

Verifiable Visual Rewards Transfer from Synthetic Scenes to Natural Prompts

说明可验证视觉奖励:从合成场景迁移到自然提示词的图像生成训练方法

简介该论文提出可验证视觉奖励(VVR)框架,用几何物体及其关系构造合成场景,由此同时生成提示词和确定性验证器,从而以程序方式为图像生成打分。作者发布了含10,000个任务的VVRBench和含720个更复杂任务的VVRBench-Challenge。以VVR分数作为强化学习奖励(RLVVR)后,Stable Diffusion 3.5 Medium在VVRBench上的准确率从2.8%提升至28.3%,并能迁移到自然提示词与域外基准。

Shuyue Stella Li, Xiaochuang Han, Yulia Tsvetkov 等

arXiv cs.DC · cs.AI

GPUPhysBench: Benchmarking Coding Agents for Correct and Efficient GPU Physics Simulation

说明GPUPhysBench:评测编程智能体能否写出正确且高效的GPU物理仿真代码

简介该论文提出GPUPhysBench基准,包含50个任务,涵盖流体、可变形固体和颗粒材料,考察编程智能体能否编写正确且高效的GPU物理仿真代码。在对六组前沿模型与运行框架的单次尝试评测中,表现最好的两组通过了全部50个任务,但最快的方案只有22%的任务达到专家优化参考实现速度的0.9倍以上,且没有任何提交比参考实现快超过5%。碰撞检测、约束求解和迭代求解器的差距最大。

Yuchen Sun, Jinjin He, Sinan Wang 等

arXiv cs.CV 有代码

RT-Super: Learning Tumor Segmentation from Longitudinal Images and Reports

说明RT-Super:从纵向影像与报告中学习肿瘤分割

简介该论文提出 RT-Super 模型,用于多种肿瘤的分割。由于肿瘤分割掩膜标注成本高,许多肿瘤类型在公开数据中缺乏标注,作者转而利用医院中现成的纵向影像、多期相影像和放射报告进行训练。教师网络分析患者的纵向影像与报告生成高质量肿瘤掩膜,用于训练只看单张影像的学生网络。论文还提出了利用纵向影像间肿瘤位置一致性的新型一致性损失。该方法在食管、子宫和脾脏肿瘤上的分割效果超过公开的 AI 模型。

Pedro R. A. S. Bassi, Wenxuan Li, Hanxue Gu 等

arXiv cs.LG · cs.AI

Coding LLMs Can Be Harnessed to Learn Interpretable Models from Data

说明利用编程类大模型从数据中学习可解释模型

简介该论文提出一种简单框架,反复让编程类大模型依据带标签样本生成规则集中的下一条规则。在表格数据上,该方法与现有规则学习方法相比具有竞争力,且常更优,小训练集时尤为明显;在文本数据上优势明显,并优于另一种基于大模型的规则学习方法。论文还指出该方法能产生新型可解释模型,并提出可解释分类器构建这一新的编程基准。

Aditya Kumar, Cassandra A. Cohen, William W. Cohen

arXiv cs.LG · cs.AI · stat.ML

Intrinsic Associative Memory on Riemannian Manifolds: Curvature, Capacity, and Emergent Modes

说明黎曼流形上的内在联想记忆:曲率、容量与涌现模式

简介本文在黎曼流形上构建内在的稠密联想记忆,把记忆看作基于Epanechnikov核密度的模式搜寻。作者比较了测地能量与体积修正能量,指出曲率决定两者的行为差异:测地记忆总能保留孤立模式,修正记忆则存在里奇曲率阈值。文中还给出了容量的标度关系,并说明模式重叠可以产生新的记忆模式。

Krishnakumar Balasubramanian, Zhaoyang Shi

arXiv cs.LG · cs.AI

DR-net-Mamba: Selective State-Space Modeling for Long-Range ECG Time-Series Denoising

说明DR-net-Mamba:用于长时程心电图去噪的选择性状态空间建模

简介心电图常受非平稳噪声干扰,影响诊断可靠性。本文提出在卷积瓶颈处插入选择性状态空间(Mamba)模块的去噪模型,以线性复杂度兼顾局部特征与长程时序建模。在合成与真实数据上,该模型信噪比最高、均方根误差最低,且优势随序列变长和低信噪比情况而增大。下游分类实验显示其宏平均AUROC优于各去噪方法,但校准效果依分类器而异。

Basile Morel, Samuel Ruiperez-Campillo, Andreas P. Streich 等

arXiv cs.LG · stat.CO · stat.ML

FluxLite: Inference-Time Proposal Control for Discrete Diffusion Models

说明FluxLite:离散扩散模型推理阶段的提案控制方法

简介本文提出FluxLite,一种无需训练、用于离散扩散模型的提案控制框架,旨在改进推理时从倾斜分布采样的效果。作者提出两种实用采样器,并给出群体稳定性与有限粒子收敛的理论证明。在有限状态CTMC基准上,相比标准Feynman-Kac SMC基线,终端KL最多改善两个数量级;在二维Ising采样上,行相关MSE在几何平均意义下降低5到7倍,峰值可达55倍。

Yinuo Ren, Haoxuan Chen, Grant M. Rotskoff 等

arXiv cs.CL · cs.LG

Which the Eye Fears: Writing with Read-Blindness Explains Massive Activations in Transformers

说明《眼之所惧》:读取盲区解释Transformer中的大规模激活

简介该论文研究Transformer模型中一种持续存在的极端残差流特征(大规模激活)为何能够存活。作者通过对注意力与前馈网络模块的算子级机制分析发现,这些模块在读取时忽略这些坐标,但在写入时却不忽略,形成读写不对称,从而阻断纠正性反馈并允许持续累积。论文还通过训练过程中的检查点与梯度分析指出,读取盲区早于前馈网络放大现象出现,模型会主动维持这种盲区;但移除不同位置的读取阻断后,大规模激活依然存在。

Swagatam Mukhopadhyay, Vishal Vivek Saley, Vraj Parikh 等

arXiv cs.LG · cs.CL 有代码

SANTA++: Sampling Attention through Representative Keys

说明SANTA++:通过代表键进行注意力采样

简介该论文提出 SANTA++,一种无需训练的随机注意力方法。它将缓存中的键分组,用每组的代表键决定采样哪些组,并对采样组计算精确注意力分数,再按包含概率的倒数加权以估计全缓存注意力。在 Qwen2.5-7B-Instruct(32K 上下文)上,采样 32 或 64 组时,读取的 KV 量为稠密注意力的 16% 至 22%,在 LongBench v2 与 HELMET 检索增强生成子集上保留 94% 至 99% 的分数,在 RULER 上保留 85% 至 91%。

Kyle Lee, Christian Z. Pratt, Ruoyu Fang 等

arXiv cs.LG · cs.NE · stat.ML

Arbitrary-Accuracy Neural Approximation with Optimal Neuron Count and Near-Optimal Bit Complexity

说明以最少神经元实现任意精度神经网络逼近,并接近最优的比特复杂度

简介本文研究用多少隐藏神经元,才能以任意精度逼近 [0,1]^d 上的多元赫尔德连续函数,并分析其编码复杂度。作者构造了一个固定的显式激活函数,使两层隐藏层(宽度分别为 d 和 1)的网络可在一致范数下达到任意精度,并证明标准前馈网络的隐藏神经元总数最少为 d+1。另给出一种基于取整与指数组合激活函数的简化构造,对有界赫尔德类所需比特数为 O(ε^{-d/α}log(1/ε)),与度量熵下界仅差一个对数因子。

Zilan Cheng, Li-Lian Wang, Zhongjian Wang

★★★★☆ 值得关注
arXiv cs.CL

Can LLMs Value the Right Evidence? Evidence-Value Misalignment in Dynamic Medical Diagnosis

说明大模型能否判断证据的价值?动态医学诊断中的证据-价值错配

简介论文指出,即使诊断正确,若依据的证据不足或具有误导性,仍可能带来临床风险,而仅以结果准确率评估会奖励这类“侥幸猜对”。作者提出动态评测环境MedEVM,包含24个疾病系统的1050个病例,要求模型逐轮决定等待更多证据还是提交诊断,并在9个大模型上观察到证据追踪失准、提交时机错配、证据顺序影响结果和误导性证据持续干扰等现象。作者还提出EVD-Harness框架,在提交前验证证据支持,在五个大模型上将准确率提升12.0至51.1个百分点。

看点提出证据价值错配概念并构建动态诊断基准与验证式提交框架,通过9个LLM的系统实验和对照验证,证据充分,对医疗AI影响较大。

Kehua Feng, Yunsheng Lu, Yitong Qiao 等

arXiv cs.AI · cs.LG

RIDE: Reference-Anchored Inference-Time Diffusion Editing for Scaffold Hopping

说明RIDE:面向骨架跃迁的参考锚定推理时扩散编辑方法

简介骨架跃迁是药物发现中的关键任务,旨在寻找与参考配体结构不同但保留关键官能团和相似三维形状的新分子。论文提出RIDE框架,先在结合口袋和官能团条件下恢复参考扩散噪声轨迹,再通过噪声扰动选择最优片段进行编辑,并以价值引导方式采样生成新骨架。实验表明,相比基线方法,RIDE生成的骨架与参考的二维相似度更低、三维相似度更高,平均分别提升11.7%和7.3%。

Ruoxi Gao, Frazier N. Baker, Trieu Nguyen 等

arXiv stat.ML · cs.LG

Elicitation and Decision Geometry in Single-Index Bandits

说明单指标赌博机中的决策边界学习与引出几何

简介本文研究两臂上下文赌博机问题,两个臂分别有各自的单指标,并共享一个未知的单调连接函数。由于单调性,最优动作只取决于两个指标方向之差,因此无需估计各臂的奖励函数。作者提出自然边界学习方法(NBL),这是一种贪心算法,通过序贯Stein对比直接学习最优边界。论文给出在局部决策稳定性条件下,该方法向最优边界收缩并达到O(log n)的期望遗憾。数值实验展示了预测的稳定性区间,并在连接函数设定错误时与参数化贪心基准进行比较。

Sakshi Arya, Cheng Soon Ong

arXiv cs.LG

Cartridges++: KV Cache Compression without Off-Context Derailment

说明Cartridges++:压缩KV缓存且不损害离文档查询能力

简介论文研究如何压缩大语言模型处理长文档时的KV缓存,以降低计算与显存开销。作者指出,学习得到的Cartridges方法在文档相关问题上表现更好,但会削弱模型处理与文档无关问题的能力。为此提出Cartridges++,通过推理时路由或训练时混入少量无关问答来保留这些能力。

Sonia Laguna, Joao Monteiro, Marco Cuturi 等

arXiv cs.LG

Attention Graphons: A Graph Limit Perspective on Graph Transformers

说明注意力图极限(Attention Graphons):从图极限视角看图 Transformer

简介图 Transformer 的每个注意力头都会产生一个稠密的 n×n 学习型成对交互矩阵。本文用稠密图极限理论,把每个注意力矩阵视为某个底层核(注意力图极限)的有限样本,研究其在切距离下随 n 增大的集中性,并给出两个方差界。作者还提出估计数据集级注意力图极限的方法和诊断指标,实验显示在多个图基准上注意力会稳定到数据集特定的图极限结构,且误差随 n 下降。

Caio F. Deberaldini Netto, Moshe Eliasof, Luana Ruiz

arXiv cs.AI · cs.CY

From cacophony to hierarchy: a principled framework for assessing AI consciousness

说明从嘈杂到层级:评估人工智能意识的原则性框架

简介本文提出一个评估人工智能是否具有意识能力的框架。作者把意识问题与映射问题分开,并将马尔的三层分析扩展为五层功能描述层级,据此把主要意识理论定位,为每一层制定可操作的指标,再用贝叶斯模型把理论信念与指标证据合并为总体信念。文中以当前大语言模型为例说明,结论对假设和信念分布的选择很敏感,结果从低于0.01到约0.8不等。

Shamil Chandaria, Arvo Mu\~noz Mor\'an, Fernando Rosas 等

arXiv cs.CV

EvolvingAvatar: Interactive 3D Head Generation That Adapts as Conversations Unfold

说明EvolvingAvatar:随对话推进而自适应的交互式三维头像生成

简介该论文提出 EvolvingAvatar,一种因果式三维头部生成模型,可在交互中利用测试时训练,依据用户人脸视频与双人音频进行自适应,从而生成说话与倾听的动作。模型以自监督的双人上下文预测目标作为学习信号,并通过持久快速权重累积对话内的更新,同时用瞬时下颌适应响应当前视听上下文。论文还构建了 455.95 小时的 InterHead-Bench 基准,实验显示对话动作统计优于强基线,在最困难的分布外划分上,生成质量随对话推进而提升。

Junjie Chen, Fei Wang, Kun Li 等

arXiv cs.LG · cs.AI

Behavioral Foundation Models for Quality Diversity

说明面向质量多样性的行为基础模型:在紧凑潜在空间中搜索多样化的高性能强化学习策略

简介本文提出BFM-QD框架,将行为基础模型(BFM)的紧凑潜在空间作为质量多样性(QD)搜索的空间,以发现行为多样且性能高的策略集合。作者还证明该框架提供一种无需训练评论家网络、无需反向传播的闭式无梯度策略改进算子。在连续控制基准测试中,BFM-QD在稀疏和具有欺骗性的场景中明显优于参数空间基线方法。

Nazim Bendib, Nicolas Perrin-Gilbert, Olivier Sigaud

arXiv cs.LG · cs.NE

EvE: An Alternate Optimizer to Adam

说明EvE:一种替代 Adam 的优化器,用于更快的超参数与架构搜索

简介本文提出 EvE(Evolutionary Explorer),一种以差分进化为主、必要时短暂使用梯度下降补救的优化器,用于廉价地排序和提前剪枝候选配置。在相同计算预算下,EvE 在 70 组测试中的 76% 与 Adam 持平或更优,并在多个神经网络任务中更快完成预算,但最终精度略低。作者认为它不能完全取代 Adam 作为最终训练器,更适合搜索密集、预算受限的场景。

Shashank Raj, Kalyanmoy Deb

arXiv cs.CV 有代码

Remote Sensing Sparse-View 3D Gaussian Splatting via Depth Image-Based Rendering

说明基于深度图像渲染的遥感稀疏视角三维高斯泼溅新视图合成

简介本文针对遥感图像在稀疏观测下新视图合成的难题提出DIBR-GS框架,利用深度图像渲染生成伪视图以提供跨视角一致性监督。方法通过将单目深度先验与稀疏SfM重建对齐构建几何初始化,并引入逐步的伪视图监督与高度约束的锚点生长策略。实验表明,仅用3张输入视图时,相比此前表现最好的方法,PSNR提升6.83 dB,SSIM相对提高14%,LPIPS相对降低60%。

Jiaming Kang, Zhengxia Zou, Zhenwei Shi

arXiv cs.CV · cs.LG

On-Policy Self-Distillation for Multi-Turn Image Editing

说明多轮图像编辑的同策略自蒸馏(MT-OPSD):让模型学会在自身输出上持续编辑

简介该论文指出,现有指令式图像编辑模型在多轮递归编辑中会迅速退化,原因是训练时使用干净原图而推理时需反复基于自身不完美输出编辑。作者提出 MT-OPSD 框架,在模型自生成的条件状态上训练,并由基于干净输入的教师模型提供监督,无需多轮标注数据。同时提出包含 100 个十轮编辑会话的 LME-Bench 基准,用于评估长程鲁棒性。实验显示,该方法在三种编辑骨干模型上提升了长程编辑成功率,并基本保持单轮编辑质量。

Liangbing Zhao, Le Zhuo, Mohamed Elhoseiny

arXiv cs.LG · cs.AI · cs.CL

Twist, Don't Tilt: Trajectory-Exact Constrained Decoding for Masked Diffusion Models

说明《Twist, Don't Tilt》:面向掩码扩散模型、轨迹精确的约束解码方法

简介该论文研究掩码扩散语言模型(MDLM)的约束解码,即让生成结果满足指定的结构或语法约束。作者证明,现有基于自动机的逐步精确解码方法在组合后会偏离模型对合法轨迹的相对概率,产生轨迹偏差,并给出该偏差的精确表达式。作者进一步提出 TWISTER,即首个用自动机扭曲的序贯蒙特卡洛解码器,用于校正此偏差,并证明其目标分布为满足约束条件下的无偏 Doob h 变换路径分布。

Aditya Thimmaiah, Lara Marinov, Jayanth Srinivasa 等

arXiv cs.CV · cs.CL

Simultaneous Translation between Sign Languages

说明手语之间的同步翻译:让不同手语的聋人能实时交流

简介现有手语到手语翻译系统需等待完整源视频才输出,无法实时对话。本文提出首个同步手语到手语(S2S)翻译系统,采用两种wait-k策略,并提出计算感知延迟指标ca-Stream-AL。在六个翻译方向上,流式系统相比整句基线降低38%的ca-Stream-AL,代价是DTW-PA-MPJPE增加9%、BLEU-4下降2.1。

Zetian Wu, Bowen Xie, Stefan Lee 等

arXiv cs.AI · cs.CL

TCSAlgBench: Benchmarking Automated Proving for Research-Level Theoretical Computer Science

说明TCSAlgBench:面向理论计算机科学研究级证明的自动证明基准

简介该论文提出 TCSAlgBench,一个用自然语言进行证明发现的基准与可重复使用的流程,包含来自 138 篇 STOC 和 COLT 2026 论文的 398 个定理级任务。评测显示,表现最好的模型在五次运行中经验证接受的覆盖率为 23.6%,讨论与重复采样能提升覆盖率;在代理工作流比较中,最高覆盖率为 25.4%。

Chutong Yang, Xiyuan Zhang, Yu Huang 等

arXiv cs.LG · stat.ML

Control-Geometry Straightening for Sampling-Based Latent Planning

说明面向基于采样的潜在规划的控制几何拉直方法(CGS)

简介这篇论文提出一种辅助损失函数CGS,通过让动作之间的两两余弦相似度与对应潜在差分之间的相似度相匹配,学习更便于规划的表示。作者在线性动力学下给出理论分析,并在四个控制环境和多种规划器上进行实验。结果显示,在每次更新采样128个候选动作的条件下,CGS以更少的候选数和优化步数提升了规划成功率。

Ziang Fu, Ning Ning

★★★★☆ 值得关注
arXiv cs.AI

Signatures of semantic search in the activations of large language models

说明大语言模型激活中的语义搜索信号

简介论文研究大语言模型在语义流畅性任务中列举概念时,内部是否存在类似人类的“探索”与“利用”两种搜索模式。作者使用Jacobian lens等可解释性方法,发现切换类别时的激活模式可以预测切换,并通过引导向量与激活方向干预切换频率,表明模型内部对两种模式有不同的表征。

看点将语义觅食框架引入LLM内部表征,用J-lens与引导向量因果验证切换机制,新颖且证据较充分,但影响面限于可解释性子领域。

Luke Leckie, Peter M. Todd, and Jacob G. Foster

arXiv stat.ML · cs.LG

Learning Conditional Expectation Operators via Functional Newton Updates

说明通过泛函牛顿更新学习条件期望算子

简介本文提出泛函谱牛顿方法(FSNM),用于学习条件期望算子的主导奇异结构,无需预先选定基函数或再生核希尔伯特空间。该方法通过交替的泛函牛顿更新拟合中心化联合密度与乘积密度之比核的低秩表示,每次更新化为预条件回归,并以向量值回归树在分阶段提升过程中近似求解。论文给出总体层面的下降性与最佳迭代块驻点的 O(1/T) 收敛速率,并称全中心化 L² 空间上每个非退化局部极小点都是全局最优的秩 d 近似。合成数据实验显示,学到的核可回复低秩密度比及其主要谱结构,并可在不重新拟合的情况下回答多个条件查询。

Thiago Ramos, Alek Fr\"ohlich, Daniel Perazzo 等

★★★★☆ 值得关注
arXiv cs.CV 有代码

ReSS: Residual-Restoring Sparse Attention for 3D Vision Transformers

说明ReSS:用于三维视觉Transformer的残差恢复稀疏注意力

简介三维视觉Transformer(如VGGT)可从多视角图像一次前向推理得到相机位姿与场景几何,但随视角数增加,全局注意力计算成本急剧上升。本文提出ReSS方法,不再以保留注意力概率质量为目标选择要保留的块,而是以最小化稀疏化在残差流中留下的漂移为目标,并通过迭代残差恢复来整体优化丢弃集合。实验覆盖三种骨干网络和五个数据集,在相同稀疏度下ReSS比已有方法更好地保持稠密模型性能。

看点将块选择目标从保留注意力质量改为最小化残差流漂移,并迭代修正丢弃集合;跨三种骨干与五个数据集验证,证据较充分,对该子领域有用。

Yongsung Kim, Jaehoon Lee, Minjun Park 等

★★★★☆ 值得关注
arXiv cs.CL

Language Models Act on Hidden Valence

说明语言模型在隐藏效价上的行为:通过隐藏状态影响选择的研究

简介该论文通过激活引导(activation steering)给两个无意义的“区域”附加正面或负面效价的激活模式,关闭引导后观察模型偏好哪个区域,以间接考察模型是否对这些内部状态“有所关切”。研究涉及五个系列的七个开源模型,发现隐藏状态本身即可按引导剂量影响选择,且模型在被施加负面状态时更倾向于移除它。作者指出,这些痕迹是否伴随与模型福祉相关的主观体验仍不清楚。

看点通过激活引导与隐藏KV缓存的因果控制,用显示偏好检验模型对效价状态的“利害”,方法新颖;七个开源模型多重对照实验较扎实,但对福利意义的推论有限。

Cameron Berg, Caspar Kaiser

★★★★☆ 值得关注
arXiv cs.CL · cs.LG 有代码

CoDR: Training-Free Confidence-Drift Remasking for Diffusion Language Models

说明CoDR:面向扩散语言模型的免训练置信度漂移重掩码方法

简介掩码扩散语言模型在解码时会反复把词元固定到掩码位置,且这些决定通常不可撤销,早期错误可能被传播。本文发现,模型对已固定词元的置信度会从稀疏的生成时上下文下降到后期更稠密的上下文中,即“置信度漂移”。作者据此提出免训练、与采样器无关的CoDR方法,仅用k次前向传播估计已固定位置的漂移,并对模型不再认可的词元进行重掩码和重新生成。

看点提出基于置信度漂移的training-free重掩码方法,针对已提交token的不可逆性问题;多骨干、多任务、多采样器实验并有对照实验支持结论。

Yue Wu, Qinghe Zhang, Yu Zhang 等

arXiv cs.AI

Source-preserving alignment for robust evidence localization in scientific PDFS

说明面向科学 PDF 证据定位的保留来源对齐方法

简介科学信息抽取系统常返回结论及其证据文字,但证据与 PDF 文本层的表示不同,换行、Unicode 变体、上标和引文标记等都会干扰匹配。该论文提出一种保留来源的对齐框架:先规范化文本以便匹配,再把匹配结果映射回原始字符位置并渲染高亮。在 1,020 篇化学论文上的实验中,引文级自动定位率为 92.6%,文本搜索为 43.6%,预计算边界框基线为 19.1%。

Zihao Liu, Wei Yang, Zixiao Dong 等

arXiv cs.LG · cs.PF

Hardware-Aware Features for CUTLASS Kernel Selection

说明面向 CUTLASS 内核选择的硬件感知特征:用可静态计算的硬件行为估计来挑选 GPU 内核

简介CUTLASS 等 GPU 库对同一运算提供数以万计语义等价的内核,逐一自动调优开销很大。本文提出一种硬件感知表示,为每个候选配置补充可静态计算的硬件行为估计,并基于 490 万个 CUTLASS 内核训练排序模型。在留出的穷举评估问题上,该表示相比结构性基线将选择遗憾降低最多 40%,相比 NVIDIA 矩阵乘法启发式降低 64.2%。

Shriram Chandran, Dominic Rinderer, Yakup Budanaz 等

arXiv cs.AI

IMC-CLINIC: Coupled Loss-Informed Newton Iterations for Clipping in Analog In-Memory Computing

说明IMC-CLINIC:面向模拟内存计算截断的耦合损失感知牛顿迭代方法

简介模拟内存计算(IMC)在存储阵列的模拟域中执行矩阵乘法,以降低大语言模型推理能耗,但有限精度的模数转换器会引入输出端误差。本文提出IMC-CLINIC,通过矩阵乘法输出误差的解析代理模型,用安全牛顿型方法联合优化激活与权重的截断因子。实验显示,其平均零样本准确率比网格搜索基线提高6.5至11.5个百分点,校准时间缩短10至12倍左右。

Yung-Chin Chen, Chia-Yu Chen, Naveen Verma

arXiv cs.CV · stat.AP

What Paired Evaluations Reveal under Visual Perturbations

说明视觉扰动下配对评估揭示了什么

简介该论文研究在视觉扰动下如何利用同一图像的干净与扰动预测配对进行鲁棒性评估。作者证明了按类别统计的正确-正确计数可给出可接受性损失与真类概率下降的边界,并提出用合成扰动响应对样本排序以优先进行物理测试。在44个分类器上的实验显示,高风险20%样本能发现更多失败案例。

Yongda Wei, Chen Zhang, Yifei Wang 等

arXiv cs.LG

Output-aware Residual Stream Pruning for Large Language Models

说明面向输出的残差流剪枝方法(大语言模型)

简介该论文针对大语言模型的残差流剪枝,指出现有方法仅以激活重建误差选择保留维度,忽略了下游层的敏感性。作者用输出KL散度的二阶近似,结合激活协方差与模型输出的局部敏感性来选择子空间,并推导出可计算的谱上界,将问题转化为敏感性加权协方差矩阵的特征分解。实验显示,在多个指令微调模型系列中,该方法相比仅考虑激活的剪枝降低了校准KL散度,并在不同压缩程度下改善了困惑度和下游任务表现。

Chayne Thrash, Kevin Chen, Soheil Kolouri

arXiv cs.CL · cs.AI

FactorEngram: Factorized N-gram Memory with Basis-Level Gating for Language Models

说明FactorEngram:面向语言模型的分解式 N-gram 记忆与基向量级门控

简介本文提出 FactorEngram,一种用于大语言模型的分解式 N-gram 记忆方法。它不再把每个检索到的嵌入当作整体,而是用跨模式共享的基向量字典,检索稀疏正则化的系数,并用主干隐藏状态对每个基向量打分来门控系数。在 340M 与 1B 参数的 Transformer 主干上,该方法提升了语言建模和下游任务表现;消融实验显示中间层、注意力子层之前的插入位置效果较好。

Bowen Yang, Jingbo Zhou, Qinghong Miao 等

arXiv cs.RO · cs.AI

F4R: Failure-Driven Recognition, Reconstruction, Refinement, and Redeployment for Continual Robot Self-Improvement

说明F4R:面向机器人持续自我改进的失败驱动识别、重建、精修与重新部署框架

简介该论文提出F4R框架,用于改进视觉-语言-动作机器人模型。它先从真实运行中自动识别并诊断失败,再把每个失败重建为保留任务空间与物理条件的仿真桌面环境,并通过仿真与真实数据联合训练及针对性强化学习精修策略。论文报告在四项操作任务的真实评测中,分布内与分布外成功率分别为93.75%和90.0%,分布外情况下比预算匹配的基线高出18.75个百分点,且未收集额外真实纠正示范。

Zhuoyuan Yu, Jiacheng Wang, Tianle Liu 等

arXiv cs.CV

Less Is More: Genetic Frame Selection for Efficient Novel View Synthesis

说明少即是多:用于高效新视角合成的遗传帧选择方法

简介论文提出一种无需渲染的视角选择器,从已采集的图像序列中挑选固定数量、对目标视角最有用的输入帧,依据目标视角覆盖度、与已选视角的冗余度和图像清晰度进行打分。选择器通过蒸馏遗传算法的离线搜索结果训练,推理时仅依赖几何与图像特征。论文称其在六个数据集和多种输入预算下优于基线方法,且部分子集效果优于使用全部输入序列的前馈重建。

Diego E. Farchione, Ramzi Idoughi, Alberto Jaspe-Villanueva 等

arXiv cs.AI · cs.CL

Representation Alignment as a Bottleneck in LLM-Based Retrosynthesis Planning

说明基于大语言模型的逆合成规划中,表示对齐是瓶颈

简介本文研究如何让大语言模型完成化学逆合成规划。作者发现直接把SMILES转换为PDDL的端到端方法效果很差,并提出把任务拆分为分子映射、反应映射和PDDL生成三步。拆分后成功率明显提高,作者据此认为主要瓶颈在于表示对齐,而非模型容量。

Hyunwoo Yoo, Cassie Huang, Haebin Shin 等

arXiv cs.RO · cs.CV

EdgeVLN: Runtime-Aware Deployment Ready Quantized Vision Language Navigation Model

说明EdgeVLN:面向边缘设备部署的量化视觉语言导航模型

简介该论文提出 EdgeVLN,一种经过量化、可在机器人边缘设备上部署的视觉语言导航模型,结合轻量因果 Transformer 模块 LATTE 以改进实时停止判断。作者在 NVIDIA Jetson Orin NX 16 GB 上评测了不同量化精度和推理运行时的成功率、延迟、能耗与内存占用。结果显示,4 比特 IQ4 NL 版本的 LATTE 成功率达 58.02%,并能在该设备上运行。

Rithvik Jonna, Man Namgung, Aakash Gurram 等

arXiv cs.CY · cs.DC · cs.LG

Beyond Energy: When Sustainability Dimensions Reshape LLM Serving Decisions

说明超越能耗:可持续性维度如何重塑大模型服务决策

简介本文提出PRISM框架,用于同时衡量和优化大语言模型服务在能耗、碳排放、水耗和生物多样性方面的环境影响。研究发现,计算配置主要决定能耗,而部署的地点和时间则决定碳、水和生物多样性影响。在区域路由实验中,PRISM将中位最坏情况遗憾值相比最强基线降低了50.2%。

Tianyao Shi, Xipeng Shen, Yi Ding

arXiv cs.LG

From Experience to Expertise: Adoption-Aware Memory Learning for Data-Scarce NPU Kernel Synthesis

说明从经验到专长:面向数据稀缺 NPU 内核合成的采纳感知记忆学习

简介该论文提出 SAGE,一种用于 NPU 内核合成的持续自我改进智能体,针对 LLM 的 CUDA 知识难以迁移到 NPU 等数据稀缺架构的问题。其方法包括按采纳记录与评测结果进行信用分配的 ATU,以及筛选并抽象可复用规则进入有界常驻上下文的 UGC。在 NPUKernelBench 上,SAGE 的执行率为 95.5%,高于最强对照基线的 84.1%,并报告了相对 torch_npu 的加速结果。

Longxiao Fan, Tao Zhang, Han Yan 等

arXiv cs.CL · cs.AI

Almieyar: A Culturally Grounded Benchmark for Multi-Dialect Arabic Speech Recognition

说明Almieyar:面向多方言阿拉伯语语音识别的文化基础基准

简介该论文提出 ALMIEYAR,一个涵盖六大方言家族、17 种阿拉伯语方言的语音识别基准,全部语音为新录制、现有模型未见过的数据,共约 13.7 小时。研究者对 12 个语音识别系统进行零样本测试,其中 GPT-4o-transcribe 整体词错误率最低,为 35.0%。结果显示不同方言群体表现差异明显,且仅看词错误率会掩盖部分问题,因此建议同时报告词错误率与字符错误率。

Omid Ghahroodi, Anas Madkoor, Dima Faris Al Saudi 等

arXiv cs.CV

Revisiting Risky Tackle Detection with Vision Transformers

说明用视觉Transformer重新审视危险铲球检测

简介本文是ICPR 2026一项研究的可复现性配套材料,该研究针对美式橄榄球训练视频中的危险铲球检测。原研究使用SATT-3标注体系对733个片段微调了ViViT模型,并采用5折交叉验证。本文记录了发布的复现产物,并将结果追溯到具体脚本与汇总文件。复现结果显示,亮度降低是最主要的影响因素;未做数据增强时,危险类召回率为0.545,未超过C3D基线的0.583。由于原始视频包含可识别的运动员,无法公开分发,因此仅提供用于流程检查的公开样本。

Syed Ahsan Masud Zaidi, Lior Shamir, Scott Dietrich

arXiv cs.AI

RSI-Master: Structuring Experiments to Guide Autonomous Model Improvement

说明RSI-Master:通过结构化实验引导AI自主改进模型

简介本文提出RSI-Master,用于让AI代理自主探索大模型的后训练策略以改进基础模型。它通过规范化实验操作、保存可追溯的实验记录,并由工作代理与审核代理在动态增长的研究图中协作,减少投机取巧行为并避免过早锁定单一方向。论文报告在PostTrainBench上使用Qwen3-4B-Base平均得分54.49,高于最强基线的46.53,作弊率为0.0%;扩展到35B模型后,在LiveCodeBench-v6和SciCode上超过人工开发的Instruct模型。

Yaxin Du, Xiyuan Yang, Zhifan Zhou 等

arXiv cs.LG

EnJoi: Ensemble Joint Score Filter for Generative Data Assimilation

说明EnJoi:用于生成式数据同化的集合联合分数滤波器

简介该论文针对只能部分观测的动力系统,提出一种基于扩散模型的数据同化方法EnJoi。方法学习包含过去与未来的联合状态分布,并用改进的En4DVar(一种依赖粒子集合协方差的经典同化算法)动态平衡对当前状态与新观测的置信度。在流体和交通流模拟实验中,该方法在观测稀疏且不均匀的情况下重建效果更好。

Julien Moreau, Marc Lelarge

arXiv cs.CV

WorldPlay2: Extending Real-Time Interactive World Models in Control and Horizon

说明WorldPlay2:扩展实时交互式世界模型的控制能力与时间跨度

简介本文提出交互式世界模型WorldPlay2,结合分解式混合控制接口与压缩记忆、稳定蒸馏的协同设计。控制接口把帧对齐的动作控制与结构化语义控制结合,区分场景外观、角色身份和动态语义事件。通过将历史上下文压缩为紧凑记忆令牌,并提出Stable Forcing方法,模型能够在长时程下保持一致性并实现稳定蒸馏。作者称实验显示其泛化能力强,性能优于现有方法。

Haiyu Zhang, Wenqiang Sun, Tengfei Wang 等

arXiv cs.AI

From Search to Research: Exploring Search Scaling in Autonomous Quantitative Factor Mining

说明从搜索到研究:自主量化因子挖掘中的搜索扩展研究

简介本文研究让大语言模型智能体在更大搜索预算下进行自主研究时,表现如何随之变化。作者以50个基于金融研究报告的量化因子挖掘任务,测试了九个模型。结果显示,初始表现更依赖模型能力,更深的搜索可缩小模型间差距;并行搜索在相同迭代预算下优于顺序搜索。

Kangcheng Deng, Hui Cai, Jiacheng Lu 等

★★★★☆ 值得关注
arXiv cs.CV

HERO: Histology Encoder for Robust Representation in Oncology

说明HERO:面向肿瘤病理的鲁棒组织图像编码器(病理基础模型)

简介本文提出HERO,一个用于数字病理的ViT-G/14基础模型,采用DINO与iBOT目标训练,并在约57.5万张临床全切片图像(5亿个图块)上进行精调。研究关注模型对不同中心、扫描仪和染色条件的鲁棒性。原文称,在所评估的公开基准中,HERO对中心、扫描仪和染色变化的鲁棒性最强,在多项任务上表现相当,并在39项玻片级临床任务上平均排名第一。

看点在已有病理基础模型上引入高分辨率Gram锚定以提升对采集偏移的鲁棒性,并在大规模临床数据和多项基准上系统比较,有实质改进。

Zhi Li (1), Eghbal Amidi (1), Yating Cheng (1) 等

arXiv cs.MA

Positional choice and robust collective behavior in fish schools: biohybrid experiments and modeling

说明鱼群中的位置选择与稳健的集体行为:生物混合实验与建模

简介研究以真鱼与四条机器鱼同池互动的实验为基础,比较经典鱼群模型与实验结果的吻合程度。发现经典模型只在参数极为特定时吻合,且对参数微小扰动非常敏感;为此提出加入个体位置偏好探索项的新模型,它对参数误差更稳健,并能再现鱼群行为与常见队形,同时体现个体与群体层面的探索性。

Vahagn Grigoryan, Donato Romano, Cesare Stefanini 等