AI 算法 · 2026年9月29日(周二)

机器学习、人工智能、自然语言处理、计算机视觉、多智能体。

arXiv cs.AI · cs.LG

The Default Trap: Rethinking Plan Evaluation in Tool-Using LLM Agents

说明默认陷阱:重新审视工具调用型大模型智能体的计划评估

简介论文指出,智能体在切换计划优先目标时反应强烈,但在移除与默认方向一致的整份计划时,信息选择概率变化很小,这种假象容易被误读为对优先级不敏感,作者称之为“默认陷阱”。研究在 Retail、Airline 和 AgentDojo 任务上进行了多组决策窗口与完整任务实验,并结论认为应同时报告优先级响应性、受呈现方式影响的默认值以及任务成功率与成本。

Xueqi Li, Jingjie Ning, Yibo Kong

arXiv cs.AI

Calibrate the Decisions That Change the Future: On-Policy Post-Training Quantization for Multimodal Large Language Models

说明校准改变未来的决策:面向多模态大模型的同策略训练后量化(OnPTQ)

简介论文指出,多模态大模型训练后量化通常只用固定序列和局部目标校准,忽略了自回归生成中量化引起的词元变化会改变后续状态。作者提出OnPTQ,在当前量化策略访问的轨迹上校准,通过短反事实展开评估竞争词元,并结合决策与后果风险优先处理关键状态。在视觉语言与全模态Qwen模型的多种低比特设置下,该方法提升了下游性能,并减少了相对Dense/FP16参考的正确性翻转,且不改变部署的推理图。

Wenxiao Fan, Jingling Fu, Lichen Ma 等

arXiv cs.CV

Learning via Self-Consistency for Diffusion-based Video Reasoning

说明基于自洽性学习的扩散式视频推理

简介该论文研究如何让基于扩散模型的视频生成用于推理:先通过多次采样并对预测结果取共识(自洽性)来提高准确率,并可提前读取去噪轨迹以减少一半以上的去噪步数。随后提出拒绝微调(RFT),把共识预测蒸馏进视频模型,使其单次生成即可接近多次共识的效果。在迷宫求解、视觉搜索和指代分割三项任务上的实验显示性能有明显提升,其中视觉搜索准确率从48.4%提高到99.0%。

Zhenghao Ni, Weimin Qiu, Meng Tang

arXiv cs.CV

RED: Reconstruction Evolution Dynamics for Generalizable AI-Generated Image Detection

说明RED:面向可泛化AI生成图像检测的重建演化动力学

简介论文提出RED框架,通过分析冻结多尺度VQ-VAE从粗到细的重建轨迹,并在冻结CLIP特征空间中表示,捕捉可迁移的取证线索。该方法利用冻结VAR模型提供的各尺度token负对数似然学习图像自适应阶段权重,再通过跨阶段证据聚合模块融合原图与加权重建特征。在六个基准上平均准确率为92.5%,平均精确率为97.5%,并对常见图像退化表现出较强鲁棒性。

Wenpeng Mu, Junshan Jin, Tanfeng Sun 等

arXiv cs.LG · cs.CL 有代码

CorrGRPO: Correlation-Normalized GRPO for Multi-Reward Learning

说明CorrGRPO:用于多奖励学习的相关性归一化GRPO方法

简介该论文针对训练推理语言模型的GRPO方法,指出多个相关且尺度不同的奖励会使归一化过程被大尺度奖励主导,从而压制小尺度奖励的信号。作者提出CorrGRPO,将两两协方差归一化为皮尔逊相关系数,在平衡不同尺度奖励影响的同时保留中心化后的总奖励。实验在代码生成、工具调用和智能体安全三类任务上、模型规模0.5B至8B的条件下进行,结果显示三个领域均有改进。

Wenbin Hu, Huihao Jing, Haochen Shi 等

arXiv cs.LG

Towards Better Training Signal: Advantage Clipped Policy Optimization

说明改进训练信号:优势裁剪策略优化(ACPO)

简介论文提出 ACPO,一种用于大语言模型强化学习后训练的方法。它不再只裁剪重要性采样比率,而是裁剪重要性比率与优势函数的乘积,以获得更稳定的梯度估计。作者还证明了其与策略镜像下降中梯度裁剪的联系,并给出裁剪版本的收敛性证明。在常用数学推理基准上,ACPO 在准确率和训练效率上均优于 PPO 和 GRPO,论文报告在 Qwen3-8B+PPO 设置下标准数学基准上提升 4 到 6 个百分点。

Ruichuan Huang, Jinghan Liu, Congliang Chen

arXiv cs.CV

CurvSpec: Adaptive Multi-Curvature Learning for Partial Relevant Video Retrieval

说明CurvSpec:面向部分相关视频检索的自适应多曲率学习

简介本文针对部分相关视频检索(PRVR)任务,即在无时间标注的长视频中找出与文本查询相符的片段。作者提出CurvSpec框架,为视频表示学习内容自适应的曲率,而非采用固定几何先验。该方法结合欧氏与双曲注意力层并通过内容感知融合选择几何空间,并用语义质心和测地距离匹配查询,在ActivityNet Captions、TVR和Charades-STA上取得了当前最优的检索性能。

Zhen Liu, Letian Li, Jinpeng Wang 等

★★★★☆ 值得关注
arXiv cs.LG 有代码

RESCUE: Repairing Language Model Errors to Sparse Circuits via Reinforcement Learning

说明RESCUE:通过强化学习修复语言模型的稀疏错误电路

简介该论文提出 RESCUE 框架,用于定位大语言模型中与错误相关的稀疏计算电路,并对其进行精确微调以修复错误。RESCUE 借助强化学习优化掩码,使其更贴合生成过程中的真实失败。在数学推理和医疗问答两个领域的修复集上,相应电路的参数密度约为 1.40% 和 1.44%,修复后准确率分别从 6.0% 提升至 75.5%,从 0% 提升至 81%。

看点将电路分析从能力扩展到错误修复,并用强化学习优化掩码,新意明显;实验覆盖数学和医疗两个领域,但规模与对比有限。

Chuanpu Liu, Miao Yu, Yikai Cai 等

arXiv cs.LG · cs.AI · cs.RO

Diffusion Policy Improvement with Proposal-Conditioned Refinement Flows

说明基于提案条件细化流的扩散策略改进

简介本文提出PReFlow方法,用于离线强化学习中的策略提取。它结合基于价值网络的候选动作选择与条件细化流,以表示同一候选动作下的多个高价值模式,并用高斯参考项约束动作的大幅变化。作者在50个OGBench任务上进行了评测,论文称其在在线微调后取得竞争性的离线性能,综合得分在所比较方法中最高,并在50万环境步后达到91%。

Junhyun Ha, Juho Lee, Byoungwoo Park

arXiv cs.CV

MeteoVerse: Unified Weather-Controllable Video World Model

说明MeteoVerse:统一的天气可控视频世界模型

简介该论文提出 MeteoVerse,一个可控制天气的视频世界模型,可从一张晴天或恶劣天气图像生成未来视频,并依据无天气场景描述、目标天气指令和相机轨迹进行生成。模型显式估计观测与目标天气状态,通过感知转换的天气专家混合模块生成特定类别的残差天气特征,从而统一处理天气保留、添加与去除,并支持对添加天气强度的细粒度控制。作者还构建了包含 5 万余段真实天气视频片段的数据集。实验显示天气可控性明显提升,同时保持了有竞争力的场景一致性与相机控制表现。

Renlong Wu, Guanqiao Wang, Xuan Shang 等

arXiv q-bio.QM · cs.LG

Disease-level drug approval forecasting from trial-agnostic public data

说明基于试验无关公开数据的疾病层面药物获批预测

简介该论文研究能否仅依据临床试验前的公开信息,预测某一药物与某一疾病组合获得美国FDA批准的可能性。作者从ClinicalTrials.gov重建了14,134个药物-疾病组合,并结合分子、疾病、ADMET、靶点和通路等特征训练分类器。在2019年后的2,637个项目上,模型约有四分之三的时间能优先选出最终获批的项目;对同一药物的多疾病选择,最高排名疾病获批的比例为61.3%,高于随机选择的40.7%。

Samir Townsley, Pagkratios Tagkopoulos, Ilias Tagkopoulos

arXiv cs.AI

Geometry-Conditioned Fixed-Scaffold Encoders for Time-Warp Robust Sequence Retrieval

说明几何条件化的固定框架编码器:面向时间扭曲鲁棒的序列检索

简介本文研究序列检索中的一种不稳定来源:若基于信号几何选择分块边界,表示会在时间形变下随分块变化。作者提出GeoPatch,使用固定框架分块,仅将斜率、曲率等几何描述符作为连续条件变量,使几何只调节特征而不改变局部词元。实验覆盖心电图、语音和多变量时间序列检索,结果显示其在时序变化下提升了前列排序的检索效果,但在局部表面匹配与严格不重叠检索之间存在权衡。

Cassandra Yang, Yufan Tang

★★★★☆ 值得关注
arXiv cs.RO · cs.AI 有代码

Spotter: Let the Embodied Model Lead, and the VLM Reflect for It

说明Spotter:让具身模型主导执行,视觉语言模型负责反思纠错

简介论文指出,现有具身模型遇到失败后很少能自行修正错误。作者提出Spotter框架,由具身模型持续执行,视觉语言模型(VLM)并行监控,仅在确认出错时介入反思并纠正,随后交还控制权。在RoboCasa、RoboTwin 2.0和真实机器人上的实验显示成功率有所提升,且成功任务的耗时增加有限。

看点提出让具身模型主导、VLM并行监测并仅在出错时介入纠正的新分工,在RoboCasa、RoboTwin和真实机器人上均有明显提升。

Long Li, Qichao Zhao, Yue Yang 等

★★★★★ 值得关注
arXiv cs.AI

CANTO: CAD-Native Transformer Operators for AI-Aided Engineering

说明CANTO:面向人工智能辅助工程的 CAD 原生 Transformer 算子

简介论文提出 CANTO 模型,可直接以连续的 CAD 几何(NURBS 曲面片)作为输入,无需网格划分即可预测表面与体积上的物理场。模型在 AhmedML、WindsorML、DrivAerML、HiLiftAeroML 四个汽车与飞机气动基准上评估,多数任务达到当前最优精度。模型对 CAD 参数可微,可用于基于梯度的逆向设计。

看点直接从NURBS参数化CAD几何到物理场的神经算子,避免网格化;在四个汽车与飞机气动基准上取得领先结果,并用CFD验证逆向设计。

Daniel Leibovici, Nikola Borislavov Kovachki, Dawon Ahn 等

arXiv cs.AI

UpliftMem: Learning Set-Level Uplift for Agent Memory Retrieval

说明UpliftMem:为智能体记忆检索学习集合级增益

简介大语言模型智能体会调用外部记忆辅助新任务,但需要学会挑选能提升执行效果的记忆集合。UpliftMem 以同一执行器不使用记忆时的表现为基准,依据记忆集合带来的执行增益进行学习,并用期望样本信息价值准则分配有限的训练执行次数。在 ALFWorld、WebShop 和 BigCodeBench 上,该方法在主要评测集中取得了所比较基线中最好的成功率。

Mengkun Liang, Haoran Qiang, Guannan Liu 等

arXiv cs.CL · cs.AI

VAA-CSEC: Vote-guided Advantage Allocation for Chinese Semantic Error Correction

说明VAA-CSEC:面向中文语义纠错的投票引导优势分配方法

简介该论文提出 VAA-CSEC 框架,用于中文语义错误纠正,结合思维链蒸馏、监督微调、强化学习和自一致性解码。其设计了与最小编辑原则一致的奖励函数,并提出 GLPO 方法,使强化学习目标与推理时的自一致性目标对齐。实验显示,该方法在 CSED-C 上 F0.5 为 47.72%,在 NaSGEC-Exam 上 F0.5 为 41.55%。

Yitong Han, Nankai Lin, Juan Luo 等

arXiv cs.CV

EGSD: Event-Grounded Self-Distillation for Streaming Video Understanding

说明EGSD:面向流式视频理解的事件锚定自蒸馏方法

简介该论文针对实时流式视频理解中记忆的增量维护问题,提出事件锚定自蒸馏方法EGSD。它将流式记忆看作对可验证事件(关键视觉实体、动作与细节)的增量更新,并改进了在线自蒸馏中学生与教师偏好错位、记忆实体坍缩的问题。在主流在线与离线基准上,该方法在StreamingBench上达到79.8%,在OVO-Bench实时赛道上达到73.4%。

Yuwei Miao, Xuesheng Zhang, Wenhao Zou 等

arXiv cs.LG

EasyPPO: Stabilizing the Critic Is Key

说明EasyPPO:稳定价值网络(critic)是关键——一种改进大语言模型强化学习稳定性的方法

简介本文指出,在大语言模型强化学习中,PPO的价值网络是导致训练不稳定的主要来源,并列出了两种失效模式。作者提出EasyPPO,包括仅对策略侧过长截断进行过滤、按提示的回报标准差加权价值网络损失、以及适当减小价值网络的小批量大小。论文报告在FrontierCS、AIME24和Search-R1三个任务上,EasyPPO训练更稳定,其最佳验证分数相对PPO分别提升14.89%、2.28%和9.47%。

Xuanyi Zhou, Qiuyang Mang, Huanzhi Mao 等

arXiv cs.CV

Scene Retargeting: Learning Object Placement with Analogical Transfer

说明场景重定向:利用类比迁移学习物体摆放

简介本文提出“场景重定向”任务,即把语义连贯的空间布局从一个室内场景稳定迁移到另一个布局不同的场景,而非依赖文字描述或两两物体关系。方法以物体簇为单位进行迁移,并借助基础特征的空间分布保留各簇的语义上下文,再施加墙面接触、成对对齐、通道与开口等物理约束进行细化。论文称该方法在3D-FRONT数据集的布局生成上优于现有方法,并展示了真实到仿真迁移、类比轨迹迁移和多参考组合等应用。

Minkwan Kim, Junho Kim, Seungmin Lee 等

arXiv cs.AI

AI as a Compiler: Compiling Triton kernels without the Triton compiler

说明AI 作为编译器:不借助 Triton 编译器,用 AI 将 Triton 内核编译为 PTX

简介论文研究用大语言模型替代传统编译器的优化与降级流程(称为 AI lowering),由 LLM 代理把 Triton 内核直接翻译成 NVIDIA PTX 代码,并建立评估与验证环境。在多组常见内核与近期论文内核上,其性能为自动调优 Triton 的 0.83 至 3.34 倍,主要收益来自 Triton 降级流程未做的变换。作者还扩展了 PTX 验证器以支持 Blackwell 架构。

Fran\c{c}ois Costa, Charly Castes, Thomas Bourgeat 等

arXiv cs.CV · cs.CL · cs.LG 有代码

Seeing What Should Be Heard: Diagnosing and Repairing Cross-Modal Shortcuts in Omni-Modal LLMs

说明看见本应听见的:诊断并修复全模态大模型中的跨模态捷径

简介该论文发现全模态大语言模型在回答音频相关问题时,过度依赖图像信息,形成跨模态捷径。作者提出因子化模态诊断方法,独立交换样本间的音频与图像以测量各模态的因果贡献。在此基础上提出DMC-Repair训练方法,依据问题指定的模态分配监督信号,使图像引起的答案效应份额降低59.9%,同时不损害音频问答性能。

Yueran Ma, Ronghao Lin

arXiv cs.LG · cs.NE

Where Does Randomness Matter in Neural Cellular Automata?

说明神经元胞自动机中随机性在何处起作用

简介该论文研究神经元胞自动机(NCA)中的随机细胞更新:训练时的随机更新是否有助于学到有用规则,执行时是否仍需保留随机性。作者在可控的Growing NCA实验中分开设置训练与评估的更新方式。结果显示,异步训练在短期质量测试中表现更稳定,且确定性评估下多数模型可长时间保持目标形状。

Fei Zuo, Jiaqi Shi, and Yujing Liu

arXiv cs.LG

RAE-PPG: Duration-Grounded Retain-and-Extend Pretraining for PPG Foundation Models

说明RAE-PPG:基于信号时长的保留并扩展式PPG基础模型预训练方法

简介该论文提出RAE-PPG,用于光电容积脉搏波(PPG)基础模型的预训练。它让同一个Transformer编码器依次处理10秒、30秒和240秒的输入,每一阶段只更新对应时长的参数组并复用早期学到的特征。在8个数据集的18项任务上,最终冻结的编码器在12项任务中取得了所比较模型中的最佳成绩。

Suyeong Lee, Hochang Lee, Seokyong Sheem 等

arXiv cs.MA · cs.SE

GitHarness: Git Init Your Harness Working Memory for Perpetual User Requirements

说明GitHarness:为持续变化的用户需求提供类 Git 的版本化工作记忆

简介论文针对长周期任务中用户需求不断补充、新增或修改的问题,提出 GitHarness 框架,用类 Git 的分支版本历史管理需求状态与对应的工作状态。其中可训练的 Git Agent 识别需求变化并选择语义兼容的历史状态,统一版本接口据此恢复状态并创建新分支,使下游执行只针对受影响部分。作者还构建了 MTAgentBench 基准用于评测。

Zhibang Yang, Xinke Jiang, Yuxuan Liu 等

★★★★☆ 值得关注
arXiv cs.LG · cs.IT · math.IT

Perfect Reconstruction Cannot Show Whether Two Codebooks on a VAE's Latent Space Agree

说明完美重构无法说明VAE潜空间上两套码本是否一致

简介许多系统把变分自编码器(VAE)的潜空间当作离散码来读取,并默认潜变量写入的码与读取的码一致。该论文证明,标准训练报告中的任何指标都无法揭示编码数据上写入码与读取码是否一致:构造了两个重构完美、推断精确、逐样本ELBO和码分布完全相同,但一致性分别为1和0的VAE。论文进一步指出,ELBO自身各项可以限定一致性的偏移范围,并在概率PCA及240个训练好的VAE上检验,最后提出了名为Certify-or-Measure的简单流程。

看点证明标准训练报告无法揭示编码与读取码是否一致,构造了指标全同但一致性不同的反例,并用ELBO各项给出可证偏移界,新颖性较强;在pPCA与240个训练模型上验证支撑结论。

Yusuke Hayashi

arXiv cs.LG

Harnessing Large Language Models to Compile Task-Relevant Context into Bayesian Optimisation

说明利用大语言模型将任务相关上下文编译进贝叶斯优化

简介论文研究如何借助大语言模型生成并执行贝叶斯优化程序,把领域知识、外部观测等任务上下文转化为可执行代码,融入标准贝叶斯优化。作者提出HarBO框架,通过多阶段验证流程完成这一编译,并分析了不完美编译下的遗憾和新增上下文的影响。实验显示该方法与专门的嵌入式方法及直接在环路中使用大语言模型的方法表现相当,但在陌生、上下文丰富的领域中通用编码框架效果不足。

Zhongwei Yu, Sourabh Roy, Bin Cao 等

arXiv cs.MA · cs.GT

Regularized policy gradient with learned mixtures of Gaussians for games with continuous actions

说明用学习得到的高斯混合策略进行连续动作博弈的正则化策略梯度方法

简介该论文提出一种可扩展的策略梯度算法,适用于具有连续或离散与连续混合动作的大型序贯博弈,结合磁性镜像下降与高斯混合参数化,并通过自博弈训练。作者称其在梯度下降失效的博弈中能逼近均衡;在序贯博弈中优于神经虚拟自博弈,并以3.5至5.5倍更少样本达到或超过策略空间响应预言机的最终策略。在一对一无限注德州扑克中,其表现与Slumbot相当。

Ond\v{r}ej Kub\'i\v{c}ek, Viliam Lis\'y, Tuomas Sandholm

arXiv cs.CV

Decoding Affective Nuances: Enhancing MLLMs via Hierarchical Emotion Reasoning and Contrastive Discriminative Pruning

说明细微情绪解码:借助层级情绪推理与对比判别式剪枝增强多模态大模型

简介论文指出,多模态大语言模型在情绪推理上仍落后于人类,难以根据细粒度视觉线索区分语义相近的情绪。作者提出免训练的推理时优化框架DAN,包含层级情绪推理链(HERC)和对比判别式视觉剪枝(CDVP)两个模块。论文称,DAN在多个基准上提升了情绪细微差别的辨别能力,在WebEmo25数据集(25类细粒度情绪)上,使用Qwen3-VL-8B-Instruct时提升10.47%。

Cheng Ye, Weidong Chen, Zhaobo Qi 等

arXiv cs.AI

Aperture: Merge-Consistent Rotary States for Compressed Tokens

说明Aperture:面向压缩令牌的合并一致旋转状态

简介该论文针对旋转位置编码(RoPE)在令牌压缩合并后只给合并令牌分配一个位置坐标的问题,提出Aperture方法,存储令牌加权支撑集在模型旋转频率上的傅里叶矩。作者证明这些矩是足以保留所选期望旋转交互的连续状态中实维度最小者,并通过视频问答实验比较存储支撑集与现有合并规则的准确率(65.63%对67.12%)。

Yuhao Du, Shunian Chen

arXiv cs.RO · cs.CV · cs.GR

DRHeC: Differentiable Rendering for Hand-Eye Calibration with RGB-Based Gradients

说明DRHeC:基于RGB梯度的可微渲染手眼标定方法

简介本文提出DRHeC,一种基于RGB的可微渲染手眼标定框架,用于机械臂的手眼标定。该方法引入颜色与掩码几何特征,以提供更丰富的几何与外观线索,从而提高标定精度和优化稳定性,并提出掩码引导的图像到图像转换方法以保持颜色与几何一致性。论文在仿真和真实实验中进行了验证,在UR5e真实实验中抓取成功率为88.9%,插入成功率为57.4%,分别比EasyHeC高46.3和48.1个百分点。

Xiaotian Zhang, Yusheng Wang, Naoya Kagawa 等

arXiv cs.AI

Code4Scene: Benchmarking Coding Agents for Constructing and Editing 3D Scenes

说明Code4Scene:评测编码智能体构建与编辑3D场景的基准

简介论文提出Code4Scene基准,包含190个基于虚幻引擎(Unreal Engine)的人工搭建场景案例,用于测试编码智能体能否可靠地理解三维空间结构并精确控制场景状态。评测分为“构建”(依据开放式语言描述生成场景)和“编辑”(依据参考图恢复目标场景且不改动其他部分)两类,直接评估引擎生成的场景而非代码或渲染图。结果显示两类表现强相关但不可互换,且编辑的精确度仍然不足。

Xiaokang Ye, Siddhant Hitesh Mantri, Zimeng Chen 等

arXiv cs.CV

Causal-EVC: Breaking Emotional Spurious Causality via Spatiotemporal Grounding and Counterfactual Intervention

说明Causal-EVC:通过时空定位与反事实干预打破情绪伪因果关系

简介该论文研究情感视频描述任务,指出现有方法依赖简单注意力匹配,易受背景共现偏差干扰而产生伪相关。作者构建了带有密集时空因果标注的EVC-CauseGround基准,并设计了Causal-EVC框架,通过运动引导的因果时空定位模块与可解释稀疏情绪路由模块,结合反事实对比目标,使模型依据真实视觉因果线索进行情绪判断。实验表明该方法在语义指标与因果忠实度子集上均表现更好。

Cheng Ye, Weidong Chen, Peipei Song 等

arXiv cs.CV

DSPO: Diversity-aware Subjective Policy Optimization for Robust Emotional Reasoning

说明DSPO:面向稳健情感推理的多样性感知主观策略优化

简介这篇论文提出 DSPO,一种强化学习框架,用于提升多模态大模型的情感推理能力。它通过基于 VAD 空间的情感分布先验与留一法边际贡献奖励,保留合理的主观情感解释;并借助反事实视觉干预门控降低缺乏视觉证据支持的解释权重。实验显示 DSPO 在多个公开基准上达到领先水平,跨域平均准确率比 EMO-R3 高出 10.8%。

Cheng Ye, Weidong Chen, Bingyan Xu 等

arXiv cs.LG · cs.AI · stat.ML

Beyond Conditional Independence: Root Cause Analysis with Deep Causal Models

说明超越条件独立:基于深度因果模型的根因分析

简介该论文提出 RCA-DCM 方法,用于在系统出现异常时定位故障根因。方法将正常系统建模为因果模型,将异常视为结构函数的变化,并用神经网络构建深度因果模型,以处理未观测的混杂变量。实验显示,在两个微服务应用上 top-1 准确率高于最强基线,在因果实验箱中也能更准确地恢复根因集合。

Md Musfiqur Rahman, Kenneth Lee, Ziwei Jiang 等

arXiv cs.AI · cs.CV · cs.LG

Emergent Specialization in Populations of Self-Supervised Collaborative Vision Experts Without a Shared Gate or Cross-Agent Gradients

说明无共享门控、无跨智能体梯度的自监督协作视觉专家群体中的涌现专业化

简介本文研究一组各自拥有独立权重的神经网络能否在不共享门控、也不交换梯度的情况下自发形成分工。这些网络在同一异构无标签数据上独立训练,并可通过前向传播向其他智能体求助。实验显示,语义路由的群体优于单一通用模型,专业化而非群体规模带来增益,且局部路由器对98%的输入都选择了涌现的专家。

Aram Davtyan, Pablo Acuaviva, Sebastian Stapf 等

arXiv cs.LG

When Can Prefixes Compile LoRA? Exact Resource-Capped Tests for Frozen Attention

说明前缀何时能编译LoRA:冻结注意力下的精确资源受限测试

简介本文研究在注意力头保持冻结时,能否用一个固定的连续前缀替代给定的低秩适配器(LoRA)。作者提出可观测性、可实现性和实现性三个条件,并通过理论分析与数值实验检验这些条件。在GPT-2第一层的三个注意力头上,资源受限的最优解仍使投影后适配器效应的18.4%至74.2%无法被编译。结论仅针对单个注意力头的局部近似,而非整个网络的等价性。

Joyanta Jyoti Mondal, Ibne Farabi Shihab

arXiv cs.LG

Graph-Spectral Flow Matching for Multivariate Time Series Anomaly Detection

说明基于图谱流匹配的多变量时间序列异常检测(GRASP)

简介该论文提出GRASP框架,用于多变量时间序列异常检测。它在流匹配的概率路径中引入图结构,通过结合动能与图狄利克雷能量的固定端点作用量得到闭式路径,并用在正常数据上训练的速度预测器计算加权速度偏差来识别异常。作者在四个基准数据集上报告了较优的检测性能。

Zepeng Zhang, Jhony H. Giraldo, Wenbin Wang 等

arXiv cs.LG · cs.DC · stat.ML

Federated Clustering with Unknown Local and Global Cluster Cardinalities

说明未知本地与全局簇数的联邦聚类

简介该论文研究联邦聚类中客户端和服务器都不知道簇数的情形,常见于各自独立运营的工业现场故障诊断。作者提出两阶段框架:各客户端先从本地数据估计簇数,再交由需要本地簇数的聚合方法(如FedGEM)使用。第一阶段提出自适应分裂-合并方法ASM,基于BIC驱动分裂球形高斯混合模型并合并多余成分,不使用标签。在八个数据集上,ASM结合FedGEM的平均ARI为0.333。

Mitushi Goyal, Tarun S., Riddhanya Senapathi 等

arXiv cs.LG · cs.CL

QuantMLA: Function-Aligned Dual-Path Quantization for Low-Bit MLA KV Caching

说明QuantMLA:面向低比特 MLA KV 缓存的功能对齐双路径量化

简介多头潜在注意力(MLA)的内容路径与解耦 RoPE 路径各自缓存,但缓存占用仍随上下文长度和批大小线性增长。本文系统分析了双路径量化误差对注意力输出的不同影响,并提出 QuantMLA 框架,通过功能对齐目标学习两条路径的变换。实验覆盖四个 MLA 模型系列,据作者所知首次实现内容与 RoPE 缓存联合 INT4 量化且精度下降极小,并给出 128K 上下文下 3.59 倍的压缩率。

Zunhai Su, Yuxuan Sun, Jianchao Tan 等

arXiv cs.CV · cs.AI

Dual-Mode Low-Rank Learner with Bridge-Prototype Ensemble for Vision-Language Class-Incremental Learning

说明DuLBE:面向视觉-语言类别增量学习的双模低秩学习器与桥接原型集成方法

简介该论文针对基于CLIP的无样本类别增量学习,提出DuLBE方法。它通过梯度路由在视觉端分配共享模式与残差模式两种低秩更新,以复用已有知识并减少新任务对旧知识的干扰。同时,在单位超球面上构建视觉原型与文本嵌入之间的测地线桥接,并集成可靠的桥接原型,以缓解模态间隙问题。实验显示,该方法在多种设置下取得领先的增量学习性能,并保持较高的参数效率。

Chiyuan He, Zihuan Qiu, Fanman Meng 等

arXiv cs.CV

FastVR: Efficient Streaming Video Restoration with One-Step Diffusion

说明FastVR:基于单步扩散的高效流式视频修复

简介本文提出FastVR,一种基于单步扩散模型的流式视频修复框架。它通过轻量级VAE和分块因果注意力降低推理计算成本,并在训练中引入速度一致性正则化与连续轨迹学习以提升修复质量。作者称其在单张H20 GPU上处理1080p视频可达11 FPS,并在合成与真实数据基准上取得了优于所评估扩散基线的效率与性能。

Xiaoxu Chen, Qin Yang, Haoran Bai 等

arXiv cs.CV · cs.AI 有代码

NesTok: Nested Self-Aligned 1D Tokenizer for Autoregressive Image Generation

说明NesTok:用于自回归图像生成的嵌套自对齐一维分词器

简介该论文提出NesTok,一种面向动态视觉分词器的嵌套自对齐框架。它通过跨长度训练,联合优化不同token长度下的重建,并用完整长度序列指导较短序列,使较短序列的重建质量接近完整序列。在ImageNet上,NesTok的rFID达到0.98;在下游图像生成中,其ImageNet 256×256的gFID为1.46,在现有可变长度自回归图像生成方法中达到了该指标的最优水平。

Jiawei Zhang, Shuhao Liu, Rong Huang 等

arXiv cs.CV

Drag as Evidence: Motion-Grounded Latent Recomposition for Drag-Based Editing

说明《Drag as Evidence》:基于运动依据的潜空间重组拖拽式图像编辑

简介该论文提出 MoRe-Drag,一种基于运动依据的拖拽式图像编辑方法,将像素空间的粗略形变作为运动证据注入生成采样过程。方法在精修、修复和保留区域上进行区域感知的潜空间重组,并采用阶段自适应条件,从运动结构生成逐步过渡到语义精修。实验表明,该方法在 DragBench-SR 和 DragBench-DR 上提升了拖拽精度,并保持了较好的语义一致性与视觉真实感。

Xinyu Pu, Hongsong Wang, Jie Gui 等

arXiv eess.AS · cs.CL

Does a prosody-trained representation help beyond trainable fusion? A parameter-matched study with frozen HuBERT

说明一种韵律训练表示是否优于可训练融合?基于冻结 HuBERT 的参数匹配研究

简介本文研究语音识别中加入韵律信息是否真有益。作者使用冻结的 HuBERT 主干,并训练一个 64 维韵律表示。在 Buckeye、Switchboard 和 AMI IHM 三个数据集上,相比仅有可训练融合的对照组,学习到的韵律表示没有带来可测量的词错误率提升;但推理时移除或替换该表示会使错误率上升。

Ki Woong Moon, Daniel Brenner

arXiv cs.LG · cs.AR

cktFormer: Transformer-Based Approach for Automated Analog Circuit Design

说明cktFormer:基于 Transformer 的模拟电路自动设计方法

简介这篇论文提出 cktFormer,一种双 Transformer 架构,用于自动生成模拟电路。它把网表数据转为图结构表示,由节点预测模型提出元件,边预测模型推断有效连接。论文称其在生成电路的有效性上优于 AnalogGenie 和 cktGNN 等近期模型。

Pasindu Dodampegama, Praveen Wijesinghe, Naveen Basnayake 等

arXiv cs.LG · cs.AI · cs.CL

Group-Marginalized Self-Rewarding RL Drives Zero-Label Self-Evolving

说明组边缘化自奖励强化学习:无标签自我进化的新方法

简介该论文研究无需人工标签、让大语言模型自我进化的自奖励强化学习。作者指出,现有基于组的方法只用一种随机采样的组上下文计算奖励,可能遗漏有效信号。为此提出组边缘化优势估计(GMAE),将各种可能上下文下的奖励汇总为回答级分布并估计期望优势。论文报告在八个基准和四个基础模型上表现良好,并具有跨领域泛化能力。

Yiming Wang, Yikang Liu, Qingyuan Tian 等

arXiv cs.AI

Generalizable Lifelong Model Editing via Preference Optimization

说明可泛化的终身模型编辑(基于偏好优化)

简介该论文针对大语言模型的知识编辑问题,指出现有方法在持续更新时容易过拟合目标提示,导致编辑后的知识难以泛化且模型通用能力下降。作者提出GLIME方法,结合偏好优化与回放式编辑及梯度约束,以保留先前编辑过的知识。实验结果显示,该方法在终身编辑场景中明显提升知识泛化能力,同时维持编辑效果和通用能力。

Dahyun Jung, Suhyune Son, Heuiseok Lim

arXiv cs.AI

EASE: Behavior-Adaptive Skill Curation for Self-Evolving Agents

说明EASE:面向自演化智能体、可适应执行者行为的技能整理方法

简介该论文针对自演化智能体的技能库整理问题指出,现有学习型整理器未显式建模下游执行者的行为,用不同执行者训练的整理器在跨执行者使用时性能下降。作者提出EASE框架,训练一个共享整理器,依据执行者的在线行为画像、当前轨迹和检索到的技能决定对技能库进行增、改或删,并通过强化学习在多个冻结执行者上联合训练。论文报告在ALFWorld、ScienceWorld和WebShop上优于基线,技能数量减少34.5%至41.0%。

Zhen Xiong, Qiaoyu Tan

arXiv cs.AI · cs.CL

SIPO: Unifying Reinforcement Learning with On-Policy Self-Distillation

说明SIPO:将强化学习与同策略自蒸馏统一起来的大模型训练方法

简介该论文提出自指导策略优化(SIPO),用于改进大语言模型的训练。它针对可验证奖励强化学习只给最终结果奖励、缺少中间步骤信用分配的问题,引入带对比的自教师,为每条回答提供逐词级别的反馈。实验结果显示,在多个推理和代码生成基准上,SIPO优于RLVR和OPSD基线,且无需外部教师模型或额外生成。

Zhenrui Yue, Huimin Zeng, Yueqi Wang 等

arXiv cs.AI

Distinguish or Homogenize: Last-Chance Policy Identification and Risk-Budgeted Recovery under Irreversible Resource Depletion

说明区分还是同化:不可逆资源耗竭下的最后机会策略识别与风险预算恢复

简介该论文研究在资源不可逆耗竭时,智能体可以花费资源区分潜在故障模型,或改变系统状态使剩余模型存在共同可接受的后续策略。作者提出最后机会策略识别(LCPI)框架,并给出确定性诊断图的精确递归算法与带噪声有限时域恢复的风险预算兼容规划(RBCP)方法。在微服务事件恢复与MiniGrid潜在损伤导航实验中,RBCP在满足故障预算的前提下提升了风险可行的恢复效果。

Yibo Guo, Xiaodan Wang

arXiv cs.LG

Efficient Offline Learning of Ranking Policies via Top-k Policy Decomposition

说明通过Top-k策略分解高效离线学习排序策略

简介推荐系统需要为用户提供排序结果,离线策略学习可仅利用历史日志学习新的排序策略,但排序动作空间极大,难度很高。现有方法包括基于策略和基于回归的两类,各有方差大或偏差大的问题。本文提出R-POD方法,将排序策略分解为选择前k个动作的第一阶段策略和在前k个动作基础上选择其余动作的第二阶段策略,前者用新的策略梯度估计器学习,后者用回归方法学习,从而降低方差。

Ren Kishimoto, Koichi Tanaka, Haruka Kiyohara 等

arXiv cs.CE · cs.AI

Frontier Autolab: Organizational Memory, Adversarial Dissent and Temporal Leakage in Multi-Agent LLM Firms Across Fifty Years of Technological Change

说明前沿自动实验室:多智能体大模型公司在五十年技术变迁中的组织记忆、对抗异议与时间信息泄漏

简介该研究构建了一个模拟公司的长期测试环境,由十六个角色与一个红队组成,在1990年至2040年的九个技术时代中反复调整方向。每个时代依据注明日期的简报决策,再由历史评判者对照实际发展按五个维度打分,经验教训存入持久手册。结果显示,公司往往能看到转变趋势,却因既有资产所限而难以转向相应层面;红队的数值化门槛则使其只产生了试点而无产品。作者同时指出,评分随时代上升,而评判者的事后认知分数下降,表明所谓学习可能混杂了对历史的回忆。

Bravish Ghosh

arXiv cs.LG · cs.CL

Backpropagated Output Momentum: Relocating Optimizer History from Parameters to Task Space

说明反向传播输出动量:把优化器历史从参数空间迁移到任务输出空间

简介论文提出反向传播输出动量(BOM),不再存储与参数同样大小的梯度滑动平均,而是在模型输出端保存预测误差的紧凑滑动平均,并在每一步通过当前网络重新投影。作者以批次级分析说明这种迁移保留与省略的信息,并将其作为动量类优化器的插件使用。论文报告参数形状的优化器状态减少49.7%至99.8%,三种语言骨干模型上的单步时间平均增加4.0%,语言与视觉微调的平均验证性能有所提升。

Yuchen Li, Zongqi Fan, Nguyen H. Tran 等

arXiv cs.SD · cs.CL · eess.AS

Reconstructing the Vocal Tract with Differentiable Acoustic Simulation

说明利用可微声学仿真重建声道形状

简介本文提出一种可微分、支持GPU加速的声道声学仿真器,通过声管模型合成语音,并利用梯度从声音反推声道的几何形状。作者通过频域流体动力学公式、可微湍流模型和神经网络参数化几何形状三项技术使梯度下降得以收敛。该仿真器还可与其他深度学习流程结合,用于11种语言的声道形状自监督自编码,以及从语音重建运动中声道的MRI图像。

Eric Ming Chen, Jin Woo Lee, Vincent Sitzmann

arXiv cs.HC · cs.CL · q-bio.NC

From Neurons to Conversation: Speech Brain-Computer Interfaces

说明从神经活动到对话:言语脑机接口综述

简介本文从系统层面综述言语脑机接口(BCI)研究,这类接口把与言语、语言或交流意图相关的神经活动转换为文字、合成语音或虚拟形象控制,以帮助重建沟通能力。作者分析了言语与语言的神经基础,并讨论记录与解码方式、闭环适应、评估、临床转化与伦理问题。文章主张,下一代言语脑机接口的评估不应只看离线准确率,还应考虑跨时段稳健性、校准负担、延迟、不确定性与可用性等因素。

Moein Khajehnejad, Forough Habibollahi, Tommaso Boccato 等

arXiv cs.AI

BiFE: Search-Efficient Discovery of CPU-Only Branching Policies via LLM-based Bi-Fidelity Evolution

说明BiFE:基于大模型双保真度进化、用于发现仅需CPU的分支策略的高效搜索方法

简介该论文针对混合整数线性规划的分支定界求解,提出双保真度进化框架BiFE,利用大语言模型生成轻量级、只需CPU运行的分支变量选择规则。框架先用低保真的模仿学习分数快速筛选候选规则,再只对精英候选进行高保真的实例求解评估。实验显示,所发现的规则在CPU上优于SCIP求解器及其他基线,部分结果甚至超过基于GPU的神经网络策略。

Ce Zhang, Bin Zhang, Zhiwei Xu 等

arXiv cs.CL

Distilling What Matters: Confidence-Aware Selective Distillation for Large Language Models

说明说明:一种按教师模型置信度选择性蒸馏大语言模型的方法(CaRE-KD)

简介知识蒸馏让较小的学生模型模仿较大的教师模型,但大语言模型中教师的预测常有高熵与幻觉,标准蒸馏会损害学生模型。该论文提出CaRE-KD,包含依据置信度在前向与反向KL散度间切换的词元级损失,以及在教师不确定性高于学生时抑制更新的批次级拒绝机制。作者在八组师生模型对和十一个基准上报告了相对强基线的一致提升。

Ayan Sengupta, Vaibhav Seth, Tanmoy Chakraborty

arXiv cs.AI · cs.CL · cs.SE

Can Agents Design Libraries for Agents?

说明智能体能为其他智能体设计代码库吗?

简介本文提出 LibraryDesignBench,一个两阶段基准测试:由智能体根据规格实现完整的代码库,规格只定义所需能力和使用场景,不规定具体设计。作者通过三个不同模型系列的用户智能体所编写程序的正确性和简洁性来评估代码库。基准包含四种语言下 15 个库设计任务的 242 个经专家验证的编程题。

Gabriel Orlanski, Alex L. Zhang, Avi Trost 等

arXiv cs.AI

Can AI Scientists Change Their Minds? Prior-Evidence Conflict in Synthetic Universes

说明AI科学家能否改变既有认知?合成宇宙中的先验与证据冲突

简介该论文提出“合成宇宙”基准,将经典著名物理情境与机制相近的扭曲对照世界配对,考察AI智能体能否区分从证据中推断出的规律与仅仅是熟悉的规律。研究对每条规律分别检验其在保留数据上的预测表现和是否恢复生成机制,结果显示二者可以分离,因此两者需要不同的检验方法。论文未宣称已确认因果性的先验冲突效应。

Kargi Chauhan

arXiv cs.LG

Routing in Gradient Space: Balanced Usage Is Not Expert Specialization

说明梯度空间中的路由:均衡使用不等于专家专门化

简介本文研究稀疏专家模型中的路由问题,将其视为梯度划分问题,提出梯度对齐路由(GAR),使梯度相近的样本被分到同一专家。在五个多任务文本分类数据混合上,GAR 的总体验证准确率最高,相比仅用任务损失的路由高出约 1.07 个百分点;在冻结骨干与低秩适配器专家设置下也居首,并使专家负载更均衡、梯度质量纯度更高。

Yuchen Li, Mingyu Du, Zongqi Fan 等

★★★★☆ 值得关注
arXiv cs.CL

ATTUNER: Recomputation-Free Agentic Context KV Reuse

说明ATTUNER:无需重算的智能体上下文KV复用方法

简介大语言模型智能体会反复把技能、文档和记忆条目等可复用内容载入上下文,每次都重新编码会浪费计算。本文提出ATTUNER,一种查询侧适配方法,在冻结的缓存上插入低秩适配器,通过蒸馏完整预填充的分布进行训练。该方法只训练不到0.05%的参数,推理时无需重算缓存,在七个基准上明显优于既有位置无关缓存基线,质量与完整上下文预填充相当,并可实现最高3.73倍的加速。

看点通过分析定位损失来源于注意力而非KV重算,提出仅训练查询侧低秩适配器的新方法,并在七个基准上验证效果。

Xinghao Chen, Junnan Dong, Cai Ke 等

arXiv cs.LG

CALIBUDGET: Calibration-Guided Source Allocation for Fixed-Budget Mixed-Reasoning Adaptation

说明CALIBUDGET:面向固定预算混合推理适配的校准引导数据源分配方法

简介该论文提出 CALIBUDGET,一种在固定训练预算下为多个异构数据源分配样本配额的方法。它利用训练内部的小型校准划分,综合模型需求、下限保护后的可用量和自助法稳定性,生成满足容量约束的整数配额,同时不改变模型、目标函数或总预算。在数学与常识数据的组合实验中,它在三组配对的 LLaMA-2-7B LoRA+ 运行里提升了常识和整体平均指标,但略微降低了数学任务的平均表现。

Yupeng Chang, Yuan Wu

arXiv cs.LG · stat.ME

SIRNET: Causal Adaptation of Pretrained Embeddings for Semiparametric Treatment-Effect Estimation Under Surrogacy

说明SIRNET:在存在替代变量时,用预训练嵌入进行半参数治疗效应估计的因果适配方法

简介论文提出SIRNET框架,用于在包含非结构化治疗后替代信号(如文本、图像、视频)的实验中估计治疗效应。方法从预训练编码器得到的嵌入出发,学习一个共享适配器,同时服务于结局预测、倾向得分和各组替代变量边缘化等任务。最终估计与置信区间由交叉拟合的正交得分得到,并在给定的干扰项收敛速率条件下达到半参数效率界。作者在合成数据、半合成数据以及A4无症状阿尔茨海默病抗淀粉样蛋白试验中,用冻结的预训练脑部MRI嵌入作为长期结局的替代变量进行了验证。

Lei Shi, Qiuran Lyu

arXiv eess.SY · cs.LG · cs.SY

Information-theoretic receding-horizon active learning of nonlinear dynamical systems

说明基于信息论的滚动时域主动学习:用于非线性动力系统辨识

简介该论文研究如何在有限时长的单条轨迹实验中,高效收集信息量大的数据,以学习随机受控非线性动力系统的状态增量映射。作者用固定非线性特征构造参数化估计器,并以高斯先验进行递推贝叶斯更新,在线量化预测不确定性。论文将自适应设计问题转化为滚动时域优化,并用交叉熵方法求解;在有噪声的多稳态系统数值实验中,该方法比常见激励基线更有效地降低了预测不确定性与重构误差。

Juncal Arbelaiz, Anushri Arora, Jonathan W. Pillow

arXiv math.NA · cs.LG · cs.NA

Into the danger zone: stable extrapolation in high-dimensional function and operator learning

说明进入危险区:高维函数与算子学习中的稳定外推

简介该论文研究训练分布与测试分布不同时的回归问题,探讨在何种关于目标函数或算子的假设下可以实现稳定外推。作者找到了一类全纯函数与算子,即使分布偏移较大,其分布外泛化误差仍以代数速率收敛,并将这一现象归因于高指标坐标的光滑性增加。论文还给出了多项式、深度神经网络及深度神经算子的显式速率,并以数值实验加以验证。

Ben Adcock, Simone Brugiapaglia, Xuemeng Wang

arXiv cs.CL

LAURA: Knowledge Distillation for Interpretable Ambiguous Clause Identification in Legal Contracts

说明LAURA:面向法律合同中模糊条款可解释识别的知识蒸馏方法

简介法律合同中的模糊条款可能给企业带来财务和法律风险,因此仅识别还不够,还需要可解释的理由分析。该论文提出 LAURA 框架,利用 IRAC 式提示技术,把教师大模型的知识蒸馏到参数不超过 10 亿的开源学生模型,并用分类与理由生成的联合损失进行训练。实验显示,基于 Flan-T5(2.5 亿参数)的 LAURA 在可解释性上优于所有可解释基线,同时识别性能与表现最好的不可解释基线相当。

Amrita Singh, Aditya Joshi, Jiaojiao Jiang 等

arXiv cs.AI

JudgeProfile: Understanding and Steering Subjectivity in LLM Judges

说明JudgeProfile:理解并引导大模型评审者的主观性

简介论文提出JudgeProfile框架,把大模型两两比较式评估拆成“感知”(在清晰度、正确性、细节等属性上如何比较两个回答)与“优先级”(各属性对最终选择的影响)两部分。作者构建了包含50,013组回答对、87项属性的SubjectiveSet数据集,由21个大模型评审者评估。研究发现,各评审者在属性判断上往往一致,但总体选择存在分歧;通过依据参考标签重新学习属性权重,平均留出集一致率从66.48%提升至71.97%。

Qi Cao, Kangning Liu, Xuan Kan 等

★★★★☆ 值得关注
arXiv cs.LG · stat.ML

When Is Coarse Supervision Worth It? Cost-Aware Learning under Unknown Aggregation

说明何时值得使用粗粒度监督:未知聚合下的成本感知学习

简介该论文研究两种粒度标注的学习问题:昂贵的细粒度标签给出向量形式的响应,较便宜的粗粒度标签给出按未知权重聚合的标量。作者刻画了这种信息几何结构,提出一种先估计聚合规则、再跟踪最优粒度组合的在线策略,并推导出粗粒度监督的盈亏平衡条件。合成实验显示,在粗粒度监督足够有利时,该方法在有限预算下优于全部使用细粒度标注的方案。

看点提出未知聚合下的两分辨率监督成本感知学习,并推导闭式盈亏条件与匹配的极小化极大下界,理论新意较强。

Jianyu Xu, Smriti Jha, Aarti Singh 等

arXiv cs.CL · cs.AI

Lost in Conversation or Lost in Translation? Diagnosing Multi-Turn Degradation in RAG

说明对话中迷失,还是翻译中迷失?诊断RAG多轮对话性能下降

简介本文研究检索增强生成(RAG)及其图结构变体GraphRAG在多轮对话中的表现。作者将多跳问答基准的问题改写为信息不完整的多轮对话,用十个大语言模型助手和八种检索系统进行了约150万次模拟对话。结果显示多轮交互导致性能普遍下降,相对性能最多下降21%,不可靠性增加47%。作者指出两类失败模式:检索查询因口语化改写而失真,或检索成功但模型未能综合分散在各轮中的证据。

Pranav Handa, Ariful Azad

arXiv cs.LG

Learned Queries and Keys Are All You Need: Replacing the Value Projection with Structured Transforms

说明用结构化变换替代值投影的双头Transformer

简介本文提出双头Transformer,用一个结构化变换替代传统注意力中的第三个头(值投影),以减少参数量和缓存内存需求。作者研究了沃尔什-哈达玛变换、离散余弦变换、离散傅里叶变换、剪切波变换及乘法规避算子来构建双头,并在ImageNet上得到优于三头Transformer的结果。

Ene Meco, Emadeldeen Hamdan, A. Enis Cetin

arXiv cs.LG 有代码

Know Thyself, Teach Thyself: Internal Information Flow for Selective Self-Distillation

说明《认识自我,教导自我》:面向选择性自蒸馏的内部信息流

简介该论文提出 InFlow 框架,用于无外部教师模型时的自蒸馏。它先依据置信度校准的隐藏状态轨迹检索潜在有用的信息来源,再用教师初始答案与检索条件下答案分布之间的 Jensen-Shannon 散度衡量实际效果,选出信念变化较大的样本进行同策略蒸馏。论文称其在四个开源语言模型和三个知识领域中,跨模型平均表现优于所比较的选择方法。

Rui Wang, Ruijie Wang, Bo Chen 等

arXiv cs.CV

AESplat: Advancing Pose-Free Feed-Forward 3D Gaussian Splatting via Decoupled Appearance Modeling

说明AESplat:通过解耦外观建模推进无位姿前馈式三维高斯泼溅

简介该论文提出AESplat框架,用于无需相机位姿的前馈式三维高斯泼溅(3DGS),以实现泛化的新视角合成。方法基于对球谐函数(SH)的分析,将与视角无关的基础外观与视角相关的外观分开建模:零阶SH系数直接从输入图像得到,高阶系数由带两种三维感知归纳偏置的浅层多层感知机预测。论文报告在RealEstate10K数据集上,PSNR比无位姿方法NAS3R高0.8 dB,比需要位姿的DepthSplat高1.1 dB。

Shiwei Ren, Zhiang Liu, Yongchun Fang 等

arXiv cs.LG · cs.AI 有代码

Normalize-Then-Precondition: A Hierarchical Approach to Marginal Scale and Interaction Geometry for LLM Training

说明先归一化再预条件:面向大语言模型训练的分层优化方法

简介本文回顾了矩阵优化器Muon的全Gram表示,发现其同时处理边际尺度与交互信息,据此提出“先归一化、后预条件”(NormPre)框架。该框架先用对角Gram信息构造边际归一化更新,再对方向性交互几何做谱预条件,并提出全局版NormPre-G与局部版NormPre-L两个变体。在GPT-2 Small、LLaMA和Qwen3上的预训练实验中,两者在相同训练预算下均优于AdamW、Muon和MANO,代码已在GitHub开源。

Zixuan Gong, Zeyu Gan, Jiaye Teng 等

arXiv cs.CL

Video2Skill: From Streaming Experience to Reusable Embodied Skills

说明Video2Skill:从流式经验中发现可复用的具身技能

简介本文提出流式具身技能发现(SESD)任务:模型按顺序观看视频并维护一个持续更新的技能库。作者构建了 Video2Skill 基准,涵盖机器人桌面操作和人类厨房活动,测试事件定位、同类事件归组以及复用或新建技能三项能力。测试显示,多数视觉语言模型归组效果接近随机水平,经监督微调后归组有所改善,但模型很少扩充技能库,识别现有技能何时不足被认为是核心挑战。

Jianshu Zhang, Ce Zhang, Xiyuan Yang 等

arXiv cs.LG · cs.CL 有代码

CHAIN: Calibrated LLM Forecasting via Causal-Temporal Hypergraph Inference

说明CHAIN:基于因果-时序超图推断的校准大模型预测方法

简介该论文指出大语言模型在事件预测中的概率输出存在随领域和问题类型而变化的系统性校准偏差。作者把基于因果-时序超图的概率预测拆分为证据加权、证据聚合和来源融合三个阶段,并在每个阶段设计对应机制以减轻偏差,提出CHAIN方法。跨领域预测基准实验显示,CHAIN在期望校准误差、Brier分数和准确率上优于现有方法。

Wenjin Liu, Chenxi Wang, Yue Lu 等

★★★★☆ 值得关注
arXiv eess.SP · cs.AI

MyoCodec: A Streaming Neural Codec for Electromyography

说明MyoCodec:面向肌电信号的流式神经编解码器

简介本文提出 MyoCodec,一种为肌电图(EMG)设计的流式神经编解码器,结合因果 Transformer 与残差向量量化,将连续肌电信号编码为 50 Hz 的离散标记。该模型在十二个公开肌电数据集上训练,在编解码质量及打字、手势姿态、语音解码和语音到肌电合成等下游任务中表现良好。推理时每 20 毫秒帧仅需约 0.482 毫秒计算时间,可实现实时流式处理。代码和模型权重已公开。

看点将神经音频编解码器的因果Transformer与残差矢量量化引入肌电信号,并在四类下游任务上对比验证,属于有新意的组合。

Jihwan Lee, Kleanthis Avramidis, Junhyeok Lee 等

★★★★☆ 值得关注
arXiv cs.LG 有代码

Where Root Cause Analysis Fails: A Retrieval-Reranking Decomposition

说明根因分析在哪里失败:检索与重排序的分解

简介这篇论文指出,常用的 top@k 准确率会把两种失败混在一起:真正的根因未被检索到,或被检索到却排名过低。作者将根因分析拆分为检索与重排序两阶段,并在四个基准上进行审计。实验显示,两阶段方法(多信号检索加 LLM 重排序)在六个基准上的 top@1 准确率达到或超过最佳基线,无需因果图或标注数据。

看点提出检索与重排序分解视角揭示top@k的盲点,并在六个基准上用多信号检索加LLM重排序,证据较充分,对子领域有实际参考价值。

Hada Melino Muhammad, Luan Pham, Laure Barri\`ere 等

arXiv cs.CV

When Semantics Matter: Reliability-Aware Semantic-Rhythm Control for Co-Speech Gesture Generation

说明语义与节奏兼顾:面向语音伴随手势生成的可靠性感知语义-节奏控制

简介本文研究语音伴随手势生成,即合成与语音节奏同步、并与语义相符的手势。作者提出可靠性感知的语义-节奏控制框架:先学习离散运动先验,再用多模态分支与纯音频分支之间的条件信息增益衡量文本语义对动作的贡献,并据此选择性加强内容相关片段的语义引导。此外,将背景噪声视为声学可靠性条件,以提升真实环境下的生成稳健性。

Zhirui Xing, Long Ye, Kaige Li 等

arXiv cs.CL

ProgressCompass: Embodied Progress Reward Models Are Lost Without the Right Context

说明ProgressCompass:具身进度奖励模型需要正确的上下文

简介论文针对具身智能体长任务中的进度估计问题,指出仅凭当前画面往往无法判断任务进展到哪一步。作者构建了 ContextProgress-Bench 基准(24 个操作任务、120 个回合),涵盖状态回忆、序列追踪和重复情形消歧三种设置。实验显示,为同一批模型补充正确上下文后,进度误差降低 77%–82%;作者据此提出 ProgressCompass 代理循环,使冻结的 PRM 误差降低 63%。

Jianshu Zhang, Keliang Wu, Chengxuan Qian 等

arXiv cs.LG · cs.CL

MARCO: Multi-Round Agentic Reinforcement for Conditional Molecular Optimization

说明MARCO:面向条件分子优化的多轮智能体强化学习框架

简介分子优化通常需要反复提出候选分子、用多个指标评估并修改,同时保持与源分子的关联。MARCO 用基于评估器反馈的强化学习训练分子编辑模型,使其在有限的提议、反馈、修订轨迹中学习。论文在 MuMOInstruct 三目标基准及多个 Qwen 骨干模型上测试,经 SFT 初始化的 MARCO 在各主要设置下属性成功率与相似度的乘积最高,并在允许最多五次回答时进一步提升得分。

Shicheng Fang, Yuxin Wang, Zhuo Yang 等

arXiv cs.CV

Reprogramming Vision-Language Models via Structured Prompt Reparameterization

说明通过结构化提示重参数化重编程视觉-语言模型:一种在冻结骨干上提升小样本分类的方法

简介该论文提出 RVP(Reparameterized Inter-Class Visual Reprogramming),通过在每个类别内聚合多个文本提示,并在类别之间进行残差修正,来改进视觉重编程。作者将基于 CLIP 的线性输出聚合表示为从冻结图像嵌入到下游逻辑值的线性映射,并据此设计结构化重参数化,建模共享语义成分与类别差异。在 11 个小样本分类基准和四种 CLIP 骨干上,RVP 相比已有视觉重编程方法表现更好,推理效率相当或更高。

Zizhao Li, Chengyi Cai, Mohammed Yaqoob Ansari 等

arXiv cs.AI

MLToolBench: Learning Tool-Augmented Agents for Machine Learning Development

说明MLToolBench:学习使用工具辅助机器学习开发的智能体

简介论文提出 ToolMLBench,一套用于数据检查、代码验证和实验诊断的可执行工具,并配套 SFT 与强化学习训练流程,教导智能体何时调用工具、如何根据结果行动。作者提出 SPICE 方法,用特权上下文对工具动作概率的影响作为逐轮奖励。在 80 个合成任务上训练后,域内成功率从 24.8% 提升至 52.4%(Qwen3-8B)和从 35.6% 提升至 69.2%(Qwen3.5-35B-A3B)。

Xin Yu, Lizhu Zhang, Jiamu Bai 等

arXiv cs.CV

ReWorld-Track: A Recursive Event World Model for Language-Guided Multi-Camera Tracking

说明ReWorld-Track:面向语言引导多摄像头跟踪的递归事件世界模型

简介该论文提出 ReWorld-Track,用递归事件世界模型在目标跨摄像头、遮挡消失又重现时保持身份一致。模型把候选匹配与持续等待视为不同的目标状态,用后验概率持续更新循环信念,并据此预测下一个摄像头、到达时间和进入区域。在 CityFlowV2 上 HOTA 为 65.19,在 MTMMC 上为 45.36。

Haoyang Wu, Shoudong Han, Chaoyue Li 等

arXiv cs.CL 有代码

Gödel Forest: Balancing Search Depth and Breadth for Data-Centric Recursive Self-Improvement

说明哥德尔森林:平衡数据驱动递归自我改进中的搜索深度与广度

简介该论文提出多智能体框架“哥德尔森林”,把递归自我改进组织为一组协同演化的搜索树:每个智能体依据模型反馈让自己的树加深、分支或剪枝,并行的树探索数据空间的不同区域,共享的动态记忆则把成功与失败提炼为紧凑经验。在 RSIBench-Data 的六个领域中,该框架平均比单智能体基线高出 10.70%,并在五项任务上缩短了挂钟时间。消融实验显示,共演化的共享记忆相比独立并行搜索带来 +7.00% 的提升。

Ziqi Zhao, Fanqing Meng, Haocheng Lu 等

★★★★☆ 值得关注
arXiv cs.CL · cs.LG 有代码

CAST: Cost-Aware Speculative Trees from One-Pass Block Drafters

说明CAST:基于单次前向块草稿器的成本感知投机树解码

简介大语言模型的投机解码先用便宜的草稿模型猜测后续词元,再由目标模型并行验证。CAST 把块草稿器已打分的多个候选组织成树,用目标模型一次前向完成验证,目标模型和草稿器权重及解码规则均不改动。树的宽度根据延迟测量自适应决定,无需逐一扫描。论文报告在八种设置下均快于标准链式解码,最高快 43%,并证明输出分布保持不变。

看点在单次前向草稿的候选中构建验证树并按延迟成本自适应选宽,有新意;多硬件与模型的实验加上分布不变性证明,证据较充分。

Jungseob Lee, Sugyeong Eo

arXiv cs.LG

Human-inspired, Task-Dimension-Guided Exploration for Efficient Learning in High Dimensions

说明受人类启发、以任务维度引导的高维高效探索学习(TDGE)

简介这篇论文提出 TDGE 算法,模拟人类先探测关键特征维度、再缩小决策空间的方式,采用“任务维度—特征—物品”的自上而下分层探索。作者在 MovieLens-20M、LastFM 和 Amazon 推荐数据集上进行实验,结果显示该方法相比基线算法提升了探索效率与冷启动适应能力。

Fanyu Zhu, Jiahui An, Ni Ji

arXiv cs.AI

FairDiff: Mitigating the Self-Reinforcing Matthew Effect in Diffusion Recommender Models

说明FairDiff:缓解扩散推荐模型中自我强化的马太效应

简介本文指出扩散推荐模型(DRM)会通过其生成动态放大流行度偏差,形成自我强化的马太效应。作者提出即插即用的公平性扩散框架FairDiff,包含推理阶段的流行度条件引导(PCG)和用一步最优传输对齐前向与反向分布的语义校准(SC)模块。论文称该方法取得了领先的性能,并有效缓解了该效应。

Song-Li Wu, Xianquan Wang, Zhaocheng Du 等

arXiv cs.AI

FineSID: Scalable and Efficient Semantic Identifier Learning for Generative Recommendation

说明FineSID:面向生成式推荐的可扩展高效语义标识符学习方法

简介该论文提出FineSID框架,用于学习生成式推荐所需的语义标识符(SID)。现有方法依赖Top-1硬分配,梯度只集中在少数码字上,导致大量码字训练不足并出现SID冲突。FineSID以软的可微方式把学习信号分配给整个码本,据称能缓解冲突、提升码本利用率和推荐准确率,且对初始化配置具有稳健性。

Song-Li Wu, Weinan Gan, Zhaocheng Du 等

arXiv cs.LG · math.OC

Stochastic Heavy Ball with Polyak Step Size and Armijo Line Search: A General Convergence Analysis

说明带Polyak步长和Armijo线搜索的随机重球法:通用收敛性分析

简介本文研究随机重球法(SHB)在Polyak步长(PS)和Armijo线搜索(ALS)下的收敛理论,提出一种与Polyak步长相近的改进Armijo准则,并用解耦分析排除动量带来的历史依赖。论文在强凸、凸和非凸目标下给出了期望收敛结果,在插值或强增长条件下进一步得到几乎必然收敛速率和末次迭代收敛。

Jiawei Zhang, Qitan Shi, Yuantao Gu

arXiv cs.CV · cs.RO · eess.IV 有代码

EgoRefine: Ego-Referenced Predictive Alignment and Trajectory-Conditioned Reliability-Aware Fusion for Asynchronous Collaborative Perception

说明EgoRefine:面向异步协同感知的自车参考预测对齐与可靠性感知融合方法

简介该论文针对异步协同感知中合作特征存在时间延迟、与自车当前观测存在残余错位的问题,提出EgoRefine框架。其自车参考预测对齐模块利用自车当前特征引导合作轨迹场预测,并沿自车参考轨迹方向细化采样偏移;轨迹条件可靠性感知融合模块将两路轨迹差异和方向细化幅度作为对齐线索,据此自适应地重新加权两路特征后再进行卷积融合。在V2V4Real和DAIR-V2X-Seq上的实验显示,该方法在AP@0.5和AP@0.7上分别平均比TraF-Align高1.6和2.9个点。

Lingzhao Kong, Yongsheng Zang, Yu Kang 等

arXiv cs.LG · cs.LO 有代码

GenLimitLib: A Formal Library for Language Generation in the Limit and AI-Assisted Mathematical Research

说明GenLimitLib:用于极限语言生成的形式化库及AI辅助数学研究

简介本文介绍GenLimitLib,一个基于Lean 4、与原论文对应的形式化库,用于“极限语言生成”研究。该理论问题由Kleinberg与Mullainathan于NeurIPS 2024提出,关注如何从已观察的样例中生成有效的新字符串。该库包含30篇论文的形式化内容,提取了共享定义与可复用的证明组件,并记录论文之间的关系。作者通过数学案例研究和大语言模型实验,展示了该库对人类数学研究与AI辅助研究的支持作用。

Shuangping Li, Peng Zhang

arXiv cs.LG · cs.AI

AutoLoCo: Communication Efficient Distributed LLM Training via Adaptive Synchronization

说明AutoLoCo:通过自适应同步实现高通信效率的分布式大模型训练

简介该论文提出AutoLoCo框架,用于降低大语言模型分布式训练中的通信开销。它根据训练过程中的标量统计量自适应调整两次同步之间的本地优化步数,并修正外层更新以弥补步数变化带来的失配。实验表明,在通信受限条件下,AutoLoCo相比DiLoCo将通信频率降低27%,同时保持了训练性能。

Pengyu He, Yan Zhang, Ruien Li 等

arXiv cs.CV

You Only Reprogram Once: Rethinking Prolonged Training for Visual Reprogramming

说明《You Only Reprogram Once》:视觉重编程无需长时间训练的新思路

简介本文针对视觉重编程(通过优化视觉提示适配冻结的预训练模型)训练耗时长的问题,提出YORO方法:仅用一次前向遍历,基于冻结模型的响应空间,借助贝叶斯判别映射(BDM)构建下游预测器,无需反向传播。在三种全数据设置下,其平均准确率较此前最强的免梯度映射方法提高18.4%至24.4%;在16-shot的CLIP上,四个骨干网络平均准确率由71.4%提升至77.2%。

Zizhao Li, Mohammed Yaqoob Ansari, Xinyu Su 等

arXiv cs.LG · math.OC

Byzantine-Robust Federated Representation Learning

说明拜占庭鲁棒的联邦表示学习:在存在恶意客户端的联邦学习中,让每个客户端学习个性化线性头,同时通过抗攻击聚合共同估计共享的非线性表示。

简介该论文研究存在对抗性客户端的联邦学习,目标是在不知道诚实客户端身份的情况下,最小化诚实客户端的平均损失。作者提出让每个客户端学习个性化线性头、并通过拜占庭鲁棒聚合共享非线性表示的方法,以避免单一共享模型在异构数据下的固有偏差。文中给出了非渐近的参数恢复误差界,并将分析扩展到多类分类,在 CIFAR-10、FEMNIST 和 School Exam Score 数据集上进行了实证验证。

Leonardo F. Toso, James Anderson, Rafael Pinot 等

arXiv eess.IV · cs.CV · physics.optics 有代码

LensBridge: Frequency-Guided Compound Degradation Adaptation for Lens Aberration Correction and Veiling Glare Removal

说明LensBridge:用频域引导适配复合退化,同时校正镜头像差并去除眩光

简介本文提出LensBridge两阶段框架,用于处理简化光学系统中的镜头像差与光幕眩光(Veiling Glare)。第一阶段基于大规模镜头库LensLib的点扩散函数构建可复用的像差校正基础模型;第二阶段借助频域引导,仅用少量未配对的目标观测数据,将该基础模型适配到复合光学退化。实验显示,该方法无需目标系统的配对监督即可同时完成像差校正与眩光去除。

Xiaolong Qian, Zhonghua Yi, Qi Jiang 等

arXiv cs.LG

On-Policy Parameter Update Direction Underlies Generalization in LLM Post-Training

说明在线策略参数更新方向是大语言模型后训练泛化能力的基础

简介本文研究在线策略后训练中参数的累积更新方向。作者发现监督微调沿一致方向更新参数,而在线策略训练会在训练过程中持续调整方向。据此提出OPSFT方法,将监督微调的更新约束在由在线策略训练识别出的方向上,从而把在线策略的泛化优势迁移到监督微调中,并兼顾训练效率与高质量轨迹的利用。

Shufan Shen, Zhongni Hou, Junshu Sun 等

arXiv cs.LG · cs.AI

Constitutional adapters: Inference-time interventions for misalignment and misuse

说明宪法适配器:推理时干预以应对失准与滥用

简介该论文研究将依据明确原则集(即“宪法”)训练出的行为,蒸馏到轻量级对象(低秩适配器和引导向量)中。这些对象在训练中未见有害请求或越狱样本,却能提高越狱防御成功率和对齐度,在长上下文及多轮攻击场景中优于提示与引导基线。作者将这类防御称为“宪法适配器”,并可在推理时调节其强度,在防御与正常服务之间取得可预测的权衡。

Adam S. Lowet, Mark Kurzeja

arXiv cs.CV

Not Every Correction Helps: Gain-Guided Continual Test-Time Adaptation

说明并非每次修正都有益:基于增益引导的持续测试时自适应

简介本文针对持续测试时自适应(CTTA)问题,即模型需在分布随时间变化的无标签测试流上持续调整。作者提出无需反向传播的GAIN框架,用历史目标统计量生成修正建议,并通过后验预测评估器估计其相对源模型的增益,从而决定每个样本的修正强度。原文报告在五个基准上取得较好的精度、校准与效率表现,例如在ImageNet-C上准确率为61.9%,运行速度约为代表性优化类基线的15.9倍。

Youjia Zhang, Huiling Liu, Soyun Choi 等

arXiv cs.LG · cs.CL · cs.DC

Replay the Curvature: Accurate and Scalable NVFP4 Quantization for Large Language Model Inference

说明重放曲率:面向大语言模型推理的准确且可扩展的 NVFP4 量化

简介本文提出 Schur Replay 算法,用于为 NVFP4 量化选择块缩放因子:它重放 GPTQ 因块缩放而产生的更新,并在计入未量化列补偿后评估块误差。论文还配套了分层执行基础设施,只保留活跃层、分层存放激活并分布式处理输出行。在 Qwen3.5-397B-A17B 和 Llama-3.3-70B-Instruct 的七个基准上,相对 BF16 的加权恢复率分别为 99.35% 和 100.84%。

Ruiyi Ding, Jie Li, Kang He 等

arXiv cs.LG

Scheduling Recursive Reasoning in Looped Transformers

说明在循环Transformer中调度递归推理的更新步长

简介本文研究循环推理模型中每次迭代更新的步长问题。作者将终端损失对递归更新步长的敏感度分解为持续进展与中心化波动两部分,并据此提出自适应调度方法TAPS,在推理过程中在线调整步长。论文报告,TAPS无需重新训练即可提升多种结构化推理任务的终端准确率,并在训练中融入该原则后带来额外增益,在匹配基线准确率时最高可实现1.56倍的墙钟加速。

Boyuan Wang, Chengyao Yu, Jiaxi Ren 等