AI 算法 · 2026年10月13日(周二)

机器学习、人工智能、自然语言处理、计算机视觉、多智能体。

arXiv cs.CL · cs.AI

Virtual Head Attention

说明虚拟头注意力:一种在长上下文大模型中同时降低KV缓存与计算开销的注意力设计

简介论文针对长上下文大语言模型注意力机制中KV缓存、训练与预填充计算量及模型质量之间的权衡问题,提出虚拟头注意力(VHA)。它通过两个轻量线性操作(Q Premix与Linear Postmix)恢复注意力头的多样性,且推理时可折叠为标准GQA-2结构。实验显示,在四种规模下VHA均优于GQA基线,同时KV缓存减少,训练与预填充FLOPs降低7.9%(1.7B模型)。

Xibo Ding, Guoxia Wang, Jinle Zeng 等

arXiv stat.ML · cs.LG

Learning Distributions from Samples and Qualities

说明利用样本及其质量标签学习分布参数

简介该论文研究连续参数分布中每个样本附带由同一未知参数决定的二元质量标签时的参数估计。通过施加确定性的可行性约束,估计速率可由传统平滑质量感知M估计的n^(-1/2)加速到n^(-1)。文中还证明了点式质量与成对偏好两者互不可比,并对高斯、拉普拉斯及指数族分布给出了成立的条件。

Marc Jourdan, Nicolas Flammarion

arXiv cs.CL 有代码

Agent-Reflex: Teaching Language Agents to Act Reflectively

说明Agent-Reflex:让语言智能体学会主动反思

简介本文提出 Agent-Reflex 训练框架,旨在提升语言智能体在噪声工具反馈和用户纠正下的主动反思与失败恢复能力。方法包括环境反思技能发现、反思监督微调以及结合噪声交互的策略优化。基于 Qwen3-8B 的实验显示,其在五个长程工具使用基准上整体得分 58.6,在 AgentNoiseBench 上得分 29.1,并在多个基准上优于强基线,同时提升了对噪声的鲁棒性。

Guanting Dong, Xinyu Yang, Jiajie Jin 等

arXiv cs.CL · cs.SD · eess.AS

Mixture of Phonetic Experts Based Low-Rank Adaptation of Conformer Models for Accented English Speech Recognition

说明基于语音专家混合的低秩适配:面向带口音英语语音识别的 Conformer 模型

简介本文提出 MoPE-LoRA,一种参数高效的适配框架,用于带口音英语的语音识别。它按语音类别(发音方式)而非口音组织六个低秩专家,并结合音素监督与声学门控进行帧级路由,无需为每种口音单独建模。在 L2-ARCTIC 数据集上,该方法优于单一 LoRA 和全量微调;在留出一种口音的零样本评估中,相对单一 LoRA 提升 12.3%。

Santosh Dahal, Anmol Guragain, Tianchi Liu 等

arXiv cs.CV · cs.AI

FETALFusion: Resolution-Aware State-Space Modeling for Multi-Domain Fetal Head Segmentation

说明FETALFusion:面向多域胎儿头部分割的分辨率感知状态空间模型

简介该论文提出 FETALFusion,用于跨多种超声采集方式的胎儿头部分割,以便自动测量头围。模型结合 CNN 与 Mamba 双路编码器,并加入地标形状先验和域门控。在 471 张测试图像上 Dice 为 0.963,HD95 为 2.10 毫米;但残差编码器的基线表现更好,作者认为状态空间分支对准确率没有可测量的影响。

Ammar Bhilwarawala, Mainak Bandyopadhyay

arXiv cs.LG · cs.AI · cs.CL 有代码

HaloBlock: Faster and Better Decoding for Diffusion Large Language Models

说明HaloBlock:面向扩散大语言模型的更快更优解码方法

简介扩散大语言模型推理时,块内右侧的词元解码难度较高,且分块解码会在块边界处造成上下文不连续。HaloBlock 根据双向累积熵衡量块的解码难度,并据此在每个块两侧自适应分配双向光晕区域。在 LLaDA-8B-Instruct、Dream-7B-Instruct 和 LLaDA-1.5 上,于数学推理与代码生成基准中,该方法提升了准确率与推理效率。

Zhaohui Zheng, Chenhang He, Jinrui Zhang 等

arXiv cs.CV · cs.AI

AI-Enhanced Hyperspectral Imaging for Intraoperative Detection of Low-Grade Glioma: A Clinical Study

说明AI增强高光谱成像用于术中检测低级别胶质瘤:一项临床研究

简介该研究针对低级别胶质瘤,比较高光谱成像(HSI)与普通RGB成像在术中的分类效果。研究发现肿瘤区域反射率较低,可能与血红蛋白浓度和氧合差异有关。其中结合光谱与空间特征的3D CNN模型取得最高中位ROC-AUC为74.5%,光谱XGBoost模型为67.9%,RGB模型为64.0%。

Siri Willems, Ishika Jain, Jens De Winne 等

arXiv cs.LG · cs.CV

Sea-Net: A Small and Inherently Interpretable Neural Network for Time Series Classification

说明Sea-Net:一种小型且天生可解释的时间序列分类神经网络

简介传统时间序列分类方法通常是黑箱,只给出类别预测,无法指出序列中哪个时间点或区间导致了该预测。该论文提出轻量级的 SEA-Net,使用小型多尺度深度可分离卷积编码器和改进的多实例学习池化头,在提供分类结果的同时给出时间解释。作者报告,其瓶颈编码器加 Top-k 池化版本仅用 41K 参数达到 0.931 准确率和 0.765 NDCG@n,适用于资源受限的边缘设备。

Ubaid Ur Rehman, Tanmoy Mondal

arXiv cs.CV · cs.AI

MERIT: Multimodal Evidence Reasoning over Image Tables

说明MERIT:基于图像表格的多模态证据推理

简介该论文提出MERIT框架,用于让模型直接对表格图片进行推理,避免文本序列化时丢失单元格内容、结构关系和视觉线索。方法分三阶段:先通过重建、定位和颜色条件监督适配表格图像编码器,再用经验证的推理轨迹进行监督微调,最后用强化学习分别奖励证据正确性、计算、最终答案和输出格式。实验在表格问答和事实核查任务上进行,并评估了对其他表格结构和视觉呈现的泛化能力。

Haoyang Jiang, Zhuotong Fan, Mingyang Yi 等

arXiv cs.CV

PUGS: Physics-Guided Uncertainty Modeling for Underwater Dynamic 3D Gaussian Splatting

说明PUGS:面向水下动态三维高斯泼溅的物理引导不确定性建模

简介该论文提出PUGS方法,用于水下动态场景的三维重建。针对水下光散射、折射和低能见度导致的物理模糊问题,PUGS将每个高斯的运动建模为带有期望形变和物理不确定性的概率分布,并通过随机形变优化与双路径自洽蒸馏,在训练后转为确定性重建。作者称其在UVEB和DRUVA数据集上,PSNR分别比最强基线高出1.16 dB和3.99 dB。

Tingjun Li, Yuxi Wang, Guoqiang Zhong 等

arXiv cs.CV

HierarchiRetina: A Diabetic Retinopathy Screening and Grading Cascade with Heterogeneous Mixture-of-Experts Lesion Segmentation

说明HierarchiRetina:带异构专家混合分割的糖尿病视网膜病变分级级联系统

简介这篇论文提出 HierarchiRetina,一套分阶段的糖尿病视网膜病变筛查、病灶分割与分级系统,每个阶段的输出都可检查。作者在 58,689 张留出图像上做了端到端评估,二次加权 kappa 为 0.804,并发现筛查环节导致了 66% 的错误。作者还指出,分级模型在消融实验中并未利用病灶掩码。

Md Asif Uddin, Niloy Farhan, Rafeed Rahman 等

arXiv cs.AI

Learning How to Remember: Memory Modality Selection for GUI Agents

说明学习如何记忆:面向 GUI 智能体的记忆模态选择

简介该论文研究基于视觉语言模型的图形界面(GUI)智能体中记忆表示方式的选择。作者发现,最优的记忆模态(文本或视觉)会随交互步骤变化。据此提出 SwitchMem,在每一步动态选择文本或视觉记忆,在三个 GUI 基准上优于使用固定记忆表示的基线方法。

Taeyun Roh, Suhyeong Park, Gijin Kim 等

arXiv cs.RO · cs.AI

GLST: Global-Local Spatio-Temporal Memory Decomposition Framework for Online Chained-Goal Navigation

说明GLST:用于在线链式目标导航的全局-局部时空记忆分解框架

简介论文研究机器人在目标会在执行中不断变化(重定向或出现新目标)时的在线链式目标导航问题。作者提出 GLST 框架,把潜在信念分解为全局-局部空间表示和长-短期时间表示,并加入目标条件奖励以平衡探索与利用。仿真实验显示其在多种地形上优于基线,Spot 四足机器人实机实验也验证了该记忆分解框架。

Yousef Liang, Ryan Ardalan, Yarden Goraly 等

arXiv cs.CV · cs.AI

CineMem: Attention-Aligned Fine-grained Memory Retrieval for Multi-Shot Long Video Generation

说明CineMem:面向多镜头长视频生成的注意力对齐细粒度记忆检索

简介本文提出CineMem框架,用于自回归多镜头长视频生成。它通过注意力分析发现的记忆访问规律,设计了在线聚类的KV缓存来组织历史信息,并引入查询级检索机制,在固定检索预算下更广泛地利用历史内容。作者还提出了一套用于评估镜头间一致性的视觉语言模型辅助指标,实验结果表明该框架有效。

Xiaoxue Wu, Xinyu Gao, Fang Yu 等

arXiv cs.LG

Stein Variational Distributional Reinforcement Learning: Score-Guided Particles for Multivariate Return Distributions

说明Stein变分分布式强化学习:面向多元回报分布的得分引导粒子方法

简介该论文提出SVDRL方法,用Stein粒子表示多维回报的联合分布,并借助学习到的得分场和Stein变分梯度下降来传输粒子。同一得分场还能作为采样器回答低于粒子分辨率的尾部风险问题。实验表明,在罕见事件上其精度高于相同粒子数的粒子评论家,在MuJoCo连续控制任务上表现相当。

Manuel Hau{\ss}mann, Melih Kandemir

arXiv cs.CL

Batch-Paced: Fixed-Budget Batch Decoding in Discrete Diffusion Language Models

说明Batch-Paced:离散扩散语言模型的固定预算批量解码方法

简介本文针对离散扩散语言模型(dLLM)的批量推理,提出一种无需训练的方法 Batch-Paced,在固定计算预算下联合分配各请求的解码计算量,以提升整体批次质量。实验基于两种 dLLM 主干模型和五个基准测试,结果显示在预算相同时批次性能有所提升,且增益通常随批量增大而扩大。分析表明,提升主要来自低置信度请求的已提交 token 置信度提高;加入解码深度余量后,批量解码时间可进一步缩短,性能代价较小。

Shuai Zhang, Zhanchao Zhou, Huachuan Qiu 等

arXiv cs.CV · cs.AI

LinMorph: Learning to Morph Weights for Efficient Video DiT Linearization

说明LinMorph:学习变换权重以高效线性化视频 DiT

简介本文提出 LinMorph 方法,用于加速预训练视频扩散 Transformer(Video DiT)的线性化改造。作者认为,初始化而非注意力替换后的恢复,是更根本的瓶颈:随机初始化会丢弃预训练知识,而人工权重复用则依赖僵硬且不完整的对应关系。LinMorph 将 softmax 注意力到线性注意力的权重转换学习为可学习的跨参数映射,并在层间共享,据称在不同预训练视频 DiT 上比随机初始化和启发式权重复用恢复更快、最终生成质量更好。

Lingyi Long, Congyue Zhao, Xiaoou Li 等

★★★★☆ 值得关注
arXiv cs.LG

NBCLT: Parameter-Agnostic Norm-Ball Clipped Local Training

说明NBCLT:无需调参的范数球裁剪本地训练

简介该论文提出NBCLT(范数球裁剪本地训练),一个同时适用于联邦学习和去中心化学习的统一本地训练框架。它将预测-校正式本地更新与灵活范数球上的欧氏投影结合,在保持实现简单的同时进行范数球裁剪。论文称,在联邦学习的无问题参数设定下,若按时域适当缩放每轮本地计算量,其通信复杂度为O(ε^-2),随机梯度总复杂度为O(ε^-4),且不假设异质性有界。

看点提出统一的范数球裁剪局部训练框架并给出无需问题参数的通信与梯度复杂度界,理论结果有实质改进,但缺少大规模实验验证。

Linxuan Pan, Shucheng Yang, Junchi Yang

arXiv cs.CL · cs.CV

Text-Only vs. Image-Aware VLM Judges for Manga Translation Evaluation

说明纯文本与看图 VLM 评审在漫画翻译评估中的对比

简介该研究针对漫画翻译评估,比较同一视觉语言模型在仅看文字与同时看页面图像两种情况下的判断差异。作者用日英漫画官方译本数据集做实验,发现加入页面图像后,模型更能发现人为注入的依赖视觉的翻译错误。两种评审的错误数量与错误类别分布也存在差异,但人工验证并未显示出一致的偏好。

Subaru Kimura, Jun Suzuki

★★★★☆ 值得关注
arXiv cs.SE · cs.AI

SpecCloak: Probing Harmful Code Generation through Engineering Specifications

说明SpecCloak:通过工程规格探测有害代码生成

简介该论文研究大语言模型在收到恶意编程请求时的拒绝行为,发现把编程需求改写为工程规格格式会显著降低模型拒绝率。作者据此提出黑盒红队框架SpecCloak,在RedCode-Gen上八个目标模型的平均执行验证攻击成功率为28.91%,并提出防御原型SpecReveal,在独立提示检测评估中检测率为96.88%。

看点提出以工程规格形式表述需求可显著降低拒绝率,结合表示分析与干预实验,并给出红队框架与防御原型,有新意且证据较充分。

Wenbin Chen, Jiexin Wang, Guanting Wu 等

arXiv cs.LG

Stable-Plastic Subspace Construction for Differentially Private Continual LoRA

说明用于差分隐私持续LoRA的稳定-可塑子空间构建方法

简介这篇论文研究在差分隐私保护下,如何让大模型通过低秩适配(LoRA)持续学习新任务又不遗忘旧知识。作者提出DP-SPA方法:用已加噪的历史更新构造稳定子空间,用预训练权重在其正交补空间中构造可塑子空间,并只对LoRA因子做隐私优化。实验覆盖五个数据集和多种隐私预算,结果显示平均准确率提高、遗忘减少。

Jin Liu, Ning Xi, Yinbin Miao 等

arXiv cs.CV · cs.AI · cs.RO

DriveWLA: Unifying Future Dynamics and Scene Semantics through World-Language-Action Modeling for Autonomous Driving

说明DriveWLA:通过世界-语言-动作建模统一未来动态与场景语义的自动驾驶模型

简介该论文提出DriveWLA,一个基于混合Transformer(MoT)的统一世界-语言-动作模型,同时建模语义理解、未来场景动态和轨迹生成。模型包含世界、语言、动作三个专家模块,并引入跨专家注意力机制,并用Flow-GRPO强化学习对动作专家进行后训练。论文报告其在NAVSIM v1、v2上取得较高分数,并在HUGSIM、nuScenes、Bench2Drive上展示了零样本泛化能力。

Shuzheng Wang, Haoxuan Li, Shengzhen Li 等

arXiv cs.CV · cs.AI

Visual Dependence Does Not Imply Answerability: A Systematic Analysis of Answerability Signals in Frozen InstructBLIP

说明视觉依赖并不等于可回答性:冻结 InstructBLIP 中可回答性信号的系统分析

简介该论文在 UNK-VQA 的一个 1 万条分层子集上,用冻结的 InstructBLIP 系统评估了多种判断视觉问答能否回答的信号,包括不确定性、跨模态对齐、视觉依赖和内部表示等。结果显示,各类信号的判别能力都较弱,测试 AUROC 大多在 0.50 至 0.54 之间。作者认为,模型依赖视觉证据与证据是否足以支撑答案是两件事,需要区分。

Minjun Kim, Hyunmin Song, Changwon Lim

arXiv cs.LG

FlashMask-3: Efficient and Expressive Mask-Aware Distributed Attention

说明FlashMask-3:高效且表达力强的掩码感知分布式注意力

简介该论文针对长上下文大模型训练中结构化注意力掩码成为瓶颈的问题,提出 FlashMask-3。它在 Hopper GPU 上实现掩码感知内核,并加入掩码感知的分布式扩展,包括零通信掩码本地化、稀疏感知负载均衡和计算通信重叠。文中报告了单卡与多卡场景下相对基线的吞吐量提升,以及 118B-A14B MoE 模型端到端训练吞吐量提升 7.3%–11.0%。

Guoxia Wang, Qianyue He, Siming Wu 等

arXiv cs.AI · cs.LG

PaceReasoner: Label-Free Learning to Answer Briefly from Long Reasoning

说明PaceReasoner:无需标签,从长推理中学会简短作答

简介该论文提出 PaceReasoner,一种无需标签、在测试时进行的强化学习框架,利用模型的长链式推理结果来提升其短模式作答的准确率。两种模式共享同一可训练策略,并通过渐进式、置信度加权的监督进行学习。在三种模型骨干和四个基准测试上,平均短模式准确率比基线提高 7.4 至 13.5 个百分点,每次回答平均少于 25 个推理词元;消融实验与跨数据集结果支持其关键组件及迁移能力。

Changguo Jia, Zhiyou Xiao, Xinbei Ma 等

arXiv cs.LG · cs.AI · cs.CL

Evaluating the Causal Faithfulness of SHAP as a Candidate Attribution Method for SAE Features

说明检验 SHAP 作为稀疏自编码器特征归因方法的因果忠实性

简介本文研究用 SHAP 等归因方法解释稀疏自编码器(SAE)特征时,结果是否真实反映特征的因果作用。作者以 GPT-2 Small 第 7 层的 SAE 和 SST-2 情感分类为测试平台,将归因结果与特征消融、激活干预的因果效应进行比较。结论认为,方法之间的一致性并不等于因果可靠性,重要性忠实性与方向忠实性需要分别评估。

Samuel Xie, Noura Al-Moubayed

arXiv cs.LG · cs.AI · cs.SE

Interaction-as-a-Judge

说明以交互作为评判:让电脑使用智能体亲自操作应用来评估编程智能体生成的交互式程序

简介论文指出,现有大模型评测多依赖代码分析和单元测试,可能漏掉人类用户一眼就能发现的问题。作者提出“交互即评判”,让电脑使用智能体直接操作应用来评估。研究发布了6,858对带人工偏好和智能体轨迹的应用数据,以及222个经人工核验需求标签的应用。结果显示,该方法在预测人类偏好和需求验证上均优于非交互方法,并能提升生成应用的质量。

Wayne Chi, I-Hung Hsu, Li Chen 等

arXiv cs.CL 有代码

Swiss4Arg: A Parallel Dataset for Multilingual Argument Mining across Swiss National Languages

说明Swiss4Arg:覆盖瑞士四种国家语言的多语种论点挖掘平行数据集

简介该论文基于瑞士官方投票宣传册构建了多语种论点挖掘数据集Swiss4Arg,涵盖德语、法语、意大利语和罗曼什语四种国家语言。数据集包含2019至2025年间的53项联邦投票议题,由每种语言三名母语者标注论点成分与支持、攻击关系,并公开了裁定标签与各标注者的原始标注。作者还用GPT-5.4和SwissBERT给出了基线结果。

Sophia Conrad, Fatma-Zohra Rezkellah, Christina Niklaus 等

arXiv cs.AI · cs.CL · cs.LG

Training LLMs for Multi-Agent Collaboration with Verifiable Information Rewards

说明用可验证的信息奖励训练大模型进行多智能体协作

简介该论文提出CoSIR方法,通过基于“惊讶度”的信息奖励,对大语言模型智能体进行后训练,以学习分享证据、请求信息和采纳队友意见等协作行为。研究使用贝叶斯评估器衡量信息带来的团队不确定性下降,并在Qwen3-4B、Qwen3-8B和Gemma-3-4B-it上通过自我博弈训练,在七项未见过的自然语言协作任务上测试迁移效果。结果显示CoSIR综合得分最高,且通用任务表现具竞争力。

Keru Chen, Sen Lin, Yingbin Liang 等

★★★★☆ 值得关注
arXiv cs.LG · cond-mat.stat-mech · physics.comp-ph

Deep Mesoscopic Dynamics

说明深度介观动力学:用神经网络从微观轨迹学习介观场方程

简介该论文提出深度介观动力学(DeepMesoD),用神经网络从给定粗粒化尺度的微观轨迹中学习有效的介观场方程。在 Ising-Kac 模型中,所学方程恢复了已知的流体动力学极限。对二维 Heisenberg 铁磁体和分层 CrBr$_3$ 等没有闭式介观描述的体系,该方法能学习与原子尺度参考相符的模型,并将计算时间降低三到四个数量级。

看点提出用神经网络从微观轨迹学习介观场方程的新框架,并在Ising-Kac、海森堡铁磁体和CrBr3上验证,证据较充分,对磁性模拟子领域有实用价值。

Yue Zhao, Shiqi Wu, Yihang Ouyang 等

arXiv cs.CV

Diagnose-to-Generate: Eliminating Structural Distortions in Flow Models via Patch-Level Grounded Alignment

说明从诊断到生成:基于图像块的接地对齐消除流模型结构畸变

简介本文针对流式图像生成模型常见的手部、四肢等局部结构畸变问题,提出 D2G 框架,将视觉诊断与生成优化分离。作者构建了区域标注数据集 Achilles-600K,训练 ARGUS 模型预测异常类别与边界框,并将诊断结果转化为置信度加权的空间奖励,用于图像块级的 Flow-GRPO 优化。实验在 FLUX.1-dev 与 SD3.5 上显示结构保真度提升,FID 与 CLIP 分数保持不变。

Yifan Li, Lishuai Gao, Tong Zhang 等

arXiv cs.CL · cs.AI

Cross-Lingual Transfer of Evil Vectors Is Directionally Asymmetric

说明“恶意”向量的跨语言迁移具有方向不对称性

简介该论文研究大语言模型中与“恶意”人格相关的表征方向能否跨语言使用。作者在英语、西班牙语(高资源)及斯瓦希里语、泰卢固语(低资源)上,对四个开源指令微调模型进行了系统实验。结果显示,从低资源语言中较难可靠提取该向量,且其引导效果较弱;而从高资源语言提取的向量能有效迁移到低资源输入,并基本保持MMLU衡量的通用知识能力。

Juann Kim, Minku Kang

arXiv cs.CV

LoopREG: Representation Supervision Enables Test-Time Recurrent Depth in Diffusion Transformers

说明LoopREG:表示监督使扩散Transformer在测试时获得可循环的深度

简介该论文提出LoopREG,一种表示监督的循环扩散Transformer,在训练时反复使用共享模块,并以预训练视觉编码器监督中间状态。在ImageNet 256×256上,SiT-B/2在400K训练步时的FID从本地REG基线的15.08降至4.91。推理时增加一次循环还能在权重不变的情况下进一步改善生成质量。

Zipeng Wang, Anping Xiong, Jing Zhang 等

★★★★☆ 值得关注
arXiv cs.LG

Searching for What Matters: Open-Ended Discovery of Multiple Hypotheses with Agentic Data Exploration

说明在数据中寻找重要因素:基于智能体数据探索的开放式多假设发现

简介该论文提出“开放式多假设发现”任务:系统只获得大型表格数据和结果变量,需在不预知相关变量、函数形式和机制数量的情况下,找出多个有数据支持的假设。作者构建了包含351个已植入假设、15个任务、五个领域的基准,并提出HypAgent方法,通过迭代探索和移除已解释信号来搜索,其F1为0.49,高于最强基线的0.35。

看点提出开放式多假设发现新设定与基于结构因果模型的351假设基准,并用干预验证,HypAgent相对最强基线F1从0.35提升至0.49,证据较充分。

Sanchit Kabra, Nurendra Choudhary, Jiangshu Du 等

arXiv cs.AI · cs.MA

ECMR: Evidence-Aware Deliberation Control for Multi-Agent LLM Reasoning

说明ECMR:面向多智能体大模型推理的证据感知审议控制

简介多个大语言模型协作作答时,通常预先固定讨论流程,容易把重复的支持误认为独立印证,形成“虚假共识”。本文提出ECMR控制器,根据答案集中度、支持理由的多样性与独立性、矛盾情况等状态,动态决定提出、质疑、核验、仲裁或停止。在MedQA、CaseHOLD和FinQA的9000条留出评测中,ECMR-Full将准确率由62.1%提升至84.9%,虚假共识率由40.7%降至17.0%,但其消耗的token也最多。

Yuan Liu, Haoyue Peng, Fanliang Hu 等

arXiv cs.LG · cs.AI · cs.DB

RT-J: Large-Scale Pretraining of Relational Transformers for Context-Efficient Predictions

说明RT-J:用于上下文高效预测的关系型 Transformer 大规模预训练

简介本文提出 RT-J,一个 8,600 万参数的关系型基础模型,面向表格与关系数据库的预测任务。作者汇集了 639 个网络爬取的数据库及 6,023 个由 LLM 生成的预测任务进行预训练,并结合轻量级随机游走检索器与上下文调优、集成方法。在 RelBench 的上下文回归任务上,RT-J 平均少用约 10 倍的示例即可达到强特征工程流程的效果。

Rishabh Ranjan, Vignesh Kothapalli, Harshvardhan Agarwal 等

arXiv cs.CV

MicroCLIP: Connecting Text and Microscopy Images via Contrastive Language--Image Pretraining

说明MicroCLIP:通过对比式语言-图像预训练连接文本与显微图像

简介该论文提出MicroCLIP视觉-语言模型,利用自然语言监督学习细胞与亚细胞结构的通用表征,用于开放集图像分类与检索。作者构建了约250万组荧光显微图像-文本配对的数据集MicroPool-2M,并通过类别、知识和细节三个层级逐步建立图像与文本的关联。实验显示,该模型在显微图像的零样本分类和文本-图像检索上表现领先,可在数千候选中检索具特定细胞特征的图像。

Yanran Ruan, Zhixiang Wei, Shiyao Hong 等

arXiv cs.LG · cs.AI

TStruct: Learning Shared Temporal Structures for Long-Term Time-Series Forecasting

说明TStruct:学习长期时间序列预测中共享的时间结构

简介该论文针对长期时间序列预测,指出不同时间位置和变量的样本常共享稳定的时间依赖结构。作者提出 TStruct 网络,直接参数化一组共享的时间依赖矩阵,并结合样本动态信息与变量静态先验生成组合权重,以约束模型不去拟合偶然的时间交互。论文称该方法在所有数据集上优于多个强基线,同时保持较高计算效率。

Yangze Li, Zhengyang Zhou, Qihe Huang 等

arXiv cs.AI

Socratic Skill Learning: Interleaving Teaching and Practice for Transferable Agent Skills

说明苏格拉底式技能学习:交替教学与练习以获得可迁移的智能体技能

简介该论文提出苏格拉底式技能学习(SSL),让专家“教师”与学生智能体交替进行指导和练习,由学生自行测试并修订技能文件。作者构建了 SkillTransferBench 基准以检验技能在新会话中的复用效果。文中报告在主要测试集上 SSL 的效用为 0.801,高于无技能时的 0.723,并进一步提出了以未解决问题追踪来减少教师令牌消耗的变体。

Letian Zhu, Han Li, Yifan Yao 等

arXiv cs.CV

Frequency Routing and Identity Conditioning for Thermal-to-Visible Face Translation

说明面向热成像到可见光人脸转换的频率路由与身份条件化方法

简介该论文研究从热红外图像生成可见光人脸图像的任务,可用于夜间生物识别和低光监控。作者提出FreqID-Control框架,按频率将低频结构与高频细节分配到不同的低秩适配子空间,并用独立的全局身份令牌提供跨光谱身份条件。在MCXFace和SpeakingFaces数据集上的实验显示图像保真度与身份保持均较强,消融实验验证了两种设计各自的贡献。

Haojie Li, Xinlong Sun, Xiaohaoyang Lei 等

arXiv cs.LG · cs.AI

MMTA: Benchmarking Multimodal Temporal Analysis with Time Series, Text, and Vision

说明MMTA:面向时间序列、文本与视觉的多模态时序分析基准

简介该论文提出MMTA基准,用于评估多模态大语言模型能否将时间序列与真实视觉证据结合起来,涵盖九个领域、视频加时序与图像加时序两种形式,测试集含3524个样本,任务包括分类与预测。评测发现,把时间序列转为文本会产生很长的token序列,并削弱与视觉证据的细粒度对齐,长视频场景尤为明显。作者随后提出TimeOmni-v,通过专用时间序列编码器、时间位置对齐等设计改进了长视频分类与推理效率。

Ziyang Zhang, Shenyi Li, Yilin Wang 等

arXiv cs.AI

Navalia: Advancing Cowork Agents through Verifiable Task Synthesis and Long-Horizon Post-Training

说明Navalia:通过可验证任务合成与长程后训练提升协作型智能体

简介该论文提出 Navalia 框架,用于提升能自主规划、调用工具并完成复杂任务的协作型大语言模型智能体。框架以企业财报为数据源,自动合成可追溯证据、步骤间有真实数据依赖的金融分析任务,并通过独立模型审查与程序检查验证答案。验证后的任务用于轨迹收集、监督微调和强化学习训练。基于 Qwen3.6-35B-A3B 的实验显示,在五个基准测试上均优于基础模型。

Hengqi Liu, Ziyuan Liu, Yang Qin 等

arXiv cs.CV

DVTR-KD: Distilling Vision-Language Models via Intermediate Visual Token Reconstruction

说明DVTR-KD:基于中间层视觉令牌重建的视觉语言模型蒸馏方法

简介多模态大模型计算开销大,难以在边缘设备部署。本文提出 DVTR-KD 知识蒸馏框架,通过从学生模型压缩后的视觉令牌中重建教师模型的稠密视觉令牌,来解决令牌数量不匹配的问题。中间层通过教师的响应预测进行监督,并辅以注意力读出损失对齐信息整合方式。在多个基准上的评测显示,该方法提升了令牌压缩学生模型的性能,同时保留了推理效率。

Haolan Wei, Jiahui Wang, Junli Zha 等

arXiv cs.LG

Persistence Positional Encoding: A Minimal Transformer Recipe for Persistence Diagrams

说明持久性位置编码:面向持久性图的极简Transformer方案

简介持久性图以出生-死亡对的多重集合表示多尺度拓扑信息,本文研究如何将其与Transformer结合。作者仅改动点表示方式,用固定随机傅里叶特征编码每个出生-死亡对,保持Transformer主干不变,称为持久性位置编码(PPE)。在八个TU图数据集上,仅改变点表示即带来5.49至6.47个百分点的宏平均准确率变化,明显超过改变下游模块的影响。在统一协议下,PPE在多数基准上取得最高平均分。

Eunwoo Heo, Ganghyun Kim, Jaejun Yoo

★★★★☆ 值得关注
arXiv cs.LG

GeoNIRS: Geometry-Aware Pretraining for Heterogeneous fNIRS Representation Learning

说明GeoNIRS:面向异构 fNIRS 表征学习的几何感知预训练方法

看点将源-探测器几何显式纳入异构fNIRS联合预训练并做严格跨任务评估,有实质新意;8个留出任务与消融实验较充分,对子领域有用。

Zongsheng Li, Shengyuan Zhu, Zimo Zhang 等

arXiv cs.CV

What Makes a Good Visual Representation for Spatial Understanding in MLLMs?

说明什么样的视觉表征更有利于多模态大模型的空间理解?

简介多模态大语言模型的视觉预训练数据几乎都是二维的,因此其视觉输入往往缺少三维结构信息。本文研究哪些视觉表征有助于空间理解,比较了来自三维几何、自监督、视觉语言和生成模型的隐特征与显式深度、点图等表征,并考察了蒸馏与融合两种迁移方式。研究发现,表征的三维结构与其帮助程度强相关,而表征形式决定了其适用的迁移机制;据此,作者将两类表征蒸馏进单一模型,仅以RGB视频为输入,在静态三维与动态四维空间推理基准上均优于基础模型。

Xiaohu Huang, Yumin Guo, Kai Han

arXiv cs.AI

Why Static Skill Inconsistencies Do Not Equate to Runtime Risks: A Behavioral Analysis of LLM Agent Execution

说明静态技能不一致并不等同于运行时风险:LLM智能体执行的行为分析

简介本文研究了LLM智能体所用外部技能包中文档、脚本与配置文件之间的不一致问题。作者审计了575个社区与基准技能,人工验证出1,182处契约不一致。通过49个可执行任务、三种LLM及三种实验设置的对照实验,作者分析441组配对执行轨迹,以量化已修复缺陷对智能体实际表现的影响。

Fengrui Fan, Huahao Wang, Jingyi Fang 等

arXiv cs.IR · cs.AI · cs.CV

FASHION-RQ: Mining Hierarchical Semantic Structure for Automated Evaluation of Fashion Retrieval

说明FASHION-RQ:利用层级语义结构自动评估时尚检索的方法

简介本文提出FASHION-RQ框架,利用RQ-VAE(残差量化变分自编码器)学到的层级离散表示,将商品组织为从粗到细的语义聚类,从而直接从商品目录结构自动生成用户式查询和相关性集合,无需人工标注或预定义分类体系。作者据此构建了可扩展的基准FASHION-RQBENCH,并设计了排序、相关性分类、细粒度同类区分和改写稳健性四项任务。实验显示该基准能区分不同检索模型在各类查询和属性上的能力,人工研究也表明其查询的自然度相当、意图清晰度更高。

Tripti Shukla, Shwetha Somasundaram, Akshat Gupta 等

arXiv cs.AI

Learning Adaptive Deliberation Control for Reliable Recognition with Multi-Agent Language Models

说明用于可靠识别的多智能体语言模型自适应讨论控制学习

简介该论文提出自适应多智能体控制器ADMA,通过学习提议、质疑、仲裁和协调的连续策略来改进识别,同时保持任务模型冻结。在法律与金融推理上训练的控制器无需更新策略即可迁移到四个文本与多模态基准及两个后续模型版本,相比直接推理提升6.2至14.2个百分点。该方法的代价是token和延迟显著增加,且向另一模型版本的迁移效果依任务而异。

Yuan Liu, Haoyue Peng, Fanliang Hu 等

arXiv cs.CV · cs.AI

How Much Can We Prune? Exploring the Performance Limits of Visual Token Pruning

说明视觉令牌剪枝的性能上限有多高:探索在离线搜索成本不受限时,视觉语言模型能保留多少性能

简介该论文研究视觉语言模型中的视觉令牌剪枝,即在固定预算下只保留部分图像令牌以降低计算成本。作者将其表述为为一幅图像选择一个共享的令牌子集,并用前沿视觉语言模型生成的问答集近似效用,提出QA小批量贪心方法(QA-MBG)来构建嵌套子集。在9个基准的900张图像上,Qwen3-VL-4B和Gemma 4 E4B的实验显示,相比所评估的剪枝基线仍有明显提升空间,所搜索的子集也显著缩小了与全令牌推理之间的差距。

Janghoon Cho, Shubhankar Borse, Reza Pourreza 等

arXiv cs.LG · cs.AI

Agentic-MatriBO: Capability-Compiled Agentic Bayesian Optimization for Materials and Chemical Design

说明Agentic-MatriBO:面向材料与化学设计的能力编译式智能体贝叶斯优化

简介该论文提出 Agentic-MatriBO,一种把贝叶斯优化组件表示为可组合能力、由语言模型提出方案并经编译器校验的智能体框架。在四个离线候选库上与八种基线比较,其终点质量均值最优,在 COF 任务中五个随机种子均找到表格中的最优值。消融实验显示去掉能力编译器或证据门控会降低累积质量并减少命中最优值的次数。

Yu Zeng, Yuchuan Chen, Ziyue Zhang 等

arXiv cs.SE · cs.AI · cs.CL

Diff Diffusion: Predicting Edit Paths with Diffusion Models for Efficient Code Editing

说明Diff Diffusion:用扩散模型预测代码编辑路径,实现高效代码修改

简介该论文提出 Diff Diffusion,一种受扩散启发的大语言模型框架,用于代码编辑。它把去噪过程表示为结构化的编辑操作,并结合多阶段训练与并行解码,只对发生变化的区域进行计算。在公开的编辑补全基准上,其推理速度为对比方法的 2.78 倍,并与自回归基线持平或更优。

Xiaolong Xu, Hao Jiang, Bo Jiang 等

arXiv cs.CV · cs.AI

QK-Edit: Revisiting Attention-based Injection in MM-DiT for Image and Video Editing

说明QK-Edit:重新审视 MM-DiT 中基于注意力的图像与视频编辑注入方法

简介本文提出 QK-Edit,一种无需训练的框架,利用多模态扩散 Transformer(MM-DiT)的注意力机制,实现基于文本引导的图像和视频编辑。该方法通过新的查询-键(query-key)操纵策略,调整关键注意力成分,在提示词忠实度与结构一致性之间取得平衡。论文称其可支持物体增删替换、背景、材质、颜色和风格等多种编辑,并在 FLUX 和 HunyuanVideo 等模型上测试。

Tiancheng Shen, Zilong Huang, Xiangtai Li 等

arXiv cs.AI

Benchmarking and Training Reward Models for Cross-Source Evidence Grounding in Search Agents

说明搜索智能体中跨来源证据支撑的奖励模型基准与训练

简介现有搜索智能体的训练与评估主要关注最终答案质量,较少考察答案如何对应到检索到的证据。该论文提出跨来源证据支撑框架CSEG,用六层决策树评估完整的搜索轨迹,并构建了包含1,160条已验证轨迹的基准CSEG-Bench。作者还训练了奖励模型CSEG-RM,在该基准上精确准确率达83.9%,并用其监督答案策略,使独立评判的平均标签分数从2.83提升至4.19。

Haochen Zhao, Minsheng Hao, Zheng Li 等

arXiv cs.LG · cs.AI · cs.CL

Checking the Checkers: A Synthesis of Verifier Noise and Robustness in RLVR

说明检查检查者:RLVR中验证器噪声与鲁棒性的综述

简介本文综述了58项研究,探讨在基于可验证奖励的强化学习(RLVR)中,用于给大模型回答打分的验证器会犯哪些错误、这些错误如何影响训练以及哪些缓解方法有效。研究发现,错误的结构比错误率更重要,例如可被策略学会触发的假阳性可能导致训练停滞甚至崩溃。作者还整理了对比表格,并提出了便于今后结果比较的报告规范。

Savyasachi Gupta, Aniruddha Srinivas Joshi

★★★★☆ 值得关注
arXiv cs.LG · stat.ML

Follow the Perturbed Leader for Linear Bandits: √T Regret over General Action Sets

说明线性赌博机问题中的扰动领导者跟随算法:一般动作集上的 √T 遗憾

简介论文提出首个基于扰动领导者跟随(FTPL)的对抗式线性赌博机算法,在一般动作集上达到 √T 量级的遗憾。仅使用线性优化预言机时遗憾为 Õ(d^{5/4}√T),若另有最优设计探索分布则为近最优的 Õ(d√T)。该方法实现更简单,计算效率通常优于基于连续指数权重的方法。

看点首个基于FTPL的对抗线性赌博机算法,在一般动作集上达到√T遗憾,并通过Fisher信息分析稳定性项,理论改进显著。

Chen-Yu Wei

arXiv cs.AI 有代码

Empowering Edge Agents: A Systematic Analysis of Edge-Cloud Collaboration in LLM Agent Execution

说明边缘智能体:分析大模型智能体执行中的端云协作

简介本文提出 EC2-Bench 基准,用于评估长时程智能体执行中的端云协作,涵盖任务表现、资源占用与隐私暴露。实验发现,协作在三者之间取得较好平衡;边缘模型变强后,协作表现接近纯云端,但隐私暴露仍主要取决于策略;云端调用决策与指令遵循被认为是边缘侧的重要能力。

Pengcheng Huang, Zhenghao Liu, Shixin Ren 等

arXiv cs.CL

Perturbation, Not Provenance: Why Activation Steering Does Not Make a Robust Text Watermark

说明扰动而非来源:为何激活引导不能构成稳健的文本水印

简介该论文检验了利用大语言模型激活空间中的语义方向作为文本水印的设想。作者在两类模型上测试了多种引导方向、强度及两种改写攻击,并与基于logit的KGW水印比较。结果显示,激活引导水印的检测效果明显弱于KGW,且随机方向与有意义方向同样可被检测,作者据此认为该信号并非语义性的可恢复标记。

Sergey Pletenev

arXiv cs.CV · cs.LG

SPARCL: Spatially Adaptive Regional Coverage for Active Learning in Chest X-ray Analysis

说明SPARCL:面向胸部X光分析主动学习的空间自适应区域覆盖方法

简介该论文提出SPARCL方法,用于胸部X光病灶分割的主动学习,在选择待标注样本时同时平衡预测不确定性与累积空间覆盖,使标注资源更多投向标注不足的区域。文中还提出空间不一致性和性能覆盖两项指标,用于衡量各轮主动学习中的解剖结构公平性。在内部钙化数据集和公开胸片基准上的实验显示,SPARCL仅用24%的数据即达到全监督性能的95%,优于表现最好的基线方法(需29%数据)。

Juho Jung, Seongjae Kang, Mijoo Kim 等

arXiv cond-mat.mtrl-sci · cs.AI · cs.LG

Learning from fracture: Teaching language models to design through physical experience

说明从断裂中学习:让语言模型通过物理经验学会设计

简介该论文提出 FracLearn 框架,让语言模型通过模拟断裂实验积累经验,将观察归纳为关于加固、裂纹演化与荷载传递的条件性原则,并在新结构中组合这些原则以超越先前设计记录。实验显示综合得分比经验阶段记录高 11.0%,并通过裂纹偏转和暂时捕获等增韧机制解释性能提升。该方法不更新模型权重,旨在把计算实验转化为可复用的物理知识。

Bo Ni

arXiv cs.RO · cs.CV · cs.LG

Beyond the End-Effector: Learning Whole-Arm Contact Manipulation from Human Demonstrations

说明超越末端执行器:从人类示范中学习全臂接触操作

简介机器人操作通常依赖末端执行器完成抓取。本文提出全臂接触学习框架WACL,用语义关键点、参考接触轨迹和由视觉语言模型生成的安全路径约束描述任务,再交由准静态表面接触优化器,在机器人运动链上求解接触的连杆、位置与关节构型。该方法每个任务仅需10次裸手人类示范。在7自由度机械臂的四项全臂任务实验中,WACL在末端约束下的成功率为78%,强连杆位姿基线为33%,且无需重新训练即可适应新约束。

Bo-Ruei Huang, Daniel Seita, Erdem B{\i}y{\i}k

arXiv cs.CV

Multimodal Fusion of RGB and Complementary Modalities for Semantic Segmentation

说明RGB与其他模态融合的语义分割:一种双向极性感知跨模态融合方法

简介该论文针对RGB图像与热成像、激光雷达、深度、事件相机、偏振、光场等辅助传感模态融合进行语义分割的问题。作者提出双向极性感知跨模态融合(BPCF)模块,用于捕捉互补信息并增强特征对齐。论文在六种模态组合上进行评估,并报告在八个公开数据集上取得了最先进(SOTA)的结果,代码与模型将在论文被接收后发布。

Hu Cao, Yifeng Cheng, Mu He 等

arXiv cs.LG · cs.AI

GIFT-Eval-CTX: A Benchmark For Contextual Forecasting Model Evaluation

说明GIFT-Eval-CTX:面向上下文预测模型评测的基准

简介该论文提出 GIFT-Eval-CTX 基准,用于检验预测方法能否把已核实的未来信息(如计划事件、外部条件)转化为准确的数值轨迹。基准基于 GIFT-Eval 构建,包含 20 个数据集共 10,000 个实例,并用结构化效应(宏观与微观)作为标注。论文称,结构化效应使 GPT-5.6 Sol 的聚合相对 MASE 降低 40.7%,Claude Opus 4.8 降低 29.6%,其中 MoiraiAgent 系统整体表现最好。

Xu Liu, Hanshu Yan, Taha Aksu 等

arXiv cs.CV

MHVF: Training-Free GUI Grounding via Verification-Guided Multi-Hypothesis Search

说明MHVF:基于验证引导多假设搜索的免训练GUI定位方法

简介该论文提出多假设验证框架MHVF,用于免训练的GUI定位,即把自然语言指令映射到界面中的可操作位置。方法利用单一预训练视觉语言模型,先从多次全屏预测构建空间假设并通过放大重定位探索候选区域,再在标注的局部视图中验证候选与指令的一致性,最后排序选出结果。实验覆盖五个模型和八组基准设置,多数设置下定位准确率有所提升,例如Qwen2.5-VL-7B在ScreenSpot-Pro上从23.6%提升至53.6%。

Minghua Chen, Xingming Liao, Weiqiang Zhong 等

arXiv cs.CV

When, Where, and Why: Hierarchical Causal Explainability for Video Face Understanding with MLLMs

说明何时、何处、为何:面向视频人脸理解的多模态大模型分层因果可解释性

简介该论文提出 VideoFace-X-LLM 框架,用于可解释的人脸视频理解,包含弱监督视频-文本数据集 ExplainFace 和分层因果方法 H-TCC。H-TCC 通过定向遮挡找出关键时刻(何时)、面部区域(何处)并验证其因果必要性(为何)。微调后,外观 Macro F1 从 19.48% 提升至 32.87%。

Anubhav Kataria, Shreya Ghosh, Jingwen Ye 等

arXiv cs.RO · cs.CV

DexStitch: Learning and Composing Dexterous Skills from Human Videos via Contact-Aware Robotic Inpainting

说明DexStitch:通过接触感知的机器人修复,从人类视频中学习并组合灵巧技能

简介该论文提出DexStitch框架,把长时程人类视频切分为技能与过渡片段,并转换为与机器人对齐的观测-动作-技能数据,再将学到的技能拼接成指定序列。方法利用每根手指与物体的接触信息指导灵巧手重定向和机器人修复。在四项家务技能上,单技能成功率为80.0%,序列成功率为77.5%。

Byeonggyeol Choi, Seongmin Jung, Unghui Nam 等

arXiv cs.LG · cs.AI

Posterior-Averaged Bellman Flow Matching for Distributional Critics

说明后验平均贝尔曼流匹配:面向分布式评论者的改进方法

简介该论文提出后验平均贝尔曼流匹配(PA-BFM),用于训练分布式价值评论者(critic)以建模完整回报分布。方法从一组候选终点中采样,计算潜在锚点上的闭式后验,并回归到后验均值速度,从而降低目标方差。论文报告在受控实验中目标均方误差下降79.7%,并在50个OGBench任务的离线到在线场景中整体表现优于Value Flows。

Zeqiao Li, Yijing Wang, Haoyu Wang 等

arXiv cs.AI · cs.LG

Agentic4PDM: Host-Governed Evidence Admissibility for Industrial Fault Diagnosis

说明Agentic4PDM:面向工业故障诊断、由主机治理证据可采纳性的框架

简介该论文把工业故障诊断视为对传感器时间序列窗口进行分类的任务,在标签稀缺、工况变化的情况下,利用周期性、趋势和瞬态等结构,借助LLM智能体调用可复用的分析工具。框架由LLM智能体负责自适应调查,由确定性的主机控制器(CCGA机制)检查请求并依据标注参考对证据分配角色。论文报告在轴承、电机诊断挑战及客户提供的未过滤工业测试集上,宏观F1较所评估的基线有所提升。

Nam V. Nguyen, Hoang Van Truong, Hieu D. D. 等

★★★★☆ 值得关注
arXiv cs.CL 有代码

Where Words Begin and End

说明词语边界在哪里开始与结束:用于强制对齐的语音词边界定位研究

简介该论文研究强制对齐器(为已知文本在音频中定位每个词的工具)。作者在英语朗读、对话和电话语音上比较了九种配置,发现蒙特利尔强制对齐器(MFA)最精确,而CTC类对齐器普遍把词的起点定得偏晚。作者随后用LoRA微调Whisper,仅用人工标注的词边界数据(87种语言共47小时)训练,使其预测词的起止时间戳,结果在各英语测试条件下均优于MFA。

看点将Whisper以LoRA微调为时间戳预测的强制对齐器,并在多基准与电话语音上系统对比,证据充分,对语音对齐子领域有实用价值。

Husein Zolkepli

arXiv cs.CL

Full-duplex Spoken Language Modeling with Discrete Diffusion

说明基于离散扩散的全双工语音语言模型 Diffuplex:边听边说,兼顾智能与响应速度

简介论文提出 Diffuplex,一种基于离散扩散的全双工语音语言模型。它把“何时说”和“说什么”在训练时分开处理,推理时用自回归策略持续跟踪用户语音,同时并行扩散生成和修正回复内容。论文报告开启思考模式时每次前向传播生成 13.0 个 token,平均每秒 1872 个 token;不开启思考时,首段语音延迟与现有全双工模型相当,语言能力更强。

Chen Chen, Pin-Jui Ku, Ankita Pasad 等

arXiv cs.LG

Hybrid Parallel Bessel KAN Model: a Kolmogorov Arnold Network: integrated framework for developing a novel architecture to reconstruct the fused-basis approach via a parameter free quadratic interaction

说明并行贝塞尔KAN模型:一种通过无参数二次交互融合基函数的新型网络架构

简介本文针对Kolmogorov-Arnold网络(KAN)在空间数据上受限于B样条基函数、且混合基函数会导致数值病态的问题,提出Parallel BesselKAN。该方法将B样条分支与低阶贝塞尔分支分为并行处理管线,再通过无参数的二次交互整合。论文报告其参数量减少35%,在MNIST上达到97.99%的准确率;但纯视觉任务中标准MLP仍有硬件速度优势。

Mintu Pathak, Meshv Patel, Mohendra Roy 等

arXiv cs.CL

GENDIS: Gender-Related Discourse and Stance in Multilingual YouTube Comments from India, Kenya, and Nigeria

说明GENDIS:印度、肯尼亚和尼日利亚多语言YouTube评论中的性别相关话语与立场

简介该论文发布了GENDIS数据集,包含来自印度、肯尼亚和尼日利亚的9600条人工标注多语言YouTube评论,每国3200条。标注分两层:先判断是否提及性别,再将性别相关内容分为负面、正面或中性。研究显示,在均匀随机样本中,23.8%至35.0%的评论与性别相关,其中有明确立场者约82%为中性或正面。

Luise Koch, Manuel Tonneau, Niyati Malhotra 等

★★★★☆ 值得关注
arXiv cs.CL

Beyond Belief Nesting: Rethinking Higher-Order Theory of Mind in Large Language Models

说明超越信念嵌套:重新思考大语言模型中的高阶心理理论

简介该论文指出现有评测常把信念嵌套深度等同于推理阶数,使部分高阶题可用低阶捷径作答。作者提出HopToM基准,配有经认证的全阶题目和低阶对照,发现四个前沿模型在直接提问下准确率从一阶73.5%降至四阶20.0%。作者还提出即插即用的推理时方法HopTrace,在经认证的叙事题上提升四阶、五阶准确率。

看点形式化有效推理阶数并揭示基准中的阶数膨胀,提出可认证的HopToM基准与确定性推理方法HopTrace,证据充分,对子领域影响明显。

Shanshan You, Zhengqi Wang, Hao Liu 等

arXiv eess.IV · cs.AI

Personalising Deformable Image Registration with Clinical Context and Deformation History for Adaptive Radiotherapy

说明结合临床背景与形变历史的个体化可变形图像配准,用于自适应放疗

简介该论文提出CAP-DIR方法,在图像配准中融合靶区与危及器官轮廓、剂量、临床文本及既往配准信息,以适应放疗中解剖结构的变化。研究使用来自四个机构队列及五个公开基准的16,361次CT检查数据进行评估。报告显示,该方法在器官区域归一化互相关指标上优于最强的学习类对比方法,并在纵向病例盲评和剂量映射基准中改善了轮廓可用性与剂量映射误差。

Caiwen Jiang, Songlin Zhao, Yuzhen Ding 等

arXiv cs.CL

Many Right Answers, One Training Example: Removing Responder Noise from GRPO for LLM Recommenders

说明多个正确答案、一个训练样本:去除 LLM 推荐器 GRPO 训练中的回复者噪声

简介论文指出,用 Reddit 推荐帖训练 LLM 推荐器时,现有方法 Rank-GRPO 每个样本只选一条回复作为奖励依据,导致优势值主要反映选中的是哪条回复(占方差的 85%),而非推荐列表的好坏。作者提出 ReMaRk,对每个请求用所有回复标题的并集统一打分,并对各请求等量采样。在七个骨干模型和三个数据集上,ReMaRk 达到 2000 步按回复训练所得验证召回率所需步数的 25% 至 53%,在相同预算下表现领先。

Xin Li, Hao Jiang, Jinghao Guo 等

arXiv cs.IR · cs.CL

More Reader Data or a Better Teacher? Updating a Model of Crowd Highlights in Late 2026

说明更多读者数据还是更好的教师?2026年末群体高亮模型的更新研究

简介该论文比较了三种改进社交高亮平台上群体高亮预测模型的方式:直接使用较新的大语言模型、将其作为教师模型,或增加读者数据。结果显示,增加训练页面的读者数据带来的提升明显,而更强的教师模型在此方案中没有带来实质性收益;直接用作排序器的前沿模型,仍落后于仅用读者数据训练的小模型。

Kazuki Nakayashiki, Keisuke Watanabe

arXiv cs.CL · cs.AI

Efficiently Learning To Reason or Not to Reason: Root-token Policy Optimization for Adaptive Thinking

说明高效学习何时推理:面向自适应思考的根令牌策略优化

简介论文指出大型推理模型对不同难度的问题都进行同样繁重的推理,造成过度思考。作者提出 RPO(根令牌策略优化),只训练开头的根令牌(如是否调用 <think> 标签),借助组相对奖励和组内优势函数,让模型自行决定何时进行推理。据称该方法训练开销和显存占用大幅降低,训练计算量约为既有自适应推理方法的 2%。

Taehyeon Kim, Hyunsoo Lee, Youngsoo Jang 等

arXiv cs.AI 有代码

Memory Echo in Single-Agent Long-Term Memory: Lifecycle Evaluation and Provenance-Guided Mitigation

说明单智能体长期记忆中的“记忆回声”:生命周期评估与溯源引导的缓解方法

简介本文针对智能体长期记忆中同一来源历史信息被反复检索和写回的问题,提出“记忆回声”概念,指没有额外独立证据时,同源历史信息获得的超额检索曝光。作者构建了MEchoBench评估基准,并提出家族—溯源—权威(FPA)框架,在190个固定问题上,FPA将两个模型的准确率分别从0.825、0.782提升至0.920、0.916,决策污染效应也明显下降。

Yufeng Li, Sheng Yao, Peng Zeng 等

arXiv cs.AI · cs.CV · cs.RO

Autonomous 3D Visual-Thermal Inspection for Utility-Scale Solar Farms

说明面向大型光伏电站的自主三维视觉-热成像巡检

简介本文提出一种名为Tricorder的自动化三维视觉-热成像巡检系统,用于检查光伏组件下方的设备,如连接器、线缆、螺栓和结构件,这些部位难以通过航拍发现。系统结合激光雷达-惯性同步定位与建图(SLAM)、经几何标定的可见光与热成像图像,以及基于机器学习的目标检测与分割。作者在大型光伏电站数据上验证了MC4连接器检测与连接状态识别、热异常识别以及螺栓、螺母和扭矩管等结构件检测。

Lachlan Tychsen-Smith, Mark Cox, Brett Wood 等

arXiv cs.CL

Connecting the Dots: Enduring Performance Gaps in ASR Systems Between Standard and Minority English Varieties

说明《连接各点:标准英语与少数族裔英语变体间 ASR 系统的持续性能差距》:语音识别在不同英语口音上的表现差异长期存在

简介该论文对2021至2025年间发布的16个主流语音识别(ASR)系统,在代表多种英语口音的8个数据集上进行纵向评估。结果显示,主流美式英语与少数口音之间的性能差距并未随时间可靠缩小,部分少数口音的词错误率在系统代际更替中绝对值最多恶化65%。作者认为,标准基准测试实际上偏向主流美式英语,这些差距反映了语言技术开发基础设施中的系统性问题。

Alexander Metzger, Aruna Srivastava, Ruslan Mukhamedvaleev 等

arXiv cs.LG · cs.AI · stat.ML

Gaussian Process Bandits for AI System Optimization with Selectively Verified Feedback

说明用于AI系统优化、基于选择性验证反馈的高斯过程赌博机

简介本文研究在提示词、检索系统和智能体工作流等AI系统优化中,如何在廉价的模型评估与可信任务结果不一致时进行选择性验证。作者构建了一个固定的审计设计,并给出考虑审计预算的有限时间遗憾界;同时提出安全的自适应扩展方法。合成实验显示,自适应分配在精确字典下可降低总体遗憾,但其有限预算误差证书在数值上较松散。

Shuang Wu

arXiv cs.AI · cs.SE

Instructions Are Evidence, Not Objectives: Measuring Outcome Alignment of Agents

说明指令是证据,而非目标:衡量智能体的结果对齐能力

简介论文指出,用户给出的指令常常不完整,智能体应把指令视为证据,推断真正需求并满足它们,称为结果对齐。作者构建了 TiGanEval 基准,评估八个前沿模型后发现,从完整规范转为部分指令时,成功率下降幅度很大,且多次反馈未能弥补差距。

Kaiming Liu, Yuxuan Liu, Jinrui Ju 等

arXiv cs.MA · cs.AI · cs.LG

Degrees of Freedom in Multi-Agent Coordination: Between Centralized and Decentralized Regimes

说明多智能体协作的自由度:介于集中式与去中心化之间

简介本文针对基于大语言模型的多智能体系统,提出“自由度”(DoF)连续配置框架,用以衡量授权给下游智能体的决策空间大小。实验在多个任务领域中进行,结果显示中间配置在五个评估状态中的平均准确率高于两个端点,且最优配置随任务领域而异。

Yiqing Peng, Hehai Lin, Zixuan Wang 等

arXiv cs.RO · cs.AI

I3L: Iterative Interactive Imitation Learning for Whole-Body Mobile Manipulation

说明I3L:面向全身移动操作的迭代交互式模仿学习

简介该论文提出 I3L 系统,结合全身修正的硬件接口(低成本开源的 JoyLo+)与迭代式策略改进,用于缩小离线训练与可靠部署之间的差距。在三种机器人平台、八项仿真与真实任务(含四项长时程全身移动操作任务)上评估,结果显示相比仅用示范训练,平均高出 35.6 个百分点,自主成功率较基础策略平均提升 68.3 个百分点,每回合接管时长经四轮迭代下降 72%。

Wensi Ai, Christopher Luey, Karthik Dharmarajan 等

arXiv cs.CL · cs.AI · cs.LG

Auditing Failure Attribution: Label Predictability and Judge Behavior

说明审计故障归因:标签可预测性与评判者行为

简介故障归因基准要求LLM评判者指出是哪一步或哪个智能体导致了失败。本文指出,表面线索可能让评判者在未真正核对的情况下得高分,并提出四项测试来区分真正的核查与线索依赖。在三个基准上,简单预测器与GPT-4.1持平或更优,作者据此提出这些测试并建议在开发此类基准时报告其结果。

Tianyang Xu, Jing Gao

arXiv cs.CV

AttenIR: Aligning Dense Visual Attention with Mesh Warping for Unsupervised Image Retargeting

说明AttenIR:用于无监督图像重定向的稠密视觉注意力与网格形变对齐方法

简介本文提出AttenIR,一种无需人工标注的无监督图像重定向框架,通过内容感知的网格形变实现图像缩放,并将稠密视觉注意力与稀疏网格约束结合。方法以显著性先验为引导,联合优化尺度、结构和几何保持损失,并采用由粗到细的投影策略,实现像素级的内容感知形变。作者称其性能与传统方法及最新的学习型方法相比具有竞争力或更优。

Yun Zhang, Zhiruo Zhang, Lifei Zhu 等

arXiv cs.CL · cs.LG

Geometric Structure Predicts Per-Example Neighborhood Loss Under PCA Truncation

说明几何结构可预测PCA截断下逐样本邻域损失

简介本文研究对文本嵌入做PCA降维时,每个样本的邻域保持情况并不均匀。作者在静态词向量和现代句向量编码器上发现,逐样本的邻域保留程度可由表示的几何性质及其与保留子空间的对齐程度预测。论文指出,仅看平均指标会掩盖这种逐样本差异。

Sriram Loganathan, Gokul Anand, Ragavan Arivazhagan

★★★★☆ 值得关注
arXiv cs.AI

Coupled Harness--Model Evolution for Scientific Equation Discovery

说明面向科学方程发现的工具与模型协同进化方法

简介该论文提出一种联合改进框架,让大语言模型在从实验数据中发现科学方程时,同时改进可执行工具库和模型的工具使用策略。工具库由智能体根据自身失败诊断逐步扩展,策略模型则基于冻结工具库收集的成功轨迹进行微调。消融实验显示两部分互补,完整系统在多个基准上取得了报告的拟合准确率。

看点提出工具库与策略模型共同进化的框架,用可验证拟合误差信号联合改进二者;消融显示两阶段互补,在多个基准上有明显提升。

Pengze Li, Jiaquan Zhang, Encheng Su 等

arXiv cs.LG · cs.AI

HiSTOR: Structured Treatment-outcome Representation Learning for High-Dimensional Longitudinal Data

说明HiSTOR:面向高维纵向数据的结构化治疗-结局表示学习

简介本文提出HiSTOR框架,用于在高维协变量和随时间变化的混杂因素下,预测不同治疗序列下的潜在结局。它将非线性降维与纵向反事实预测结合,分别学习当前患者状态和历史演变的结构化低维表示。在CVSim和CancerSim数据集上的实验显示,该方法在不同协变量维度、混杂强度和预测时长下均优于现有方法。

Chuanqi Lao, Junzhou Huang, Qiao Liu

arXiv cs.AI

DuplexAct: How Interactive Are Frontier Full-Duplex Spoken Language Models?

说明DuplexAct:前沿全双工语音语言模型的交互能力有多强?

简介该论文提出 DuplexAct 基准,用于评估端到端全双工语音语言模型在对话中做出交互动作的能力。基准定义了包含八类交互动作和 24 种交互条件的三级分类,并从即时执行与后续跟进两方面衡量动作是否成功。测试集共 4,691 条实例,涵盖闲聊、会议、客服和面试等场景,其中 2,531 条来自真实对话录音。

Jiaheng Dong, Shihong Tan, Gongping Huang 等

arXiv cs.LG · cs.AI

Train for Many, Update with One: Improving Multi-Sample Reasoning via Fenchel-Bregman Posterior Learning

说明多次采样训练、单次采样更新:基于Fenchel-Bregman后验学习提升多样本推理

简介本文针对多样本推理中的候选覆盖率(K个候选中至少一个正确的概率)问题,指出仅最小化单次尝试的平均损失并不能直接优化该指标。作者提出有限K后验学习,并设计Fenchel-Bregman方法,每次更新只需一次后验采样;将其与高斯后验变分优化器IVON结合,得到FBI方法。在多种递归与自回归推理任务中,FBI提升了候选覆盖率,并在匹配比较中以直接蒙特卡洛基线约12.3%的单次更新训练时间达到相近的Pass@10。

Sungjun Lim, Adrian Robert Minut, Nico Carlsen Daheim 等

arXiv cs.LG · cs.AI 有代码

Explore with Memory, Learn without It: In-Context Exploration and Self-Distillation for LLM Reasoning

说明带记忆探索、无需记忆学习:面向大模型推理的上下文内探索与自蒸馏(LEAF)

简介论文提出 LEAF 方法,用于提升可验证奖励强化学习(RLVR)中的探索效率。它在每次采样前把与具体题目相关、会动态更新的记忆(包括最近一次回答、其奖励及环境反馈)放入上下文,并通过自蒸馏更新策略。在四个基准和两个开源模型上,相比随机采样基线探索速度约快 4 倍;在未见测试集上,准确率比最强基线分别高 1.59 和 1.83 个百分点,且计算开销低于所有 RL 基线。

Yutong Chen, Zhichao Xu, Rui Liu 等

arXiv cs.LG · cs.AI

CoCA: Criterion-Aware Credit Assignment for Rubric-Based Reinforcement Learning

说明CoCA:面向基于评分标准的强化学习的准则感知信用分配

简介该论文针对基于评分标准(rubric)的强化学习提出CoCA方法。标准做法把准则级反馈压缩为单一标量奖励并对所有token均匀分配优势,未能充分利用结构化的评分标准信息。CoCA依据组内相对结果推导准则级信用,并按准则引起的分布变化将其分配到各个token。论文报告在医学和科学基准上相比标准方法平均提升4.2%。

Guangcheng Zhu, Yingfan Ma, Xing Zheng 等

arXiv cs.CL

Understanding Machine Taste: Aesthetic Agreement Across Foundation Models in K-pop

说明理解机器品味:K-pop 中基础模型之间的审美一致性

简介本文研究大型基础模型如何评价创意内容,即其“机器品味”。作者以 K-pop 歌曲与音乐视频为测试对象,把审美评价设为成对排序问题,比较模型之间的两两一致性与群体共识。结果显示,模型在视觉评价上的一致性高于音频评价,而两种模态的偏好之间关联较弱。研究还发现,视觉共识排名与历史 YouTube 观看量呈正相关,但在不同艺人群体间相关程度有所不同。

Kaishen Wang, Yucheng Pan, Xuehao Cui 等

★★★★☆ 值得关注
arXiv cs.CV · cs.LG 有代码

DT-LoRA: Reaching Beyond the Tangent Space of Low-Rank Adaptation

说明DT-LoRA:突破低秩适配的切空间限制

简介低秩适配(LoRA)的效果常不及全量微调。本文从切空间角度分析:因式化更新只限于当前低秩因子的切空间,切空间之外的梯度分量未被利用。作者在十种代表性LoRA变体上发现,这些残余分量占据了大部分梯度能量且谱集中明显。据此提出动态切空间LoRA(DT-LoRA),将固定秩预算分为稳定分支与动态分支,以捕获主要残余梯度方向;该方法不增加可训练参数或推理开销,并在视觉与语言任务上优于LoRA及其变体。

看点从切空间视角分析LoRA残差梯度并提出双分支动态低秩更新,在多任务上系统对比LoRA及变体,有实质改进。

Yangming Zhang, Ling Yi, Datong Li 等

arXiv cs.AI · cs.HC

Safety for Whom? Benchmarking Understanding Beyond Refusal in Egocentric Multimodal Assistants

说明安全是为谁而言?超越拒答的第一人称多模态助手理解力评测

简介本文针对第一人称视角的多模态助手,指出现有安全评测只看模型是否拒答,无法区分危害对象。作者提出STOU基准,包含2,902条第一人称视频音频及视频文本查询,依潜在受害者分为用户本人、在场他人与社会整体三类。评测还考察模型对用户意图、危害存在与对象及后果的理解,结果显示拒答率随危害对象系统性变化,且模型常识别出危害仍提供协助。

Yewon Han, Jisu Jeon, Suhyun Choi 等

arXiv cs.LG · cs.AI

TSRL: Trigger-based Supervised Reinforcement Learning for Continual Agent Training

说明TSRL:用于智能体持续训练的基于触发机制的监督强化学习

简介大语言模型智能体在持续学习中容易出现灾难性遗忘,即学习新技能会削弱已掌握的能力。本文提出TSRL框架,以强化学习为主干,仅在策略失败的“困难状态”下才启用专家监督训练。作者在ALFWorld、WebShop和Deep Search三个智能体基准上,于7B和32B规模进行了实验,并报告在持续学习场景中相比SFT到RL的基线,对先前任务的能力最多多保留9.6分,同时目标任务性能持平或更优。

Yuqian Fu, Kaiwen Jiang, Zijun Song 等

arXiv cs.AI · cs.LG

Evidence-First Agentic Verification

说明证据优先的智能体验证方法(Sauron)

简介本文针对长时程、半可验证的智能体任务,提出名为Sauron的证据优先验证器,同时检查环境状态与执行轨迹,并在独立核实来源后才采信某项声明。它通过有界查询与相关标准的联合检查降低上下文开销,并为每个判定附上可审计的证据凭证。在2,586条人工标注标准上,Sauron在所测八种骨干模型中的F1均为五种验证器中最高;在故障注入测试中检出97%的注入失败,对干净对照仅误报2%。

Reza Sanayei, Razvan-Gabriel Dumitru, Sunjie Hou 等