AI 算法 · 2026年10月6日(周二)

机器学习、人工智能、自然语言处理、计算机视觉、多智能体。

arXiv cs.CL · cs.AI

Dynamic Positional Attention Modulation for Parameter-Efficient Fine-Tuning of Large Language Models

说明面向大语言模型参数高效微调的动态位置注意力调制(DyPAM)

简介本文提出 DyPAM 方法,用于参数高效微调大语言模型。它直接作用于注意力中的查询和键表示,依据输入、维度、注意力头和层进行调制,以适配旋转位置编码(RoPE)诱导的位置结构,且不修改预训练主干。作者称在数学与常识推理基准及多个基座模型上,该方法优于现有强基线。

Dayan Pan, Jingyuan Wang, Xie Yu

arXiv cs.CL

OMIT the Action: Measuring Framing-Invariant Omission Bias under Philosophical Disagreement

说明OMIT:在哲学分歧下衡量框架不变的不作为偏好

简介论文提出 OMIT 基准,包含 218 组成对框架的情境,涵盖 10 类道德冲突,题材来自功利主义、义务论、德性伦理、关怀伦理和契约主义五种哲学视角的分歧。研究评估了八个大语言模型,发现不作为偏差普遍存在,且在同一系列模型中与模型规模呈负相关。作者还测试了四种推理时干预方法,其中要求模型先考虑道德原则再作答的方法可降低该偏差,但降低也可能伴随转向行动偏好。

Sihyeon Lee, Jihun Song, Chanwoo Kim 等

arXiv cs.MS · cs.LG · cs.SY

Scen-Opt: A Scenario Optimization Toolbox for Data-Driven Convex Programming

说明Scen-Opt:面向数据驱动凸优化的情景优化工具箱

简介本文介绍了 Scen-Opt,一款开源软件工具,将凸规划与数据样本结合,并基于情景理论提供统计保证。它以 Python 实现,支持数据驱动的线性、二次和半定规划,并提供基于网页的图形界面,可在线使用或本地安装,支持多种数据文件上传。文中用一组代表性基准问题展示了其实际效果。

Ben Wooding, Simone Garatti, Marco C. Campi 等

arXiv cs.CV · cs.LG

CHARTER: Auditing Reference Substitution in Hierarchical Compact-Evidence Evaluation for Computational Pathology

说明CHARTER:审计计算病理学分层紧凑证据评估中的参考替换问题

简介该论文针对数字病理全切片图像多示例学习模型的解释与审计,指出分层证据流程中候选过滤会引入候选条件预测,若评估参考悄然改变,既影响证据保真度的测量,也可能改变不同策略间的比较结论。作者提出CHARTER评估规范,要求明确目标与参考、量化候选引起的预测偏移并审计比较结论的稳定性。文中在随机K组实验的15组比较中有4组出现确定性反转,并说明该规范有助于区分真正保持原预测与因改变被解释对象而产生的虚假提升。

Hyun Do Jung, Jungwon Choi, Soojung Choi 等

arXiv cs.LG

Privileged Context as Drift in On-Policy Self-Distillation

说明将特权上下文视为在线策略自蒸馏中的策略漂移因素

简介论文研究在线策略自蒸馏(OPSD)中,模型所依据的特权上下文的内容与来源如何影响策略漂移。作者用 Qwen2.5-7B 在九种组合和三个数据集上训练,比较目标任务准确率、旧任务保留、与基础策略的反向KL以及参数更新方向。结果显示,内容的改变比来源的改变带来更宽的KL变化范围,且共享内容的适配器更新方向更一致,因此特权上下文应被视为稳定性设计的一部分。

Ravenor Davion, Nick Rui

arXiv cs.AI

DHCG: Dynamic Construction of Hierarchical Collaboration Graphs for LLM-Based Multi-Agent Reasoning

说明DHCG:面向大模型多智能体推理的动态分层协作图构建方法

简介该论文提出DHCG框架,由规划器、执行者和生成器三个模块协作,根据问题和执行反馈逐步动态构建分层协作图,决定智能体的组成与规模。论文还引入动作感知偏好优化来训练规划器。在代码生成、数学推理和领域推理基准上,DHCG的平均表现优于对比方法,较单智能体基线提高13.06分,并优于静态和动态多智能体基线2.77至8.02分。

Jie Ren, Jiakang Yuan, Chenyu Huang 等

arXiv cs.LG

FreshCast: Timely and Complementary Retrieval for Frozen Time Series Forecasters

说明FreshCast:面向冻结时间序列预测模型的及时且互补的检索方法

简介本文提出FreshCast,一种为冻结的时间序列预测模型设计的即插即用检索框架。它使用可持续写入新观测的流式记忆库,并以闭式解在验证集上校准检索修正的权重。在七个数据集、十个预测模型和三种输入长度上,该方法使所有设置下的平均MSE均有所降低。消融实验表明,部署后的新观测是增益的主要来源。

Chao He, Jianyu Xu, Xinyi Guo 等

arXiv cs.SE · cs.AI · cs.CL

Harness Engineering for Software Engineering via Modular Executable Dev-Primitives

说明通过模块化可执行开发原语实现软件工程的驾驭工程(Harness Engineering)

简介论文提出 Dev-Primitives(开发原语),把代码仓库中的每个组件与一个常驻的大语言模型配对,使组件能用自然语言推理、相互通信并局部自我修改。在此基础上提出 HERMES 框架,通过依赖感知的动态激活和将执行证据映射回需修改组件的缺陷诊断机制,在仓库规模上运行。论文称其在四个软件工程基准上平均优于匹配的基线框架12.4%。

Haibo Jin, Xinjie Li, Peng Kuang 等

arXiv cs.AI · eess.SP

Agentic Semantic Sensing for Resource-Adaptive AI-RAN

说明面向资源自适应 AI-RAN 的智能体语义感知

简介本文提出 Agentic SemS,一种用于 AI 无线接入网(AI-RAN)的闭环语义感知框架,可在通信可行的感知配置集合内动态控制感知。模型根据流式观测更新语义信念,并估计每个配置下获取下一观测块的任务效益(扣除感知成本)。在 Widar3.0 上的实验显示,与全序列高配置相比,资源高效设置将归一化累计感知成本降低 25.33%,Macro-F1 达到 85.79%。

Zhongqin Wang, Xiaoqi Zhang, Nan Yang 等

arXiv cs.NE · cs.CE · cs.LG

Forecast Accuracy Is Not Trading Profit: Evolving Small Recurrent Networks for Stock Return Prediction

说明预测准确不等于交易利润:进化出的小型循环网络用于股票收益预测

简介该论文比较了线性模型、固定循环网络、Transformer和混合架构,与通过神经进化架构搜索得到的循环网络在股票收益预测上的表现。评估同时看预测准确度和日度多空策略的净收益,所有模型在一个汇总面板上训练。结果显示,进化出的网络在两项指标上都排名第一,而预测次准确的模型在建仓并计入成本后亏损。

Jonathan Chang, Zimeng Lyu

arXiv cs.LG · eess.SP · q-bio.NC

CANDLE: Cortical Null-Space Decomposition for Noninvasive Brain Source Imaging

说明CANDLE:用于无创脑源成像的皮层零空间分解方法

简介该论文提出CANDLE模型,用于从脑电图(EEG)等无创电生理测量中估计皮层源活动。CANDLE在基于T1加权MRI得到的个体皮层几何上学习零空间先验,并仅用模拟数据训练,在模拟源活动估计中优于既有方法,还在颅内刺激定位和癫痫致痫区估计两项实证任务上表现出泛化能力。

Shuntaro Suzuki, Yuiga Wada, Komei Sugiura

arXiv cs.LG

TTNet: Multi-Task Deep Learning for Table Tennis Player Analysis with Smart Racket

说明TTNet:基于智能球拍的乒乓球选手多任务深度学习分析

简介本文基于 2025 年 AI CUP 乒乓球智能球拍数据竞赛的六轴传感器数据,提出一种名为 TTNet 的多任务深度学习模型。该模型结合卷积神经网络、残差网络与自注意力机制,同时预测选手的性别、持拍手、训练年限和技术水平四项属性。作者采用两阶段训练并结合数据增强与针对性损失函数,以提升在不平衡数据上的泛化能力。该方法在官方竞赛排行榜上获得第二名。

Ko-Hsun Chen, Xiang-Wei Ke, Hsien-Cheng Huang 等

★★★★☆ 值得关注
arXiv cs.CL 有代码

Nucleus Speculative Decoding: Plausibility-Aware Verification Beyond Exact Distribution

说明核采样投机解码:超越精确分布的合理性感知验证

简介投机解码用轻量草稿模型提出候选词元,再由目标模型并行验证以加速生成。作者指出,标准接受规则会拒绝目标模型认为合理、却落在其核采样集合内的词元,造成验证开销浪费。本文提出核投机解码(NSD),在草稿词元通过标准检验或位于目标核集合内时予以接受,无需训练,并给出单步总变差误差与序列级保真度的理论界。在六个目标模型与五个数学推理及代码生成基准上,NSD 取得最高吞吐量,最高加速比达 5.16 倍(相对自回归解码)和 3.15 倍(相对标准投机解码)。

看点在标准推测解码的接受规则上加入核采样判定,并精确刻画偏差为目标核内草稿超额概率;在六个模型、五个基准上实验对比,加速明显。

Shuhao Li, Fanghua Ye, Wanyu Lin 等

arXiv cs.LG · cs.CL · cs.CV

αTransfer: Coefficient Transfer for Efficient Model Merging

说明αTransfer:用于高效模型合并的系数迁移方法

简介该论文提出 αTransfer,在小型代理模型上搜索模型合并系数,再把最优系数直接迁移到更大的目标模型上,以降低搜索成本。作者指出同一模型家族在不同规模下,合并系数上的性能分布高度一致,因此迁移可行。论文报告在视觉 Transformer 上实现 6 倍加速、内存减少 70%,在大语言模型上实现 20 倍加速、内存减少 85%,且性能相当。

Shih-Cheng Huang, Zhi Rui Tam, Chieh-Yen Lin 等

arXiv cs.CL · cs.AI

One Step at a Time: Trading LLM Autonomy for Process Predictability

说明逐步交付流程:以 LLM 自主性换取流程可预测性

简介这篇论文提出通过 MCP 协议逐步下发标准操作流程,由服务器一次释放一个步骤,智能体执行后返回结构化结果,从而牺牲一定自主性换取流程的可预测性与可审计性。作者在 13 个 SOP-Bench 领域、四种开源模型上共评估 15,475 次试验,发现逐步交付使各模型的流程遵循率明显提高,未执行流程即给出的正确答案几乎消失;小模型的准确率也有所提升,较强模型则付出少量准确率下降的代价。

Hans Schabert, Christoph Peters

arXiv cs.AI · cs.DC · cs.ET

Do I Need the Cloud? Uncertainty-Aware Step-Level Handoff for Small Language Model Agents

说明我需要云端吗?面向小型语言模型智能体的、基于不确定性的逐步移交方法

简介论文提出STEPGATE框架:小型语言模型作为本地智能体时,会对每一步动作打分,只把困难步骤移交给更强的模型处理。在52项单步测试中,该方法任务成功率为82.7%,云端调用比例为30.8%。在多轮评估中,轨迹成功率为69.0%,云端动作占比30.0%;作者同时指出测试规模较小,且仅涵盖单一模型系列与脚本化任务。

Abolfazl Younesi

arXiv stat.ML · cs.GT · cs.LG

Stochastic Gradient Descent Ascent is Suboptimal for Nonconvex-PL Min-Max Games

说明随机梯度下降上升法在非凸-P{\L}极小极大博弈中并非最优

简介本文研究随机梯度下降上升法(SGDA)在非凸-P{\L}极小极大博弈中的复杂度。作者证明,在固定时间尺度比和非递增步长下,两时间尺度SGDA的复杂度下界为Ω(κ²ℓε⁻²+κ⁴ℓσ²ε⁻⁴),与已有上界一致,并与Smoothed-AGDA形成复杂度上的区分。此外,当时间尺度比为o(κ²)时,SGDA可能无法找到驻点,说明该方法存在根本局限。

Junsoo Ha

★★★★☆ 值得关注
arXiv cs.LG

SIFT: Search Intent-to-Filter Transformer for Multi-Task Personalized Filter Ranking at Airbnb

说明SIFT:Airbnb多任务个性化筛选器排序的搜索意图到筛选器Transformer模型

简介本文提出SIFT,一种基于Transformer的排序模型,用于在Airbnb为房客推荐搜索筛选器。模型直接从原始行为序列中学习房客偏好,取代人工特征工程,并同时服务于预订可能性、筛选器使用和容量阈值等多个预测任务。文中报告离线与在线A/B测试结果,并称该系统已全面部署上线。

看点用Transformer直接从原始行为序列学习统一用户表示,替代手工特征,并支持多任务扩展,有实质改进;线上A/B实验数据充分,已全量部署。

Shashank Dabriwal, Tanya Piplani, Hao Li 等

arXiv cs.AI · cs.LG

An Empirical Study of Agent Skills' Downstream Utility

说明关于智能体技能(Agent Skills)下游效用的实证研究

简介本文对87个SkillsBench任务进行实证研究,以相同模型与执行配置下相对无技能基线的通过率差异衡量技能的下游效用。研究发现,同一技能在36.78%的任务上对不同配置有的有帮助、有的有害;按所需操作的支持程度重排候选技能,可使首选通过率提高4.35至5.80个百分点。作者据此归纳了17条编写实践,并指出阶段计划与依赖有向无环图组织方式的优势。

Yu Cheng, Dehai Zhao, Zhongxin Liu 等

arXiv cs.LG

MASKerade: Token-Routed Mask Experts for Dense-to-MoE Upcycling

说明MASKerade:面向稠密转MoE的令牌路由掩码专家方法

简介该论文提出MASKerade,一种将预训练稠密模型转为混合专家(MoE)模型的方法。它不复制前馈网络,而是在冻结的前馈网络上学习二值掩码,把每个专家定义为稀疏子网络,并由令牌级路由器选择执行与组合。在五个视觉语言基准、Qwen和Gemma骨干网络上,其主要配置(四个2:4专家、top-2路由)取得了所比较基线中的最高性能。

Mingyuan Zhang, Yue Bai, Zhongruo Wang 等

arXiv cs.NE · cs.LG

Common-Mode Errors Limit Low-Timestep Deep Spiking Q-Networks

说明《共模误差限制低时间步深度脉冲Q网络》:研究如何让脉冲神经网络在更少仿真步数下保持强化学习性能

简介该论文研究脉冲神经网络用于强化学习时,减少仿真时间步会导致性能明显下降的原因。作者将Q值估计误差分解为共模与差分模两部分,发现低时间步模型更易受到各动作共有的共模误差影响。据此提出CMC-DSQN,用辅助人工神经网络补偿共模误差,推理时可移除该辅助网络。在Atari和MiniAtar环境的实验中,该方法在T=2时较现有基线约提升20%,T=4时超过人工神经网络基线。

Zijie Xu, Bingrui Guo, Yiding Sun 等

★★★★☆ 值得关注
arXiv cs.LG · stat.ML

Adaptive Mean Estimation by In-Context Learning: A Gradient-Flow Analysis

说明通过上下文学习进行自适应均值估计:梯度流分析

简介该论文研究先验拟合网络(如TabPFN)如何在未知数据分布族的情况下自适应地估计位置参数。高斯数据适合取均值,均匀分布适合利用极值估计,作者证明模型可以学会在两者之间切换。通过分析注意力机制的梯度流动态,论文给出了在高斯、均匀分布及高斯混合等任务上的估计效率结论,并比较了softmax门控与GLU两种架构的差异。

看点证明注意力可学习自适应均值估计,区分高斯与均匀分布并给出近似最优速率,理论推进明确,实验为辅。

Martin Eppert, Krishna Balasubramanian, Subhro Ghosh 等

arXiv cs.AI · cs.CL 有代码

ThinkFuse: Trajectory-Aware Test-Time Fusion for Small Reasoning Models

说明ThinkFuse:面向小型推理模型的轨迹感知测试时融合方法

简介小型推理模型在生成较长思维链后一旦进入错误路径往往难以恢复。ThinkFuse 是一个无需训练的测试时融合框架,通过比较片段级不确定性变化与轨迹级不确定性趋势,找出不稳定的推理节点,并将辅助推理路径融合进主模型的推理轨迹。论文报告其在数学与知识密集型推理基准上优于基线,且需要更少的融合触发和生成更少的 token。

Myunghoon Kang, Jungseob Lee, Jaehyung Seo 等

arXiv cs.CV

Towards benchmarking Western Bluebird detection in the wild

说明面向野外西部蓝鸲检测的基准研究

简介该论文提出一个用于检测和分割西部蓝鸲(Sialia Mexicana)的新基准数据集,包含来自41次录制的6000多张标注图像,为4K高分辨率野外图像,鸟类仅占画面很小部分。作者评估了有监督检测器、开放词汇模型(零样本与微调)及分割方法。结果显示有监督检测器整体最可靠,微调后的YOLO-World可与之竞争,而零样本开放词汇模型表现较差;失败原因不仅来自目标尺寸,还与亮度、对比度、杂乱背景、模糊、拥挤及录制场次差异等有关。

Estela Monserrat Arriaga Santana, Julian Rosas Scull, Ibeth P. Alarc\'on 等

arXiv cs.HC · cs.AI

Novice Reliance Calibration in AI-Assisted Decision Making: The Role of Explanations and Self-Assessment

说明新手在AI辅助决策中的依赖校准:解释与自我评估的作用

简介这篇论文研究在没有即时绩效反馈的情况下,新手用户如何校准对AI的依赖。研究以110名参与者开展组间实验,完成带有AI辅助和有限反馈的临床实体抽取任务。结果显示,有解释时新手会系统性地漂移到过度依赖,而自我报告的任务理解程度较高者依赖行为更具选择性。

Eun Jeong Kang, Peter (Xianpi) Duan, Swati Mishra

arXiv cs.AI

Thin Evidence, Thick Priors: How Language Models Substitute Identity for Missing Financial Facts

说明证据稀薄时的先验偏置:语言模型如何用身份信息替代缺失的财务事实

简介该论文研究大语言模型在用户未提供完整财务信息时如何给出股票配置建议。作者在财务状况完全相同、仅改变投资者身份描述的条件下,测试推荐股票比例的变化。结果显示,随着财务事实减少,身份对建议的影响显著增强;在没有任何财务事实时,模型会编造收入、债务等信息,且较大家庭更易得到不利建议。

Saanvi Khetan, Sankar Balasubramanian

arXiv cs.LG · cs.AI

The Geometry of Empowerment

说明赋能的几何结构:探讨环境控制能力与结构中心性的关系

简介本文将赋能最大化与技能学习方法相连,提出解释和分析赋能的新几何视角。作者回答了赋能与结构中心性之间的长期未解问题。研究还揭示了信息几何与奖励几何之间的区别,对构建可扩展的赋能最大化方法具有理论意义。

Catherine Ji, Vivek Myers, Sergey Levine 等

★★★★☆ 值得关注
arXiv cs.IT · cs.LG · math.IT

Slow Beats Fast at the Kesten-Stigum Threshold: Minimax, Fisher-Information and Belief-Propagation Characterizations of the Information-Computation Gap in Sparse Stochastic Block Models

说明稀疏随机块模型中社区恢复的信息-计算鸿沟研究

简介本文以统计决策理论和费舍尔信息为工具,研究稀疏对称随机块模型(q 个社区、平均度 d、信号强度 λ)中的社区恢复问题,刻画了 Kesten-Stigum 阈值 dλ²=1 以及其下方的信息-计算鸿沟。作者证明了在一类规则下极小极大风险等于均匀先验下的贝叶斯风险,并分析了循环计数的费舍尔信息与信念传播的行为。实验在最多 3×10⁵ 个顶点的网络上验证了 q=2 时的阈值以及 q=5 时的困难区间。

看点通过极小极大、Fisher信息与信念传播三种视角刻画Kesten-Stigum阈值及信息计算鸿沟,理论贡献较突出;摘要有大规模实验验证,但适用范围偏理论。

Soroor Ghandali

arXiv cs.CV 有代码

Efficient Gaussian Splatting Sequence Compression with Standard Video Codecs

说明基于标准视频编解码器的高效高斯泼溅序列压缩

简介本文提出一种名为GSCV的高斯泼溅(GS)序列压缩方法,利用视频编解码器压缩动态三维场景。针对现有方法依赖追踪信息而实际中往往不可用、且随机性导致帧间相关性弱的问题,GSCV提出简单有效的Inter-PLAS方法,提升I帧与P帧之间的相似性。实验表明,该方法在GS序列压缩上优于MPEG视频及基于点云的基线方法。

Qi Yang, Shuting Xia, Le Yang 等

arXiv cs.CV

Geometry-Constrained Bidirectional Point Cloud Registration for Thin, Sheet-Like Heritage Artifacts

说明面向薄片状文物的几何约束双向点云配准方法

简介本文针对纸张等薄片状文物的非接触三维重建问题,因文物无法悬挂或贴标记,需分别采集正反两面并进行配准,困难较大。作者提出一种几何约束的双向点云配准方法,结合语义引导预处理、基于主成分分析的几何归一化和考虑厚度的配准策略,并将估计的物理厚度作为几何约束。实验表明,该方法在多数情况下性能相当或更优,尤其在投影面积一致性和正反面物理合理对齐方面表现较好。

Yuezhe Zhang, Lei Wei, Jingnan Du 等

arXiv cs.LG · cs.AI

ServeLearnBench: How Well Can Agents Self-Improve from Serving Experience?

说明ServeLearnBench:智能体能否从服务经验中自我改进?

简介这篇论文提出 ServeLearnBench,用于评估大语言模型智能体能否从实际服务中的交互与结果反馈里,学习并修正环境中隐含且会变化的知识。该基准涵盖零售支持、银行和销售话术生成三类场景,包含 53 个环境窗口和 7,718 个任务。作者测试了五种学习框架与六个模型的组合,发现从经验中学习的能力与任务能力之间仍有明显差距,持续适应成本高且可能削弱已有的正确行为,探索不足是主要瓶颈。

Haizhong Zheng, Yizhuo Di, Ranajoy Sadhukhan 等

★★★★☆ 值得关注
arXiv cs.AI 有代码

Illusory Pattern Perception Drives Spurious Inference in Large Language Models

说明大型语言模型中的错觉模式感知导致虚假推断

简介本文研究大型语言模型是否像人类一样,会把随机数据中并不存在的规律当作有意义的关联。作者借用经典心理学实验范式设计三项任务,并与人类表现直接比较。结果显示,模型的错觉模式感知往往强于人类,并借助稀疏自编码器分析了内部表征与该现象的关联。

看点首次系统研究LLM的虚幻模式感知,将经典心理学范式迁移到三项任务并与人类对比,并用稀疏自编码器分析机制,新意明显;实验规模和对比的充分性尚难确定。

Peihua Mai, Zhuoyan Shao, Xinbao Qiao 等

arXiv cs.CV

Image-Space Refraction Correction for Underwater 3D Reconstruction: Warping Flat-Port Views into Pinhole Perspective

说明用于水下三维重建的图像空间折射校正:将平面窗口视图转换为针孔透视

简介消费级相机配平面窗口外壳常用于水下考察和珊瑚礁、海底栖息地测绘,但平面窗口的折射会使重建场景和相机轨迹产生碗状变形。本文提出一种基于物理的图像空间折射校正方法,在重建前去除主要折射畸变,校正后的图像可直接输入现有重建与SLAM算法。在两个场景结构不同的真实水下数据集上,与常规及折射式运动恢复结构方法相比,该方法消除了重建变形,并能注册更多帧且保持较低的重投影误差。

Chelim Lim, Tobias Fischer, Emilio Olivastri 等

arXiv cs.AI

OOPMAS: Object-Oriented Multi-Agent Systems for Query-Level Workflow Generation

说明OOPMAS:面向单条查询生成工作流的面向对象多智能体系统

简介本文提出OOPMAS,一种无需训练的框架,可针对每条具体查询同时生成智能体集合与协作工作流。智能体以带有角色、工具和持久状态的面向对象类定义表示,工作流则是作用于这些对象的可执行主函数;系统还通过动态技能库,从多轮优化的执行反馈中积累结构化经验。在涵盖代码、数学和问答的混合任务基准上,OOPMAS取得89.6%的准确率,比最强基线高18.1个百分点。

Qi Cheng, Shengyu Chen, Wei Cheng 等

arXiv cs.LG · stat.ML

Extending Pathwise Gradients to Discrete Random Variables via Finite-Order Relaxation

说明通过有限阶松弛将路径梯度扩展到离散随机变量

简介路径梯度对连续随机变量效果好,但对离散变量一般无法对所有可微函数精确成立。本文提出一个通用框架,为泊松分布等常见离散变量构造有限阶精确路径梯度估计器,其在对次数不超过某阶的多项式无偏的所有解中取最小范数解。实验显示,低阶方法在线性、非线性和层级隐变量模型上达到或优于调优后的基线,运行速度也更快。

Donghan He, Luhuan Wu

arXiv cs.AI

Attacca: Goal-Directed Control under State Continuity for Long-Horizon Embodied Agents

说明Attacca:长时程具身智能体在状态连续条件下的目标导向控制方法

简介该论文提出 Attacca 方法,用于训练视觉目标条件策略,让具身智能体在连续执行的长时程任务中完成搜索、接近和交互等阶段。方法使用与执行环境解耦的目标图像,并加入目标掩码预测等辅助监督。作者在 Minecraft 的多个短、长时程任务上评估,报告干净成功率为 39.0% 至 47.5%,相比最强基线提升 1.7 至 2.4 倍。

Gyusik Seo, Jaehong Yoon

arXiv cs.CV

From Laboratory to Road: Evaluating Wearable Gaze Accuracy for Driving

说明从实验室到道路:评估穿戴式眼动仪在驾驶中的注视精度

简介本文研究在真实驾驶条件下穿戴式眼动仪注视估计的准确性,通过41个道路场景,让司机注视车辆车牌,测量注视方向与车牌中心之间的角度误差。道路平均误差为4.58度;使用室内实验估计的偏移量校正后,误差降至1.10度,且41个场景均有改善。作者指出该偏移量在不同时段有变化,因此可靠的鸟瞰图监督可能需要在线重新校准。

William Engel, Fabian Flohr

arXiv cs.AI · cs.CL · cs.DC

Persistent Memory in Multi-Agent LLM Inference: What It Costs, What It Buys, and When You Can Tell

说明多智能体大模型推理中的持久记忆:成本、收益与何时可以判断其效果

简介该论文研究把长上下文推理拆分给多个协作智能体,以限制每次调用的KV缓存占用,并考察额外的持久记忆层的作用。实验显示,拆分方式使单次查询的KV缓存峰值为14.3 MiB,低于单次推理和检索增强基线的约35.5 MiB。持久记忆层增加了约0.368 MiB的峰值缓存,且在准确率上未检测到明显变化,作者认为这一零结果具有结构性原因。

Hochan Son, Kyungdoe Han, Jaehan Koh 等

arXiv cs.AI · cs.CL · cs.LG

Quantization Effects on Tool-Failure Recovery Vary Across Prompts and Evaluation Designs

说明量化对工具故障恢复的影响因提示词和评估设计而异

简介该论文比较了Llama-3.1-8B-Instruct和Qwen2.5-7B-Instruct的8位与4位量化版本在20个确定性工具调用任务和5种提示词下,从临时工具故障中恢复的表现。结果显示,8位与4位之间的差异方向会随提示词和评估对象而改变,因此单一提示词、单一任务集或单一评分标准不足以得出稳定结论。作者建议在匹配任务上比较,报告完整流程成功率,说明评分策略,并量化任务层面的不确定性。

Yuhe Hu

arXiv cs.CL · cs.LG

APEX: Speculate smarter, not deeper

说明APEX:更聪明地推测,而非更深入地推测

简介本文提出 APEX,一种用于大语言模型推测解码的学习型控制器,可按请求选择推测方法,并在每个验证块中动态调整草稿长度,以平衡解码速度与草稿令牌浪费。论文将其集成到 vLLM 中,使用 Qwen3-8B 在六类工作负载上评估,最高实现相对自回归解码 5.24 倍的加速;其中 APEX-S 总体加速 4.27 倍,APEX-B 加速 3.27 倍,并相较固定 n-gram 推测(k=16)将浪费令牌比例相对降低 41.0%。

Manvi Jha, Zach Zhang, Zhichao Xu 等

★★★★☆ 值得关注
arXiv cs.LG · cs.AI 有代码

Towards One-for-All Foundation Model for Attributed Graph Clustering

说明面向属性图聚类的通用一体化基础模型(OFAG)

简介该论文提出OFAG,一个用于属性图聚类的基础模型,目标是训练一次后即可直接用于不同属性图,无需针对每张图单独训练、微调或调参。模型基于先验数据拟合网络,从合成属性图中学习可复用的聚类推理策略,并用与特征维度无关的信号级图编码器处理不同特征空间。在十个数据集上,单个冻结模型在NMI、ACC、ARI和F1上的平均表现和平均排名最佳,且总耗时12.43分钟。代码与预训练权重已公开。

看点将 PFN 思路引入属性图聚类,提出无需逐图训练的一体化模型,并在十个数据集上做了对比实验,但验证范围有限。

Yunhui Liu, Xudong Jin, Kang Zhang 等

arXiv cs.CL

Reading, Not Manipulating: Leveraging Router Logits for Multimodal Safety in MoE Vision-Language Models

说明只读取不干预:利用路由 logits 进行 MoE 视觉语言模型的多模态安全检测

简介该论文针对混合专家(MoE)视觉语言模型中图文组合产生的安全风险,提出一种轻量级检测器,在提示预填充阶段读取路由 logits 信号,在生成前识别不安全请求,且不修改模型参数或专家路由。作者在 Qwen3-VL 和 Kimi-VL 上测试,该方法在 HoliSafe 上显著降低安全错误,并能泛化到 MISHard、MM-SafetyBench 等分布外基准。

Ziyuan Yang, Wenxuan Ding, Shangbin Feng 等

arXiv cs.LG · cs.CL

TRACE: Rollout-Guided Quantization-Aware Training for FP4 Reinforcement Learning of MoE Language Models

说明TRACE:面向MoE语言模型FP4强化学习的基于推演引导的量化感知训练

简介该论文提出TRACE框架,用于混合专家(MoE)大语言模型的FP4强化学习训练。它利用推演端的量化结果引导训练端的FP4舍入决策,以减小两者之间的差异,并通过缓存选择性保留深层的量化信息来降低开销。在四个大规模MoE模型上的评测显示,其推演性能接近BF16,推演速度最高提升5.4倍。

Xin Wang, Hao Yu, Zhengyang Zhuge 等

arXiv cs.AI

OTel: Open Telco AI Datasets, Benchmarks, and Models

说明OTel:开放电信AI数据集、基准与模型

简介该论文发布了开放电信AI资源OTel,包含用于检索、重排序、指令微调及安全/弃答的衍生电信数据集。研究基于30个经后训练的基线模型(涵盖10个嵌入模型、3个重排序模型和17个语言模型)。经OTel后训练后,嵌入检索NDCG@10达93.1%,重排序MRR@10达0.947,语言模型正确率达87.8%。

Farbod Tavakkoli, Gregory Diamos, Kenneth Church 等

arXiv cs.CL · cs.AI

No Transformer Beats Six Covariates: Long-Horizon Prediction of Depressive Symptoms from Childhood Essays

说明六个协变量胜过所有Transformer:用儿童时期作文长期预测抑郁症状

简介研究者利用英国出生队列(NCDS)中的数据,用11岁时写的作文预测23岁时可能存在的抑郁症状。结果显示,仅基于六个儿童期协变量的逻辑回归模型,表现优于所有只使用作文文本的模型,包括七个微调Transformer、词袋模型、冻结嵌入和四个零样本大语言模型。文中还指出,加入文本评分并未明显提升该基线模型的表现。

Daniel Kua, Emrul Hasan, John-Jose Nunez 等

arXiv cs.AI

ST-Bench: A Spatial-Temporal Benchmark for Multi-Agent System Generation on Scientific Research Tasks

说明ST-Bench:面向科学研究任务多智能体系统生成的时空基准测试

简介该论文提出 ST-Bench 基准,包含 100 个改编自水文、农业和湿地甲烷等地球科学研究的数据科学任务,扩展为 2,067 条查询。研究比较了五种多智能体系统生成方法与单智能体基线(同用 GPT-5),发现其中九个多智能体配置超过最便宜的单智能体基线,最强配置的综合得分接近其三倍。收益主要来自覆盖率提升,而最强配置的推理时间约为单智能体的四倍。

Qi Cheng, Rongchao Dong, Shengyu Chen 等

arXiv cs.IR · cs.AI

Contrastive Learning for Aspect Representation towards Explainable Recommendation

说明面向可解释推荐的方面表示对比学习(CLARER)

简介本文提出推荐模型 CLARER,将从用户文本评论中学到的方面特征与评分信息结合,以提高推荐的准确性和可解释性。模型用多层感知机学习评分特征,用 Transformer 编码器与对比学习学习方面级评论表示,并用 Transformer 解码器生成解释。作者称在三个基准数据集上,该模型在推荐准确率和解释生成方面均优于基线方法。

Emrul Hasan, Chen Ding

★★★★☆ 值得关注
arXiv cs.CV · cs.AI

Later Is Better: Token Reduction for ViTs Under Distribution Shift

说明《Later Is Better》:分布偏移下视觉Transformer的Token削减

简介该论文研究无需训练的token削减方法在分布偏移(如ImageNet-C损坏图像)下的表现。作者发现,削减的深度分布(调度方式)是影响精度差距的关键,并提出一个单参数的后期集中幂律调度,在不增加推理成本的前提下,提升了分布外准确率,且在多种方法、骨干网络和任务上表现一致。

看点提出一参数的后置集中幂律减token调度,系统验证于多方法、多骨干和多种偏移场景,证据充分,对子领域有实用价值。

Hyeongheon Cha, Hyungjun Yoon, Sung-Ju Lee

arXiv stat.ML · cs.LG · stat.AP

Trustworthy Method Comparison with AI Judges: Estimation and Design under Order, Batch, and Aggregation Effects

说明用AI评审进行可信的方法比较:顺序、批次与汇总效应下的估计与设计

简介本文研究以大型语言模型作为自动评审时,常用的随机化提示顺序并取平均分数的做法是否具有统计有效性。作者用一类马尔可夫广义线性混合模型近似LLM的评审机制,并用三款主流商业LLM的样本外预测加以支持。论文指出,在温和的分离条件下,随机化后取平均的排名选择是一致的,且在条目质量接近时,Williams方阵设计可提高效率;但对群体比较,朴素平均可能因响应模型的非线性而得出不一致的结论。文末以AI评审比较两种图模型估计方法为例进行了说明。

Tianxi Li, Jie Ding

★★★★☆ 值得关注
arXiv cs.LG · cs.CV · stat.ML

Adversarially Trained Linear Transformers Are Optimal Robust In-Context Learners for Gaussian Mixtures

说明对抗训练的线性Transformer是高斯混合任务中最优的鲁棒上下文学习者

简介该论文研究在预训练阶段进行对抗训练的模型,能否在未见过的新任务上无需额外对抗训练就获得鲁棒性。作者针对高斯混合分类任务证明,跨任务对抗训练的足够深线性Transformer,可通过干净示例的上下文学习,渐近地达到新任务上的鲁棒贝叶斯误差,而标准训练的模型做不到。文中还分析了梯度流下的收敛性、准确率与鲁棒性之间的权衡以及示例复杂度。

看点证明对抗预训练的线性Transformer可在未见高斯混合任务上渐近达到鲁棒贝叶斯误差,理论上提出新结论,证据为严格分析。

Soichiro Kumano

arXiv cs.CL · cs.AI

From Evidence to Action: How Tool-Using Agents Fail

说明从证据到行动:工具调用智能体的失败方式

简介该论文研究工具调用智能体在改变外部状态时,如何从已确立的证据走到实际行动,并发现链条常在执行前断裂,例如调查未完成或在所需证据未确立前就行动。作者提出SafeActBench基准(656个案例,六个操作领域,五种协议)和基于来源绑定的证据账本与确定性轨迹评估器来追踪证据与依赖关系。结果显示,失败不仅源于信息缺失,也源于智能体如何使用已有证据来做决策和执行行动。

Hongzhan Lin, Shidong Cao, Ziyang Luo 等

arXiv cs.AI

How Well Do LLMs Reason with Noisy Evidence? An Active Visual Reasoning Benchmark

说明大模型在含噪证据下如何推理?一个主动视觉推理基准

简介论文提出 VisualNoiseQA,一个在视觉反馈含噪声时进行主动推理的基准。文本大模型需要反复向一个视觉语言模型提问,把它当作有随机误差的视觉传感器,并通过多次采样的一致性获得不确定性信号,从而决定继续提问还是停止。研究者在 1,000 个实例上评估了多种大模型,考察它们如何利用这些不确定性信号进行推理。

Bach Nguyen, Zhaonan Li, Mau Son Nguyen 等

★★★★★ 值得关注
arXiv cs.PL · cs.AI 有代码

Cleave: Scaling Tensor Program Optimization via Decoupled Algebraic Search and Operator Scheduling

说明Cleave:通过解耦的代数搜索与算子调度扩展张量程序优化

简介论文提出 Cleave 编译器,用符号化形状解耦代数变换搜索与算子调度,以生成多归约融合的高效内核(如 FlashAttention 类内核)。在常见 LLM 子图上,其内核最快可比最佳基线快 2.8 倍(平均 1.6 倍),编译时间平均比 Mirage 减少 5.9 倍。对于动态负载,其几何平均加速比 FlashInfer 的 FA2 和 FA3 分别为 1.4 倍和 1.7 倍。

看点通过符号化解耦代数搜索与算子调度,并引入符号化Split算子,显著缩短编译时间;在LLM子图和生产追踪上以实测加速验证,影响较广。

David Pissarra, Jinkun Lin, Haitian Jiang 等

★★★★☆ 值得关注
arXiv stat.ML · cs.LG

High-dimensional online calibration from harmonic weights

说明基于调和权重的高维在线校准

简介本文研究多维预测在任意凸集上相对于任意误差范数的在线校准问题。针对同时预测d个二元结果的情形,作者给出首个在轮数对维度呈多项式增长的ε-校准算法,轮数为d^{O(1/ε)},相比以往结果在维度依赖上有指数级改进。该算法简单:每轮输出对过去结果经调和平滑后的调和加权分布,且对任意预测集和范数均适用。

看点针对多维校准提出谐波权重算法,将维度依赖由以往的多项式改进为指数级改进,证明较完整,对校准理论子领域影响较大。

Maxwell Fishelson, Mehryar Mohri

arXiv stat.ML · cs.LG

Nash Social Welfare for Multi Armed Bandits: Trajectory-wise Expected and High Probability Regret

说明多臂老虎机中的纳什社会福利:轨迹级期望与高概率遗憾

简介该论文研究在纳什社会福利目标下的公平多臂老虎机问题,该目标以累计奖励的几何平均衡量表现。作者提出按完整样本路径计算几何平均的轨迹级纳什遗憾,以及高概率纳什遗憾,并给出两阶段算法RR-NCB。文中理论结果显示两种指标的遗憾上界与已知最优速率一致,并通过仿真验证。

Avishek Ghosh

arXiv cs.IR · cs.AI · cs.CL

Learning to Retrieve via Reinforcement Learning in Embedding Space

说明通过嵌入空间中的强化学习学习检索

简介本文提出RELER框架,用强化学习直接在嵌入空间中训练检索模型,使其对齐检索指标与下游任务奖励,而非仅依赖对比学习目标。作者在推理密集型基准BRIGHT上测试,相较InfoNCE和LambdaLoss,平均nDCG@10表现更好;在检索增强生成(RAG)的七个问答数据集上,联合优化检索与答案奖励也提升了检索和答案质量。

Qi Liu, Fengming Liang, Yiqun Chen 等

★★★★☆ 值得关注
arXiv cs.CL · cs.AI · cs.LG

SanSi: A Looped Typed Decision Model for System 1.5 Thinking

说明SanSi:用于“系统1.5”思考的循环式类型化决策模型

简介该论文提出SanSi,把预训练的循环语言模型改造成类型化决策模型,在不生成文本的情况下,对预设选项直接给出概率。模型在每次循环后读取选项概率,并以恰当评分规则训练,使同一模型可在一到八次循环之间使用。在10,027个来自59个来源的测试决策上,SanSi准确率为72.0%。

看点提出在单次前向与生成推理之间的循环式类型化决策模型,并以适当评分规则训练,证据包括万级测试与深度可控任务实验。

Shuyu Gan, Young-Jun Lee, Dongyeop Kang

arXiv cs.CV

Foveated Compression: Selective High-Resolution Preservation for Token-Efficient VLMs

说明注视式压缩:在视觉令牌预算下选择性保留高分辨率区域的视觉语言模型方法

简介本文针对视觉语言模型中视觉令牌推理成本高的问题,提出“注视式压缩”方法:整张图只编码一次,用原生分辨率与压缩分辨率混合表示。方法包含一个压缩局部令牌的融合模块,以及一个从九个空间格子中选出保留原生分辨率区域的选择器。实验显示,学习得到的选择器优于随机和固定分配,但仍不及整图缩放这一强基线。

Donghyun Han, Jangho Park, Yuseok Bae

arXiv cs.CV 有代码

Structure-aware Keypoint Localization for Videofluoroscopic Swallowing Study

说明面向吞咽造影视频的结构感知关键点定位

简介吞咽造影视频检查(VFSS)是诊断吞咽障碍的金标准之一,可动态记录吞咽过程的X光影像。该论文提出VFSSKep数据集,将标注扩展到软腭,并纳入大量未标注数据;同时提出半监督框架S³KL,以克服固定版式X光图像中的空间偏差。实验显示,该方法在半监督设置下达到当前最优表现,使用25%标注数据加未标注数据即可超过使用100%标注数据的全监督学习。

Kai Zhou, Chuanshen Chen, Runhao Zeng 等

arXiv cs.AI

PERSIST: Who-What-When Memory Across Sessions for Full-Duplex Spoken Dialogue

说明PERSIST:面向全双工语音对话的跨会话“谁-何事-何时”记忆系统

简介该论文提出PERSIST,一种用于多会话、多说话人语音对话的持久记忆系统,显式建模“谁、何事、何时”。系统将历史对话整理为可读事件记录,并以结合语义内容、声学说话人身份和时间状态的三维联合打分进行检索。论文还提出诊断性基准SpokenTrace,报告PERSIST在该基准上的端到端任务准确率为85.08%,检索延迟由578.42毫秒降至7.03毫秒。

Achira Lin, Siyuan Hou, Wenyi Yu 等

arXiv cs.CL

Does Steering Break Your Model? A Multi-Dimensional Evaluation Suite for LLM Steering Methods

说明该论文提出 SteerScope,用于评估大语言模型“引导”方法的效果与副作用

简介论文提出 SteerScope 多维评估套件,包含 15 项指标,从目标效果、副作用、泛化与数据依赖性等方面比较 23 种引导方法(涵盖提示、LoRA、SFT 等 4 类)。结果显示,目前的激活引导方法在效果与副作用的综合平衡上尚未超过 Prompt Steering 基线;分布外提示下,目标效果通常保持,但副作用更明显,主要表现为指令相关性与流畅度下降。

Haotian Yang, Huikang Jiang, Yucheng Wu 等

arXiv math.ST · cs.LG · stat.ML

Exact Calibration and Sharp Risk Geometry for Volume-Sampled Ridge Regression

说明体积采样岭回归的精确校准与尖锐风险几何

简介本文研究在固定设计矩阵中随机抽取恰好 s 行进行岭回归的问题,响应值固定,仅子集随机。文章给出唯一的惩罚参数,使其在期望意义上匹配全数据岭拟合,并刻画了中心协方差风险的尖锐界及其最大化响应空间。

Kihun Rhee

arXiv cs.CV · cs.LG

RefRoute: Decoupling Conditioning Cost from References via Compact Residual Conditioning and Spatial Routing

说明RefRoute:通过紧凑残差条件化与空间路由,解耦参考图条件化的计算开销

简介该论文提出 RefRoute,用于多参考图像生成,即在保留多个主体外观的同时将其组合进连贯场景。方法结合低分辨率潜在 token 与全分辨率像素提取的轻量残差特征,并通过条件路由与注意力路由对齐参考 token 与目标区域、限制跨参考交互。作者还发布了训练数据集 RefRoute-Data 与包含 10 至 17 个参考的基准 ManyRef100。

Wanning He, Yuyao Zhang, Yu-Wing Tai

arXiv stat.ML · cs.LG

Stability of Measure-to-Measure Transformers on Sub-Gaussian Data

说明次高斯数据上测度到测度 Transformer 的稳定性研究

简介本文对 Transformer 定义的测度到测度算子进行数学分析。作者证明 Transformer 将次高斯输入映射为次高斯输出,并证明其相对于 1-Wasserstein 距离是赫尔德连续的,由此给出从输入到经验近似之间误差传播的估计。文中还研究了交叉注意力的平均场类比,并给出相关近似保证。

Frank Cole, Nicholas H. Nelsen, Takashi Furuya

arXiv cs.CL

JevCascade: Readout Stability and Inference-Time Compute Allocation for Prefill-Only Decision Models

说明JevCascade:仅预填充决策模型的读出稳定性与推理计算分配

简介该论文提出 JevCascade 框架,用于分配仅预填充决策模型的推理计算。这类模型在一次前向传播中为菜单中的候选项打分,不进行解码,成本远低于同规模生成式语言模型。作者发现,当干预只改变菜单而保持输入文本不变时,干预后的准确率可由缓存的第一次前向分布直接确定,无需标签或第二次前向传播。

Ran Li, Lei Chen

arXiv cs.SE · cs.CL

When Old Facts Return: Re-Reads, Reverts, and the Limits of Temporal Memory

说明旧事实重现:重读、回退与时间记忆的局限

简介本文研究记忆系统的一个歧义:同一旧陈述再次出现时,系统可能错误地恢复已废弃的旧值,而真正的回退与单纯重读在观察到的数值序列上可能相同,却需要相反的当前答案。作者基于软件修复中的130个原子转换进行实验,发现追加旧陈述的逐字重读会大幅降低准确率,而阻止重新激活已废弃值的防护机制可以恢复准确率。论文结论是应区分“观察到某个值”与“该值已发生变化”的证据。

Neeraj Yadav (Called It Inc.)

arXiv q-bio.BM · cs.LG

Mathematical Invariant-Enabled Topological Neural Networks for Molecular and Materials Property Prediction

说明基于数学不变量的拓扑神经网络,用于分子与材料性质预测

简介该论文提出MITNN框架,用拓扑、谱理论、交换代数、微分几何和离散曲率等多种数学不变量从不同角度描述复杂结构,并将其与拓扑神经网络结合。实验显示,不同数学表示与网络架构的组合会影响预测效果,部分组合优于单一模型及全部组件汇总。在蛋白质-配体结合、金属有机框架、突变引起的蛋白质溶解度及分子毒性预测等任务中,MITNN表现优于现有方法。

Yiming Ren, Xiang Liu, Mustafa Hajij 等

arXiv cs.CV

Comprehensive Evaluation and Fine-Tuning of Foundational Cell Nuclei Segmentation Models in Renal Pathology

说明肾脏病理细胞核分割基础模型的综合评估与微调

简介本文针对肾脏病理图像中细胞核实例分割的难题,结合简单、中等、困难三类不同难度的标注数据,系统比较了七种微调策略在九种模型配置上的效果。结果显示,各类模型经微调后均有提升,其中 LSP-DETR 在仅用困难样本微调时 F1 达到 0.8725,StarDist 在仅用中等样本微调时由 0.7380 提升至 0.8332。作者认为,跨难度标注有助于模型适配,但最佳标注组合因模型而异。

Ruijie Wu, Junlin Guo, Ruining Deng 等

arXiv cs.AI

Evidence Before Sampling: Interpretable Implicit Negative Candidate Discovery for Recommendation

说明先看证据再采样:面向推荐的可解释隐式负候选发现

简介推荐系统通常只能观察到用户与物品的正向交互,缺少明确的负反馈,而负采样往往把未观察到的交互直接当作负样本。本文提出隐式负候选发现方法:把观察到的用户行为模式编码为符号规则,依据支持度、信息量和产品相关性打分并按证据排序,再由大语言模型结合业务目标解读规则,并与统计证据一同形成报告。在工业B2B场景和五个公开数据集上,候选质量评估显示精度高于对比基线,工业任务中基于符号选择的方法使下游测试PR-AUC比随机选择提高12.5%(每个正例四个负样本)。

Shreya Rajpal, Sonia Sharma, Swapnil Parekh 等

arXiv cs.AI 有代码

AgentMemGate: Addressing Speculation Contamination in Conversational Assistant Memory

说明AgentMemGate:解决对话助手记忆中的“推测污染”问题

简介具有长期记忆的对话助手会把用户消息中的信息存入记忆库,供之后的对话调用。本文指出,用户尚未确定的计划(如可能搬到西雅图)可能被误记为既定事实,称为“推测污染”。作者提出写入时门控机制AgentMemGate,将提取的陈述分为推测、已完成事件、更正等类别,推测不进入记忆库;并发布了一个包含计划被确认、放弃或未解决的多轮对话数据集。实验显示,该方法在核心基准上消除了可观测到的污染,任务准确率从65%提高到95%。

Chirag Sharma, Benjamin Fowlersmith, Karime Maamari

arXiv cs.LG · cs.AI 有代码

WASD: Wasserstein-based Knowledge Distillation for Large Language Models

说明WASD:基于 Wasserstein 距离的大语言模型知识蒸馏方法

简介该论文针对大语言模型(LLM)推理成本高的问题,提出 WASD 方法,把大模型的知识迁移到小模型上。与只逐个比较词表中各词概率的现有方法不同,WASD 利用词嵌入构造代价矩阵,引入基于 Wasserstein 距离的词元语义信息,并采用 Sinkhorn 散度实现可高效优化的目标。实验显示,在多种模型系列和规模上,该方法在指令遵循、数学推理和代码生成等任务中提升了蒸馏效果。

Byeonghu Na, Donghyeok Shin, Yeongmin Kim 等

arXiv cs.CV · cs.AI

What Frame-Level Labels Can and Cannot Do for Small-UAV Point Detection in Thermal Video

说明帧级标签能为热红外视频中的小型无人机点检测做什么、不能做什么

简介本文研究仅用帧级有无目标标签训练、定位热红外视频中小型无人机点的方法,不依赖外部检测器。模型先用分类训练学习空间特征并冻结,再用同样的帧标签训练读出层,生成空间得分图和点检测结果。在 CST Anti-UAV 与 Anti-UAV410 两个热红外数据集上,作者评估了定位命中率与虚警约束下的检测率,并与边界框检测器比较,还在 AOT 可见光数据上做了初步探索。

Wonbin Son, Gyumum Choi, Junil Seo 等

arXiv cs.MA · cs.LG

Independent Multi-Agent Reinforcement Learning with Counterfactual Semantic-Social World Models

说明基于反事实语义-社会世界模型的独立多智能体强化学习

简介本文研究完全去中心化的多智能体强化学习(独立学习),智能体只能依靠本地信息学习和行动。作者提出CASTLE框架,离线训练两个冻结的世界模型:局部动态世界模型刻画本地轨迹与部分可观测性,语义-社会世界模型基于反事实模拟预测每个候选动作的短期任务与社会后果,二者的预测作为上下文指导独立PPO策略。在Tag、Spread、Adversary三个多粒子环境的30个匹配随机种子实验中,CASTLE的平均最终得分最高,分别超过各任务最强基线10.67、6.46和0.33个归一化点。

Fernando Martinez, Tao Li, Yingdong Lu 等

arXiv cs.AI · cs.CE

On the Boundary of Admission Gates: An Injected-Truth Study of Falsification-First Selection in Quantitative Strategy Research

说明准入门槛的边界:基于注入真值的证伪优先策略筛选研究

简介本文研究量化策略研究中的准入门槛问题,即在采纳一个结论前用统计标准排除“搜索运气”。作者提出注入真值协议,并设置一个按相同比例随机采纳的对照组,只有当门槛优于该对照时才算提供了信息。结果显示,在弱信号情形下门槛能消除假发现,但采纳率降至1%至7%;信号较强时则无增益。另外,若基于绝对收益而非超额收益计算标准,会拒绝所有候选策略,包括真实信号。

Tianlun Zheng

arXiv cs.CL · cs.CY

Detecting LLM-Assisted Vietnamese Writing via Keystrokes under Behavioral Manipulation

说明基于击键行为检测越南语LLM辅助写作(含行为操纵场景)

简介本文研究击键动态能否识别大语言模型辅助写作。作者构建了一个越南语击键数据集,涵盖真实撰写、抄写和改写等写作方式,并设计了用户刻意改变打字习惯以逃避检测的威胁模型。实验比较了四种建模方法,结果显示序列模型总体优于基于特征的方法;抄写较易识别,而改写和被操纵的样本常被误判为原创,引入对抗训练后区分能力和稳健性明显提升。

Thanh Dong, An Ngo, Minh Dau 等

arXiv cs.LG · cs.CL

Improving Synthetic Data Generation for Argument Mining via Adversarial Reinforcement Learning

说明通过对抗强化学习改进论点挖掘的合成数据生成

简介论点挖掘(AM)受限于高质量结构标注数据集的稀缺。本文提出一种对抗强化学习框架:生成器产生结构化的论点实例,判别器通过区分真实数据与合成样本提供学习信号,二者在对抗循环中联合优化。实验表明,该框架在三个基准数据集的全量数据和低资源设置下均提升了论点挖掘性能。

Zhijun Zhang, Qianlong Wang, Keyang Ding 等

arXiv cs.CV 有代码

Anchor-driven Multi-modal Multi-scale Expert Selection for Survival Prediction

说明基于锚点驱动的多模态多尺度专家选择用于生存预测

简介该论文提出AM²ES框架,用于结合全切片病理图像与转录组数据预测癌症患者生存期。框架通过可学习的语义锚点对齐两种模态特征,并设计分层专家混合模块,在各放大倍数内筛选肿瘤区域,再动态选择最有信息量的分辨率层级。在多个TCGA癌症队列上的实验显示其达到当前最优性能,并可通过可视化分子通路对专家路由的影响提供可解释性。

Tao Zhou, Ying Hu, Huazhu Fu 等

arXiv cs.CV

Unlocking Fine-Grained Perception in CLIP via Structurally-Aware Latent Masked Modeling

说明通过结构感知的潜在掩码建模释放 CLIP 的细粒度感知能力

简介论文指出 CLIP 擅长全局语义对齐,但细粒度感知不足,限制了密集预测任务和多模态大模型的视觉能力。作者提出无需图文配对的无监督嵌入对齐框架 SALM,通过双矩阵对齐引入局部几何先验,并利用潜在掩码建模恢复目标模型的语义细节。此外还提出自蒸馏版本 SALM-Self,无需外部模型。实验显示,SALM 提升了密集预测表现和 CLIP 的零样本准确率。

Juntong Li, Lingwei Dang, Haomin Wu 等

arXiv cs.AR · cs.AI · cs.SE

A Survey on LLM-Integrated Hardware Design Verification

说明LLM 集成硬件设计验证综述:大模型如何辅助芯片功能验证

简介本文系统梳理了大语言模型在硬件功能验证中的应用,涵盖 SystemVerilog 断言生成、测试激励与测试平台生成、缺陷定位与设计修复、模型检查与等价性检查、SAT/SMT 优化以及新兴的智能体验证流程。文章指出,大模型主要作为语义推理、搜索和编排组件,与仿真器、形式化工具等确定性工具配合使用;同时强调,工具通过检查并不等于验证正确,并提出了语义对齐、工具集成、泛化与评估等挑战。

Hao Zheng, Jaime Rafael Imperial, Bardia Nadimi 等

arXiv cs.AI

BluffJAX: Adversarial Imperfect Information Games in JAX

说明BluffJAX:基于 JAX 的对抗性不完全信息博弈套件

简介本文提出 BluffJAX,一个开源的 JAX 对抗性不完全信息博弈套件,包含德州扑克、Kuhn 扑克等经典基准,以及 Bluff、Stud Poker、Kemps 等此前较少在强化学习研究中出现的游戏。套件面向 GPU 上的高吞吐并行模拟设计,并测试了单卡与多卡的吞吐和内存表现,规模可达每秒数亿样本。作者还在 JAX 中对强化学习、树搜索和博弈求解算法做了基线测试。

Aryaman Reddi, Jan Peters, Carlo D'Eramo

arXiv cs.CV · cs.AI 有代码

Disentangling Dual Image References in Frequency Aware Diffusion Models for Personalized Generation

说明双参考频域感知扩散模型的解耦:面向个性化图像生成

简介本文研究基于双参考图(定制参考与颜色风格参考)的个性化图像生成,指出现有扩散模型在去噪过程中因不同频段相互纠缠而导致前景或背景与文本不匹配。作者提出Dual-FDM方法,在频域中用掩码策略分离不同频段:定制风格迁移中替换风格参考背景的中频段,颜色风格迁移中替换背景的低频段,并以此重建个性化图像的前景与背景。论文称该方法在实验中优于现有最先进的扩散模型。

Haipeng Liu, Yang Wang, Meng Wang

arXiv cs.RO · cs.AI

EigenDEXplore: Structured Exploration for Dexterous Manipulation with Human Priors

说明EigenDEXplore:利用人类先验进行结构化探索的灵巧操作方法

简介灵巧操作需要协调多个手部关节,搜索空间高维且困难。本文提出EigenDEXplore,在不改变动作空间的前提下,把由人手数据得到的特征向量作为扰动方向叠加到独立关节噪声上,以产生相关探索。论文报告该方法在多种灵巧手上的抓取、手内重定向和接触密集操作中,均优于关节空间和学习动作空间的基线,且在奖励设计和课程设置较少的场景中提升最大。

Harsh Gupta, Tyler Ga Wei Lum, Changhao Wang 等

arXiv cs.LG · cs.AI

Exact-Solution Volume and Length Generalization in Transformers

说明Transformer 长度泛化与精确解体积分析

简介该论文用“归一化精确解体积”衡量单层 Transformer 在参数空间中能精确解决某任务的比例,并探讨这些解能否推广到更长输入。作者给出 FIRST、MAJORITY、INDEX、PARITY 四项任务的渐近界,体积随长度增长衰减越快,长度泛化越困难。针对 INDEX 任务,作者提出结构改进的模型,并报告在 10 倍训练长度下准确率由 60% 提升至 85%。

Yijia Jessica Zhu, David Chiang

arXiv cs.AI · cs.MA

EIO-Agents: The Missing Semantic Layer for AI Agent Evaluation

说明EIO-Agents:AI智能体评估缺失的语义层

简介本文提出EIO-Agents,一个用于AI智能体评估互操作性的开放规范,由评估智能本体(EIO)和可移植评估记录(PER)两层构成。EIO定义证据、行为谓词、主张、判定状态及PASS、REVIEW、BLOCK等决策的可计算推导;PER以内容寻址的规范形式保存从证据到决策的完整链条,便于重新推导与独立验证。

Fouad Bousetouane

arXiv cs.HC · cs.AI · cs.CY

Evaluating human-AI workflows for field research in viticulture

说明评估人机协作流程在葡萄栽培田间研究中的效果:利用多智能体系统预测红叶症状并优化巡查与病毒检测

简介该研究在加州葡萄园的精准病害防控项目中,检验两种人机交互流程的实际价值。研究以2021至2024年的商业巡查记录和140公顷的遥感数据,支持对2025年红叶症状的预测,用于确定优先巡查与病毒检测的对象。回顾性模拟显示,加入模型引导的行优先排序后,新记录红叶观测的覆盖比例由85.8%提高到94.1%;其中一种流程的采样覆盖率为82%,另一种为97%,137株采样葡萄藤中有5株检出红斑病毒。

Niko Carvajal Janke, Daoyuan Jin, Shivranjani Baruah 等

arXiv cs.AR · cs.AI · cs.LG

CACHEFORGE: LLM-Guided End-to-End Generative Cache Replacement Policy for Performance and Hardware Efficiency

说明CACHEFORGE:由大语言模型引导的端到端生成式缓存替换策略,兼顾性能与硬件效率

简介论文提出CACHEFORGE框架,将大语言模型嵌入受约束的硬件感知循环中,由模型提出新的C++缓存替换逻辑,并在基于轨迹的CRC-2 ChampSim模拟器中评估。框架通过奖励塑形、结构检查、动态变异、温度调度和策略交叉来保证可行性。在SPEC CPU2006上,论文报告其总命中率分别比MPPPB、ReD、Hawk-eye、SHiP++、LIME和LRU高27.36%、19.69%、13.72%、13.15%、11.83%和5.73%。

Kaushal Mhapsekar, Bita Aslrousta, Brijesh Kumar Bhayana 等

arXiv cs.HC · cs.AI · cs.MM

SENSE: State-aware Emotion Navigation Storytelling Engine

说明SENSE:具备状态感知的情感导航互动叙事生成引擎

简介本文提出SENSE框架,用于生成可游玩的分支式视觉小说,并支持多轨情感导航。该框架结合了名为MIND的状态型叙事架构、结构分析器和路径感知的上下文管理模块,能由少量高层输入生成多条相互交织的剧情路线,同时保持角色一致性与叙事因果。评估显示,SENSE在叙事多样性和素材整合方面优于基线方法,初步的人工试验也显示情感保真度有方向性提升,而趣味性相近。

Yi Xia, Pablo Carrasco Velo, Mudit Paliwal 等

arXiv cs.MA · cs.AI · cs.LG

Joint Workflow and Prompt Optimization for User Behavior Simulation

说明用于用户行为模拟的工作流与提示词联合优化(SWORD)

简介该论文提出SWORD框架,用于用户行为模拟,即用模拟智能体代替真实用户来建模其在信息系统中的交互。SWORD仅依据一个标量任务指标,同时优化多智能体的工作流结构和自然语言提示词,无需领域初始化或针对任务的人工设计。实验显示,在相同骨干模型的对照比较中,SWORD优于仅优化提示词、仅优化工作流及分阶段优化等基线,并在与已发表的领域专用基线比较时取得了更高的准确率。

Nipun B Nair (1) Tongtong Wu (1), Hongzhi Yin (2), Hui Li (3) 等

arXiv cs.LG

MS-ECG-FM: Towards a More Universal Electrocardiogram Foundation Model for Health Monitoring using Multi-source Contrastive Learning

说明MS-ECG-FM:利用多源对比学习的更通用心电图基础模型

简介该论文提出心电图基础模型MS-ECG-FM,通过与心电图、超声心动图、放射学和出院报告等多种临床文本进行对比对齐来训练。作者在扩展的心电图检测基准上评估该模型,结果显示其在心电图可检测的各类疾病上整体优于现有方法,包括减少导联的配置。论文指出,不同报告对不同诊断领域的表征均有提升,多源对齐能够捕捉其互补信息。

Robert A. Lewis, I-Min Chiu, Kyle Verrier 等

★★★★☆ 值得关注
arXiv cs.AI

Massive Activation Gating Channel in Large Language Models

说明大语言模型中的大规模激活门控通道(MAGC):一种控制超大隐藏激活的单一通道

简介论文发现,大语言模型中少数隐藏通道出现超大幅值(大规模激活)的现象,由输入嵌入中的一个单一通道控制,作者称之为大规模激活门控通道(MAGC)。在六个模型上验证了MAGC的存在与作用,并给出理论解释:MAGC取值足够大或小时,尖峰前馈网络的输出趋于二次型,从而呈现大规模激活。

看点发现单一输入通道控制大模型大激活的出现机制,并给出理论解释,对该现象的理解有实质推进;在六个模型上验证,证据较充分,影响面限于机制理解。

Minjia Mao, Shi Chen, Bowen Yin 等

arXiv cs.CL 有代码

DLoop: Looped Speculative Decoding

说明DLoop:循环式推测解码,减少大模型验证次数以加速生成

简介论文提出 DLoop,一种循环形式的推测解码方法,用于加速大语言模型的自回归生成。它在验证前自适应地进行多个草稿阶段,并一次性验证所有累积的草稿词元,同时通过循环感知训练保持草稿模型的可靠性。实验称,在 EAGLE-3、DFlash 等多种方法上,该方法使实际加速比提升 5% 至 41%,且保持无损解码。

Geonmo Gu, Byeongho Heo, HeeJae Jun 等

★★★★☆ 值得关注
arXiv stat.ML · cs.LG

Uniform Discrete Diffusion Models are Minimax Optimal for Estimating Distributions with Small Effective Support Size

说明均匀离散扩散模型在有效支撑集较小的分布估计中达到极小极大最优

简介本文研究用于离散数据生成的均匀离散扩散模型(uniform discrete diffusion)的统计泛化性质。作者以有效支撑集大小 s_n(P_0) 刻画数据分布的复杂度,在给定 n 个独立同分布样本的条件下,给出总变差(TV)损失为 O(√(s_n(P_0)/n)) 的上界,以及 KL 散度的上界。论文证明 TV 速率是极小极大最优的,KL 速率在相差一个 log n 因子的意义下也是最优的。

看点提出以有效支撑集大小刻画均匀离散扩散的统计保证,并给出TV与KL的极小化最优速率,理论改进显著。

Dongsun Yoon, Saptarshi Chakraborty

arXiv cs.LG · cs.AI

Does On-Policy Distillation for Safety Pose Backdoor Risks?

说明在线策略蒸馏用于安全是否会带来后门风险?

简介本文研究在线策略蒸馏(OPD)的安全风险:一个经过安全对齐但被植入后门的教师模型,可能把隐藏的恶意行为传递给原本干净的学生模型。论文称,在其威胁模型下,3%的投毒比例可使蒸馏后学生模型的攻击成功率最高达到70%。训练轮数增加和使用top-k KL会加剧该风险,并提出了通过裁剪KL奖励来延缓后门学习的简单缓解方法Lazy Defense。

Jian Luo, Kehan Qi, Qingqiao Hu 等

arXiv eess.IV · cs.CV

Flow Matching-Based Semantic Communication With Time-Aware Structural Residual Injection

说明基于流匹配并带时间感知结构残差注入的语义通信

简介该论文提出一种基于流匹配的双信息流语义通信框架,发送端选取最匹配的提示词并提取超低维结构残差速度向量,接收端通过时间感知递归残差注入网络沿去噪轨迹逐步补充结构修正。框架仅传输提示词嵌入和紧凑残差向量,实验结果显示其结构保真度与感知质量均优于现有纯文本驱动的语义通信方案。

Chengyang Liang, Dong Li

arXiv cs.RO · cs.AI

SMART: Zero-Shot Sim-to-Real Articulated Object Manipulation via Large-Scale Synthetic Pretraining

说明SMART:基于大规模合成预训练的零样本仿真到现实关节物体操作

简介该论文提出SMART系统,用大规模合成的操作演示训练视觉-语言-动作模型,以完成关节物体(如带铰链或抽屉的物体)的操作。研究构建了具备关节感知设计的仿真平台SMART-Sim,并生成了包含超过100万条演示、44种原子任务、5种机器人配置和2507个关节物体的SMART-Data数据集。在该数据上预训练的模型在仿真基准上表现具有竞争力,并实现了零样本仿真到现实迁移。

Jicong Ao, Shuhan Jiang, Yuling Zhong 等

arXiv cs.SD · cs.CL

Loud and Clear: Dynamic Activation Steering for Improving Speech Intelligibility in Noisy Environments

说明《Loud and Clear》:动态激活引导提升嘈杂环境中的语音可懂度

简介论文探讨在不重新训练的前提下,通过激活引导(activation steering)让文本转语音(TTS)模型生成在噪声中更易听懂的语音,借鉴人类在嘈杂环境中自然提高音量、加强发音的Lombard效应。作者提出一种相对提示的引导机制,在生成过程中动态调节引导强度。实验涵盖已见和未见说话人及多种语言,结果显示说话人相似度保持在89%至95%,在1 dB信噪比的背景噪声下词错误率降低7%至22%。

Seymanur Akti, Alexander Waibel

★★★★☆ 值得关注
arXiv cs.AI

Matching Object or Relation? Tracing Abstract Reasoning Inside VLMs

说明匹配对象还是关系?追踪视觉语言模型内部的抽象推理

简介视觉语言模型在视觉基准上表现好,但在需要抽象推理的任务上系统性失败。本文借用比较心理学的关系匹配样本(RMTS)范式,并对模型内部做机制分析。研究发现,模型能力层级、规模、每幅场景的物体数量以及是否存在物体噪声,会影响模型倾向关系匹配的程度。内部分析显示,抽象推理由两个相互竞争的回路实现:早期回路按表面物体特征组织图像,后期回路按抽象关系组织图像。

看点借用发展心理学RMTS范式并结合机制分析,揭示两条竞争电路;实验覆盖多模型并有因果中介与消融验证,证据较充分。

Gouki Minegishi, Hiroki Furuta, Takeshi Kojima 等