AI 算法 · 2026年10月2日(周五)

机器学习、人工智能、自然语言处理、计算机视觉、多智能体。

arXiv cs.LG

Do ResNets Route? Sparse Interaction Experts in Residual Networks

说明ResNet 是否会“路由”?残差网络中的稀疏交互专家

简介本文把训练好的 ResNet 视为关于二元残差分支掩码的集合函数,用莫比乌斯反演将输出精确分解为单个残差修正及高阶交互。在 ImageNet 预训练的 ResNet-18 与 ResNet-34 上的穷举分析显示,交互强度的峰值分别出现在五阶和十阶,而非低阶。研究认为,密集 ResNet 中存在一种隐式的软路由:每个模块都会执行,但不同输入依赖不同的残差交互专家。

Liang Yan, Siying Chen, Kaijie Chen 等

arXiv cs.LG

Tangent Schrödinger Bridge Matching: Learning Stochastic Transport with Mechanistic Sensitivities

说明切线薛定谔桥匹配:利用机理敏感度学习随机输运

简介该论文提出切线薛定谔桥匹配(Tangent-SBM),从终点观测和机理敏感度中学习随机输运模型,并沿轨迹同时传播参数导数。在高斯、双势阱、反应扩散和随机纳维-斯托克斯等系统上,相比匹配的条件桥基线,它提高了敏感度和有限变化预测的准确性,同时保持了相当的终点与分布精度。

Jowaria Khan, Elizabeth Bondi-Kelly

arXiv cs.CV

ViTok: Improving Dense Semantics in AM-RADIO-Style Multi-Teacher Distillation with PHI-S and Masked Image Modelling

说明ViTok:用 PHI-S 与掩码图像建模改进 AM-RADIO 式多教师蒸馏的密集语义

简介本文研究如何把多教师蒸馏方案整合成一套配方,同时保留全局识别能力和密集语义。学生模型从 SigLIP2 与 DINOv3-L 蒸馏而来,并加入分离适配头、掩码图像建模(MIM)和 PHI-S 特征平衡等改动。结果显示,模型在 ImageNet-1K kNN 分类上略超 DINOv3-L 教师,而 PHI-S 使 ADE20K 分割性能恢复到与教师相当的水平。作者也记录了扩展到 ImageNet22K 及额外加入 SAM3、HOG 教师等负面结果。

Hailun Xu, Kanchan Sarkar

arXiv cs.AI

LUMOS: Tracing Parametric Knowledge from Training Data to Behavioral Outputs in LLMs

说明LUMOS:追踪大语言模型从训练数据到行为输出的参数化知识

简介该论文提出LUMOS诊断框架,利用训练语料完全透明的OLMo 2模型,把知识从训练数据接触到行为输出的因果链条串起来。研究发现,模型内部能较好地区分罕见事实(84%),但在行为上表达出来的比例只有54%,这一差距随模型规模增大而缩小。作者还指出,模型对未见内容的自我反思准确率降至随机水平(49%),因此主张将训练数据维度纳入知识评估的标准流程。

Seoyeon Ye, Gayoung Kim, Jiyoung Hong 等

arXiv cs.AI

Interpreting at Write Time: A Policy Ablation for Multi-Goal Agent Memory

说明写入时解读:面向多目标智能体记忆的策略消融研究

简介长期运行的助手无法保存所有经历,只能做摘要,而摘要的取舍取决于记录的用途。本文比较了三种写入策略:无目标摘要、覆盖所有目标的单一摘要,以及每个目标各写一份摘要,并在多个模型和事件流上进行对比。结果显示,针对不同目标写出的摘要彼此重叠较少;按目标分别撰写的摘要在相关性、完整性和准确性上表现最好,而覆盖全部目标的摘要甚至不如预算更少的中性摘要。

Albert Sadowski, Jaros{\l}aw A. Chudziak

arXiv cs.LG · cs.AI

When Can We Trust the Matching Principle? Robust Deployment Geometry Under Finite-Sample and Model Uncertainty

说明何时可以信任匹配原则?有限样本与模型不确定性下的稳健部署几何

简介论文提出用信任比 τ = ε/γ(估计不确定性与谱分离度之比)决定是否采用匹配几何。在线性二次匹配响应下,估计与真值投影矩阵之间的偏差随 τ² 变化,并在 τ<1/2 的 Davis-Kahan 分离区域内成立。作者据此提出置信校准匹配(CCM)策略:τ 小时用定向匹配,τ 大时逐步转为各向同性,阈值来自校准而非定理本身。实验覆盖两种情形,其中 UCI HAR 嵌入数据显示,在每个单元格中总是匹配都比弃权差。

Vishal Rajput

arXiv cs.CV · cs.AI

Revealing Epistemic Uncertainty in MLLMs via Causal-Invariant Masking

说明通过因果不变掩码揭示多模态大模型的认知不确定性

简介多模态大语言模型容易产生幻觉,因此需要不确定性量化来保证可靠部署。本文提出因果不变掩码(CIM)方法,衡量原始预测与因果关注视角下预测之间的语义偏移,并以语义分歧作为核心指标,用于捕捉模型自身局限带来的认知不确定性。作者还提出期望嵌入漂移(EED)作为快速几何代理指标。实验显示该方法在多个基准上达到领先表现,EED 速度提升约50%且性能相近。

Haoyang Luo, Linwei Tao, Jie Gui 等

★★★★☆ 值得关注
arXiv cs.CL · cs.AI

Misinformation Without Triggers: From Factual Answers to Downstream Decisions

说明无触发词的虚假信息:从事实回答到下游决策

简介该论文研究语言模型在训练数据含虚假内容时的表现,并检验这些虚假内容是否会影响后续决策,而不只是直接的事实回答。作者在名为“猜首都”的受控决策任务中比较虚假训练与对照组,并以2019至2020年澳大利亚山火的虚假社交媒体说法作为现实案例。结果显示,直接回答正确并不保证决策正确,去除错误数字也不能消除误导性叙述。

看点提出事实回答与下游决策之间的“审计缺口”,并在受控任务与真实野火误导案例上验证,新意明显;证据在多模型和对照设置下较充分。

Lin Tian, Marian-Andrei Rizoiu

arXiv cs.AI 有代码

PsyEvo: A Personalized Counseling Agent That Self-Evolves at Test Time

说明PsyEvo:一种能在测试时自我进化的个性化心理咨询智能体

简介该论文提出PsyEvo,一个基于大语言模型的心理咨询框架,可在测试阶段针对具体来访者进行个性化调整,并改进回应策略。框架包含分层贝叶斯技能策略、会话间列表式偏好优化和状态条件序数信用分配三个组件。在模拟来访者的评估中,PsyEvo在PsychEval上取得7.684的总分,并在三次匹配运行中均优于各组件变体。

Yuting Yan, Shihao Xu, Junhao Yu 等

arXiv cs.LG · cs.AI

DyRA: Dynamic Residual Approximation for Efficient Matrix Multiplication in DNNs

说明DyRA:面向深度神经网络高效矩阵乘法的动态残差近似方法

简介该论文提出DyRA方法,通过在推理时根据输入动态修正结构化权重近似带来的输出残差误差,来加速深度神经网络中的矩阵乘法。相比仅近似权重的方法,DyRA在相同计算预算下更接近完整矩阵乘法的结果。论文称,在视觉、语音和语言模型上,DyRA均改善了精度与效率的权衡;在DINOv3上实现了1.5倍的端到端GPU加速,同时精度下降减少超过3倍。

Daewon Chae, Hyunwon Chung, Changwoo Lee 等

arXiv cs.LG

Toward Omni Multimodal Graph Foundation Model: A Topology-Driven Binding Approach

说明迈向全模态图基础模型:一种拓扑驱动的绑定方法

简介该论文提出 GraphBind,一种利用图拓扑结构把多种模态信息绑定到统一共享空间的方法,用于处理节点属性不完整的多模态图。方法通过拓扑组织节点自身语义与可靠的邻域语义,并通过轻量接口适配判别与生成任务。论文称,在与 11 个代表性基线的对比中,GraphBind 在两类任务上表现领先,相对最强基线提升最高达 28.1%。

Xunkai Li, Chenxi Wan, Yinlin Zhu 等

★★★★☆ 值得关注
arXiv cs.CV 有代码

Found but Not Read: When Extracted Text Closes the Retrieval-Reading Gap in Document Vision-Language Models

说明找到却没读到:提取文本如何弥合文档视觉语言模型的检索—阅读差距

简介该论文指出,检索增强的文档问答假设找到正确页面后视觉语言模型就能读懂,但实际上常出现“找到证据却未被使用”的检索—阅读差距。作者在 FoveDoc-Bench 上对比仅使用页面图像与同时加入提取文本的答案,发现加入 CPU-OCR 文本后严格准确率显著提升,并在多个模型上成立。提取文本对文字类证据有效,对图表和图形则无益甚至有害,且其增益随检索质量下降而减小。

看点提出检索与阅读之间的差距并用配对协议隔离,在多个VLM上验证,并划出文本增益的边界,有新意;影响主要在文档问答子领域。

Qingtao Xia, Siyao Cheng, Jiahua Bao 等

arXiv cs.CL

Evaluating VQA in Vision Language Models using Cooperative Principles

说明用合作原则评估视觉语言模型的视觉问答能力

简介本文研究当问题违反格赖斯准则(即不必要、含糊或错误信息)时,视觉语言模型在视觉问答任务中的表现。作者让模型生成添加此类干扰信息的问题修饰语,并测试ChatGPT、Claude、Gemini和Llava等模型,发现违规时其表现下降。研究还比较了人类与模型在语用推理上的差异,以及人类与AI生成违规的不同处理方式。

Monika Shah, Sudarshan Balaji, Somdeb Sarkhel 等

arXiv cs.CL

Evaluating LLM-as-a-Judge Beyond Score Alignment: A Psychometric Analysis of Residual Judging Difficulty

说明超越评分一致性:用心理测量学分析LLM评判的残余难度

简介本文研究大语言模型作为自动评审(LLM-as-a-judge)时的可靠性问题。作者在摘要评测任务(SummEval)上,用多面Rasch模型分别拟合人类与LLM的评分,将分数分解为潜在摘要质量、评分者严厉度、维度严厉度和评分量表阈值等成分,并定义“残余难度”来比较两类评审的判断难点是否一致。研究发现,即便潜在质量层面的一致性中等,残余难度层面也未必一致,且差异依维度而异:连贯性呈现人类更难的偏移,一致性则呈现LLM更难的偏移。

Longwei Cong, Sonja Hahn, Sebastian Gombert 等

arXiv cs.CV

Seeing, Saying, but Not Using: From Reportable Spatial Facts to Usable States in Multimodal Large Language Models

说明能看见、能说出,却未必能用:多模态大模型中从可陈述空间事实到可用状态的差距

简介该论文指出,多模态大模型能正确说出空间事实,并不代表它会在后续推理中使用这些事实。作者提出SpaceConflict基准(23,196条输入),涵盖局部事实绑定、关系组合、跨观察一致性和变换下的状态判断四个层级。实验显示模型能从视觉证据中恢复初始状态,却常在变换推理中失败;作者据此提出操作性状态监督(OSS)方法,在跨观察一致性和变换判断层级上提升较明显。

Jinchang Zhang, Guoyu Lu

arXiv cs.CL · cs.AI · cs.IR

Query-aware routing for Cross-lingual performance gains in Encoders

说明面向跨语言检索的查询感知路由:提升编码器的跨语言表现

简介多语言编码器在查询与相关文档语言不同时,检索效果会下降,即使同语言表现很好。本文研究芬兰语与瑞典语跨语言检索能否在保留原有同语言性能和文档索引的前提下得到提升。作者训练了一个仅作用于查询的低秩适配器(SampoTron),并依据查询与索引语言进行确定性路由:跨语言查询使用适配器,同语言查询使用原始编码器。在六个英芬瑞方向的采样金融基准上,平均nDCG@10从0.241提升至0.291,相对增益20.9%。

Akshay Jain, Edward Kim

arXiv cs.RO · cs.MA 有代码

SceneFactory-3D: Lifting 2D Traffic Scenes into 3D Physical Counterfactuals for Scalable Physically Grounded Safety Evaluation

说明SceneFactory-3D:将二维交通场景提升为三维物理反事实,用于可扩展的物理安全评估

简介论文提出SceneFactory-3D,一个基于GPU批处理的多智能体驾驶仿真器,车辆通过轮胎与路面接触点的悬架和摩擦限制力执行加减速与转向指令。研究者在相同交通场景中仅改变路面条件,比较三类学习策略和两种经典规划器在21种摩擦与坡度条件下的表现。摩擦系数从1.0降至0.18时,学习策略安全通过施工区的车辆比例下降6至90个百分点,近距离碰撞情况在每种学习策略中都更频繁。

Yicheng Zhu, Linfeng Tian, Tianmu Zhao 等

arXiv cs.CL · cs.AI

ConvoDrift: A Multi-Turn Conversational Dataset for Modeling Stylistic Tone Evolution

说明ConvoDrift:用于建模语气风格演变的多轮对话数据集

简介该论文提出 ConvoDrift 数据集,用于研究多轮对话中语言风格(语气)随用户偏好逐步变化的现象,同时保持语义意图不变。数据集包含15,727段多轮对话结构,每段含六组提示-回复对,并标注风格漂移与风格方向。作者还基于语义等价但风格不同的回复构建了成对偏好数据,用于个性化与多元对齐研究。人工与自动评估显示,漂移会引起词汇变化,同时保持语义相似。

Vihindi Kotalawala, Pamoda Dilranga, Gayani Thoradeniya 等

arXiv cs.LG

Peer Effects in Signed Networks: Separating Influence Through Positive and Negative Ties

说明符号网络中的同伴效应:区分正向与负向关系的影响

简介该论文研究在有正负两种关系(支持与对立)的社交网络中,干预措施如何通过社交关系影响个人。作者定义了正向关系、负向关系及其交互作用的效应,并提出了名为SiDE的双重稳健估计器。在六个真实符号网络的半合成实验中,该方法能够准确估计效应;另对一项已发表的学校实验数据进行了探索性重分析,结果在多重比较校正后,四项效应的区间均包含零。

Xiaojing Du, Jiuyong Li, Lin Liu 等

arXiv cs.LG · cs.AI

Distributionally Robust Survival Models under Subpopulation Shift and Outlier Contamination

说明在子群体偏移与异常值污染下的分布鲁棒生存模型

简介本文提出一种用于生存分析的分布鲁棒框架,同时处理潜在的子群体分布偏移和训练数据中的异常值污染。外层最小化通过降低受污染样本的影响来选择修正后的名义分布,内层最大化聚焦于最困难的子群体。实验表明,在两种问题同时出现时,该方法训练更稳定,最差子群体的表现显著提升,整体表现也具有竞争力。

Seonghwi Kim, Sung Ho Jo, Minwoo Chae

arXiv cs.AI

TACD: Distilling Efficient Text-to-Motion Models via Terminal Amplification Control

说明TACD:通过终点放大控制蒸馏高效的文本到动作模型

简介本文提出终点放大控制蒸馏方法(TACD),在无真实动作数据的情况下,从文本提示和预训练教师模型训练高效的动作生成器。该方法将教师查询与学生步长绑定,以限制干净动作空间中的有效损失权重,从而改善少步生成质量。文中报告,在 HumanML3D 和 KIT-ML 上的实验中,八步 HY-Motion 学生模型的 FID 相比未加限制的蒸馏降低了 58%,并在 HY-Motion 和 Kimodo 上实现了 7.7 至 11.9 倍的端到端加速。

Wei-Jin Huang, Yuan-Ming Li, Kun-Yu Lin 等

arXiv cs.LG · cs.CE

DIVINE: Simple Cross-Market Stock Pretraining via Diverse Indicator Reconstruction

说明DIVINE:基于多样化技术指标重建的跨市场股票预训练方法

简介该论文提出DIVINE框架,通过从原始OHLCV价量历史重建技术指标来预训练金融时间序列编码器。模型在六个股票市场数据上联合预训练,重建由16种标准指标衍生的77个目标,随后仅将编码器迁移到下游股票排序任务。作者称,该方法以0.05M参数的轻量编码器在六个市场上取得了最强的平均组合表现。

Kuan-Yu Chen, Shu-Cheng Zheng, Yu-Chen Den 等

arXiv cs.LG

On Unlearning for Time-series Forecasting

说明时间序列预测中的遗忘学习

简介该论文研究如何在时间序列预测模型中删除特定训练数据的影响,而无需完全重新训练。作者提出RDTU框架:先用保留数据的神经正切核预测器得到基础预测,再结合保留参考数据量化每个受影响窗口的结构支持度,并用扩散模型生成残差修正,形成伪标签以指导轻量模型更新。实验显示,该方法得到的模型最接近精确重训练的结果。

Zeyu Shi, Yanhui Luo, Ziming Hong 等

arXiv cs.LG · q-bio.NC

NeuroLens: Learning Latent Embeddings of Neural Semantics from Chronic Recordings

说明NeuroLens:从长期神经记录中学习神经语义的潜在嵌入

简介该论文提出 NeuroLens,一种基于 JEPA 框架的自监督模型,用于从长期(慢性)神经记录中学习去噪后的语义潜在表示。模型通过自适应编码器将不断变化的神经群体映射到共同的潜在空间,并在该空间中预测未来状态,从而减少对记录特异性瞬时波动的敏感。在小鼠和人类的皮层内数据上,其表示改善了决策与语义任务变量的解码,并在长时间跨度上比现有基线更稳定。

Hanrui Lyu, Baiyuan Chen, Tianshu Tan 等

arXiv cs.LG

Counterfactual Action Evaluation, Observation Bottlenecks, and Representation Geometry in Joint-Embedding Predictive World Models

说明反事实动作评估、观测瓶颈与联合嵌入预测世界模型中的表示几何

简介这篇论文指出,世界模型预测误差低并不说明它能区分不同动作带来的后果。作者在可变形物理仿真环境中,对同一干预在仿真状态、图像观测、目标嵌入和预测器输出之间逐层追踪。结果显示,不同指令会改变粒子运动,但41.5%的单步图像对完全相同,且预测器对动作的响应远小于目标嵌入的变化。论文建议将物理效应、观测可见性、表示几何和动作依赖分开审计。

Arjun Subramanian

arXiv cs.AI

Harness-Aware Distillation for Small Language Model Agents

说明面向Harness的小型语言模型智能体蒸馏(HAD):让小模型学会教师模型在框架之外的能力

简介论文提出Harness-Aware Distillation(HAD)方法,用于把大型语言模型智能体蒸馏为小模型。其核心是让学生模型学习教师模型相对于外部框架(harness)额外具备的能力:通过对比教师模型在有无框架信息时的动作偏好,并剔除与框架记录相矛盾的样本。实验表明,在多个长时程智能体基准和模型上,HAD优于同样条件下的在线策略蒸馏基线,减少了无效循环并更常从错误中恢复。

Moonseok Choi, Taehong Moon, Giung Nam 等

arXiv cs.CL

Adaptive Mutual Distillation for Balanced Multi-Task Post-Training of Large Language Models

说明自适应互蒸馏:面向大语言模型多任务后训练的均衡方法

简介该论文针对大语言模型多任务后训练中各任务数据量不均的问题,提出自适应互蒸馏框架 AMD。两个采用不同任务均衡策略的模型协同训练,并通过短程训练探测和任务级验证分数,为每个任务与迁移方向选择蒸馏权重调整。在六个基准和三种骨干模型上,两个模型的平均得分均高于同等采样策略下的监督微调基线,合并后的单一模型比多任务监督微调平均高出 2.91 分。

Baohang Li, Xiaocheng Feng, Yichong Huang 等

arXiv cs.AI

Bounded Reachability & Jailbreak Detection via Contraction-Constrained State Space Models

说明基于收缩约束状态空间模型的有界可达性与越狱检测

简介本文研究基于状态空间模型(SSM)的安全分类头能否在嵌入空间有界扰动内对所有输入给出相同预测并获得形式化认证。作者证明,当状态转移矩阵的无穷范数小于1(收缩条件)时,可通过区间边界传播进行精确认证;通过铰链惩罚强制收缩后,在有毒评论数据上可认证比例从41%提升至59%。在越狱检测任务中,该方法在JailbreakBench上训练后可零样本迁移到AdvBench和HarmBench,并且在检测指标上与基于Mamba嵌入的逻辑回归相当或更优,其主要价值在于提供形式化认证。

Omanshu Thapliyal

arXiv cs.RO · cs.LG · cs.MA

Permutation Robustness Is Not Enough: Action Collapse in Multi-Agent Transformer Policies

说明排列鲁棒性并不足够:多智能体 Transformer 策略中的动作坍缩

简介该论文研究多智能体机器人协作导航中,Transformer 策略因智能体顺序被当作有序序列而受到的影响。作者指出,排列误差低可能只是因为所有智能体选择了相同动作,因此同时使用动作多样性、同动作比例和最大动作频率等指标进行评估。结果显示,较弱的等变性正则化在 N=3 时能提升鲁棒性并保持动作多样,而 N=4 时需要更小的正则化权重。

Amit Thakur, Mukesh Singhal

arXiv cs.MA · cs.LG

Turnover-Orthogonal Credit Assignment for Open-Team Multi-Agent Reinforcement Learning

说明面向开放团队多智能体强化学习的“与人员更替正交”信用分配(TOCA)

简介该论文研究智能体可能在回合中加入、离开或被替换的开放团队多智能体强化学习。作者提出TOCA方法,把行动效应、纯人员更替效应及两者的交互分开,使智能体的信用信号不被外部更替事件干扰。在受控实验和仅替换的Dynamic Spread基准中,TOCA相比事件感知的MAPPO式基线取得更高回报,移除交互信用项会明显降低性能。

Amit Thakur, Mukesh Singhal

arXiv cs.LG

Understanding Enrichment in Reinforcement Learning

说明理解强化学习中的富集(enrichment)机制

简介在奖励稀疏时,带可验证奖励的强化学习(RLVR)常用提示或中间指导来生成更多成功样本,但这会使策略梯度更新产生偏差。论文从数学上证明,省略或截断重要性权重修正会隐式地改变所定义奖励的权重,并把由此产生的梯度误差分解为尺度、旋转和方差三部分。作者还提出一种序贯蒙特卡洛(SMC)权重修正方法,使修正的方差累积从指数级变为加性。最后,论文用 Qwen3-1.7B 在 OpenMathReasoning 稀疏数据上的微调结果,说明富集(无论是否修正)如何帮助稀疏领域避免训练崩溃。

Jinwoo Kim, Shraddha Barke

arXiv cs.AI 有代码

DNAlign: Dynamic Null-Space Safe Alignment for LLMs

说明DNAlign:面向大语言模型的动态零空间安全对齐方法

简介该论文提出 DNAlign,一个轻量级的大语言模型安全对齐框架,结合控制理论优化与零空间投影。框架将可控扰动限制在与有害内容相关的子空间内,以减少有害输出并保留通用知识与回答质量。在多个模型主干上的评估显示,其在降低有害输出的同时保持了流畅性、连贯性和事实实用性。

Jisheng Dang, Yushuo Zhao, Dewei Liu 等

arXiv cs.CL

How Robust Is Multimodal Claim Verification to LLM Rewriting?

说明LLM 改写会不会影响多模态主张验证的判断?

简介本文研究大语言模型改写文本的风格变化,是否影响模型对学术内容的判断。作者以多模态主张验证为任务,即判断一段文字主张是否有给定证据支持。实验对 11 个开源模型(涵盖 5 个视觉语言模型系列,参数从 20 亿到 380 亿)测试了自然改写和插入单个 LLM 常用词两种方式。结果显示,多数模型的准确率没有明显下降,但在含有保守措辞的改写下,多数模型的概率出现了显著偏移。

Yun-Ang Wu, Xanh Ho, Andre Greiner-Petter 等

arXiv cs.RO · cs.CV

PointWAM: 3D World Action Modeling for Dexterous Robotic Manipulation

说明PointWAM:面向灵巧机器人操作的三维世界动作模型

简介该论文提出PointWAM,一种三维世界动作模型,把环境场景与手部分开建模,并在统一的时空坐标系中预测二者的三维点轨迹。模型输入彩色点云和语言指令,预测场景与手部随时间的共同演化,再将预测的手部运动转换为机器人动作。论文报告,使用人类示范视频预训练以及场景轨迹监督均能提升DexJoCo任务成功率,模型在十个DexJoCo任务上超过此前最优方法,并在真实机器人上优于多个视觉-语言-动作模型。

Chunghyun Park, Beomjun Kim, Seungcheol Park 等

arXiv cs.LG · cs.CL

To Explore The Strange New World Beyond Data Distribution: System Behavior, Causality Tax, and Non-causal Base Model

说明探索数据分布之外的新世界:系统行为、因果税与非因果基础模型

简介论文提出 SBD 框架,把数据空间之外的系统行为 S 作为证据下界中的不可约项。作者认为,因果性在引入 S 后可能既非必要也非最优,并提出"因果税"的概念,即忽略 S 时因果建模只是带有额外结构误差的次优近似。作者还提出非因果变分族 Green Shell(GSH),并在 NTK 分析中报告其误差界更紧、信噪比提升超过 7dB。

Xianzhi Zeng, Jiangneng Li, Gao Cong

arXiv cs.LG 有代码

All Work And No Play Makes Jack a Dull Boy: Understanding and Preventing Catastrophic Strategy Collapse in RLVR

说明《工作与不玩耍使杰克变得乏味》:理解并防止RLVR中的灾难性策略崩溃

简介本文研究大语言模型在可验证奖励强化学习(RLVR)后训练中,GRPO类算法后期出现的严重崩溃现象。作者发现这并非良性的策略精简,而是有效策略容量的有害收缩。论文提出统一的理论框架,并给出镜像纠缠指数(MEI)作为在线预警信号,还提出“网格学习”(Mesh Learning)方法,在多个推理策略之间保持多样性以防止崩溃。在多个基准和模型系列上,该方法表现优于基线。

Qiyuan Huang, Tianshi Xu, Meng Li

arXiv cs.RO · cs.AI · cs.CV

FastOPD: On-Policy Distillation for Lightweight VLA Deployment

说明FastOPD:面向轻量化视觉-语言-动作模型部署的在线策略蒸馏方法

简介大型视觉-语言-动作(VLA)基础模型计算成本高,难以部署到真实机器人上。本文提出 FastOPD,通过高效的在线策略蒸馏,把大模型压缩为轻量学生模型,结合单状态流映射监督与自一致性目标进行训练。在 LIBERO 上,仅用两步推理即保留 π0.5 约 84% 的性能,推理延迟降低 78.1%。

Yoojin Oh, Jeongsol Kim, Yeonwoo Seo 等

arXiv cs.AI 有代码

AMBER: Multi-View Adaptive Budget Allocation for Listwise Vision-Language Reranking

说明AMBER:面向列表式视觉-语言重排序的多视角自适应预算分配方法

简介视觉-语言模型可用于多模态检索的列表式重排序,但推理成本高,只能评估小范围候选视图,现有多次调用策略常把调用浪费在信息量低的候选对和简单查询上。本文提出在线、有预算约束的多视角重排序框架AMBER,用持续更新的Elo分数维护全局排序状态,并在候选视图构建和查询调度两个层面动态分配计算资源。实验在CIRR、CIRCO和PhotoBench上进行,结论是在可比的VLM调用预算下,AMBER在所比较的多次调用方法中整体表现最好。

Wenteng Chen, Jiachen Zhu, Rong Shan 等

arXiv cs.CL · cs.LG

Clinical Concept Centers in LLMs

说明大语言模型中的临床概念中心:在潜在空间中定位并验证临床概念表征

简介本文研究开源大语言模型内部是否存在可定位、可因果作用的临床概念表征。作者在所测试的全部十一个开源模型中发现了专门的临床概念中心,它们只对对应的临床叙述激活,并能在受限与开放式场景中因果地影响模型行为。文中还表明,沿这些中心进行引导可带来下游临床任务的改进,且盲法临床医生评估显示,这些中心的激活与使用情况可预测医生的偏好。

Aishik Nagar, Abhishek Vaidyanathan, Arun-Kumar Kaliya-Perumal 等

arXiv cs.AI · cs.CL · cs.LG

FSPO: Policy-Consistent Risk and Pareto-Feasible Control for Budgeted LLM RL Post-Training

说明FSPO:面向预算约束下大模型强化学习后训练的策略一致风险与帕累托可行控制

简介该论文提出FSPO,一种用于大模型强化学习后训练的反馈状态控制器,同时调节温度、组大小、裁剪、KL正则化等多种训练参数。方法包括与部署控制器一致的未来风险模型、基于交叉拟合轨迹的风险校准(DCTC),以及判断剩余时域资源是否可行的帕累托资源保留证书(PRCC)。在匹配的GRPO资源预算下,FSPO在保留集和分布外评测上的准确率分别优于最强的自适应基线PB2。

Miaobo Hu, Shuhao Hu, Xiaobo Guo 等

arXiv cs.AI

MLCommons Jailbreak Benchmark v1.0

说明MLCommons 越狱基准 v1.0:评估大语言模型抵御单轮文本越狱攻击的能力

简介该论文提出 MLCommons 越狱基准 v1.0,用于评估大语言模型在单轮文本越狱攻击下的稳健性。基准在同一流程中完成系统与攻击选择、基线与对抗评测、人工标注、评估器校准和评分。测试涵盖 8 个开放权重系统、264 个种子提示,以及代表性攻击。结果显示,不安全回复率从基线条件下的 11.08% 升至越狱条件下的 18.65%,平均“韧性差距”为 7.57%。

Carsten Maple, Cagatay Yucel, Isaac Holeman 等

arXiv cs.AI

Scaling Trajectories for Complex Tasks through Recursive Self-Rewrite

说明通过递归自我改写扩展复杂任务的训练轨迹

简介该论文提出递归自我改写(RSR)框架,利用同一基础模型在多种辅助工具下找到复杂终端任务的成功解法,再将其改写为通用工具环境下的训练轨迹。研究将约3000个自建终端任务中的2001条成功源轨迹扩展为11094条改写轨迹用于监督微调,结果在多个终端基准上优于基础模型和直接轨迹微调。

Zongxia Li, Yucheng Shi, Zhongzhi Li 等

arXiv cs.CV

TerrainForge: Physics-Grounded Road Geometry Editing for Counterfactual Autonomous Driving

说明TerrainForge:基于物理的道路几何编辑,用于自动驾驶反事实场景生成

简介该论文提出TerrainForge框架,可在重建的多车驾驶片段上生成以道路几何为核心的反事实场景,如坡顶、凹陷、减速带和摩擦力变化。统一的道路模型将场景变形与四轮车辆动力学相连,并通过CarSim与Waymo重建场景进行验证。作者还训练了一个筛选代理模型,用于在完整多车仿真前快速预测道路编辑对自车终端车距的影响。

Yang Chen, Yicheng Zhu, zhenning Li 等

arXiv cs.AI

MetaRubric: Learning to Reward for Rubric-Based Reinforcement Learning

说明MetaRubric:面向基于评分标准强化学习的奖励学习方法

简介该论文针对基于评分标准的强化学习中,评分者可能在回答缺少所需信息时仍给高分的“空洞得分”问题,提出 MetaRubric。方法在策略优化与依据回答调整评分标准之间交替进行,并构造改变关键事实的反事实提示;只有回答提供足够证据时才给分。多个骨干模型上,它在 PubMedQA 准确率上较静态评分者 GRPO 提高 6.00 至 20.40 个百分点,并在 HealthBench-Hard 及两个多模态医学基准上有进一步提升。

Yuxuan Fan, Jaehong Yoon

arXiv cs.LG · cs.AI 有代码

Adaptive Spectral-Koopman Dynamics Modeling for Temporal Domain Generalization

说明面向时间域泛化的自适应谱-Koopman动力学建模

简介该论文提出AdaSpecK框架,用于应对数据分布随时间漂移的时间域泛化问题。方法结合谱正则化的Koopman动力学建模,在潜空间滤除噪声、提取低频轨迹,并通过目标条件注意力与路由机制自适应地利用历史信息。作者称其在八个分类与回归基准上达到了最先进的性能。

Tengxue Zhang, Yu Ke, Yang Shu 等

arXiv cs.CL

Text-Centric Post-Training for Omni-Modal Reasoning

说明以文本为中心的全模态推理后训练方法

简介该论文研究全模态大语言模型的音视频联合推理训练。作者发现模型在多跳推理上存在困难,即便对应的单跳问题都能答对。仅用文本进行推理训练即可提升多个模型的推理表现,但会削弱感知能力。因此作者提出先用文本训练做主要推理优化,再用少量音视频强化学习修复感知,其推理收益保留了最佳纯文本方案的93.5%。

Ziyang Cheng, Yuhao Wang, Hongcheng Liu 等

arXiv cs.LG

Gated Slot Attention-2: Two-Sided Associative Memory Correction in Linear Attention

说明门控槽注意力2:线性注意力中的双侧关联记忆校正

简介论文针对线性注意力模型固定大小循环记忆难以管理的问题,提出门控槽注意力2(GSA2)。该方法在共享潜在槽中,分别用门控Oja规则2对键侧、门控Delta规则2对值侧进行校正,并给出并行训练的分块算法。实验显示其在多项基准上优于强线性注意力基线,同时保持线性时间建模和常数内存解码。

Ruijie Li, Shengnan Ding, Weimin Zhang 等

arXiv cs.AI

iS-KV: Online Low-Rank KV Cache Compression via Block-Incremental SVD

说明iS-KV:基于分块增量SVD的在线低秩KV缓存压缩

简介长链式推理会让自回归解码时的KV缓存随生成长度线性增长。该论文提出iS-KV方法:保留最近窗口的精确状态,并把较早的状态增量并入有界秩表示,同时随低秩基的更新同步历史坐标,以保持表示一致。在DeepSeek-R1-Distill-Llama-8B上,该方法以4.06倍压缩达到82.6%准确率(原模型为83.6%);在Qwen3-8B上以5.64倍压缩达到89.2%准确率。在相同内存预算下,其表现优于基于令牌淘汰的基线方法。

Yiren Zhao, Guanghui Song, Tianrui Qin 等

arXiv cs.AI · cs.CL · cs.LG

ROUTEAUDIT: Interaction-Aware Identification for Budgeted Multi-Verifier Routing

说明ROUTEAUDIT:面向预算约束下多验证器路由的交互感知识别方法

简介该论文针对自适应多验证器系统的比较问题,提出ROUTEAUDIT框架,把验证器路由看作在给定合同条件下的识别问题,并通过匹配的路由对比只改变策略参数来隔离策略的作用。框架包含合同格、策略无关的响应记录和请求级区间界限,并为每次比较输出归因证书。原文报告在保留的任务请求上,学习型与RLVR方法的质量分别为0.9522和0.9553,高于匹配静态基线的0.9484。

Miaobo Hu, Shuhao Hu, Xiaobo Guo 等

arXiv cs.AI · cs.LG · cs.RO

VIGOR: Zero-Shot Visual Generalization via Latent-Space Consistency in Model-Based Reinforcement Learning

说明VIGOR:基于潜空间一致性的模型强化学习零样本视觉泛化方法

简介该论文提出VIGOR框架,针对基于模型的强化学习在背景、光照或相机变化等未见视觉干扰下性能下降的问题,通过非对称弱到强数据增强、动力学层面的一致性约束以及编码器稳定化实现零样本泛化。在DeepMind Control Suite和Robosuite上的评估显示,VIGOR优于现有模型无关与模型相关的基线方法,并且消融实验表明其鲁棒性主要来自潜空间一致性而非特定的增强方式。

Mingyu Park, Samyeul Noh, Hyun Myung 等

arXiv cs.AI

BitNest: Bit-Nested Speculative Decoding for Memory-Efficient LLM Inference Acceleration

说明BitNest:用于降低内存占用的比特嵌套式推测解码,加速大语言模型推理

简介该论文提出BitNest框架,在高精度目标模型的权重表示中直接嵌入低精度草稿模型,二者共享同一份物理权重,从而减少额外内存开销。作者还将这种渐进精度设计扩展到KV缓存,以支持长上下文推理。在多个7B至8B的边缘设备友好型大语言模型上,平均推测接受率为95.2%,相比FP16自回归解码实现1.48至1.61倍的端到端加速。

Chence Yang, Ningxi Cheng, Arash Akbari 等

arXiv cs.CV · cs.RO · eess.IV 有代码

FUSEye: Training-Light Fisheye Detection with Overlapping Views and Zero-Initialized Adapters

说明FUSEye:利用重叠视角与零初始化适配器的轻量训练鱼眼目标检测

简介鱼眼相机为移动机器人提供低成本的环境视野,但常用的COCO预训练检测器在鱼眼图像上效果很差。FUSEye在冻结主干网络的YOLO26-x上增加约22.7万参数,通过重叠网格视图、零初始化残差适配器和跨投影一致性融合三个层面弥合迁移差距。在WoodScape基准上,mAP50从0.148提升到0.266,达到全量微调精度的84.3%;仅用25%标注图像时仍保留97.6%的全量性能。

Wenya Su, Kai Luo, Di Wen 等

★★★★☆ 值得关注
arXiv cs.LG · math.OC · stat.ML

Muon Learns Facts Better: Understanding the Role of Spectral Orthogonalization

说明Muon 更擅长学习事实:谱正交化的作用

简介论文用一个可分析的事实回忆模型研究 Muon 优化器中的谱正交化如何影响特征学习。比较发现,谱梯度流相比普通梯度流,关于主体与关系的两类信息学习时间比从 Θ̃(√(S/R)) 降到 Θ̃(1),且误差衰减更快。另外,谱梯度流与梯度流在对词元嵌入做正交变换时具有等变性,而符号梯度流(Adam 的连续极限)不具备。

看点在可解析的事实回忆模型中,证明谱正交化将学习时间比从√(S/R)降至Θ(1),并给出误差衰减率的理论刻画,新意明显。

Xuheng Li, Qiwei Di, Yuan Cao 等

arXiv cs.AI

Modeling Shared and Individual Structure for Cross-Subject Continuous Affect Regression from EEG-fNIRS

说明基于EEG-fNIRS的跨被试连续情绪回归:共享与个体结构建模

简介该论文研究在不使用目标被试标签的条件下,利用脑电(EEG)与功能近红外光谱(fNIRS)信号,逐秒预测被试的效价与唤醒度。方法将情绪轨迹分解为观看相同视频的被试之间的共享结构,以及由无标签的EEG α频段跨通道同步性估计出的个体结构。论文报告在留出被试上的平均绝对误差优于所列基线(EEGNet、ASAC-Net),并记录了一系列未能超越该单一指标的负面结果。

Xuan Wang, Bing Wang, Shuai Chang 等

arXiv cs.LG

Efficient Memory Crystallization for Graph Learning under Non-Stationary Distribution Shifts

说明面向非平稳分布漂移下图学习的高效记忆结晶方法(EMC)

简介本文针对图学习模型在分布持续漂移环境中的适应问题,提出无需训练的测试时框架EMC,将每个新图域压缩为紧凑且语义保真的记忆,而非依赖额外生成模块合成记忆。作者还通过状态演化记忆建模域间依赖,并给出比直接适应更紧的泛化误差界。实验显示,相较于近期竞争方法,EMC在非平稳漂移图数据上性能更优,平均运行时间减少87.4%,GPU显存占用减少92.4%。

Yue Hou, Ruomei Liu, Yingke Su 等

arXiv cs.AI

PAPER2LLM++: Continual Self-Evolution of LLMs from Research Papers

说明PAPER2LLM++:让大模型从研究论文中持续自我进化

简介该论文提出PAPER2LLM++框架,使大语言模型能够从新发表的研究论文中持续学习。系统会从每篇论文中提取有证据支撑的发现,检验论文所报告的模型缺陷是否仍然存在,并在必要时将其转化为候选学习信号。只有在改进目标行为且不明显遗忘既有提升、不降低通用能力时,更新才会被保留。实验显示模型能够在保留先前收益的同时逐步吸收新发现。

Hongji Pu, Yilun Zhao, Wenpeng Yin

arXiv cs.AI

Law And Order: Tax Law Autoformalization

说明《Law And Order》:税法自动形式化研究

简介本文研究如何把税表和填报说明这类法律文本自动转写为可执行的符号程序。作者提出 Law&Order 框架,结合大语言模型生成、单元格级验证与局部迭代修复。在 51 份独立撰写的留出税务申报样本上,该框架实现了单元格级和表单级 100% 准确率,而最强的单独大语言模型仅为 66%。

Sophia Simeng Han, Yoshiki Takashima, Anjiang Wei 等

arXiv cs.CV

Beyond Token Accuracy: Prioritizing What Matters for Visual Reconstruction

说明超越词元准确率:为视觉重建优先保障关键内容

简介本文提出AdapToC框架,用于面向重建质量的自适应视觉词元传输。发送端根据图像内容、信道状态和通信预算,为每幅图像动态决定传输词元数量并分配不同保护等级;接收端的自适应MaskGIT解码器结合信道可靠性恢复缺失或受损词元。在相同通信开销下,该方法相比最强的静态基线峰值平均PSNR提升4.20 dB。

Zhicheng Liu, Zhouxiang Zhao, Chenliang Wu 等

★★★★☆ 值得关注
arXiv stat.ML · cs.LG

Hold-Out Scoring for Efficient Gaussian DAG Learning

说明用于高效高斯有向无环图学习的留出评分方法(HOST)

简介本文提出一种名为 HOST 的高斯有向无环图(DAG)学习算法,用逐节点的留出样本评分和凸回归代替子集搜索,且无需事先给定入度上界。作者指出,只要对排序评分误差做单侧控制即可正确恢复排序,留出评分会使不应被选中的候选者评分偏高,方向有利。在一定条件下,HOST 可在多项式时间内以约 d log p 的样本量精确恢复最大入度为 d 的 p 节点 DAG;实验显示其图恢复效果具竞争力,且运行时间随规模增长表现较好。

看点用留出样本打分与凸回归替代子集搜索,在多项式时间内达到接近最优的样本复杂度,新意明显;实验规模与对比范围有限。

Donguk Shin, Byeongguk Kang, Inseol Lee 等

arXiv cs.LG · cs.AI · cs.CL

OPD Before RL: Warm-Starting Rubric-Based RL with On-Policy Distillation

说明先做在线策略蒸馏,再做基于评分标准的强化学习:一种两阶段训练方法

简介论文提出两阶段训练框架,用于评分标准(rubric)驱动的语言模型训练。第一阶段用评分标准作为教师的额外信息,让不可见评分标准的学生模型在其自身生成的文本前缀上模仿教师的逐词分布,提供细粒度监督;第二阶段再以评分标准得分作为奖励进行强化学习。作者在HealthBench、ResearchQA和RubricHub Science上以开放权重模型进行评估,报告该方法得分最高,并指出在RubricHub Science上SFT加强化学习的基线会对未提供所需内容却声称符合评分标准的回答给予高奖励,而该框架表现出的奖励投机迹象较少。

Xinpeng Wang, Wei Shi, Yu-Chia Chen 等

arXiv cs.LG

Controlling Polar Exposure to Delay Memorization in Diffusion Models

说明控制极化曝光以延缓扩散模型的记忆化

简介论文研究扩散模型在开始复制训练样本之前的生成窗口。作者提出质量门控去白化方法(QGD),先用快速极化更新,质量达标后逐步恢复固定增益动量,以延缓复制。在2000张CIFAR-10子集上,QGD将有用区间扩大8.32倍,常见检查点的复制率降低75.9%,FID为75.56,优于同一选择器下SGD的79.37。

Xuanchen Wang, Heng Wang, Weidong Cai

arXiv cs.CV 有代码

TRAC: Trajectory-aware Reuse and Adaptive Correction for Efficient Autoregressive Video Generation

说明TRAC:面向自回归视频生成的轨迹感知缓存复用与自适应校正方法

简介该论文提出 TRAC 框架,用于加速自回归视频生成并保持稳定质量。它包含三个组件:鲁棒累积调度(RCS)、自回归轨迹感知引导调度(ATGS)和频谱结构校正(SSC)。论文称在 SkyReels-V2 的 VBench 评测中,相比原始模型加速 6.03 倍,VBench 分数仅下降约 0.6%,且在延迟和生成质量上优于现有的自回归加速方法。

Jiaxing Song, Weiqi Yan, You Huang 等

arXiv cs.CL 有代码

Automatic Evaluation of Mental Health Stigma in Online Communication

说明在线交流中心理健康污名的自动评估:一个多语种标注基准

简介该论文提出一个基于理论的基准,用于自动评估网络新闻和社交媒体文本中的心理健康污名,涵盖六种心理健康状况,并使用细粒度的分类体系进行标注。研究发现,检测情感、毒性和仇恨言论的模型难以准确捕捉心理健康污名,大型语言模型在缺乏明确操作规则时往往过度判定为污名。

Naomi Baes, Jemima Kang, Nick Haslam 等

arXiv cs.LG

LatticeSMC: Where to Spend Inference-Time Compute in Chunked Sequence Generators

说明LatticeSMC:在分块序列生成器中把推理计算投向何处

简介论文针对音乐、动作和视频等分块生成的长序列模型,提出一种预算匹配的推理时引导采样方法 LatticeSMC,在分块索引与去噪步数构成的二维格点上进行重采样。实验显示,在相同计算量下,它在音乐到舞蹈和40秒文本到音乐生成任务上提升了节拍对齐与提示词遵循度,同时保持留出数据上的质量,并获得人类评分者60%到77%的两两偏好。

Xuanchen Wang, Heng Wang, Weidong Cai

arXiv cs.CL · cs.AI

Improving Atomic-Fact Recall via Focused Views in Unstructured Knowledge Editing

说明通过聚焦视图提升非结构化知识编辑中的原子事实召回

简介大语言模型在预训练后的知识更新往往无法自动体现,知识编辑可在不重新训练的前提下有针对性地修改部分知识。本文指出,现有非结构化知识编辑方法存在上下文依赖问题:模型能复述编辑段落,却难以在缺少原文上下文时可靠召回其中的单个事实。作者提出FOVEATED框架,在编辑时随机偏移前文键的旋转位置编码以构造聚焦视图,推理时则移除该扰动,并在多种编辑器、模型与基准上报告了一致的改进。

Ding Wu, Ye Zhang, Haoyu Wang 等

arXiv cs.LG · cs.AI · stat.ML

Nearly Optimal Fixed-Confidence Best-Arm Identification with 1-Bit Feedback

说明基于1比特反馈的近最优固定置信度最佳臂识别

简介论文研究在严格1比特反馈约束下的固定置信度最佳臂识别问题:每轮学习者选择一个臂和一个查询集合,只能获得一个指示采样奖励是否属于该集合的比特。作者提出基于随机阈值查询和截断尾积分恒等式的时间一致1比特均值估计方法,并将其嵌入候选-挑战者式算法中。其中相位自适应截断算法给出与差距相关的样本复杂度,并证明了由有限方差1比特反馈带来的对数惩罚是固有的,该下界与相位算法的主导项在低阶对数对数因子内相匹配。

Khang Luong, Dinh Thai Son, Hoang Ta 等

arXiv cs.CL · cs.DB

AptMQL-Bench: From Text-to-SQL to Text-to-MQL via Access-Pattern Schema Design and Data-Preserving Migration

说明AptMQL-Bench:从文本到SQL转向文本到MQL的基准测试

简介本文提出AptMQL-Bench,用于评测将自然语言转换为MongoDB查询语言(MQL)的能力。作者基于BIRD数据集,依据访问模式设计文档模式,并把数据从SQLite无损迁移到文档数据库,共包含21个数据库、3186条自然语言请求及对应MQL查询。结果显示,表现最好的Claude Opus 4.5在无外部知识证据时准确率为57.38%,有证据时为70.34%,说明该任务仍具挑战性。

Hy Nguyen, Nabi Rezvani, and Robin Vujanic

arXiv cs.CL · cs.AI

When History Fails to Become Experience: Action Calibration in Language Agents

说明当历史未能转化为经验:语言智能体的行动校准

简介本文研究语言智能体如何利用同一任务中的历史交互来改进后续决策。作者发现,历史整体上能提高任务完成率,但打乱历史中动作与观察的对应关系后,成功率只出现小幅下降,因此推测智能体并未可靠地将过去动作与其结果关联起来。作者通过为每条返回观察标注其对应的前一动作,提升了任务成功率并减少了重复动作,最后提出一种学习型校准器,进一步选择性地记录经验以指导决策。

Jingyu Liu, Zhiwen Wang, Yuxin Jing 等

arXiv cs.LG

No-Free-Graph: Learning When Multimodal Data Should Be Graphified

说明无免费图:学习多模态数据何时应被图化

简介多模态图学习通常默认为数据构建图结构,但该做法并非总有益。本文通过多个数据集、任务和图构建方法的实证研究发现,引入关系结构有时带来明显提升,有时收益有限甚至为负。作者提出 MAG-SCOUT 框架,在生成完整图拓扑前评估是否值得构建图,从而决定构建或跳过,并在六个数据集、三项任务上节省约 33.1% 的图构建工作量,同时保留约 96.7% 的正收益。

Zekai Chen, Kai Hu, YuXin Zeng 等

arXiv cs.LG

Exact Memory-Time Optimization for Prefix-Cached Language Model Serving

说明语言模型前缀缓存的精确内存-时间优化

简介本文研究语言模型前缀缓存的保留策略,在重新计算与存储时间之间权衡。作者提出前缀证书保留(PCR)方法,将可用前缀的收益建模为最大权闭包,并归约为一次最小割求解。实验基于公开的 Mooncake 请求轨迹,衡量的是可用前缀块数量与存储时间,而非 GPU 延迟。

Shivam Gupta

arXiv cs.RO · cs.LG

Localized Conformal Safety Monitoring with Vision-Language Models for Autonomous Driving

说明基于视觉语言模型的局部共形安全监测(自动驾驶)

简介论文提出一种名为SLLCP的后处理校准方法,用于冻结的视觉语言模型(VLM)。该方法把模型不可靠的碰撞预测转化为经概率校准的安全预测集合,并根据驾驶场景对历史经验加权来计算不确定性阈值。在来自未见场景的15k条CARLA轨迹上,SLLCP分别在Qwen和Cosmos骨干上正确标记了89.6%和88.4%的碰撞轨迹,而基础VLM分别只标记了4.6%和39.1%。

Lu\'is Marques, Rong Fang, Disha Kamale 等

arXiv cs.LG

A Controlled Audit of Personal AI Memory for Rating Prediction

说明个人AI记忆用于评分预测的受控审计

简介该论文研究个人AI在结构化评分预测中,是利用历史“物品-评分”关联,还是主要依赖用户的评分倾向。作者通过在每个用户内部打乱历史评分(保持评分分布、物品覆盖和元数据不变)作为对照,在Coat和MovieLens上对400个保留用户档案、6,160条目标评分进行了评估。研究认为,提取、关联使用、输出可靠性和读取器选择需要分别进行评估。

Shivam Gupta

arXiv cs.LG

A Two-Stage Cascade for Near-Real-Time Forest Anomaly Detection from Sentinel-1 SAR Time Series

说明基于Sentinel-1 SAR时间序列的近实时森林异常检测两阶段级联方法

简介本文提出一种两阶段统计编码器级联系统,利用Sentinel-1雷达时间序列进行近实时森林异常检测,以应对云层遮挡及季节性后向散射变化的问题。第一阶段为基于稳健统计的z分数检验,第二阶段为基于卷积自编码器潜在空间SSIM的确认门控,两阶段一致时才发出警报,并给出置信度与风险等级。

Pann Thinzar Seint, Subas Chhatkuli, Bryan Atwood

arXiv cs.AI

Dynamic LLM Routers are Often Misguided

说明动态大模型路由器常常走偏:一项对六种商用路由器的分析

简介论文评测了六种商用动态大模型路由器在14种设置、八类任务上的表现,发现它们都不优于在两个精选模型之间随机选择的路由器(成本相当时),部分路由器差距超过10个百分点。作者归纳出难度盲视、长度反转、语义匹配和模型名单欠优四种常见问题,并提出新的评测方法与一个简单的双模型路由器示例,但其相对随机路由的增益有限。

Sam Wang, Julia White, Sahibzada Allahyar 等

arXiv cs.LG

Expanding Attention: A Taylor-Series Route to Linear-Time Transformers with a Fixed Number of Recurrent States

说明扩展注意力:用泰勒级数实现状态数固定的线性时间 Transformer

简介论文把注意力的指数核展开为 n 项泰勒级数,并将因果历史压缩为 n 个循环状态,每个词元仅做一次秩一外积更新,状态数与上下文长度 N 无关。文中报告在 N=8192 时比 softmax 快 20.8 倍,N=65536 时单词元解码快 76.0 倍。作者还指出,n=3 时误差和每头元素数之间的权衡最优,并且必须对查询和键做归一化。

Zicong Huang

arXiv cs.CV

FiberGeoText: A Vision-Language Model for Population- Level Organization of Superficial White Matter

说明FiberGeoText:用于组织浅层白质群体级结构的视觉-语言模型

简介浅层白质是大脑中连接相邻脑区的短程纤维区域,其结构组织尚未被充分刻画。本文提出FiberGeoText(FGT),一种视觉-语言模型,将由超高分辨率扩散MRI重建的短程纤维束按群体层面聚类。该方法联合表示纤维的三维轨迹、皮层解剖背景和形状,并用预训练大语言模型编码皮层端点的文字描述。在0.76毫米扩散MRI数据上,FGT在皮层脑区一致性、簇内形状一致性、簇大小一致性和跨个体对应性方面优于现有方法,并能较好地推广到未见过的受试者。

Yuqian Chen, R. Jarrett Rushmore, Guikun Chen 等

arXiv cs.LG · stat.ME

Jumping up and down: Denoiser diffusion models for discrete ordinal data

说明上下跳跃:面向离散有序数据的去噪扩散模型

简介论文提出 JUD(Jumping Up and Down)模型,这是一类基于去噪器的扩散模型,专门用于离散有序(整数型)数据。该方法的特点是可以对数据进行双向(向上和向下)扰动。作者称训练目标简单,并在不同数据类型上取得了有竞争力的结果。

Yair Shenfeld, Ricardo Baptista, Stefano Peluchetti

arXiv cs.CV · cs.AI

Correcting Guided Diffusion Trajectories with Spectral Alignment

说明用谱对齐修正引导式扩散采样轨迹

简介论文提出谱校正引导(Spectral Correction Guidance),以中间状态的频谱是否符合前向过程的预期谱演化作为判断标准,在采样时将偏离解析参考谱的部分加以修正。该方法无需训练,可套用于不同扩散模型与条件生成任务。作者报告,在文本生成图像和 ImageNet 上,相比基线引导方法与分类器自由引导(CFG)均有改进,且在不同引导强度和较少去噪步数下仍然成立。

Gihoon Kim, Taesup Kim

arXiv cs.IR · cs.LG

Learning Query Encoders Can Be Hard Even When Vector Retrieval Is Geometrically Easy

说明即使向量检索几何上可行,学习查询编码器也可能很困难

简介本文研究在冻结文档索引条件下,单向量查询编码器能否达到索引本身支持的最大召回率。作者在多个真实检索基准上发现,单向量查询编码器的检索质量往往远低于文档索引的理论上限。理论上,作者构造了一个检索任务:存在可由小型单隐层 ReLU 网络表示的完美召回编码器,但任何统计查询学习器都需要指数级数量的统计查询才能超过随机基线 k/n,说明查询编码器的可学习性可能是嵌入式检索的一个障碍。

Anders Wikum, Nina Mishra, Amin Saberi 等

arXiv cs.CL

EpiWorld: Grounding LLM Policy Agents in Epidemiological World Models

说明EpiWorld:以流行病学世界模型约束大语言模型政策代理

简介该论文提出EpiWorld框架,让大语言模型政策代理基于学习得到的、以干预动作为条件的流行病学世界模型,并结合公共卫生规程、监测工具和经事后分析积累的经验技能库进行决策。框架可对候选干预进行反事实推演并据此优化政策选择,同时保持协议约束不变。在COVID-19和流感的回顾性数据上,该框架在多种大语言模型骨干上平均使累计住院人数降低约16%,部分数据集最高降低59%,并优于强化学习和最优控制基线。

Zeeshan Memon, Yiqi Su, Kai Shu 等

arXiv cs.AI

On the Chain-of-Thought Monitorability of Looped Language Models

说明循环语言模型的思维链可监控性研究

简介该论文首次系统评估了循环语言模型(LoopLM,反复调用共享 Transformer 层)的思维链(CoT)可监控性,即能否通过检查模型的推理过程发现不良行为。作者在 MonitorBench 的八项任务上,比较了同一模型族内不同循环深度,以及与参数量、层数或有效深度匹配的非循环模型。结果显示,在部分压力测试的特定任务上,更深的循环会降低可监控性;但跨模型比较未发现循环模型系统性地更难监控,因此循环架构本身并不必然导致可监控性下降。

Han Wang, Ishwar B Balappanawar, Huan Zhang

arXiv cs.LG · cs.AI

Prospective Hindsight: Self-Calibrating Reinforcement Learning via Prediction-Reality Gaps

说明前瞻性回顾:通过预测与实际之间的差距实现自校准强化学习

简介该论文针对长程智能体的强化学习提出“前瞻性回顾”(PH)训练原则,在任何基于回顾的方法上加入信号:比较智能体在反馈前的预测与反馈后的评估之间的差距。差距较大的样本会被赋予更大的梯度权重,预测器与策略共享参数并共同演化。论文称,在单轮可验证任务和多轮个人智能体任务上,PH 同时提升了任务表现和校准程度。

Jiaxin Zhang, Xiangyu Peng, Qinglin Chen 等

arXiv cs.CL

Beyond Correctness: Resolving Underspecification in Agentic Text-to-SQL

说明超越正确性:解决智能体式文本转SQL中的未明确之处

简介智能体式文本转SQL系统可以在生成SQL前与用户互动,澄清不明确的查询。论文指出,执行结果正确并不代表智能体充分解决了潜在的歧义,它可能悄悄作出未经验证的假设。作者提出PlanPool方法,把澄清计划作为可变的问题池,要求每个计划中的问题都必须被提问或明确放弃,实验显示其在三个基准上提高了歧义覆盖率并减少了静默失败。

Wen-Zhi Li, Yue Gong, Konstantinos Kanellis 等

arXiv cs.CL · cs.AI

TPBench: A Turning-Point Benchmark for Dialogue Compression

说明TPBench:面向对话压缩的转折点基准测试

简介本文提出TPBench,用于检测对话压缩时丢失“转折点”的问题,即用户修改了价格、选择或约束的那一轮被压缩掉。基准包含三类探针:用户初始目标(P1)、被修订槽位的当前值(P2),以及两者兼有的联合探针(P3)。当前值答案来自MultiWOZ和SGD的人工对话状态标注,无需新的众包。实验显示,在保留比例为0.30的联合探针上,所有受测压缩方法的表现都低于完整上下文。

Minji Park, Seunghyun Yoon, Hyuk Lim

arXiv cs.LG

Bellman Error Minimization Via Linear Programming Normalization

说明通过线性规划归一化最小化贝尔曼误差

简介本文提出一种新的函数逼近方法,用于降低高维动态规划和强化学习问题中的贝尔曼误差。文章以收益管理中的网络容量控制这一经典动态规划问题为例,说明深度神经网络与线性规划近似算法可以结合,用于求解动态规划问题的近似解。仿真结果显示,所提出的近似算法与基准方法相比具有有竞争力的表现。

Haining Yu

arXiv cs.CV

SymRegFlow: Symmetry-Regularized Flow Matching for Video World Models

说明SymRegFlow:用于视频世界模型的对称正则化流匹配方法

简介该论文提出 SymRegFlow,一种对称正则化的流匹配框架,用于在连续变化的相机视角下生成多视角一致的视频,且无需新视角的真实RGB监督。方法通过几何变换将源视角映射为带噪锚点,并结合双锚点监督与跨锚点去噪输出一致性约束。实验表明,在 nuScenes 上其 FVD 和 FVMD 在所评估的基线中最低,相比最佳基线 FVD 降低超过 31%。

Xi Ye, Yuzhu Wang, Xiaoyang Liu 等

arXiv cs.LG

Structural-Functional Brain Connectivity Generation via Multimodal Hypergraph-based Flow Matching

说明基于多模态超图流匹配的结构-功能脑连接生成:利用超图建模大脑区域间的高阶相互作用,并通过流匹配在潜空间中同时生成和转换结构连接与功能连接。

简介该论文提出多模态超图流匹配框架MHG-FM,用于联合生成结构连接(SC)与功能连接(FC),并实现两者之间的跨模态转换。方法上,它为每种模态构建超图,用超图神经网络编码高阶表示,经双向交叉注意力融合后,由变分自编码器映射到紧凑潜空间,再通过条件流匹配完成合成。在人类连接组计划青年成人(HCP-YA)数据集上的实验显示,MHG-FM在重建质量、拓扑保持、分布相似性和SC-FC耦合方面优于多个基线,采样速度约为同等规模扩散模型的8倍。

Chyong Yi Poh, Hwa Hui Tew, Junn Yong Loo 等

arXiv cs.CV · cs.AI · cs.LG

Revisiting Visual Representation Enhancement of VLMs via Kernel Canonical Correlation Analysis

说明通过核典型相关分析重新审视视觉语言模型的视觉表征增强

简介CLIP等视觉语言模型语义泛化能力强,但细粒度视觉感知有限。本文指出,减弱与DINOv2的对齐损失并不必然损害其细粒度视觉性能,说明核矩阵差异可能不足以进一步增强视觉表征。作者提出基于核典型相关分析(KCCA)的对齐方法,并扩展为三视角的3vKCCA,将预训练文本编码器的投影也纳入统一优化。以CLIP ViT-L/14在ImageNet-1K上测试,3vKCCA将MMVP-VLM准确率从17.8提升至25.9,同时保持零样本图文检索性能。

Peilin Yang, Xiaoyu Liu, Jian Sun 等

arXiv cs.AI

Ego2World: Compiling Egocentric Cooking Videos into Executable Worlds for Belief-State Planning

说明Ego2World:把第一人称烹饪视频编译为可执行的规划环境,用于信念状态规划

简介该论文提出 Ego2World 基准,将标注好的第一人称烹饪活动转为部分可观测下的可执行规划环境。研究者可执行智能体提出的动作并检查结果。在 105 个任务上评测六种规划器,发现被接受的操作往往未能达成任务目标;在配对的 Qwen-Plus 实验中,持久信念使动作有效性提高 4.15 个百分点,视觉查询尝试减少 90.27%,但未检测到完成率提升,且 token 消耗更高。

Qinchuan Cheng, Zhantao Gong, Pengzhan Sun 等

arXiv cs.CL · cs.AR · cs.DC

WakeKV: Reactive, Reversible KV Residency for Heads That Change Their Minds

说明WakeKV:面向会改变注意力行为的注意力头的可逆KV缓存驻留策略

简介该论文指出,多数KV缓存压缩方法只在预填充阶段或离线时对注意力头分类一次,之后保持不变。作者在三个模型(1.5B至8B)和三类任务上测量发现,多数注意力头在生成过程中至少改变过一次读取行为。论文提出WakeKV,将变冷的注意力头迁移到可恢复的CPU存储区,而非冻结或永久丢弃;在相同内存或预算下,其未观察到的漏检率优于固定分类和破坏性驱逐方法,并在FlexiCache/vLLM实现中提升了吞吐量并保持LongBench质量。

Utkarsh Ranjan

arXiv cs.HC · cs.LG

Characterizing the Performance Gap in Human Activity Recognition for Older Adults

说明老年人人体活动识别中性能差距的刻画研究

简介该论文研究基于腕戴式加速度计的人体活动识别模型在老年人群体中的表现。作者使用自建的自由living老年人活动数据集MyMove(平均年龄71岁)评估多种深度学习架构。结果显示,在年轻人基准上的提升未能同等地迁移到老年人数据上,性能差距持续存在且常常扩大;使用在年龄多样的UK Biobank数据集上预训练的冻结自监督特征,能明显改善老年人数据的表现并缩小差距,但差异仍然存在。

Hossein Khayami, Sungjin Hwang, Eshed Ohn-Bar 等

arXiv cs.SE · cs.AI

Self-Supervised Scaling of Terminal Environments for Scientific Domains

说明面向科学领域终端环境的自监督规模化构建方法

简介本文提出“软件在环重构”(SWR)框架,利用现有科学软件的可执行流程自动生成参考输出与验证目标,让智能体在不接触源程序的情况下重建可执行程序,并用隐藏测试用例评估。作者用500个流程、46个软件族覆盖六个领域,据此生成3000条训练样本。使用这些样本微调的Qwen3.8-27B在Terminal-Bench 2上平均由47.94%提升至53.56%。

Zhongzhi Li, Yucheng Shi, Zongxia Li 等

arXiv cs.LG · cs.AI

MuonIO: Principled Norm-Aware Descent for Embedding Tables and Language Model Heads

说明MuonIO:面向嵌入表与语言模型输出头的范数感知优化器

简介本文提出 MuonIO,把 Muon 优化器的更新规则同时用于输入嵌入表和语言模型输出头,这两层在标准 Muon 中通常改用 AdamW。作者分别依据 softmax 输出几何与独热输入几何选用对应的算子范数,并指出二者在词表方向上的几何可统一为行或列归一化。在 1B LLaMA 在 C4 上的预训练实验中,相比 Muon,MuonIO 使输入输出层的优化器状态内存减半,相关更新的浮点运算量约减少 46%,同时验证困惑度有所改善。

Linkai Ma, Xinyu Luo, Mengbo Wang 等

arXiv cs.AI

Label-Efficient Time Series Classification at Scale: A Dual-Stream OSSE-LSTM with Counterfactual Attribution

说明面向大规模时间序列分类的少标注方法:带反事实归因的双流 OSSE-LSTM

简介该论文针对时间序列标注成本高的问题,研究每类只有少量标注样本时的分类方法。作者提出双流 OSSE-LSTM 框架,结合多尺度卷积与双向 LSTM,并引入反事实积分梯度(C-IG)进行归因解释。在 19 个单变量 UCR 数据集上,该方法在各种支持样本数下平均准确率和获胜数量均最高。

Nguyen Ho, Bach Tung Tran, Trung Ky Nguyen 等

arXiv cs.AI 有代码

Learning to Revise Reasoning with Segment-wise On-Policy Distillation

说明学习用分段式策略内蒸馏修正推理过程

简介该论文针对大语言模型推理训练中的策略内蒸馏(OPD)方法,指出其难以给出连贯的替代推理步骤,且在学生模型推理前缀退化时效果变差。作者提出分段式策略内蒸馏(Seg-OPD),基于不确定性指标选取学生推理片段并获得教师改写版本,训练学生偏好教师版本。论文称在数学推理与竞赛编程任务上,该方法修正成功率高于基线,推理准确率平均相对提升5.22%。

Yuxiang Zhang, Ding Cao, Shuting Cui 等

★★★★☆ 值得关注
arXiv cs.CL · cs.MA

Silent Dissent: LLM Agents That Yield to the Majority Still Represent Their Original Premise

说明《沉默的异议》:屈从多数的LLM智能体仍保留其原始前提

简介本文研究多智能体辩论中的LLM智能体为何常附和多数意见。作者设计两跳事实问题,中间实体从未被明说,由脚本化的同伴一致给出错误答案,并用雅可比透镜(J-lens)和logit透镜读取智能体回答时的内部表示。结果显示,即使智能体改口,其内部仍保留原始中间实体,且隐藏其先前答案会改变从众率。

看点提出用残差流读取桥接实体以区分真实改变想法与仅改变表述,预注册实验覆盖多模型并有对照,发现有新意。

Ziang Ni, Peng Zou

arXiv cs.LG · hep-ex 有代码

Conditional Capacity and Routing in Mixture-of-Experts Particle Transformers

说明稀疏专家混合(MoE)粒子 Transformer 中的条件容量与路由

简介本文在 188 类 JetClass-II 数据集上比较稠密与混合专家(MoE)粒子 Transformer,改变专家数量、路由容量、top-K 和辅助损失。在避免丢弃 token 的条件下,top-1 MoE 模型在名义前向计算量几乎不变时优于稠密基线,而继续增加存储的专家数量带来的准确率提升很有限。每个 token 激活多个专家能带来更多预测提升,但计算成本更高。路由分析显示,某些配置下专家分配与粒子类型和运动学特征关联更强,但这种结构并不随分类性能单调增加。

Kaushik Pendiyala, Haris Zia, Trevin Lee 等

arXiv cs.LG · cs.CL

Learning from Evolving Errors: Adaptive Iterative Repair for On-Policy Distillation

说明从演化中的错误学习:面向同策略蒸馏的自适应迭代修复(AIR-OPD)

简介该论文提出AIR-OPD框架,用于同策略蒸馏。学生模型失败后,引导生成器针对当前错误给出修复指导,学生据此重新采样作答,若仍出错则再次生成指导,形成迭代修复。论文在DAPO-Math-17K上训练,并在AIME24、AIME25、HMMT25等数学推理基准上评估,报告相对最强基线最多提升3.6个点,同时在MMLU-Pro和GPQA上保持基础模型水平。

Rui Li, Liyang He, Zheng Zhang 等

arXiv eess.IV · cs.AI · cs.CV

STRIDE: Spatial-Temporal Representation for Interval-conditioned Disease Evolution in Longitudinal Glioblastoma MRI

说明STRIDE:用于胶质母细胞瘤纵向MRI的时间间隔条件化疾病演变时空表征方法

简介该论文提出STRIDE框架,以治疗后配对的两次MRI及其扫描间隔为输入,区分胶质母细胞瘤的稳定疾病、假性进展和真性进展三种状态。方法结合病灶先验引导的空间表征与基于时间间隔的潜在转移估计,并融合观测到的随访表征。在Burdenko三分类任务上,宏观ROC-AUC为0.816,宏观F1为0.796。

Wenhao Guo, Changchang Yin, Pierre Giglio 等

arXiv cs.RO · cs.CV

GeoScaffold: Learning Compact Geometric Latents via Reconstruction for Efficient Vision-Language Navigation

说明GeoScaffold:通过重建学习紧凑几何隐变量,用于高效视觉语言导航

简介该论文提出 GeoScaffold,一种训练期几何监督框架,用于视觉语言导航(VLN)中的流式视频大模型策略。方法先在训练轨迹的深度图上学习并冻结一个紧凑深度标记器,再用若干可学习几何查询标记训练隐状态重建深度、连通性和可通行性等关键几何信息。训练后辅助模块被丢弃,推理时无需额外传感器或感知工具。作者称其在连续 VLN 基准上优于纯视觉导航方法,适合轻量化边缘部署。

Yixuan Jiang, Wentong Li, An Liu 等