AI 算法 · 2026年9月27日(周日)

机器学习、人工智能、自然语言处理、计算机视觉、多智能体。

arXiv cs.CL · cs.AI

Safety Reconstructed: Generative Modeling via Masked Diffusion Builds Strong Safety Guardrails

说明基于掩码扩散生成式建模的安全护栏重构:LLaDA-Guard

简介该论文提出 LLaDA-Guard,把安全审核从预测单一判定词改为比较不同标签假设下文本的解释程度,并以掩码扩散语言模型 LLaDA-8B-Instruct 结合 LoRA 微调实现。在七个保留的安全基准上,其平均排名优于基于更强骨干网络训练的判别式基线,并且置信度校准更好,对带有不安全线索的良性提示的过度防御更少。作者还展示了令牌级风险定位,以及在无需额外训练的情况下将不安全提示改写为安全等价形式,平均转化为安全的比例为 60.7%。

Gert Lek, Abele Malan, Chaoyi Zhu 等

arXiv math.OC · cs.LG · cs.SY

lapanda: A Matrix-Free Differentiable Solver for Nonconvex Constrained Optimization Layers

说明lapanda:用于非凸约束优化层的免矩阵可微求解器

简介本文提出 lapanda,一种面向一般约束非凸优化问题的免矩阵可微求解器,可嵌入网络中做端到端训练。它把问题转为一系列增广拉格朗日子问题,并用带自适应线搜索的近端平均拟牛顿算法求解。作者在非凸约束 Rosenbrock 基准、约束最优控制模仿学习及机器人避障任务上评估,结果显示相比现有可微求解器,计算时间和内存占用显著降低,同时保持约束满足与学习性能。

Yuankun Chen, Zifei Nie, Kangyu Lin 等

arXiv cs.CV

Event-Only Wingbeat Counting under Camera Motion: A Controlled MuJoCo Benchmark

说明相机运动下仅用事件数据统计翅膀拍动次数:基于 MuJoCo 的受控基准测试

简介本文提出一个受控的 MuJoCo 仿真基准,用于在相机运动条件下,仅依靠事件相机数据统计翅膀拍动的完整周期数。研究比较了运动感知训练与事件背景补偿等方法,并与岭回归、傅里叶、自相关及改编的 EEPPR 基线进行对比。结果显示,在中等运动下运动感知训练明显降低计数误差,而所测试的补偿方法反而使误差增加;傅里叶基线在某些条件下表现更好。作者表示,结论仅限于这一小型合成基准,不代表真实传感器或飞行表现。

Zhang Nengbo

arXiv cs.CV · cs.AI

StoryEngine: A State-Grounded Agentic Framework for Video Storytelling

说明StoryEngine:面向视频叙事的状态驱动智能体框架

简介该论文提出 StoryEngine,一个用于长篇视频故事生成的状态驱动智能体框架。它维护实体位置和剧情相关状态的结构化表示,将事件导致的变化传递到各镜头,并通过有界的评估引导修复循环纠正局部状态不一致。实验基于新构建的跨场景与视觉风格的基准,结果显示其在叙事质量、连贯性与视觉一致性等各项指标上均优于现有方法。

Yingrui Wang, Zeqing Wang, Yeying Jin

arXiv cs.LG · cs.AI

Learning Dynamics of Continual Learning: A Unified View of Data Attribution, Forgetting, and Plasticity Loss

说明持续学习的学习动力学:统一刻画数据归因、遗忘与可塑性损失

简介论文指出语言模型会在生命周期内持续更新,并提出对单个token的学习如何改变另一预测做逐token、逐层分解,区分softmax作用、共享输出层几何与残差连接两种交互通道。作者认为正向交互可用于筛选有用数据,负向交互会导致集中冲突或累积侵蚀,长期则会改变未来学习信号的传递。该视角把数据归因、遗忘和可塑性损失统一为同一学习动力学的不同形态。

Yi Ren, Wenlong Deng, Guanzhe Hong 等

arXiv cs.AI · cs.CL

ParaAgent: Reinforcing Parallel Acting in Open-World Tool Environments

说明ParaAgent:在开放世界工具环境中强化并行行动

简介本文提出 ParaAct,一种结构化并行行动循环,把阶段级的探索与执行结合起来,并在动作层面加入并行。ParaAgent 通过多智能体冷启动示范与多层级优势解耦的强化学习来学习该循环,并用步骤、阶段和轨迹三个层级的奖励进行监督。在两个开放世界工具基准上,ParaAgent-4B 的平均成功率高于包括 GPT-4.1 系统在内的所有基线,且在多工具任务上提升最大。

Shengbin Yue, Hongru Wang, Siyuan Wang 等

arXiv cs.CV · cs.AI

SpatialSpeak: QA-Native Reconstruction with Local and Global Context for Spatial Chain-of-Thought Reasoning

说明SpatialSpeak:面向空间思维链推理的问答式重建,结合局部与全局上下文

简介这篇论文提出 SpatialSpeak,一个两阶段框架,让视觉语言模型先通过多视角重建学习局部几何与全局场景信息,再学习空间思维链推理。第一阶段用带标记点的三维查询和物体中心查询进行问答式重建预训练;第二阶段用带视觉补偿的空间思维链训练模型生成几何估计并推导答案。作者报告其在 ReVSI、VSI-Bench 和 SPAR-Bench 上取得最优结果,ReVSI 得分为 62.8。

Yang Cao, Jiaxin Zhang, Dave Zhenyu Chen 等

arXiv cs.AI

EAT: Expert Account Tracker for Efficient MoE Inference

说明EAT:面向高效 MoE 推理的专家账本追踪方法

简介本文提出 EAT(Expert Account Tracker,专家账本追踪器),用于混合专家(MoE)模型的推理加速。该方法结合历史感知指标与自适应阈值,动态选择最重要的专家,从而减少被激活的专家数量并尽量保持模型性能。实验显示,相较于原始方法,EAT 平均减少超过 25% 的激活专家数,并在多个模型和数据集上优于基线 Top-P 方法,同时提升了 token 生成速度。

Yuexian Li, Yifei Yang, Zouying Cao 等

arXiv cs.CL · cs.AI · cs.LO

Quizzing the Translation: A Prover-Grounded Evaluation Metric for NL→FOL

说明对翻译进行提问:基于定理证明器的自然语言到一阶逻辑评估指标

简介该论文关注把自然语言推理问题翻译为一阶逻辑的步骤,指出现有BLEU、BERTScore等指标常给错误更多的翻译打更高分。作者提出SIV方法,用定理证明器验证候选翻译是否蕴含或不应蕴含由目标公式派生的探测语句,从而检测内容遗漏或过度断言。实验显示SIV得分与错误严重程度高度相关,并能给出带标签的错误轨迹。

Pu Suo, Ali Emami

arXiv cs.CV

Anguinus Sculpturae: Compositional Synthesis of Peak-Enhancement Breast DCE-MRI Scans

说明Anguinus Sculpturae:乳腺动态增强MRI峰值增强图像的组合式合成

简介该论文针对MAMA-SYNTH挑战任务,旨在从增强前乳腺MRI图像预测增强峰值图像,以减少对钆类造影剂的依赖。作者提出单步差分预测方法:合成图像为增强前图像加预测的增强图,并结合nnU-Net分割指导两个生成器,通过区域加权融合得到结果。在Duke测试子集上,该模型在FRD和Dice指标上优于所有对比变体。

Benjamin Hamm, Nico Albert Disch, Maximilian Rokuss 等

arXiv cs.AI

Supervision Recovery for Time Series Anomaly Detection via Context-Anchored Pairing

说明基于上下文锚定配对的时间序列异常检测监督恢复方法

简介时间序列异常检测常因异常标签稀缺而困难,且异常高度依赖上下文。本文提出上下文锚定配对监督(CAPS),在无目标域异常标签的情况下,通过模拟的正常-异常配对恢复监督信号,并生成上下文锚定的对照轨迹以训练判别式检测器。在九个数据集上的实验显示,CAPS 在四项评估指标的综合表现上优于所比较的方法。

Yifei Gao, Tian Lan, Yimeng Lu 等

arXiv cs.LG

You Only Edit Once: Incentivizing In-Context Capability of LLMs via Local Demonstration Refinement

说明只编辑一次:通过局部示例精修提升大模型的上下文学习能力

简介本文研究大语言模型上下文学习中示例集合的选择问题。作者把选择过程看作受约束的局部搜索,提出局部示例编辑方法(LDE):先检索一组示例,再通过一次结构化编辑(保留、删除或替换)进行调整。训练的小模型 Jev-LDE 可即插即用,在标准分类基准上提升多种目标模型的表现,并无需重新训练即可迁移到未见过的基准和模型。

Jiarong Wen, Qi Wang, Yun Qu 等

arXiv cs.CE · cs.AI

Learning Transferable Reaction Mechanisms from Visual Chemical Knowledge

说明从视觉化学知识中学习可迁移的反应机理

简介本文提出MechaVLM,一个结合可迁移化学表示与外部机理知识的视觉框架,用于预测化学反应的逐步机理。模型在70,384张文献机理图中检索先例并直接使用图像,通过原子索引的语言解码器生成可执行的电子转移编辑。作者还发布了包含2,184个机理、9,146个基元步骤的MechBench基准,结果显示该方法具有较强的零样本预测能力。

Yujian Yuan, Jiaxin Xu, Xin Cai 等

arXiv cs.LG

Hierarchical Response Preservation for Continual Adaptation of Zero-Shot Graph-Text Models

说明面向图文零样本模型持续适应的分层响应保持方法

简介该论文针对预训练图文模型在持续学习新类别时,既要保留零样本迁移能力又要保留历史知识的问题,提出分层响应保持方法HiRP。该方法保留每个历史类别的概率并对新类别概率求和,以保持历史类别之间的区分与整体竞争关系,同时允许新类别内部自适应,并利用由此得到的几何结构约束更新、控制响应漂移。在三种类别增量设置下,HiRP的平均准确率比各设置中最强的对比基线高出1.84至7.95个百分点,并减轻了零样本迁移性能的下降。

Haopeng Zhang, Yuhan Wang, Yubing Su 等

arXiv cs.LG · cs.IT · math.IT

Short-Length Code Designs for Integrated Sensing and Communications: A Deep Learning Approach

说明面向集成感知与通信的短码长编码设计:深度学习方法

简介本文提出一种基于自编码器(AE)的非相干场景下集成感知与通信(ISAC)波形设计框架,两者共用同一波形。作者推导了多目标时延估计的修正克拉美-罗界,并分析了相关衰落下非相干通信的最大似然译码规则。自编码器学习联合优化通信与感知的波形表示,并通过可调参数控制二者之间的权衡。仿真结果显示,在短码长和衰落条件下,该设计在通信可靠性和感知精度上均优于传统方案。

Muah Kim, Shuangyang Li, Tayyebeh Jahani-Nezhad 等

arXiv cs.CV · cs.AI

ViCoR: Reliable Molecular Structure Extraction via Spatially Aligned Verification and Executable Revision

说明ViCoR:通过空间对齐验证与可执行修订实现可靠的分子结构提取

简介该论文针对从科学文献中识别化学分子结构的光学识别任务,提出选择性结构识别设定,并设计了ViCoR框架,通过迭代验证与修订自动修正识别错误,而不仅是拒绝不可靠结果。在两个真实世界基准上,整体准确率分别从73.53%提升至88.26%、从61.83%提升至84.32%。

Yujian Yuan, Xin Cai, Yufan Chen 等

arXiv cs.AI

JustQuant: You Don't Need Smoothing, SVD, or Rotation for 4-Bit Activation Quantization

说明JustQuant:4比特激活量化无需平滑、SVD或旋转

简介该论文提出JustQuant框架,目标是只用普通低比特算子完成4比特激活量化,把复杂度转移到训练阶段。作者提出Theseus QAD方法,通过逐步施加多层监督的量化感知蒸馏来提升量化效果。实验基于DiT和扩散大语言模型,结果显示该方法在两类模型规模下都改善了低比特量化质量,且无需许多现有PTQ方法所需的复杂算子。

Kaicheng Yang, Kaisen Yang, Chunyu Liu 等

arXiv cs.CV · cs.LG

PoE-Fuse: Precision-Weighted Expert Fusion for Bi-Temporal Change Understanding

说明PoE-Fuse:面向双时相变化理解的精度加权专家融合方法

简介该论文提出 PoE-Fuse,用于比较同一地点两个时间点的卫星图像,定位并描述发生的变化,应用于灾害响应和环境监测等任务。方法冻结几何、定位和语言等基础专家模型,只训练一个轻量融合模块,通过学习每个空间格点的精度进行加权融合。单一共享模块同时完成三项任务,平均 F1 达到 59.2%,高于指令微调的时序视觉语言模型的 40.7%,也超过了在相同条件下重新训练的专用变化检测模型。

Haruki Watase, Shunya Nagashima, Takayuki Nishimura

arXiv cs.RO · cs.LG

Beyond One-Step Accuracy: State-Affine Latent Transition for Reliable Visual Planning

说明超越单步精度:面向可靠视觉规划的状态仿射潜变量转移模型(SALT)

简介该论文指出,视觉规划中的世界模型通常只训练单步预测,而规划时需要递归使用模型,单步精度无法反映误差如何逐步累积。作者证明状态仿射动力学的雅可比与状态无关,从而使误差传播仅依赖动作序列,并据此提出SALT模型,通过递归多步展开监督进行训练。在四个视觉规划环境中,SALT单步预测误差高于LeWM基线,但闭环成功率平均提高10.0个百分点。

Boyuan Zhang, Yingjun Du, Xiantong Zhen 等

arXiv cs.CV

LoopLUT: 3D Lookup Tables with Progressive Region Refinement for Real-Time 4K Image Enhancement

说明LoopLUT:用于4K实时图像增强的渐进区域细化三维查找表

简介论文提出LoopLUT,一种区域级联的三维查找表方法,用于4K图像的实时颜色增强。它先用全局查找表做整体校正,再通过多轮循环,在低分辨率下预测仍需修正的区域并生成残差查找表,最后由门控权重对各结果做逐像素凸组合融合。实验显示在四个基准上PSNR最高提升2.81 dB,并保持4K实时速度。

Yang Ye, Jiajun Ma, Chen Wu 等

arXiv cs.LG

Pretraining Transformers with Quantized Softmax in Attention

说明用于注意力机制中量化 Softmax 的 Transformer 预训练研究

简介本文研究在低精度 Transformer 预训练中,对注意力里的 softmax 做近似量化会如何影响训练。作者提出 K 区间注意力方法,用 K+1 个网格值近似指数函数,并比较了每行网格校准方式、插值与硬舍入、直通估计器位置等选择。实验在模型、数据和优化器相同的条件下进行,结果显示不同设置带来的验证损失差距有明显区别,例如 1.24 亿参数、25 亿 token 训练时,部分设置的差距仅为 +0.004 至 +0.019 nats。

Shangzhen Zhu, Muyan Hu, Tomasz Kozlowski

arXiv cs.LG · cs.CL

TGRL: Temperature-Grouped Reinforcement Learning for Efficient Exploration in LLMs

说明TGRL:面向大语言模型高效探索的温度分组强化学习

简介该论文提出温度分组强化学习(TGRL),把不同采样温度带来的输出多样性转化为训练信号。方法将每个提示的采样组分为低温与高温两部分,用两者的奖励差估计探索收益,并借助同一对数几率在不同温度下的下一词分布之间的JS散度,把组级信号分配到词元级。原文称其在不增加采样预算的情况下,达到同等精度的速度比强RLVR基线快最多36%,并在11个基准上有所提升。

Zihan Lin, Xiaohan Wang, Jie Cao 等

arXiv cs.LG

Approximating Softmax in Pretrained LLMs: Model Sensitivity and Kernel Acceleration

说明预训练大语言模型中的Softmax近似:模型敏感性与内核加速

简介该论文研究在推理时用近似方式计算十个冻结的仅解码器Transformer模型(0.5B至72B)中的softmax,发现可以大幅减少赋予概率的位置数量和行内分辨率,但均匀加权这些位置会造成损害,且分辨率靠近行最大值时更有利。基于此提出了锚定于行最大值的粗粒度对数权重表示Rowmax-PoT及其在FlashAttention-4中的硬件特化版本Rowmax-H15。在B200上,补丁后的FP8注意力前向在8K长度下因果与非因果情形分别快12.4%和25.8%(主机端调用延迟测量)。

Shangzhen Zhu, Muyan Hu, Tomasz Kozlowski

arXiv cs.CV

IVT-Guard: All-in-One Reasoning Model for AI-Generated Content Detection

说明IVT-Guard:用于AI生成内容检测的一体化推理模型

简介论文指出,现有AI生成内容检测器多只针对单一模态且只输出二分类结果,缺乏推理过程。作者构建了包含约15.2万条图像、视频和文本样本的IVT-Set数据集,并提出IVT-Guard框架,统一检测三种模态并给出可解释的推理。作者还设计了三阶段训练方法,论文称其在域内、域外及跨数据集设置中都取得了领先的检测效果。

Hongwei Niu, Yunpeng Luo, Hanjun Li 等

arXiv cs.CV

Fill2SR: Repurposing Inpainting Diffusion Transformers for Real-World Super-Resolution

说明Fill2SR:将图像修复扩散 Transformer 改用于真实世界超分辨率

简介该论文提出 Fill2SR 方法,把原本用于掩码图像修复的扩散 Transformer 改造成图像超分辨率模型,无需额外的空间分支。方法通过 IIEA 模块把低质量图像写入修复模型的掩码输入位置,并仅用 LoRA 微调训练。此外提出 RCDT 离线流程,从非配对真实图像中提取退化特征并迁移到干净目标图像上。

Xingfu Yi, Xiaoxue Yu

arXiv cs.CV

ForeFly: A Dual-Horizon World Action Model for Aerial Vision-Language Navigation

说明ForeFly:面向无人机视觉语言导航的双时域世界动作模型

简介本文提出 ForeFly,一种用于空中视觉语言导航(AVLN)的双时域潜在世界动作模型,让无人机在复杂三维环境中按指令长距离飞行。模型同时预测近期未来以保持局部连贯,以及自适应的关键路线未来以提供长程引导。论文还提出前瞻引导动作精炼方法(FGAR),分别利用两类前瞻信息增强局部动作并修正路线层面的特征。在 TravelUAV 和 UAV-ON 基准上,ForeFly 在已见与未见场景中均优于主要基线。

Kunhui Wang, Xintong Zhang, Junyu Gao 等

arXiv cs.LG · cs.AI · cs.GT

Compressing Value Predictions for Learning-Augmented Metrical Task Systems

说明压缩价值预测用于带学习增强的度量任务系统

简介该论文研究如何把度量任务系统(MTS)中的对偶值预测压缩到少量代表性状态上,只在地标状态给出预测,其余值通过Lipschitz扩展重建。作者给出了与地标覆盖半径相关的额外成本上界,并对稀疏地标的一维有限线给出匹配的下界,同时讨论了预测接口形式的影响及压缩预测表的PAC学习保证。

Sizhe Li, Yecheng Li, Kun He

arXiv cs.AI

OpenFC: Learning Verification Policies towards Open-Search Fact Checking

说明OpenFC:学习面向开放搜索事实核查的验证策略

简介本文提出OpenFC框架,将Qwen3-8B训练为紧凑的逐步动作控制器,统一决定推理、证据获取与停止判断。训练分两阶段:先用分步校准冷启动(SCCS)生成可靠轨迹进行监督微调,再用验证感知强化学习(VA-RL)改进未解决的论断。作者报告在六个事实核查基准上平均准确率为70.39%,宏平均F1为63.30%,并称两阶段各自带来互补增益。

Xinming Wang, Kaixiang Qiu, Yansong Lin 等

arXiv cs.LG

HiLoRe: What to Store, Compress, or Recompute for Efficient GRPO Training

说明HiLoRe:为高效GRPO训练决定存储、压缩或重算哪些激活

简介论文指出,在GRPO训练中,固定的梯度检查点策略可能浪费显存。作者提出HiLoRe方法,依据GRPO当前的损失系数判断各激活状态的近似敏感度,在高精度存储、低精度压缩与确定性重算之间进行分配。在五组模型与任务设置下,该方法相比GC最多提升13.5%的actor更新吞吐,平均下游分数差异低于0.6个百分点。

Xinrui Chen, Mengyang Li, Ou Wu 等

arXiv cs.LG · stat.ML

Correct then Forecast: Observer State-Space Models for Time Series Forecasting

说明先校正再预测:用于时间序列预测的观测器状态空间模型

简介论文提出观测器状态空间模型(OSSM),把输入的时间序列视为一个自治动力系统的测量值。模型将潜在状态的传播与测量校正分开:同一转移规律同时作用于历史和预测区间,已有观测则通过观测器修正估计状态。作者称该框架能自然呈现可观测性与估计误差收敛等经典控制理论性质,并认为常见状态空间模型可视为其特例。实验表明,在参数量与训练设置相同的情况下,OSSM 相比对应基线有明显提升。

Alexis-Raja Brachet, Guillaume Clavier--Fr\'emond, Abdelhakim Ziani 等

arXiv cs.AI

Dr. Free: You Don't Need Difficulty Rewards for Self-Evolving Search Agents

说明Dr. Free:自我进化搜索智能体无需难度奖励

简介该论文提出 Dr. Free,一种无需数据的自我进化搜索智能体训练框架,用于训练能进行搜索的问答系统。它不再依赖基于难度的出题奖励,而是从知识图谱采样关系链并配对对应段落,只有当完整证据下目标答案的似然高于所有捷径上下文时,才给予正向信息增益奖励。实验显示该方法在七个开放域问答基准上优于既有方法,并在多跳问答上提升明显,同时使出题器训练时间缩短超过 7 倍。

Zhipeng Qian, Zihan Liang, Yufei Ma 等

arXiv cs.LG · cs.AI · cs.MA

MA-JEPA: Joint-Embedding World Models for Multi-Agent Reinforcement Learning

说明MA-JEPA:用于多智能体强化学习的联合嵌入世界模型

简介该论文提出 MA-JEPA,一种用于多智能体强化学习的随机世界模型。它用预测目标表示替代观测重建,并在训练阶段引入联合预测器,采用集中训练、分散执行的方式。在 SMAC 基准的八张地图中,有四张的平均胜率达到或超过了当时报告的最强对比方法。

Brandon Gary Kaplowitz, Osaze James Obahor, and Christian Schroeder de Witt

arXiv cs.LG · cs.AI

OOD Generalization as a Bifurcation Problem

说明把OOD泛化视为分岔问题:仅在关键时间窗口进行精确分解引导

简介该论文研究连续时间生成模型在生成未见过的概念组合(分布外,OOD)时的问题。作者发现组合绑定集中发生在扩散轨迹的一个局部时间窗口内,并据此提出“手术式引导”,只在该窗口内使用精确的多次分解打分。在OOD双位数MNIST测试中,该方法只在扩散轨迹前15%进行干预,成对准确率比联合基线提高5.3个百分点。

Nguyen-Thanh-Luong Doan, Quang-Vu Nguyen, Tang-Phu-Quy Le 等

arXiv cs.LG

GraphSelect for Budgeted Representation Selection in Multimodal Graph Inference

说明面向多模态图推理的预算化表示选择方法GraphSelect

简介本文研究在多模态图预测中,如何在文本和图像各自有限的容量下,挑选出一部分候选表示,同时尽量保持模型的分类结果。作者提出GraphSelect方法,从单个候选的增益出发,通过联合评估的交换不断优化子集,并在六个图上取得了比六种适配方法更高的目标恢复率。在两个图的九种训练架构上,每种模态保留20%的候选表示时,平均准确率仅下降0.10个百分点。

Xu Wang, Xunkai Li, Yinlin Zhu 等

arXiv cs.LG

Fine Until Fine-Tuned: Repeated Solutions Make Reasoning Fragile

说明《微调前可用,微调后脆弱:重复解答使推理变得脆弱》:论文指出用同一批解答反复训练,会让推理能力在后续训练中变得不稳定

简介论文研究 s1、LIMO 等少量数据推理训练方法中反复使用同一批解答的做法。作者发现,这种重复训练本身看似无害,但之后即使进行与推理无关的再训练,模型的推理能力也会变得脆弱,正确率从约 95% 降到 86.0%,更严格的后续训练甚至降到 59.3% 或以下。新解答能避免这一损害,回放少量原始解答也有帮助,且这种损害可通过少量推理训练大部分恢复。

Ely Sheikh

arXiv cs.CV

PGL-3D: Towards Progressive Geometric Learning for 3D Visual Query Localization

说明PGL-3D:面向3D视觉查询定位的渐进式几何学习

简介该论文研究3D视觉查询定位任务,即在RGB点云序列中找到被查询物体最新一次连续出现的位置,并为每个响应帧预测9自由度立方体框。作者提出PGL-3D框架,先预测、再选择、再细化、再重新预测,利用中间立方体框的几何信息更新查询与候选表示。论文报告其平均stAP为0.270,高于原文报告的LaF方法的0.044,并给出消融实验和跨数据集复现结果。

Liang Peng, Shizhuo Mu, Bohan Tan 等

arXiv stat.ML · cs.LG

Sparsity by Default: The Theory and Practice of ARD in Gaussian Process Regression for Variable Selection

说明默认稀疏:高斯过程回归中变量选择的ARD理论与实践

简介本文综述了高斯过程回归中用于输入变量选择的自动相关性确定(ARD)方法。它为每个输入设置独立的长度尺度,并通过最大化边际似然学习,使无关输入的长度尺度变得很大而被实际关闭。文章分析了其剪枝机制、实际算法,以及与尖峰-平板先验、贝叶斯lasso和horseshoe等方法的比较,并讨论其局限与改进方向。

Jia Cai

arXiv stat.ML · cs.LG · cs.NA

Calibrated Derivative-Process Sensitivity for Gaussian-Process Variable Selection

说明高斯过程变量选择中经校准的导数过程敏感性

简介高斯过程回归中常用的自动相关性判定(ARD)按逆长度尺度排序输入变量,但它衡量的是函数变化的快慢,而非输入对预测的贡献,且没有经过校准的保留规则。本文以导数敏感性为基础提出一种选择方法,并用学生化乘子自助法对GP导数过程进行校准,给出该方法在渐近意义上控制家族误差率与错误发现率的理论依据。模拟实验显示,该方法在真正无关的输入上能控制错误发现率,而未校准的导数排序与Bernstein-von Mises截断则超出目标水平。

Jia Cai

arXiv cs.LG · cs.AI · eess.SP

TerMeZO: Ternary Sparse Zeroth-Order Optimization for Fine-tuning BitNet Models at the Edge

说明TerMeZO:面向边缘设备微调 BitNet 模型的三值稀疏零阶优化方法

简介本文针对 BitNet 大模型微调时内存占用过高的问题,提出 TerMeZO 方法。该方法利用三值量化器本身的几何特性,无需额外数据或内存即可筛选出微调时更可能改变取值的潜在权重,只更新这部分权重。作者给出了收敛性分析,并在 1B 至 3B 参数的 BitNet 模型上完成分类、指令遵循和数学推理实验,结果显示其性能与全参数 MeZO 相当或更优,同时显著降低了微调内存占用。

Houssem Sifaou, Prabodh Katti, Bipin Rajendran 等

arXiv cs.AI · cs.GT · cs.LG

OSCC: Certified Observation-Safe Coupling Optimization for Gradient-Noise Control in Imperfect-Information Learning

说明OSCC:面向不完全信息学习中梯度噪声控制的认证式观测安全耦合优化

简介本文提出观测安全反事实耦合框架(OSCC),用于在不完全信息环境中降低反事实动作比较的梯度噪声。框架通过边际保持、信息状态安全等条件界定可用耦合类别,并据此设计了可在校准阶段选择采样方式的OSCC-Select。在Leduc实验中,完全耦合的CP-GRPO将回报对比方差从41.1158降至18.1441,降幅55.87%;三动作设置下,所选方案的梯度噪声迹低于按回报方差选择的方案。

Miaobo Hu, Shuhao Hu, Xiaobo Guo 等

arXiv cs.AI

Reasoning on the Simplex: Geometric Fixed-Point Models

说明单纯形上的推理:几何不动点模型

简介论文提出几何不动点推理(GFPR):把迭代的状态直接定义为一组分类信念,其最大值即为每一步的答案。在约 700 万参数规模下,该方法在 Sudoku-Extreme、Maze-Hard 和 S_5 长度 128 的任务上取得了文中报告的成绩,并在同规模下高于已发表的 FPRM 结果。作者还把同样的更新用于一个 2.01 亿参数的语言模型,并报告其在四项零样本多选任务上高于 GPT-2 small。

Talgat Daulbaev, Ilya Glazkov, Maxim Rakhuba 等

arXiv cs.CL · eess.AS

Jev Matches 7B Language Models for Speech-Neuroprosthesis Rescoring

说明Jev 在语音神经假体重排序任务中达到 7B 语言模型水平

简介该论文研究语音神经假体的最后一步:用语言模型对解码器给出的候选句子重新打分,此前这一步通常需要一个数十亿参数、依赖 GPU 的模型。作者把重排序写成一次性输出所有候选概率的分类式调用,并用托管模型 Jev 完成,再与解码器自身分数结合。在一位 ALS 患者的 978 个留出句子上,Jev 的词错误率与 OPT-6.7b、Qwen2.5-7B 相当或略优,且无需 GPU。

Gabriele Cin\`a

arXiv cs.LG

Does Execution Require Target KV Fidelity? A Mixed-Fidelity KV Runtime for LLM Serving

说明执行是否必须使用目标 KV 精度?一种用于大模型服务的混合精度 KV 运行时

简介大模型服务受限于 KV 缓存占用的 GPU 显存。该论文提出 ElasticKV,引入紧凑的中间 KV 状态,使精度成为可由运行时管理的执行属性,而不必等待目标精度就绪。系统包含成对结构的分页布局、双模式注意力后端以及随显存压力调整精度的管理机制。论文报告在高并发下,相比 vLLM,首 token 延迟(TTFT)降低 3.8 至 4.0 倍,P90 TTFT 降低 9.1 倍,且生成质量得以保持。

Jiantong Jiang, Yue Yang, Peiyu Yang 等

arXiv cs.GT · cs.MA

Nearly Group-Separable Elections

说明近似群可分选举:计算选举与群可分性的距离

简介本文研究如何计算给定选举与群可分(group-separable)选举之间的距离,以相邻候选人在选票中的交换次数衡量。文中还考虑了毛虫群可分、平衡群可分、单峰及单交叉等其他域。该问题一般难以高效求解,作者给出了以候选人数或交换次数为参数的实用FPT算法,其中后者适用于所有由有限禁止子选举刻画的域,并通过实验分析加以补充。

Piotr Faliszewski, Jan Jabrocki, Stanis{\l}aw Ka\'zmierowski 等

arXiv cs.CL

ManiEdit: Sequential Unstructured Knowledge Editing for Language Models from a Manifold Perspective

说明ManiEdit:从流形视角对语言模型进行顺序式非结构化知识编辑

简介大语言模型有时会生成错误或过时的内容,需要高效、精确的持续更新机制。论文提出 ManiEdit 框架,把知识编辑视为全局知识流形中编辑子流形的局部位移,通过关键锚点定位和流形感知保留两个组件进行顺序编辑。作者称其在两个基础模型和四个非结构化编辑基准上取得领先表现,同时在六个下游任务上保持接近原始的通用能力。

Rui Liu, Chenheng Zhang, Haoxuan Li 等

arXiv stat.ML · cs.LG

Neural Scaling Laws of Transformer Operator Network

说明Transformer算子网络的神经缩放律

简介本文为基于Transformer的算子学习建立了理论框架,分析其逼近误差与泛化误差。作者证明了对Hölder正则算子的通用逼近误差,并给出预测误差随训练数据量呈幂律下降的缩放律。收敛指数体现输入输出维度、函数正则性及输入函数类的本征维度;数值实验验证了幂律缩放,并表明收敛速率随本征维度系统变化。

Haoran Yan, Zhongjie Shi, Yuanzhe Xi 等

arXiv cs.CL · cs.AI · cs.HC

E-CONAN (Entailment, CONtradition And Neutral) Diagnostics Dataset Investigating Linguistic Phenomena in Arabic Natural Language Understanding

说明E-CONAN:阿拉伯语自然语言理解中语言现象的诊断数据集

简介本文针对自然语言理解(NLU)的误差分析缺乏统一命名和标准语言现象的问题,提出了跨语言NLU误差分析的初步层级体系,并以阿拉伯语为案例提出了NLI层级框架的构建方法。作者人工标注发布了免费的E-CONAN诊断数据集,并用它评估了9个预训练语言模型和5个大语言模型。结果显示,大语言模型在世界知识和常识推理类别上表现更好,在句法类别上较差;所有模型中推理最难,预训练模型中句法现象最容易。

Khloud AL Jallad, Nada Ghneim, Ghaida Rebdawi

arXiv cs.LG

Discovering Symmetries in Neural Network Parameter Spaces

说明发现神经网络参数空间中的对称性

简介本文提出一套系统方法,用于发现神经网络参数空间中的对称性,这类对称性与损失景观、训练动态和泛化能力相关。作者通过无穷小条件刻画数据依赖的参数对称性,并据此联合学习群生成元与非线性作用映射。该框架在多种架构(包括预训练Transformer模型)中发现了对称性,其中包括此前未知的对称性。

Bo Zhao, Nima Dehmamy, Robin Walters 等

arXiv cs.CV

In-Token Learning for High-Fidelity Image Restoration via Diffusion Transformers

说明基于扩散 Transformer 的高保真图像修复:In-Token Learning 框架

简介本文提出 In-Token Learning,一种利用条件整流流匹配对预训练扩散 Transformer 进行适配的图像修复框架。退化图像的 token 与潜在 token 沿通道维度融合,并通过直接低质量引导(DLG)在原生条件路径中输入退化图像嵌入与固定任务提示。作者在超分辨率、去噪和自动上色等任务上进行了评估,结果显示在所测协议下保真度与感知质量具有竞争力,但在 RealLQ250 上泛化能力较弱。文中还展示了全图 QHD 推理和 12K 分块修复的结果,并指出注意力计算成本仍随分辨率增长。

Xingfu Yi, Xiaoxue Yu

arXiv cs.LG

LLM4Trust: Exploring the Capabilities of Large Language Models for Trust Evaluation

说明LLM4Trust:探索大语言模型在信任评估中的能力

简介该论文提出LLM4Trust,这是首个系统探讨大语言模型用于信任评估能力的基准框架。作者构建了多种信任图来模拟五种基本信任属性,并测试了八个代表性大模型在九种提示方法下的理解表现,随后在五个真实数据集上验证其信任评估能力。研究发现,大模型能有效理解基本信任属性并具有实际应用潜力,但也易受攻击且推理成本较高,因此作者提出了防御机制和批量推理方法。

Jie Wang, Yanbo Sun, Zheng Yan 等

arXiv cs.RO · cs.CV · cs.HC

AI-Driven Collaborative Assembly Line Inspection: System Integration and Deployment Challenges

说明AI辅助协作式装配线检测:系统集成与部署挑战

简介本文介绍了在Silverline厨电工厂部署的AI辅助协作检测单元,该单元由两台协作机器人、机器视觉缺陷检测和多模态数据记录组成。文章总结了近距离安全、强光反光下的AI鲁棒性、双机器人ROS 2命名冲突等实际部署问题及解决方案。部署后,单件质检时间由82秒降至61秒,最终控制资源效率由0.75提升至0.88,操作员视觉检查观看时间减少82%,心理负荷显著降低(NASA-TLX,p=0.005)。

Asya \"Unal, Amr Okasha, Ege \c{C}{\i}rakman 等

arXiv cs.CV

Anatomy-Structured Hierarchical MIL for Weakly-Supervised Thoracic Disease Detection in Chest X-rays

说明用于胸片弱监督胸部疾病检测的解剖结构分层多示例学习(ASH-MIL)

简介该论文针对胸片中胸部疾病的弱监督检测问题,提出ASH-MIL框架,引入心脏、肺部和通用三个并行的解剖结构观察分支,并结合分层多示例学习聚合。解剖先验以软空间偏置形式注入解码器交叉注意力,无需疾病边界框标注即可得到有解剖依据的证据图并定位病灶。在CXR8和跨域MIMIC-CXR数据上,该方法在更严格的定位标准下优于已有的弱监督和解剖感知方法。

Jeongin Kim, Sohyun Ahn, Seo Young Kang 等

arXiv cs.CV

SceneScaffold: Active Scene-State Construction for Unified 3D Scene Understanding

说明SceneScaffold:面向统一3D场景理解的主动场景状态构建

简介现有3D多模态大模型常把3D场景压缩成以物体为中心的扁平视觉token,空间关系难以恢复,在关系密集或空间模糊的场景中推理不稳定。本文提出SceneScaffold框架,在语言推理前主动构建带角色分工的空间骨架,包括实体状态、场景框架状态、关系状态和全局摘要。实验覆盖3D视觉定位、问答和稠密描述等任务,并提供了针对关系密集与空间模糊案例的诊断结果。

Xiangqi Li, Libo Huang, Jiarui Zhao 等

arXiv cs.MA

TRACE: Governing Memory Validity in Evolving Multi-Agent Systems

说明TRACE:管理演化式多智能体系统中的记忆有效性

简介论文提出 TRACE,一个无需训练的记忆管理层,用于判断智能体在共享状态变化后重返协作时,哪些旧记忆仍可用于行动。方法将重返视为资格判定,对照离开期间的更新、处理显式与隐式失效,并仅在覆盖该角色未完成义务时释放有限的返回视图。实验在 Memora、STALE Type II 及派生的 ManBench-Return 上进行,结果显示 TRACE 在保留有效记忆与拒绝过时记忆两方面兼顾,在 ManBench-Return 上有效信息可用率为 92.6%–98.3%,无效信息拒绝率为 98.4%–99.5%。

Wenjun Xiong, Shengtao Zhang, Shangding Gu 等

arXiv cs.AI

PPG-LM: A Photoplethysmography-Language Model with Multi-Level Clinical Alignment

说明PPG-LM:结合多层级临床对齐的光电容积描记(PPG)语言模型

简介该论文提出PPG-LM,是首个将PPG信号与文本对齐的语言模型家族,同时学习信号本身的生理监督信息以及电子病历中的临床背景。作者构建了片段、事件和就诊三个层级的临床描述,并通过对比学习、波形条件描述生成及时间感知对齐进行两阶段训练。在约7.3万小时PPG数据上预训练后,模型在MC-MED、MIMIC-III和VitalDB上进行了检索与描述实验,并在多项临床预测任务中优于部分基线模型。

Xiaoda Wang, Minxiao Wang, Maxwell A Xu 等

arXiv cs.LG · stat.ML

SLP-ProbHard: Probabilistic Hard-Constrained Learning via Structural Latent Parameterization

说明SLP-ProbHard:通过结构潜变量参数化实现概率硬约束学习

简介本文提出SLP-ProbHard框架,用结构化可行潜变量参数化(SFLP)直接生成满足约束的概率预测,而不是先预测再修正。实验涵盖仿射等式、排序与单纯形约束、非线性流形及水文流量历时曲线数据。结果显示,精确可行性本身并不决定预测分布,因此在存在有意义的可行坐标时,直接结构化生成更有价值。

Wondesen Teshome Bekele, Marco D'Oria

arXiv cs.CV

Printability-Constrained Adversarial Decals for Near-Nadir Aerial Perception: Measured Ink Gamuts, Nested Realism Constraints, and a Physical-World Bound

说明面向近天底航拍感知的可打印对抗贴片:实测油墨色域与物理世界效果上限

简介该研究在优化过程中直接施加打印色域、车辆平面尺寸与高空成像细节损失三项物理约束,比较使用实测打印色域与任意立方体色域的对抗贴片效果。结果显示,实测色域仅对部分分割模型有提升,且色彩性并非主要原因;实体打印贴片测试未检测到迁移效果,只给出了转移率上限0.133。

Sandesh Shrestha, K. T. Yasas Mahima, Asanka G. Perera

arXiv cs.LG · cs.AI

Source Anchoring for Physical Consistency in Flow Matching Models

说明源端锚定:让流匹配生成的物理状态既守恒律又贴近真实分布

简介该论文提出SAPC方法,在生成开始前把物理约束编码进源噪声分布,而不是在生成后用投影修正。作者在五类偏微分方程系统、六项任务上评测,与五个基线及无约束主干模型比较。结果显示SAPC在每项任务上都最准确地复现了目标分布,同时约束精度与最优的投影类方法相当。

Giulia Romoli, Filippo Ruffini, Paolo Soda

arXiv cs.AI

What Happens During Autonomous Deep Research After the User Steps Away?

说明自主深度研究中,用户离开后智能体会做什么?这篇论文研究用户初始信息如何影响智能体的检索过程和最终建议。

简介论文提出 DRaligned 反事实行为评估框架,基于 PDR-Bench,每次只改变一个与任务相关的用户因素,比较智能体的检索请求、工作草稿和最终报告。实验发现,智能体的研究过程大体相似,但检索分配不同,最终建议比显式请求更清楚地区分用户条件;这一方向性差异在不同智能体模型、执行框架和评估模型中反复出现。

Yimin Liu, Yijia Zhang, Yanmin Li 等

arXiv cs.AI

When Evidence Changes the Subject: Subject-Typed Claim Licensing for Learned Routing

说明当证据改变了主题:面向学习型路由的主体类型化结论许可

简介本文指出,复合系统的基准结果测的是整体,而科学结论可能只针对其中一个组件,两者容易混淆。作者提出主体类型化结论许可方法,把对所要求主体的弱结论,与对另一主体的正面但不可替代的认可区分开来。作者在偏好条件多重图路由任务中实例化该方法(SCOPE-Routing),并报告了相关的评审与路由实验结果。

Jian Chen, Zixuan Yuan

arXiv cs.AI

RelaxKV: Recomputation Guided by the Query with Sparse Context Attention for Efficient KV Cache Reuse

说明RelaxKV:在稀疏上下文注意力下按查询引导重计算的高效KV缓存复用方法

简介该论文针对检索增强生成(RAG)中的KV缓存复用问题,提出RelaxKV方法。它把选择性缓存修复视为修复目标与重计算上下文的联合分配问题,依据用户查询确定各层的修复目标,并把重计算限制在与查询相关的上下文内,以减少注意力计算。在四个解码器模型上,于15%锚点比例下,RelaxKV在LongBench综合表现上优于ProphetKV;在Qwen3-14B上,其质量与首词延迟的权衡也更好。

Ruoling Qi, Yirui Liu, Xuaner Wu 等

arXiv cs.LG

Pulseflow: PPG Counterfactual Generation Via Latent Transport

说明Pulseflow:基于潜在空间传输的 PPG 反事实生成

简介该论文针对心房颤动检测中标注 PPG 信号稀缺的问题,提出 PulseFlow 框架。它以源记录为条件,结合条件表示学习与可逆潜在传输,在保留源信号信息的同时改变心律。实验在两个临床队列上进行,显示其能有效完成节律转换、保持与源信号的对应关系,并在标签有限时提升 AF 分类效果。

Hung Manh Pham, Dong Ma, Bin Zhu 等

arXiv cs.LG · cs.IT · math.IT

The cost of useful natural gradient updates

说明有用的自然梯度更新需要多大代价

简介本文研究在总体KL散度预算下,如何把自然梯度方向转换为有效的有限步更新。作者构造了一个四状态指数族,证明即使梯度、Fisher信息和自然梯度相同,有用步长的集合也可能完全不相交,因此步长大小本身决定了主要成本。文中还给出了样本复杂度、NP难性结论以及分类器头部的实验结果。

Subhransu S. Bhattacharjee, Dylan Campbell, Rahul Shome

arXiv cs.LG · cs.AI

Engineering Efficient Self-Play Chess: Search, Replay, and Throughput Under Limited Compute

说明在有限算力下高效训练自对弈国际象棋系统:搜索、回放与吞吐量工程

简介本文研究在有限训练算力下,一个高度工程化的 AlphaZero 式国际象棋系统能达到多强。模型在单个八卡 GPU 节点上从随机初始化开始训练 2.5 天,参数量为 632 万,对固定节点数的 Stockfish 13 梯队取得 3251 基准 Elo(置信区间 3206 至 3297)。作者同时考察了搜索分配、回放与重启状态选择、策略表示、渐进式模型规模、量化推理和吞吐量工程等设计,强调该强度来自整体系统,而非单一改进。

Bertil Braun

arXiv cs.LG

Hamiltonian JEPA: Action-Conditioned World Models with an Inherited Control State

说明Hamiltonian JEPA:带有继承控制状态的动作条件世界模型

简介该论文提出H-JEPA,把感知编码与控制状态分开:宽感知编码用Bures-Wasserstein先验正则化,其固定正交子空间作为控制状态,并采用带端口的耗散哈密顿动力学建模。论文提出端口逆一致性(PIC)作为无额外参数的预测误差重加权,并在四个基于像素的控制基准上与无重建基线相比达到或超过其表现,其中在OGB-Cube上的提升最大。

Tamim Zoabi, Ameen Ali, Lior Wolf

arXiv cs.LG · cs.AI · cs.CV

Chameleon: Dynamic Format Adapter for Efficient Diffusion

说明Chameleon:面向高效扩散模型的动态数值格式适配器

简介这是一篇关于扩散模型训练后量化(PTQ)的论文。它在固定位宽下把数值格式作为离散变量,按权重通道和(层、时间步)激活张量分别选择格式,并依据统计量或重建误差进行选择。在 SDXL、SDXL-Turbo 和 PixArt-α 上的 COCO-2014 实验中,该方法在六组骨干与位宽设置下都取得了最佳 FID。

Arnab Sanyal, Sandeep Chinchali

arXiv cs.CL · cs.MA

LLMs Trust Their Own: Identity-Dependent Conformity in Multi-Agent Systems

说明大模型更信任“自己人”:多智能体系统中依身份而异的从众行为

简介本文研究大型语言模型在多智能体环境中,是否会因其他智能体的社会身份而改变对错误答案的从众程度。作者在12个开源模型和9项有唯一正确答案的判断任务上测试,发现群体身份呈双向影响:同群体的一致意见会提高从众,不同群体的一致意见会降低从众。论文认为,群体身份会影响模型汇聚多方信息的方式,且与答案是否正确无关。

Liron Soffer, Ravid Shwartz-Ziv, Chen Shani

arXiv cs.AI

FedMHAR: Federated Multimodal Human Activity Recognition using Multi-Agent Reinforcement Learning

说明FedMHAR:基于多智能体强化学习的联邦多模态人体活动识别

简介该论文针对可穿戴传感器的人体活动识别,提出一种自适应、考虑成本的多模态融合方法,将多模态融合建模为多智能体强化学习问题,每个传感模态由一个PPO智能体学习逐样本融合权重。论文还将其扩展到联邦学习框架FedMHAR,并提出BiFL-PPO双向联邦优化策略。在MEx和UTD数据集上,集中式框架分别达到87.30%和94.98%的准确率,联邦设置下分别为79.74%和77.49%。

Debasmita Dey, Tanmay Sen, Himel Mallick

arXiv stat.ML · cs.LG

Domain-Adapted Diffusion Models for Conditional Independence Testing

说明用于条件独立性检验的领域自适应扩散模型

简介该论文研究统计学中的条件独立性检验,指出现有基于生成模型的检验误差会累积,且仅靠生成估计的一致性无法保证渐近的第一类错误控制。作者将条件生成建模视为领域自适应问题,提出多源领域自适应扩散模型DA-Diff,并在此基础上提出DA-CIT检验方法。实验显示,DA-Diff的条件生成质量优于迁移学习扩散基线,DA-CIT具有较强的第一类错误控制能力和有竞争力的检验功效。

Yanfeng Yang, Junda Zhao, Yijie Gao 等

arXiv cs.LG

Predicting Block-Coordinate Performance via Cross-Curvature

说明通过跨曲率预测分块坐标优化的性能

简介论文比较了雅可比(JC)、高斯-赛德尔(GS)等同时更新与顺序分块更新两类优化策略的效果,用跨块曲率推导单步损失差,并给出 K 步后带误差界的符号化损失比较。作者在神经网络、联邦学习与 LoRA 的训练轨迹上验证,500 次迭代中预测正确率分别为 98.0%、83.4% 和 97.6%;若每步使用实测参数差进行递推,正确率提高到 100.0%、93.2% 和 99.6%。

Shengkun Zhu, Jinshan Zeng, Zhiqiang Kou 等

arXiv cs.LG

What masking geometry works best for EEG foundation models?

说明哪种掩码几何结构最适合脑电(EEG)基础模型?

简介本文系统比较了脑电基础模型预训练中的时空掩码策略,在MAE和JEPA两种自监督框架下训练了58个模型,并在OpenEEGBench的12个数据集上以线性探针评估。两种框架都认同同一种最优掩码配置,并发现了共同的失败模式以及一种新的JEPA特有失败模式。作者称,选择合适的掩码后,该流程能以远低于REVE的预训练计算量达到REVE级别的下游表现。

Pierre Guetschel, Bruno Aristimunha, Yassine El Ouahidi 等

arXiv cs.SD · cs.LG · eess.AS

Mask-Induced Displacement in Audio XAI via Logit Trajectory Decomposition

说明音频可解释性研究:遮罩填充引起的输出偏移(基于对数空间轨迹分解)

简介该论文针对音频分类器的扰动式可解释性方法,指出这类方法通常假设遮罩填充的影响可以忽略。作者提出对数空间轨迹分解,将输出变化分为沿遮罩与原始信号连线的分量和垂直于该连线的偏移分量。在三种填充方式、三个音频分类器和1100个AudioSet片段上的实验表明,部分遮罩时41%至77%的输出变化来自偏移分量,且其方向在不同保留比例下保持稳定。

Nico Garc\'ia-Peguinho (1), David Kelly (2), Fabrizio Smeraldi (1) 等

arXiv cs.CL

DISCO: Distributed Long Context Scaling with Grounding-Reasoning Disaggregation

说明DISCO:借助接地与推理分离实现分布式长上下文扩展

简介论文指出,大语言模型在输入变长时推理质量会明显下降,即“上下文腐化”。作者提出DISCO方法:由多个工作型模型并行处理长文本的局部定位,再由一个经强化学习(GRPO)训练的驱动模型负责规划、汇总证据并给出最终答案。原文称,该方法在RULER-QA(100万词元)上准确率为78.4%,并在LongBench v2上比全上下文模型高出最多9.8分,同时推理成本降低80%以上。

Guanzheng Chen, Viet Dac Lai, Subhojyoti Mukherjee 等

arXiv eess.AS · cs.CL · cs.MM

Is Word Error Rate Enough? Rethinking Privacy Evaluation in Speech with Entity-Aware Metrics

说明词错误率是否足够?用实体感知指标重新思考语音隐私评估

简介随着智能设备普及,语音中的敏感内容存在泄露风险。本文将自然语言处理领域的实体感知隐私指标引入语音隐私领域,评估两种混淆技术对语音内容(尤其是命名实体)的保护效果。研究还考察了多种攻击场景,发现基于实体丰富数据的微调仅对部分实体类别提升攻击效果,并根据混淆方法是否保持时间对齐给出了指标选择建议。

Anjana Rajasekhar, Jule Pohlhausen, Nayana Jacob Alappattu 等

arXiv cs.LG · stat.ME

How Synthetic Labels Improve Conformal Prediction: A Perspective on Conditional Coverage

说明合成标签如何改善共形预测:基于条件覆盖率的视角

简介共形预测能在无分布假设下保证边际覆盖率,但校准数据往往太少,难以学到不确定性随输入的变化。本文研究在只有少量可信样本时,由领域模型或大语言模型生成的合成标签能否改善条件覆盖率。作者提出“预测增强的分位数学习”方法,并在八个回归基准上测试,结果显示该方法在保持边际有效性的同时,显著提升条件覆盖率并使预测集更紧凑。人类评分研究也发现外部大语言模型标签有类似收益,并揭示了质量、数量与成本之间的权衡。

Qianyi Chen, Bo Li

arXiv cs.AI · cs.PF

Just Let Linear States Forget the Distant Past: Prefix Caching via Suffix Replay for Hybrid LLMs

说明让线性状态忘记远处的过去:通过后缀重放实现混合大模型的前缀缓存

简介混合大语言模型在全注意力层之外还使用线性注意力层,但后者的循环状态无法回滚到任意前缀位置,给前缀缓存带来困难。本文提出SuffixReplay,只保留线性层输入隐状态的近期后缀作为锚点,通过重放这些后缀来近似任意缓存页边界的状态,从而无需物化循环状态检查点。论文在三个混合模型上评估,并集成到SGLang中。

Yirui Liu, Ruoling Qi, Xuaner Wu 等

arXiv cs.LG · math.OC

Geometric Identification in Predict-Then-Optimize Learning

说明预测后优化学习中的几何可识别性

简介本文研究预测后优化(Predict-then-Optimize)学习中的决策导向代理损失SPO+。作者刻画了其总体风险的等值集,给出在中心对称条件下,中心化均值类是唯一贝叶斯最小化者的充要条件。文中结论仅为总体层面的陈述,不包含有限样本或一般迁移遗憾保证。

Jiaxiao Xu, Changhong Mou, Keji Liu 等

arXiv cs.CV · cs.CL · cs.LG

FORUM: Frozen Outputs Reconciled Using Model Agreement for Visual Grounding

说明FORUM:利用模型一致性融合冻结多模态大模型的视觉定位方法

简介该论文提出FORUM,一种无需训练、在测试时融合多个冻结多模态大语言模型的视觉定位方法。它通过选择被最多不同模型支持的区域,并以实际预测框的中心代表结果,避免单个不准确预测影响最终答案。融合三个开源模型后,在对抗性基准Ref-Adv-s上的平均准确率相对超过397B参数的已发表参考模型5%,相对简单平均集成高出15%,并在标准RefCOCO+上同样有所提升。

Taiyo Sato, Takamasa Sanda, Keisuke Maeda 等

arXiv cs.CV · cs.LG

Physics-Guided Flow-Map Matching for Precipitation Nowcasting

说明基于物理引导的流映射匹配的降水临近预报

简介该论文提出一种用于降水临近预报(由过去雷达观测预测未来雷达场)的条件流映射模型PG-FMM,将可预测的平流运动与不确定的小尺度细节分开处理。模型用冻结的拉格朗日平流先验搬运雷达场,并由流映射生成头在四个采样步内生成清晰的随机细节。在四个雷达基准上,该方法在24项指标中的18项优于现有方法,其中强降雨阈值下的临界成功指数最高提升58.9%。

Shunya Nagashima, Takumi Bannai, Makoto Misaizu 等

arXiv cs.LG · cs.AI · cs.CL

A Cheap Verifier is Good Enough: LLM Post-training is Robust to Erroneous Rewards

说明便宜的验证器已足够:大模型后训练对错误奖励具有鲁棒性

简介该论文研究在医疗、法律、金融等半可验证任务上做大模型后训练时,验证器的一致性能否预测训练效果。作者在 HealthBench 与 PRBench 上用超过 1.1 万 H100 GPU 小时进行实验。结果显示,验证器一致性越高并不总能选出最佳训练验证器,昂贵的验证器也不一定优于廉价的,开源的 Gemma 验证器同样能带来较好的训练结果。

Andreas Plesner, Curtis Northcutt, Francisco Guzm\'an 等

arXiv cs.CL

GSM: Efficient Language Modeling with Shared Global State

说明GSM:借助共享全局状态提升语言模型效率

简介本文提出全局状态模型(GSM),一种因果编码器-解码器架构,将历史信息获取与深层计算分离。编码器通过多阶段稀疏检索把长程信息聚合为固定大小的共享状态,解码器在该状态上逐层变换而无需反复访问历史。实验显示,在多个模型规模下其下游性能与匹配的基线相当,部分规模有所提升,并保留长上下文检索能力,同时提高训练与推理吞吐量并降低缓存开销。

Yunao Zheng, Bin Wen, Xiaojie Wang 等

arXiv cs.CL

Rethinking Token Reweighting for SFT: Suppress, Reverse, and Extrapolate Learned Features

说明重新思考SFT中的令牌加权:抑制、反转与外推已学特征

简介本文针对监督微调(SFT)中按令牌加权的方法进行分析,指出现有方法只能抑制或放大监督更新,无法反转已学到的有害特征。作者提出SCALE方法:冻结预训练模型与SFT增量,仅通过最小化预测熵来学习有界的令牌级与模块级门控,以抑制、反转或外推冻结的SFT特征。实验在Qwen2.5-Math与Qwen3-4B-Base上进行,数学推理平均分高于对应最强基线,代码生成平均表现也最佳。

Cunchun Li, Haonan He, Yifan Gao 等

arXiv cs.CV

SphMind: Towards Robust, Training-Free VLM-based Spatial Reasoning with a 360 Camera

说明SphMind:无需训练、基于视觉语言模型的360度相机空间推理框架

简介论文针对360度全景图像,提出名为SphMind的免训练、即插即用框架,将语义感知与几何推理分开处理,几何部分在模型外部完成。方法包括基于球谐函数的空间图(SHSG)和推理时几何对齐(IGG)两部分。作者称在三个基准测试中方向推理平均提升超过21.4%,在ODI-Bench上优于提示工程基线8.7%,并在全景旋转下将旋转不变性提升5.9%。

Shriram Damodaran, Soumyaratna Debnath, Cheston Tan 等

arXiv cs.LO · cs.AI · cs.LG

Protected Cores Are Not Enough: Certifying AI-Proposed Revisions of Temporal Specifications

说明受保护核心并不足够:对AI提议的时序规范修订进行认证

简介本文提出一种混合架构:不可信的AI提出时序规范的修订建议,由符号化的治理模块决定是否启用。作者给出两项结果,并指出聚合认证可能掩盖对受保护触发条件的系统性失败,因此需要同时控制聚合目标与核心条件下的选择后认证。实验为受控的合成场景,使用冻结的监督式AI提议器展示这种掩盖失败。

Ruggero Lanotte

arXiv cs.AI

When Does the Concept of "Dog" Emerge in an Audio LLM?

说明音频大模型中“狗”的概念何时出现?

简介本文研究多模态大模型 Qwen2.5-Omni-7B 如何表示狗叫相关的听觉语义。作者用 Jacobian lens(J-lens)读出隐藏状态,定义一个与狗相关的“狗方向”,并通过加减该方向的分量进行干预。结果显示,相关信息可在无狗叫提示的情况下解码;干预会改变部分回答倾向和最终答案,效果主要集中在生成前的深层状态(L22 和 L24),且在动物分类任务中没有优于对照的表现。

Zhe Wang, Shiqi Liu, Ruiyun Zhong 等

arXiv cs.LG

A Free Knob: Decoupling Calibration and Predictive Skill in Threshold-Based Evaluation

说明一个“自由旋钮”:在基于阈值的评估中分离校准与预测能力

简介许多稠密预测基准对罕见事件采用空间块池化、阈值化并计算临界成功指数(CSI)的评估方式,该指标会把空间判别能力与幅度校准混在一起。论文提出一种对称的事后单调校准审计方法(FreeKnob Audit),在留出数据上拟合变换后分别应用于各系统。实验表明,校准会显著改变CSI的比较结果,因此建议同时报告池化频率偏差与该审计结果。

Md Tanveer Hossain Munim, Bijoy Ahmed Saiem, Al-Amin Sany 等

arXiv stat.ML · cs.LG · math.ST

Sharp training-conditional coverage for conformal prediction under covariate shift

说明协变量偏移下保形预测的尖锐训练条件覆盖率

简介论文研究加权分裂保形预测在协变量偏移下、以校准数据为条件的覆盖率。作者给出无未指定常数的显式训练条件界,并指出关键尺度是由卡方散度与似然比在最大处的平均值构成的方差代理,而非似然比上确界。此外,论文还比较了该方法与随机拒绝采样及重要性加权学习后检验等方法的适用区间。

Mehrdad Pournaderi

arXiv cs.AI

What Shared Prefixes Hide: Trajectory Dropout for On-Policy Distillation

说明共享前缀掩盖了什么:面向同策略蒸馏的轨迹丢弃法

简介该论文研究同策略蒸馏中学生模型生成的推理前缀如何削弱教师的逐词反馈,提出前缀诱导的监督衰减现象。作者提出轨迹丢弃方法,训练时随机丢弃部分学生推理轨迹,同时让教师观察完整轨迹,以增强对过度自信预测的修正。摘要称该方法在多组师生模型和六个数学推理基准上提升了平均表现,并对两个域外基准有所改善。

Zizhuo Lin, Quanling Liu, Yi Yang 等

arXiv cs.CV

Native Association: Confidence-Aware Human Perception in the Wild with a Foundation VLM

说明原生关联:基于基础视觉语言模型、可感知置信度的野外人物感知

简介该论文提出用一个约0.77B参数的视觉语言模型(Florence-2)微调,在一次生成中按语法约束输出每个人的位置、所属队伍和球衣号码,避免检测、识别与关联分步拼接造成的身份错配。作者报告在多项运动的测试集上检测F1达0.95,并可通过额外一次前向计算获得置信度用于拒识。

Igal Dmitriev, Ofir Liba

arXiv cs.CV · cs.LG

A Visual Classification Dataset and Model Evaluation for Historical Manuscript Illustrations

说明历史手稿插图视觉分类数据集与模型评测

简介本文构建了一个包含 15,000 张人工标注插图的数据集,插图取自数百年前的手稿,分为 22 个类别。作者比较了微调的 CNN 与 Transformer 分类器、零样本 CLIP、基于嵌入的分类器以及视觉语言模型的表现。结果显示,微调图像分类器整体最好,ConvNeXt 准确率达 88.9%,宏 F1 为 81.3%;而零样本 CLIP 和直接视觉语言分类明显较差。

Yoav Evron, Michal Bar-Asher Siegal, Michael Fire

arXiv cs.IR · cs.CV

From PDF to Evidence: Structure-Aware Retrieval for Clinical Practice Guidelines

说明从PDF到证据:面向临床实践指南的结构感知检索

简介指南PDF中的表格、流程图和分级推荐等视觉结构,常被标准检索流程切成固定长度文本块而丢失。本文将证据获取视为文档图像分析问题,先把每页解析为有类型的结构元素,再按文档自身版式(章节、表格行、流程图路径、分级推荐)检索证据单元,并保留结构上下文,使结果指向具体元素而非整页。在26份指南(9个来源、3,619页,中英文)和199个证据查询上,该方法在元素级排序上优于逐元素OCR文本,同时在页面级召回上与之相当,且显著优于ColPali视觉RAG基线。

Xingyu Lin, Dehui Du

arXiv cs.CV

Concept Score Relearning: A Unified Cross-Architecture Attack on Concept Erasure

说明概念分数再学习:针对概念擦除的跨架构统一攻击

简介该论文研究文生图模型中的概念擦除是否可靠,提出概念分数再学习(CSR)方法,在模型的原生预测空间中优化参数以重新激活已被擦除的概念,且无需外部目标概念图像数据。该方法同时适用于基于U-Net的Stable Diffusion和基于Transformer的FLUX。实验显示,在严格裸露内容类别上,CSR在FLUX上平均攻击成功率为50.47%,在Stable Diffusion上为40.29%。

Hong Xi Tae, Jiaming Zhang, Wenwen He 等

arXiv cs.LG · cs.CV

Elucidating the Design Space of Regression-based Diffusion Reinforcement Learning

说明基于回归的扩散模型强化学习设计空间解析

简介本文研究一类用加权监督回归替代策略梯度的扩散与流模型强化学习方法,包括DiffusionNFT、FlowAWR和RAM。作者指出,它们都是某个带散度约束的奖励最大化问题的解,区别仅在于定义约束的凸生成函数。论文梳理了先前方法在构造优势回归目标时所做的近似,并提出保留单纯形上精确稀疏投影的新模型,最后提出收敛更快、训练更稳定的DiffusionRFT。

Toyota Li, David Zhao, Alan Zhao

arXiv cs.CL · cs.SD · eess.AS

Context Spanning: A Communication Framework for Full-Duplex Speech Models and External LLM Backends

说明上下文跨越:全双工语音模型与外部大语言模型后端的通信框架

简介该论文提出“上下文跨越”(Context Spanning)框架,通过实时分块预填充,把外部大语言模型检索到的原始文本直接注入全双工语音模型,避免信息在压缩的潜在空间中丢失。注入的内容在实时帧预算内通过一次前向传播编码,语音模型可据此独立推理并生成回应。作者称该方法在全双工基准和问答任务上表现良好。

Seonghyeon Go, Yongwoo Kim, Hyeonjin Cha 等

arXiv cs.CL

MIC: Explaining Image-Claim Inconsistencies in AI-Generated Multimodal Misinformation

说明MIC:解释AI生成多模态虚假信息中的图文不一致

简介该论文提出MIC框架,用于检测与声明配对的AI生成图像造成的虚假信息,并借助世界知识解释图文之间的不一致。方法先用监督微调进行任务适配,再用GRPO针对判定、不一致类型、视觉证据描述和世界知识解释等组件的可验证奖励进行优化。作者还发布了包含8,812个图文实例的MIC-Bench基准。

Ruihong Zeng, Jonathan Tonglet, Preslav Nakov 等

arXiv cs.AI

MAC-Net: A Multi-Task Deep Learning Framework for Modeling Cognitive Function From Task-Based fMRI

说明MAC-Net:基于任务态功能磁共振成像建模认知功能的多任务深度学习框架

简介该论文提出 MAC-Net,一种能感知协变量的多任务深度学习框架,用于依据任务态功能磁共振成像(tfMRI)预测个体认知功能。模型将神经特征与人口学等参数分开处理,在青少年大脑认知发展研究的 6500 名参与者基线数据上,与线性模型、随机森林及其他深度模型比较。结果显示,N-back 与金钱激励延迟任务组合表现最佳,N-back 信息量最大,而加入停止信号任务会略微降低效果。

Md. Tanvir Rahman, Nabil Anan Orka, Asaduzzaman Khan 等

arXiv cs.AI · cs.CL · cs.GT

Raven: The Harness of Harnesses for Composable Agentic Intelligence

说明Raven:面向可组合智能体的“框架之框架”

简介该论文提出 Raven,一个开源多智能体生态系统,可自动构建并演化针对特定模型与领域的模块化框架(harness),把每个可执行的“模型-框架”组合视为可组合单元。其主控智能体负责分解目标、匹配子任务并整合结果,并借助经验存档与可复用流程来跨任务积累经验。论文称在复杂、长周期任务上,Raven 显著优于现有先进智能体系统。

EverMind AI

arXiv cs.LG · cs.CL

SMAT: Simple and Efficient Merge-Aware Training

说明SMAT:简单高效的合并感知训练方法

简介模型合并可以在不联合重训的情况下整合多个专家模型的能力,但标准的专家训练只优化任务损失,不能保证合并后的性能。本文观察到常见合并方法可以从专家视角归纳为缩放、掩码和扰动三种操作,并据此提出SMAT方法,在模拟的合并参数上同时优化专家损失与期望损失。该方法还通过周期性调度、内核融合和参数存储切换提升效率。在四个语言与视觉-语言骨干模型上,SMAT对五种合并方法的平均得分比各骨干的最强基线提高1.07至2.16分,训练时间开销不到标准微调的2%。

Yanggan Gu, Yuanyi Wang, Zhen Li 等

arXiv cs.LG

SchemaMem: Schema-Indexed Recurrent Memory for Delayed State Retrieval

说明SchemaMem:用于延迟状态检索的模式索引循环记忆架构(arXiv 论文)

简介该论文提出 SchemaMem,一种结合块内注意力与持久化、按模式索引状态的循环记忆架构,用于保留并在之后检索信息。在受控的地址-数值任务中,与两个基线模型(参数量大致相当)相比,在四倍于最大训练延迟的条件下,其写入数值的平均保留率更高,更新数值的恢复在多数设置中也更优。但作者指出,在该延迟下默认设置的 Gated DeltaNet 表现更好,且 SchemaMem 需要明显更多的优化步数。

Sungwoo Goo, Hwi-yeol Yun, Sangkeun Jung

arXiv cs.SD · cs.CL · eess.AS

CORA: A Protocol for Diagnosing Boundary Robustness in Text-to-Audio Retrieval under Query Reformulations

说明CORA:一种用于诊断文本到音频检索在查询改写下边界稳健性的协议

简介该论文提出CORA协议,将原始音频描述改写为指令、问句、间接表达、关键词和陈述句五种形式,同时保持目标音频不变,以测试文本到音频检索器的稳健性。作者提出RankDrop指标,发现其与目标对齐损失及目标边界间隔退化的相关性较强,而与文本空间移动的相关性较弱。论文认为,稳健的检索需要在改写后仍保持目标相对于其他音频的边界优势。

Jae Min Woo, Kyongmin Kong, Bogyung Jeong 等