AI 算法 · 2026年10月31日(周六)

机器学习、人工智能、自然语言处理、计算机视觉、多智能体。

RSS 订阅
arXiv cs.CV

PRISM-Net: Dynamic Routing Network with VLM-Guided Disentangled Attribute Distillation for Explainable Fine-Grained Product Retrieval

说明PRISM-Net:带视觉语言模型引导属性蒸馏的动态路由可解释细粒度商品检索网络

简介论文针对大规模电商图像中的细粒度商品检索,提出PRISM-Net,将整体视觉特征分解为结构(线条)与颜色两条专家路径,并由元路由器加权融合。方法利用SigLIP的零样本文本提示蒸馏监督专家,无需人工属性标注。在275,454张图像的五折交叉验证中,SwinV2上商品mAP@10由80.98%提升至83.90%。

Chung-Ming Lo, Che-Wei Chang

arXiv cs.LG

Compositional Self-Improvement: Promises and Pitfalls

说明组合式自我改进:前景与陷阱

简介该论文研究模型能否利用组合结构为更难的问题生成监督信号,即先可靠地解决子问题,再将子问题的预测组合成更难问题的训练标签。作者通过受控实验总结了三种失效模式:子问题预测不可靠、组合过程引入误差、监督覆盖范围有限。在更贴近实际的编程与推理任务中,组合标签比模型直接自生成的标签更准确,且在长于训练时所见的组合上仍能提升性能,同时上述失效模式依然存在。

Changho Shin, Daiwei Chen, Brenden Lake 等

arXiv cs.CL · cs.AI · cs.LG 公开资源

From Lookups to Lessons: Turning Retrieved Knowledge into Parametric Memory

说明从查找到学习:将检索到的知识转化为参数化记忆

简介论文提出ResMem方法,让大语言模型离线阅读检索到的文本,生成教师目标,并训练一个参数化记忆学习加性logit残差,使学生模型的预测与教师分布对齐,从而无需在线检索。与基于kNN数据存储的方法相比,该方法在一个维基百科子集上减少了94.7%的教师构建存储。在五个问答数据集上,平均token F1从冻结模型的32.83%提升到34.48%,并且比kNN训练的记忆少破坏21%的模型正确答案。

Changjiang Han, Bowei He, Ye Yuan 等

arXiv cs.DB · cs.LG · cs.PF

SpBench: An Agent-Native Framework for Cross-Engine Lakehouse Benchmarking

说明SpBench:面向跨引擎湖仓基准测试的智能体原生框架

简介SpBench 是一个面向跨引擎湖仓(lakehouse)基准测试的框架,已在生产环境中用于评测 Snowpark、Snowpark Connect for Apache Spark 等执行环境。它基于 TPCx-BB、TPC-DI 等标准套件以及从生产负载中提炼的自定义基准运行,持续检测性能回归。论文提出了类型化的代码生成基准基座、记录每次运行的结构化遥测契约,以及三种可组合技能的智能体原生工具链。据称该架构已支持开发 400 多条基准查询,定期运行并已推动生产环境的改进。

Lyndon Shi, Nic Crouch, Yi Hu 等

★★★★☆ 值得关注
arXiv cs.LG · cs.AI · cs.NA

Learning to evolve by matching velocities

说明通过匹配速度学习演化:一种无需模拟轨迹的非线性动力系统学习方法

简介该论文研究如何学习非线性动力系统的连续时间演化。作者提出速度匹配(Velocity Matching,VM)目标,无需在训练中模拟轨迹或反向传播数值格式,并建立了基于速度误差控制轨迹误差的理论框架。在非线性常微分方程和半离散含时偏微分方程的实验中,VM 的精度优于基于轨迹的目标。

看点提出免仿真的速度匹配目标,并给出稳定性与通用逼近理论,连接隐式Runge-Kutta格式;摘要报告在非线性ODE和半离散PDE上提升精度。

Nicola Farenga, Andrea Manzoni

arXiv cs.AI · cs.CL

Quantiles, Not Points: Streaming Quantile Matching for Ordinal-Aware LLM-as-a-Judge Calibration

说明不看单点看分位数:面向有序评分的流式分位数匹配校准,用于LLM作为评审的校准

简介论文指出,大模型作为评审给出的分数与人工评分在同一任务上常存在分布偏移,事后校准可以修正这一偏移。作者把大模型评分视为从分布中抽取的有序评分,提出流式分位数匹配(SQM)方法,通过计算大模型与人工评分分布之间的最优传输映射完成校准。实验显示,SQM在保持有序性、分布拟合度和综合排名上表现最好。论文还指出,事后校准会缩小较小与较大评审模型之间的原始误差差距。

Ilija Subasic, Andrew Rabinovich, Zhao Chen

arXiv math.DS · cs.AI · cs.ET

Analog and hybrid computing in the 21st century

说明二十一世纪的模拟与混合计算:利用电子电路等物理过程直接表示数学问题的计算方式,可用于模拟动力系统、优化和节能的人工智能

简介这篇论文从跨学科角度综述现代模拟计算与模拟-数字混合计算。模拟计算机用物理量(如电子电路中的信号)表示数学变量和关系,可直接对应非线性动力系统。文章指出,数字架构的设计约束日益限制性能和能效,而模拟系统能以更小、更简单的元件,把特定计算直接映射到物理过程上,效率更高。文中还讨论了这类方法在动力系统模拟、优化以及人工智能节能实现中的应用。

Bernd Ulmann, Olivier Bournez, Corey J. Maley 等

arXiv cs.LG

CLiS: Plug-and-Play Attention Acceleration for Video Diffusion on TPUs via Certified Stabilization

说明CLiS:面向TPU视频扩散模型的即插即用注意力加速方法(经认证的稳定化)

简介本文针对高分辨率视频扩散模型中长序列注意力计算效率低的问题,提出免训练、即插即用的优化方法CLiS。该方法在键值循环前固定每行的稳定项,并逐注意力头验证数值安全性,验证失败时退回在线softmax。在Wan 2.2和LTX-2模型上,相比调优后的在线softmax,扩散Transformer单步延迟最多降低19.6%,且未观察到可测量的质量损失。

Elisa Tsai, Shao-yu Huang, Daniel Mandragona 等

arXiv cs.CL · cs.AI

Fidelity Collapses with Table Size, Not Turn Count: Delivery Architecture in a Deployed Tool-Using Agent

说明准确率随表格大小崩溃,而非对话轮次:一个已部署工具型智能体中的数据交付架构

简介论文比较了两种把工具计算出的结构化记录交给多轮智能体的方式:一种把整批记录放入模型上下文,另一种把记录保存在会话状态中并通过类型化侧通道交付。在24段对话中,侧通道架构有92.3%的轮次完全正确,上下文架构为45.7%。上下文架构的准确率随表格行数增加而急剧下降。

Tung Thanh Hoang

arXiv cs.AI · cs.HC · cs.LG

OmniMechanism Design for Human-AI Collaboration with Impressionable Minds

说明面向易受影响人类的人机协作全能机制设计

简介论文提出一个人机协作框架“协作全能机制设计”,考虑人类判断会受AI输出呈现方式影响这一因素。框架基于一种新的上下文赌博机式提升方法,并将一种校准类结果不可区分条件归约为加权校准。在三个人机协作场景的实验中,该方法无需重新训练即可适应不同的查询成本与预测目标,效果与所比较的基线相当或更好。

Tianwei Gao, Yifei Pang, Lunjia Hu 等

★★★★☆ 值得关注
arXiv cs.LG · stat.ML

Statistical Inference under Performativity: From Policy Feedback to Self-Evolving Systems

说明表现性条件下的统计推断:从政策反馈到自我演化系统

简介本文研究预测驱动的决策会改变数据生成过程的情形(即表现性),这在政策制定和会塑造自身未来训练数据的自我演化AI系统中都会出现。作者建立了该场景下的端到端统计推断框架,给出重复风险最小化与重复梯度下降的中心极限定理与协方差递推式,并提出基于策略扰动和得分匹配的一致协方差估计量。实验显示,忽略传播的不确定性在反复重训后仍可能导致置信区间覆盖率严重不足。

看点将统计推断扩展到表现性反馈下的重复风险最小化与梯度下降,推导协方差递推并结合预测驱动推断,在合成与语言模型路由等设置验证。

Tianwei Gao, Garrett G. Wen, Huiying Zhong 等

arXiv cs.LG

Local Spatial TreeSHAP: Geographically Explainable AI Revealing Urbanization-Dependent Spatial Heterogeneity in Flood Resilience

说明局部空间TreeSHAP:揭示城市洪涝韧性中随城市化变化的空间异质性的地理可解释人工智能

简介该论文提出一种空间可解释的机器学习框架,结合地理加权随机森林与新的局部空间TreeSHAP算法,在社区尺度上识别和解释城市洪涝韧性机制。以2023年7月北京极端暴雨影响的779个社区为研究对象,发现韧性机制的空间异质性明显强于物理和社会经济条件本身。研究据此区分出三类随城市化梯度变化的韧性模式。

Zeyu Zhao, Xiaoshan Zhou, Fanxin Meng 等

★★★★☆ 值得关注
arXiv cs.GT · cs.AI

Online Fair Division of Chores with Upgrade Recourse

说明带升级补救机制的在线公平分配家务问题

简介该论文研究在线环境下将不可分割的家务(chores)公平分配给n个智能体的问题,允许先前的分配被修改,但每个已分配的家务必须被替换为智能体认为成本不更高的另一项家务。作者证明,经过简单改造的轮转法(round robin)可同时保证至多差一项的无嫉妒性(EF1)以及(2-1/n)倍的最大最小份额(MMS)近似。论文还指出,在不使用预测信息的确定性算法中,这一近似比无法被改进。

看点新意在于在可重分配的在线家务分配中,给出与EF1兼容的(2-1/n)-MMS近似并证明确定性下界;摘要报告了证明与预测信息下的结果,适用于公平分配子领域。

Yichen Huang, Nicholas Teh

arXiv cs.CV

Real-VAS: a Real-World Video Amodal Segmentation Dataset

说明Real-VAS:真实世界视频非可见(被遮挡)分割数据集

简介该论文提出 Real-VAS,一个基于真实图像视频合成的大规模零样本评估数据集,用于评估视频中被遮挡物体的完整形状分割。数据生成流程从单一未遮挡源出发,无需人工估计或昂贵的三维重建,即可得到程序化一致的真值标注。数据集包含动态遮挡和容器两类场景,其中容器场景涵盖表面容纳、铰接容纳与移动容纳,并依据容器的跟踪变换模拟物体运动。论文表示数据集与生成代码将公开。

Finlay G. C. Hudson, William A. P. Smith

arXiv cs.LG · cs.CL · physics.optics

Do Multimodal Models Decide Consistently on Equivalent Optical Spectra?

说明多模态模型对等价光谱的判断是否一致?

简介该研究检验多模态模型能否对同一光谱的不同表示形式(表格或图像,单位分别为纳米和光子能量)给出一致判断,并考察证据不足时模型能否选择拒答。实验基于硅超表面和金纳米颗粒的实测光谱。结果显示,仅改变表示形式就可使同一模型的准确率相差最多41个百分点,主要集中在光子能量表格和图像上。

Ziyuan Wang, Genliang Zhu, Xiaobo Chen

arXiv cs.CV

PAM-Mamba - Efficient Dense Action Detection using Mamba

说明PAM-Mamba:基于 Mamba 的高效密集动作检测方法

简介该论文提出 PAM-Mamba,用于在长视频中精确定位多个重叠的动作,属于密集动作检测任务。模型以 Mamba 为基础构建线性复杂度 O(T) 的多分支时序编码器,并结合门控可学习位置编码、双向时序 Mamba 等模块。在 Charades 与 MultiTHUMOS 数据集上取得 26.82 至 46.92 的 mAP,参数量为 26.1 至 27.9M,比 PAT 少 61% 至 63%。

Dhruvraj Singh Rawat, Faegheh Sardari, Armin Mustafa

arXiv cs.LG · cond-mat.dis-nn · cs.AI

A Spectral Renormalization-Group View of Learning

说明从谱重整化群视角看深度学习的层收敛

简介该论文用威尔逊重整化群思想来解释深度神经网络各层训练后形成的重尾幂律谱,并关注幂律指数约为2的情形。作者提出统计与物理两方面的解释,并引入SETOL理论、谱重整化流,以及与Muon优化器相关的新优化器扩展WW-PGD。

Charles H. Martin

arXiv cs.LG

RankLane: Efficient MoE Prefill on Accelerators with Ranked Expert Capacities

说明RankLane:在加速器上用按负载排序的专家容量高效执行MoE预填充

简介本文提出RankLane,面向专家混合(MoE)大模型在静态执行计划加速器上的预填充阶段。它按各设备上专家的当前负载排序,并将其分配到固定容量的通道中,运行时由索引选择专家和token行,减少填充浪费并处理容量溢出。在四块Cloud AI 100 Ultra SoC上,对Qwen3-30B-A3B和Gemma 4 26B-A4B进行测试,相较稠密基线,端到端预填充速度分别提升1.27至4.18倍和1.93至3.46倍。

Wentao Ni, Chihao Yu, Hong Cai 等

arXiv cs.CL

Circuit Oracle: Automating Attribution Graph Analysis via Natural-Language Queries

说明Circuit Oracle:用自然语言提问,自动分析归因图

简介该论文提出 Circuit Oracle,一个配备多智能体框架和任务技能的大语言模型,通过工具调用读取归因图,回答关于目标模型的自然语言问题。在检测伪特征、挖掘隐藏知识和抑制拒答越狱三项安全代理任务上进行了评估,结果有好有差:伪特征检测准确率为 78.2±2.4%,优于单层特征排序基线;在秘密挖掘任务上,已训练的自解释方法仍更强。

Shariar Kabir, Hong Kiat Tan, Swastik Agrawal 等

arXiv cs.AI · cs.LG

Nonconformal Distortion and Local Orientation Reversal in the Fourier Circuit of a Modular-Addition Transformer

说明模加法 Transformer 傅里叶电路中的非保角变形与局部取向反转

简介本文研究一个单层 Transformer 中基于傅里叶变换的模加法电路的局部几何性质。作者对五个关键频率分别取其多层感知机(MLP)在对应傅里叶输入平面上的贡献,用 Beltrami 系数度量连续输入扰动下的方向性变形。结果显示训练后的映射存在非保角变形,并出现局部取向反转;Beltrami 系数的中位数从初始化时的 0.939 降至训练后的 0.390。

Eduardo Fuentes, Gonzalo Riera, H\'ector Allende-Cid

arXiv cs.CY · cs.AI · cs.LG

On the Framing Effect of AI Red-Teaming Instructions: Evidence from Prior Exercises and Controlled Simulations

说明AI红队测试指令的框架效应:来自既往实践与受控模拟的证据

简介本文研究AI红队测试(用对抗性提示探查生成式AI系统的危害)中所用指令的措辞方式是否影响测试结果。作者先回顾了228项既往研究中的指令形式,再设计受控模拟,仅改变指令、保持风险领域、攻击者与目标模型不变,共进行22,500次攻击。结果显示,风险粒度、指令长度、示例的有无及是否给出明确危害定义,都会显著影响攻击成功率。

Michael Feffer, Alice Qian, Anusha Sinha 等

arXiv cs.LG

TileWeave: Heterogeneous Tiling for Sparse Prefill on Mobile SoCs

说明TileWeave:面向移动 SoC 稀疏预填充的异构分块方法

简介这篇论文针对手机上大语言模型处理长上下文时预填充延迟高、内存占用大的问题,提出 TileWeave 方法。它按查询块之间的复用程度划分稀疏注意力:高复用的键块放在 NPU 的粗粒度分块中执行,低复用的键块只为选中它们的查询块在 GPU 上计算,并通过运行时调度与合并结果。在 RULER 和 LongBench 上,其准确率与 XAttention 相当或更高;在两款骁龙手机上,相比 XAttention 全模型预填充速度提升 1.35 到 3.23 倍。

Wentao Ni, Hong Cai, Mingu Lee 等

arXiv cs.AI · cs.LG

Hacking or Just Failing? A More Capable LLM Monitor Better Separates Reward Hacking from Honest Failure

说明是钻空子还是单纯失败?更强的LLM监控器能更好地区分奖励作弊与诚实失败

简介该论文研究智能体的可见分数可能因作弊而虚高,还是因失误而偏低,并构建沙箱任务来区分二者。实验显示,较小的本地监控器难以区分作弊与诚实失败,而更强的Gemini 3.1 Flash-Lite在预先注册的标准下表现较好(AUC 0.80,但仅14个作弊样本,结论不确定)。论文同时指出,简单的两条确定性规则可捕获所有已知作弊行为。

Kaushik Kezendirane

arXiv cs.CV

TAP-Out: Tracking Any Point in 360deg via Outpainting

说明TAP-Out:通过外绘在360度范围内追踪任意点

简介该论文提出TAP-Out方法,用于追踪离开摄像机视野的点。它先利用生成式视频外绘将窄视角视频补全为360度全景视频,再通过视频目标分割在全景场景中定位目标,并生成以目标为中心的透视裁剪画面,交由现有画面内追踪器处理。在TAPVid360基准上,该方法在视野外追踪精度上取得了最优表现,约为此前最佳方法的3倍。

Finlay G. C. Hudson, James A. D. Gardner, William A. P. Smith

arXiv cs.LG

MXCode: Vector Quantization for MX-Native Inference at Scale

说明MXCode:面向MX原生推理的向量量化方法

简介这篇论文提出MXCode框架,把约2比特每权重的向量量化压缩与MX原生的FP4计算结合起来,以降低大语言模型推理的内存与带宽压力。文中给出三种策略(PostScale、PreScale、PreScale+),用于权衡量化质量、缩放开销与码本粒度。作者在Qwen3(235B)、DeepSeek-R1(671B)和GLM-5.2(753B)上进行了评估,并报告了GB300硬件上的内存与首词延迟结果。

Gaurav Kolhe, Cansu Demirkiran, Shubhi Tyagi 等

★★★★☆ 值得关注
arXiv physics.chem-ph · cond-mat.stat-mech · cs.LG

VESPER: Online Learning of Free Energies with a Multi-Tempered Variational Objective

说明VESPER:用多温度变分目标在线学习自由能

简介该论文提出VESPER方法,在分子动力学模拟中同时用神经网络学习集体变量上的自由能景观。模型偏置模拟以加速探索,不同温度层级共享同一自由能模型而无需重新加权。作者给出了耦合种群动力学的条件收敛性证明,并在丙氨酸二肽、丙氨酸四肽、Ni(511)表面甲烷脱氢和chignolin等体系上进行了验证。

看点新意在于将增强采样与神经网络自由能学习通过单一凸变分目标耦合,并利用多温度水平共享模型;实验覆盖丙氨酸二肽、四肽、甲烷脱氢及chignolin等体系,并给出收敛性证明。

Jay L. Kaplan, Gustavo R. P\'erez-Lemus, Mengjian Hua 等

arXiv cs.CV

Evaluating SAM-based and Convolutional Architectures in Thin Retinal Vessel Segmentation: Model Capacity, Computational Cost and Foundation Pre-training

说明基于SAM的ViT与卷积网络在细视网膜血管分割中的比较研究

简介本文比较了纯视觉Transformer编码器(MedSAM)、混合Transformer(LiteMedSAM)和三种不同规模的卷积神经网络在视网膜血管分割任务上的表现,数据集包括DRIVE、HRF、FIVES,并在显微镜数据集VessMap上做了第二领域验证。结果显示,预训练的MedSAM在四个数据集上对细血管的中心线召回率与最佳卷积网络没有显著差异。通过架构搜索得到的小型纯ViT从头训练时则无法保持这一性能。

Carlos Eduardo Fontaneli, Cesar Henrique Comin

arXiv stat.ML · cs.LG · stat.AP

Transformer-Based Reinforcement Learning for Phase I Dose Allocation

说明基于Transformer的强化学习用于I期剂量分配

简介该论文提出一种可用于不同剂量水平数量试验的单一强化学习策略,将各剂量表示为令牌并由Transformer编码,策略在降级、保持和升级三个动作中选择。试验结束后,最大耐受剂量由加权保序回归和预设安全上限确定。仿真显示,带毒性惩罚的策略可降低剂量限制性毒性负担,不带惩罚的策略选择准确性更高但毒性更大,但论文未证明其优于传统剂量探索设计。

Shijie Yuan

arXiv cs.AI · cs.RO

CalVLA: Shaping Native Confidence in Vision-Language-Action Policies with Outcome Supervision

说明CalVLA:利用结果监督塑造视觉-语言-动作策略的原生置信度

简介该论文提出CalVLA方法,利用成功与失败的机器人执行轨迹,并通过动作置信度对齐损失(ACal)调整OpenVLA-7B的动作标记置信度,使策略无需额外故障检测器即可判断任务失败的可能性。在LIBERO-10的留出测试集上,调整后的置信度失败判别AUROC达到0.7392±0.0480(三个随机种子),高于调整前的0.4485。但任务平均成功率从58%降至55%,论文说明结果仅体现失败判别能力的提升,并不代表控制性能或安全性得到改善。

Boniface Chukwuemeka Godwin

★★★★☆ 值得关注
arXiv q-bio.NC · cs.AI · cs.CL

Geometric and algebraic inference in humans and neural networks

说明人类与神经网络中的几何推理与代数推理:两种推断策略的比较研究

简介该论文提出两种推断策略:几何策略通过逐步塑造表征几何来反映潜在关系结构,使后续推断成本较低;代数策略则在推理时灵活关注并处理情境中给出的新关系,但需要额外计算。研究在传递性推理任务中观察到两种策略的相反特征,并通过人类实验、从头训练的神经网络和大语言模型加以验证。

看点提出几何与代数两种推理策略并在传递推理中揭示相反特征;摘要称在人类、从头训练的网络和大语言模型上做了多项实验,并有因果干预。

Jacob Russin, Joonhwa Kim, Ellie Pavlick 等

arXiv cs.AI

Dependence-Aware Risk Assessment and Optimal Design of AI-Agent Safeguard Systems

说明考虑依赖关系的AI智能体安全防护系统风险评估与优化设计

简介本文提出一个考虑依赖关系的框架,用于评估多组件AI安全防护系统的风险,并联合选择分层筛查与选择性复核的配置和运行策略。文中给出了分层筛查错误概率与调用成本的随机比较结果,并刻画了选择性复核中哪些策略的误差与复核成本会随依赖增强而单调变化。文章还开源了实现该框架的软件包DAPOA,数值实验显示忽略依赖会导致风险评估失准,在八个场景中有六个基于独立假设的选择违反安全要求。基于四种LLM安全防护的实证研究显示,依赖感知选择在主要运行设定下使保留集总成本比独立假设下的选择降低39.6%。

Yijia Li, Maochao Xu, Peng Zhao

arXiv cs.SE · cs.AI

Agent Stack for ML Training Lifecycle: Generation, Validation, and Optimization

说明面向机器学习训练全流程的智能体体系:生成、验证与优化

简介本文介绍领英(LinkedIn)部署的一套智能体体系,包含两个可独立使用的循环:AutoTorch用于模型生成与迁移,AutoResearch用于模型优化。AutoTorch生成PyTorch模型与训练流程,并通过可执行验证进行迭代修复;AutoResearch通过专家引导或自主实验探索架构与训练配置的改动。论文报告,在115次工作流运行中,AutoTorch完成了92次,其中77次模型达到训练后质量要求;在100个生产流水线中,AutoResearch在保留数据上提升了28个的主要任务指标。

Jaideep Ray, Daniel Tang, Zejun Lin 等

arXiv cs.CV · cs.AI · cs.CL

LF-VideoQA: Evaluating Long-Video Understanding with Long-Form Theory-of-Mind Questions

说明LF-VideoQA:用长篇心智理论问题评测长视频理解

简介本文提出LF-VideoQA数据集,用于评测模型对长篇叙事视频的理解能力。问题基于心智理论设计,需要整合分散在视频各处的证据进行开放式长篇回答。数据集包含94部近期电影的6300多个问题,并为每个问题配有用于召回率和精确率评分的评分标准。实验显示该任务难度很高,即使能访问剧本的模型也无法给出完整答案,召回率是主要瓶颈。

Shaden Shaar, Bradon Thymes, Majd Aldaye 等

arXiv cs.CV

MoRE-GS: Motion-Regime Experts for Future Gaussian Splatting

说明MoRE-GS:面向未来高斯泼溅的运动模式专家路由方法

简介该论文提出MoRE-GS框架,用于预测动态三维高斯场景的未来画面。方法以观测到的时间前缀重建的高斯表示为基础,用持久性、Transformer、图卷积网络和带刚性与非刚性约束的结构化Transformer四类互补专家预测控制关键点运动,并通过路由表和持久性门控组合专家输出。在D-NeRF和HyperNeRF场景上,论文报告其性能优于其他方法。

Shima Salehi, Joshua Peeples

arXiv cs.LG · cs.CL

Unlearning by Extrapolating a Shrink-and-Heal Lookahead

说明通过外推“收缩-修复”前瞻实现大模型遗忘

简介该论文研究大语言模型的遗忘问题,目标是让模型行为接近未在遗忘集上训练过的重训练模型。作者提出SHIFT方法:先将微调模型向微调前权重收缩,再短暂重新学习保留集,以去除遗忘相关的影响,并将该前瞻的逐词变化外推为蒸馏目标、迭代优化。在统一的OpenUnlearning协议下,与十一种基线对比,SHIFT在所有TOFU设置中综合得分最高,与重训练模型的对齐程度最接近;在MUSE上保留的保留集知识最多。

Hoang-Chau Luong, Lingwei Chen

arXiv cs.CL · cs.AI

Cross-Prompt Reuse of Entity-Replacement Responses

说明跨提示复用实体替换回应:在固定模型权重下,检验实体替换带来的内部状态变化能否从一个英文事实问题迁移到另一个关于同一实体的问题。

简介论文在固定模型权重的条件下,比较两个源问题的隐藏状态变化迁移到同一实体目标问题上的效果,并与直接复用输出分数变化的方法对比。结果显示,不同关系的源问题下,隐藏状态复用可减少部分无变化误差,但在小型纯文本模型上主要复现两个关系共有的偏移,未能稳定降低关系特异性误差。作者还发现,同一关系中立的变化作用于两个问题的实体词元时,关系特异性误差下降更明显,提示结果依赖于接收问题。

Jinkun Chen, Xuemin Yu, Sijia Han 等

arXiv cs.CV

SIEVE: Preserving Cross-Image Evidence via Depth-Aware Token Compression

说明SIEVE:通过深度感知的视觉令牌压缩保留跨图像证据

简介这是一篇关于多图像视觉语言模型的论文,提出了名为SIEVE的免训练、单次前向的视觉令牌压缩框架。该方法先将每张图像池化为紧凑的空间网格,再在每张图像的均等配额下利用提示注意力选出代表令牌,并将未选中的令牌合并到同一图像内相似的代表令牌中。论文报告,在四种视觉语言模型骨干上,SIEVE在6.25%预算下取得了多图像与单图像基准的最高平均分,并在LLaVA-OneVision-7B上以12.5%预算超过未压缩模型2.01分,预填充计算量减少6.6倍。

Nitish Shukla, Surgan Jandial, Nhat-Tan Bui 等

arXiv cs.LG · cs.AI

On the Limits of Test-Time Compute for Self-Evaluation

说明论测试时计算在自我评估中的局限性

简介该论文指出,增加候选答案数量并不能稳定缩小模型最终答案准确率与pass@N之间的差距。作者用排序误差衡量模型区分正确与错误生成结果的可靠程度,并将其分解为偏差与方差两部分。基于这一分析,论文提出了Scorpio方法,对随机分组的候选答案进行联合打分,并在数学、代码和谜题基准上改进了验证、树搜索和聚合任务。

Anirudh Buvanesh, Khaled Rouissi, Sujin Yun 等

arXiv cs.CL · cs.CY

Queering the Audits: Community-Based Auditing of AI Harms to Queer Communities

说明《酷儿化审计》:由社群主导审计人工智能对酷儿群体造成的伤害

简介本文提出一种由社群参与的审计方法,用于发现人工智能系统对酷儿群体造成的伤害,例如被抹去、误分类和歧视。作者在 EurIPS 2025 组织了一场参与式审计工作坊,16 名酷儿社群成员依据 4Cs 伤害分类法(内容、行为、接触、契约)审计了四个案例。结果显示,伤害多源于问题定义和数据收集阶段,部分契约结构在为弱势群体提供极少救济的同时攫取价值。

Organizers of QueerInAI: A Pranav, Alissa A. Valentine, Alex Markham 等

arXiv cs.RO · cs.AI · cs.CL

SPARK: Self-Correcting Embodied Memory via Physical Re-Observation

说明SPARK:通过物理重新观测实现具身记忆自我修正

简介本文提出SPARK框架,用于具身场景下的检索增强生成(RAG)记忆。系统在首轮观测后由语义评审器标记知识库中的可疑区域,再由规划器生成针对性重访,并选择性地增、删或替换知识库信息以修正早期错误。在四张户外AirSim地图和两种视角退化条件下,单次修正即可提升每张地图的问答表现,同时比只追加更新少存储13%至41%的物体;延续至第四轮后,各地图的表现均超过未退化的参照基准。

Dmytro Kurdydyk, Aadi Palnitkar, Sebastian Scherer 等

arXiv cs.LG

DEPLOY-RL: Active Boundary Discovery and Conservative Certification for Deployable Reinforcement Learning in Safety-Critical Continuous Processes

说明DEPLOY-RL:面向安全关键连续过程中可部署强化学习的主动边界发现与保守认证方法

简介这篇论文提出DEPLOY-RL,一个用于强化学习策略上线前认证的框架,核心思路是先找出失效发生的边界,而不是在所有区域均匀测量。方法包括一种集中采样于认证关键边界的采集函数、基于保形风险控制的有限样本误放行保证,以及带故障安全PID/MPC回退的三路决策(部署/不部署/弃权)。在造纸工业数字孪生和Tennessee Eastman公开基准上,其误放行率为4.4%,策略覆盖率为88.6%。

Yeojin Jang, Minu Baek, Gihun Gil 等

arXiv cs.AI

Efficient NPN Classification for Large Functions using Graph Neural Network

说明用图神经网络对大型布尔函数进行高效NPN分类

简介本文研究布尔函数的NPN分类,即判断两个函数能否通过取反输入、置换输入或取反输出互相转换。精确方法需要穷举所有输入排列与取反,复杂度随输入数指数增长。作者首次将该问题转化为NPN动作预测,用双向异构图神经网络在与非-非门图(AIG)上预测取反、置换等操作,并引入图重写技术减少结构歧义。实验显示该方法可学习,优于启发式基线,并能处理最多16个输入的函数。

Chengdi Cao, Hanyu Wang, Wan-Hsuan Lin 等

arXiv cs.LG · cs.AI 公开资源

Decomposing Irregular Time Series into Interpretable Temporal Patterns with Mixture-of-Experts

说明用专家混合模型将不规则时间序列分解为可解释的时间模式

简介论文提出MoTIF框架,利用专家混合(MoE)注意力,把分钟到年尺度的不规则时间序列分解为周期性或区间型时间模式。在已知结构的合成数据和公开信用卡交易数据上,MoTIF的预测效果优于基线模型,其学习到的路由还显示欺诈交易的时间节奏与正常交易不同。作者认为这种方法可在保持预测准确性的同时提高模型的可审计性。

Jenna L. Ballard, Zijie Pan, Shivani Shekhar 等

arXiv cs.LG · cs.AI · cs.SD

C3: Speech-Guided KV Retrieval for Long-Context SpeechLLM Inference

说明C3:面向长上下文语音大模型推理的语音引导KV检索

简介语音语言模型对音频的编码速率远高于文本,使KV缓存成为长文本生成中内存、带宽和解码开销的主要来源。论文提出C3(Cluster-Compete-Compete)方法,用分层键空间索引组织音频KV,让共享同一KV头的查询头竞争共同的检索预算,并通过成对的分裂-合并更新自适应调整检索分辨率。在四个语音大模型上的长文本语音识别、翻译和摘要任务中,C3在可比的最终KV访问预算下整体表现最好,在预算紧张时提升尤为明显,同时提高了长上下文解码效率。

Dancheng Liu, Markus M\"uller, Rupak Vignesh Swaminathan 等

arXiv cs.CV

Déjà Vu: Cycle-Consistent Re-ranking for Semantic Correspondence

说明Déjà Vu:用于语义对应的循环一致性重排序方法

简介该论文提出 Déjà Vu,一种用于语义对应的测试时解码模块,用于匹配不同图像中同一类别物体的语义等价关键点。作者发现正确对应点常出现在前几名候选中,而传统的贪心 top-1 选择未能充分利用,因此将匹配重构为先召回再重排序的问题。该方法基于已有相似度矩阵,用循环一致性分数对候选进行重排序,并在 SPair-71k、PF-Pascal 等数据集上提升了多个基线方法的表现。

Xiaoran Zhang, Huidong Liu, Yang Liu 等

arXiv cs.SD · cs.CL · eess.AS

One Waveform, Two Stories: Benchmarking Speech-Acoustic Conflict in Audio-Language Models

说明同一段音频,两种说法:音频语言模型中语音与声学冲突的基准测试

简介本文提出SAC-Bench基准,包含616,031段音频、188个声音事件类别,涵盖语义、时序和空间七项任务。其核心是让同一段录音中的语音陈述与声学证据相符或相矛盾,以考察音频语言模型的表现。研究发现,多个模型在仅有音频时准确率较高,但在语音与声音冲突时准确率大幅下降;提示干预有时能恢复声学准确性,但也可能降低与陈述一致的回答。

Wenbin Wang, Yuheng Li, Koichiro Yoshino

★★★★☆ 值得关注
arXiv cs.AI

Beyond Semantic IDs: Atomic Creator Tokens for Large-Scale Generative Recommendation

说明超越语义ID:面向大规模生成式推荐的原子创作者令牌

简介本文针对推荐用户尚未关注的创作者这一冷启动问题,指出主流生成式推荐中的语义ID(SID)层才是性能瓶颈。作者提出原子创作者令牌(ACT),为每位创作者分配独立词表令牌并端到端训练,避免了SID的冲突与梯度阻断问题。在生产数据的受控对比中,ACT在创作者级Recall@15上较匹配的SID基线有明显提升,并在公开数据集KuaiRand上取得优势,在线A/B测试中各项指标方向性为正。

看点提出每个创作者独占词元的端到端训练方案替代语义ID,消除碰撞;在生产数据和KuaiRand上对比,并报告线上A/B测试。

Zhuosheng Liu, Yihan Wu, Ziyun Xu 等

arXiv cs.CL

GAVAGAI: Referential Alignment for Infant-Scale Vision-Language Models via Balanced Optimal Transport

说明GAVAGAI:基于平衡最优传输的婴儿规模视觉-语言模型指称对齐方法

简介该论文提出一种为视觉-语言模型添加词语与画面区域对应关系的训练目标,将每个场景视为词语与区域之间的分配问题,并以带约束的熵最优传输求解。模型允许词语不对应任何区域,并限制单个区域可获得的分配份额。在SAYCam婴儿视频数据上,加入该对齐损失后,词-图准确率由32.4%提升至48.7%,定位IoU由0.18提升至0.38;但在同一儿童数据上训练的对比模型在其自身基准上仍更强。

Rajdeep Pal, Jotiraditya Banerjee, Saptarshi Pani

arXiv cs.LG

Cyber-physical attack detection approaches in the wide-area measurement system

说明广域测量系统中的网络物理攻击检测方法综述

简介本文面向智能电网中的广域测量系统(WAMS)。该系统依靠相量测量单元(PMU)采集幅值、相角、频率、电压、电流等数据,并附带GPS时间戳。文章梳理了WAMS中现有的网络与物理异常,分析它们对系统完整性和可用性的影响。文章还比较了历史数据和流式PMU数据上的异常检测方法(包括传统机器学习与混合方法),并讨论了缺失数据处理和概念漂移的重要性。

Zakaria El Mrabet, Prakash Ranganathan

arXiv cs.AI · cs.CL · cs.MA

Decentralized Multi-Agent Coordination and Communication in Shared Codebases

说明共享代码库中去中心化多智能体的协调与通信(论文)

简介该论文指出,多个编码智能体在同一代码库中处理各自独立的需求时,单独实现可能彼此冲突。作者提出 ParallACT 基准,包含互补任务与相互矛盾任务。实验显示,并行智能体的表现明显低于单一智能体,矛盾任务上的差距尤其显著;仅告知存在其他智能体帮助有限,开放通信通道只能挽回一小部分性能且增加额外 token 开销。

Rishabh Mediratta, Lingyun Xiao, Peter Stone 等

arXiv cs.LG 公开资源

RaMMOBO: Random Max-Margin Multi-Objective Bayesian Optimization

说明RaMMOBO:随机最大间隔多目标贝叶斯优化方法

简介本文提出一种名为RaMMOBO的多目标贝叶斯优化方法,用于在多个昂贵的黑箱目标之间逼近帕累托最优集。该方法的采集函数是期望超体积改进(EHVI)的下界,计算成本随目标数量线性增长。实验显示,它在合成和真实基准上与现有先进方法相当或更优,目标数越多优势越明显,采集函数优化速度最高可快两个数量级。

Thomas Wedenig, Paul Plantosar, Robert Peharz

arXiv cs.MS · cs.AR · cs.LG

The Rise of Low Precision Floating Point

说明低精度浮点数的兴起:介绍深度学习推动下更窄浮点格式的发展与标准化

简介自1950年代以来,浮点运算凭借兼顾精度与数值范围的能力主导科学计算,1985年起两种标准格式(32位与64位)成为行业通用。近十年深度学习成为主要计算负载,精度更低、范围更小的窄浮点格式日益普遍。本文讨论这一现象的原因,介绍16位、8位乃至4位浮点格式的发展,以及为这些格式制定标准的努力。

Guy Lemieux, Michael L. Overton

arXiv cs.CL

Cross-Lingual Persona Effects in LLM Negotiation

说明跨语言人设对大模型谈判的影响:同一指令在英语与韩语中效果是否一致

简介论文让两个相同的 Gemini 3.6 Flash 实例在英语和韩语中,就 12 个 CraigslistBargain 场景进行谈判,共 432 次尝试,比较卖家紧迫感和买家人设(合作、中立、强硬)的效果。结果显示,韩语谈判的成交率明显高于英语(77.3% 对 52.5%),主要出现在中立和强硬买家中,且卖家在韩语中让步更多。作者认为,只改变交互语言,同一提示设定的社会策略就可能产生不同的模拟谈判行为。

Saehee Eom, Tejas Khandwekar

arXiv cs.LG · cs.AI · cs.CY

A Framework for Task-Agnostic Counterfactual Fairness in Transformers through Activation Steering

说明通过激活转向实现Transformer与任务无关的反事实公平性框架

简介论文提出一个名为MICF(机制可解释性反事实公平)的框架,利用机制可解释性工具,将反事实公平约束改写为Transformer激活层面的形式,把已有方法统一到一套公平性分析流程中。该框架不需要预先的因果模型,也不依赖特定的Transformer架构。作者在真实表格数据上评估了该框架,结果显示在不同预测任务中反事实公平性均有所改善。

Joshua Wolff Anderson, Yanshan Wang, Shyam Visweswaran

arXiv cs.RO · cs.CL

Teach, Abstract, Apply: A Framework for Dialogue-Driven Task Learning with Collaborative Robots

说明教学、抽象、应用:面向协作机器人的对话式任务学习框架

简介本文提出一个名为 Teach-Abstract-Apply(TAA)的框架,让操作人员用自然语言教协作机器人新的工作流程,再把这些流程抽象为可复用的技能,并在不同场景中应用。作者以协作搭建结构的任务为案例,用开放权重模型 Qwen3-Coder 和闭源模型 GPT5.2-Codex 进行了自我对弈与跨模型实验。结果显示,技能抽象能提高任务成功率并降低交互成本;初步的人在回路研究也表明该流程可以直接接受人类指令。

Chalamalasetti Kranti, Sherzod Hakimov, David Schlangen

arXiv cs.CV

Seeing the Unseen: Unified Visible--Invisible Motion for Physically Consistent Video Generation

说明《看见无形》:统一可见与不可见运动的物理一致视频生成

简介论文提出统一框架“Seeing the Unseen”,用于生成符合物理规律的视频。方法分两步:先用轻量的粒子图动力学模拟器(PGDS)从数据中学习物理交互并预测三维运动轨迹,再提出可见-不可见运动场(VIMF)表示输入帧可见和随时间产生的运动,并将其注入扩散生成器。实验显示,与强基线相比,该方法运动精度和交互一致性有所提升,物理伪影减少。

Mingyang Bao, Fangda Ye, Xihao Chen 等

arXiv cs.AR · cs.AI

TADA: Technology Aware DNN Accelerator Performance and Energy Estimator

说明TADA:一种感知存储器技术的DNN加速器性能与能耗估算器

简介本文提出TADA,用于估算深度神经网络加速器在给定工作负载、硬件配置和存储器技术下的系统延迟与能耗。TADA基于跨存储器技术泛化的合成数据集训练,并以读写能耗和容量等技术特征向量作为输入。在21条未见过的技术曲线上,其能耗与延迟的平均绝对百分比误差分别为1.5%至4.4%和0.7%至1.2%,评估吞吐量比模拟器高出10^4倍以上。

Tanvi Sharma, Surya Selvam, Anand Raghunathan 等

arXiv cs.HC · cs.AI · cs.CY

When AI Agents Act on Our Behalf: A Taxonomy of Human-Agent Interaction Failure

说明当AI代理代替我们行动时:人机交互失败分类研究

简介本文研究AI代理在代替用户编写代码、操作界面或进行交易时可能出现的失败形式。作者从两个公开仓库的695起事件中,自下而上归纳出12种失败模式,并按交互阶段进行分类,同时记录各失败发生时的自主程度。研究发现,所有12种模式在低自主与高自主条件下都会出现,且自主程度提高会改变每种失败的具体形式。

Canwen Wang, Qing Xiao, Haiyi Zhu 等

★★★★☆ 值得关注
arXiv cs.AI

Quantifying Local and Global Fidelity of Nonlinear Embeddings

说明非线性嵌入的局部与全局保真度量化

简介这篇论文研究降维方法(如t-SNE、UMAP、PCA)保留数据局部或全局结构的程度。作者用同一条局部性曲线同时得到局部保真度L和全局保真度G,并提出LG反转检验,判断两种降维映射在局部性和全局性上是否相反,以及在哪个规模上应更换映射。在156个映射、12个数据集(最多138万个点)上,G与既有全局指标的一致性为0.89和0.96;检验确认了常见说法在七个数据集上成立,并在两个零售数据集和两个卷曲流形数据集上发现神经邻域嵌入更偏全局。

看点将局部与全局保真度统一为同一曲线的单一统计量,并提出可检验两种降维方法的LG反转检验,在12个数据集156个映射上验证。

Henry Han

arXiv cs.CV 公开资源

Seeing Less in a Sparse World: Cross-View Geolocalization from Limited Field-of-View Observations

说明在稀疏世界中“少看”:基于有限视场观测的跨视角地理定位

简介该论文研究跨视角地理定位,即通过检索对应的卫星图像来确定地面图像的位置,可用于卫星导航不可用的环境。作者构建了包含超过50万组地面-卫星图像对的全球分布数据集CVW500k,地面图像采用有限视场,更贴近真实相机拍摄。此外,论文提出了基于查询的跨视角融合Transformer框架GeoQueryNet,并用CLIP视觉编码器与LoRA适配,通过可学习查询标记对齐两种视角的特征。

Fahimul Aleem, Shruti Vyas

arXiv cs.SE · cs.AI · cs.LO

VerusWeave: A Benchmark for Proof Repair in Concurrent Verus Programs

说明VerusWeave:并发 Verus 程序证明修复基准

简介该论文提出 VerusWeave,这是首个专门面向并发证明修复的基准,取自四个开源项目,包含 75 个聚焦任务和 17 个完整模块变体。任务会删去部分证明标注,要求智能体补全,同时保留可执行代码和规约。在四种通用编码智能体框架上的初步评估显示,聚焦任务成功率为 75%–85%,完整模块变体为 29%–47%。

Pedro Ribeiro, Martim Afonso, Andr\'e Vasconcelos 等

arXiv cs.LG

Quantization of Large Models with Weight Outliers and Sparsity

说明带权重离群值与稀疏性的大模型量化方法

简介训练后量化通过把高精度权重转为更少比特来降低大模型的显存占用,但会带来损害性能的量化误差。该论文把原始权重分解为量化矩阵、低秩分量和一个稀疏矩阵(用于处理权重中的离群行),并用模拟退火搜索寻找候选分解。在Llama 3.2 1B/3B、Llama 3.1 8B和Qwen2.5 7B上使用4位NF4和FP4量化器进行的测试显示,该方法可明显优于直接量化,且额外内存开销很小。

Leonidas Tsigkounakis, Abraham Jaeger Mountain, Yilang Zhang 等

arXiv cs.LG

OCELOT: Planetary-Scale Species Distribution Modeling with Satellite Foundation Embeddings

说明OCELOT:基于卫星基础嵌入的全球尺度物种分布建模

简介该论文提出 OCELOT 模型,用于预测物种在全球的分布。模型融合空间坐标与卫星基础嵌入,使用约 20 亿条 GBIF 记录、覆盖 10 万个分类单元进行训练。在空间留出测试中,卫星嵌入比仅用坐标的模型在地理外推上提升 51%,并优于经典生物气候栅格数据,同时在插值基准上与现有方法持平或更好。

Bart van Merri\"enboer, Lauren Harrell, Keith Anderson 等

arXiv cs.LG · cs.AI 公开资源

DELBERT-2: Pretrained Fingerprint Language Models for DEL Protein Binder Prediction

说明DELBERT-2:用于DEL蛋白结合体预测的预训练指纹语言模型

简介本文提出DELBERT-2,一种预训练的分子指纹语言模型,用ModernBERT编码器在AIRCHECK DEL数据集的250万个分子上通过掩码语言建模训练,将稀疏分子指纹转换为统一的标记序列。作者在六个靶点和三种分布外评估协议下测试该模型,结果显示其在PR-AUC和NDCG@1000上优于LightGBM基线和从头训练的Transformer,在较严格的分布外场景中提升最明显。

Bing Hu, Sun Sun, Shaik Salman Basha 等

arXiv cs.AI

Automated Theorem Generation in First-Order Logic by Construction from Triangular Standard Contradictions

说明基于三角标准矛盾构造一阶逻辑自动定理生成

简介本文提出一种在一阶逻辑中自动生成定理的构造性框架,基于由所选文字构造的极小不可满足子句集。通过保留部分子句作前提、取某子句或子句合取的否定作结论,生成的定理在构造上即保证正确,无需逐一证明。作者扩展已有的Δ1生成器,提出Δ2至Δ8共八种方法,其中Δ1至Δ4已实现并发布,并给出统一的Δ类方法,组合分析显示可系统生成大量不同定理。

Yang Xu, Shuwei Chen, Hailin Guo 等

arXiv stat.ML · cs.AI · cs.LG

Outstrumental Variable Regression

说明外部工具变量回归:利用结果机制在多个环境中的变化识别因果效应

简介本文提出外部工具变量回归(OVR)方法,用于在存在未观测混杂的观察数据中估计处理变量对结果的因果效应。即使处理变量的分布不变,只要结果机制在有限个环境间变化,也可实现因果效应识别。该方法分三步:计算各环境中的条件期望,构造各环境与参考环境之间的差异向量,再在调整该差异向量和环境后进行回归。作者给出了该方法得到真实因果效应的两个条件,并证明了有限样本版本在正则性条件下具有一致性,同时在合成数据和真实数据上验证了其有效性。

Felix Schur, Linus K\"uhne, Julius von K\"ugelgen 等

★★★★★ 值得关注
arXiv cs.AI

A generative foundation model for computational brain imaging

说明用于计算脑成像的生成式基础模型(BrainGFM)

简介该论文提出BrainGFM,一种可复用、可重新配置的生成式脑成像基础模型。模型在约130万张MRI和CT切片上预训练,用于面向任务的数据合成、低数据量下的预测学习以及图像重建。在48项下游任务中,它改善了有限监督下的分割与分类,并实现了高保真图像增强。多中心临床验证纳入4,796名卒中患者,研究发现BrainGFM生成的FLAIR图像在整体诊断质量上接近真实采集图像;在人机协作研究中,放射科医生的卒中亚型分类平均准确率相对提高14%。

看点提出可复用、可重配置的生成式脑影像先验,超越表征复用;摘要报告在48个下游任务及4796例多中心卒中患者上验证,并有人机协作实验。

Yuting He, Xu Wen, Hongxing Lan 等

arXiv cs.LG · stat.ML 公开资源

KINDER: Kernel-based Independence for Fair Representation Learning via Prototype-space Erasure

说明KINDER:通过原型空间擦除实现公平表示学习的核独立性方法

简介该论文提出KINDER方法,用于从深度模型的中间表示中直接移除敏感属性信息。它在随机傅里叶特征空间中,依据受保护群体的原型估计敏感子空间,并将表示投影到其正交补空间。作者称该方法可适用于任何含中间特征空间的模型,并在监督与自监督、分类、回归、图像分割以及视觉、文本、表格等多种数据上开展了实验。

Abtin Mogharabin, Alp Toykan Kaplan, Jiaee Cheong 等

★★★★☆ 值得关注
arXiv stat.ML · cs.LG · math.ST

Model Collapse Is Avoidable Even as Real Data Vanishes: A Sharp Criterion for Iterative Gaussian Estimation

说明即使真实数据逐渐消失,模型坍塌仍可避免:迭代高斯估计的一个精确判据

简介论文研究在训练数据混入模型自身生成数据的情况下,迭代估计多元高斯分布均值与协方差是否会出现模型坍塌。作者在每轮训练中把真实数据与上一轮估计分布的样本混合且不加区分,给出了估计量一致性的单一等价条件。结果表明,只要真实数据比例固定大于零,或随迭代趋于零但衰减不太快,坍塌即可避免,不过真实数据比例趋近零时均值估计的收敛速度会变慢。

看点在更真实的混合真实与生成数据设定下,给出迭代高斯估计一致性的单一充要条件,并给出证明与扩散模型实验相互印证。

Roy Turgeman, Tom Tirer

arXiv cs.CV

SketchForge: Training-Free Scene-to-Vector Sketching via Decoupled Structure and Texture Optimization

说明SketchForge:无需训练、将场景图像转为可编辑矢量素描的方法

简介该论文提出SketchForge,一种无需额外训练或微调的框架,可把输入的位图图像转换为与分辨率无关、可逐笔编辑的SVG素描。方法通过对每张图像进行测试时优化(逐实例优化贝塞尔曲线),并把结构轮廓笔画与自由形式的纹理笔画分开优化、以正片叠底方式合成。论文称其在结构保真度和生成质量上优于现有基于矢量的基线方法。

Quang-Thinh Nguyen, Duy-Khang Do, Hien Trinh 等

arXiv cs.AI · cs.CV

Taurus: LLM-in-the-Loop CT Annotation Matches Coding Agents at Half the Cost

说明Taurus:在循环中引入大语言模型进行CT标注,成本减半且效果与编码代理相当

简介研究者提出Taurus框架,让大语言模型在自动标注流程中复核CT主动脉标注结果,并通过盲测恢复人工标签的方式,在六个公开数据集(939个体数据)上进行评估。最终版本用固定规则平滑标注表面,并对自动标注常见的大错误发起多选题式检查。结果显示,其主要指标与自由形式的Opus智能体无显著差异,而单例成本仅为后者的不到一半(1.22美元对2.71美元)。

Bing Hu, Rishabh Sharma, Jatin Mehta

arXiv cs.CV

SketchBloom: Training-Free Vector Sketch Outpainting with Stroke-Level Style Control

说明SketchBloom:免训练的矢量草图外延生成,支持笔画级风格控制

简介该论文提出SketchBloom,一种无需训练的框架,可对稀疏草图进行外延生成,并输出由贝塞尔笔画组成、可编辑的SVG矢量图。方法结合预训练的位图外延与风格迁移引导,并对每个实例进行矢量优化,同时保持轮廓连贯和笔画风格。在包含1,024组输入与风格组合的LineArtOut-1K上,相较于所评估的矢量基线,其感知、语义和结构保真度均有提升。运行时间约为每组六分钟(单张NVIDIA H200 GPU)。

Quang-Thinh Nguyen, Duy-Khang Do, Tam V. Nguyen 等

arXiv cs.CL · cs.IR

MEMENTO: Learning Context Management for Long Context Processing Agents

说明MEMENTO:学习长上下文处理智能体的上下文管理

简介该论文提出 MEMENTO,一个基于 Qwen3-8B 训练的长上下文智能体,通过压缩历史记录(写入笔记)来管理有限的上下文窗口。训练方法先用事后生成笔记的合成轨迹进行微调,再用结合答案正确性、笔记质量和置信度校准的奖励进行强化学习。在四个整书问答基准上,它把 Qwen3-8B 的准确率从 36.9% 提高到 67.8%,且上下文始终不超过 20K 词元。

Yunfan Zhang, Taehoon Hwang, Kathleen McKeown 等

arXiv cs.AI

OmniPiano: Diverse Dexterous Piano-Playing Challenges for Standard, Robust, Safe, and Multi-Agent RL

说明OmniPiano:面向标准、鲁棒、安全与多智能体强化学习的灵巧钢琴演奏挑战基准

简介该论文提出OmniPiano基准,用于评估机器人灵巧手演奏钢琴的强化学习方法。它支持一至五只Shadow Hand,涵盖标准、鲁棒、安全及多智能体设置,共提供至少912种任务设置和36种基线算法。论文还引入基于大语言模型的智能体进行评估,结果显示当前先进方法在较难的钢琴任务上仍表现不佳。

Fan Xu, Fan Yang, Yifan Xu 等

arXiv cs.AI

RE-SciVQA: Improving Scientific VQA With Context-Relevant Retrieval and Lightweight MLLM Adaptation

说明RE-SciVQA:用相关性检索与轻量多模态大模型微调提升科学图表问答

简介该论文针对科学文献中图表信息的问答任务,提出RE-SciVQA方法,通过在问题后追加相关章节标题进行查询扩展,并利用图注引用与标题对齐调整相似度分数来改进检索上下文,同时使用LoRA对小型大语言模型进行参数高效微调。在SciVQA基准上,其ROUGE-1 F1达到73.9%,高于UniChart、ChartGemma和Matcha-ChartQA等图表模型,相较标准RAG基线在精确匹配和模糊匹配上分别提升11.9%和29.5%。

Sheikh Tahmim Mehdi, Muminul Islam Jami

arXiv cs.LG

IsoAlign: Isoform-Aware DNA-Protein Alignment via Joint-Embedding Predictive Architectures

说明IsoAlign:基于联合嵌入预测架构、感知异构体的DNA-蛋白质比对方法

简介本文提出IsoAlign多模态框架,用于基因组基础模型的预训练,通过将转录本与对应蛋白质异构体对齐来学习DNA表示。框架包含两种联合嵌入预测架构:DP-JEPA通过对比对齐从DNA预测蛋白质表示,IM-JEPA通过掩码蛋白质预测建模同一基因不同可变剪接异构体之间的关系。作者在致病性、适应度、基因表达和转录因子结合等多项任务上评估,结果显示异构体感知的跨模态对齐提升了下游性能。

Niousha Sadjadi, Arman Seyed-Ahmadi, Tony Tu 等

arXiv eess.IV · cs.CV

Directional Dual-Head Supervision for Real-Time Source-Free Polyp Segmentation

说明面向实时无源息肉分割的方向性双头监督方法

简介该论文提出MedRT-SFSeg,一种基于双头YOLO分割架构的实时无源域自适应框架,用于医学图像中的息肉分割。方法包括融合精确与召回导向预测的Mask-DHF、利用双头分歧方向信号调整掩膜并找回漏检目标的DURR,以及基于掩膜引导区域分层采样的正则化方法Seg-MARD。在Kvasir-SEG与CVC-ClinicDB之间的双向自适应实验中,论文报告其Dice分别为80.43%和80.77%,并在端到端推理速度超过62 FPS的条件下取得了较未自适应基线更高的Dice分数。

Hai-Dang Nguyen, Nhat-Khoi Le, Huu-Thuan Huynh 等

arXiv cs.LG · math.OC · stat.ML

ProLand: A New Infeasible Manifold Optimization Method for LoRA Fine-Tuning

说明ProLand:一种用于 LoRA 微调的新型不可行流形优化方法

简介论文提出 ProLand,一种无需回缩(retraction-free)的优化器,用于 LoRA 参数高效微调。它将低秩因子约束在 Stiefel 流形附近,通过协调的因子更新和 Muon 式谱方向,把目标优化与正交性恢复分开进行。实验覆盖 DeBERTa-v3-base 上的四个 GLUE 验证任务,以及三个模型上的七个语言基准,论文报告 ProLand 在所有测试配置中平均得分最高。

Chenyu Zhou, Yuxuan Zeng, Qi Deng 等

arXiv physics.ins-det · cs.LG · hep-ex

Localized anomaly detection with a calorimeter normalizing flow

说明基于量能器归一化流的局部异常检测

简介该论文用训练成快速量能器模拟器的归一化流计算每个簇射的似然,并以此作为异常分数。全局似然会把只集中在少数体素中的信号淹没,因此作者在粒子入射点附近的小区域内,对同一流模型的平方隐变量求和,定义局部异常分数。在相同的背景效率下,该分数选出了超过95%的信号,而先前工作中的CaloFlow全局似然仅选出不到5%。

Raunav Mendiratta, Jason Weitz, Javier Duarte

arXiv eess.SY · cs.AI · cs.LG

Spectral and Conformal: Neural Network Methods for Calibrated Trajectory Prediction and Control-Point Intervals

说明谱方法与共形预测:用于校准轨迹预测与控制点区间的神经网络方法

简介该论文提出一种快速评估自主系统轨迹可行性与安全性的框架,用谱主干神经网络学习带初始条件和稳定性约束的轨迹与分位数带,并结合改进的共形分位数回归提供校准的轨迹级联合覆盖。作者还用区间算术将无噪声覆盖保证扩展到控制点。论文报告,在树莓派 Zero 2 W 上,四旋翼在闭环线性二次调节器控制下的轨迹推理时间为 3.45 毫秒,完整流程约 9.81 毫秒,约 100 赫兹。

Jasmine Ratchford, Raffaele Romagnoli

arXiv cs.AI

From Cross-Section to Cross-Omics: Conditional Cell Nucleus Image Editing in Spatial Transcriptomics

说明从横截面到跨组学:空间转录组中的条件细胞核图像编辑

简介论文指出,组织切片的几何形状会使基因表达与细胞核病理特征之间产生由测量过程引起的表面相关性。作者将流形感知扩散(MAD)框架应用于这一双组学编辑任务,可在保持另一组特征的同时,定向修改其中一组特征。在CosMx SMI肾组织足细胞上的评估显示,MAD在病理特征编辑上的MAE为0.6636、FID为25.19,优于所有对比基线。

Yuechen Yang, Junchao Zhu, Junlin Guo 等

★★★★☆ 值得关注
arXiv physics.flu-dyn · cs.LG

OPINE: Orthogonal Projection in Invertible Nonlinear Embeddings for Turbulent Flows

说明OPINE:用于湍流流动的可逆非线性嵌入正交投影方法

简介本文提出OPINE方法,通过学习可逆的非线性坐标变换,并在变换后的坐标中进行本征正交分解(POD),从而压缩湍流等物理场数据。由于变换可逆,信息损失只发生在POD投影中,训练后对基底排序即可得到任意更小维度的降维坐标。作者证明了该训练方式的交替更新在局部收敛到精确的POD子空间,并在合成流形、Kuramoto-Sivashinsky、强迫Burgers湍流、二维Kolmogorov流和三维最小槽道流上进行了评估。

看点将可逆非线性坐标变换与POD结合,单模型给出各维降阶坐标;在多个湍流数据集上与POD及自编码器对比。

Anqiao Ouyang, Hongyi Ke, Qi Wang

arXiv cs.CV · cs.HC · eess.IV

GazeRIB: Systematic Evaluation of Multi-Reader Gaze-Guided Chest X-ray Learning

说明GazeRIB:多名放射科医生注视引导胸片学习的系统评估

简介该论文提出GazeRIB方法,训练时遮挡放射科医生未注视的图像区域,推理时使用完整图像。八位专家阅读同一批80张胸片,研究不同规模阅读小组对模型效果的影响。在另一组2897张胸片上,多名阅读者的小组均提升了四分类严重程度预测的宏观F1值,但外部验证结果因数据集而异。

Nattakorn Kittisut, Roy M. Gabriel, Marly van Assen 等

arXiv cs.CV · cs.CL · cs.LG

Latent Reasoning in Continuous Space for Unified Multimodal Models

说明统一多模态模型中的连续空间潜在推理(LARC)

简介该论文针对统一多模态模型在图像生成中难以有效利用语言思维链推理的问题,提出在连续隐藏状态空间中进行推理的框架LARC。训练分两阶段:先用课程式监督微调把离散token推理逐步转为潜在推理,再用信息增益强化学习在无真实标注监督下自我演化。实验显示该方法在多个文生图基准上提升了生成质量、提示词遵循和组合保真度,并在GenEval上相较BAGEL提高7个百分点,取得最优结果。

Byungwoo Jeon, Yoonwoo Jeong, Hyunseok Lee 等

arXiv cs.CL

Flide: Accelerating Decision Inference with Exact State Forking

说明Flide:通过精确状态分叉加速决策推理

简介本文提出Flide,一种高效且精确的推理引擎,用于加速大语言模型智能体中的决策模型推理。它将决策请求的逻辑树结构与单一扁平token流中的物理执行解耦,并通过ForkAttention机制,在标准注意力层和循环Gated DeltaNet层上利用GPU常驻索引处理请求依赖。论文称,在公开的混合模型和决策模型上,Flide回答查询最高比vLLM和SGLang快9.5倍,且与float32参考结果的总变差距离最接近。

Bobo Li, Jiajia Song, Hao Fei 等

arXiv cs.AI

Latent Sparse Attention: Towards Subquadratic Ultra-Long Context Attention

说明潜在稀疏注意力:迈向次二次方的超长上下文注意力机制

简介本文提出潜在稀疏注意力(LSA)方法,在学习到的潜在空间中对键进行分层聚类,查询只对聚类层级打分而非逐个键打分,以降低超长上下文下的注意力计算开销。文中给出两种变体:通过蒸馏应用于预训练模型的D-LSA,以及仅用下一词预测损失原生训练的N-LSA。论文报告了在10M令牌长度下,D-LSA相比原稀疏注意力和全注意力在单层预填充与解码上的加速倍数,并称N-LSA在128k令牌长度下达到与全注意力相当的精度,训练单层加速1.6倍。

Ales Kubicek, Andrea Caciolai, Liangzu Peng 等

arXiv cs.RO · cs.AI

Hierarchical World Models with Implicit Dynamics

说明基于隐式动力学的分层世界模型(ID-WM):用于长时程具身任务的规划方法

简介该论文提出ID-WM,一种将状态空间可达性与局部控制解耦的分层世界模型。高层模型采样状态流形上的可行转移,低层世界模型作为逆动力学求解器将其转化为具体动作,从而从短片段合成长时程新计划。论文报告其在三个导航与操作任务套件中,相比现有策略和扩散规划方法提升38.5%,相比单层世界模型MPC提升135%。

Gaoyue Zhou, Yvonne Wu, Zichen Jeff Cui 等

arXiv cs.GR · cs.CV

SemEllipsoid: Semantic-aware Shape Abstraction with Ellipsoid

说明SemEllipsoid:基于椭球体的语义感知形状抽象方法

简介该论文研究用一组基本体(这里为椭球体)表示三维形状的形状抽象问题。以往方法主要关注几何保真,常使基本体跨越多个语义部件。作者提出SemEllipsoid方法,在基本体优化中引入语义约束,利用大规模基础模型提供的语义线索,使每个基本体只对应单一语义部件。该方法无需学习和训练网络,可推广到任意类别的形状,并支持按需求调整抽象程度。

Kuankuan Cheng, Haocheng Yuan, Changjian Li

★★★★☆ 值得关注
arXiv cs.RO · cs.AI · cs.CV

RoboArchitect: Automating the Design of Robotic Agents with Persistent Memory

说明RoboArchitect:自动设计带持久记忆的机器人智能体

简介该论文提出RoboArchitect,让编程模型观察机器人的执行过程、诊断失败并迭代修改包裹冻结策略的控制代码(即智能体框架)。在多个基准和策略上,未更新任何模型权重,未见场景的平均成功率从9.7%提升至43.3%,未见任务从12.7%提升至40.2%。框架还能自行演化出持久记忆,将学到的经验带入后续决策。

看点将机器人控制框架设计自动化,编码模型迭代修订冻结策略外的控制代码,在未见场景和任务上成功率大幅提升。

Shengguang Wu, Suning Huang, Cherie Ho 等

arXiv cs.CV

ReLift: Dense 3D Tracking as Lifted Trajectory Repair

说明ReLift:将密集三维跟踪转化为提升轨迹修复

简介该论文针对单目视频的密集三维跟踪问题,提出ReLift框架,将其视为几何轨迹的修复与补全。它利用预训练的二维跟踪器和三维几何模型得到提升后的轨迹,再通过轨迹修正器修复错误的位置并补全被遮挡时缺失的运动。该模型仅基于几何输入训练,无需重新训练即可跨不同跟踪器和几何模型使用。在WorldTrack上,ReLift的平均精度达到当前最优。

Assaf Singer, Maroun Khriesh, Noam Rotstein 等

arXiv cs.CV · cs.LG

A Better Critic Matters for Distribution Matching Distillation

说明更好的判别器对分布匹配蒸馏很重要

简介该论文研究分布匹配蒸馏(DMD)中在线判别器需要具备怎样的容量和信息,才能提供可靠训练信号。作者在ImageNet上用七种SiT模型规模进行实验,提出联合缩放(判别器与教师同步扩大),并提出能感知生成步数的判别器STAC。二者结合后,在类别条件ImageNet生成、SDXL与FLUX.2文生图以及Wan2.1文生视频中都提升了少步蒸馏的效果。

Zongze Wu (1), Xianbang Wang (2), Zhengyang Geng (1) 等

arXiv cs.LG · cs.IT · math.IT

Instance-dependent sequential limits as an exact information ledger

说明以精确信息账本看实例相关的序贯极限

简介本文研究多臂赌博机遗憾、序贯检验、最优臂识别和马尔可夫决策过程中与具体实例相关的极限,并将这些结论统一到同一条推导链上。作者把推导链写成一本精确的信息账本:数据处理损失的恰好是条件散度,并用单参数鞅恒等式把分解推广到两个实例之间的每一种倾斜。文中还在七篇已发表的来源上检验了该账本,用以定位标准算法与经典极限之间的差距。

Akshay Balsubramani

arXiv cs.CL

DecisionRank: On-Policy Distillation for Decision-Model Rerankers

说明DecisionRank:面向决策模型重排序器的同策略蒸馏方法

简介论文提出 DecisionRank,一种通过文档条目空间同策略蒸馏(OPD)训练的决策模型,用于检索结果重排序。该方法把学生模型的文档打分排序为序列,由生成式教师模型给出条件反馈来直接监督打分,并结合离线排序监督训练。论文称其在 TREC DL、BEIR 和 BRIGHT 等基准上取得最优表现,且在速度上明显快于生成式列表重排序方法。

Yanran Wu, Dian Yu, Chongyang Bai 等

arXiv cs.LG · q-bio.QM

Physiological Trajectories and Observation Patterns in ICU Mortality Prediction: Transportability Under Changing Measurement Conditions

说明ICU死亡率预测中的生理轨迹与观测模式:测量条件变化下的可迁移性

简介该研究用MIMIC-III、MIMIC-IV和eICU数据预测ICU患者48小时内的住院死亡率,比较了最新值快照、纵向生理摘要以及测量频率和时间特征三类输入的预测效果。结果显示,生理轨迹在外部数据集(eICU)上的迁移表现更稳定,而观测模式特征对测量时间和可获得性较为敏感。作者认为,临床预测模型除需在新患者群体中评估外,还应在其输入数据的测量条件下进行评估。

Benjamin T. Pike

arXiv cs.LG · stat.ML

Gradient Descent on Two ReLU Neurons: Global Landscape and Bifurcation Dynamics

说明两个ReLU神经元上的梯度下降:全局景观与分岔动力学

简介本文研究在各向同性高斯输入下,用总体梯度流从小初始化训练两神经元ReLU教师-学生模型时的学习动态。作者分析了总体平方损失的景观,结果显示两个学生权重均非零的每个临界点要么是全局最小值,要么是鞍点。论文还追踪梯度流轨迹,说明学生神经元先向平分线鞍点收缩,随后逃逸并专门化对应教师神经元。

Binghua Li, Mengzhe Li, Denny Wu 等

arXiv cs.LG

Fast Privacy Loss Accounting for Random Allocation via Multiscale FFT

说明基于多尺度FFT的随机分配隐私损失快速核算方法

简介本文研究随机分配采样方案下的隐私损失核算问题,该方案中每位用户的数据在一个序列的若干步中被随机均匀选用。作者提出多尺度FFT算法,将运行时间对精度参数α的依赖从O(α^-2)降低到O(α^-1 log(1/α)),并利用保均值的连点投影方法减小取整误差。实验显示,在高精度下该算法速度提升数个数量级,并为采用PREAMBLE的DP-SGD给出了更优的隐私界。

Vitaly Feldman, Moshe Shenfeld

arXiv cs.AI

ACCT: Asymmetric Cross-LLM Context Transfer

说明ACCT:非对称跨大模型上下文迁移,让不同规模的模型复用同一段上下文计算

简介本文提出ACCT方法,用于同一模型家族中不同规模模型之间的KV缓存迁移。它把源模型生成的KV缓存转换为目标模型可直接使用的稀疏KV状态,使上下文计算可以在模型之间复用,无需目标模型重新处理原始上下文。在五个通用能力基准和六个高度依赖上下文的任务上,ACCT在KV缓存减少75%时仍能匹配或超过目标模型原有表现;在约19K词元的上下文长度下,KV转换比目标模型的上下文预填充快6.5至21.2倍。

Yuzhe Liu, Haolin Tian, Tonghan Wang

★★★★☆ 值得关注
arXiv cs.CL · cs.AI

Subquadratic Attention with a Hierarchical Tree-Structured Indexer

说明基于分层树状索引器的次二次注意力机制

简介本文提出一种名为 Zyphra Hierarchical Attention(ZHA)的稀疏注意力方法,用分层树状索引器替代传统注意力中随序列长度平方增长的计算。该方法对 KV 缓存递归压缩构建树,查询从顶层向下检索稀疏的键子集。作者称其在现有预训练模型上只需少量蒸馏训练即可应用,并在长上下文检索和推理、数学、智能体编程等任务上保持性能。

看点提出基于分层树索引器的亚二次注意力,递归压缩键摘要并自顶向下检索;在预训练模型上做蒸馏并报告检索与推理任务表现。

Leon Lufkin, Cutter Dawes, Alexander Speicher 等

arXiv physics.ao-ph · cs.LG

SATFRONT: Detecting Atmospheric Fronts with Satellite Data using Machine Learning

说明SATFRONT:利用机器学习从卫星数据探测大气锋面

简介该论文提出SATFRONT机器学习框架,用于从静止气象卫星观测中探测欧洲上空的冷锋、暖锋和锢囚锋。模型基于五个欧洲国家气象机构的锋面分析训练,并以英国气象局2024年的分析进行评估。仅使用卫星观测时,其临界成功指数(CSI)为0.428(容差150公里);加入ERA5再分析数据后提升至0.591。

Ioannis Dravilas, Miruna Stoicescu, Roope Tervo 等

★★★★☆ 值得关注
arXiv stat.ML · cs.LG · math.OC

Regret-Optimal Wasserstein-Robust Linear Regression

说明后悔最优的Wasserstein稳健线性回归:研究在分布不确定下,稳健回归方法在超额风险(后悔)上的表现,并比较几种方法的最优性。

简介该论文研究多元最小二乘回归中的分布稳健优化(DRO)问题,假设源分布与目标分布之间存在大小为ε的对抗性2-Wasserstein扰动。在ε趋近于0时,作者用问题相关的条件数κ刻画了复杂度,并指出DRO等简单算法可达到O(κε²)的实例最优速率。作者还证明了在某些情形下DRO会在与维度相关的因子上次优,并提出极小极大后悔优化(MRO)和谱范数正则化(SNR)两种可达到极小极大速率的方法,同时给出了高概率有限样本保证和数值实验。

看点证明DRO在特定条件下可能次优,并提出MRO与SNR达到极小极大速率,给出凸重构与加速近端算法,理论结果较为突出。

Sloan Nietert, Daniel Kuhn