AI 算法 · 2026年10月6日(周二)

机器学习、人工智能、自然语言处理、计算机视觉、多智能体。

arXiv cs.CL · cs.AI

Monte Carlo Estimation for KV Cache Eviction

说明面向 KV 缓存淘汰的蒙特卡洛估计(LORE-KV)

简介该论文针对大模型推理时的 KV 缓存淘汰问题,提出免训练方法 LORE-KV:从冻结的目标模型采样若干短的自回归续写,用其回答阶段的查询状态估计提示词各词元的效用,再据此决定保留哪些缓存。论文报告在 LongBench 和 RULER 等基准上,固定缓存预算下相较既有方法有所提升,但增益随预算增大而减小,并伴随部分任务退步,单样本压缩耗时为对比方法的约 1.46 至 2.77 倍。

Ahsan Bilal, Muhammad Ahmed Mohsin, Muhammad Umer 等

arXiv cs.AI · cs.LG · cs.SC

Towards the Automatic Synthesis of Interpretable Chess Tactics

说明自动合成可解释的国际象棋战术(初步研究)

简介本文提出一种用于国际象棋的符号化子策略模型,借鉴棋类战术设计,力求提升可解释性。作者改用归纳逻辑编程系统PAL学到的模式来构建该模型,并提出一种散度指标,将模型与随机基线进行比较。研究发现,所得的一组战术给出的走法,其棋力与人类初学者相近。

Abhijeet Krishnan, Chris Martens

arXiv cs.AI · cs.LG

Learning Explainable Representations of Complex Game-playing Strategies

说明学习复杂博弈策略的可解释表示

简介本文提出一种类似人类认知的方法,让强化学习智能体把学到的策略与决策,转化为基于一系列对局动作的可执行程序。作者介绍了自动学习此类程序的方法,分别用于国际象棋和网格环境中的任务求解。文中指出,所学策略能产生有效动作,并且可以从对局数据中学习得到。

Abhijeet Krishnan, Colin M. Potts, Arnav Jhala 等

arXiv cond-mat.dis-nn · cs.LG · math.ST

Asymptotic Analysis of Empirical Risk Minimization on Entry-wise i.i.d. Heavy-Tailed Data

说明重尾独立同分布数据上经验风险最小化的渐近分析

简介许多真实数据中极大值出现的频率远高于高斯模型的预测。本文针对线性回归中元素独立同分布的对称α稳定数据,用副本方法精确刻画了样本量与特征维度按固定比例同时增长时的泛化误差。分析还给出了重尾普适律、典型误差与预测可靠性之间的标度律,以及贝叶斯最优预测误差。

Kaito Takanami, Takashi Takahashi, Yoshiyuki Kabashima

arXiv cs.AI

Measuring climate backlash in Twitter and Reddit archives: Lexical definitions, recorded responses and participant turnover

说明衡量推特与Reddit档案中的气候反弹:词汇定义、记录的回应与参与者更替

简介本文分析四组推特与Reddit存档数据,不做抽样,用透明的词汇规则识别与气候反弹相关的话语框架及其在不同平台的回应指标。研究区分了返回作者的表达变化与参与者更替对事件期间(如2019年全球气候大罢工)抗议语言占比上升的不同贡献。作者指出,词汇定义、平台特有的回应字段和观察边界会深刻影响关于气候反弹可以得出的结论,研究并非衡量个人反对或说服效果。

Wentao Xu

arXiv cs.LG

Complementary Supervised and Self-Supervised Representations for Out-of-Distribution Graph Learning

说明结合有监督与自监督表示以提升图学习的分布外泛化能力

简介论文研究图神经网络在分布外(OOD)节点分类中的泛化问题,探讨自监督图表示能否为有监督模型提供互补信息。作者提出两种与骨干网络无关的框架:Co-Train在训练中联合学习并自适应融合两类表示,Dual-Space Retrieval 在两个表示空间中做非参数预测并在推理时进行置信度感知融合。在时间与跨领域分布偏移的四个图基准上,Co-Train 优于较强的有监督OOD基线,Dual-Space Retrieval 也具有竞争力。

Qingying Hao, Zikang Chen, Chuxuan Hu 等

★★★★☆ 值得关注
arXiv cs.AI

Learning to Outgrow a Theory: Experimental Discovery Beyond the Initial Hypothesis Space

说明学习超越既有理论:在初始假设空间之外的实验发现

简介论文指出,多数科学发现系统只能在固定的假设空间内优化实验,当所有候选模型都遗漏同一机制时会失效。作者提出实验性模型类修订方法,让策略同时提出结构修改和检验该修改是否必要的诊断实验,并用可随时有效的序贯证据判断何时修订。在400个受控动力学环境测试中,该方法在32次实验预算下达到89.5%的精确恢复率,比最强的匹配基线高10.0个百分点。

看点将模型类修订与诊断实验联合为序贯决策,并以可任意时刻有效的证据触发结构修订,思路新颖;400个受控环境及多项迁移实验支撑结论。

SiYuan Ma, Albert Gao, Chunzheng Zhu 等

arXiv eess.AS · cs.CL

A Novel Sentence Stress Detection Framework Leveraging Auxiliary Word-Stress Modeling and Loss Optimization

说明一种利用辅助词重音建模与损失优化的句子重音检测框架

简介本文提出一种句子重音检测方法,将句子重音检测与辅助的单词重音检测结合起来建模,并引入词跨度重音正则项,使词元级的重音概率集中在每个重读词的范围内。作者在 TinyStress-15K 基准上进行实验,结果显示该方法优于强基线,完整配置取得最佳的句子重音检测结果。

Tien-Hong Lo, Fong-Chun Tsai, Ting-An Hung 等

★★★★☆ 值得关注
arXiv cs.LG · cs.AI · cs.CL

Stateless Language Agents: Scaling Long-Horizon Automated Research

说明无状态语言智能体:扩展长周期自动化研究

简介本文针对长周期自动化研究中LLM智能体重复历史、彼此重复工作、token持续消耗却停止实验等问题,提出无状态语言智能体(SLA)框架:智能体不跨调用保存对话,由框架统一保存研究状态并为每次调用重建角色相关的上下文。在软件工程、内核优化和算法设计三类任务、预算高达十亿token的测试中,SLA在每项任务上取得最佳最终结果,并以少84%以上的token达到最强基线的最终性能。

看点提出无状态智能体与外部管理研究状态的新范式,并在十亿级token预算下对比多个框架,证据较扎实,影响面限于自动化研究系统。

Qizheng Zhang, Changxiu Ji, Isaac Sun 等

★★★★☆ 值得关注
arXiv stat.ML · cs.DS · cs.GT

Explicit Asymptotic Bounds for Sequential Calibration Beyond T²/3

说明超越 T^{2/3} 的序贯校准显式渐近界

简介本文研究二元结果的序贯概率预测校准问题,即预测概率与实际发生频率应当一致。作者提出一种新的两阶段递归标注策略,改进了符号保持游戏的上界,并据此将校准误差的界限显式推进至 O(T^{0.662942288}),首次给出低于 2/3 的显式指数。

看点提出新的两阶段递归标注策略并改进校准归约,首次给出明确小于2/3的指数,证明较完整但影响限于子领域。

Eric Dai, Maxwell Fishelson

arXiv cs.AI · cs.LG · physics.comp-ph

Explore, Then Commit: Measurement-Efficient Scientific Law Discovery with Language Models

说明先探索后定论:用语言模型以更少测量发现科学定律

简介该论文提出一种“先探索、后定论”的流程:大语言模型提出假设,程序化规划器收集测量数据,最后由新提示根据固定观测结果综合出定律。在 NewtonBench 的 576 次试验中,启用解释器的规划器在中等难度任务上明显减少测量次数并降低误差。不过,符号准确率的提升在各模块间不够稳定,且作者指出其因果成分和超出无噪声直接方程任务的泛化能力仍未明确。

Kautik Mandve, Dileepa Fernando

arXiv cs.LG

AFA-BANDIT: Provably Near-Optimal Online Multi-Feature Classification Under Budget Constraints

说明AFA-BANDIT:预算约束下在线多特征分类的可证明近优方法

简介该论文研究在线主动特征获取(AFA)问题:智能体在预测每个样本标签前,决定要获取哪些有成本的特征。作者把在线AFA建模为组合型带背包约束的赌博机(BwK)问题,给出了改进的遗憾上界,并提出 LP-Chain 变体,以线性规模的特征子集链替代指数级动作空间。在合成数据上,LP-Chain 优于基于 HEDGE 的 BwK 方法和基于深度强化学习的在线 AFA 基线。

AbdAlRahman Odeh, Teng-Hui Huang, Hesham El Gamal

arXiv cs.AI

BioStudyBench: Evaluating Agents on Post-Cutoff Biomedical Studies

说明BioStudyBench:在截止日期后的生物医学研究上评估智能体

简介该论文提出 BioStudyBench 基准,用于检验 AI 智能体能否仅凭公开数据复现已发表生物医学研究的结论。基准包含 25 个长周期分析任务,研究在模型开发者报告的知识截止日期之后发表。测试中,智能体只获得中性研究问题,需自行查找数据并检索文献,并将无数据基线与有数据、有工具的情况进行对比。结果显示,平均通过率提高了 47 个百分点;最佳闭源模型通过率为 94.7%,最佳开源模型为 81.3%。

David Li, Shaamil Karim, Christian Gensbigler

arXiv cs.RO · cs.LG

Learning Grasp Targeting from Point Clouds for Log Pile Clearing on a Hydraulic Crane

说明基于点云学习抓取定位,用于液压起重机清理原木堆

简介论文提出一种学习型策略,根据未分割的点云选择抓具的放置位置与朝向,用于安装在拖车上的液压林业起重机清理密集原木堆。方法结合行为克隆与强化学习,并在仿真和实地试验中与几何启发式方法对比。结果显示,学习型策略在实地试验中的装载率高于启发式方法,但仿真中提出的稳定性提升未能在起重机上体现。

George Sideris, Lucas Bessai, Heshan Fernando 等

arXiv cs.LG

Hub for Outliers, Spokes for Inliers: Uniform Latent Space Construction for Dual-Mismatched Semi-Supervised Learning

说明中心枢纽与辐条:面向双重不匹配半监督学习的统一潜在空间构建

简介半监督学习通常假设有标签数据与无标签数据的类别分布和标签空间相同,但无标签数据可能类别不平衡且包含未知类别样本,导致双重不匹配。该论文提出“枢纽-辐条”潜在几何结构:已知类别均匀分布在中心枢纽周围,每类围绕其原型形成紧凑簇,枢纽则为高不确定性的未知类样本提供低证据区域。结合基于证据的分类器,该方法提升特征可区分性与不确定性分离能力,实验显示其在多种设置下优于现有方法,最大提升3.25%。

Li Yuan, Yaxin Hou, Jiawei Tang 等

arXiv cs.CV · cs.GR

PhysLDM: Latent Diffusion for High-Fidelity Deformable Simulation

说明PhysLDM:用于高保真可变形体仿真的潜在扩散模型

简介该论文提出 PhysLDM,一种用于单次生成可变形体仿真的潜在扩散框架。其核心是一个时空变分自编码器,用于压缩高分辨率三维体网格,在米级场景上重建精度约为 2.48 毫米,令牌压缩比最高可达 78 倍。作者比较了确定性回归与扩散方法,发现在混沌动力学下扩散模型能更好地刻画分布,生成更符合物理的轨迹。该模型仅用运动学数据训练,并可零样本泛化到未见过的数据集。

Yu Zhang, Xudong Xu, Xingang Pan

arXiv q-bio.QM · cs.AI · cs.LG

Linear Fitness Subspace in Protein Language Models Enables Sample-Efficient Directed Evolution

说明蛋白语言模型中的线性适应度子空间:实现样本高效的定向进化

简介该论文提出“线性适应度子空间”假设:在突变引起的残基表示变化中,存在一组与特定实验相关的方向,只需少量标注变体即可线性捕捉适应度变化。作者据此提出子空间引导进化搜索(SGES),在学到的子空间内完成代理建模、不确定性估计和采样选择。在多组ProteinGym实验中,SGES在适应度预测和搜索效率上优于零样本蛋白语言模型及近期机器学习引导的蛋白优化方法。

SiYuan Ma, Canran Xiao, Zikai Xiao 等

arXiv cs.AI

VALSE: Vertical Adaptive Layer Skipping for Efficient Inference in Large Language Models

说明VALSE:面向大语言模型高效推理的纵向自适应层跳过方法

简介本文为纵向自适应层跳过建立了理论框架,证明了预期浮点运算量的闭式公式,并说明跳层模型的函数空间严格包含于完整模型但能有效近似它,还指出其与混合专家架构在结构上具有对偶关系。基于此理论,作者提出VALSE方法:为每个输入样本动态决定跳过哪些层(可以是中间的非连续层),并在原型规模上初步验证了其可行性。

Jia-Dong Zhang

arXiv cs.HC · cs.AI · cs.CV

Emoception: Selective Affective Layer Fine-Tuning of Video Vision Transformers for Player Arousal Change Recognition From Gameplay Footage

说明Emoception:面向玩家兴奋度变化识别的视频视觉Transformer选择性情感层微调

简介本文提出选择性情感层微调方法SALFT,用于从游戏视频中识别玩家的兴奋度变化。该方法通过短暂适应后各层参数的L2范数变化来选择需要更新的层,避免了昂贵的全量微调。在Arousal Video Game AnnotatIoN数据集上进行五折交叉验证,SALFT在所有游戏中的表现与全量微调相当(p>0.05),且仅更新约8%的参数。论文还提出了追踪注意力模式的可解释性方法。

Yi Xia, Ibrahim Khan, Mury Fajar Dewantoro 等

arXiv math.NA · cs.LG · cs.NA

A Neural JKO Scheme for Hellinger-Kantorovich Gradient Flows via Monge-Growth Pairs

说明基于 Monge-Growth 配对的 Hellinger-Kantorovich 梯度流神经 JKO 方案

简介本文提出一种无网格的神经 JKO 方案,用于在非平衡最优传输的 Hellinger-Kantorovich(HK)几何中具有梯度流结构的平流-反应-扩散方程。每一步更新由空间映射和质量变化因子参数化,使空间再分布与局部质量产生或损失在同一变分步骤中联合处理。文中给出离散能量耗散的充分条件、JKO 极小值的存在性与质量界,并在额外假设下讨论正性、正则性及离散 Euler-Lagrange 方程。数值实验检验了与 PDE 的逐点一致性以及能量耗散。

Geuntaek Seo, Cheolhyeong Kim, Hwijae Son 等

arXiv cs.AI

Beyond Scalar IoU: Structured Verification from Rollout Groups for Video Temporal Grounding

说明超越标量IoU:基于回放组的结构化验证用于视频时序定位

简介本文提出SUTURE方法,在强化学习可验证奖励框架下改进视频时序定位的奖励计算。它不再对每个生成结果单独打分,而是利用同一组生成结果之间的分歧与覆盖情况重新分配奖励。在五个时序定位基准上,该方法在各个报告的IoU阈值下都提升了定位性能,并减少了推理过程中对视频开头的依赖。

Youngjae Cho, Won Young Jhoo, Jongsuk Kim

★★★★☆ 值得关注
arXiv cs.RO · cs.AI · cs.LG

Modeling Latent Disturbances for Robust Decision-Making in World Models

说明世界模型潜在空间中的鲁棒决策:建模潜在扰动

简介本文研究世界模型潜在空间中的鲁棒决策。作者将潜在扰动建模为对学习到的潜在动力学的扰动,构造既悲观又合理的状态转移集合,并用共形预测校准不确定性集合。通过博弈论优化联合求解鲁棒动作与最坏情况扰动,并应用于安全过滤和策略引导。Franka机械臂实验显示,安全过滤失败率降低70%,基于采样的策略引导失败率降低54%。

看点将鲁棒优化引入世界模型潜空间,用共形预测校准扰动集合并结合博弈优化;硬件实验显示安全过滤失败降低70%,策略引导降低54%。

Junwon Seo, Andrea Bajcsy

★★★★☆ 值得关注
arXiv cs.RO · cs.LG

The Robot Is Not Its Description: GaugeBench for Representation Robustness in Morphology-Aware Policies

说明机器人不等于它的描述:用于形态感知策略表示鲁棒性的GaugeBench

简介论文提出GaugeBench基准,在保持机器人物理机构不变的前提下,仅改变关节轴方向、关节角零点、连杆与关节顺序等描述约定,检验同一策略权重的表现。结果显示,仅改描述导致的性能下降远超换用新机器人,且轴方向反转是主要原因。作者同时指出,通过等价描述间的转换或训练可部分恢复性能,并主张跨形态评估应同时检验机构鲁棒性与表示鲁棒性。

看点提出仅改变机器人描述约定而保持机构不变的评测方式,揭示策略失效并区分机构鲁棒性与表示鲁棒性;多模型与多框架验证较充分。

Rahath Malladi, Arshia Sangwan, Rajesh K. Gupta 等

★★★★☆ 值得关注
arXiv cs.RO · cs.LG 有代码

BiGym 2.0: Benchmarking Learned and Agent-Developed Policies for Humanoid Household Manipulation

说明BiGym 2.0:面向人形机器人家务操作的已学习与智能体开发策略基准

简介本文提出 BiGym 2.0,将 BiGym 适配到 Unitree G1 人形机器人上,包含 20 项家务任务,并提供统一的全身控制器用于示范与评估,每项任务有 60 条人类虚拟现实示范。作者比较了视觉-语言-动作微调、模仿学习、示范驱动强化学习以及冷启动编码智能体的表现。结果显示视觉-语言-动作微调在九项任务平均成绩上最高,智能体开发的程序优于所有示范驱动强化学习基线;跨工作区堆叠、多物体搬运等任务仍然困难。环境、示范与评估记录已开源。

看点将BiGym适配到Unitree G1并统一全身控制器,对比多类方法,实验覆盖20个任务且有对比,对子领域有实用价值。

Zexi Zhang, Zecheng Zhu, Zidong Chen 等

arXiv cs.AI

LSC-DPO: Learning-Signal-Controlled Direct Preference Optimization

说明LSC-DPO:学习信号可控的直接偏好优化

简介本文针对直接偏好优化(DPO)在训练中后期,随偏好间隔增大而对损失变化越来越不敏感的问题,从损失函数几何角度把sigmoid因子视为刻画目标局部敏感度的学习信号。作者提出LSC-DPO,在目标区间附近动态调节该学习信号,并在AlpacaEval 2、MT-Bench和Anthropic-HH上报告优于DPO及若干强基线的结果。此外,论文还提出一种信号预算补偿规则,用于减小不同系数初始化带来的性能差异。

Yang Qu, Yusheng Han, Chengjia Feng 等

arXiv cs.CL · cs.AI · cs.LG

Recurrent Looped Transformer

说明循环反馈Transformer:让计算路径随序列长度增长的模型

简介论文提出递归循环Transformer(RLT),把层分为并行因果编码器和递归解码器,解码器在每个词元处把编码输出与前一词元的解码状态合并,使计算路径随序列长度增长。在六个算法任务上,RLT在训练长度内外的奇偶校验、置换追踪和模运算中表现明显优于普通Transformer。消融实验显示,这些优势依赖于反馈机制。

Yifan Zhang, Jichen Feng, Shihan Qin 等

★★★★☆ 值得关注
arXiv q-bio.QM · cs.LG

ARMD-Predict: multi-site machine learning to predict antibiotic resistance before culture results

说明ARMD-Predict:多中心机器学习在培养结果出来前预测抗生素耐药性

简介临床医生在药敏培养结果出来之前需要先选择经验性抗生素。作者利用四家学术医疗中心的750万条培养-抗生素观察数据,开发了ARMD-Predict模型,既估计对单个抗生素的敏感性,也先预测感染菌再预测菌种特异性耐药表型。文中报告了模型的区分度(住院尿培养中位AUROC为0.77,血培养为0.70),并指出临床使用前仍需独立校准、阈值确定和前瞻性验证。

看点在多家医院数据上训练并验证抗生素耐药预测,结合分层的病原体与表型模型,有实质改进;证据包括多中心、同期及按患者分组的测试和时间重训练检验。对临床经验用药有一定影响。

Fateme Nateghi Haredasht, Nicholas P. Marshall, Wenyuan Chen 等

arXiv cs.AI · cs.LG

Personal-Agent Mediated Recommendation with Cross-Platform User History

说明基于个人智能体、跨平台用户历史的推荐(Personal-Agent Mediated Recommendation)

简介该论文提出一种由用户个人大模型智能体代为调节平台推荐结果的范式:平台推荐器先对候选集排序,个人智能体利用用户授权的跨平台历史数据调整排序并输出最终推荐列表。论文还提出了基准 MediateRec 和训练方法 PAMO,用于平衡有益修正与有害覆盖之间的权衡;实验显示个人智能体能带来有意义的修正,但也会引入不可忽视的有害覆盖,PAMO 在多项测试中优于同等设置的纯结果强化学习。

Yu Xia, Jiangfan Zhang, Jun Xiao 等

arXiv cs.CV · cs.LG 有代码

REViT-v2: Hierarchical Windowed Roto-reflection Equivariant ViT for Equivariant Feature Extraction

说明REViT-v2:用于等变特征提取的分层窗口化旋转-反射等变视觉Transformer

简介本文提出一种可扩展的旋转-反射群等变视觉Transformer,基于窗口化群卷积自注意力和分层特征结构。作者表明该方法可扩展到拥有数百万参数的群等变ViT,并能在ImageNet这类实际尺寸图像的大型数据集上运行。代码与预训练权重已公开。

Sheir A. Zaheer, Jihwan Moon, Chan Y. Park

★★★★☆ 值得关注
arXiv cs.LG · cs.AI

Mechanistic Interpretability of Atmospheric Rivers in GraphCast

说明GraphCast 中大气河流内部机制的可解释性研究

简介该论文用稀疏自编码器(SAE)分析 AI 天气模型 GraphCast 的内部表示,以大气河流为研究对象。研究发现,即使综合水汽输送(IVT)既不是输入也不是预测目标,模型内部仍稳定地计算出大气河流强度。Matryoshka SAE 能按重要性排序概念并展示其关系,直接干预实验也证实了这些内部变量的因果作用。

看点将稀疏自编码器用于GraphCast,发现模型内部稳定地表示大气河强度(IVT),并用干预验证因果,新颖且证据较扎实。

Madelyn Mathai, Timothy B. Higgins, Kevin M. Grise 等

arXiv cs.AI

Representation Bias, Correction Transfer, and Resolution Sensitivity in Three-Dimensional Mitochondrial Morphometry

说明三维线粒体形态测量中的表征偏差、校正迁移与分辨率敏感性

简介该论文分析三维线粒体形态测量中,基于占据的体积相比参考网格体积系统性偏大约3.665%,且存在向外的标签位移。作者在受控重实现中去除深度偏移,使体积误差平均降低1.57个百分点,约占偏大量的45%。研究还表明,冻结回归在同一资源的新对象上降低了中位绝对百分比误差,但其误差界对整体与低占据子群的覆盖率不同,并显示在层间距由8纳米增至24纳米时表面积与球形度会发生变化。

Farouk Ganiyu Adewumi, Timothy Oladunni

arXiv cs.AI · cs.CL

LOGIC: An LLM Benchmark for Intent-Grounded Change Impact in Aerospace Electrical Systems

说明LOGIC:面向航空电气系统、基于意图的变更影响基准

简介该论文提出 LOGIC,一个受控基准与评估框架,用于判断航空电气设计修订中哪些变更确实符合工程请求。模型先在确定性的候选变更清单上选择变更,再沿电气可追溯图传播影响,从而区分选择错误与下游传播错误。结果显示,结构化证据方法在明确指向的选择任务上表现最好,但对语义改写和较大清单的处理仍有明显不足,且严格的证据门控在抑制误报的同时也会删去部分正确选择。

Muhammad Faraz Shoaib, Muhammad Qasim, Raisulhaq Mohammed Rizwan 等

arXiv cs.AI

Cooperating with Future Collaborators: Multi-Agent RL under Staggered Participation

说明与未来协作者合作:错峰参与下的多智能体强化学习

简介该论文研究多智能体协作任务中智能体错峰参与的情形:部分智能体先行动,其留下的信息对后续参与的智能体有用。作者提出“错峰参与学习”(SPL)训练增强方法,为先行智能体提供前瞻性信息获取监督,为后续智能体提供基于结果的接收端学习。在60组MPE/RWARE基线设置对比中,SPL的任务完成均值均更高,平均差异为14.1%,并在八智能体团队和Isaac Lab中的无人机-地面车环境中也有效。

Jianglin Qiao, Siyi Hu, Thien Hoang Nguyen 等

arXiv cs.CV · cs.LG · eess.IV

CETUS: How Far Do Representations Trained on Earth Transfer to Cassini SAR of Titan?

说明CETUS:在地球上训练的表征能在多大程度上迁移到卡西尼雷达对土卫六的图像上?

简介该研究使用卡西尼合成孔径雷达(SAR)拍摄的土卫六图像,比较了DINOv2、DOFA、CROMA等地球图像预训练编码器与传统图像特征在地形分类上的表现,并在地理上分离的区域进行测试。结果显示预训练编码器在逻辑回归设置下平均宏F1更高,但排名会随训练设置变化;在土卫六数据上继续训练的效果因模型而异。由于标签部分来自同样的雷达观测,分数衡量的是与专家解释的一致程度。

Kevin Lee

arXiv cs.CL · cs.CV · cs.LG

Two Vectors Replace In-Context Demos: Structured Task Adaptation via Embeddings

说明用两个向量替代上下文示例:基于嵌入的结构化任务适配(STAVE)

简介该论文针对大型多模态模型的上下文学习需要在每次查询时重新编码示例图像、开销大的问题,提出STAVE方法,用两个任务专用向量加到已有输入嵌入上代替示例。其中读出向量更新生成答案的令牌,上下文向量更新其他结构性令牌组,两者都用有无示例的提示和答案标签训练。实验覆盖六个多模态模型和五个语言模型,结果显示STAVE在多模态任务上达到或超过现有方法,任务参数更少,并在18个文本任务上超过15-shot上下文学习和既有任务向量方法,推理时零样本成本。

Xi Ding, Naichen Shi, Jiawei Zhang

arXiv cs.AI

Unanimously Wrong: Certified Abstention from How Medical LLM Consensus Forms

说明全体一致却错误:从医疗大模型共识形成过程进行可认证的弃答

简介论文指出,医疗问答系统中多个答案一致并不等于正确,系统可能在每次采样中都给出同一个错误答案。作者提出ProbeGuard框架,依据共识形成的过程(如一致性轨迹、少数意见的持续性、检索饱和度)以及针对一致答案的推理理由连贯性和反证检验来决定是否弃答。在三个医疗问答基准上,该方法将正确与错误共识的区分能力提升到0.696 AUROC。

Xiaoyang Wang, Tianrui Wang, Christopher C. Yang

arXiv cs.RO · cs.AI · cs.CV

OpenSplatGraph: From Dense Semantic Maps to Structured Scene Graphs for Open-Vocabulary Robot Perception

说明OpenSplatGraph:从稠密语义地图到结构化场景图,用于开放词汇的机器人感知

简介该论文提出OpenSplatGraph框架,基于在线高斯语义地图直接构建持久的三维场景图,把稠密语义地图与以物体为中心的表示结合起来。框架为语义场加入可靠性感知的观测统计,用于按查询提取物体实例,并在多次观测中增量更新物体属性和关系。作者称其在三维场景理解基准和真实机器人实验中,在线开放词汇感知和下游机器人任务上表现具有竞争力。

Binh Long Nguyen, Kien Nguyen, Clinton Fookes 等

arXiv cs.CV

AIMS: Anchor-Integrated Multi-View Synthesis for Scalable Novel View Rendering

说明AIMS:面向可扩展新视角渲染的锚点集成多视图合成

简介该论文提出AIMS框架,用于前馈式新视角合成在输入视图很多时的扩展问题。它用最远点采样选出分布均匀的锚点视图,把附近观测融合进锚点表示,使可用观测数量与全局模型处理的视图数量解耦。在RealEstate10K和ScanNet上,AIMS分别达到29.41 dB和17.73 dB的PSNR,平均每视图渲染耗时7.24毫秒。

JooHyun Park, HanYoung Jang, HyeongYeop Kang

arXiv cs.LG · cs.AI

Complementary Feature Domains: Information Preservation Does Not Imply Predictive-Contribution Preservation

说明互补特征域:信息保持并不等于预测贡献保持

简介该论文提出互补特征域(CFD)理论,将预测价值刻画为由表示及其实现族共同诱导的、与上下文相关的贡献体系。作者证明,即便可逆的表示变换保持了目标信息,在受限决策族下其预测贡献仍可能改变,并给出衡量贡献变化的 CFD 贡献缺陷。在心电图(ECG)受控实验中,非线性双射重编码保留了冻结时频表示中的信息,但在固定仿射学习器下准确率发生变化;施加精确逆变换后,各测试联盟的准确率得以恢复。

Timothy Oladunni, Farouk Ganiyu-Adewumi

★★★★☆ 值得关注
arXiv cs.CL 有代码

HouseholdBench: Evaluating Large Language Models as Predictors of Household Economic Behavior

说明HouseholdBench:评估大语言模型对家庭经济行为的预测能力

简介这篇论文提出了HouseholdBench评测基准,整合了6项美国家庭调查和32项预测任务,涵盖消费、收入、就业、预期和住房等方面。研究测试大语言模型能否基于过往行为、人口特征和宏观经济条件预测家庭行为,包括家庭对政策变化的调整。结果显示,多数大语言模型优于不变化基线,其中表现最好的模型将数值结果的误差降低了12.2%;但在多数任务上梯度提升树排名第一,开源模型落后于闭源模型,并且存在系统性的高估或低估。

看点构建了涵盖6项美国家庭调查、32项预测任务的新基准,评估13个LLM并与基线对比,并发现微调加多次采样可让小模型达到闭源模型水平。

Jin Huang, Diego Ferreras Garrucho, Yutong Xie 等

arXiv cs.LG · cs.AI · stat.ML

Learning a Mixture of GFlowNets

说明学习一组 GFlowNet 的混合体

简介本文研究用一组 GFlowNet 从离散目标分布中采样,以提升状态空间探索能力与收敛速度。作者提出了混合 GFlowNet 的通用理论框架,并分为连续索引和离散索引两类。文中指出,这些方法在不增加明显额外计算的前提下,能显著加快学习收敛并提高模式覆盖。

Tiago da Silva, Amauri H. Souza, Salem Lahlou

arXiv cs.CV · eess.IV

LARK: A Low-Cost, Accurate, Occlusion-Resilient, Kalman Filter-Assisted Tracking System for Image-Guided Surgery

说明LARK:一种低成本、高精度、抗遮挡、借助卡尔曼滤波的图像引导手术跟踪系统

简介该论文提出 LARK,一种利用普通 RGB 摄像头和多视角冗余融合的多相机光学跟踪系统,用于图像引导手术中的器械追踪。作者比较了多视角单目位姿融合与多视角三角测量两种方法,并与金标准立体红外系统对比。使用五台相机和自适应卡尔曼滤波,在精密网格上取得中位目标配准误差分别为 0.64 毫米(点定位)和 0.73 毫米(轨迹跟踪);硬件成本低于 1000 美元。

George Sideris, Justin Cree, Andrew Stirling 等

arXiv cs.AI · cs.CE

Navigating Route Latent Space for Synthesizable Molecular Design

说明在路线潜空间中导航,设计可合成分子

简介该论文提出RouteFlow框架,把可合成的分子设计转化为在连续的合成路线潜空间中搜索,每个潜变量都对应一条完整合成路线。方法采用奖励引导的流匹配进行采样,并加入循环一致性机制以稳定微调。在Therapeutic Data Commons的16个优化任务中,论文报告其在可合成性感知基线中样本效率最好,合成可及性和逆合成成功率也最高。

Tao Li, Tuan Vinh, Monika Raj 等

arXiv cs.LG

TAFFY: A Task-Adaptive Tabular Foundation Model with In-Context Diversity

说明TAFFY:一种具备上下文多样性的任务自适应表格基础模型

简介该论文提出 TAFFY,一种表格基础模型,通过在合成预训练上下文中引入来自受控干预和分布偏移的多样环境,并采用任务条件循环 Transformer 迭代选择性地精炼上下文表示,以提升模型从上下文推断任务相关预测关系的能力。作者称在六个分类和五个回归基准数据集上,TAFFY 取得了最低的平均排名。

Zijian Li, Xiangchen Song, Gongxu Luo 等

arXiv cs.RO · cs.AI · cs.LG

Seeing the Invisible: Physics-Guided Visual Prompting for Temperature- and Radiation-Aware VLA Navigation

说明看见不可见:面向温度与辐射感知的视觉-语言-动作导航的物理引导视觉提示

简介论文提出物理引导视觉提示(PG-VP),在冻结的视觉-语言-动作导航模型上加装即插即用模块,依据辐射或热源的物理风险评估,在图像中叠加会随帧移动的虚拟障碍,引导机器人绕开看不见的危险,无需重新训练。在R2R-CE与RxR-CE验证集上,该方法使策略在84.9%和83.2%的情况下转向低风险动作,导航成功率分别下降6.8和7.9个百分点;真机实验中最差10%轨迹的安全性,对热源与辐射源分别提升63.45%和32.59%。

Hojoon Son, Fan Zhang

arXiv cs.AI

Decoupled Multi-Agent Orchestration

说明解耦式多智能体编排(DeOrch):把规划与工作者选择分开的学习型编排方法

简介该论文提出DeOrch,将与具体工作者无关的任务规划与工作者选择分离:先在不知工作者信息的情况下分解任务,再依据池中工作者反馈选择协作方式,并用轻量匹配器结合上下文老虎机在线适配新工作者。文中称其在多类任务上优于既有自动多智能体编排方法,调用工作者次数更少,并能在未见过的工作者池中无需重训即可有效迁移。

Xinle Wu, Yao Lu

arXiv cs.LG

Global Transport Couplings for Classifier-Free Guided Flows

说明面向无分类器引导流模型的全局传输耦合

简介本文提出全局传输(GT),一种不依赖类别标签的全局最优传输耦合方法,用于条件流模型的训练。单独不加引导时GT会使表现变差,但与无分类器引导(CFG)结合后,在多种领域、模型规模和采样预算下都能稳定提升生成效果。作者据此认为,条件流的耦合设计应基于推理时的引导流来评估,并指出这是一个无需修改架构、采样器或引导机制的训练阶段改进方向。

Katarina Petrovi\'c, Zander W. Blasingame, Danyal Rehman 等

arXiv cs.LG · cs.AI

Which and When to Admit: Gradient Admission for Data-Centric Small Language Model Finetuning

说明何时、何种数据可进入LoRA更新子空间:面向小语言模型微调的梯度准入方法GRADE

简介论文指出,基于LoRA的小语言模型微调存在梯度相互抵消、静态数据选择无法跟踪学习动态、子空间饱和导致有用更新被覆盖等问题。作者提出GRADE框架,包含一个持续接纳与多任务梯度方向一致样本的选择器,以及一个在接近饱和时拒绝可能造成破坏性覆盖更新的步级门控。实验在三个新一代骨干模型和七个异构指令数据集上进行,结果显示GRADE在准确性和稳健性上优于基线,并且是唯一在所有架构上都稳定优于标准LoRA的方法。

Hongyu Cao, Yanchi Liu, Kunpeng Liu 等

arXiv stat.ML · cs.LG

Is √d Separation Necessary for Gradient EM to Learn Gaussian Mixtures in High Dimensions?

说明高维高斯混合模型的梯度EM学习是否必须依赖 √d 的分离度?

简介该论文研究用期望最大化(EM)算法及其梯度变体学习高斯混合模型的问题。已有结果要求真实分量之间的最小分离度与维度 d 的平方根成正比。作者考虑一种混合算法,并证明在高维且随机初始化下,分离度仅为 d^(0.5-ε) 量级时,无法保证群体梯度EM在次指数时间内全局收敛,即使在过参数化设定下也是如此。

Yiran Zhang, Mo Zhou, Weihang Xu 等

arXiv cs.LG · cs.AI

Foundation Model-Aided Multi-Agent Reinforcement Learning for Wireless Random Access Network Optimization

说明基于基础模型辅助的多智能体强化学习用于无线随机接入网络优化

简介该论文针对无线随机接入网络的多智能体强化学习训练开销大的问题,提出利用基础模型辅助的演员-评论家算法,并在共识式去中心化架构下进行训练。作者给出了在局部奖励交换和非线性价值函数近似条件下的收敛性分析,表明其收敛阶数与传统方法相同。数值结果显示,该方法显著提升了随机接入网络优化的学习速度。

Myeung Suk Oh, Zhiyao Zhang, Alvaro Velasquez 等

arXiv cs.CL

Quality-Aware Self-Correcting Speech Translation on an Edge Device

说明边缘设备上具备质量感知与自我纠错的语音翻译

简介本文提出一套完全离线的语音到语音翻译系统,运行于 Jetson Nano(4 GB)设备上,无需重新训练即可修正自身较弱的译文。系统以多语言 BERT 的余弦相似度作为质量评估门控,置信度低于阈值时触发二次修正;比较了三种修正方法,其中最小贝叶斯风险解码(M2)在英西翻译实验中带来显著提升,而质量评估重排(M1)未见显著收益,约束束搜索(M3)则明显更差。

Zubair Ajmal Farooq, Diptesh Kanojia

arXiv cs.AI

A Systematic Investigation of Bias in Large Language Models for Advertising Relevance

说明大语言模型在广告相关性判断中偏见的系统研究

简介该论文系统研究了大语言模型判断广告与查询词相关性时的公平性问题。作者用反事实框架,比较广告主身份、可能的知名度、输入语言和人口统计用词的影响,测试对象包括 GPT-4o 和专门训练的 Qwen-7B 模型。结果显示,更换广告主身份或输入语言都可能改变相关性判断;部分涉及性别和职业的人口统计对比也呈现与常见刻板印象一致的模式。论文还探讨了推理与训练阶段的缓解方法,其效果取决于广告主信息是否与查询相关以及训练数据中的标签分布。

Weiwei Wang, Yinchuan Xu, Jialu Gao 等

arXiv cs.LG · cs.RO · cs.SY

Preserving Unstable Modes Through Inverse Dynamics in JEPA World Models

说明通过逆动力学在JEPA世界模型中保留不稳定模态

简介机器人系统常有不稳定模态,需要反馈控制才能抑制其增长,而从高维视觉观测中控制它们要求表征保留这些模态。本文发现,仅用下一步预测加防塌缩正则化训练,可能使可控的不稳定模态被压缩掉,导致无法从学到的表征中实现镇定。作者加入动作重建目标(逆动力学损失),并在线性系统上给出理论证明,同时在CartPole、Walker2D和PointMaze等非线性视觉控制任务上进行了实验验证。

Leonardo F. Toso, Yann LeCun, James Anderson 等

arXiv cs.MA · cs.AI · cs.CL

Disentangling Models from Personas in Heterogeneous LLM Simulations

说明在异构LLM模拟中区分模型与人设的影响

简介该论文用多种不同的基础大模型构建了一个异构社交网络模拟,发现智能体获得的互动量更多取决于其基础模型,而非被赋予的人设。随着网络中模型种类增加,某些基础模型的吸引或排斥效应显著增强,作者认为大规模下网络动态可能趋向于基础模型效应。作者还通过内容中介分析解释这一现象,涉及基础模型在不同情境下的可预测性,以及模型的词汇模式与最大化互动的风格之间的关系。

Dani Roytburg, Daphne Ippolito

arXiv cs.LG · cs.ET · physics.optics

Targeted search shows that random-device testing underestimates worst-case error in a simulated wave-based neural operator

说明定向搜索表明:随机器件测试低估了模拟波动神经算子的最坏误差

简介该论文研究用于神经算子傅里叶层的波动式处理器在制造与对准偏差下的最坏误差。作者在一个模拟案例中比较随机采样的器件与搜索得到的最坏器件,结果显示搜索器件的误差常超过千次随机器件的最大值。因此随机测试估计的是误差超过阈值的频率,而最坏器件搜索给出的是误差可能有多大的下界。

Samrendra Roy, Jason Yoo, Souvik Chakraborty 等

arXiv cs.LG

Activation Denoising: A Robustness View on Parallel vs Sequential LLM Quantization

说明激活去噪:从鲁棒性角度看大语言模型的并行与串行量化

简介该论文针对大语言模型训练后量化中误差逐层累积的问题,提出一种并行量化方法,通过对上游误差进行鲁棒性正则化(预处理后加权取整)来抑制误差放大。该方法无需逐层串行重新校准,并与常用的正交旋转方法互补。作者称其在单次并行过程中恢复了串行量化的大部分收益,且耗时仅为其一小部分。

Yan Scholten, Rachel Lawrence, James Hensman 等

arXiv cs.AI

Grounding What Shapes the Plan: Rethinking Groundedness for Physical Intelligence in Autonomous Driving

说明论证什么塑造了规划:重新思考自动驾驶物理智能的“落地性”

简介该论文指出,驾驶模型虽然越来越依赖因果、空间和感知证据进行推理,但推理正确并不必然带来好的驾驶结果。作者提出GroundAct方法,以物理实体为落地单位,用轻量参考标记保持实体连续状态可被符号推理访问,并仅用被引用实体与规划方案的交互来修正计划,称为“落地规划”。论文在开环与闭环(仿真)设定下评估该方法。

Minkyoung Cho, Zewei Zhou, Wenhao Ding 等

arXiv cs.AI

From Local Evidence to Safety Verdicts: Causal Tracing in Vision-Language Models

说明从局部证据到安全判定:视觉语言模型中的因果追踪

简介视觉语言模型有时需要把图像和提示词结合起来,才能识别单独看都不明显的安全风险。本文提出 SSU-Bench 数据集,包含成对的安全与不安全图文组合,并用三个视觉语言模型追踪模型内部状态如何影响安全判定。结果显示,在前面的解码层干预被修改的输入位置更有效,而在靠后的层则需要干预最终输入词元。

Faezeh Dehghan Tarzjani, Mevan Wijewardena, Alexander Romanus 等

arXiv cs.RO · cs.CV · cs.LG

MobileVISTA: Generative Data Augmentation for Pose Generalization in Mobile Manipulation

说明MobileVISTA:面向移动操作中姿态泛化的生成式数据增强

简介论文提出 MobileVISTA,一种数据生成框架,把在标准机器人姿态下采集的示范数据,通过增强第一视角图像并调整动作以补偿底座位姿变化,生成多样化的训练数据。在仿真的人形与双臂任务及真实 Galaxea R1 Pro 机器人上的实验显示,用该方法增强数据训练的策略,在测试时遇到分布外姿态时更稳健,对人形机器人的提升最明显。

Suzannah Wistreich, Stephen Tian, Isabella Huang 等

arXiv cs.AI · cs.CL 有代码

On Open-Ended Information Seeking for Information Elicitation Agents

说明面向信息征询智能体的开放式信息寻求研究

简介该论文研究信息征询是一类开放式的信息寻求问题,其中智能体需不断判断应追问哪些信息。研究比较了11个不同系列与参数规模的大语言模型对信息价值的判断,并在统一的可控模拟环境中分析其顺序性信息寻求行为,呈现出广度与深度的差异。作者还通过敏感性分析与消融实验检验这些发现的稳健性与边界。

Victor De Lima, Grace Hui Yang

arXiv cs.HC · cs.AI

Jarvis: A Proactive Speech Agent for Multi-Party Conversations

说明Jarvis:面向多人对话的主动语音代理

简介现有语音代理大多被动,只在被问到时回应,且只面向单人。本文提出实时主动语音代理 Jarvis,可在多人对话中出声参与。它依据事先共享的文档跟进讨论,当群体遗漏或说错事实且几轮内未自行更正时进行干预。论文还构建了带有已知缺口、错误和自我更正的合成多人数据集 CHI-180-proactive 用于评测。结果显示,Jarvis 在大多数干预事件上正确,群体自行解决问题时有 97% 的时间保持沉默;一项 23 人的现场研究也印证了这些趋势。

Seunghyun Oh, Hirotaka Hiraki, Shuyue Stella Li 等

arXiv cs.AI

MARS: Multi-resolution Adaptive Routing for Sequential Recommendation

说明MARS:用于序列推荐的多分辨率自适应路由方法

简介该论文指出,长用户行为历史中同时存在短期意图、中期兴趣和长期偏好,而单一缓存的记忆会不均衡地保留这些尺度,近期和中程内容的信息远少于长程内容。作者提出MARS模型,将完整历史写入对应不同半衰期的循环状态轨迹,并通过稀疏路由为每个候选种子选择相关时间尺度。实验在三个公开数据集上显示MARS优于强基线,且历史越长优势越明显。

Ming Yin, Sixun Dong, Yudong Liu 等

★★★★☆ 值得关注
arXiv stat.ML · cs.LG

Two-Sample Testing for Random Graphs without Vertex Correspondence

说明无顶点对应关系的随机图两样本检验

简介本文研究在两组图之间没有顶点对应关系时,需要多少个图才能检验两组是否不同,以及哪些图统计量能检测哪些差异。对于Erdős–Rényi零假设和保持期望度数不变的双块差异,每组所需图数量与信噪比相关,带符号三角形计数可达到该速率。与对齐顶点相比,未对齐会带来约t^{-2}倍的样本代价。

看点证明了无顶点对应两样本图检验的样本量紧界m≍t^{-3},并指出树类统计量无效,理论贡献显著;模拟结果与预测指数接近。

Soham Dan

arXiv cs.CL

Closing Ambient Clinical Documentation Gaps with Automated Provider Queries

说明用自动化医师查询弥补环境式临床文档缺口

简介本文研究大型语言模型能否自动完成“起草、提问、更新”(DAU)的医师查询流程,以补足临床记录中因转录缺失造成的文档空白。作者审查了3000次真实就诊,找出文档缺失的来源,并基于公开数据构建了五个转录降级基准。对真实对话中21k轮澄清问答的分析表明,有用问题的预测因素因任务而异。

Joseph Paul Cohen, Raj Shah, Han-Chin Shing 等

arXiv cs.LG

Source-Learned Reliance for Selective Test-Time Adaptation of Multimodal Time Series

说明基于源域学习依赖度的多模态时间序列选择性测试时自适应(CARAT)

简介本文针对可穿戴多模态传感器在数据受噪声干扰或缺失时的可靠性问题,提出 CARAT 方法。该方法将模型对各模态的依赖度与运行时的损坏检测分离,通过源域训练预先估计依赖度,部署时用轻量一类检测器标记可疑数据流,并据此决定替换或衰减该模态。在四个可穿戴数据集、五种损坏类型、三种骨干网络和八个基线上,CARAT 取得最高的整体宏 F1 与最佳平均排名,计算量和更新参数量也低于基线 EATA。

Payal Mohapatra, Yueyuan Sui, Haodong Yang 等

arXiv cs.AI · cs.LG · stat.ML

Does Muon Need Fine-Grained Spectral Shaping?

说明Muon优化器是否需要细粒度谱整形?

简介该论文研究Muon优化器的矩阵更新是否需要逐奇异方向的精细谱权重。作者提出BulkBoost,将谱分为噪声边界以下的主体与以上的尖峰两段,只通过一个共享增益提高主体权重。在30组持续预训练设置中,两段式重加权与Freon的精细幂律谱相当,并优于Spectra。

Meher Chaitanya, Tianyi Zhou, Aristides Gionis

arXiv eess.IV · cs.LG

Geometry-Aware Diffusion Approximate Posterior Sampling for Sparse-View and Limited-Angle CT

说明面向稀疏视角与有限角度CT的几何感知扩散近似后验采样重建

简介本文针对稀疏视角和有限角度CT的欠定重建问题,提出一种几何感知的扩散引导随机重建框架。其核心是由CT前向算子和测量噪声协方差构造的正则化加权回拉度量,依据各方向的测量敏感度调节更新与随机探索。实验表明该方法在稀疏视角、含噪和有限角度CT上重建质量具有竞争力,测量一致性强,并能给出空间分辨的经验不确定性估计。

Honglei Brinkmann, Carola-Bibiane Sch\"onlieb, Ander Biguri

arXiv cs.LG · cs.AI · cs.GT

Who Bears the Burden? Learning Responsibility for Shared Constraints in Multi-Agent Reinforcement Learning

说明谁来承担代价?多智能体强化学习中共享约束的责任分配学习

简介当多个智能体共享同一成本预算时,一个共同的拉格朗日乘子可以约束总成本,但无法决定惩罚如何分摊到各个智能体。本文提出拉格朗日责任分配方法(LiRA),通过在有限训练期内优化社会福利,学习每个智能体在共同乘子中所占的份额;实验涵盖CityLearn、MABIM、Harvest和MetaDrive等环境,智能体数量从3到400不等,结果显示其平均社会福利较统一惩罚和智能体专属乘子基线最多提高29%,且成本仍在预算之内。

Xiaoyang Cao, Jingqi Li, Zhe Fu 等

arXiv cs.LG 有代码

Robust Importance Sampling for Rare Events via Constrained Gaussian Mixtures

说明基于约束高斯混合的稀有事件鲁棒重要性采样

简介该论文研究如何估计稀有事件概率,即高斯随机变量经函数变换后超过阈值的概率,并采用重要性采样进行估计。作者将问题分为覆盖与拟合两步,并对最终的高斯混合提议分布加以约束,使其重要性采样方差有限。实验显示,该方法在高维和多峰场景中相比多种基线方法方差更低、表现更稳定。

Pawe{\l} Lorek, Rafa{\l} Nowak, Rafa{\l} Topolnicki 等

arXiv cs.LG

SpecBraM: What Should an EEG Foundation Model Predict? Masked Band-Power Prediction versus Waveform Reconstruction

说明SpecBraM:脑电基础模型应预测什么?掩码频带功率预测与波形重建的比较

简介本文提出一种自监督脑电(EEG)预训练方法,即掩码频带功率预测(MBP),让模型预测被遮挡片段的固定窄带对数频谱能量,而不是重建原始波形。在睡眠分期任务(ISRUC 与 HMC)上,该方法在线性探测下优于波形重建的对照方法,少量标签时优势更明显;但在运动想象、抑郁筛查和警觉性回归等任务上,增益并不普遍存在。

Peng Xie, Yequan Bie, Jianda Mao 等

arXiv cs.AI · cs.CL

In With the Old: Enhancing 'Classical' Document Automation with Generative AI

说明旧瓶装新酒:用生成式AI增强“经典”文书自动化

简介该论文探讨基于专家系统等符号式方法的法律文书自动化服务,如何与当前生成式AI相互结合、相互增益。作者讨论了这一结合的可能益处与挑战,并报告了用大语言模型识别和修正非专业人士所写文本中问题的初步实验。

Marc Lauritsen, Hannes Westermann

arXiv cs.LG

Adapting to Changes in Agent Behavior via Finite-Depth Policy Sensitivity

说明通过有限深度策略敏感度适应智能体行为变化

简介本文针对强化学习策略在对手行为改变时需要大量新数据才能适应的问题,提出一种有限深度框架,用参考环境的信息近似策略海森矩阵和混合导数,从而估计策略敏感度。该方法可调节导数传播深度,并给出截断误差界。在追逃博弈实验中,随着传播深度增加,导数估计误差通常降低,且敏感度初始化使零样本回报优于直接迁移。

Lan Shi, Daigo Shishika, Xuan Wang

arXiv cs.AI

PsyCIDRA: A Dual-Agent Framework for Psychiatric Interviewing and Diagnostic Reasoning

说明PsyCIDRA:用于精神科问诊与诊断推理的双智能体框架

简介论文提出PsyCIDRA,一个双智能体框架:问诊智能体通过自由对话收集信息,并调用工具记录笔记、加载专家技能、检索ICD-11参考;诊断推理智能体读取问诊记录后给出假设及支持、冲突和缺失的证据,证据不足时不给出最终假设。在模拟病例中,该框架的诊断一致性和排名第一准确率均高于直接提示方法(60.5%对51.9%);在101名人类参与者的盲法研究中,与心理学家在是否提出诊断假设上的一致率为79.6%,直接提示方法为65.4%。

Milad Mohammadi, Fatemeh Akrami Shamsabadi, Zahra Mohseni 等

arXiv cs.LG · cs.AI · stat.ML

Structure, Not Belief: Correlated Thompson Sampling from LLM-Derived Covariance in Combinatorial Semi-Bandits

说明结构而非信念:基于LLM协方差的相关汤普森采样在组合半老虎机中的应用

简介该论文研究在组合半老虎机的汤普森采样中,用大语言模型对臂进行一次分组,并将分组转为相关矩阵来引导探索,但不改变后验更新,只依据真实奖励。作者给出理想高斯采样器的贝叶斯遗憾界,在16个合成伯努利族上相较CTS降低约19%(T=2500),在MIND-small新闻基准上降低约41%。消融实验显示,在非结构化实例上的增益主要来自核函数形状,而非LLM注入的信念。

Vikram Kakaria, Anish Kataria, Anany Kotawala

arXiv cs.AI

COMPASS: Finding Where Reasoning Lives in Language Models

说明COMPASS:在语言模型中寻找推理所在的位置

简介本文提出COMPASS,一种推理时的引导方法,用于在大语言模型中找到负责推理的注意力头。研究发现,模型直接作答的正确与否可以作为信号,得到能激发推理的潜在方向;只有少数注意力头能被有效干预。在多个模型系列和数学基准上,COMPASS优于所比较的激活引导基线,GSM8K准确率平均提高16个百分点,所需生成的token减少20%至70%。

Pratyay Dutta, Kowshik Thopalli, Vivek Narayanaswamy

arXiv cs.LG

Efficient Multimodal Inference through Adaptive Acquisition and Sequential Fusion

说明通过自适应采集与顺序融合实现高效多模态推理

简介多模态系统通常会编码所有可用输入,即使其中一部分已足以完成预测。本文提出SemARC方法,由顺序模态聚合器(SeMA)与自适应运行时控制器(ARC)组成,根据已采集的证据决定下一个编码的模态或是否停止,从而减少计算。在六个多模态分类数据集上,相较各数据集上最准确的基线,该方法宏F1平均提高3.2%,总推理GFLOPs平均降低61.4%。

Payal Mohapatra, Haodong Yang, Yueyuan Sui 等

arXiv cs.CV

Protective Perturbations Must Survive the Resize: Scale-Robust Image Immunization against Malicious Editing

说明保护性扰动必须经受缩放:抵御恶意编辑的尺度稳健图像免疫方法

简介论文指出,基于扩散Transformer的指令式图像编辑器可以用一句话伪造个人照片,而现有保护性扰动在照片被缩小后效果大幅下降。作者提出SRIM方法,用锚点尺度覆盖照片尺寸对应的缩放范围,并在每一步优化最脆弱的尺度上,使保护在编辑器任意缩放下都有效。实验表明,SRIM在全分辨率照片上保护效果最强,即使ℓ∞预算仅为现有方法的四分之一,仍优于其他方法,并在输入净化下保持最强。

Zhongliang Guo, Yan Lin, Yifei Qian 等

arXiv cs.CV · cs.AI

ElasticFit: Fit-Aware 3D Object Insertion via VLM Reasoning and Generative Adaptation

说明ElasticFit:借助视觉语言模型推理与生成式适配实现可贴合的三维物体插入

简介该论文提出 ElasticFit 框架,用于把物体插入已有三维场景。它先由视觉语言模型根据语言指令和场景渲染图推断放置位置、占据体积、朝向及刚性放置、等比缩放或弹性贴合等适配方式,再生成并重建三维物体并进行贴合细化。文中报告,在固定资产基线对比中,空间关系成功率由 50.8% 提升至 69.7%,支撑成功率由 48.3% 提升至 91.7%。

Tzu-Hsin Hsieh, Ricardo Marroquim

arXiv cs.AI · cs.CL · cs.CY

Auditable Claims about AI Agents

说明关于AI智能体的可审计主张

简介本文提出,要检验关于AI智能体的主张,必须先明确其政策、适用范围、用来验证的记录以及记录的撰写方。作者据此定义了“可审计”的主张,并证明在若干条件下,缺少独立记录覆盖、逐项动作授权或完整性保证时,主张无法获得支持。文中还给出六类常见主张的检验表和一个分五种证据状态的案例。

Yue Zhao, Jiate Li, Li Li 等

arXiv cs.LG · cs.SI

Interpretable Hypergraph Learning via Neural Additive Models

说明基于神经加性模型的可解释超图学习

简介本文提出超图神经加性网络(HGNAN),这是一种本身可解释的超图数据学习框架。它将经典神经加性模型扩展到高阶关系数据,结合按特征的非线性分解与超图感知的结构聚合,可对节点和超边任务进行透明预测。在基准数据集上的实验表明,其性能与先进的超图学习方法相当,并具有内在且有意义的可解释性。

Shihan Feng, Xin Zheng, Shiyi Yang 等

arXiv cs.LG · cs.AI · cs.CL 有代码

AlignQuant: Tile-Aligned Mixed-Precision Quantization for Efficient LLM Generation

说明AlignQuant:面向高效大模型生成的瓦片对齐混合精度量化方法

简介该论文提出AlignQuant,一种训练后量化方法,以GPU友好的二维权重瓦片作为精度分配、紧凑存储和计算执行的共同单位,使精度能够随输出通道内的敏感度变化。方法结合预填充与解码阶段的联合校准,并在模型整体权重存储预算下优先保留对任一阶段重要的瓦片精度。在参数规模3B至14B的四个大语言模型上,其生成速度相比BF16最高提升2.50倍,并在三种GPU及最长64K词元的上下文中进行了评估。

Hanzhi Zhang, Qiao Zhang, Qinglei Cao 等

arXiv cs.LG · cs.AI · stat.AP

Active Feature Acquisition for Cost-Efficient Temporal Prediction with Reduced Participant Burden

说明面向减轻参与者负担的纵向主动特征获取:用于低成本时序预测的可解释策略

简介该论文针对心理学中的纵向追踪研究,提出一种可解释的策略学习方法,用于在每个时间点动态选择较少的问卷条目进行采集,同时保持对结局的预测能力。作者将神经网络方法的策略蒸馏为决策树,并在模拟数据和一个关于每日饮酒量预测的EMA实证数据集上进行验证。结果显示,每次采集的条目数可以明显减少,而预测准确性损失很小。

Yunni Qu (1), Bing Cai Kok (2, 3) 等

arXiv cs.LG

Fork-and-Flush: Escaping Idea Basins in Autoresearch Agents

说明Fork-and-Flush:让自动研究智能体跳出“思路盆地”

简介论文发现,同一智能体在同一任务上的多次独立运行,常停在差异明显的分数上,且差距即使投入更多计算也难以消除。作者将这些局部停滞的解空间区域称为“思路盆地”,并提出一种定期干预方法 Fork-and-Flush:将智能体分叉为多条并行轨迹,各自继承已有工作区但清空对话上下文,运行固定时长后从得分最高的轨迹继续。在13个长周期研究与工程任务上,在等计算预算下,该方法的归一化平均分相对单次运行与 best-of-N 基线分别提升66.0%和44.4%。

Ziyang Cai, Christos Ziakas, Vasilis Kontonis 等

arXiv cs.LG · cs.CV

Decoupling What from Where: How Should a Small GUI Grounding Model Receive the Action Type?

说明将动作类型与位置解耦:小型GUI定位模型应如何接收动作类型?

简介本文研究图形界面智能体中,小型定位模型应如何接收动作类型信息。作者在Android in the Wild数据上用LoRA微调Qwen2-VL-2B,比较了五种提供动作类型的方式与基线。结果显示辅助损失、加性嵌入和提示词类方法优于基线约5至7个点,但部分增益源于数据预处理的影响,且在部署时使用预测类型的优势尚未确立。

Aadi Chauhan, Arthur Ilyasov

arXiv cs.HC · cs.LG · eess.SP

Artifact removal improves electrodermal waveforms but not downstream classification in a virtual-reality balance task

说明去伪迹改善了皮肤电波形,但未提升虚拟现实平衡任务中的下游分类效果

简介该论文在虚拟现实平衡干扰任务中检验了皮肤电信号去伪迹的作用。在基准数据上,门控网络能较好地检测伪迹并降低伪迹区域误差,但在虚拟现实数据上,五种分类方法的平衡准确率变化都很小,与未处理信号基本相当。作者认为,去伪迹的好处在波形到决策之间已经丢失,因此预处理应以其支持的决策效果来评判。

Haochen Chai, Qixu Zhu, Siyao Li 等

arXiv cs.LG

StaFIR: Convex Learning of Stationarity-Aware Causal Filters

说明StaFIR:学习兼顾平稳性与输入相似性的因果滤波器(凸优化方法)

简介论文提出 StaFIR,一种因果有限脉冲响应滤波器,通过学习非负的指数滞后剖面混合来减弱时间序列的非平稳性。其凸学习目标同时平衡经验平稳性与输入相似性。实验在 ARFIMA–GARCH 受控数据和滚动金融序列(含已实现波动率预测)上进行,结果显示其滤波强度会随持续性调整,并在下游预测中与固定半阶差分相比准确率无明显差异,但与原始信号的相似度更高。

Lorena Egger, Mathis Linger

arXiv cs.AI · eess.SP

Adaptive Gait Biofeedback With Participant-Held-Out Modeling and Participant-Specific Updating in Chronic Ankle Instability

说明慢性踝关节不稳患者的自适应步态生物反馈:留出受试者建模与个体化更新

简介研究用时序卷积分类器,依据角度阈值把步态周期标为好/差,并以留一受试者法在20名受试者中评估。7名干预组受试者在三周内完成九次训练,比较了失败后更新的模型与原模型,并比较了干预组与10名对照者的额平面踝关节角度。结果显示模型区分能力较好,但研究为非随机设计,不能证明临床分类能力或更新带来的因果益处。

Jaeyoon Kim, Veronika Lebisova, Jeniya Sultana 等

arXiv cs.CL · cs.LG · eess.AS

AccentCL: Robust Accent Classification with Incremental Expansion

说明AccentCL:可增量扩展的鲁棒英语口音分类

简介本文提出AccentCL,一种面向英语口音分类的类增量学习框架,能应对类别不平衡和跨语料库领域偏移。模型基于冻结的Whisper-Large-v3编码器,结合不平衡感知交叉熵损失与领域均值对齐损失训练,并通过基于回放的持续学习扩展标签空间。在五类口音任务上,平衡准确率为77.1%,宏平均F1为76.9%;增量加入西班牙口音和中文口音英语后,新类别F1分别为83.3%和61.8%,原有类别的平衡准确率仍保持在77%左右。

Mu-Ruei Tseng, Waris Quamer, Ghady Nasrallah 等

arXiv cs.AI · cond-mat.mes-hall · cond-mat.mtrl-sci

2d-fet-bench: from spatial reasoning to fet design on flakes

说明2D-FET-Bench:从空间推理到薄片上的场效应晶体管设计

简介该论文提出 2D-FET-Bench V2,包含 128 个基于显微图像轮廓的二维薄片场效应晶体管版图任务,要求智能体根据文本规格和轮廓坐标生成可渲染为 GDSII 的版图。论文用确定性验证器检查几何与结构要求,并评估了多种模型与流程配置。最佳配置 GPT5.6-Luna(ReAct-3)单次通过率为 62.3%,至少成功一次的任务覆盖率为 80.5%。

Dunzhi Zhou, Chengyu Zhu, Gang Qiu 等

arXiv cs.LG · eess.SP

Benchmarking Label-Revealed Online Updates for EEG BCI Decoding

说明基于标签反馈的在线更新在脑电(EEG)脑机接口解码中的基准评测

简介脑电信号会随时间漂移,导致静态脑机接口模型在实际使用中性能下降。本文建立了在线自适应基准,在按时间顺序的先测后训练评估下,比较了共空间模式(CSP)与黎曼协方差两类常用流程。结果显示,在两个最大数据流上,标签反馈的在线更新在14组模型与数据集组合中的13组有所提升,相对于冻结模型的准确率增益最高约18%。

Bogdan Kozyrskiy, Artem Grachev, Abraham I. Camelo Guerrero

arXiv cs.LG · cs.CV

Learnable Spectral Activations

说明可学习的谱激活函数(LSA):让隐式神经表示更高效地组合频率

简介该论文提出可学习谱激活(LSA),用带可学习振幅的截断傅里叶级数替代神经元固定的非线性函数。线性权重负责选择特征,激活系数负责控制频谱整形,二者分开更新。作者称这种分解使目标信号能量更集中于神经正切核的主要特征模式,并在音频、图像、神经辐射场和神经声场任务中提升了重建质量。

Tamir Shor, Or Litany, Alex Bronstein

arXiv stat.ML · cs.LG

Bayesian Optimization on Function Spaces via Sparse RKHS Manifolds

说明基于稀疏再生核希尔伯特空间流形的函数空间贝叶斯优化

简介本文研究函数空间中的贝叶斯优化,即待优化变量是无限维函数而非有限维向量。作者提出 L0 流形优化方法(L0MO),在再生核希尔伯特空间中搜索可由稀疏核函数表示的函数,同时优化核函数位置及其系数。论文还构建了一套将标准有限维测试函数推广到无限维的基准测试,实验结果显示该方法在多数测试中表现较优。

Davide Sartor, Meghan E. Huber, Donghyun Kim 等

arXiv cs.LG

Evaluation of Active Feature Acquisition Policies with Tabular Foundation Models

说明用表格基础模型评估主动特征获取策略

简介该论文研究如何利用先验数据拟合网络(PFN)这类无需针对具体任务训练的现成模型,从有限的离线数据中学习并评估按顺序获取特征的策略,以最大化对目标变量的信息。作者指出,使用总预测熵作为奖励会因离线数据覆盖不均而产生认知偏差,从而不利于获取稀疏观测的特征。为此,论文改用后验期望的(偶然)熵进行评估。在合成数据和真实数据集上的实验表明,该方法能降低价值估计偏差,并给出覆盖效果较好的可信区间。

Yuta Kobayashi, Divyam Madaan, Shalmali Joshi

arXiv cs.LG

What pass@k Cannot Measure: Evaluating Diversity and Capability Retention after Post-Training

说明pass@k 无法衡量什么:强化学习后训练中的多样性与能力保持评估

简介论文指出,常用的 pass@k 指标只看问题的正确率,不反映正确答案在输出中的分布,因此无法衡量多样性。作者用 GRPO 与拒绝采样微调对 Qwen2.5-1.5B-Instruct 进行 GSM8K 数学题训练,发现多样性指标呈相反变化,而 pass@8、pass@32 没有一致的优胜者。论文认为,这是标准评估协议缺失其常用于认证的某项性质的具体例子。

Subham Rath, Raj Dandekar, Rajat Dandekar 等

arXiv cs.AI

Defense-in-Depth for LLMs: Evaluating Memory Gates Against Activation-Induced and Memory-Induced Sycophancy

说明LLM防御分层:评估记忆门控对激活诱导与记忆诱导谄媚的抵御效果

简介本文研究大语言模型长期记忆带来的谄媚问题:模型可能偏向用户已存储的信念而非客观证据。作者提出2×2防御框架,区分内部激活引导与外部记忆处理,并在MemSyco-Bench上对四个开源模型进行评估。结果显示,选择性的Router Gate过滤比完全删除记忆更能保留平均准确率;轻度反向引导的效果方向一致但未达统计显著,外部记忆过滤是可靠的部分。

Ritvij Sharma, Russell Dlugosz, Ryan Zhou 等

arXiv cs.DL · cs.AI

Zero-Cost Detection of Fabricated Citations: A Staged Heuristic Approach for Computing Dissertation Assessment

说明零成本检测伪造引文:用于毕业论文评估的分阶段启发式方法

简介本文提出“伪造严重度栈”(FSS),把引文伪造按检测难度分为三层,从完全不存在的文献到细微的内容误归属。作者据此设计了一套可通过主流大语言模型界面执行的分阶段启发式核查流程,供计算机专业教师在论文评估中使用。在100条引文的试点中(20%植入一级和二级伪造),主流模型标出了9至10条不存在的文献,并部分发现了元数据损坏。

Hazrat Ali, Mohamed Elawady

arXiv cs.LG

Fed-BRDECS: Privacy-Preserving and Heterogeneity-Aware Federated Deep Embedded Clustering

说明Fed-BRDECS:一种保护隐私且感知数据异构性的联邦深度嵌入聚类方法

简介该论文面向分散且无标签的数据,提出联邦深度聚类框架Fed-BRDECS,用可在本地计算的样本稳定性损失替代需要全局软分配统计量的目标函数,避免客户端上传敏感的本地分配分布。针对非独立同分布的客户端数据,论文引入不依赖真实标签的预测平衡采样和定期刷新有偏或不活跃聚类中心的中心点重启机制。实验显示其在图像与文本聚类基准上,在独立同分布和非独立同分布划分下均优于代表性的联邦聚类和深度聚类基线,并可改进基于重构的时间序列异常检测,且不增加推理时的开销。

Haemin Park, Diego Klabjan, Martin W. Braun 等

arXiv stat.ME · cs.LG · stat.ML

A perspective note on likelihood approximation and inference for complex simulation models using a chain of aggregated normalizing flows

说明用级联聚合归一化流近似复杂仿真模型似然并进行推断的观点性短文

简介本文提出一种基于仿真推断框架的似然近似新思路,通过多组可逆变换串联的聚合归一化流,逐级估计参数以构建灵活的概率分布。作者借助基于矩约束的经验似然估计与序贯决策框架,对整体归一化流参数进行更新与聚合。该方法可作为仿真模型的代理模型,用于样本生成、假设检验、不确定性量化及贝叶斯推断。

Getachew K Befekadu

★★★★☆ 值得关注
arXiv cs.LG · cs.AI

Inference and learning in sparse autoencoders as natural gradient flow

说明稀疏自编码器中的推断与学习:作为自然梯度流的统一框架

简介本文将稀疏自编码器中的特征推断与字典学习统一为同一变分自由能上的自然梯度流,并据此提出无编码器的稀疏编码模型BeFOND。实验显示,在合成数据上它改进了字典恢复与稀有特征检测,在语言模型激活上改进了单特征概念检测与选择性干预,且随字典宽度增加,特征质量持续提升。

看点将推断与字典学习统一为共享变分自由能上的自然梯度流,并给出闭式动力学,新意明显;在合成数据与语言模型激活上均有对比实验支撑。

Hadi Vafaii, Tejas Rao, David Chanin 等