AI 算法 · 2026年10月9日(周五)

机器学习、人工智能、自然语言处理、计算机视觉、多智能体。

arXiv cs.LG

Prospective Prediction of OOD Degradation from Source-Side Training Dynamics

说明基于源域训练动态预测分布外(OOD)性能退化

简介该研究探讨能否仅利用源域训练过程中的动态指标,在分布外性能退化被直接观测到之前就预测其出现。在一个受控的捷径学习实验中,简单的逻辑回归预测器呈现出明显的前瞻性信号,而仅看训练时长则没有。源域量的时间统计摘要比其当前数值更具信息量;将结果从CNN迁移到MLP(无需额外训练)后,置信度与熵的动态仍保留较多预测信息。这为源域训练动态可能包含未来OOD失效的早期预警信号提供了原理性验证。

Sasha (Alexander) Monin

arXiv cs.AI · cs.LG 有代码

HRIL: Learning Multimodal Synergy via Higher-Order Tensor Modeling

说明HRIL:通过高阶张量建模学习多模态协同信息

简介该论文针对多模态表示学习中难以捕捉的协同信息问题,指出协同信号只有在多个模态联合作用时才会出现,并体现为模态间的高阶统计依赖。作者提出HRIL方法,构建跨模态的经验矩阵张量,用Tucker分解得到核心张量,并加入防止能量集中的协同感知正则项。实验显示,在协同任务及真实基准上,该方法优于现有多模态对比学习方法,在以协同交互为主的任务上提升明显。

Qun Dai, Liangjian Wen, Jiang Duan 等

arXiv cs.AI

GeoReform: Reflective Formalization Evolution for Multimodal Geometry Problem Solving

说明GeoReform:面向多模态几何解题的反思式形式化演化框架

简介论文指出,多模态大模型在读取图形中的几何关系时常出错,而把几何事实转为文本形式化表示虽有帮助,但冗余或含糊的表示反而会误导模型。作者提出GeoReform,把形式化视为可优化的策略,依据失败案例诊断并调整表示方式。在Geometry3K上,Qwen3VL-2B的准确率从42.0%提升到56.0%。

Jialu Wang, Ruichen Zhang, Xiaoou Liu 等

arXiv cs.LG · cs.CL

Long Text to Predictive Features: LLM-Guided Blockwise Feature Engineering via Executable Program Search

说明从长文本到预测特征:基于可执行程序搜索的 LLM 引导分块特征工程

简介该论文针对工业风控中长文本信息难以利用的问题,提出 LLM-BlockFE 框架,由大模型离线生成可执行的特征程序,线上推理时无需调用大模型。方法通过逐块追加代码、基于下游模型评估候选特征,并引入块级回滚机制以避免陷入次优解。在四个数据集上 AUC 有所提升,五个已部署的金融风控应用中 KS 也有提高。

Ziming Dai, Dabiao Ma, Ziheng Guo 等

arXiv cs.CV

GenIA: Generative Reconstruction with Test-Time Input Alignment

说明GenIA:利用测试时输入对齐的生成式三维重建

简介本文提出 GenIA,一种在测试阶段将生成式三维基础模型与观测输入对齐的方法,无需重新训练基础模型。它从几何信息推导物体的平移和尺度以改进位姿,并通过可见性偏置注意力、多视角融合与可微渲染引导来对齐外观。文中称,在合成与真实基准上,该方法在单目、多视角和动态输入下的位姿预测与物体重建表现均优于部分近期方法。

Stefano Esposito, Naama Pearl, Polina Karpikova 等

arXiv cs.RO · cs.AI

ARC: A Reasoning Recipe for Robot Foundation Models

说明ARC:面向机器人基础模型的推理方法

简介该论文提出名为ARC的推理方法,旨在不增加机器人示范数据或大规模训练的情况下,提升现有机器人基础模型的零样本任务表现。ARC包含推理轨迹、可扩展的自动标注流程,以及使预训练模型利用这些轨迹进行控制的适配策略。作者报告其在RoboLab-120和MolmoSpaces上取得新的最佳结果,并在真实机器人上将π0.5的任务成功率提高了82.2个百分点。

Gokul Puthumanaillam, Tao Sun, Elie Aljalbout 等

arXiv cs.CV

WorldAlign: Decoupled 4D Reward for World-Consistent Video Generation

说明WorldAlign:用于世界一致性视频生成的解耦4D奖励框架

简介该论文提出WorldAlign,一个解耦的4D奖励框架,用于提升视频生成的世界一致性。它将静态区域与动态主体分开,静态部分借助几何先验和相机运动奖励,动态部分借助视觉语言模型基于检查清单进行评判。在Wan2.1和Wan2.2两个图生视频模型上,该方法同时改善了静态与动态一致性,且未削弱整体或主体运动。

Jing He, Kaixin Ding, Xingye Tian 等

arXiv cs.LG · stat.ME

Marformer: A Transformer for Predicting Missing Data Distributions

说明Marformer:用于预测缺失数据分布的 Transformer 模型

简介论文提出 Marformer,一种类似 BERT 的 Transformer,直接预测在任意已观测值条件下缺失变量的条件边缘分布,用于计算贝叶斯风险和信息价值。它不建模完整联合分布,也无需数据生成过程的领域知识,并且只需一次前向计算即可完成预测。在三个合成数据域和一个真实标注数据集上,Marformer 的表现可以匹配或超过经典缺失数据方法,并且比生成式基线方法快得多。

Prabhav Singh, Xiheng Tom Wang, Haojun Shi 等

arXiv cs.CL

Latent Core Tokenizer: Compress, but Meaningfully

说明潜在核心分词器:压缩,但要有意义

简介本文提出一种与语言无关的分词器方法 Latent Core Tokenizer(LCT),先用最小描述长度、熵边界信号和词形约束找出可复用的语言单元,再构建共享词表。在 104 种语言、20 万词表的实验中,LCT 的分词碎片率更低、MorphScore 更高,同时跨语言分词成本差异与基线相当。四个多语言下游任务的综合得分比 BPE、Unigram 和均衡感知 BPE 分别高出 1.48、1.83 和 2.00 分。作者认为,单纯压缩并不能预测表示质量,形态驱动的结构发现以及如何用词频分配词表同样重要。

Felermino D. M. A. Ali, Millicent Ochieng, Ogbemi Ekwejunor-Etchie 等

arXiv cs.AI · cs.CL · cs.CY

OnTrack: Real-Time Monitoring and Intervention in LLM Agent Trajectories via Streaming Structure-Aware Optimal Transport

说明OnTrack:通过流式结构感知最优传输实时监控并干预LLM智能体轨迹

简介论文提出OnTrack,一种流式监控机制,把智能体每一步及其依赖关系与已记录的成功运行进行比较,可在约每步1毫秒内提醒用户或阻止智能体。在SWE-bench轨迹上,基于前8步的判断,其将失败轨迹排在成功轨迹之下的效果优于内容相似度方法(AUROC高0.057)。采用中止策略时,可节省约18%本会耗费在失败运行上的算力,被中断的运行中有83%确实会走向失败。

Babak Barazandeh, Connor Swanson, Chinmay Kulkarni 等

arXiv cs.CV

AgentGarten: Code Worlds for Evolving Agents

说明AgentGarten:用代码构建可演化智能体的虚拟世界

简介本文提出 AgentGarten 框架,将模拟器、游戏引擎与共享的神经渲染器结合,构建可实时交互的虚拟环境。智能体通过视觉观测感知世界,并把每轮经验提炼为后续智能体可继承的指南。作者报告称,智能体仅用 4 轮即可学习,而传统强化学习通常需要数百万次。

Jiawei Chi, Shangchen Miao, Zhiyuan Shi 等

arXiv cs.LG · math.DS · stat.ML

Bilevel optimization for data-driven learning of Koopman embeddings using kernel-based autoencoders

说明基于核自编码器与双层优化学习 Koopman 嵌入的数据驱动方法

简介本文提出 EDMD-kDL 方法,用核方法从数据中直接学习有限维 Koopman 嵌入,结合配点法与双层优化,同时学习核字典和对应的 Koopman 近似。在全球海表温度预测和视频数据学习等实验中,其表现与基于神经网络的方法相当或更好,并且因核矩阵规模取决于配点数量而非训练集大小,可扩展到大数据集。

Joel-Pascal Ntwali N'konzi, Feliks N\"{u}ske, Stefan Klus

arXiv cs.RO · cs.CV

Embodied Turing Machines: Stateful Code for Robot Recursive Self-Improvement

说明具身图灵机:面向机器人递归自我改进的有状态代码

简介论文提出 Code-Only-as-Policy(COAP):用代码从摄像头图像和本体感受中追踪机器人、环境与任务状态,并据此做出全部决策,运行时不依赖 VLM 或 VLA。作者认为显式状态、可控执行和可扩展性使其适合递归自我改进,在 RoboDojo 的 42 个双臂任务上,代码库在测试时无需模型即达到 70.24% 的成功率。

Kairui Hu, Siyuan Hu, Fangzhou Hong 等

arXiv cs.CL

Which Skill to Distill? SGUID: Selecting a Compact Skill Bank for Model-Skill Co-Evolution

说明该蒸馏哪些技能?SGUID:为模型与技能协同演化挑选紧凑技能库

简介论文指出,检索到的技能并非都有用:在以技能条件策略为教师的同策略蒸馏中,不到25%的检索技能能提供有效蒸馏信号。作者提出SGUID方法,只保留训练中持续产生有效学习信号的技能,再进行蒸馏。实验显示,在四个模型上蒸馏选出的6个技能,效果不低于全库蒸馏,而全库规模最多大11倍。

Yuhan Liu, Xiyao Ma, Zhongkai Sun 等

arXiv cs.AI · cs.CV

HANS: A Handwritten Answer Sheet Dataset for Noisy Hybrid Document Parsing

说明HANS:面向含噪混合文档解析的手写答卷数据集

简介该论文提出HANS数据集,专为真实教育场景中的学生答卷构建,包含数学公式、自然语言文本、手绘表格,以及划线、更正、删除等噪声。作者还提出端到端框架NA-GOT,通过特征层的轻量噪声抑制模块和解码阶段的噪声感知注意力机制进行两阶段噪声抑制。实验显示HANS对现有方法构成较大挑战,而NA-GOT在答题过程识别的准确性和稳定性上有显著提升。数据集将在论文发表后公开。

Xiazhen Wu, Wansong Qin, Yangbin Zheng 等

arXiv cs.LG · stat.ML

Closing the Horizon Gap in Policy Optimization for Adversarial MDPs

说明缩小对抗性MDP策略优化中的视界差距

简介本文研究在线分幕表格式马尔可夫决策过程中的策略优化问题,损失为对抗性的且只能获得赌博机式反馈。作者利用正则化Q函数,在所有状态-动作对上联合控制局部更新的稳定性,从而缩小了策略优化与基于占用测度方法之间约为视界H倍的遗憾界差距。该算法在已知转移和未知转移情形下分别给出高概率遗憾界,并把该视界依赖改进到与已知最好结果相匹配。论文还将方法推广到对抗性线性混合MDP。

Mingyi Li, Taira Tsuchiya

★★★★☆ 值得关注
arXiv cs.AI · cs.CL · cs.CY

Cited but Not Consulted: A Counterfactual Audit of Legal Chain-of-Thought Faithfulness

说明引用却未参照:法律思维链忠实性的反事实审计

简介该研究检验大语言模型在给出法律判决时所引用的法条或判例,是否真正决定了判决结果。研究者在保持案件事实不变的前提下,将所引用的法律依据替换为无关依据,并从模型隐藏状态中解码其判决变化。结果显示,模型在66.7%至100%的生成中能说出正确依据,但更换依据后判决发生改变的比例很低,且在不同基准间差异很大。

看点通过替换引用的法律依据并追踪隐藏状态,检验法律思维链的忠实性,发现引用与裁决依赖脱节,实验覆盖七个模型与四个基准,证据较扎实。

Saisab Sadhu, Shreeyans Arora, Pratinav Seth

arXiv cs.AI · cs.CL

Accurate but Not Humble: Evaluating Epistemic Humility in LLM Agents under Knowledge Conflict

说明准确但不谦逊:评估大模型智能体在知识冲突下的认知谦逊

简介本文研究当检索到的证据与智能体原有认知相矛盾时,它会修正答案、承认不确定性,还是坚持错误结论。作者提出用识别、解决、上报三个维度评估智能体的认知谦逊,并在受控与自然出现的知识冲突中测试四种智能体。结果显示,任务准确率高并不必然意味着更谦逊。

Kaiser Sun, Bernal Jimenez Gutierrez, Hongjun Liu 等

arXiv math.PR · cs.IT · cs.LG

Subspace Uncertainty and Sharp Sampling Thresholds on the Boolean Cube

说明布尔立方体上的子空间不确定性与尖锐采样阈值

简介研究在已知的 m 维子空间(布尔立方体上次数不超过 k 的函数)中,以平方总体 L2 损失进行高斯回归的采样需求。文章给出达到极小化误差所需样本数的尖锐阈值,并据此加强了 Polyanskiy–Samorodnitsky 不确定性原理。结论包括:有噪声时参数化速率所需样本数随 4^k 指数增长,而无噪声时 O((m+t)2^k) 个样本即可。

Thomas Weinberger

arXiv cs.CV · cs.AI

Distilling Routed 3D Privilege for Spatial Reasoning in Vision-Language Models

说明利用路由式3D特权信息蒸馏提升视觉语言模型的空间推理能力

简介视觉语言模型在空间推理上较弱,因为RGB图像不直接提供几何信息。本文提出GPD(几何特权蒸馏),将深度、语义和鸟瞰图等几何线索以简短文本形式提供给教师模型,并仅对错误轨迹施加特权KL约束以增强GRPO训练,部署时模型仅依赖RGB输入。

Hongxing Li, Yixin Li, Dingming Li 等

arXiv cs.CL · cs.AI

Mine or Yours? Mind-Bridged Language Models Take Each Other's Memories as Their Own

说明我的还是你的?互联记忆的语言模型把彼此的记忆当作自己的

简介研究者用两份相同的语言模型,各自持有私有规则和代号,其中一份接收方还能读取伙伴的内部记忆。接收方在被问及分配的规则时,有97%的回答说出了伙伴的规则(伙伴记忆加倍权重时);在同等权重下,约一半回答把伙伴的规则当作自己的。作者认为,允许模型交换内部状态的系统必须同时检验归属性,而不只是信息传递。

Yunlong Xu

arXiv cs.LG

SplitJEPA: Learning Invariant and Variant Latent Worlds without Reconstruction

说明SplitJEPA:不做重建、学习不变与可变潜在世界

简介该论文提出SplitJEPA,一种无需重建观测的联合嵌入预测架构,可直接在表示空间中同时恢复潜在状态及其不变与可变部分的组织方式。作者在平稳高斯预测动力学和满秩变化条件下证明,这两部分子空间可在逐块等距变换意义下被识别,且无需观测解码器。实验在合成非线性系统和机器人操作任务上验证了理论结果。

Ruijin Hua, Zichuan Liu, Zhuokai Zhao 等

arXiv cs.AI · cs.CL · cs.LG

Overcoming Prior Barriers: Supervised Fine-Tuning under Long-Tail Distribution

说明突破先验障碍:长尾分布下的监督微调

简介本文研究大语言模型监督微调中概念的预训练支持差异。作者提出“先验障碍”概念,发现其呈长尾分布,尾部概念需要更多指令才能克服。论文提出自适应指令选择方法PASS,在有限预算下将监督资源分配给覆盖不足的概念,实验显示其优于七种现有方法。

Haohui Wang, Jiahao Xu, Wangzhi Zhan 等

arXiv cs.CV

Reasoning-Informed Visual Editing

说明推理驱动的视觉编辑基准与智能体框架

简介该论文指出多模态大模型在遵循复杂指令、保持外观一致性和支持灵活输入方面的视觉编辑能力不足。作者提出 RISEBench++,包含六类推理维度、12 个子类和 65 种细粒度任务,共 1000 个人工标注用例,并提供中英文版本。论文还提出无需训练的 RISE-Agent 框架,评测中最强模型 GPT-Image-2.5 Sunburst 的准确率仅为 56.6%。

Xue Yang, Peiyuan Zhang, Yilun Zhu 等

arXiv cs.AI · cs.CL

Can AI Agents Learn Their Way to the Top? Evaluating Heuristic Learning in a Long-Running Game Agent Competition

说明AI智能体能否通过学习登顶?长期对抗游戏智能体竞赛中的启发式学习评测

简介论文提出对抗式启发式学习(AHL)范式,让AI智能体在模型权重固定的情况下,通过游戏经验修改可执行的策略与配套软件。作者构建了包含12款对抗游戏和1920份存档人类程序的基准AAArena,并在类似真实比赛的协议下评测。结果显示,表现最好的配置获得6枚金牌,但未能超过其余6个人类排行榜的最高名次,且规则越复杂的游戏表现越弱。

Kaisen Yang, Qingle Liu, Kejin Wang 等

arXiv cs.LG

Ambient Discrete Diffusion: Using the Wrong Data at the Right Time for Data Efficient Learning

说明离散扩散模型的数据高效学习:在正确的时间使用“错误”的数据

简介该论文提出 RefineMix 框架,用于在数据稀缺的情况下训练离散扩散模型。它在特定扩散时间段使用分布外数据来提升泛化能力,同时不影响采样分布。在五种领域迁移设置下,该方法的表现与领域内微调和数据混合相当或更好。论文以蛋白质序列生成为例,称仅用 197 条领域内样本微调,即可使生成结果中同时满足新颖、可折叠且属于同一家族的蛋白质比例接近翻倍。

Julian Kleutgens, Mauricio Tec, Claudio Battiloro 等

arXiv cs.CL · cs.LG

VFold: Symmetry-Aware Cross-Layer Value Cache Compression

说明VFold:考虑对称性的跨层值缓存压缩

简介大语言模型解码时会缓存键值(KV)状态以加速推理,但在长上下文下,这些缓存可能占用大部分显存。本文提出一种考虑对称性的值缓存合并方法,利用不同层之间缓存的相似性来减少缓存占用,且声称在解码时既不造成明显性能下降,也不需要修改模型架构。作者还指出,该方法可与现有的缓存压缩技术(如高倍率量化或键缓存剪枝)结合使用,实现单独使用任一方法都无法达到的压缩比。

Neha Verma, Sungwon Kim, Kenton Murray 等

arXiv cs.CV · cs.AI

ContiLNN: Mitigating Slice Sampling Discontinuity with Liquid Neural Networks for Medical Image Restoration

说明ContiLNN:利用液态神经网络缓解医学图像切片采样不连续问题的修复方法

简介该论文提出ContiLNN,在二维图像修复主干网络上加入双向闭式连续时间(Bi-CfC)模块,利用相邻切片之间的解剖连续性进行修复。模型根据切片间隔调节门控,无需数值ODE积分即可适应采样变化。在CT去噪、MRI超分辨率和低计数PET修复三项任务上,相较Restore-RWKV的平均PSNR均有提升,且RMSE更低。

Jialei He, Enhe Liu, Sifan Song 等

arXiv cs.MS · cs.LG · cs.NA

asdex: Automatic Sparse Differentiation in JAX

说明asdex:JAX 中的自动稀疏微分工具

简介该论文介绍了 asdex,一个基于 JAX 的自动稀疏微分工具包。它利用雅可比或海森矩阵的稀疏结构,通过检测稀疏模式、图着色、压缩求导和解压四个步骤,减少自动微分的遍数。其提供的 jacobian 与 hessian 函数可替代 jax.jacobian 与 jax.hessian。

Adrian Hill, Guillaume Dalle

arXiv cs.CV · cs.AI · cs.GR

RiCo: Neural Simulation of Rigid-Body Interactions via Local Contact Reasoning

说明RiCo:通过局部接触推理神经模拟刚体相互作用

简介本文提出刚体接触推理方法RiCo,用接触表面点的稀疏邻域来表示物体间的相互作用,只让邻近表面交换接触信息,并在刚体内部传播。在MOVi基准上,相比基线,100帧的位置与姿态误差分别降低31%至35%和约38%,穿透时间与平均深度差异分别为11.0%和2.22毫米。模型可从小规模训练场景零样本泛化到包含270个物体的场景,并有初步的真实多球碰撞实验显示仿真到现实的迁移迹象。

Ruixiang Ouyang, Guanren Qiao, Fansen Meng 等

arXiv stat.ML · cs.AI · cs.LG

Prediction-Powered Data Fusion for Treatment Effect Estimation

说明利用预测增强的数据融合估计处理效应

简介随机对照试验(RCT)样本小但无混杂,观察性研究样本大但可能存在混杂。本文提出一个框架,在不对观察性数据作特殊假设的前提下,融合两者:既保持基于RCT估计的无偏性,又借助大样本观察数据提高精度。基于此提出了平均处理效应估计器AIPW-Fusion(含闭式权重与置信区间),以及条件平均处理效应学习器DR-Fusion和R-Fusion,实验结果支持这些发现。

Yonghan Jung, Shu Yang

★★★★☆ 值得关注
arXiv cs.LG · math.OC · stat.ML

Composite Online-to-Nonconvex Conversion with Optimal Oracle Complexity

说明带最优oracle复杂度的复合在线到非凸转换

简介本文研究随机非光滑非凸复合优化问题,目标函数为可能非光滑的非凸Lipschitz函数与凸正则项之和,只能通过随机梯度或函数值访问。作者将在线到非凸转换框架扩展到复合情形,为在线学习者设计了包含正则项本身的新损失,并使用在线镜像下降的变体获得低遗憾。结果表明,算法所需的随机梯度查询次数为O(δ⁻¹ε⁻³),函数值查询次数为O(dδ⁻¹ε⁻³),与非复合非光滑非凸优化的最优速率一致。

看点将在线到非凸转换框架推广到复合非光滑非凸优化,新损失使正则项保持原形,并达到与非复合情形相同的最优复杂度,证明严谨。

Mingyi Li, Taira Tsuchiya, Kenji Yamanishi

★★★★☆ 值得关注
arXiv cs.LG · cs.CL

SparseDecoding: Decoding-Aware Pruning for Accurate and Efficient LLM Inference

说明SparseDecoding:面向解码的剪枝方法,用于更准确高效的大语言模型推理

简介大语言模型解码阶段受内存带宽限制,延迟较高。本文提出 SparseDecoding,一种面向解码的剪枝框架:用稠密模型自回归生成过程中(不含预填充)的逐层激活构建校准矩阵,使剪枝目标与解码时的激活分布一致。同时开发了带位掩码索引的 N:M 稀疏矩阵-向量乘法内核。在 Llama-3.1-8B、Llama-3.3-70B、Qwen3-14B/32B 上,该方法在长文本生成基准上优于固定文本校准,并在 A100 GPU 上实现最高 1.48 倍的端到端解码加速。

看点针对解码阶段激活分布偏移提出解码感知剪枝,并设计N:M稀疏矩阵-向量内核;在多个大模型和长文本生成上验证,最高1.48倍加速。

Qitong Wang, Xinwei Niu, Mingluo Su 等

arXiv cs.AI · cs.LG · physics.comp-ph

Prior or Feedback? What an LLM Uses When Adapting Neural Operators

说明先验还是反馈?LLM 调整神经算子时依赖什么

简介该研究探讨大语言模型(LLM)作为科学智能体,在有限试验预算下为神经算子选择微调配置时,是只依赖初始任务背景,还是会根据实验反馈调整决策。结果显示,LLM 在多数对比中测试误差低于随机搜索和贝叶斯优化。通过受控干预验证,其初始配置已具有有利偏置,且获得反馈后会相应改变后续方案,说明它结合了任务相关先验与对实验反馈的敏感性。

Julian Chan, Javier Mora Jimenez

arXiv cs.MA · cs.GT · cs.LG

Spatial Pattern Formation from Multi-Agent Learning in Public Goods Dilemmas

说明多智能体学习在公共物品困境中形成的空间模式

简介该论文研究合作者与背叛者在公共物品博弈中各自用Q学习学习移动策略时,会形成怎样的空间格局。合作者会在资源高峰附近聚集,学习速率的组合会影响集体福利。在测试的学习速率条件下,平均集体福利低于随机移动,原因是拥挤增加的代价超过资源收益的增加。

Yefei Zhang, Yuxuan Zhao

arXiv cs.CV

Controllable Exaggeration for Generative Motion Models via Training-Time Adaptation and Inference-Time Guidance

说明基于训练期适配与推理期引导的生成式动作模型可控夸张

简介该论文针对现有文本到动作生成模型动作平淡的问题,引入动画学中的夸张原则。方法分两阶段:训练期在精选的夸张数据集上对预训练模型进行监督微调;推理期基于动态运动基元(DMP)给出夸张的数学形式,并将其作为引导信号,在无需额外训练的情况下引导扩散与流匹配模型生成更具表现力的动作。作者称,与三种主流模型相比,该方法在保持原始意图和物理合理性的同时,动作更加夸张生动。

Amirhossein Zamani, Arianna Rampini, and Bruno Roy

arXiv cs.AI · cs.CL · cs.CY

Verdict Without the Rule: Diagnosing and Auditing Regulatory Rule Sensitivity in LLM Compliance Systems

说明无规则的裁定:诊断并审计大语言模型合规系统对监管规则的敏感性

简介该论文测试大语言模型合规系统的裁定是否真正依赖所提供的监管规则。研究者在5个模型和20个监管及平台政策领域中删除、替换或否定规则,观察裁定或内部表示是否变化。结果显示,多数模型的裁定对规则的实质性改动常常不变,其中作为护栏模型的一个对规则最不敏感、准确率仅51%,而通用模型为90%至92%。

Saisab Sadhu, Aadit Sengupta, Vinay kumar Sankarapu 等

arXiv cs.CV

Is In-Domain Training Enough for Fine-Grained Industrial Anomaly Understanding?

说明仅靠领域内训练够吗?面向细粒度工业异常理解的多智能体方法

简介论文指出,单一多模态大模型难以同时胜任工业异常的检测、定位、描述与推理,即使经过领域内训练,在MMAD基准上的缺陷定位准确率也只有75.5%,低于人类专家的92.3%。作者提出SiGMA多智能体框架,让多个异构大模型与专门的视觉缺陷专家分工协作,并通过无标签的可靠性控制器加权各来源的结果。论文报告SiGMA在MMAD上平均准确率达85.2%,并称即使智能体参数均不超过9B,准确率仍可达84.4%。

Xingwu Zhang, Duanyang Du, Huiling Zhu 等

arXiv cs.CV

BudgetPix: Compute-Adaptive Tokenization for Pixel-Space Image Diffusion

说明BudgetPix:面向像素空间图像扩散模型的计算自适应分词方法

简介现有图像生成模型对所有图像块分配相同的计算量,无法在推理时按资源约束调整。BudgetPix 根据视觉复杂度和空间布局动态分配计算量,使同一模型可在多种计算预算下运行。论文报告,在文生图任务中,它仅用原计算量的 25% 即可达到 MiniT2I-L(512²)和 PixelDiT(1024²)的保真度;在类别条件生成中,使用 60% 的计算量,FID 仅上升 0.8。

Ozgur Kara, Yujia Chen, Daniel Watson 等

arXiv cs.AI

A Structural Theory of Cognitive Representation and Problem Solving,Contexts, Invariance, and the Knowledge Space

说明认知表征与问题求解的结构理论:语境、不变性与知识空间

简介该论文提出一个极简的结构框架,把问题求解所需的表征操作(语境形成、不变性识别、代表元素选择、抽象与程序复用)显式化。核心概念“语境”定义为状态空间子集的划分,由概念图与程序图两个耦合图结构构成“知识空间”。作者以简单示例和有限弱求解器演示,说明合适的表征组织能简化规律的形式与适用范围,贡献主要在结构层面。

Antal Jakov\'ac, Andr\'as Telcs

arXiv cs.CV

From What to Which: Decoding Modifier Grounding in Frozen MLLMs

说明从"是什么"到"是哪一个":解码冻结多模态大模型中的修饰语定位

简介本文研究冻结的多模态大语言模型在生成描述时,修饰语(如颜色、空间位置)是否包含可解码的指代定位信息。作者提出轻量级探针方法OTTER,利用最优传输将生成的词元与图像区域对齐,生成紧凑的定位图。实验表明,修饰语词元中可解码出区分实例的视觉信息,尤以空间词最明显,且该定位在上下文扰动下仍有效,并能扩展到自由生成和跨数据集场景。

Barbara Toniella Corradini (AI for Good (AIGO), Istituto Italiano di Tecnologia, Italy) 等

arXiv cs.AI

Looking Inside LLMs: Small-World Connectivity as a Signature of Reasoning Performance

说明透视大模型内部:小世界连接是推理能力的结构特征

简介论文借鉴神经科学中“小世界”脑网络与智力相关的发现,用注意力头激活相似度构建功能图,计算小世界指数。结果显示该指数与大模型流体推理表现在多个模型和训练检查点上一致相关。作者据此提出按核心分与桥接分进行剪枝的分配方法(SWA),在六个大模型上比对比策略更好地保留性能,WikiText 困惑度最多降低 20%。

Zheng Huang, Sansheng Cao, Enpei Zhang 等

arXiv cs.AI

Learning Probabilistic Logic Programs with Functional Gradient Guided Language Models

说明用函数梯度引导的语言模型学习概率逻辑程序

简介论文提出 grasp 框架,用于从数据中学习概率逻辑程序。它把关系结构学习看作函数梯度提升,弱学习器为一阶规则,复杂的内部搜索交给大语言模型生成候选假设。在分子毒性预测(Tox21)、诱变性和文献引用匹配(Cora)等四个关系基准上,该方法优于纯符号、纯神经和纯大语言模型的基线,并能输出可解释的加权规则集合。

Saurabh Mathur, Sahil Sidheekh, Bhavan Vasu 等

arXiv cs.CV · cs.AI

Multi-Agent Egocentric World Model with Fine-Grained Embodied Interaction

说明多智能体第一人称世界模型:面向细粒度具身交互的同步视角生成

简介该论文提出多智能体第一人称世界模型ME-World,用于在共享环境中,依据多个智能体通过细粒度动作产生的交互,同步生成各自的第一人称视频。模型在共享的token序列中联合去噪多路视角,让每路视角都以所有智能体的目标视角位姿为条件,并借助共享环境记忆保持生成结果一致。作者在真实与合成的多智能体数据上进行训练与评估,实验显示其在共享世界一致性、动作控制、身份保持和视频质量方面优于已有方法。

Dahyun Chung, Siyoon Jin, Hyunwook Choi 等

arXiv hep-ph · cs.AI · hep-lat

Machine Learning Meets High-Energy Nuclear Physics: From Pattern Recognition to Physics-Integrated Discovery

说明机器学习遇上高能核物理:从模式识别到融入物理的发现

简介本文是一篇迷你综述,梳理了机器学习在高能核物理中的近期进展,重点从早期的事件分类与代理模型,转向融入物理约束的工作流程。综述涵盖重离子碰撞、中子星、格点场论以及全息或连续QCD等领域的应用,并讨论对称性、因果性等物理约束如何被纳入,以及不确定性量化与验证如何决定AI辅助结果能否支撑可靠的物理结论。

Xun Chen, Weiyao Ke, Yu-Gang Ma 等

★★★★★ 值得关注
arXiv cs.AI 有代码

One Word Opens the Gate: The Option-Channel Attack on Typed Decision Models as Agent Guardrails

说明一词开门:针对作为智能体护栏的类型化决策模型的选项通道攻击

简介该论文研究把类型化决策模型用作智能体护栏(判断工具调用或消息是否放行)的安全性。作者评估七个开源权重模型,发现它们在提示注入等筛查中准确率仅36%至72%,且攻击者只需在输入中加入少量无关日志文字或误导性选项名称,即可使放行错误率大幅升高,现有防御均被突破;作者认为这类模型不应作为最终判定组件。

看点提出选项标签通道攻击,揭示类型化决策模型作为智能体护栏的失效机制;在七个开源模型上系统评估,并验证多种防御均被攻破,证据充分。

Seyedarmin Azizi, Erfan Baghaei Potraghloo, Massoud Pedram

arXiv cs.CV

Slot3R: Set-Associative Spatial Memory for Streaming 3D Reconstruction

说明Slot3R:用于流式三维重建的集合关联空间记忆

简介该论文针对流式三维重建中空间记忆的问题,指出 Point3R 仅凭空间距离既决定新观测对应哪个记忆条目,又决定是否融合,导致位置相近但状态不同的信息被平均掉。Slot3R 提出无需训练的集合关联改造方法,在共享地址中允许多个状态并存,并保持预训练的 Point3R 主干网络冻结。在 300 至 500 帧的设置下,它在 7Scenes 和 NeuralRGBD 上降低了点云精度误差,并在三个位姿基准上降低了轨迹误差;在 600 至 1000 帧时仍能运行,而 Point3R 与 InfiniteVGGT 在 800 帧及以上时内存不足。

Xiyuan Zhang, Yanming Yang, Kaiyuan Xu 等

arXiv q-bio.GN · cs.AI · cs.LG

Unlocking the Regulatory Genome by ARGUS: An Evidence-Constrained Agentic Framework for Interpreting Single Nucleotide Variants

说明用 ARGUS 解读调控基因组:一个基于证据约束的智能体框架,用于解释单核苷酸变异

简介该论文提出 ARGUS 框架,用于解释位于非编码调控区的单核苷酸变异。它将确定性的生物计算与大语言模型推理严格分开,把 458 个 DNABERT 转录因子结合模型包装在假设驱动的调查循环中,并在 8q24 癌症风险位点的变异 rs6983267 上进行了案例研究。研究显示,同一规划器对四个转录因子产生了不同的调查路径,并通过 ADASTRA、JASPAR 和 ENCODE cCRE 的真实数据完成判断,部分情况下选择弃权;与固定优先级规划相比,大语言模型规划器能用更少的工具调用得出相同结论。

Pratik Dutta, Matthew B. Obusan, Max Chao 等

arXiv cs.CL

HarnessSQL: Harness-Native Training for SQL Agents in Realistic Database Environments

说明HarnessSQL:在真实数据库环境中为SQL智能体进行执行框架内训练

简介该论文提出HarnessSQL,一种在执行框架内进行后训练的方法,让SQL智能体在与数据库的多轮交互中学习查看模式、试探查询和修正错误。方法通过隔离的可执行数据库环境和隐藏的执行判定器,仅保留经验证的轨迹用于监督微调,再以执行结果为奖励进行强化学习。在Spider 2.0-SQLite上,Qwen3-8B的执行准确率从15.5%提升到45.2%,Qwen3-14B从22.2%提升到54.8%,并能迁移到BIRD-Interact和LiveSQLBench等基准。

Haolin Yang, Jipeng Zhang, Zhiqiang Qian 等

arXiv cs.CV · cs.AI

DVD: Dynamic Vector Decoding for Efficient MLLM-based Perception

说明DVD:面向高效多模态大模型感知的动态向量解码

简介该论文提出名为DVD的动态向量解码方法,将2D框、2D掩码和3D框等感知结果转换为一维向量序列,再映射为紧凑的离散标记,并用轻量解码器还原。实验表明,该方法在RefCOCO、KITTI、nuScenes等2D与3D基准上性能更优,同时显著降低了标记开销与推理延迟。

Jinghua Hou, Zhe Liu, Hengshuang Zhao

arXiv cs.LG

AdaptLSTM: Efficient Adaptive Online Learning for Cloud Workload Forecasting under Distribution Drift

说明AdaptLSTM:面向分布漂移下云负载预测的高效自适应在线学习

简介该论文提出AdaptLSTM框架,用于预测大型云服务的工作负载,以支持弹性资源分配。框架通过经验校准阈值检测分布漂移,并仅在需要时进行有针对性的选择性更新,从而在较低计算成本下接近全量在线学习的效果。在两个公开的数据集上,该方法以较低成本取得了较大比例的精度提升,并且适用于LSTM、GRU和Transformer等不同模型。

Xinhua Miao, Bowei Yang, Zhengong Cai

arXiv cs.CV · cs.AI · cs.IR

Syn-Omni: Structured Specialization and Progressive Collaboration for Omnimodal Embeddings

说明Syn-Omni:面向全模态嵌入的结构化专化与渐进协作方法

简介该论文提出 Syn-Omni 框架,用于全模态嵌入的结构化适配。其中的 OME-LoRA 将适配分为共享路径(学习通用语义)和各模态专家路径(学习模态特定信息),PSR 路由机制则让专家先形成模态专属先验,再逐步与其他模态专家交互。论文称在涵盖图像、视频、音频和视听模态的 81 项任务上,该方法优于全模态基线。

Youngtaek Oh, Qiyu Wu, Hiromi Wakaki 等

arXiv cs.SD · cs.AI

How Much Audio Is Left In An Embedding? An Inversion Audit Of Audio Encoders

说明嵌入中还保留多少音频?音频编码器的反演审计

简介该论文研究预训练音频编码器的冻结表示中保留了哪些音频信息。作者使用共享的 Stable Audio Open 潜在扩散解码器,从 VGGish、ConvNeXt、CLAP 和 EnCodec 的表示中重建五秒、44.1 kHz 立体声音乐,并在 Million Song Dataset 上评估。结果显示不同编码器家族的可重建性存在明显差异,暴露更精细时间或频谱结构时恢复效果更好;即使是压缩的任务导向嵌入,也能支持保留可测量源特异性和高层音乐内容的重建。

Marios Glytsos, Brian McFee

arXiv cs.RO · cs.AI

Real-Time Motion Planning with Dynamic Hazards: Classical vs. Learning-Based Methods

说明动态危险环境中的实时运动规划:经典方法与学习方法的比较

简介本文不提出新规划器,而是在统一基准下比较经典规划方法与基于学习的方法,两者面对相同环境、运动约束、信息假设和评价指标。测试环境为平面场景,其中有旋转喷淋状危险源,通过扫掠角扇区形成随时间变化的禁入区域。结果显示,在确定性环境中经典规划器成功率接近完美、路径质量更高;在随机障碍动态下,在线搜索对计算预算高度敏感,而在同一场景分布下训练的PPO策略在延迟、成功率和路径质量上表现更好。作者认为,障碍演化的不确定性比部分可观测性更能决定哪种规划范式更有效。

Eran Iceland, Alexander Tuisov, Oren Gal 等

arXiv cs.CL · cs.CV · cs.SD

EgoVoice: Proactive Spoken Assistance from Egocentric Multimodal Streams

说明EgoVoice:基于第一人称多模态视频流的主动语音助手

简介该论文提出EgoVoice框架,用于训练和评估主动式第一人称语音助手,使其能够根据连续的第一视角视频与音频,判断何时发声、说什么。研究基于HoloAssist的真人教练视频构建音频流,并用全模态大语言模型微调,再结合直接偏好优化改进主动介入行为。实验表明,EgoVoice在介入时机、内容相关性和人类偏好方面优于零样本基线模型。

Heeseung Kim

arXiv cs.LG · cs.AI

Batch Before You Lift: Scalable Topological Deep Learning on Large Graphs

说明先分批再提升:面向大规模图的可扩展拓扑深度学习

简介该论文提出 Cluster-TNN 框架,针对拓扑深度学习在大型稠密图(如 Reddit)上需完整构建高阶结构导致内存不足的问题。它在训练时对节点簇分组采样、构建诱导子图作为小批量,并在每个小批量内进行提升。在21组与全图执行的对比中,峰值 GPU 内存均有降低,平均降低83.2%,并保持有竞争力的预测性能。

David Leko, Luka Beni\'c, Guillermo Bern\'ardez 等

arXiv cs.LG

RIFT: Relative Isolation From Trees For Anomaly Detection

说明RIFT:基于树结构的相对孤立度异常检测方法

简介本文提出RIFT(相对树隔离)方法,用于无监督异常检测。该方法构建最小生成树,并以各点视角下树边表观大小之和作为异常分数。在一维数据上,RIFT分数与孤立森林(IF)的闭式极限结果完全一致;在高维情形下,它无需调参,结果确定,对密度变化和聚集型异常具有鲁棒性,并避免了IF的轴平行伪影。实验表明其准确率与IF相当,其集成变体在不同随机种子下方差显著更低。

Mark Daniel Szalai, Gabor Horvath

arXiv cs.IR · cs.CL

NativeScope: Relation-Localized Retrieval over Native Topology with a Correct Anchor

说明NativeScope:基于正确锚点、在原生拓扑结构中做关系定位的检索方法

简介论文提出 NativeScope,一种先划定范围再排序的检索方法,用于已知锚点和关系的问题。它利用数据中已有的章节归属、会话边界和原始顺序,先筛出相关范围,再只在该范围内对文本块排序。在 200 条受控文档与记忆记录上,文档原生单元召回率为 89.28%,记忆为 72.50%,分别比全局 Dense RAG 高出 42.75 和 22.00 个百分点。若锚点改为自动取 Top-1,记忆召回率降至 35.50%,说明该方法依赖锚点定位的可靠性。

Long Wang

★★★★☆ 值得关注
arXiv cs.CL 有代码

TokenRouter: Efficient Serving System for Token-Level LLM Routing

说明TokenRouter:面向词元级大模型路由的高效推理服务系统

简介这篇论文提出 TokenRouter,一个用于词元级大语言模型路由推理的服务系统。它让开发者从单个请求的角度描述路由逻辑,运行时为每个模型启动子服务并异步分发请求,并用延迟批处理调度器提升效率。论文报告,在多种路由算法、工作负载和模型组合下,其解码吞吐量为现有系统的 2.01 至 64.15 倍。

看点针对词元级路由提出请求中心编程与模型中心执行的新服务架构,并用吞吐模型推导调度超参数;在多种路由算法与模型对上测得2.01至64.15倍吞吐提升,证据充分。

Tianyu Fu, Tengxuan Liu, Ruoxi Wang 等

arXiv cs.LG · cs.AI

AdaCast: Conditional Parameter Generation for Adaptive Time Series Forecasting

说明AdaCast:面向自适应时间序列预测的条件参数生成方法

简介该论文提出AdaCast框架,针对预训练时间序列基础模型在适应阶段参数固定、对所有输入采用相同调整的问题。AdaCast用生成器为每个输入序列生成低秩参数更新,并在训练和推理时据此调整冻结的预训练模型。作者在六个公开基准上报告,其在域内预测上优于静态适应基线,并改进了跨域零样本泛化能力。

Darahaas Nallagatla, Darryl Cherian Jacob, Pan He

arXiv q-bio.BM · cs.AI

La-Ribo: RNA Co-Design via Geometry-Latent Flow Matching

说明La-Ribo:基于几何-潜变量流匹配的RNA序列与结构协同设计

简介该论文提出La-Ribo,一种通过几何-潜变量流匹配同时生成RNA核苷酸序列和三维结构的生成框架。研究者构建了包含168,561个RNA结构的质量控制语料库,其中包括本工作生成的10,631个MSA支持结构。结果显示,La-Ribo在多种采样预算和两种重折叠模型下,其可设计性与协同可设计性均优于所评估的基线方法。

Runze Ma, Will Hua, Shuangjia Zheng

arXiv cs.CL

Language Models as AI Research World Models

说明语言模型作为AI研究的世界模型:用于预测候选实验结果的语言模型

简介该论文研究用语言模型预测研究干预措施(候选实验)的结果,称之为研究世界模型(RWM)。作者基于九个涵盖预训练、后训练和推理的研究环境中的2600多条实验记录进行评估。结果显示,积累的实验经验能提升对同一环境中未见干预的预测,并可跨环境复用。

Zijun Wang, Zewen Liu, Minhua Lin 等

arXiv cs.LG

Training on the Future: A Delay-Aware Audit of Test-Time Adaptation for Time-Series Forecasting

说明延迟感知的测试时自适应审计:时间序列预测中的“未来训练”问题

简介本文审计了时间序列预测中的测试时自适应(TTA)方法。预测的真实标签要在 H 步之后才可得,作者构建了无数据泄露的评测框架,让标签仅在 s+d 步(d≥H)时才可用于更新,并在四种近期方法的官方代码上进行测试。结果显示,在多数数据集上,部分已发表方法的表现甚至显著差于冻结模型,而简单的闭式修正器往往更具优势。

Mohamed Readh Fentazi, Mazene Ameur, Adlen Ksentini

arXiv cs.CV · cs.AI

From Prompting to Composing: A Spatial Canvas Interface for Poster Generation

说明从提示到组合:用于海报生成的空间画布界面

简介文章指出,纯文字提示难以表达海报这种二维构图意图。作者提出空间画布界面,允许用户在画布上通过语义、身份、文字和像素四种绑定方式直接布局,并可为元素和整体外观添加文字规格。基于此开发的 Compo 模型由预训练图像编辑模型改造而来,可直接推理或由智能体根据高层需求自动生成画布规划。

Yitong Wang, Fangyun Wei, Jinjing Zhao 等

arXiv cs.CV · cs.AI

VibeEdit: Image Editing with Canvas Instructions

说明VibeEdit:用画布标注指令进行图像编辑

简介该论文提出一种图像编辑方式:用户可直接在图片上放置空间标记并附加简短备注,形成“画布指令”,同时指明编辑位置和修改内容。作者提出的编辑器VibeEdit据此完成增加、删除、替换、修改属性和移动物体等操作,无需额外文字提示。在包含419个案例、强调在相似物体中选择目标的基准上,VibeEdit的VLM评分为79.9,画外区域PSNR为32.8 dB,高于同一评估中表现最好的文本指令基线FireRed(67.4分,24.0 dB)。

Jinjing Zhao, Fangyun Wei, Yitong Wang 等

arXiv cs.CV

Intuition with Evidence: Adaptive Dual Memory for Multimodal Agents

说明直觉与证据:面向多模态智能体的自适应双记忆机制

简介该论文针对多模态智能体的长期记忆问题,提出一种双记忆框架:把模型内部的潜在记忆作为直觉先验,与多索引的情景记忆结合,通过检索条件下的联合对齐来精确重建证据。推理时,框架用一种无需训练的路由机制,依据 JSD 敏感度和置信度代理自适应地组合两种记忆。作者称在多模态基准上取得了当前最优的结果,整体优于单一范式的基线(相对原始情景记忆提升 4.67%)。

Qiuhe Hong, Jingya Wang, Cuzhen Geng 等

arXiv cs.CV

Stride Independent Patching for Deep Learning

说明与步长无关的深度学习图像分块方法(半自动分块,SSP)

简介本文提出半自动、与步长无关的分块方法SSP,作为依赖步长的自动分块技术的替代方案。该方法借助用户或专家输入,将预先定义的图像块放置在一个或多个感兴趣对象上。研究基于三种分块方式构建数据集并训练DeepLabV3+分割模型,结果显示SSP总体分割得分较高,训练时间最短;非重叠分块覆盖范围更广,但分割效果并未普遍更优。

Olivier Rukundo

arXiv cs.AI · cs.DC · cs.LG

Equal-Budget Monte Carlo Tree Search versus Randomized-Restart List Scheduling for DAG Workflows: A Controlled Equal-Budget Computational Study

说明等预算对比:蒙特卡洛树搜索与随机重启列表调度在DAG工作流上的受控研究

简介本文在相同搜索预算下比较了蒙特卡洛树搜索(MCTS)与无搜索树的随机重启列表调度器,用于有向无环图(DAG)工作流调度。在预设的分析方案下,主预算2048个评估调度中,MCTS比重启方法差2.88%。作者认为差距原因与所用选择规则有关,换用标准UCT后差距基本消失。结果仅限于合成数据和较小规模任务。

Yuyu Zhang

arXiv stat.ML · cs.LG

ISBO: Scalable Spatio-Temporal Bayesian Optimization with Log Gaussian Cox Process Models via the INLA-SPDE Approach

说明ISBO:基于INLA-SPDE方法、结合对数高斯Cox过程模型的可扩展时空贝叶斯优化

简介本文提出ISBO框架,这是首个面向时空数据、可扩展的贝叶斯优化方法。它用对数高斯Cox过程对强度的对数建模,并借助INLA-SPDE方法进行快速推断,从而定位高强度区域和潜在强度峰值。实验表明,该方法在合成与真实时空数据上能准确找到峰值并恢复强度,且相比基于RKHS的基线方法速度大幅提升。

Kaichuang Yang, H{\aa}vard Rue, Jakob Zeitler

arXiv cs.SD · cs.CL

DiffuPlex: Accelerating Full-Duplex Spoken Dialog Models via Rolling Masked Diffusion

说明DiffuPlex:通过滚动掩码扩散加速全双工语音对话模型

简介全双工语音对话模型可同时听与说,但细粒度模型每个交互帧都需自回归推进主干网络,计算开销大。该论文提出DiffuPlex,以滚动掩码扩散方式一次预测多个未来的用户与助手帧,并仅采用预测中可信的前缀,同时保持原有帧率交互。实验显示,在全双工交互与口语评测中,DiffuPlex大幅减少了顺序计算,较好保留了交互行为与通用能力,两种策略的部署端墙钟加速分别为1.46倍与1.59倍。

Heeseung Kim

arXiv cs.AI

When Has a Bayesian Neural Network Sampled Enough? Adaptive Inference Time with Statistical Guarantees

说明贝叶斯神经网络需要采样多少次?带统计保证的自适应推理时间

简介本文指出,贝叶斯神经网络通常对每个输入使用固定数量的蒙特卡洛采样来近似预测,却不控制由此产生的误差。作者提出用置信序列动态决定所需样本数,并保持统计保证,适用于判断最可能类别、逼近完整预测分布和处理概率阈值决策。实验显示,该方法对模糊输入分配更多样本、对简单输入分配较少样本,在保持可靠决策的同时,比固定采样预算降低了总体延迟。

Fabian Denoodt, Sibylle Hess

★★★★☆ 值得关注
arXiv cs.CL · cs.LG

SciTBERT: A family of chronologically consistent language models for scientific and technological language processing

说明SciTBERT:一组按时间一致性训练的科技语言模型

简介本文提出SciTBERT系列语言模型,基于BERT,使用2013至2025年间各年截止的科学论文、专利和高质量教育网页文本训练,并用论文与专利引用进行时间一致的后训练,形成SciTBERT-CI系列。研究认为,这类模型能减少时间穿越偏差,在科技文本的多项任务中通常优于既有领域模型。作者还提出了PatRepEval基准,用于评估科学与技术交界处的专利相关文本嵌入。

看点提出按年份切分训练语料的时间一致BERT模型族并构建PatRepEval基准,在多项分类、回归和检索任务上验证,对科技文本研究有实用价值。

Thomas Gebhart, Russell J. Funk

arXiv eess.AS · cs.CL

SteerablePlex: Can We Steer Full-Duplex Models?

说明SteerablePlex:能否控制全双工模型?

简介全双工语音模型可以同时听和说,但对话越长越难控制,用作用户模拟器时可能偏离预设场景,导致评测结果不可靠。论文提出SimIF-Bench基准,检验模型是否遵守场景并按顺序完成多个目标,结果显示现有开源全双工模型难以做到。作者随后用GDPO训练方法让模型在对话中遵循文本指令并保持轮流发言,并与异步后端语言模型配合构建SteerablePlex,在多阶段约束上比现有开源模型和GPT-Realtime更可靠。

Haolong Zheng, Maike Z\"ufle, Dominik Mach\'a\v{c}ek 等

arXiv cs.LG · cs.CL

How Data Scales in Agentic Reinforcement Learning: Laws and Synthesis Strategies

说明智能体强化学习中数据如何随规模变化:规律与合成策略

简介本文研究智能体强化学习中训练数据的扩展规律。作者将数据拆分为任务、环境、轨迹三个维度,并加入奖励密度作为控制变量,在多种大模型上拟合各维度的扩展关系。结果显示,扩展指数的排序为环境大于任务大于轨迹;按合成预算进行优化分配后,相比主流的“扩大轨迹数量”做法,计算效率最高可提升1.7倍。

Bowei He, Yankai Chen, Xiaokun Zhang 等

arXiv stat.ML · cs.LG

Quickest Change Detection with Diffusion-Integrated Scores

说明基于扩散积分得分的最快变化检测(DI-SCUSUM):一种无需训练的变化点检测方法

简介这篇论文提出 DI-SCUSUM,一种无需训练的变化检测方法,用于在数据分布发生变化时尽快发出警报。方法通过对样本添加高斯噪声得到平滑密度估计,并精确计算 Hyvärinen 得分,再以重要性加权的得分差作为累积和递推的增量。论文给出误报率的指数级标度与检测延迟的一阶上界,并在仿真及 MNIST、Oxford-IIIT Pet 数据上与 SCUSUM 等方法比较检测延迟。

Arman Adibi, Mohammadreza Maleki, Sanjeev Kulkarni 等

arXiv cs.LG

DataSense-Bench: The First Step Toward an AI Scientist

说明DataSense-Bench:迈向 AI 科学家的第一步(一个衡量 AI 能否挑选训练数据的基准)

简介本文提出 DataSense-Bench,用于检验前沿 AI 模型能否挑选合适的训练数据并预测其效果。智能体可以检查数据、编写分析代码并进行前向推理,但不能训练模型,也不能接触实际评测任务;选出的数据子集随后用于微调小型语言模型并统一评估。实验结果显示,相比随机选择的提升有限,智能体对所选数据组的排序也不可靠,且排序能力在不同任务间不稳定。

Yudi Zhang, Mingyu Cao, Lu Yin 等

arXiv cs.LG · cs.CV

Just Weather Scoring: Efficient End-to-end Nowcasting with Distributional Diffusion

说明Just Weather Scoring:基于分布扩散的高效端到端降水临近预报

简介本文提出 Just Weather Scoring(JWS),一种单阶段、端到端的扩散模型,直接在雷达空间中进行降水临近预报,并支持少步数生成。模型结合掩码异步扩散与评分规则目标函数,以降低训练和推理成本。在 SEVIR 和 MeteoNet 基准上,论文报告其概率预报性能达到当前最优,且最小模型参数更少、推理速度提升超过 17 倍。

Jannik Wiese, Johannes Schusterbauer, Tommaso Martorella 等

arXiv cs.LG · cs.AI · cs.NE 有代码

A Closer Look at Agentic BBO: Benchmarking LLM Agents for Black-Box Optimization

说明深入探讨智能体黑盒优化:为大语言模型智能体在黑盒优化任务上建立基准测试

简介黑盒优化在许多科学与工程问题中出现,其目标函数评估成本高且次数有限。本文提出AgenticBBO-Bench,一个跨领域基准,涵盖合成函数、超参数优化、数据库调优、芯片设计和分子设计,采用统一的有限预算评估方式。实验显示,智能体方法在五个领域的家族平均得分均高于直接使用大语言模型的方法,并在四个领域超过最优的数值优化器。

Ming Chen, Rong-Xi Tan, Ke Xue 等

arXiv cs.CV · cs.AI

AI-Based On-Board Maritime Object Detection for Earth Observation Payload Data Reduction on Versal Embedded Hardware

说明基于人工智能的星上海上目标检测,用于减少对地观测载荷数据量(Versal 嵌入式硬件)

简介这篇论文研究在卫星上直接检测船只,只下传含有船只的内容,从而按数据内容而非逐像素压缩数据,与传统星上压缩互补。作者用68幅标注的Maxar影像(43类船只)训练YOLOX-S检测器,将其量化后部署在Versal VC1902的DPU上,每幅影像处理时间为几秒,检测质量损失有限。在港口和沿海场景中,图块模式保留98%的船只、下传29%的画面数据量,裁剪模式保留83%、数据量为3%。

Thomas Goudemant, Aur\'elien Bobey, Omar Hlimi 等

arXiv cs.AI

Recursive Self-Improvement through Multi-Agent Self-Supervision

说明通过多智能体自监督实现递归自我改进

简介本文提出多智能体自监督方法(MASS),让单个基础模型在无法直接验证的开放式任务上迭代提出、执行并自我评估多智能体工作流,并通过受结构约束的进化搜索优化这些编排图。论文报告,经过两轮MASS循环后,模型在四个开放式公开基准上每输出令牌的性能提高1.2至1.6倍,且多智能体轨迹训练的学生模型训练效率更高。

Hyunin Lee, Jinglue Xu, Jeffrey Seely 等

arXiv cs.RO · cs.AI

Unifying Policy Learning and State Prediction through Spatial Language Modeling

说明通过空间语言建模统一策略学习与状态预测

简介论文提出空间语言建模(Spatial Language Modeling),用同一套离散坐标与语义词元表示场景轮廓、目标、动作目标和未来状态,由一个自回归Transformer通过统一的下一词元目标同时学习动作生成和动作条件下的状态预测。模型先用随机操作数据预训练,再在专家示范上联合训练动作与状态。在Push-T仿真和真实机器人实验中,模型取得有竞争力的表现,任务成功率和目标覆盖率高于所评估的真实机器人策略基线。

Minye Wu, Zehao Wang, Tinne Tuytelaars

arXiv cs.AI · cs.LG · cs.LO

Learning to Plan by Looking Back: Hindsight Hierarchies for Training Reasoning Models

说明通过回顾学习规划:用于训练推理模型的事后层级方法

简介论文提出一种推理模型的自我改进循环:即使问题超出模型当前能力,给出的参考解答也可能让模型事后提炼出有用的解题思路。方法是让同一模型联合训练三种能力:从问题预测解题思路、结合问题与已知解答反推思路、以及利用给定思路解题。作者给出了方法的形式化描述,并以Lean定理证明器中的交互式定理证明为具体实例;实证评估留作未来工作。

Lars Simon, Holger Eble, Manuel Radons

arXiv cs.LG

Is Real-World Training Data Necessary for Generalist Graph Anomaly Detection?

说明通用图异常检测是否需要真实世界训练数据?

简介论文提出 AG-FORGE,用于自动合成异常图,以缓解真实异常图稀缺、标注成本高的问题。实验发现合成数据训练的效果可与真实数据相当,但现有方法难以进一步提升性能。为此作者提出 TS-GGAD,结合拓扑与语义异常线索,并配合面向大规模合成训练的课程学习策略,在 14 个真实数据集上显著优于现有方法。

Yujing Liu, Yixin Liu, Yue Tan 等

arXiv cs.LG · cs.AI

Scalable Hierarchical Graph Generation via Soft Community Structure

说明基于软社区结构的可扩展层级图生成

简介该论文提出 Schema 方法,递归地把参考图分解为软社区层级,为每个节点分配隶属分布。生成过程分三个独立训练的阶段:先按软隶属生成节点属性,再生成社区内边,最后建模跨社区连接。在四个真实属性图上,Schema 在结构保真度上表现较好,同时只复现了参考图的一小部分边,并在六个额外图(最多千万节点)上评估了可扩展性。

Ahmet T\"uzen, Helge Langseth, Kjetil N{\o}rv{\aa}g

arXiv stat.ML · cs.LG · stat.ME

Bayesian Causal Forests for Zero-Inflated Continuous Outcomes

说明零膨胀连续结局的贝叶斯因果森林(ZIC-BCF-Smear):用于估计治疗效应的新方法

简介该论文针对结局同时含大量零值与正值偏态分布的半连续数据,提出一种两部分非参数估计方法ZIC-BCF-Smear,分别用Probit模型刻画是否发生、用高斯模型刻画正值强度,并用Duan平滑估计器将预测还原到原始尺度。模拟实验显示其在无需参数假设的情况下表现稳定。作者将该方法应用于SPECTRUM头颈癌随机III期试验,估计帕尼单抗联合化疗对严重毒性天数的因果效应,结果显示效应主要体现在正值强度部分。

Hugo Gobato Souto, Eric Wang, Igor Shuryak

arXiv cs.LG · cs.CL

When KL Regularization Misfires in Group Policy Optimization

说明KL正则化在群组策略优化中何时会出问题

简介该论文分析了群组策略优化中参考策略KL正则化与奖励之间相互作用可能出现的七种失效模式,例如奖励截断或群组奖励相同后的残余KL更新、KL随回复长度增长以及集中在少数词元上等。作者据此提出零和校准策略优化(ZCPO)方法,用条件KL度量的相对漂移校准组内奖励系数,并将其整合进基础替代目标。数学推理实验与消融研究支持了该设计在其实验设置中的有效性。

Fei Ding

arXiv cs.CV

Connected Self Forcing: Beyond Local Learning in Video Autoregression

说明《Connected Self Forcing》:视频自回归中超越局部学习的训练方法

简介该论文提出 Connected Self Forcing,一种用于长视频自回归生成的训练框架。原有 Self Forcing 为控制显存会切断历史缓存的反向梯度,本文则让梯度跨片段回传,使后续预测的反馈能影响早期上下文的生成。作者还设计了捷径梯度回放,以在不保留完整计算图的情况下恢复跨片段梯度,并与分布匹配蒸馏结合。实验表明,该方法在不改变推理流程的前提下,提升了长时程视觉质量与时间一致性。

Dongbin Zhang, Chaoda Zheng, Kangjie Chen 等

arXiv cs.LG

Toward Optimal Regret in Adversarial MDPs with Stochastic Hard Constraints

说明对抗性马尔可夫决策过程中带随机硬约束的最优遗憾界

简介本文研究在随机硬约束下、损失可对抗变化的分幕式约束马尔可夫决策过程,要求每一幕都满足期望代价约束。作者提出MA-OPS算法,结合对Slater裕度的乐观搜索与对所选策略的悲观评估,以安全地学到具有较大可行性裕度的策略。该算法的遗憾界为近似√T/ρ+1/(dρ),并给出匹配的下界,说明其对T、d、ρ的依赖在对数因子之内是最优的。

Qian Zuo, Francesco Emanuele Stradi

arXiv cs.LG

Bayesian Optimisation under State-Preservation Constraints

说明状态保持约束下的贝叶斯优化:在改进设计的同时保持关键状态量接近可信值的方法

简介该论文研究工程设计中的优化问题,目标与约束依赖于由设计参数决定的偏微分方程解。作者提出把状态空间约束通过线性化拉回到设计空间,用预先计算的椭球区域高效生成候选点,并在线更新线性响应映射。方法在托卡马克偏滤器优化(保持等离子体边界)的应用中进行了端到端演示。

Gabriel Diaz-Aylwin, Vignesh Gopakumar, Omkar Myatra 等

arXiv cs.CV 有代码

Healthy Counterfactual Generation via Diffusion Inpainting for Mammography Classification

说明通过扩散模型修复生成健康反事实图像用于乳腺X线摄影分类

简介乳腺癌筛查的计算机辅助诊断系统存在假阴性问题,可能导致诊断和治疗延迟。作者用扩散模型在健康乳腺X线片上训练,并通过RePaint方法把已标注病灶区域替换为真实的健康组织,从而生成健康的反事实图像以扩充训练数据。在VinDr-Mammo数据集上,四种分类架构的灵敏度均有所提升,其中在80%固定特异度下提升尤为明显。

In\^es Cruchinho Garcia, Mariana Mour\~ao, Francisco Maria Calisto 等

arXiv cs.CL

Language-Specific Effects of Tokenizer Choice in Multilingual Language Models

说明分词器选择对多语言模型的影响因语言而异

简介该研究训练了123个语言模型,涵盖54种分词器,除分词器外其他条件保持一致。结果显示,训练数据较少的语言受分词器选择的影响更大;将某语言排除在分词器训练之外会提高其每字节比特数(BPB)。研究还发现,衡量分词器内在属性的指标可用于预测下游模型的成对BPB排名,有助于在训练前筛选分词器候选。

Clara Meister, G\"ul Sena Alt{\i}nta\c{s}, Antoine Bosselut

arXiv cs.AI · eess.SP

Instruction-Conditioned Electromagnetic Spectrum Understanding via Budget-Adaptive Signal Tokenization

说明基于预算自适应信号分词的指令条件电磁频谱理解

简介该论文提出BATok,一种预算自适应的信号分词器,可根据输入长度调整令牌数量,并依据信号内容分配容量,以便将原始I/Q信号接入视觉语言模型。作者还构建了EMSpec-Instruct多模态指令数据集,对齐原始I/Q信号、瀑布图和语言监督,用于调制识别、结构化检测和语言条件信号定位。实验表明,BATok能够学到有效的信号表示,并在各项任务上取得有竞争力的表现。

Lei Zhai, Zhihao Chang, Shuyuan Yang 等

arXiv cs.AI

Q-Shaped Options for Hierarchical Reinforcement Learning

说明用于分层强化学习的Q形选项(QSO):一种学习动作抽象的新方法

简介本文研究分层强化学习中如何学习合适的动作抽象(选项)。作者提出三项对动作抽象的要求,并设计了Q形选项(QSO)方法:低层Q函数把选项当作目标,保留最优控制所需的区分;高层Q函数把选项当作动作,丢弃不必要的区分。在离线目标条件的运动与操作环境中,QSO学到了语义上有意义的选项空间,表现优于基线,并在其他算法全部失败的任务上取得非零成绩。

Clarisse Wibault, Antoine Gorceix, Antonio L\'eon Villares 等

arXiv cs.AI · cs.MA

OA-MAP: Evidence-Grounded Multi-Agent Multimodal Framework for Interpretable Knee Osteoarthritis Progression

说明OA-MAP:面向膝骨关节炎进展、可解释并有文献依据的多智能体多模态框架

简介该论文提出OA-MAP,一个用于膝骨关节炎结构和疼痛进展评估的多智能体框架,包含MRI、X光和临床智能体以及协调智能体,并可检索文献作为证据。系统支持临床医生在人机协同环节审核并修正中间结果。在FNIH骨关节炎生物标志物联盟队列的600名受试者上评估,测试集100人中融合模型的AUROC分别为结构进展0.80、疼痛进展0.68。

Sixu Chen, Mingrui Yang, Qiang Guan 等

★★★★☆ 值得关注
arXiv cs.CL · cs.LG

Rehearse Everything, Remember Nothing: Attic-KV Rehearses What Will Be Read

说明先排练所有内容,却记不住什么:Attic-KV 只排练将被读取的部分

简介该论文针对键值(KV)缓存压缩问题提出新方法。作者发现,在严格的缓存预算下,让模型重读全部上下文(即“排练一切”)效果反而很差。Attic-KV 改为让模型用引用上下文的问答对自我测验,并配合内容自适应数量的锚点令牌,无需训练即可提升效果,在多个设定下超过其他方法。

看点提出以自我提问替代全文重读来为KV缓存打分,并在多种宿主方法上验证,在低预算下显著提升效果。

Zhiyun Shi

★★★★☆ 值得关注
arXiv cond-mat.soft · cs.LG · cs.NA

A neural density functional for polymer electrolytes with exact structure and transferable Coulomb coupling

说明用于聚合物电解质的神经密度泛函:精确结构与可迁移的库仑耦合

简介该研究提出一种神经网络密度泛函,用于描述含盐聚合物熔体中离子的结构。模型通过介电常数相关的Bjerrum长度引入库仑相互作用,并在不同尺寸、几何和耦合强度的体系中无需重新训练即可预测密度分布和体相结构因子。与若干神经网络架构及二次对关闭模型相比,该方法在固定耦合条件下精度更高。

看点提出具有精确结构与可迁移库仑耦合的神经密度泛函,并利用精确的自由能-Bjerrum长度关系;通过强制匹配训练,在不同盒子、耦合强度和浓度下泛化,证据较充分。

Liyao Lyu

arXiv cs.AI

An Investigation of Model Coherence: Narrow Finetunes Contradict Themselves Under Resampling

说明模型一致性研究:窄域微调模型在重复采样下自相矛盾

简介该论文提出一种衡量模型一致性的方法,用175个问题排除歧义与无差别造成的答案差异,通过对同一问题重复采样时的矛盾来判断不一致。结果显示该指标特异性较高,只在问题明显时才判定模型不一致;窄域微调模型得分较差,且在文献中的模型生物体身上发现身份混淆、内省失败和事后合理化等问题。

Robert Graham, Yariv Barsheshat, Phil Blandfort 等

arXiv cs.CV · cs.AI · cs.GR

LVS: Local View Synthesis from Relative Camera Pose by Reusing Previous Views

说明LVS:利用已有视图和相对相机位姿进行局部视图合成

简介交互式场景浏览需要频繁更新视角,而相邻视角之间有大量重叠内容。本文提出一种逐场景框架,对邻近视角复用已渲染的RGB-D图像:利用深度和相对位姿做几何变形,再由轻量多尺度网络预测RGB残差以修正伪影并补全缺失外观,并缓存源特征以减少重复计算。在GS-render上,残差修正比纯几何变形的PSNR提高0.72 dB,在采集和渲染场景上查询延迟较低。

Qizhou Huo, Xuan Sun, Yongfei Guo 等

arXiv cs.RO · cs.CV

SuperNav: An Agentic Navigation System for Any Task in Any Scene

说明SuperNav:一种适用于任意任务与任意场景的智能体导航系统

简介该论文提出 SuperNav,为服务机器人设计通用导航系统。它不微调多模态大模型,而是为预训练模型配备专用智能体框架,由模型负责理解请求、解读场景和决策,运动执行交给导航工具,并通过统一的视觉点接口根据执行反馈修正决策。在实例级、多物体和需求驱动任务上,SuperNav 优于四个对比基线;在 HM3D 类别级评测和真实四足机器人部署中也得到验证。

Jinkai Zhang, Jingyi Xu, Yuanhong Yu 等

arXiv cs.AI

Use and Disuse: Intent-Structured Experience Consolidation for Memory and Learning in LLM Agents

说明《用与废用》:面向大语言模型智能体记忆与学习的意图结构化经验整合

简介论文提出 Hippocam,一种分层记忆与持续学习架构,让大语言模型智能体把长期运行中的经验逐步整合为可复用的知识。它按嵌套意图组织工作过程,已完成的意图被压缩为后续工作所需的结果与状态,久未使用的经验则经递归整合而逐渐抽象。被再次调用的经验会与新经验一起被再次整合,从而得到强化和更新。作者称该机制无需更新参数即可让智能体通过自身经验学习并提升能力。

Xiangyi Zeng, Baihang Liu, Xutong Wang 等