AI 算法 · 2026年9月29日(周二)

机器学习、人工智能、自然语言处理、计算机视觉、多智能体。

arXiv cs.LG · stat.ML

Simplex Diffusion Models

说明单纯形扩散模型:在概率单纯形上对离散数据进行逐步去噪的生成模型

简介本文提出单纯形扩散模型(SDMs),把扩散过程提升到概率单纯形上,以在去噪过程中保留类别上的不确定性,避免离散扩散中的信息坍缩。模型可用交叉熵损失训练,并引入可调随机性的DDIM式采样器。论文报告其在OpenWebText、TinyGSM和GSM8K等任务上与离散扩散基线相比具有竞争力或更好的结果。

Justin Deschenaux, Alexandre Galashov, Andrew Campbell 等

arXiv cs.AI

BaRe-Mem: Bayesian Reliability Memory for Robust and Adaptive Agent Consultation

说明BaRe-Mem:面向稳健自适应智能体咨询的贝叶斯可靠性记忆

简介多智能体系统中,顾问能力因任务而异,误导性信息可能让咨询结果比自主推理更差。本文提出在线贝叶斯可靠性记忆机制BaRe-Mem,依据中心模型的内部信念表示估计顾问可靠性,并通过历史交互更新估计,用于调节顾问回应的影响并决定咨询还是自主推理。在九个基准和六个中心模型上,它比辩论与多数投票更能抵抗误导信息;在较难任务上,各误导水平下仍优于自主推理。论文还将该机制扩展到智能体团队的工作者分配,在MuSiQue基准上比按历史成功次数路由更能提高任务完成率并更早识别有能力的工作者。

Peilin Feng, Zhengyang Huang, Soujanya Poria

★★★★☆ 值得关注
arXiv cs.AI

RareDx: Controlled Knowledge Integration and Graph-Grounded Policy Optimization for Rare-Disease Diagnosis

说明RareDx:面向罕见病诊断的受控知识整合与知识图谱约束策略优化

简介该论文提出RareDx系统,用于罕见病诊断这一长尾推理问题。系统将异构病例统一为排序式诊断任务,并通过知识图谱约束的策略优化方法(RareDx-KGPO)训练模型,奖励结合分级相关性、本体邻近度、生物医学相似性与表型一致性。作者报告,以Qwen3.5-9B为核心的完整系统在八个基准上的宏平均Hit@10为38.34,高于GPT-5.5的协议结果。

看点将知识图谱约束的策略优化与受控证据路由结合用于罕见病诊断,新颖性中等;在八个基准上与GPT-5.5对比并有消融,证据较充分。

Bo Zhang, Yuchen Wang, Dongbai Li 等

arXiv cs.LG · cs.AI

Graph World Models for Constrained Epidemic Policy Planning

说明用于受约束流行病政策规划的图世界模型

简介该论文提出 EpiMind 框架,用于跨地区的受约束流行病政策规划。它以图结构的循环状态空间模型生成联合政策条件下的推演,并用图时序 ADMM 优化各地区干预措施、通过投影保证共享资源可行性。文中报告,相比无图的动力学模型,其入院 RMSE 降低 29%,且计划结果处于最佳可行常数政策的 1% 至 5% 之内。

Yiqi Su, Rashed Shelim, Lingyi Wang 等

arXiv cs.CL · cs.AI · cs.LG

Less Sycophancy, Stronger Refusal? Lessons for AI Safety from Mechanistic Interpretability

说明减少谄媚,能否增强拒绝能力?可解释性研究对AI安全的启示

简介该论文研究用“补偿性特征注入”(CFI)训练技术减少语言模型的谄媚行为,并借助稀疏自编码器定位相关特征。实验在三个Qwen3.5基础模型上进行,结果显示正向注入可降低学到的谄媚倾向,但对直接拒绝有害请求的改善并不稳定。在用户施压的情境下,带正向注入的检查点能恢复部分因谄媚训练而削弱的拒绝能力。

Xu Wang, Difan Zou, Xuansheng Wu

arXiv cs.CL

Question-Specific Knowledge Graphs for Efficient Visual Reasoning

说明面向高效视觉推理的问题专属知识图谱(VisKG)

简介论文提出VisKG,用强化学习训练模型,把图像内容转换为与具体问题相关的知识图谱表示,过滤无关视觉细节,保留推理所需的实体与关系结构。实验显示其在科学、数学和通用视觉理解基准上表现与基线相当或更好,所需词元少于基于图像描述的方法;使用GDPO训练比GRPO平均准确率高约2%。

Ting-Chih Chen, Emile van Krieken, Shujian Yu 等

arXiv cs.LG

Learning the Robustness Mechanism with Bilevel Optimization

说明用双层优化学习鲁棒性机制:从留出数据中学习参数,而非大量调参

简介本文提出一种分布鲁棒学习框架,用留出的验证数据学习定义鲁棒性机制的参数,而不是依赖大量手动调参。作者用包含上下层极小极大问题的双层优化,构建了有无组标签两种训练设置下的实例。理论分析表明,该方法的泛化保证与穷举网格搜索相当,但计算效率更高;实验在组内与组间分布同时偏移的挑战性场景中验证了其有效性与可扩展性。

Yiyang Shen, Qihang Lin, Weiran Wang

arXiv cs.AI

Continuous Context Management

说明持续上下文管理:让智能体每一步都压缩历史记录

简介长程大语言模型智能体通常保留完整交互历史,直到达到预设阈值才压缩。本文提出持续上下文管理(CCM),每一轮都压缩记忆,使历史不会在提示中累积。实验显示CCM能显著减少输入量,多数模型成功率有所下降,Kimi K3则基本保持;作者还用带特权完整历史蒸馏的GRPO强化学习改进CCM,在WebShop和Endless Terminals上取得不同程度的提升。

William Hoy, Jingxuan Fan, Nurcin Celik 等

arXiv cs.CV

Learning to Reason with Persistent Object States for Video Instance Segmentation

说明基于持久对象状态推理的视频实例分割学习方法

简介视频分割模型通过跨帧传递实例信息来保持对象身份,但在长时间遮挡、目标重新出现或相似实例互动时,不可靠的更新可能覆盖有效历史并导致身份持续漂移。本文提出可训练、即插即用的POSReasoner框架,显式判断何时观测应改变对象状态,并通过提议-验证推理和学习门控决定状态的保留、更新、重新激活或抑制。实验显示,在长期视频目标分割和视频实例分割基准上相比强基线有一致提升,遮挡和目标重现情形下增益最大。

Yongxue Xu, Boxue Yang, Ziqian Liu 等

★★★★☆ 值得关注
arXiv cs.LG · cs.GT · econ.TH

Optimal Networks for Agentic Information Aggregation

说明面向代理式信息聚合的最优网络

简介本文研究 Kearns、Roth 与 Ryu(SODA 2026)提出的网络化学习模型中的信息聚合问题。每个代理只观察部分特征并接收父代理的预测,用线性预测器最小化均方误差后向前传递。论文在自适应设计者与遗忽设计者两种设定下,分析网络深度与代理数量的极限,并给出精确聚合所需的条件。

看点在Kearns等人的网络学习模型中刻画精确聚合的深度与智能体数量的紧界,并区分自适应与盲设计者,新颖性较强;证明严格,但影响面主要限于理论社区。

MohammadHossein Bateni, Zahra Hadizadeh, MohammadTaghi Hajiaghayi 等

arXiv cs.CV

Look Before You Judge: Training-Free Region Mining for Grounded and Explainable Deepfake Detection

说明先看后判:无需训练的区域挖掘,用于可解释的深度伪造检测

简介多模态大模型能用自然语言解释深度伪造的判断,但这些解释未必基于图像中的真实证据。本文提出免训练框架Look Before You Judge,先通过比较原图与高斯模糊图的注意力差异找出候选证据区域,逐一检查后再结合全局信息给出结论。在TriDF和MMTD-Set上,五个开源模型的检测准确率最高提升12.8%,CHAIR指标最多降低33.4%,幻觉率最多降低21.3%。

Chia-Ling Chen, Yu-Ting Ta, Jian-Yu Jiang-Lin 等

arXiv cs.AI

ARISE: Adapting to Evolving Capability Gaps in Agentic Reinforcement Learning

说明ARISE:在智能体强化学习中适应不断变化的能力缺口

简介该论文提出 ARISE 框架,用于长时程智能体的强化学习。它根据智能体的执行结果持续调整评分标准、探索引导和训练优先级,使其跟上能力的变化,并针对尚未解决的弱点进行探索。作者在 SkillsBench 和 Terminal-Bench 两个基准上进行了实验,结果显示该方法提升了整体任务表现和训练效率。

Kun Feng, Yuchen Fang, Yiyang Tan 等

arXiv cs.CV · cs.AI

AutoRef: Harness Optimization for Agentic Multi-Reference Image Generation

说明AutoRef:面向多参考图生成智能体的执行框架自动优化

简介论文提出AutoRef,用编码智能体自动迭代改写控制多参考图生成流程的可执行程序(harness),生成模型和推理模型保持冻结。在MultiBanana基准的四参考图保留任务上,开源模型FLUX.2 [klein] 4B的得分由5.72提升至7.37,论文称其与Nano Banana Pro和GPT-Image-1.5等闭源模型相当或更好。该框架在更换生成器、参考图数量、基准、评估器或推理模型后,无需重新优化仍有效。

Yuta Oshima, Ku Onoda, Yusuke Iwasawa 等

arXiv cs.LG · cs.AI

Let the Neurons Die: Exploiting ReLU-Induced Model Degradation

说明《让神经元死去》:利用ReLU引起的模型退化进行训练时可用性攻击

简介论文指出ReLU网络可能出现“神经元死亡”,使梯度无法通过相关单元。作者提出三种基于数据排序与投毒的训练时攻击,在不修改训练样本或标签的前提下诱导ReLU单元输出负预激活。在MNIST全连接网络上,排序100个样本或加入200个单一类别的投毒样本后,五个epoch的测试准确率分别降至约95%和86%至88%,而干净训练约为96%。

Kexin Li, Wenjun Qiu, Joshua Abraham 等

arXiv cs.LG

GeoGAE: Scalable Graph-Level Autoencoding via Hyperball Cloud Representations

说明GeoGAE:基于超球云表示的可扩展图级自编码器

简介该论文提出将图表示为一组超球体(hyperball)的云,从而确定较为唯一的节点顺序。基于此,作者提出自编码器 GeoGAE:Transformer 编码器把超球云编码为图级向量,Transformer 解码器再从该向量还原图结构。方法同时捕捉全局结构与局部关系,并在多个跨领域图数据集上验证了图的编码与重建效果。

Rados{\l}aw Nowak, Anna Bielawska, Bogusz Stefa\'nczyk 等

arXiv cs.LG

Deep Epistemic Value Functions for Optimistic Exploration

说明用于乐观探索的深度认知价值函数(DEVOTE):通过对价值函数的不确定性驱动强化学习中的探索

简介论文系统研究了深度认知价值函数中认知不确定性的表示、传播和优化方式,发现了各环节的失效模式。基于这些发现,作者提出了无模型强化学习算法DEVOTE,用于控制不确定性在观测数据之外的泛化、稳定其时间传播,并适应由此产生的非平稳探索目标。论文称,在无奖励探索和连续控制任务中,DEVOTE比强无模型与基于模型的探索基线更有效地到达新状态,并获得更高的任务回报。

Leander Diaz-Bone, Marco Bagatella, Jonas H\"ubotter 等

arXiv cs.CL · cs.AI · cs.LG

Beyond Token Scale: Chunk-Level Sparse Autoencoders for Reliable Semantic Feature Discovery

说明超越词元尺度:用于可靠语义特征发现的片段级稀疏自编码器

简介稀疏自编码器可以帮助理解并引导语言模型,但重构准确并不保证特征具有语义信息。本文提出一类片段级稀疏自编码器,对由连续词元组成的片段做平均池化后进行编码,包括重构观测片段、预测相邻片段以及两者结合三种设计。实验显示,这类模型能学到更可靠的高层语义特征,并在检索、推理检测和引导等下游任务上取得提升。

Xu Wang, Yifan Yang, TingHao YU 等

arXiv cs.LG

Reward-Aligned Reweighting for On-Policy Distillation

说明面向在策略蒸馏的奖励对齐重加权(R²-OPD):让教师指导更贴合学生的最终表现

简介论文指出,在策略蒸馏(OPD)中,学生模型按统一权重模仿教师的每个词元,忽略了单个决策对最终任务的实际价值。作者提出 R²-OPD,依据结果一致性和师生分歧程度连续调整教师监督的权重,使与奖励一致的修正获得更大影响,同时保留密集反馈。在七个数学推理基准上,该方法平均准确率高于标准 OPD,并在代码生成的扩展实验中也有提升。

Haofeng Xu, Junwei Su, Lansong Diao 等

arXiv cs.AI · cs.LG · cs.SC

MechBench: Can AI Scientific Agents Discover Mechanisms Beyond Phenomenal Laws?

说明MechBench:AI科学智能体能否发现现象定律之外的机制?

简介该论文提出MechBench基准,将“恢复描述可观测现象的数学定律”与“发现产生这些现象的机制”分开评估。智能体只获得观测数据和科学背景,机制探针用于检验其无法仅从现象定律推断出的内部科学后果。实验显示,Codex(搭配GPT-5.6-sol)在核心子集上现象定律准确率为35.00%,机制准确率仅13.75%,且在现象定律正确恢复的案例中有64.29%的机制恢复失败。

Zihan Yu, Jiadong Zhang, Jialin Cheng 等

★★★★☆ 值得关注
arXiv cs.LG · stat.CO

One Proposal for Every Margin: Zero-Shot Amortized Sequential Importance Sampling for Binary Matrices

说明每个边际一个提议分布:二值矩阵的零样本摊销序贯重要性采样

简介论文研究在给定行和列之和(边际)条件下的二值矩阵,包括计数与均匀采样两个问题。作者指出理想的序贯重要性采样提议分布等价于一种生成流网络策略,并提出MarginFlow框架,通过学习在不同边际间共享提议分布。在1190个未见过的边际上零样本测试,MarginFlow在绝大多数情形下不劣于31种人工设计配置中事后最优者。

看点将SIS理想提议与GFlowNet策略等价联系,并用集合Transformer跨边际摊销学习提议,方法新颖;在1190个零样本边际上实验对比充分,但主要影响局限于特定子领域。

Ruishuo Chen, Weijia Li, Xun Wang 等

arXiv cs.LG · cs.AI

Improving Generative Model Self-Training with Geometrically Modified Outputs

说明通过几何修正输出改进生成模型自训练

简介本文研究生成模型的自训练问题:直接用模型自身生成的样本微调会导致模型崩溃等退化。作者提出几何修正输出(GMOs),通过重新加权生成器输入-输出雅可比矩阵的奇异值,放大主导奇异方向,从而得到更强的负向引导信号。实验显示,在多种一步生成模型上,该方法相比标准模型输出,能提升 Neon、SIMS 等负向引导方法的性能。

Patrick Batsell, Thomas Walker, Richard Baraniuk

arXiv cs.CV 有代码

ReVA: A Scene-Centric Dataset Beyond Repetition for Remote Sensing Video Question Answering

说明ReVA:面向遥感视频问答、以场景为中心且避免重复的数据集

简介该论文提出了 ReVA,一个用于遥感视频问答的新数据集,旨在评估多模态大模型在时空、场景与推理方面的能力。数据集包含全球 18 个城市的 2,438 段无人机视频(580K 帧)以及 22K 个问答对,涵盖 11 类问答任务。作者用文本大模型与多模态大模型辅助生成问答并经人工核验,并在 23 个闭源与开源视频大模型上进行了评测,揭示了现有模型的局限。

Zhen Yao, Likai Wang, Yuming Yang 等

arXiv cs.LG

An RL View of OPD: Least Square Policy Distillation for Sample-Efficient LLM Reasoning

说明从强化学习看在线策略蒸馏:用于样本高效大模型推理的最小二乘策略蒸馏(LSPD)

简介本文从强化学习角度研究在线策略蒸馏(OPD),指出其反向KL目标与KL正则化策略优化之间存在联系。基于此,作者提出最小二乘策略蒸馏(LSPD),引入基于价值的强化学习中的乐观探索与离线数据复用。在六个数学推理基准和多种师生设置上,LSPD的Avg@16平均提升1.59分;其完全离线变体仅用前25%的采样批次即可达到与原版OPD相当的性能。

Shangzhe Li, Yuxiao Yang, Tianrun Yu 等

arXiv cs.LG

Structured Latent Modeling for Supervised Multimodal Information Decomposition

说明面向监督式多模态信息分解的结构化潜在建模

简介该论文提出一个框架,用于在连续的学习表示中区分多模态预测中的共享信息、单模态特有信息以及与任务无关的依赖。方法在中间层使用对比或掩码目标,结合按模态的可逆归一化流与监督式低秩潜变量模型,把联合分布分解为三部分。作者称该方法在多个多模态基准上提升了预测性能。

Wanting Huang, Sanvesh Srivastava, Weiran Wang

arXiv cs.AI · cs.LG · cs.SC

SRHarness: A Harness for Agentic Symbolic Regression

说明SRHarness:面向智能体符号回归的运行时框架

简介该论文提出SRHarness,一个面向智能体符号回归的领域专用运行框架,通过可组合的科学动作、持久化的科学状态和轨迹生命周期管理来组织长时程搜索。在LLM-SRBench上,SRHarness在相同大模型骨干下提升了数值泛化与符号恢复能力,例如在LSR-Transform上符号准确率达93.69%,高于SR-Scientist的62.16%。作者认为,有效的智能体符号回归不仅依赖模型或工具,也依赖结构化的运行时支持。

Zihan Yu, Shixuan Zhou, Hao Huang 等

arXiv cs.LG

Physics-Guided Conditional Diffusion Model for Rare Event Synthesis and Diagnosis for the Water-Gas Shift Reaction

说明水煤气变换反应中罕见事件的物理引导条件扩散模型合成与诊断

简介该论文针对水煤气变换制氢过程中结垢、催化剂失活和热失控等罕见异常工况数据难以获取的问题,提出一种结合反应物理规律的条件扩散模型,用于生成物理上一致的罕见事件运行轨迹。生成的数据用于平衡训练集,并提出一种基于运行轨迹的危险评分来评估工况风险。仿真结果显示,该方法在合成数据质量和罕见事件诊断性能上优于纯数据驱动模型。

Md Abrar Rafid Siddique, Bibek Aryal, and Qiugang Lu

arXiv cs.CV

Sprout: Building Dynamic Memory While Reasoning for Agentic Video Understanding

说明Sprout:在推理中动态构建记忆的智能体视频理解框架

简介该论文提出 Sprout,一个在回答问题的同时逐步构建记忆的智能体框架,用时序树保存视频片段的文字记忆。系统以低帧率逐段观看视频,对关键区间再以高帧率细化,并在问题之间保留记忆。作者报告,用文字记忆替代累积的视频输入可显著降低上下文开销,同时保持准确率,在三个模型的基准上与代表性离线记忆方法相比达到相当或更好的准确率。

Wei Chen, Xuanyu Zheng, Yancheng Long 等

arXiv cs.CV · cs.AI

From Scores to Samples: Elastic Forcing for Autoregressive Video Generation

说明从分数到样本:用于自回归视频生成的弹性强制方法

简介本文针对少步自回归视频生成,提出不依赖双向扩散教师与在线伪分数模型的训练方法,而是直接从参考视频学习生成轨迹的分布。方法在冻结的自监督视频表征空间中最小化最大均值差异(MMD),并结合混合 Nyström–蒙特卡洛估计器与内存高效的回放和梯度子采样。采用与 Self-Forcing 相同的架构和初始化,其 13 亿参数模型将 VBench 总分从 83.80 提升至 84.64,帧率保持 17 FPS;去除辅助分数模型后,还可在八块 H200 GPU 上完成 140 亿参数模型的后训练。

Chi Zhang, Yueyi Liu, Shi Haoyang 等

arXiv cs.CV

AHMAD: Adaptive Hybrid Multi-task Vision Learning with Assisted Distillation for Keypoint Detection

说明AHMAD:面向关键点检测的自适应混合多任务视觉学习与辅助蒸馏框架

简介该论文提出AHMAD框架,用一个共享的编码器-解码器结构加上轻量的任务专用投影层,统一处理语义分割、实例分割、深度估计、关键点检测和目标检测五项视觉任务。论文报告在COCO验证集上全景分割PQ达到53.1,语义分割mIoU达到66.5。针对自顶向下关键点检测需要多次前向计算的问题,作者引入基于知识蒸馏的方法,使整张图像只需一次前向计算。

Mohammad Mahdi, Nedyalko Prisadnikov, Yuqian Fu 等

arXiv cs.CL · cs.CV

Who Is Left of Whom? Tracing Spatial Evidence and Role Binding in Relative-Position Reasoning

说明谁在谁的左边?追踪相对位置推理中的空间证据与角色绑定

简介本文研究视觉语言模型在判断物体相对位置时的内部机制,指出高准确率可能掩盖物体交换位置或角色颠倒时的不一致。研究者通过激活修补发现,模型从早期层的源表示到中间层的查询对象表示,再到后期层的答案状态呈阶段性推进。作者还识别出与两个物体角色相关的稳定方向,沿此方向进行引导可在多数设置下提升准确率与一致性,且无需重新训练。

Yingjin Song, Denis Paperno, Albert Gatt

★★★★★ 值得关注
arXiv cs.LG · cs.NA · math.NA

Universal Approximation of Measure-to-Measure Operators by Pushforwards

说明用推前测度对测度到测度算子进行通用逼近

简介本文研究在概率测度空间之间的连续算子能否被依赖测度的推前模型任意逼近。作者指出,若允许原子型输入,某些分裂或重新分配原子质量的连续算子无法被确定性推前模型任意逼近。随后提出一致水平集条件,并证明在满足该条件的紧致族上,任意连续测度到测度算子都可在p-Wasserstein距离下被一致逼近,并由此推出测度论形式的Transformer具有通用逼近性。

看点提出统一水平集条件,证明在紧致绝对连续测度族上,测度到测度的连续算子可被测度依赖推前模型一致逼近,并给出原子输入下的反例。

Takashi Furuya, Nicholas H. Nelsen, Frank Cole

arXiv cs.DC · cs.LG

TopoEP: Topology-Aware Load Balancing for Expert-Parallel MoE Training

说明TopoEP:面向专家并行 MoE 训练的拓扑感知负载均衡

简介动态路由会导致大规模专家并行 MoE 训练中负载严重不均,承载热门专家的 GPU 拖慢整体进度。本文提出 TopoEP,一个在 GPU 上运行、感知集群拓扑的负载均衡系统,在每层、每个微批次内完成复制与重路由决策,避免与主机的数据同步。在 32 块 H800 GPU 集群上,结合 Megatron-LM,三个代表性 MoE 模型的端到端训练吞吐量提升 6.2%–11.4%。

Jiacheng Zhu, Xie Zhao, Gongming Zhao 等

arXiv cs.AR · cs.AI

Analog Computing revisited: A fully analog and minimalistic Damage Detector for Ultrasonic Testing enabling Material-Integrated Structural Health Monitoring

说明模拟计算重新审视:一种用于超声检测、支持材料集成结构健康监测的全模拟极简损伤检测器

简介本文提出一种全模拟的损伤检测系统,用于超声检测(UT)。系统用全通滤波网络近似希尔伯特变换以提取信号包络,再通过简单模拟运算提取特征,并用模拟人工神经网络进行损伤分类与回归。作者预期整个系统少于100个晶体管,并以带圆形缺陷的钢板PZT传感器信号进行测试。

Stefan Bosse

arXiv cs.CL · cs.AI

Spontaneous Context Restoration: How Language Models Recover from Corrupted Inputs

说明语言模型如何从受损输入中自发恢复上下文

简介本文研究语言模型在输入被删除、替换或拼写错误后仍能输出正确结果的现象,称为上下文恢复。作者在仅含注意力的可控 Transformer 和五个预训练大模型(1B 至 32B 参数)上,针对算术、阅读理解和选择题推理任务进行分析。结果显示恢复过程分为两阶段,并可通过隐藏状态预测失败情况。

Pranjal Garg, Jacob Beck

arXiv cs.CV · cs.LG

Handwritten Text Recognition Lives in the High-Pixel Variance Subspace

说明手写文字识别依赖于高像素方差子空间

简介本文研究手写文字识别(HTR)自监督预训练中,为何像素重建方法优于对比学习方法,与自然图像分类的结论相反。作者认为判别信息集中在高方差像素方向,因此保留高方差像素内容的目标函数迁移效果最好。研究在统一设置下测试了六种自监督方法,覆盖五种语言的六个手写基准,结果显示像素重建类方法整体表现最佳。

Carlos Garrido-Munoz, Jorge Calvo-Zaragoza

arXiv cs.AI

Why Deterministic PRM Guidance Underperforms in Discrete Diffusion Reasoning

说明为何确定性PRM引导在离散扩散推理中表现不佳

简介该论文研究离散扩散语言模型推理时,用过程奖励模型(PRM)逐步引导去噪是否有效。在相同前向计算预算下,确定性PRM引导被简单的独立采样加结果奖励模型(ORM)重排序打败,例如在GSM8K上分别为65.18%与75.13%。作者指出两类问题:中间打分信号弱导致剪枝失误,以及PRM作为最终裁判表现较差。论文建议保留早期正确的部分解,并由基于最终状态训练的验证器做最终选择。

Yan Zhan, Shaobo Liu, Zhijun Gao

arXiv cs.RO · cs.AI · cs.LG

Rethinking Causal Action Tokenization with Conditional Annealing in Flow Matching

说明用条件退火的流匹配重新思考因果动作分词:面向自回归视觉-语言-动作模型的动作离散化方法

简介论文指出现有动作分词器把分词当作压缩问题,与自回归骨干网络语义不对齐。作者提出CATok,通过条件退火的流匹配过程逐步提取动作令牌,形成由粗到细的因果令牌空间。在三个仿真基准和真实机器人操作任务上,CATok在重建精度与压缩权衡、推理效率、任务成功率和训练效率方面均优于现有分词方法。

Chenyu Zhang, Yuhang Cao, Daru Du 等

arXiv cs.LG · math.OC · stat.ML

An analysis of Mirror-Descent Soft Actor-Critic

说明镜像下降软演员-评论家算法分析:一篇关于连续动作强化学习收敛性的论文

简介该论文研究软演员-评论家算法(SAC)在熵正则化强化学习中的收敛性,重点考察目标策略由策略镜像下降生成的情形,并与经典的Gibbs目标进行比较。作者给出了演员目标强凸性和光滑性的充分条件,并证明在演员与评论家近似误差范围内,存在O(N^{-1/5})的最佳迭代有限时间收敛速率。论文还指出,镜像下降的步长λ直接控制目标漂移,而对应的Gibbs界包含不消失的跟踪误差项。

Denis Zorba, Michal Valko

arXiv cs.LG

Tetra: Serving Leech-Lattice Quantized LLMs at 2.7 Bits per Parameter

说明Tetra:以每参数2.7比特部署Leech格量化大语言模型

简介该论文提出Tetra,一种基于Leech格的新码本量化方法,用于压缩大语言模型的权重。作者用64状态网格与共享查找表替代庞大的码本,使内核每权重仅读取约2.148比特。在Qwen3-4B、8B、14B上,整体模型约为每参数2.7比特,其MMLU成绩低于4比特AWQ,但高于llama.cpp的IQ2_XXS,所有测量均在单张NVIDIA L40S GPU上完成。

Pier-Jean Malandrino

arXiv cs.CV 有代码

W2Rep: Learning Visual Representations by Watching the World Change

说明W2Rep:通过观察世界变化学习视觉表征

简介该论文提出W2Rep,一种掩码特征预测框架,让独立编码的源图像参与同一或另一时刻的预测,预测器以可见视频上下文、查询位置和源图像与目标之间的带符号时间间隔为条件。作者称,在多种模型规模和下游任务中,该方法在其对比协议下提升了冻结和微调的识别效果,联合视频编码还能带来进一步增益。

Wen Huang, Hang Guo, Jiarui Yang 等

arXiv cs.AI · cs.GR

A.D.A.M.O. (Agent for language-Driven Actions with Multimodal Observations): A Visual-Symbolic Framework for Virtual Humans

说明A.D.A.M.O.:用于虚拟人的视觉-符号框架,由语言驱动动作与多模态观察

简介该论文提出A.D.A.M.O.框架,用预训练的视觉语言模型加工具调用,在同一控制循环中统一感知、推理与行动,使虚拟人能依据自然语言指令在3D环境中完成任务。框架维护结合第一人称视觉输入与同步符号状态的双重世界模型。作者还设计了按认知复杂度分类的受控任务集用于诊断评估,实验显示语义标注显著影响任务完成情况,推理错误相对较少。

Alessandro Emmanuel Pecora, Stefano Calzolari, Francesco Strada 等

arXiv cs.LG · cs.AI · cs.CL 有代码

CLIMB: A Clinical Multimorbidity Benchmark for Diagnosing Co-occurring Conditions through Multiturn Conversations

说明CLIMB:通过多轮对话诊断共病的临床多病共存基准

简介该论文提出CLIMB基准,让医生模型通过与模拟患者的多轮问诊,尝试还原一组共存的临床疾病。案例基于临床决策算法和诊断数据集合成。六个前沿及开源模型中,没有一个在交互案例中能完全还原正确疾病集合的比例超过10%,共病时表现下降,交互后进一步降低。

Yusuf Kesmen, Aniruddha Mukherjee, Yena Chang 等

arXiv cs.CL

AraDynFact: Dynamic Evaluation of Factual Knowledge in Arabic

说明AraDynFact:阿拉伯语事实知识的动态评测框架

简介本文提出 AraDynFact,一个用于评估大语言模型阿拉伯语事实知识的动态评测框架。它自动从阿拉伯语维基百科中抽取事实信息并生成可回答的问题,无需大量人工参与。作者用它测试了多个模型,结果与现有人工编写的阿拉伯语基准高度相关。

Ignacio Iacobacci, Faroq Altam, Zhaozhi Qian 等

arXiv cs.CV

How Far Are We from Removing the Visual Encoder? Scaling Laws for Encoder-Free Multimodal Pretraining

说明我们离去掉视觉编码器还有多远?无编码器多模态预训练的缩放规律

简介本文比较了无视觉编码器与基于编码器的多模态大语言模型的缩放规律。研究发现,去掉视觉编码器会使多模态目标的计算最优模型规模变大,两类架构在文本目标上的表现接近,而多模态目标上无编码器模型在小规模时较弱,但预计在约 10^22 FLOPs 时追上。无编码器时,语言模型通过视觉相关适应承担视觉处理功能。

Lin Chen, Bolin Ni, Qi Yang 等

arXiv cs.AI

AutoBCI: Forecast-Guided Agentic Neural Architecture Discovery for EEG-Based Brain--Computer Interfaces

说明AutoBCI:基于预测引导的脑电神经架构自动发现框架

简介该论文提出AutoBCI,一个用于脑电(EEG)脑机接口的智能体框架,由设计智能体和预测智能体协作,自动搜索适用于多种任务(如情绪识别、运动想象、睡眠分期)的解码架构。在14个脑电数据集上,作者用六种大语言模型进行评估,并与十个基线模型比较。文中报告,由Claude Opus 5.5搜索得到的架构平均测试平衡准确率为64.16%,高于最强基线REVE的63.87%。

Muyun Jiang, Yi Ding, Wei Zhang 等

★★★★☆ 值得关注
arXiv cs.LG · cs.RO · cs.SY

Manifold-Stable Flow Matching

说明流形稳定的流匹配:让生成样本保持在有效几何结构上的新方法

简介该论文提出流形稳定流匹配(MSFM),可从任意环境先验出发生成样本,并通过学习切向传输与规定的法向收缩,使样本保持在数据流形上。作者借助收缩理论,对已知流形用解析投影、对未知流形用主成分分析估计的局部仿射近似,保证流形不变性与在设定时间内向流形横向收敛。在椭圆实验和机器人实验(Push-T、Robomimic Square)中,报告了更低的流形偏离误差和更高的成功率。

看点将收缩理论与流匹配结合,用法向收缩保证流形不变性,并在Push-T与Robomimic上提升成功率,新意较明显,但实验规模有限。

Amirhossein Nazerian, Ali Pezeshki, Jianguo Zhao

arXiv cs.CV · cs.LG

From internal representations to model improvement through prediction errors

说明从模型内部表征到预测误差:通过误差选择训练图像以改进模型

简介该论文研究在标注预算有限时如何选择待标注图像。作者利用目标模型自身的内部特征,将其与预测误差及对性能的预期影响联系起来,在不使用候选图像标签的情况下选择图像用于标注和再训练。在目标检测任务的两个数据集上,该方法在多数设置下优于仅基于特征稀有度的选择方法。

Yushi Nakaya, Kenichi Higuchi, Shuichi Ishida

arXiv cs.CV

DiMoP: Diffusion-Driven Motion Representation Learning With Frame-Level Pseudo-Classification for Skeleton-Based Action Recognition

说明DiMoP:基于扩散的运动表征学习与逐帧伪分类,用于骨架动作识别

简介该论文提出DiMoP方法,用于基于骨架的动作识别。它通过对被遮挡关节逐步加噪并以可见关节为条件去噪,学习关节运动的分布,而非直接回归确定坐标,从而兼顾弱、中、强等不同强度的运动。同时引入伪帧分类器,在无人工标注的情况下学习序列一致、时间连贯的伪标签。论文称该方法在NTU RGB+D 60/120与PKUMMD数据集上达到最优性能,其中NTU RGB+D 120跨主体协议下比已有工作高出1.1个百分点。

Shanaka Ramesh Gunasekara, Wanqing Li, Nikalal Kaldera 等

arXiv cs.AI

Just Initialize: A Training-Free Initialization Component for Large-Scale Routing Optimization

说明《Just Initialize》:面向大规模路径优化的免训练初始化组件

简介该论文针对大规模车辆路径等路由问题搜索空间大、求解慢的难题,提出一种免训练、与求解器无关的初始化组件 Just Initialize。它把大规模路由实例压缩到紧凑的替代空间中优化全局路由结构,再还原为原空间中便于后续优化的起始解。论文称在 1K 至 100K 节点的实例上,该方法在旅行商、带容量车辆路径、带时间窗车辆路径和奖励收集旅行商等问题上取得与先进方法相当或更好的解,并显著降低计算成本,平均加速约 70 倍。

Jiale Zhao, Sirui Mao, Zimu Chen 等

★★★★★ 值得关注
arXiv cs.LG · cs.DC

SOLO: Pretraining Billion-Parameter Language Models with Shared-Output Local Learning

说明SOLO:用共享输出局部学习预训练十亿参数语言模型

简介这篇论文提出 SOLO(共享输出局部学习),用一个只读的共享输出副本替代各模块私有的读出层,让每个模块都能获得来自最终模块的信息,同时避免模块间传递梯度。在 340M 至 2B 参数的 Transformer 上、以 15B 词元预训练,SOLO 的平均零样本准确率与反向传播相差在一个百分点以内;使用更大的微批次,其吞吐量最高可达同一划分下流水线反向传播最佳值的 1.44 倍。

看点用共享只读输出头替代私有读出以实现局部学习,在340M至2B参数模型上接近反向传播,并带来最高1.44倍吞吐量,新颖且证据较充分。

Bojian Yin, Shurong Wang, Yuqi Pan 等

arXiv cs.RO · cs.CV

Revision, Not Restart: Revisable Visual Plans for Closed-Loop World-Action Models

说明修订而非重启:面向闭环世界-动作模型的可修订视觉规划

简介该论文提出可修订时序规划(RTP),让机器人在执行中根据反馈修正预测的视觉未来,而不是整体重新开始。方法通过学习到的修订桥接,从视觉生成时保存的中间状态继续,并依据当前观测调整后续内容。在RoboMME和RMBench上,任务平均成功率分别为48.6%和84.8%。

Pengyiang Liu, Junbo Niu, Wenhao Zheng 等

arXiv q-bio.QM · cs.CV

An integrated geometric quantification and shape analysis framework for axillary lymph node metastasis in breast cancer patients

说明乳腺癌腋窝淋巴结转移的几何量化与形状分析框架

简介该论文提出一个结合拓扑感知表面处理与多分辨率球谐分析的框架,用于分析从CT分割重建的腋窝淋巴结形态。处理后得到拓扑有效的亏格为0的表面,并用20类预定义几何特征描述。基于特定特征族的混合分辨率模型AUC为0.918,高于PyRadiomics Shape14基线的0.884。论文还在多中心淋巴结队列和LIDC-IDRI肺结节数据上进行了独立验证。

Zixi Yi, Limeng Qu, Gary P. T. Choi

arXiv cs.AI · cs.LG 有代码

Building Transformation Layers for Riemannian Neural Networks

说明为黎曼神经网络构建变换层

简介本文提出一个在可计算的黎曼空间上构建全连接层和卷积层的框架,用于把欧氏空间中的这两类层推广到非欧几何。该框架把以往多种不同几何上的全连接层作为特例纳入其中,并在十种代表性流形上实例化,包括三种双曲模型、五种对称正定流形几何和两种格拉斯曼视角。作者在不同流形上的实验表明了该方法的有效性与适用性。

Ziheng Chen

arXiv cs.LG · cs.AI

ReSPO: Reshaped Sequence Policy Optimization for Gradient Starvation in Off-Policy Learning

说明ReSPO:面向离策略学习中梯度饥饿问题的重塑序列策略优化方法

简介该论文针对强化学习中重复使用采样数据时出现的梯度饥饿问题,指出截断式策略优化会压制低重要性权重尾部的正向回答,同时放任高权重尾部的过度生成负向回答。作者提出ReSPO,用基于α散度变分目标和指数方差控制的平滑双分支序列级核函数替代截断,并在Qwen3稠密模型和MoE模型上报告了更快的早期优化、更高的训练分数和保留基准表现。

Yihang Chen, Yuanhao Ban, Cho-Jui Hsieh

arXiv stat.ML · cs.LG

Multi-Task Learning of Conditional Mean Operators: applications to dynamical systems and uncertainty quantification

说明条件均值算子的多任务学习:应用于动力系统与不确定性量化

简介该论文研究如何同时学习多组相关条件分布的条件均值算子(CMO),并提出多任务框架MTL-CMO,联合学习共享的函数空间与各任务专属的线性算子。作者还提出迁移方法T-CMO,可复用共享空间以闭式估计新条件分布的算子。实验表明,共享函数空间能改进多种条件分布的不确定性量化,并在Langevin与等离子体动力学中得到保留物理信息的紧凑表示。

Sami Chemlal, Thibaut Germain, R\'emi Flamary 等

arXiv cs.LG · cs.CL

LLMs are General Asynchronous Agents

说明大语言模型可作为通用异步智能体:让模型在思考的同时持续接收新输入

简介当前大语言模型多按"读取、思考、回复或调用工具"的顺序循环工作,而语音助手、具身智能体和监控系统需要边思考边接收新输入。本文提出一个异步大模型框架,允许用户或智能体自身定义共享记忆状态的推理协程。作者称,Qwen 3.x 系列模型无需针对特定任务训练,即可在流式视频理解、电子游戏和监控场景中实现异步运行。

George Yakushev, Denis Mazur, Vladimir Bartenev 等

arXiv cs.LG · cs.AI · cs.CL

Frontier Learning: Training LLM Reasoners at the Edge of Capability

说明前沿学习:在能力边缘训练大语言模型推理能力

简介本文提出“前沿学习”,一种开放式后训练方法,用于提升大语言模型的推理能力。它在训练中在线使用程序化生成器持续产生有信息量的训练题目,并以遗憾信号挑选和探索难度前沿,使训练聚焦于模型能力的边缘。作者称,在多个推理任务和模型系列上,该方法相比固定题库的基线取得了更高的相对增益。

Robin Faro, Shyam Sundhar Ramesh, Ilija Bogunovic 等

arXiv cs.PL · cs.AI · cs.CL

Semantic Prefix Oracles for LLM Decoding: Contracts and Differential Validation

说明面向大模型解码的语义前缀预言机:契约与差分验证

简介本文提出语义语法规范这一声明式形式化方法,在上下文无关文法的解码过程中同时执行作用域、类型和声明效应等语义约束,只剪除无法被任何后续内容修复的前缀。作者给出保证无死路分支的充分条件,并以 ocamlc 和 cc 等编译器做差分验证:在65个合法程序的所有前缀上未出现误剪,在30个非法程序中有25个能在中途定位,而纯语法预言机为0个。

Paul Kronlund-Drouault

arXiv cs.RO · cs.CV · cs.LG 有代码

InJePA: Intention-First Latent Planning with Coupled JEPA World Models for Visual Navigation

说明InJePA:基于耦合JEPA世界模型、以意图为先的视觉导航潜在规划

简介该论文提出InJePA,一种以潜在状态为核心、先提出意图再生成动作的视觉导航规划方法。目标条件JEPA提出潜在意图,动作条件JEPA预测未来潜在状态,两者在共享潜在空间中对齐,形成意图、动作与后果的闭环。作者在Habitat MP3D中通过闭环图像目标导航进行评估,结果显示该方法实现了有效的多步导航,并在多种编码器上表现出适用性。

Siming Zhou, Bowen Ma, Ruiran Du 等

arXiv cs.CV

Automated Species Identification in Camera Trap Images for Wildlife Conservation

说明相机陷阱图像中的野生动物自动物种识别

简介该论文提出一种端到端框架,用于在低对比度相机陷阱图像中识别物种,尤其是小型动物。框架结合Swin-BiFPN骨干网络与Faster RCNN检测网络,并引入基于LLaVA v1.5(13B)多模态大模型的视觉语义提取模块,以支持零样本检测并提供动物行为线索。作者用传统NLP指标和LLM评审对五个多模态大模型进行了评估。

Nowshin Amin, Nafisa Tabassum Oyshi, Tahmid Abrar Zidan 等

★★★★☆ 值得关注
arXiv math.OC · cs.LG · stat.ML

Convex Optimization Is Free When Accuracy Is Expensive

说明当精度代价高昂时,凸优化的成本反而更低

简介本文研究梯度只能近似计算、计算量随精度呈 δ^(-γ) 增长时的凸优化问题。作者提出随机多层次预言机,用无偏估计代替确定性近似,从而把单次调用成本降到 δ^(2-γ)σ^(-2)。在凸情形下,该方法达到损失 ε 的期望计算量为 Θ(ε^(-γ)),优于固定精度下的 Θ(ε^(-(γ+1)));在 μ 强凸条件下指数减半为 ε^(-γ/2)。

看点提出随机多层预言机,把凸优化成本从固定精度的δ^{-(γ+1)}降至ε^{-γ},并给出强凸情形的界,理论贡献显著。

Arthur Paing, Arthur Jacot

arXiv cs.CV

When Should the Count Change? Learning State Maintenance for Causal Video Counting

说明何时计数应当变化?学习因果视频计数的状态维护

简介论文提出StaMina(状态维护)方法,用状态条件更新来维护视频计数的状态,区分新观察、新物体和已完成事件。作者在SVCBench上评估,在前缀回放(Full)和持续流式(Stream)两种设置下,4B和8B模型的高斯精度分别达到41.9/36.4与44.9/38.2,其中8B模型相较Counting-SFT在相同查询上有所提升。

Pengyiang Liu, Dongyue Lyu, Junbo Niu 等

arXiv cs.RO · cs.CV · cs.SY

Adaptive Safety Filtering for Frozen ACC Policies via Conformal Residual Calibration

说明基于共形残差校准的冻结自适应巡航策略安全过滤

简介论文针对训练后固定不变的自适应巡航控制(ACC)策略,在部署工况与训练不同时可能违反约束的问题,提出残差感知共形动作过滤方法(RACF)。该方法对固定名义预测器的残差进行校准,并将其分位数转换为动作投影的运行裕度,无需重新训练策略。在2400个控制器试验单元的对比中,自适应RACF的回合安全率为94.3%,高于名义CBF-QP基线19.9个百分点,投影频率也有所降低。

Zhiruo Zhou, Rigaudiere Z. Li, Chen Xiwen 等

arXiv cs.AI · cs.CL · cs.MA 有代码

Self-Adapting Group of Experts for Multi-Agent Reasoning

说明自适应专家群组:面向多智能体推理的无训练框架

简介论文提出SAGE(自适应专家群组),一种无需训练的多智能体推理框架。它利用答案一致性、前缀一致性和互评机制选出最适合当前问题的策略提供者,并将其推理策略迁移给其他智能体,同时保留各自的角色。实验表明,在多种智能体骨干模型和推理基准上,SAGE的平均准确率高于所比较的基线方法。

Mohammad Atif Quamar, Nurbek Tastan, Karthik Nandakumar 等

arXiv cs.SD · cs.AI

GLAD: Global-Local Adaptive Detector for Robust Speech Deepfake Detection

说明GLAD:用于稳健语音深度伪造检测的全局-局部自适应检测器

简介本文针对基于自监督学习的语音深度伪造检测器在未见领域泛化差、易忽略细粒度伪造痕迹的问题,提出全局-局部自适应检测器GLAD。该方法通过层次化全局-局部主干网络融合全局语义与局部信号细节,并用分层自适应门控机制按样本动态调整各层权重,同时引入SaniBoost数据增强以减少环境偏差带来的捷径学习。实验表明GLAD优于现有方法,在未见领域上提升尤为明显。

Zelin Zhao, Guanjie Huang, Danny Hin Kwok Tsang 等

arXiv cs.CV · cs.AI

Spectral Super-Resolution using Spatial-Spectral Residual Operator Networks

说明基于空间-光谱残差算子网络的光谱超分辨率

简介该论文把多光谱卫星影像转换为高光谱影像的任务(光谱超分辨率)视为算子学习问题,提出了SSRON深度算子网络,用于学习从降采样光谱到连续光谱的函数映射。模型在类Sentinel-2A多光谱影像到EMIT影像的任务上训练,各项指标均优于基线模型,并能预测训练中未见过的波段,同时显示出估计更细波长间隔光谱的潜力。

Seokhyun Chin

arXiv cs.CL · cs.AI

AwarenessBench: Assessing Cognitive Capabilities of Language Models

说明AwarenessBench:评估语言模型认知能力的基准测试

简介本文提出 AwarenessBench,这是首个从元认知、自我意识、社会意识和情境意识四个维度评估语言模型认知能力的综合基准,涵盖 15 项认知功能和 14,381 个样本。作者评测了 18 个先进语言模型,结果显示它们都稳定优于随机基线,且越先进的模型表现越好。与三个人口群体的人类表现相比,表现最佳的模型整体超过人类平均水平,但多数模型在元认知和自我意识方面仍明显不足。研究还指出,语言建模或推理能力的进步不一定能转化为认知能力的提升。

Xiaojian Li, Rongwu Xu, Tianyun Zhang 等

arXiv cs.CV

BiMoGen: Bidirectional Motion-Text Generation via Unified Masked Discrete Diffusion

说明BiMoGen:基于统一掩码离散扩散的双向动作-文本生成

简介该论文提出BiMoGen框架,用统一的掩码离散扩散模型同时完成文本生成人体动作与动作生成文字描述两项任务。为稳定训练,作者设计了解耦的单模态与跨模态训练,并引入生成感知的自我修正机制以缓解训练与推理之间的偏差。论文报告了在HumanML3D和KIT-ML数据集上两项任务均具有竞争力的结果。

Wanjiang Weng, Yongliang Wu, Xiaofeng Tan 等

arXiv cs.CV

Reduce, Then Encode: Multiscale Volumetric Reduction for 2D Foundation Models in Brain MRI

说明先降维再编码:面向脑部MRI二维基础模型的多尺度体数据降维方法

简介该论文针对脑部结构MRI三维数据,研究如何利用预训练的二维基础模型。作者提出多尺度体数据降维方法MVR,先将每个解剖视图的切片压缩为少量二维分量(包括基于主成分分析的基础分量和多尺度残差细节分量),再由冻结的二维基础模型编码。在冻结编码器的设置下,该方法在ADNI、OASIS和ABIDE数据集上整体表现较好,并能从ADNI泛化到AIBL。

Dexuan Ding, Yuankai Qi, Bogong Wang 等

★★★★☆ 值得关注
arXiv cs.LG · cs.MA

Persistent Partners Raise Prices Among Learning Agents

说明持久合作伙伴使学习型智能体抬高价格

简介该论文研究在平台上反复相遇的定价智能体:平台决定谁与谁相遇,这一选择是否会改变智能体学到的价格。实验基于Calvano等人的伯川德双寡头模型,价格由表格式Q学习模块决定,并随机设定是否保留固定伙伴、能否看到对手价格及能否发送消息。结果显示,保持同一伙伴使训练期间平均利润水平提高了竞争与垄断利润差距的0.27(95%置信区间0.20至0.35)。

看点通过预注册随机实验揭示固定合作伙伴会抬高学习型定价代理的价格,并区分惩罚与静态最优应对,证据较充分,对算法共谋研究有参考价值。

Paul-Peter Arslan, Yubin Kim, Xiao Xiao

arXiv cs.LG

KernelOnet: An Interpretable Neural Operator Based on Kernel Functions

说明KernelOnet:基于核函数的可解释神经算子

简介本文提出一种可解释的神经算子框架KernelOnet(核算子网络),将核函数显式地纳入神经算子结构,使其与边界型核展开方法的形式相匹配。该框架提供三类核:可从数据学习的核、嵌入物理信息的核以及混合核。在三个基准问题和一个浅水波导工程问题上,KernelOnet取得了较高精度。

Yuan Guo, Hanshu Chen, Qiang Xi 等

arXiv cs.AI · physics.geo-ph

Structural Alignment for Reliable Industrial AI: Bridging Physical Reality, Data, Models, and Human Intent

说明面向可靠工业AI的结构对齐:连接物理现实、数据、模型与人类意图

简介本文提出一个框架,将工业AI的可靠性视为物理、表示、机器和人类认知四个相互作用领域之间的结构对齐问题,并通过数字化和目标编码两个接口相连。作者用存在性、非唯一性、鲁棒性和可解释性刻画解空间,说明接口处的错配如何传播并导致可靠性故障。论文以医疗、能源电网和地下勘探为例,认为不同领域的主要失效模式各异,但源于同一结构机制。

Lizhi Xiao, Sihong Wu, Victoria Xiao 等

arXiv cs.CV 有代码

Rethinking Visual Token Compression for Video Large Language Models: A Simple Yet Strong Baseline

说明重新思考视频大语言模型的视觉令牌压缩:一个简单而有力的基线方法

简介视频大语言模型处理长视频时会产生大量视觉令牌,推理效率受限。本文提出 SimpleCluster,一种无需训练的基线方法,在视觉特征空间中进行考虑位置的跨帧聚类,并用每个簇的原始视觉特征均值来表示该簇。在四个视频理解基准和三个代表性视频大语言模型上的实验显示,它在多种令牌保留比例下与近期压缩方法表现相当或更优,在极低保留率(如 1%)下尤为稳健。分析表明,下游性能越好,越能保留原始视觉特征分布,尤其是其全局覆盖范围。

Xiao Zhang, Wang Zeng, Sheng Jin 等

arXiv cs.LG · cs.AI

The Hidden Ratio in Adam: Stable Structure, Compression, and Sign Dynamics

说明Adam 中的隐藏比率:稳定结构、压缩与符号动态

简介本文研究深度学习常用优化器 Adam 在两个指数滑动平均衰减率相等(tied-β)时的自适应行为,发现其可用一个近似尺度稳定的变换比率来描述,该比率在不同任务、模型规模和训练阶段中分布稳定。基于此,作者提出可将二阶矩替换为可压缩状态的重参数化方法,并称在其实验中固定的 4 比特码本即可存储该状态,性能与全精度 Adam 相当。此外,该视角也揭示了 Adam 与符号类方法之间的联系。

Yihe Zhou, Tongtian Zhu, Yingxiao Huo 等

arXiv cs.MA · cs.AI

Embodied Semantic Communication for Collective Autonomous Agents: A Tutorial on Representation, Wireless Delivery, and Closed-Loop Coordination

说明面向集体自主智能体的具身语义通信:表示、无线传输与闭环协同教程

简介本文提出具身语义通信(ESC)范式,将信息传输转化为面向行动的语义交互,使异构智能体能基于共享信息协调行动。文章界定其概念边界与系统特征,梳理语义信息论、世界模型和多智能体决策论等数学工具,并总结可测量语义可靠性、动态环境下歧义触发交互及带宽自适应传输等开放挑战。

Yizheng Huang, Wensheng Lin, Lixin Li 等

arXiv cs.LG

Inductive Feedback for Mixed-Policy Distillation

说明面向混合策略蒸馏的归纳反馈方法:利用语言反馈训练语言模型的新技术

简介论文研究如何用大模型给出的文字反馈来改进语言模型的训练。作者指出,标准的同策略蒸馏方法会带入教师模型自身的偏好,同时没有充分利用反馈的指导。为此,他们把反馈视为支持或反对某个词出现的证据,并设计了新的目标分布和对称散度估计方法。实验显示该方法在知识类和智能体类基准上优于常用方法。

Amir Moeini, Huaijiang Zhu, Daniel Havir 等

arXiv cs.CL

TRACE: Single-Pass Decoding-Trace Risk Localization for Generation Calibration

说明TRACE:面向生成校准的单次解码轨迹风险定位方法

简介该论文提出 TRACE,一种单次前向、保留解码答案的置信度估计方法,把解码过程中的不确定性视为轨迹,记录逐词惊讶度和预测熵,再定位局部风险并转化为答案级置信度。其校准版 TRACE+ 仅用保留划分的数据进行概率校准,无需额外生成或外部验证器。在四项任务和七个大语言模型上,TRACE+ 的 Brier 分数和 AUROC 均优于基线方法。

Yuebin Xu, Xuemei Peng, Junlan Chen 等

arXiv cs.CV · cs.AI

GeoForward: Geometry-Guided Cross-View Alignment for Feedforward 3D Gaussian Splatting

说明GeoForward:面向前馈式3D高斯溅射的几何引导跨视角对齐方法

简介该论文提出一种新的前馈三维重建范式,先利用稀疏激光雷达点和标定相机的几何关系建立跨视角对应,再由视觉特征进行细化,并与VGGT的多视角全局上下文融合,用于预测深度与高斯属性。在nuScenes上,该方法在跨相机深度一致性误差和Chamfer距离上优于对比方法,同时保持有竞争力的重建质量。

Yiming Shu, Peng Sun, Lang Zhang 等

arXiv cs.SE · cs.AI

MCP Error Messages Written for Developers Hurt the Most Capable Agents Most

说明为开发者编写的 MCP 错误信息,最伤能力最强的智能体

简介该论文分析了150个常用 MCP 服务器的3001条错误信息,发现949条给出后续操作指引,其中约一半依赖服务器无法获知的调用方信息。作者用 OpenAI 五个模型在伯克利函数调用排行榜任务中测试,发现按指引执行(如终端命令)会降低任务恢复率。论文提出两种改进:MCP 开发者在指引中指明具体工具,智能体开发者则可用提示词忽略这些指引。

Xiaonan Xu, Wenjing Wu

arXiv cs.LG

Identifying Neural Source Dynamics from Unknown Local Interventions

说明从未知的局部干预中识别神经源动力学

简介脑电图(EEG)记录的是多个脑源活动的混合信号,即使已知解剖正演模型,仅激发部分源状态时动力学仍无法确定。本文提出,未知的局部机制变化可以提供缺失的信息:改变某个源在一次转移中的更新规则,会在随后的脑电信号中留下秩一的源特异性特征。研究给出了充分的恢复条件和估计方法,并在基于磁共振成像解剖结构的仿真中验证,在12个源坐标中仅4个受基线激发的情况下,8次未知变化即可在32/32个系统中恢复全部动力学。非局部变化和正演模型误差会限制精度。

Ayana Mussabayeva, Jiaqi Sun, Anuar Aimoldin 等

arXiv cs.CL · cs.AI

Multilinguality in Hybrid Attention LLMs

说明混合注意力大语言模型中的多语言能力研究

简介本文首次研究混合注意力结构对大语言模型多语言能力的影响,混合注意力结合了完整注意力与基于循环的替代机制。研究发现,跨语言表示的形成与循环层和完整注意力层的排列顺序有关,且在第一个完整注意力层附近跨语言对齐出现明显提升。在多语言数据的蒸馏实验中,其他层排列方式在整个训练过程中均优于标准排列,学习速度最高可达2.5倍,作者据此提出多语言模型可能从完整注意力层开始更有利的观点。

Lucas Bandarkar, Junlin Hu, Chenyuan Yang 等

★★★★☆ 值得关注
arXiv cs.LG · cond-mat.dis-nn

First Learn, Then Memorize: The Spectral Bias of Diffusion Models

说明先学会,再记忆:扩散模型的谱偏置

简介论文研究在有限数据集上训练的扩散模型为何先学会生成新样本,之后才逐渐记住训练集。作者指出,训练动态由神经正切核(NTK)在带噪训练数据上的 Gram 矩阵谱决定,多次加噪使谱分成两部分:大特征值对应泛化,最小特征值对应记忆,且记忆时间尺度随样本数增加而变长。作者通过理论分析与 CelebA 上的实验验证了这一结构,并表明截断 Gram 矩阵的秩或用 L2 惩罚抑制第二部分,可以调节泛化与记忆的转变。

看点用NTK Gram矩阵谱的两段结构解释扩散模型先泛化后记忆的时间尺度,理论与CelebA、U-Net实验相互印证,并给出因果干预。

Rapha\"el Urfin, Tony Bonnaire, Giulio Biroli 等

arXiv cs.CL

How Well Can LLMs Simulate Real Learner Evaluations of Educational Feedback?

说明大语言模型能多大程度模拟真实学习者对教育反馈的评价?

简介该论文研究大语言模型能否模拟真实学习者对高中生物题反馈的主观评价,分别在群体和个体层面进行比较。研究对比了六个模型在有无学习者个性特征和评价示例等信息下的表现。结果显示,大语言模型模拟学习者评价的能力仍然有限;提供学习者画像和示例能改善评分校准和个体层面的模拟,但通常难以提升群体层面的一致性。

Momoka Furuhashi, Kouta Nakayama, Takashi Kodama 等

arXiv cs.RO · cs.AI

From Pixel to Poses: Object-centric Tool Manipulation Learning from Human Demonstrations

说明从像素到位姿:基于以物体为中心、从人类示范中学习工具操作

简介机器人操作的规模化受限于真实机器人数据稀缺,现有方法利用人类视频示范,但计算成本高,且仍需成对的人机数据进行域对齐。本文提出P2P-T框架,直接从人类示范学习工具使用,分两阶段:先预训练以物体为中心的世界模型提取稳定的位姿先验,再将其整合进高效的位姿感知底层策略。该框架无需人机对齐数据,在复杂真实工具操作任务上,相较先前最优方法执行性能提升73%。

Bangjun Wang, Longyan Wu, Yukun Wei 等

arXiv cs.CL · cs.NE

Deep Learning Methods in Neuroscience: From Modeling Molecular Mechanisms to Classifying States of Consciousness

说明深度学习在神经科学中的应用:从分子机制建模到意识状态分类

简介这是一篇综述性论文,批判性地分析了当前研究意识状态的方法,涵盖分类、聚类、麻醉下脑状态建模以及可测量的神经生物学特征识别。作者比较了基于EEG和fMRI的神经网络意识状态自动检测、麻醉药作用下脑结构-功能动态建模,以及与意识水平相关的神经生理指标。结论显示深度神经模型在脑状态分类预测上日益有效,但也存在模型可解释性有限、缺乏标准化指标和意识标志物特异性等问题。

Elena Benderskaya, Anastasiia Alifanova, Svetlana Batalova 等

arXiv cs.AI

A decision-support system applied to Law: Reasoning and explainability of the decision

说明一个应用于法律领域的决策支持系统:决策的推理与可解释性

简介论文提出一个框架,将法规中的形式化规则用于决策支持,主要面向执法机构处理数据时的合规判断。框架采用符号化人工智能与SPARQL查询语言进行法律推理,并设计了生成推理结论理由的算法。当推理无法得出满意结论时,论文还基于决策树确定应向用户请求哪些补充信息。

Jeremy Bouche-Pillon (IRIT, IRIT-MELODI, IRIT-ADRIA 等

arXiv cs.CV

Ego-Forge: Text and Geometric-Attention Free Exo-to-Egocentric Video Generation

说明Ego-Forge:无需文本与几何注意力的第三人称到第一人称视频生成

简介该论文研究如何根据第三人称视频和目标头部轨迹,生成从人物自身视角看到的第一人称视频。作者提出Ego-Forge框架,用模型隐藏状态动态生成条件信号以替代外部文本描述,并通过扩大训练规模、利用全部外部视角来隐式学习跨视角对应,从而去掉几何引导注意力,只保留轻量深度先验。论文称其在Ego-Exo4D上达到当前最优性能,推理更快,无需额外标注,并能泛化到真实场景。

Mohammad Mahdi, Luc Van Gool, Danda Pani Paudel

arXiv cs.CL 有代码

From Input to Output: A Flexible Agent for Dual-End Interpretation of Sparse Autoencoder Features

说明从输入到输出:用于稀疏自编码器特征双端解释的灵活智能体

简介论文提出“功能解释”概念,把稀疏自编码器(SAE)特征看作从激活输入语义到干预后输出效应的映射,并提出双端智能体DAFI(Dual-End Agentic Feature Interpretation),主动收集证据并分别迭代优化输入端、输出端和功能层面的解释。在GemmaScope上,DAFI的输入得分和输出得分分别优于SAGE和Token Change,且比通用编码智能体更省token。论文还报告了技能蒸馏、迁移及在AxBench上改进转向特征选择的结果。

Dewen Liu, Zixuan Li, Jonathan Pan 等

arXiv cs.LG · cs.AI

Do Temporal Link Predictors Need Learned Memory? A Smoothed-Count Baseline with a Handful of Parameters

说明时序链接预测是否需要学习型记忆?一个仅含少量参数的平滑计数基线

简介许多时序链接预测模型通过学习到的节点表示来概括过去的交互。本文提出一种基于统计语言建模的时序链接预测方法,汇总各源节点的转移与共现计数,并用目标节点频率或Kneser-Ney续接计数平滑稀疏估计,结合热度、源节点历史和近期性,无需节点嵌入。在TGB与TGB-Seq的16个数据集上,该方法在7个数据集上取得最高MRR,并在多数对比基线上表现更优,仅有9至13个可学习参数,可作为评估神经时序链接预测模型的简单基线。

Lisi Qarkaxhija, Ingo Scholtes

arXiv cs.LG · cs.AI 有代码

d-OPD: Future-Aware On-Policy Distillation for Block Diffusion Language Models

说明d-OPD:面向块扩散语言模型的未来感知在线策略蒸馏方法

简介该论文针对将自回归大语言模型蒸馏为块扩散语言模型时的监督不匹配问题,提出 d-OPD 方法。其通过在每个块内融入可见的未来信息来修正自回归教师分布,使监督信号与学生模型所用信息更一致。作者称在 Qwen3 0.6B 至 8B 模型上,六项基准平均分较 OPDLM 最多提高 4.0 分,训练时间缩短 1.35 至 1.58 倍。

Ruitao Liu, Qinghao Hu, Song Han

arXiv cs.LG · cs.AI · cs.NE

Graph neural networks for sampling-invariant embeddings of organized signal sets

说明用于有序信号集、与采样无关嵌入的图神经网络

简介传感器网络和雷达得到的信号常以有序集合形式出现,且各信号的采样参数可能不同。本文研究用神经网络编码器,把采样不一致的信号集映射到固定大小的向量空间,使其能不受采样差异影响地进行处理。实验仅使用合成的复值射频信号,评估这种表示在区分波形(信号分离)方面的效果。

Martin Bauw, Santiago Velasco-Forero (CMM), Jesus Angulo (CMA)

arXiv cs.SE · cs.AI · cs.CL

Do Coding Agents Reuse Existing Code or Reinvent the Wheel?

说明编码智能体是复用已有代码,还是重复造轮子?

简介本文提出 RepoReuse,一个用于检验真实代码仓库中代码复用情况的多轮评测基准,需求逐轮给出,工作区跨轮次累积。论文对 3000 个轮次进行审计,发现智能体逐渐减少探索仓库中的相关代码,较少复用自身历史代码,到第 5 轮时有 50.8% 的任务链存在重复逻辑,而通过率几乎没有变化。

Dongsheng Ma, Sizhe Wang, Xinyi Huang 等

arXiv cs.AI

Don't Inoculate Everything: Stratified Inoculation Prompting Narrows Backdoor Triggers and Preserves Desired Traits

说明不要对所有数据都做免疫提示:分层免疫提示可缩小后门触发范围并保留期望行为

简介该论文研究在微调语言模型时,如何同时学会期望行为和不良行为。作者提出分层免疫提示(SIP),对少量干净样本在多种非诱导提示下过采样,其余样本则施加免疫提示。结果显示,相比原有的免疫提示(IP),SIP能明显减少不良行为的出现,同时保留更多期望行为。

Kajetan Dymkiewicz, Tim Farrelly, Adam Prada 等

arXiv cs.LG

Fiona: Accelerating FHE Inference with Packing-Aware Ternary Weights

说明Fiona:利用感知打包的三值权重加速 FHE 推理

简介全同态加密(FHE)可以在密文输入上直接进行神经网络推理,但速度仍远慢于明文推理。本文提出 FIONA,一种离线优化器,在给定的打包布局内有选择地将权重三值化,并保留敏感组的全精度权重,同时降低多项式深度与自举次数。在 VGG11、ViT 和 BERT 上,FIONA 将明文-密文乘法操作减少 53.4%–79.5%,端到端加密推理分别加速 2.38 倍、1.68 倍和 1.84 倍,三个模型的精度损失均小于 1%。

Yiteng Peng, Zhibo Liu, Dongwei Xiao 等

arXiv cs.LG

Interference Beyond Geometry in Concept Extraction

说明概念提取中超越几何结构的干扰

简介论文提出“有效干扰”概念,结合特征几何与编码统计,以刻画实际发生的特征相互作用,区分建设性与破坏性干扰。作者在局部固定支撑假设下,分析了正交化、偏置补偿、增益自适应和编码器-解码器分离四种架构机制如何影响干扰。基于稀疏自编码器的实验表明,受约束的架构能选择性地减少共激活特征之间的重叠,而偏置、增益和编码器自由度则允许建设性交叉贡献保留。

Val\'erie Costa, Bahareh Tolooshams

arXiv cs.AI · cs.CL · cs.LG

Jailbreaks for Black-Box Uncertainty Quantification in Large Reasoning Models

说明面向黑盒大型推理模型不确定性量化的越狱式方法(J4U)

简介大型推理模型经强化学习对齐后常出现过度自信,而线上环境往往无法获取 logits。本文发现,既有黑盒方法(如基于改写的自洽性与置信度口述)相比简单重复采样几乎没有改进,提出提示层面的松弛算子以拓宽输出分布,并提出 J4U 方法。在 3 个数据集、4 个推理模型(含一个闭源模型)上,J4U 相比重复采样的提升在更多设置中达到统计显著,平均 ECE 降幅更大。

Lucas Biechy, C\'edric Eichler, Adrien Boiret 等

arXiv cs.LG · cs.NA · math.NA

Quasi Linear Kernel Attention with Infinite Capacity

说明具有无限容量的准线性核注意力:一种可在长序列上以近似线性成本运行的注意力机制设计

简介标准 Transformer 的 softmax 注意力计算量随序列长度呈二次增长。本文提出用“容量”衡量核函数的表达能力,即注意力矩阵能近似单位矩阵的最大序列长度。作者指出 softmax、Gauss、Laplace 核具有无限容量,而常见的准线性核容量有限,并提出由单变量样条与多项式指数核构造的加性核,证明其保持无限容量且可通过排序实现准线性计算。

Nicolaj Rux, Johannes Hertrich, Sebastian Neumayer

arXiv cs.LG · cs.AI

From Data to Program: Fast & Direct Generative Program Inference from Empirical Data

说明从数据到程序:基于经验数据的快速直接生成式程序推断

简介论文提出PRODiGI,一个预训练的数据到程序模型,可在一次前向传播中从有限样本推断出可执行的显式生成程序。该程序可直接用于采样、密度与得分评估,且无需依赖预训练模型即可检查。作者还提出程序空间微调,在保持模型参数不变的情况下调整程序参数,使生成样本与经验样本更接近。

Simon Kl\"uttermann, Xueying Ding, Leman Akoglu