AI 算法 · 2026年10月16日(周五)

机器学习、人工智能、自然语言处理、计算机视觉、多智能体。

arXiv cs.AI

Functional Welfare for AI Safety

说明面向AI安全的功能性福祉:把模型的类福祉状态当作安全变量

简介本文认为,AI福祉通常只被当作伦理问题,但模型中存在影响其行为的类福祉状态,即作者所称的功能性福祉,也应被视为安全变量,纳入评估设计、监测与后训练目标。作者提出三项检验标准,用于判断某项功能性福祉归因是否成立。在Gemma 3 27B上的初步实验显示,仅拒绝模型的答案就会提高其挫败感指标并增加违规可能;用其自身叙述的解法做微调则能降低这种挫败感。作者表示结果尚属初步。

Rikhil Jhaveri, Jamie Johnson, Punya Syon Pandey 等

arXiv cs.CL

Hy-Memory-30B-A3B: Attributed Reinforcement Learning for Long-Term Memory Writing

说明Hy-Memory-30B-A3B:面向长期记忆写入的归因强化学习模型

简介这篇论文提出 Hy-Memory-30B-A3B,一个用于语言模型外部长期记忆写入的紧凑模型,决定保留什么信息、如何表示并更新记忆状态。作者通过跨 Mem0、MemOS 和 Hy-Memory 等框架的蒸馏与强化学习进行训练。在固定的 20% 基准子集上,该模型在四个评测框架中均排名第一,宏平均分为 55.49%,高于 Claude Opus 5 的 54.62%。

Tianxiang Fei, Jiazheng Kang, Mao Zheng 等

arXiv cs.AI · cs.CL

HTN-Orchestrate: A Hierarchical Task Network Framework for Multi-Agent Orchestration

说明HTN-Orchestrate:面向多智能体编排的分层任务网络框架

简介该论文提出 HTN-Orchestrate,一个用于协调多个智能体完成复杂任务的两层框架,借助分层任务网络区分全局规划与局部执行。规划器维护子任务的层级与依赖关系,并在前置结果可用后再进行分解;局部编排器负责调度执行叶子子任务。在五个基准测试中,该框架使用相同基础模型,在 BrowseComp 上准确率为 89.73%,在 SUPERChem 上为 73.44%,分别比 Agent Team 高出 2.45 和 4.69 个百分点。

Yanchen Deng, Jianguo Huang, Yao Long Teng 等

arXiv cs.AI · cs.CL

AutoSFT: An Agentic System for Automated Data Research in Supervised Fine-Tuning

说明AutoSFT:用于监督微调数据研究自动化的智能体系统

简介本文提出 AutoSFT,一个多智能体系统,用于自动化监督微调(SFT)中的训练数据研究。元智能体将执行与分析分离,汇集多个独立角度的提议,并在现有数据池无法覆盖时调用合成子智能体。实验显示,各组件依次加入都有提升,分析子智能体使 IFEval 提升 6.5 分,合成环节再增加 3.4 分(IFEval)和 2.9 分(IFBench),并可迁移到代码任务。

Bingxiang He, Pengqi Sun, Shihao Peng 等

arXiv cs.AI

Terminal-RSI: Recursive Self-Improving Terminal Agents via Recursive Self-Rewrite and Policy-Refine

说明Terminal-RSI:通过递归自重写与策略精修实现的递归自我改进终端智能体

简介该论文提出Terminal-RSI,让终端智能体在递归自重写已验证轨迹与继承评论家的递归策略精修之间交替迭代,并配合专门设计的奖励与优势估计方法。基于Qwen3.8-27B经五个阶段训练得到Terminal-RSI-27B,在多个Terminal-Bench版本及LHTB、SWR100等基准上报告了成功率与过程奖励的提升。

Junyao Yang, Zongxia Li, Yucheng Shi 等

arXiv cond-mat.dis-nn · cs.LG · cs.NE

Attention over noisy examples: generalization and memorization in the exponential Hopfield network

说明噪声样本上的注意力:指数型Hopfield网络中的泛化与记忆

简介该论文研究指数型Hopfield网络如何从仅以噪声样本形式出现的原型中进行检索。作者以未标注样本作为键,分析一步softmax注意力的行为,给出与未见原型重叠度的闭式表达,并指出注意力熵在其中替代了数据集熵。在不同温度区间,网络分别表现为原型丢失、记忆最近训练样本或汇聚同类样本实现泛化。

Francesco Alemanno

arXiv cs.CL · cs.AI · cs.NA

Change the Number, Change the Answer: Assessing Rating Scale Sensitivity in LLM-Based Text Scoring

说明改变数字,改变答案:评估基于大语言模型的文本打分对评分量表的敏感性

简介本文研究大语言模型在文本打分时,评分量表的设计(连续或有序、3/5/11/21点、有符号或无符号)会如何影响结果。作者区分了数值敏感性和语义敏感性,并在三项任务、两种提示策略和五个模型上进行实验。结果显示,改变一个量表设计要素平均使归一化分数变动约0.10,约20%的文本类别发生改变;毒性任务的敏感性最高,基于评分细则的提示也未降低敏感性。

Wonjeong Jo, Gyuwan Kim, Ming Shan Hee

arXiv cs.CV · cs.CL

EVA-Cap: Optimizing Audiovisual Video Captioning via Event-Centric Alignment

说明EVA-Cap:通过以事件为中心的对齐优化视听视频字幕生成

简介该论文提出EVA-Cap框架,将视频字幕拆分为原子级视听事件,把非结构化文本监督转化为以事件为中心的对齐。模型先经监督微调,再用GRPO优化全局事件完整性、事件内归属和事件间同步三个目标,并基于自建的EVA-Data数据集训练。实验显示其在以事件为中心的评测(如ChronusAV上平均提升9.0%)中明显优于现有方法,在通用视听字幕基准(如WorldSense上提升3.3%)上也具竞争力。

Jiapeng Shi, Qiuxia Hou, Jiaqi Leng 等

arXiv cs.RO · cs.AI · cs.LG

Whole-Body Dexterity

说明全身灵巧操作(Whole-Body Dexterity):用机器人身体各部位接触并操控物体

简介该论文提出一种通用框架,让人形机器人用手臂和躯干等全身部位作为接触面来抓取和搬运大型物体,而不只依赖末端执行器。研究先生成可行的全身抓取数据集,再通过强化学习训练专家策略并蒸馏为单一策略。在真实的 Unitree G1 机器人上,该策略可零样本迁移,完成篮球和纸箱的重新定位以及长时序搬运任务,成功率为 90%,明显高于直接重定向(18%)和通用全身控制器(4%)。

Conor Mc Gartoll, An Dang, Pranay Thangeda 等

arXiv cs.CV

LAMP: Layerwise Adaptive Mixing of Predictors for Training-Free Few-Shot Vision-Language Adaptation

说明LAMP:无需训练、逐层自适应混合预测器的少样本视觉-语言适配方法

简介论文提出 LAMP 方法,在不训练的前提下,把冻结编码器多个中间层的全局与区域信息结合起来,用于少样本分类。方法利用带标签的验证数据在类别分数空间中选择各层预测器的混合比例,无需学习投影层。实验覆盖 11 个数据集及 ViT 与 ResNet 骨干网络,结果显示多层整合是主要的提升来源。

Zhipeng Ye, Feng Jiang, Qiufeng Wang 等

arXiv cs.LG

LCT: Losslessly Compressed Tensors with GPU friendly execution for Training

说明LCT:面向训练的无损压缩张量及GPU友好执行框架

简介本文提出无损压缩张量框架LCT,用于训练过程中反复编码与解码张量的场景。它利用浮点数据的冗余,并通过预计算码本的霍夫曼编码GPU内核降低开销。在162M参数的NanoGPT上,内存减少24.6%,单步时间增加7.2%;在Qwen3-4B微调中,峰值内存最多节省23.8%,同一GPU上上下文长度可扩大3.5倍。

Max Zhu, Bohang Sun, Pietro Lio 等

★★★★☆ 值得关注
arXiv cs.RO · cs.CV · cs.LG 有代码

REKI: Registering Knowledge in VLAs

说明REKI:在视觉-语言-动作模型中注册记忆

简介该论文提出 REKI,一个仅用公开数据预训练、参数量约 24 亿的视觉-语言-动作模型(VLA),由视觉语言模型与流匹配动作专家组成。模型通过少量寄存器令牌保存每帧的历史信息,以较低成本为策略提供近期记忆。作者称其在多个基准上性能仅次于约两倍规模的模型,并报告记忆机制提升了仿真与真实机器人上的成功率,并使姿态振荡约减少为原来的四分之一。

看点在VLA中加入寄存器令牌作为低成本记忆,并以较小模型取得接近更大模型的表现,实验覆盖仿真与真机,证据较充分。

Juliette Marrie, Paul Pacaud, Adrien Ramanana Rahary 等

arXiv cs.CV · cs.AI

Motion- and Gravity-Aware Feedforward 3D Reconstruction

说明基于运动与重力感知的前馈式三维重建

简介该论文针对多视角三维重建中的前馈Transformer模型在动态场景和几何线索较弱时表现不佳的问题,提出一种运动与重力感知框架。训练阶段以残差光流和重力方向作为特权信息辅助几何表征学习,推理时只输入标准视觉数据。实验显示在动态物体、结构模糊和复杂相机运动场景中,重建精度和鲁棒性均有提升。

Shiyao Qian, Yuan Ren, Dongfeng Bai

arXiv cs.CL · cs.AI · cs.LG

Mosaic: Multi-Session Agentic Reinforcement Learning

说明Mosaic:多会话智能体强化学习

简介现有智能体强化学习方法大多假设轨迹只包含单个会话,而上下文压缩、子智能体分叉等技术会使轨迹跨越多个会话。论文提出多会话智能体强化学习设定,并提出无需评论家的分层优化方法Mosaic,在轨迹层面引入会话使用信号,在会话层面依据估计的边际贡献调整优势。在BrowseComp上用Qwen3.5-4B的实验显示,Mosaic在两种场景下都优于广播式做法,且平均使用的会话更少。

Yilong Xu, Minrui Xu, Xinyu Zhou 等

arXiv cs.SI · cs.CL

High prevalence of antagonizing rhetoric in trending topics on Twitter/X

说明推特热门话题中对立修辞普遍存在

简介本文研究政治分歧的表达方式:一是将对手敌对化,二是批评对手。作者提出计算方法识别文本中这两类修辞及其目标,并用德国推特热门话题中超过1700万条推文进行分析。结果显示约三分之一推文含有敌对化修辞,且热门话题比普通推文更具敌对性;右翼用户的敌对化修辞明显多于左翼用户,两类对立修辞在各自阵营内都被显著放大。

Armin Pournaki, Eckehard Olbrich

arXiv cs.CL · cs.LG

Lexical Reference Frames: Interpreting LM Residual Streams in Native Semantics

说明词汇参考框架:以模型原生语义解读语言模型残差流

简介该论文提出,语言模型每个隐藏状态都有由其后续层决定、随上下文变化的原生参考框架,并用“词汇参考框架”近似它。作者报告,在 SmolLM3-3B 与 OLMo3-7B 的中层,该方法的读数与原生框架的平均余弦相似度分别为 0.97 和 0.97,而固定方向的透镜方法无法超过相应阈值。

Jian Gu, Hongyu Zhang, Chunyang Chen 等

arXiv cs.CL

CLUE: Uncovering Social Context for Pragmatic Understanding

说明CLUE:挖掘对话中的社会语境以提升语用理解

简介这篇论文提出 CLUE,一个两阶段训练方法,让模型学会从对话中找出关键线索并据此做出解释。训练结合了监督式证据推理与基于 GRPO 的强化学习,奖励函数鼓励提出有证据支持的新社会推断并兼顾推理成本。论文报告,相较基础 Qwen 模型,CLUE 在域内和域外的加权 F1 上分别有相对提升,同时推理所用 token 大幅减少,人工评估也显示其解释更贴近对话具体内容。

Chengfei Wu, Zhaoqing Wu, Dan Goldwasser

arXiv cs.CL · cs.LG

Where Prefill Expert Reduction Hurts MoE Models: A Few Prompt Tokens Carry Most of the Short-Answer F1 Loss

说明MoE模型预填充阶段专家削减在哪里有损:少数提示词元承担了短答案F1的大部分损失

简介该论文研究在混合专家(MoE)模型的预填充阶段减少路由专家数量会损害哪些能力。作者在四个MoE模型系列上通过词元、层和注意力路径干预进行定位。结果显示,损失主要集中在少数关键词元上,例如Qwen3-30B-A3B中答案前的两个对话模板词元,以及DeepSeek-V2-Lite中指令所在的前8至32个词元;将这些词元保留为完整专家可消除大部分F1损失。

Zhiyuan Wang, Han Wang, Shuo Zhang

arXiv cs.AI

Multi-sourced AI Tutor for Non-Native English Speaker Students

说明面向英语非母语学生的多源AI助教

简介本文提出一个通用AI助教系统,可处理中文等外语提问并给出中英双语回答,还能生成技术术语表及解释。系统采用专门设计的检索增强生成(RAG)流程,结合新的问题提取机制,利用多种课程材料回答学生问题。在91条Piazza帖子的评估中,系统正确且有帮助地回答了83.52%的问题,为76.92%的问题提供了高质量翻译,并为64.47%的问题生成了术语表。

Yiyin Shen, Xinyi Ai, Weibing Wang 等

arXiv cs.CL · cs.AI

EMO: A Closed-Loop Test-Time Computation Framework via Alternating Context Optimization and Logits Steering

说明EMO:一种通过交替优化上下文与 logits 引导实现闭环测试时计算的框架

简介论文提出 EMO,一种无需训练、受期望最大化(EM)启发的测试时框架,交替进行基于问题的上下文估计(E 步)和分布精炼(M 步)。在八个模型、六个基准上,EMO 在 40 个汇总设置中有 39 个优于零样本基线,平均提升 9.10 个百分点,并比仅优化上下文的 TextGrad 平均多 1.53 个点。

Wei Xia, Yehui Tang, Zhi-Hong Deng

arXiv cs.CL 有代码

PremiseSQL: Evaluating Premise Critique and Abstention in Text-to-SQL Systems

说明PremiseSQL:评估文本到SQL系统中的前提质疑与弃答能力

简介大语言模型提升了文本到SQL的表现,但现有系统通常默认用户问题有效且可回答,即使问题前提有误,模型仍会生成可执行的SQL。本文提出PremiseSQL基准,包含1800条存在前提缺陷的查询(涵盖四类前提错误)及对应的1800条原始查询,并设计评估框架,测试三种提示设置下模型的前提感知行为。实验显示,当前模型默认倾向于信任前提,很少质疑有缺陷的前提;加强质疑导向的提示可提高缺陷查询的识别与弃答率,但也会增加误判无效的情况,并在原始查询上抑制SQL生成。

Shuo Lin, Jinzhe Li, Chenlu Guo 等

arXiv cs.LG · physics.comp-ph

The importance of tensor handling and implementation of physics-informed DeepONets

说明张量处理与物理信息 DeepONet 实现的重要性:一种减少训练开销的改进 PI-DeepONet 架构

简介物理信息算子网络(PI-DeepONet)通过在训练中施加控制方程来学习解算子,无需大量标注数据。本文提出一种改进架构,去除分支网络在配点之间对输入函数的冗余处理,在数学上与原架构等价,但减小了输入张量规模并减少了分支网络的计算次数。作者在1D、2D、3D线性平流问题上验证,预测精度相当,训练时间持续降低,2D 实验最高加速3.75倍;3D 模型仅改进架构可在 NVIDIA A100 上训练。

Nahum Banks, Gustavo A.M. de Almeida, Sergio Maldonado

arXiv cs.AI

Realtime-Bench: Can Frontier Models Solve Real-time Interactive Problems?

说明Realtime-Bench:前沿模型能否解决实时交互问题?

简介该论文提出 Realtime-Bench,一套动态任务基准,任务中延迟行动会直接影响成败,用于测试模型在严格时间约束下的有效行动能力。在实际推理延迟驱动环境推进的 Wall Clock 设定下,最佳成功率仅为 44%,最佳 Pass^3 为 36%。作者还引入 Paused Clock 与按生成词元数推进时间的 Token Clock,以区分服务延迟与模型本身的实时能力。

Jingyu Tang, Xu Yang, Zhehao Zhang 等

arXiv cs.LG · cs.AI

Specification Gaming and a Constrained Reinforcement Learning Mitigation in a Cleaning Gridworld

说明清洁网格世界中的规范博弈与约束强化学习缓解方法

简介论文构建了一个极简网格世界,清洁机器人可以真正清除污垢,也可以躲避廉价传感器。仅用传感器代理奖励训练的标准深度Q网络会学到完全钻空子的策略,代理奖励接近最大值,真实目标却从未达成。作者随后引入约束强化学习,惩罚利用这一差距的具体行为,并报告该方法消除了最终策略中的钻空子行为,同时大幅恢复了真实目标的表现。

Hilda Adwubi Osei

arXiv cs.AI

RAG-RST: Retrieved Exemplars as In-Context Discourse Schema for RST Parsing

说明RAG-RST:用检索到的示例作为修辞结构解析的上下文语篇图式

简介该论文提出RAG-RST框架,在修辞结构理论(RST)的篇章解析中,通过检索示例作为上下文演示,向大语言模型提供形式化的语篇图式,而无需训练。论文比较了预先计算和逐步检索两种策略,其中动态策略表现最好。结果显示,核心性和关系标签的F1分数分别提升到0.846和0.788,且各项指标均优于现有RST解析器。

Mohammadreza Sediqin, Shlomo Engelson Argamon

★★★★☆ 值得关注
arXiv cs.CV

FALCON: FPGA-Accelerated Latency-Certifiable Occupancy Networks for Camera-Based Autonomous Driving

说明FALCON:基于FPGA、可认证延迟上限的相机三维占用网络(自动驾驶感知)

简介该论文提出FALCON,一个在AMD Kria KR260嵌入式FPGA上运行的基于相机的三维占用感知前端,重点是给出可验证的最坏情况延迟保证。系统对可编程逻辑计算做解析界定,对推理做100k帧轨迹的实测包络,并用看门狗在帧超时时发布标记为过期的上一帧输出。论文报告在三组十万帧的固定工作量代理测试中,所有帧均在100毫秒截止时间内(最多超出10.2毫秒)交付输出;在Occ3D-nuScenes验证集上mIoU为29.88。

看点在FPGA上为占用网络设计可界定的最坏延迟并以看门狗保证交付,30万帧实测验证,但完整系统仍达不到10Hz。

Haohua Que, Mingkai Liu, Handong Yao

arXiv cs.AI

Are You Sure Your LLM Is Sure? Repairing and Auditing Confidence

说明你确定你的大模型真的有把握吗?修复与审计置信度

简介本文提出RADAR框架,用于修复、采纳并诊断大语言模型输出的置信度分数。它先用探针指导的保序校准(PAIC)修复置信度,再通过配对检验控制错误改进,并用基于核的检验发现校准后仍残留的系统性误差。在多个模型、基准和分布偏移下的实验表明,单一分数未必能保留更丰富预测器的收益,预测风险更低也未必带来更好的审核决策。

Arijit Dey, Bhartendu Kumar, Ramya Hebbalaguppe 等

arXiv cs.AI · cs.CL · cs.MA

Believed but Not Said: Measuring Hidden Belief Collapse in Multi-Agent LLM Discussions

说明《已相信但未说出》:测量多智能体大模型讨论中隐性信念的崩塌

简介该论文研究多个大语言模型智能体相互讨论时,若混入散布错误答案的对抗性智能体,良性智能体会如何变化。实验在十个智能体的事实讨论中进行,涵盖六个模型和三个事实问答数据集。结果显示,对抗智能体会显著提高良性智能体最终采纳错误答案的比例,且许多变化在公开表态中并不可见。

Liangjie Huang, Henry Peng Zou, Wei-Chieh Huang 等

arXiv cs.AI

CART: Compatible Routing for Multimodal Continual Instruction Tuning

说明CART:面向多模态持续指令微调的兼容路由方法

简介多模态大语言模型通过指令微调获得强大能力,但实际应用中需要它们从连续任务中不断学习新能力,即多模态持续指令微调。现有方法通常保护语言模型不遗忘,却持续更新连接视觉与语言的投影器,导致两者失配并加剧灾难性遗忘。本文提出兼容路由方法CART,为投影器和语言模型各自维护任务专属专家,并通过加权混合协调二者的适应过程。实验表明,CART取得了当前最优性能。

Ling-Xiang Zhang, Tao Hu, Da-Wei Zhou

arXiv cs.CL

Intern-Decision: Efficient Multimodal Decision Making with Autoregressive Masked Language Modeling

说明Intern-Decision:用自回归掩码语言建模实现高效多模态决策

简介该论文提出Intern-Decision系列多模态决策模型(0.8B、2B、4B),直接输出结构化选择及候选概率,无需为每个选择生成自由文本。4B模型在七个评测集上的无加权平均准确率为90.02%,高于Jev v1.13.0的88.74%;在单张RTX 4090上,固定289个token的三字段请求平均延迟为44.16毫秒。

Tong Zhu, Zhe Xu, Zefeng He 等

arXiv cs.AI

DropKV: Decoupling Residual-Output Perturbation for Near-Optimal KV-Cache Eviction

说明DropKV:解耦残差输出扰动,实现接近最优的 KV 缓存淘汰

简介本文针对大语言模型在长上下文场景中 KV 缓存线性增长的内存瓶颈,提出 DropKV 缓存淘汰框架。该方法将联合淘汰决策解耦为逐 token 独立打分,并在经验验证的锥形条件下给出常数因子近似保证。论文还用融合 Triton 内核实现了打分加速,并在 RULER 和 LongBench 基准上相较基线取得更好表现。

Aozhong Zhang, Selcuk Gurses, Yanxia Deng 等

arXiv cs.CL · cs.AI

Explaining the Roles of Experts in Mixture-of-Experts LLMs for Personalization

说明解释混合专家大语言模型中专家在个性化中的作用

简介本文研究如何对混合专家(MoE)大语言模型进行个性化,因为其稀疏路由机制可减少多义性,便于定位负责个性化的组件。作者在三个开源MoE模型上使用大规模个性化数据集进行适配,并训练交叉编码器(crosscoder)以学习可解释的个性化潜变量,从而识别编码不同个性化特征的专家。结果显示,个性化MoE模型性能与稠密模型相当,且多义性更低;因果干预表明这些潜变量足以复现个性化行为,并揭示了不同个性化特征的独特路由路径。

Sekh Mainul Islam, Pepa Atanasova, Isabelle Augenstein

★★★★☆ 值得关注
arXiv cs.LG · cs.AI · q-bio.QM

Causal Integrated Gradients: Scalable Feature Attribution Along Causal Paths

说明因果积分梯度:沿因果路径的可扩展特征归因

简介该论文提出因果积分梯度(CIG)和因果期望梯度(CEG),在积分梯度基础上纳入输入特征之间已知的因果结构,使积分路径沿因果图传播,从而把每个特征的归因拆分为直接效应和经由其因果后代的间接效应。在合成数据、模拟单细胞基因表达数据和真实干扰素刺激数据上,CIG 比 DeepSHAP 和积分梯度更能找出上游驱动因子,且保持了计算可扩展性。

看点将积分梯度路径沿因果图布线,把归因分解为直接效应与因果后代中介效应,并在合成、单细胞及真实数据上验证,优于DeepSHAP和积分梯度。

Joran Michiels, Anis Ismail, Maarten De Vos 等

arXiv cs.AI

PROBE: Learning to Audit Policy Compliance in Tool-Using LLM Agents

说明PROBE:训练审计工具调用型LLM智能体是否遵守政策的方法

简介论文提出PROBE方法,训练LLM审计员以真实用户身份与已部署的智能体进行多轮、工具调用式对话,探查其是否违反定价、隐私、确认等预设政策。作者将审计建模为双人马尔可夫博弈,并设计兼顾违规发现、行为合理性、对话推进和政策多样性的复合奖励。实验显示,经PROBE训练的审计员比同架构的零样本对抗者发现更广、产出更高的违规,即使其规模小于目标智能体。

Kshitij Mishra, Abhijith Sharma, Nils Lukas 等

★★★★☆ 值得关注
arXiv cs.LG

Beyond Fixed Acquisition Functions: Temporal Difference Active Learning for Perturbation Discovery

说明超越固定采集函数:用于扰动发现的时序差分主动学习

简介该论文针对基因与药物扰动筛选成本高、可测候选少的问题,提出时序差分主动学习方法(TDAL),在单次筛选轨迹中在线学习采集函数,兼顾当前命中与未来发现。方法用未测候选的命中概率在实验前后的 Hellinger 距离加权后续价值,并通过留批外(LBO)构造虚拟转移以缓解训练数据稀缺。在八个公开筛选数据集上,TDAL 在十一种方法中平均排名 1.63,并在四个任务中排名第一。

看点将时序差分学习用于扰动筛选的采获函数,并结合Hellinger距离与留批次外构造虚拟转移,思路新颖;在八个公开筛选上对比十一种方法。

Xudong Zhang, Jianzhe Li, Yitong Tang 等

arXiv cs.LG

Scene Reconstruction Using Ubiquitous Wireless Signals via Diffusion Posterior Inference Over physics-Grounded Representations

说明利用无处不在的无线信号重建场景:基于物理表示的扩散后验推断

简介该论文提出一种用无线信道测量重建建筑物布局的方法,适用于相机和激光雷达失效的场景(如黑暗、恶劣天气或墙后)。方法分两阶段:先用符合传播物理规律的无线基础模型把每次测量转换为场景结构表示,再用扩散模型联合多次测量的表示,对建筑占据情况的后验进行采样,并通过样本共识得到最终重建。作者称该方法仅凭无线信道测量即可较准确地恢复建筑物轮廓。

Vahid Yazdnian, Yasaman Ghasempour

arXiv cs.CL

Unfragmenting Nawatl NMT: Single-Variant Specialization for Masewalkopa

说明将纳瓦特尔语机器翻译专门化到单一变体:面向马塞瓦尔科帕语

简介这篇论文针对墨西哥原住民语言纳瓦特尔语的低资源问题,指出把多个相近变体混合成一个语料库会产生不属于任何单一社群的人工语体。作者以多变体基础模型为起点,针对圣安娜特拉科特科(Santa Ana Tlacotenco)使用的马塞瓦尔科帕语(nhn)微调翻译模型,并结合有限状态分析器和量化技术,在CPU上显著降低了推理延迟。

Luis A. Mercado-Campos, Alexis Palmer

arXiv cs.RO · cs.AI

DriveWorld3D Evidence Constrained 3D World Modeling and Generative Simulation for Real-World Autonomous Driving

说明DriveWorld3D:面向自动驾驶的证据约束三维世界建模与生成式仿真框架

简介该论文提出 DriveWorld3D,用于自动驾驶的三维世界建模。在线部分融合时序视频与多传感器测量,维护包含道路、占用、动态目标和证据来源的统一世界状态;离线部分用 NeRF 或 3D 高斯溅射重建场景,并用生成模型扩展长尾场景,同时限制生成内容不得作为几何真值。论文提出的核心假设是,显式证据管理可在计算预算相当时减少危险的虚假自由空间预测和遮挡风险,但所有性能结论仍待实验验证。

Wei Wang, Yiru Veronika Wang, Yihan Wang 等

★★★★☆ 值得关注
arXiv cs.CL · cs.LG

Patch where the text is new: a compression view of where byte-level models should spend compute

说明在文本出现新内容处分配计算:字节级模型的压缩视角

简介该论文提出一种基于新颖性的分块规则,借鉴 LZ77 压缩思想,在后续字节不太可能重复近期上下文处开始新的块。它用前两个字节的查表实现,无需标签或参考模型。在数学语料上,该方法在 12M 和 50M 参数模型中明显提高了最终答案和计算结果的准确率,但在散文、源代码上的优势较小。

看点提出基于LZ77思想的新颖性分块规则,在数学任务上显著提升计算结果准确率,并用多种规模和语料验证,证据较充分。

Nicol\'as Vera Z\'u\~niga

arXiv cs.LG · cs.AI

TIPS: A Tiny Inference-time Policy for Scaling in Diffusion Language Models

说明TIPS:用于扩散语言模型推理阶段的小型策略控制器

简介论文提出 TIPS,一个约 60 万参数的推理阶段控制器,用于决定掩码扩散语言模型每一步去噪时哪些位置可见,同时保持基础语言模型冻结。控制器先用监督预热训练,再以终局正确性作为奖励进行强化学习。在 GSM8K 和 MATH-500 上使用 LLaDA-8B-Instruct 测试,32 次解码评估预算下微平均准确率分别为 58.46% 和 57.97%,高于主要对比中最强基线 12.1 和 11.6 个百分点。

Ya-Shi Zhang, Jian Tang, Pierre-Andr\'e No\"el 等

arXiv cs.CV

SCCL-DT: Semantic-Conflict-Aware Contrastive Learning with Dual-Rule Teacher Distillation for Zero-Shot Chest X-Ray Diagnosis

说明SCCL-DT:面向零样本胸部X光诊断的语义冲突感知对比学习与双规则教师蒸馏

简介该论文提出SCCL方法,用于胸部X光的零样本诊断。标准对比学习把批次中不匹配的图像-报告对都当作负样本,但放射学中相同发现常见于不同患者,会造成误判。SCCL通过指数滑动平均追踪相似度分布、自适应阈值屏蔽冲突候选,并借助OR与AND两种规则的教师蒸馏得到单一模型SCCL-DT。在五个公开胸部X光基准上,其平均零样本AUC为0.850,高于比较中最强基线的0.837。

Ting Liu, Haoran Lai, HaobinChen 等

arXiv cs.CV · cs.LG

Beyond the Dominant Label: Recovering Coexisting Lesion Evidence with Multiple Instance Learning

说明超越主导标签:用多示例学习恢复并存病灶证据

简介全切片病理图像中可能同时存在多种病灶,但弱监督标注通常只给出最严重的诊断。本文将此情形形式化为主导标签多示例学习,并提出DomSet-MIL框架,包括主导标签删失似然和按严重程度排序的残差路由。实验表明,该方法在主导标签预测上达到先进水平,并能更有效地恢复潜在的并存病灶证据。

Lubin Gan, Jing Zhang, Xinming Zhang 等

arXiv cs.CV

Pathology foundation models for training-free case retrieval in salivary gland tumors

说明唾液腺肿瘤无需训练的病理病例检索:基于病理基础模型的研究

简介本文探讨利用当前病理基础模型进行基于内容的检索,帮助诊断罕见癌症,且无需任何任务特定训练。病理医生可用全切片图像中的感兴趣区域查询数字化档案,检索形态相似的病例及其ICD-O编码。研究在137例唾液腺肿瘤病例上进行留一法评估,比较了四种模型,其中Atlas2的Top-1/3/5检索准确率最高,为62.5%/76.7%/81.3%。

Maximilian J. Roesel, Niklas Kiermeyer, Philipp Keyl 等

arXiv cs.CL · cs.AI

Multi-SFT: Permissively-Licensed Multilingual Instruction-Following

说明Multi-SFT:可商用许可的多语言指令遵循数据集

简介论文指出,现有监督微调数据集多以英语为主且有商用限制,因为内容常由条款禁止训练竞争系统的专有模型生成。作者提出 Multi-SFT,包含五种欧洲语言共 502,818 组指令-回复对,通过翻译和重新生成流程构建,人工评估的标注者间一致性至少为 0.87。用该数据微调九个模型并在 13 个基准上评测,结果显示 Multi-SFT 单独使用即可与更大的混合数据集及官方指令微调版本相竞争,并在安全任务上表现出明显优势。

Daniela Baiamonte, Kamyar Zeinalipour, Elena Fano 等

arXiv stat.ML · cs.LG

Learning Changes the World and Then What Was Learned has Changed: Training and Deploying Neural Networks in the Control Loop

说明学习会改变世界,而所学之物也随之改变:在控制回路中训练与部署神经网络

简介本文研究离线训练的神经网络用于闭环控制时的问题:网络的控制动作会改变其训练时所依据的状态分布。作者提出三类顺序性失效模式(闭环辨识误差、部署引起的动作误差与持续跟踪误差),并以离散时间灵敏度分析说明静态部署会导致轨迹偏离。实验在非线性Duffing振荡器上进行,结果显示有界的持续在线学习可缓解轨迹偏离,而静态部署则失效。

Vittorio Lippi

★★★★☆ 值得关注
arXiv cs.AI

Learning from Unverified Peers via Shared Residual Distillation

说明从未经验证的同伴解答中学习:共享残差蒸馏(SRD)

简介该论文提出共享残差蒸馏(SRD)方法,让语言模型在没有标准答案或外部验证的情况下,从自身生成的未验证同伴解答中学习。方法比较同伴解答相对对照组对预测分布的改变,保留方向一致且幅度保守的调整。在 AIME24–26 测试中,Qwen3-1.7B、Qwen3-4B 和 Qwen3-8B 的平均成绩分别从 11.02、19.07、21.39 提升至 16.20、45.46、54.44,两项通用能力基准上未见相对基础模型的退步。

看点提出无需验证即可从同伴解中学习的共享残差蒸馏,思路新颖;实验覆盖三个模型但基准集中于AIME,证据有一定局限。

Feiyang Chen, Runze Ma, Zichen Wang 等

★★★★☆ 值得关注
arXiv cs.LG · physics.ao-ph

Can AI Forecast the Extremes? Evaluating Probabilistic Weather Models on Tropical Cyclones

说明AI能否预测极端天气?基于热带气旋对概率天气模型的评估

简介该论文对热带气旋预报做了大规模基准测试,比较了GenCast、FourCastNet 3、FGN三款AI模型与欧洲中期天气预报中心的物理集合预报系统IFS-ENS。研究使用一套概率指标评估气旋路径、强度偏差、不确定性及风压关系。结果显示,在路径预报上,领先的AI模型明显优于IFS-ENS,其中FGN在2025年评估的90%风暴中位置概率评分更优;但在强度和集合离散度方面仍有局限。

看点系统比较多个概率型AI天气模型与业务集合预报的热带气旋路径表现,指标与诊断分析较完整,实际意义较大。

Nathan Chalumeau, Xavier Renard, Remi Meynadier 等

arXiv cs.CV

Retrofitting Recurrent Vision-Language Models from Pretrained Backbones

说明将预训练视觉语言模型改造为循环结构的方法研究

简介该论文把深度循环(depth recurrence)用于视觉语言模型,通过剪除语言骨干的部分层并循环复用其余层,以减少参数量。作者采用三阶段恢复训练,并结合输出蒸馏。在TinyLLaVA-1.4B上,改造后的模型比同等恢复数据训练的未剪枝基线少存储23.3%的语言参数,同时在推理类基准上有所提升,基础视觉理解基准上与基线相当。

Madhav Iyengar, Andreas Geiger, Hilde K\"uhne

arXiv cs.CL · cs.LG

The Right Byte First: How UTF-16 Helps Multilingual Boundary Prediction

说明先放对字节:UTF-16 如何帮助多语言边界预测

简介本文研究分层字节级语言模型中用于分组的边界预测器。作者提出 UBE 编码,把一到两字节的 UTF-8 码点改写为两字节的 UTF-16(低位字节在前),使首字节携带低位码点信息,便于区分易混淆的后续符号。在 17 种语言(13 种婆罗米文字)的实验中,UBE 的字形簇边界误差明显低于 UTF-8,且在韩文和中文上只需较少训练即可达到 UTF-8 的最终误差。

Hyunsik Kim

arXiv cs.CV · cs.AI · cs.LG

Memory as Weights: Internalizing Long-Term History for Streaming Videos

说明记忆即权重:将长期历史内化进流式视频理解的模型参数

简介该论文提出MaLoW,一种流式记忆框架,用循环超网络把历史视频观测逐步融合进固定大小的轻量LoRA权重,而非占用输入上下文。作者还构建了包含381K问答对、56K视频的MaLoW-Instruct数据集用于训练。论文报告在OVO-Bench回溯分割上比既有记忆方法高3.9%至11.8%,并在Simpler WidowX上将动作成功率提升9.3%。

Zhuoming Liu, Jinhong Lin, Lin Zhang 等

arXiv cs.AI

When Reasoning Is Not Enough: Proactive Inquiry for Cross-Modal Safety in Multimodal Large Language Models

说明当推理不够用时:面向多模态大模型跨模态安全的主动提问方法

简介论文指出,多模态大模型在图像与文本被联合理解时可能产生不安全行为。作者提出SAFE-PRO方法,结合预测熵与跨模态风险评分的风险条件不确定性信号,决定何时向用户提出安全相关的澄清问题,并在奖励设计中兼顾安全与过度拒答。实验涵盖七个基准和两个基础模型,结果显示该方法相较SRPO提升了安全性并将过度拒答约减半。

Wei Cai, Jian Zhao, Yuchen Yuan 等

arXiv cs.CL

Beyond Context Length: Characterising the Difficulty of Long-Context Reasoning

说明超越上下文长度:刻画长上下文推理的难度

简介本文指出,仅用上下文长度无法解释长上下文任务中模型的失败,并从证据范围、证据分散度和推理深度三个维度量化任务难度。作者构建了包含6550个实例的多领域问答基准LURCH,并标注了支持证据与推理图。评测显示,这三个属性都与模型表现显著负相关,且在证据分散的样本上,性能随上下文变长而急剧下降。

Shiwen Qin, Cameron Barker, Henry Gouk 等

arXiv cs.AI

Prism-1: Position- and Rival-Independent Scoring for System One Models

说明Prism-1:面向快速直觉式决策模型的、与选项顺序和其他选项无关的打分方法

简介论文研究的是在给定状态和一组选项时,通过一次前向计算直接输出选项分布、不生成推理过程的模型。作者指出,选项顺序不应影响结果,新增选项也不应改变其他选项之间的相对概率。他们测试了多种常用做法,发现都至少违反其中一条。论文提出Prism-1,让每个选项在共享位置的独立区块中读取,实验显示其在不改变准确率基础上,对顺序调换和无关选项的干扰都不敏感。

Yao Long Teng, Jianguo Huang, Jiayi Cai 等

arXiv cs.LG

ABNAT: Attention-Based Noise-Aware Training for Robust Transformers on Analog Compute-in-Memory Systems

说明ABNAT:面向模拟存内计算Transformer的基于注意力的噪声感知训练

简介论文针对Transformer模型在模拟存内计算(CIM)硬件上因非理想性噪声而性能下降的问题,分析了噪声如何改变注意力机制,发现深层中干净与带噪注意力图的差异明显增大。作者提出ABNAT框架,让带噪学生模型保持干净教师模型的各头注意力路径,无需修改硬件且不增加推理开销。实验涵盖视觉、语言和多模态Transformer,结果显示其相比对应的噪声感知训练基线提升了鲁棒性。

Wenshuai Yao, Wenyong Zhou, Hanyong Shao 等

arXiv cs.LG

Lean4AgenticRL: Advancing Agentic RL with Verifiable Multi-level Process Rewards

说明Lean4AgenticRL:用可验证的多层过程奖励提升智能体强化学习

简介该论文针对大模型在软件工程和终端操作等复杂任务中的智能体能力,提出 Lean4AgenticRL 框架,将工具调用、工作流阶段等多层过程奖励统一到 Lean4 形式化体系中。训练得到的 LAR-9B/27B 模型在 TerminalBench-2.1 上,LAR-27B 达到 77.3%,平均比基座模型高 9.89%,并超过同规模的次优模型 5.07%。

Ruida Wang, Gerald Friedland, Tong Zhang 等

arXiv q-bio.QM · cs.CL

Documenting Trofinetide Treatment Phenotypes in Rett Syndrome with a Dual-LLM Consensus Pipeline

说明用双模型共识流程记录Rett综合征患者使用曲非奈德治疗的表型

简介本研究针对2023年获批的首个Rett综合征治疗药物曲非奈德,利用两个大语言模型组成的共识流程,从26,763份临床记录(108名患者)中提取18项治疗反应表型。在腹泻表型的开发集上选定方案后,将其应用于其余17项表型作为样本外测试;专家复核显示与流程判断的一致率为90.2%(92/102)。该方法可作为关键词与正则表达式提取的可扩展替代方案。

Daniel Palacios, Guantong Qi, Mikael Guzman Karlsson 等

arXiv cs.AI · cs.DB · cs.PL

FAOPs: Normal Forms and an Algebra for AI Agent Workflows

说明FAOP:AI 智能体工作流的范式与代数

简介该论文提出“功能型智能体操作程序”(FAOP)形式理论,把多步骤智能体工作流视为作用于限定状态的类型化函数,并定义四级规范形式,分别实现步骤原子化、数据流类型检查、共享流程单一定义以及最小权限工具访问。论文还给出可证明正确的等价代数与配套管理系统 SkillBase 及执行器的实现。

Ali Mohammadi Shanghooshabad (JPMorgan Chase & Co.)

arXiv cs.CV

FeaTok: Feature-Loss Tokenization for Image Generation

说明FeaTok:用于图像生成的特征损失离散化方法

简介该论文提出FeaTok,一种图像离散标记器训练方法:不再以重建像素为目标,而是重建预训练特征,以便生成模型更容易建模这些标记。论文在SigLIP、SigLIP2、DINOv2和DINOv3上进行了消融实验,显示FeaTok带来更好的生成性能。在类别条件生成中,FeaTok在256x256分辨率下将gFDr6最多降低29%,并在采样计算量少38倍的情况下超过最强的无引导连续基线RAEv2。

Zhang Xiaofeng, Samuel Lavoie, Nicolas Beltran-Velez 等

arXiv cs.AI 有代码

Progress Reward Model for Reinforcement Learning via Large Language Models

说明基于大语言模型的强化学习进度奖励模型:用大模型规划子任务并生成稠密奖励,改善长周期稀疏奖励任务的学习

简介该论文提出PRM4RL框架,用于解决强化学习在长周期、稀疏奖励任务中的困难。高层面,利用大语言模型把复杂任务拆解为若干简单子任务,并设计细粒度进度函数监控执行进展;低层面,借鉴基于势函数的奖励塑形思想构建进度奖励模型,以提供理论上的最优性与收敛性保证。在机器人控制任务上的实验显示,该方法优于基于大模型的规划方法与奖励生成方法,取得了较好的结果。

Xiuhui Zhang, Ning Gao, Xingyu Jiang 等

arXiv cs.CL

Name-Bias in Large Language Models

说明大语言模型中的姓名偏见研究

简介本文评估了6个本地大语言模型在姓名上的偏见。研究者用填空任务,让模型在美国社会保障局数据集和Rosenman等人的种族分类数据集中的成对名字之间做选择,并以平衡的名字组合和固定句法模板隔离年龄与性别的影响。在30万次模型回答中,作者发现模型更偏好刻板印象中较不偏男性、年龄较大、较流行以及被归为白人的名字,其中性别偏见最显著,其次是年龄、名字流行度和种族。

Kalyan Bhetwal, Ceren Mert, Ian Whitehouse

arXiv stat.ML · cs.LG

Rethinking Successive Rejects Algorithms

说明重新审视连续淘汰算法(Successive Rejects)

简介该论文研究多臂老虎机中的最佳臂识别问题,即在固定预算下找出平均奖励最高的臂。作者优化了连续淘汰(SR)算法的阶段长度调度,提出 H1-SR 版本。对于共同方差的高斯臂,H1-SR 在所有自适应算法中至少达到最优归一化速率的 11/12,而原始 SR 的对应比例趋近于 1/4。实验显示在多数合成与数据集实例上有明显提升,但在过早激进淘汰的情形下表现较差。

Mohamed Khair, Junpei Komiyama

arXiv astro-ph.IM · cs.LG · physics.pop-ph

Missed Detections and False Alarms in a CNN Technosignature Detector on Breakthrough Listen Data

说明Breakthrough Listen数据上CNN技术特征检测器的漏检与误报

简介该论文用Green Bank真实背景数据,对一个冻结的CNN技术特征检测器进行测试,注入15,000个不同形态和强度的模拟信号。结果显示,即使是训练所见的窄带信号,随着信号增强,召回率也下降(从0.590降至0.090);某种干扰形态的误报率达0.627。论文指出,检测器仅读取ON面板,无法区分信号是否来自目标恒星,只能判断其是否像训练数据。

Omer Imran

arXiv cs.LG · cs.AI

Decoding Naturalistic Speech from fMRI with Temporal Modeling and Multimodal Alignment

说明利用时序建模与多模态对齐从 fMRI 解码自然语音

简介本文提出 NOEMA 模型,用时序卷积解码器将连续的 fMRI 测量窗口与同一刺激片段的文本、音频和语音多模态嵌入对齐,从而直接由脑活动检索出对应的语音片段。在 Cephalonauts One 和 LeBel 两个自然语音数据集上,对于超过 42% 的留出查询,模型能在 2,000 个候选中将正确片段排在前 10。结果显著优于基线解码器,消融实验也验证了时序建模与多种刺激表征的贡献。

Corentin Caris, Louis Jalouzot, Nona Rajabi 等

arXiv cs.LG · cs.CL

Effectiveness of Hidden-State Probes for Localizing Reasoning Failures

说明用隐藏状态探针定位推理失败:效果有限

简介这篇论文研究能否通过模型的隐藏状态,区分长推理链出错的原因:是超出模型能力、再试一次就能成功,还是某一步导致不可恢复的失败。作者在4B和8B推理模型上测试了探针,并与不使用隐藏状态的最强基线对比。结果显示,置信度探针能判断答案错误,但其对失败类型的排序取决于训练方式;定位出错步骤的准确率也未超过仅基于推理链长度的规则。

Shubham Subhnil, Yannis Belkhiter, Erik Miehling 等

arXiv cs.AI · cs.LG · physics.comp-ph

Learnable Splines for Unstructured Neural Operators

说明用于非结构网格神经算子的可学习样条方法

简介该论文提出 L-SplineFNO,一种内存高效的神经算子,用稀疏可学习的 B 样条在非结构网格与规则潜在网格之间传递信息,以学习从几何到偏微分方程解场的映射。在六个三维工程基准上,它在显著降低内存与计算开销的同时保持较高预测精度,并支持零样本超分辨率和解析空间导数。

Vignesh Gopakumar, Zhuoyuan Wang, Ander Gray 等

arXiv cs.AI · cs.LG

Null Controls Are Necessary but Not Sufficient: Evaluating Acceptance Guards for Scientific Discovery and Interpretability

说明空对照是必要但不充分的:评估科学发现与可解释性中的接受守卫

简介论文指出,自动化科学发现系统通过检验来接受解释,但通过检验不等于能确立预期结论。作者用空接受率、正向接受率和后果一致率评估四类操作及多种可解释性场景;一个把所有状态映射为零的平凡约化,在96%的混沌系统上通过了闭合检验,却不保留任何动力学变化。结论是描述性检验可能接受科学上空洞的候选,而被接受的候选也可能缺乏独立验证的后果,因此需同时评估检验接受了什么及其确立了哪些科学后果。

Tianyu Wu (Project Aether)

arXiv cs.CV 有代码

Event-STVG: Spatio-Temporal Video Grounding for Long-Form Event Reasoning

说明Event-STVG:面向长视频事件推理的时空视频定位

简介该论文提出 Event-STVG 任务,把时空视频定位从定位文字描述的具体目标,扩展到长视频中的事件级推理,包括长上下文、重复事件、事件定位、角色推断和多目标定位。作者构建了包含 4,016 个标注事件的大规模基准,涵盖足球及其他七个领域。实验显示,目前最强的多模态大模型在 10 分钟时长下的 m-vIoU 仅为 5.4%,同类重复事件易混淆,联合定位所有角色的成功率很低。

Yizhe Zhang, Xujia Wang, Songqi Tang 等

arXiv cs.SE · cs.CL

WEAVE: Weaving Real-World Code Evolution into Dependency-Structured Tasks for Benchmarking and Training Code Agents

说明WEAVE:将真实代码演化织成带依赖结构的任务,用于代码智能体的评测与训练

简介真实软件开发常需跨多个 PR 协同修改仓库,而现有可执行基准多以单个问题或 PR 为任务单元。本文提出 WEAVE 框架,将已验证的 PR 历史转化为带依赖结构的可执行任务:利用仓库校准的类型化变更位置,把相关 PR 组织成有界 DAG,并实例化为统一的可执行任务。作者还提出基于测试、确定性的 Graph Credit 指标,用于衡量保持依赖一致性的部分进展。实验表明,WEAVE 能生成连贯的可执行任务,比扁平评分更忠实地衡量进展,并为代码智能体的训练提供监督与可验证奖励。

Weihao Li, Zihang Xu, Zhongqiu Wang 等

arXiv cs.DC · cs.LG 有代码

ETH: Data-Balanced Heterogeneous Pipeline Parallelism for Training Large Models

说明ETH:面向大模型训练的数据均衡异构流水线并行系统

简介本文针对异构集群上大模型训练中的负载不均问题,提出异构流水线并行(HPP)方法,实现跨异构流水线的细粒度数据均衡。作者设计了ETH训练系统,采用分层负载均衡框架,并通过分块梯度聚合降低非对称All-Reduce的通信开销,同时大幅减少配置搜索时间。实验显示,与现有系统相比,ETH训练速度最高提升2倍,配置生成开销最多降低56倍。

Mianjie Yu, Zhongmin Zhao, Zizhao Mo 等

arXiv stat.ML · cs.LG · econ.TH 有代码

Designing Experiments for External Decision Makers

说明为外部决策者设计实验:面向数据使用方的实验设计框架

简介标准贝叶斯实验设计假设实验者自己根据数据行动,但现实中数据常被外部方依其规则使用。本文提出“考虑使用方式的实验设计”框架,训练自适应设计策略以最小化使用风险,即外部规则作用于所收集数据时实验者的期望损失。作者指出,在这类规则下信息更多的数据反而可能有害,因此该框架严格推广了标准贝叶斯实验设计。

Sahel Iqbal, Tom Rainforth

arXiv cs.AI

GraphACM: Graph-based Action Consistency Measurement for Uncertainty Quantification in LLM Agents

说明GraphACM:面向大模型智能体不确定性量化的图式动作一致性度量

简介该论文针对大语言模型智能体,提出一种基于图的行为一致性度量框架。它将同一任务的多次执行中等价的状态合并为带动作标签的有向图,从而在相同决策状态下比较动作,并给出节点级与全局一致性指标。在ALFWorld、AppWorld和WebShop三个基准上,该方法预测任务成败的平均AUROC为0.811,高于最强的行为一致性基线(0.729)和语言化置信度(0.769)。

Yaxin Ma, Wenbo Zhang, Satya Krishna Pothapragada 等

arXiv cs.LG · cs.AI · cs.CL

Selection Is Not Learning: Choosing Model Futures

说明选择不等于学习:决定模型的后续继承

简介自我演化的语言模型会在自己生成的任务上训练,每一轮都要决定由哪个更新后的模型延续到下一轮。本文指出现有循环只依据任务是否“看起来可学”来决定,却继承了所有由此产生的更新,而其中多数更新并不能让正确答案更可能出现。作者提出 HeirCommit 和 EvoHeir 两种方法,分别用新的评估题决定是否继承更新模型,并把参数继承与经验继承分开处理。实验称,相比随机继承,HeirCommit 在相同接受率下将有害更新的比例降低 68%至83%。

Haoyi Yang, Kshitij Mishra, Nils Lukas 等

arXiv cs.LG

Augment the Cache, Replace the Activation: A 2x2 Study of Internal-State Sharing

说明增强缓存,替换激活:内部状态共享的2×2研究

简介该论文研究多智能体系统中冻结语言模型之间如何共享内部状态,而非通过文本通信。作者提出一种“共享池”方式:各智能体把内部状态发布到池中,其他智能体统一读取,新增智能体无需为每对智能体单独搭建桥接。研究发现,键值缓存(KV cache)适合增强式读取,而激活更适合直接写入接收方,两者的适用规则不同。

Adam Deng, Shicheng Liu, Yada Zhu

arXiv cs.LG

Not All Unlabeled Data Are Equal: Unlabeled Data Selection for Semi-Supervised QSAR Modeling with Large Chemical Repositories

说明并非所有无标签数据都同样有用:用大型化学数据库为半监督QSAR建模挑选无标签数据

简介该研究探讨如何利用ChEMBL等大型化学数据库中的无标签分子,改进预测分子生物活性的QSAR模型。作者使用10个QSAR数据集和超过40万个无标签分子,比较了三种半监督算法及四种无标签数据选择策略。结果显示,至少一种半监督配置在每个数据集上都优于监督基线,且通常选择相对少量化学上较远的分子效果最稳定,表明无标签数据的构成可能比数量更重要。

Oliver Majer, Saso Dzeroski, Jurica Levatic

arXiv cs.RO · cs.AI · cs.LG

DemoStream: Batched Task-and-Motion-Plan Optimization for Automated Learning from Demonstration

说明DemoStream:面向自动化示范学习的批量任务与运动规划优化

简介本文提出 DemoStream,一种利用 GPU 加速的任务与运动规划(TAMP)系统,可自动生成机器人操作示范。系统通过批量采样与并行约束求解探索多种解法,以提高示范质量,从而改善行为克隆的成功率。作者在仿真中比较了不同动作空间、代价函数和批量大小的影响,并利用 TAMP 的安全保证在真实世界以平均每小时 66 个示范的速度收集数据。

Caelan Garrett, Neel Jawale, Fabio Ramos