AI 算法 · 2026年10月23日(周五)

机器学习、人工智能、自然语言处理、计算机视觉、多智能体。

arXiv cs.CL · cs.AI · cs.CY

Would an LLM Match into a Residency? Uncertainty, Reasoning and Image Use of Open Language Models on the Spanish MIR Examination

说明语言模型能否通过西班牙MIR住院医师考试?开源模型在不确定性、推理与图像使用方面的表现

简介该论文以西班牙MIR住院医师考试为测试对象,评估四个80亿至270亿参数的开源模型,共1552道题、八届真题,并按考试规则计分。结果显示,三个较大模型答完全部题目后,排名约在前600至3000名之间。研究还发现,医学微调降低了模型的过度自信,但并未提高其置信度区分正误答案的能力;部分正确答案的排除理由在临床上并不合理,且移除或替换题目配图后,准确率没有变化。

Miguel Fernandez-de-Retana, Unai Zulaika, Ruben Sanchez-Corcuera 等

arXiv cs.LG

Action Learning for Scientific Simulations

说明科学模拟中的作用量学习:从轨迹观测中学习可复用的路径目标

简介该论文研究“作用量学习”,即从系统的轨迹观测中恢复随机作用量,用于描述动力系统的演化。作者提出LEAP方法,以可处理的参考过程为锚点,通过比较观测轨迹与参考轨迹学习剩余修正项,得到路径空间上可微的目标函数。论文报告,该方法在随机物理系统、多体轨道动力学和分子模拟中能恢复底层动力学、刻画跨时间依赖,并可迁移到不同的推断目标和物理条件。

Sarah Liaw, Yuanqi Du, Yilun Du

★★★★★ 值得关注
arXiv cs.AI · cs.HC

Who Is Sycophantic to Whom? Confident LLMs, Human Deference, and the Collapse of Trust Calibration

说明谁在迎合谁?自信的大模型、人类顺从与信任校准的崩塌

简介已有研究关注大模型是否迎合用户的喜好,本文反过来考察:当模型自信、前后一致却出错时,用户是否会顺从它。研究让32名参与者通过与基于同一模型的五个助手对话学习科学主题,助手的材料中有0至100%的事实被替换为看似合理的错误内容,且全部以十足把握的语气表述。结果显示,测验得分从7.4降至2.9(满分10分),参与者选中植入错误选项的比例远高于选中正确选项的比例;参与者对错误知识的把握度很高,且对正误的区分能力趋近随机。

看点提出反向视角,测量用户对自信错误LLM的顺从,以32人被试实验证明错误知识被吸收且置信度校准失效,影响较广。

Deepthika S, Pawni Yadav, B. Sankar

arXiv cs.AI

What Makes a Good Unmasking Policy? A Controlled Study of Learned Unmasking in Diffusion Language Models

说明什么样的解码策略算是好的?扩散语言模型中学习式解掩码策略的受控研究

简介该论文研究掩码扩散语言模型中用于决定哪些token可以提交的学习式解掩码策略。作者分别考察了教师标签的定义、策略模仿的状态、策略可观察的输入以及所需减少的函数评估次数(NFE)。研究提出基于轨迹收缩目标并结合置信度与隐藏状态的策略,在LLaDA-8B-Instruct上取得较好的精度与NFE权衡,并基本可迁移到Dream-7B-Instruct。

Jinya Sakurai, Xun Xu, Jaehong Yoon

arXiv cs.LG

Rethinking Sequence Compression with Test-time Regression

说明用测试时回归重新思考序列压缩

简介该论文提出 TTR-Compressor,把输入 token 视为回归问题,用其闭式解拟合系数作为压缩表示,并端到端训练。在分块稀疏注意力任务中,其 RULER 表现明显优于基于注意力的压缩器;在多模态大模型的视觉 token 合并中,它持续优于标准 MLP 合并器,并在减少 55.6% 视觉 token 的情况下达到相当性能。

Sihan Yang, Jie Huang, Hanxuan Li 等

★★★★☆ 值得关注
arXiv cs.LG 有代码

On the Token Collapse Phenomenon in Textual Graph Soft Prompting

说明论文说明:文本图软提示中的 Token 坍缩现象研究

简介该论文分析了 G-Retriever 等方法中图软提示(由图神经网络生成、用于表示实体关系的 token)的行为,发现这些图 token 在不同输入之间几乎无法区分,即出现“token 坍缩”。实验显示,一个不访问图结构的固定提示也能达到或超过 G-Retriever 的表现,说明坍缩后的 token 主要起通用软提示的作用。作者还提出一种两阶段方法以避免坍缩,并建议用干预和解码探针评估图 token 与图信息的对齐程度,而不只看任务准确率。

看点发现G-Retriever图令牌坍缩现象并用干预与解码探针分析,对已有方法有实质性质疑,证据覆盖多基准、多编码器与多模型。

Andrea Giuseppe Di Francesco, Rishabh Jain, Franco Maria Nardini 等

arXiv cs.CV 有代码

CellTrack-Bench: Microscopic Cell Tracking Benchmark for Vision-Language Models

说明CellTrack-Bench:用于视觉语言模型的显微细胞追踪基准

简介该论文提出了CellTrack-Bench基准,用于评估视觉语言模型在细胞追踪任务上的表现,并与专门的追踪算法进行对比。基准基于15个标准细胞追踪数据集,涵盖四种成像方式,包含1,537个问题、9,041个细胞连接决策。作者还筛选出一个需要更多推理的困难子集,评估了视觉语言模型的运行环境,测试了9个前沿闭源模型和13个开源权重模型,并分析了它们的失败模式。

Ilan Theodoro, Jord\~ao Bragantini, Lo\"ic A. Royer

arXiv cs.CV

Squaring-the-Sphere: Distortion-Free and Seamless Panorama Generation via CubeAtlas

说明Squaring-the-Sphere:基于 CubeAtlas 的无畸变、无缝 360 度全景图生成

简介该论文提出 Squaring-the-Sphere 框架,用新的表示 CubeAtlas 把立方体图的六个面展开到一张紧凑画布上,兼顾局部透视几何与全局球面连续性。预训练扩散 Transformer 可一次性联合建模完整全景图,并通过布局感知的稀疏注意力掩码降低注意力计算量。实验表明,该方法在几何保真度、跨视角一致性和高分辨率视觉质量上优于以往方法。

Xuhui Zuo, Chenjie Cao, Tengfei Wang 等

arXiv cs.CY · cs.AI

Generalized green and red concepts for artificial intelligence, big data, and information and communication technologies: Multidimensional framework and countermeasures

说明人工智能、大数据与信息通信技术的广义绿色与红色概念:多维框架与应对措施

简介本文提出“广义绿色人工智能”与“广义红色人工智能”概念,并将分类扩展到大数据、信息通信技术及电子电气工程等领域,采用环境、经济、社会、技术/运营四维框架分析其资源与环境影响。文章基于电力、碳排放、水资源和电子废弃物等指标,分析风险在技术栈及服务与使用环节之间的传导,并提出四层应对措施分类。

Jinsong Wu, Yixin Xiao, Haowei Bi 等

arXiv cs.LG · cs.AI · stat.ML

When to Follow the Teacher: Advantage-Based On-Policy Distillation

说明何时该听老师的:基于优势的同策略蒸馏(AOPD)

简介该论文提出一种名为 AOPD 的方法,用于在线策略蒸馏。标准方法让学生在每个状态都模仿教师,而 AOPD 按教师动作对学生的反事实优势加权:有助于提高学生期望结果的动作被强化,否则被降权。方法仅用学生的常规采样轨迹和终端奖励即可估计目标,无需额外 rollout。在数学、代码和 MedQA 上相对蒸馏与强化学习基线有所提升。

Mahdi Sabbaghi, George Pappas, Hamed Hassani 等

arXiv eess.SY · cs.MA · cs.RO

Decentralized Bi-Level Optimization for Cooperative Orbital Transportation of a Rigid Payload

说明用于刚性载荷协同轨道运输的分布式双层优化

简介本文针对由多颗小型航天器组成的编队,提出一种分布式双层优化框架,用于在轨运输大型非合作物体。该方法将问题分解为内层凸推力分配与外层载荷力矩轨迹搜索,并基于精确梯度求解。论文称该方法无需完全收敛即可较快得到省燃料的解,并通过蒙特卡洛仿真验证,包括飞行中故障后的闭环恢复。

Sidhdharth D. Sikka, Revathy Ravuri, Hei Yin Jowett Chan 等

arXiv cs.AI · cs.CE · cs.LG

Artificial Intelligence in Mechanical Engineering: Foundations, Opportunities, Challenges, and Responsibilities

说明机械工程中的人工智能:基础、机遇、挑战与责任

简介本文基于第28届巴西机械工程大会(COBEM 2025)的圆桌讨论,从整体视角探讨人工智能在机械工程中的应用,包括建模、仿真、优化、诊断与设计。文章强调在提升工程实践的同时需保持科学严谨,涉及物理信息融合、不确定性量化、验证与认证,以及能耗、教育和伦理等问题。结论提出负责任采用人工智能的原则,并强调人工智能应辅助而非取代工程判断。

A. Cunha Jr, C. Nataraj, L. M. Lorenzo 等

arXiv cs.LG · cs.CL · stat.ML

Diffusion Language Models for Perplexity-Aware Black-Box Attacks

说明用于困惑度感知黑盒攻击的扩散语言模型:用学习到的语言分布替代随机映射,生成更自然的提示词

简介该研究针对黑盒大模型的连续潜空间攻击,这类方法通过随机映射把高斯潜变量解码成提示词,导致提示词不自然、易被输入防护检测。作者改用连续扩散语言模型(dLLM)作为学习到的语言分布来解码,保留标准高斯潜空间和采样或优化流程。在 RareTrap(采样估计)和 ThinkTrap(优化搜索)两种设定下,字符级困惑度分别从 10^3–10^7 降至 3–5,从 20–28 降至 4.3–5.4;作者还发现两种映射得出的风险估计可相差一个数量级。

Ali Al-Lawati, Elsayed Eshra, Dongwon Lee 等

arXiv cs.AI · cs.DB · cs.HC

Contestable Agents for Data Governance: Recording Human Stewardship of AI-Generated Metadata Across Structured and Unstructured Systems

说明可争议智能体用于数据治理:记录人工管理者对AI生成元数据的审核(跨结构化与非结构化系统)

简介论文提出“可争议治理”框架:专业智能体为有争议的元数据决策提供带评分、带引用的论证,管理者可接受、拒绝、修改或补充论证后再提交,并保留证据、干预与结果的治理记录。框架包含分流机制、版本化领域术语表及决定是否成为先例的门控。文中以暖通空调(HVAC)场景作为示例,包括基于Brick Schema类别标签的测点分类,以及保修故障模式的示意性决策。

Humza Akhtar, Brian Freeman

arXiv cs.LG

Fine-Grained Analysis of Catastrophic Forgetting in Continual Learning via Algorithmic Stability

说明基于算法稳定性对持续学习中灾难性遗忘的细粒度分析

简介该论文研究持续学习中新任务学习导致旧任务性能下降的灾难性遗忘问题。作者在不限定具体模型结构的前提下,基于算法稳定性框架分析SGD下的期望遗忘,将其分解为任务内与跨任务的泛化差距及经验遗忘,并考察三种学习率调度的影响。实验在Split CIFAR-100和Split MiniImageNet上验证了理论结论。

Guodong Zheng, Yan Sun, Peng Wang 等

arXiv cs.LG

Shift-aware score transport for privacy auditing without retraining

说明无需重新训练的隐私审计:基于分布偏移的得分迁移方法

简介该论文研究在无法插入金丝雀数据、也无法重新训练目标模型的观察式隐私审计场景中,如何通过成员推断攻击估计隐私泄露下界。由于可用的非成员数据与训练数据分布不同,得分会因分布偏移而失真。作者利用分布外非成员数据学习表示与得分之间的关系,将其迁移到目标分布,并加入保守校正。在多个存在分布偏移的数据集上,该方法给出的隐私估计更稳定,同时下界比基线更紧。

Yaohong Yang, Gauri Pradhan, Qi Chen 等

★★★★☆ 值得关注
arXiv cs.LG

Same Luck, Different Choice: Twin-World Credit Assignment for Agentic Reinforcement Learning

说明同一运气,不同选择:面向智能体强化学习的双世界信用分配

看点用共享Gumbel噪声构造孪生反事实世界以降低信用分配方差,理论上样本复杂度从Θ(Δ^-2)降至Θ(Δ^-1);七个问答基准上实验充分并有对比。

Zeropy Surio, Tobias Engel, Mei-Lin Chou 等

★★★★☆ 值得关注
arXiv cs.RO · cs.MA · math.OC

Dispersive Tree Agreements for Multi-Robot Coordination

说明用于多机器人协调的分散式色散树协议

简介本文提出一种分散式实时规划方法,用于多机器人非线性系统的联合最优控制。通过分散式列生成和局部约束,各机器人协商共享空间的使用权,逐步逼近联合最优解,并在实时期限内给出近似最优的协议。仿真与六台机器人的实机实验表明该方法具有实际可行性。

看点将单机器人框架扩展为分布式列生成协商的多机器人实时规划,并给出近最优性认证;仿真与六机实机实验支撑充分。

Shashank A. Deshpande, Blake T. Edwards, Jonathan P. How

arXiv cs.LG

PYTHIA, a transferable machine learning framework for simultaneous defect and adsorption site optimization

说明PYTHIA:一种可迁移的机器学习框架,用于同时优化缺陷与吸附位点

简介本文提出PYTHIA框架,利用基础模型与迁移学习,把机器学习扩展到研究较少的新材料上。模型先在化学相似分子的大型数据集上训练,再冻结权重,加入Transformer层做子空间对齐,并用高斯过程进行不确定性量化,因此只需少量样本即可训练。该模型作为贝叶斯优化的代理模型,应用于两种不同体系的吸附与缺陷优化,文中称能高效识别包括复杂体系在内的最优吸附位点。

Ioannis Kouroudis, Zhaosu Gu, Poonam 等

arXiv cs.CV · cs.LG 有代码

LACToS: Local Anomaly Detection via Conditional Typicality of Superpixels

说明LACToS:基于超像素条件典型性的局部异常检测方法

简介本文提出 LACToS 方法,用于在正常图像中定位空间上局限的异常或分布外区域。作者指出,现有方法多针对工业缺陷检测设计,在正常数据呈多模态时性能明显下降。LACToS 基于统计典型性,将像素分组为超像素并用计算高效的代理来估计典型性。在医学影像、人脸和 X 光安检三类应用中,该方法比已有方法表现更稳健。

Jihoon Hong, Alireza Kheirandish, Rohan Sanda 等

arXiv cs.CL

An Empirical Study of Recent Large Language Models for Knowledge Graph to Text Generation on Standard Benchmarks

说明对近期大语言模型在标准基准上进行知识图谱到文本生成的实证研究

简介该论文比较了近期大语言模型与经过微调的编码器-解码器模型在知识图谱转文本任务上的表现。研究同时使用基于参考文本的指标和基于知识图谱、无需参考文本的大语言模型评估方法,后者已通过人工标注验证。结果显示,大语言模型在参考文本指标上大幅缩小了与微调模型的差距,在部分设置中接近,并在基于图谱的指标上表现更好。

Priyanka, Renaud Delbru, Souhail Bakkali 等

arXiv math.OC · cs.LG · cs.SY

Direct Inference on Admissible Sets (Diona)

说明Diona:基于可容许集的直接推断回归方法

简介本文提出一种名为 Diona 的回归方法,无需长时间全局训练,直接利用样本在查询点估计状态及其导数,并给出可容许的上下界。作者将查询点与邻近样本的取值和导数视为约束优化问题中的隐变量,并在无噪声情形下给出有限样本覆盖性与收敛性的理论结果。在六个三至八维函数的非线性回归基准上,Diona 在无噪声、数据较密时比高斯过程(GP)更精确,且在四个函数上超过95%的查询点其区间包含真值;但其数据更新后的首次预测耗时远短于 GP 和神经网络,这一优势以按需求解为代价,仅适用于两次数据更新之间预测次数较少的场景。

Lorenzo Sabug Jr., Eric Kerrigan

arXiv stat.ML · cs.LG

Nonparametric autoregressive estimation of probability distributions with parallel gradient boosting

说明基于并行梯度提升的自回归非参数概率分布估计

简介本文研究用条件分布估计器,通过自回归方式分解联合分布来估计高维联合分布。作者证明,在满足次可加性的损失函数下,自回归估计量的收敛速率可由条件估计器的收敛速率界定,并在条件集稀疏时借助无向依赖图中的变量消元刻画难度。实验使用并行梯度提升作为条件估计器,在多组模拟与真实数据上表现有竞争力。

R\'emy Chapelle (CB, EVDG, CESP)

arXiv cs.CV

Diffusion-Based Synthesis of Complete 3D Biparametric Prostate MRI

说明基于扩散模型合成完整三维双参数前列腺MRI

简介本文提出一种条件式三维扩散框架,可依据解剖掩膜合成完整的前列腺双参数MRI(bpMRI)。框架支持先后合成(T2加权与扩散图像分别训练模型生成)和联合合成(单一模型同时生成所有模态)。研究使用PI-CAI、FastMRI Prostate和PROSTATEx数据集训练了五种配置,结果显示两种合成路径均具可行性,直接合成ADC及高b值DWI的效果优于由合成扩散加权图像推导得出。

Claudia Giardina, Montse Pard\`as, Ver\'onica Vilaplana

arXiv cs.AI

Beyond Causal Masks: Auditing and Localizing Hidden Future-Token Leakage in Adaptive Sequence Models

说明超越因果掩码:审计并定位自适应序列模型中隐藏的未来词元泄漏

简介论文研究一种自回归模型中的隐蔽问题:模型内部的序列级路由摘要会让前缀位置看到未来词元,即使注意力因果掩码本身是正确的。一个异常的24层检查点在验证集上的损失从基线的3.5958降到1.4259,但它未通过前缀不变性审计,且生成时的参考模型困惑度明显更高。作者将问题定位到动态路由查询路径中广播的全序列摘要,并通过两个独立训练的12层因果修复版本消除了泄漏,使损失和困惑度回到对照水平。

Huiting Liu, Jinsong Wu

arXiv cs.AI

Jev-DLC: Decision-Level Continual Learning from Typed Feedback

说明Jev-DLC:基于类型化反馈的决策级持续学习

简介该论文研究用户在部署后通过接受或撤销决策给出的类型化反馈如何在后续请求中持续发挥作用。方法将每次修正视为某一重复动作的证据,以及偏好选项与被拒选项之间的有向关系,并将其保存在冻结评分器之上的有界通道中,不保留原始交互历史,也不增加评分器调用。作者还提出TCPA-Bench基准,仅通过修正对后续决策的影响计分。

Yangyang Feng, Jianle Gan, Zhuoyan Feng 等

arXiv cs.CL · cs.AI

The Geometry of Metaphor: Probing and Steering Metaphor Representations in Large Language Models

说明隐喻的几何结构:探查并调控大语言模型中的隐喻表示

简介该论文借助机制可解释性技术,在多种架构和规模的大语言模型中定位与隐喻相关的因果子空间。作者表明,通过调控这些子空间,可以在不同词性的分类任务中改变模型输出,也能在生成任务中改变输出的隐喻程度。

Shihui Li, Mette Andersen, Martha Lewis

arXiv cs.AI

From Prompt Rules to Golden Data Model: Production-Scale Generation of Personalized, Compliant Pharmaceutical Claims

说明从提示规则到黄金数据模型:规模化生成个性化、合规的药品宣传论述

简介该论文是一项生产环境案例研究,探讨在受监管的制药行业中,把合规与受众个性化信号从提示词规则转移到检索阶段的结构化上下文,能否改善药品论述的生成。研究基于内部工具 Composer 与包含1,867条论述的黄金数据模型,报告了用于意向适应症、内容类型、目标受众、6C质量评分和论述复用等指标的提升,并记录了每周API成本下降29.5%的部署观察。

Suyash Mishra, Qiang Li, Subhabrata Adak 等

arXiv cs.CL

Towards User Simulators That Stay On Task And Still Sound Natural

说明面向多轮任务的用户模拟器:既能贴合任务意图,又能保持对话自然

简介该论文提出一种强化学习方法,用于训练用户模拟器,使其既能忠实执行复杂的任务意图,又能表现出自然的对话行为。方法中的自然度由一个轻量判别器在与模拟器交替对抗训练中提供。作者发布了模型 UserLM-2.0,其生成的有效模拟对话比例为 46.2%,高于此前最强用户模拟器的 14.1%。

Mustafa Omer Gul, Philippe Laban, Tanya Goyal 等

arXiv cs.AI

DuoCook: An Overcooked-Inspired Benchmark for Visual Planning and Coordination

说明DuoCook:受《胡闹厨房》启发、用于视觉规划与协同的基准测试

简介论文提出一个受《胡闹厨房》(Overcooked)启发的基准,用于评估视觉-语言智能体在双人烹饪任务中的协同能力。该基准在 Unreal Engine 环境中构建,包含 20 张地图,由单一视觉-语言模型根据俯视图像同时控制两名玩家。论文比较了四个视觉-语言模型的表现,结果显示表现最强的模型平均订单完成率为某一比例,并考察了共享笔记式记忆对得分的混合影响。

Ziyi Jiao, Heng Zhang, Drishti Regmi 等

arXiv cs.LG · cs.SD

Piano2Pop: Expanding Piano Demos into Pop Productions Without Aligned Supervision

说明Piano2Pop:无需对齐监督,把钢琴演示扩展为流行编曲

简介本文提出Piano2Pop任务,将钢琴MIDI转换为流行乐器编曲。方法基于预训练的流匹配音乐生成模型,以钢琴卷帘为条件,利用合成的钢琴-乐器配对数据训练,不依赖对齐的钢琴-流行配对监督。在476组真实钢琴翻唱/流行配对测试中,配对监督方法在Frechet音频距离等指标上表现最好;经过微调的系统均明显优于零样本基线。

Yun-Chen Cheng, Chih-Pin Tan, Tzu-Hung Huang 等

arXiv cs.AI · cs.GT

FairFRESH: A Neuro-Symbolic Framework for Fair and Explainable Household Food Recommendation

说明FairFRESH:面向家庭公平且可解释的食物推荐的神经符号框架

简介该论文把家庭食物推荐视为有约束的公平分配问题,成员共享有限的食材并遵循不同饮食规则。FairFRESH 学习每位成员的效用,在明确的福利目标下分配食物,用确定性过滤器执行饮食规则,并用 Shapley 与 Banzhaf 值解释推荐。在基于 NHANES 的数据上,其效用模型的 Recall@20 为 0.293,优于五个学习型推荐器,但不及前一日重复启发式方法(0.321)。在四人家庭测试中,Nash 分配使基尼差异相对冲突解决方法降低 42%,所有推荐均满足编码的饮食规则。

Kodur Sai Vinay Sathvik, Kakoli Bora, Tejaswini R. M

arXiv cs.CV

Evaluation of Uncertainty-Aware Multi-Software Ensembles for Hippocampal Segmentation

说明面向海马体分割的不确定性感知多软件集成评估

简介本研究评估了五种异构海马体自动分割方法(InnerEye、ASHS、FastSurfer、HippoSeg、FreeSurfer)组成的集成模型,数据来自两个痴呆数据集和一个癫痫数据集。结果显示,由 InnerEye、FastSurfer 和 HippoSeg 组成的子集成在准确性和效率上表现较好。研究还表明,基于样本方差、互信息和预测熵的集成不确定性可标记低置信度病例,有助于识别需专家复核的案例。此外,不确定性与运动伪影严重程度显著相关,对阿尔茨海默病分类有一定帮助。

Gabriel Oliveira-Stahl, Anna Schroder, James Moggridge 等

★★★★☆ 值得关注
arXiv cs.CE · cs.LG · cs.NA

Structure-preserving reduced-order models of thin panels in supersonic and hypersonic flow

说明超声速与高超声速气流中薄板的保结构降阶模型

简介本文针对 AePW-4 高速工作组的两个挑战问题(Mach 1.92 的 RC-19 固支薄板与 Mach 5.85 的 HyMAX 悬臂板),构建保持结构特性的降阶模型。模型由一个 Ritz-Galerkin 参考模型和一个学习模型组成,后者保留参考模型的精确势能,并只训练一个不会增加能量的耗散项,能量平衡由构造保证。论文报告了与激波关系及压敏涂料测量一致的压力比 1.521,以及平均主频与实测 236 Hz 相差不超过 1.0% 的结果。

看点提出以能量守恒结构约束的学习型降阶模型,并在两个高速颤振问题上与激波理论、PSP测量和已发表模型对照,证据较扎实。

Miguel A. Aguilo

arXiv cs.LG · cs.AI · stat.ML

SABLE: Scalable Affine Bayesian Latent-space Exploration

说明SABLE:可扩展的仿射贝叶斯潜空间探索方法

简介该论文提出SABLE,一种面向高维潜空间的贝叶斯优化方法,适用于评估代价高、预算有限的场景,如工程设计与蛋白质优化。方法使用贝叶斯仿射代理模型,将查询分解为预算范围内的子空间分量与由标量范数控制的正交分量,并通过有限时域调度设定后者。论文称其在合成基准与潜空间优化任务中样本效率高,大预算下决策时间显著降低。

Erik Bodin, Lisa Maria Kreusser, Donney Fan 等

arXiv cs.CV

AgentVQA: A Unified Benchmark for Agentic Visual Understanding

说明AgentVQA:面向智能体视觉理解的统一基准

简介该论文提出AgentVQA,一个离线视觉问答基准,用于评估视觉语言模型在网页、机器人、第一人称视频、游戏和空间规划五类智能体场景中的表现。基准从23个数据集中人工挑选1000个真实且具挑战性的样例,其模型排名与对应在线评测的排名一致。在22个被评测模型中,最佳模型准确率仅为58.5%,误差主要来自对当前及变化中视觉状态的定位与维持不准确。

Advait Gupta, Sachin Konan, Tom Yin 等

arXiv cs.CV

DirCast: Live Esports Directing and Commentary with a Single Streaming Video-Language Model

说明DirCast:用单一流式视频语言模型实时导播与解说电竞比赛

简介该论文提出DirCast,一个流式视频语言模型,可在电竞直播中实时决定切换哪个摄像机并同步解说,只依据过去的画面。模型以低分辨率扫描所有机位,再决定是否切换,并在发言前以高分辨率读取所选机位。研究基于27场Dota 2职业比赛数据集,结果显示其导播效果优于规则方法和零样本模型,解说在与GPT-4o的比较中获胜比例为29.2%。

Zixian Gao, Lixin Xiu, Penghao Luo 等

arXiv eess.IV · cs.CV · eess.SP

Self-Supervised Multibeam Sonar Restoration via Coherent Forward Modeling

说明基于相干前向建模的自监督多波束声呐图像修复

简介该论文针对多波束成像声呐图像中存在的相干斑点噪声和系统模糊问题,提出一种无需干净真值图像的自监督框架,可同时进行去斑与去模糊。作者基于随机相干成像模型构建前向算子,并利用配准后的多帧声呐序列进行训练。在两个真实多波束声呐数据集上的实验显示,该方法在前向预测一致性、均匀区域去斑和结构边界保留之间取得了较好的平衡。

Zixin Wang, James Hopgood, Mike Davies

arXiv cs.LG · cs.AI

Training Small Language Models for Transferable Tool Selection

说明训练小型语言模型实现可迁移的工具选择

简介随着LLM智能体需要在上万种工具中挑选,为复杂的多步指令选出合适工具成为瓶颈。本文提出用强化学习训练一个小型开源模型,使其完成原本依赖商业大模型驱动检索器的工具选择功能。在ToolBench上,经本文方法后训练的Qwen3-8B优于Llama-4-Maverick(402B)。该训练模型还可直接迁移到不同检索器,并能泛化到其他领域的新工具库。

Zhaoyi Zhou, Akshayaa Magesh, Jeongyeol Kwon 等

★★★★☆ 值得关注
arXiv cs.LG · cs.DC

Evaluating the Applicability of LLM Inference Optimizations on Apple Silicon

说明在 Apple Silicon 上评估 LLM 推理优化方法的适用性

简介该论文针对在 Apple Silicon 上本地运行大语言模型的场景,测试了四类推理优化方法:KV 缓存剪枝、推测解码、移植的 GPU 内核和训练后量化。实验在四台 Apple 设备上以单请求解码为基准,并尽可能与 RTX 4090 对比。结果显示 KV 缓存剪枝在 Apple 上最高可提升 1.75 倍吞吐,但在桌面 NVIDIA GPU 上可能降低吞吐;所有测试的推测解码方法在 Apple 上都降低了吞吐;量化收益因机器而异。作者认为,优化效果是技术、运行时、硬件与工作负载共同作用的结果。

看点系统评估四类优化在Apple Silicon上的适用性,揭示加速效果依赖硬件与负载,实验覆盖多台机器并与RTX 4090对比,证据较充分,对本地推理有实用参考价值。

Kyrylo Yemets, Andrii Yaroshevych, Victor Muryn 等

arXiv cs.CV · cs.AI · cs.LG 有代码

MoG-VLM: Efficient Video Anomaly Detection through Motion-Guided Vision-Language Models

说明MoG-VLM:基于运动引导视觉语言模型的高效视频异常检测

简介该论文提出MoG-VLM框架,利用运动信息作为轻量控制信号,决定何时调用视觉语言模型进行推理,以降低实时视频异常检测的计算开销。方法包括时序梯度幅值(TGM)的内容感知采样,以及仅在异常可能性较高的帧附近激活的分层双流设计。在四个基准数据集上,论文报告该方法在三个基准上达到零样本、免训练设置下的最新水平,并在XD-Violence上取得1.31倍的推理加速。

Khaled Waleed Dawoud, Muhammad Zaigham Zaheer, Khan Muhammad 等

arXiv cs.LG · cs.AI · stat.ML 有代码

Learning to Be Monitored: Causal Bounds and Intervention-Aware Post-Training Recipes for Chain-of-Thought Monitorability

说明学会被监控:思维链可监控性的因果界与干预感知后训练方法

简介该论文研究如何检测大语言模型思维链(CoT)中的潜在有害行为。作者指出,现有指标TPR_mc可能高估监控器检测到由干预真正引起的行为的比例,并推导出一个互补的下界,从而提供更严格的评估框架。基于该框架,作者构建了配对的控制-干预任务训练数据,并用三种干预特定的训练方法训练模型,结果显示多数模型与监控器组合下可监控性有所提升。

Qiang Fu, Xinyue Li, Andre Wibisono 等

★★★★☆ 值得关注
arXiv cs.CV

Ask About the Right Moment: Training-Free Object Identity Reasoning for Video-Language Models

说明把握正确时刻提问:面向视频-语言模型的免训练物体身份推理

简介视频-语言模型能识别单帧中的物体,却难以在时间上持续区分同一物体,因此在真实“猜杯子”视频上表现接近随机。论文提出免训练方法 Track, Then Bind:先用可提示的视频跟踪器为每个候选物体分配轨迹编号,再由冻结的视觉-语言模型依据识别线索把目标绑定到某条轨迹,最终从跟踪状态推出答案。该方法在 VET-Bench、Perception Test 和 TOC-Bench 等基准上取得较高准确率。

看点提出无需训练的'先跟踪后绑定'方法,将语义身份绑定与时序维持分离,在多个基准上显著超越现有模型与训练方法,证据充分,对子领域有较大影响。

Di Yang, Xiaochang Li, Muyang Liu 等

arXiv cs.SD · cs.CL

Measuring the Verifier's Floor: How Much Apparent Rare-Word Text-to-Speech Error Is ASR Error?

说明衡量验证器下限:稀有词语音合成的表面错误有多少来自语音识别错误?

简介语音合成通常用自动语音识别系统转写输出来评估,因此词错误率也包含识别器的错误。作者在测试句的人类录音上测量这些错误:在 LibriSpeech 和 FLEURS 上,评估用识别器即使面对人类语音也会漏掉很多极稀有词,三个识别器的漏识别比例为 22%-42%。加入另外两类识别器逐词核对后,至少一个识别器能听到的词上的表面合成错误明显下降,但极稀有词仍最难。

Kirill Borodin, Vasilii Kudryavtsev, Nikita Vasiliev 等

arXiv cs.CL

From Structured Records to Patient Narratives: Preserving Clinical Alignment in LLM-Generated Health Summaries

说明从结构化记录到患者叙述:在大语言模型生成的健康摘要中保持临床一致性

简介本文研究如何利用大语言模型,把可穿戴设备生成的月经健康结构化数据转化为患者易读的摘要。作者结合结构化证据约束与检索增强生成(RAG),在三个模型、共4500份摘要上,用自然语言推理、原子事实性和可读性指标进行评估。结果显示,明确的证据约束能提高临床一致性,尤其是保留不确定性,但也会增加阅读难度和医学术语。

Bayram Ayadi, Florian Geissler, Johanna Schmidhuber

arXiv cs.CV

AnyGameRenderer: Entity-Consistent Generative Rendering Across Games and an Entity-Level Benchmark

说明AnyGameRenderer:跨游戏保持实体一致的生成式渲染与实体级基准

简介AI编程代理生成的小游戏画面通常粗糙简陋。该论文提出AnyGameRenderer,一种视频到视频的生成式渲染器,可将灰色模块或简单色块等画面转换为带角色和特效的高质量视觉效果,同时保持布局、镜头以及每个实体的位置和时序。它基于MiniMax-H3 ref2va模型进行LoRA微调,并提出一个包含59个案例、753个实体的实体级基准。相比基础模型,其时序匹配率从50.9%提升到62.9%,遗漏的数量变化从34.7%降至21.3%。

Ruicong Liu, Liangyang Ouyang, Fengbo Lan 等

arXiv cs.LG

RheOPT: Few-Shot Non-Newtonian Flow Prediction via Newtonian Pretraining of RheOFormer

说明RheOPT:基于牛顿流体预训练的少样本非牛顿流动预测模型

简介该论文提出RheOPT,一种基于Transformer的神经算子,先用成本较低的牛顿流体模拟进行预训练,再用少量非牛顿流体样本微调,以预测非牛顿流动。在4:1收缩通道和三角形障碍物尾流两类几何设定下进行了评估。结果显示,预训练在少样本情况下明显提升预测效果,并能恢复涡脱落频率与尾流波动幅度。

Maedeh Saberi, Amir Barati Farimani, Safa Jamali

arXiv cs.AI · cs.SE

Adaptive Skill Granularity for Coding Agents: Runtime Routing and Macro-to-Micro Recovery

说明面向编码智能体的自适应技能粒度:运行时路由与从宏观到微观的恢复

简介该论文提出“自适应技能粒度”框架,把技能的粒度视为依据任务结构、执行状态和宏技能失败而决定的动作抽象策略。系统结合基于特征的粒度控制器与有限状态恢复执行器。实验显示,固定宏技能执行在适用时高效,但失配时脆弱;运行时路由与显式的宏到微恢复则提升了鲁棒性。

Dingxuan Zhang, Yanhui Jiang, Jun Wang 等

arXiv cs.HC · cs.CL

How Different, or Different How? Stance Granularity in Viewpoint Selection for Dialog Systems that Engage Users with Alternative Views

说明差异有多大,还是差异在哪里?对话系统中立场粒度对观点选择的影响

简介本文研究帮助用户接触不同观点的对话系统如何决定观点之间的差异程度。作者提出一种选择策略:由多臂老虎机设定观点与用户的最大距离,再在该范围内选择最新颖的观点,并比较标量立场与按概念拆分立场的编码方式。一项受试者间研究(N=63)显示,概念级立场带来更多样的观点接触序列和更广的话题覆盖,但未改变用户论证深度或观点复述准确度;进一步分析发现,用户在一方未表态的概念上最难准确复述观点。

Morita Tarvirdians, Reeve Lorena, Catharine Oertel

arXiv cs.CV

MixPT: Point Transformer with Interleaved Window and Global Attention

说明MixPT:交替使用窗口注意力与全局注意力的点云Transformer

简介本文提出MixPT,一种点云Transformer,在窗口注意力与全局注意力模块之间交替排布,以在计算成本与全场景信息交互之间取得平衡。对于点数较多的场景,全局注意力作用于空间池化后的标记,并将残差更新返回原分辨率。作者称在室内和室外基准上,其精度与代表性窗口与全局注意力基线相当,而延迟更低。

Minkyun Seo, Hyungtae Lim, Jaesik Park

arXiv cs.MA

When Is a Memory Safe Enough to Act On? Action-Conditioned Verification for Long-Lived Agents

说明记忆何时足以据以行动?面向长期运行智能体的动作条件验证

简介论文研究长期运行的智能体在执行不可逆动作前,应如何验证其所依赖的跨会话记忆。作者将问题表述为序贯停止问题,权衡执行风险、弃权与验证成本,并提出 AMV-Guard 验证闸门,依据信息价值(VOI)选择需要复核的记忆前提。在 ToolSandbox 上,相比静态策略,该方法降低了平均验证成本,并提高了 Proceed 覆盖率。

Yiqi Wang, Yifei Wang, Jiaqi Zhang 等

arXiv cs.LG · cs.MM

ConsMSA: Semantic Distribution Consistency Learning for Multimodal Sentiment Analysis

说明ConsMSA:面向多模态情感分析的语义分布一致性学习

简介论文提出 ConsMSA 方法,用于多模态情感分析(融合文本、视频、音频来预测情绪)。原始多模态序列常存在模态内外的语义冗余或冲突,该方法显式建模语义分布一致性,并计算模态内外一致性得分,用于训练正则、词元加权和剪枝。在 CMU-MOSI、CMU-MOSEI 和 CH-SIMS 数据集上,方法达到当前最优表现,且仅保留 10% 词元时仍能保持相近精度。

Pan Wang, Lipeng Ke, Huajun Ying 等

arXiv cs.LG · cs.CL

Multi-Token Prediction and Alternative Tokenization Improve Learning Latent Multi-Hop Graph Search at Scale

说明多词元预测与替代分词提升大规模隐式多跳图搜索学习

简介该论文研究语言模型能否为未见过的图生成从起点到终点的最短路径,并发现随图规模增大模型会失败。作者指出原因有两个:监督信号和分词方式,并提出多词元预测(MTP)与替代分词两种方法。结果显示,这两种方法作用相互独立,模型能够稳定地在远超以往规模的图上学会该任务。

Arvid Frydenlund, FuTe Wong, Katherine Lambert 等

arXiv cs.AI · cs.LG

DIAL: Steerable Language Models with Distilled Instruction-Adherence Levels

说明DIAL:基于蒸馏指令遵循等级的可调控语言模型

简介这篇论文研究如何让大语言模型按数值精细调节对文本指令的遵循程度,例如“尽量简短”的程度。作者提出DIAL方法,结合无分类器引导与蒸馏、轻量级的引导适配器以及文本条件分类器,在可控性、效率和可扩展性之间取得平衡。论文还提出了包含98,625条指令的SteerIF数据集,并称DIAL在多个模型系列上表现出概念表达与回应流畅度之间的竞争性平衡。

Thanh Q. Tran, John Russell Himawan, Arun Verma 等

arXiv cs.AI · cs.LG · cs.MA

Conservative Meta-Agent Search: Architecture Adaptation under Non-Stationarity

说明保守型元智能体搜索:非平稳环境下的架构自适应

简介该论文针对智能体系统自动设计在动态环境中的问题,提出保守型元智能体搜索方法CMAS,用影子回放比较新旧架构,只有通过方差惩罚后的显著性门槛才会替换现有架构,并配有模拟灰度阶段和回滚机制。作者同时构建了MetaInvest-Bench基准,并在96个数据流上报告了相对最强自适应基线的遗憾与效用改进,同时说明其误晋升率与推理成本的结果。

Ali Atiah Alzahrani

arXiv cs.LG

Drift Says When, Budget Says How Much: Rate-Controlled KV Re-selection for Long-Form Multimodal Generation

说明漂移决定何时重选,预算决定频率:面向长文本多模态生成的速率控制KV重选

简介多模态大模型的KV缓存压缩通常只在预填充阶段选择一次视觉token并沿用至生成结束,本文指出这种一次性选择在长文本生成中效果受限。作者提出速率控制刷新方法(RCR),由注意力漂移决定何时何处重选,并由每样本控制器调节频率,在多个模型与任务上优于InfiniGen。

Bin Hu, Yingbo Xiao

arXiv cs.RO · cs.CV

A Sparse Topometric Graph for Scalable Cross-Session Indoor Navigation

说明用于可扩展跨时段室内导航的稀疏拓扑度量图

简介论文提出一种稀疏拓扑度量图,以少量节点和带距离权重的连通边表示室内场所结构,不依赖细粒度特征匹配。通过学习的图匹配网络跨时段对齐子图,并在跨时段点目标导航任务中评估。文中报告在Gibson上成功率为77.1%,在3D-FRONT场景变化下为40.0%,内存相比点级表示减少两个数量级以上。

Eun Sun Lee, Minkyun Seo, Gwangtak Bae 等

★★★★☆ 值得关注
arXiv stat.ML · cs.LG · math.PR

Dimension-free regimes for unadjusted Langevin in ridge-separable models: A subspace robust Wasserstein analysis

说明岭可分模型中无调整朗之万算法的无维度依赖机制:子空间稳健 Wasserstein 分析

简介本文分析高维贝叶斯推断常用的无调整朗之万算法(ULA)的偏差。作者改用子空间稳健 Wasserstein 距离,它只控制均值与任意低维边缘分布,更贴合实践中常估计的量。对于由独立同分布数据构成的岭可分势函数,论文给出高概率界,显示混合轮廓随数据量 N 与维度 d 的关系呈钟形。在过参数化情形,有效维度为数据扰动的秩 N;在大样本情形,高斯扰动估计给出无维度依赖的复杂度。而在 N 约等于 d 的比例区,论文证明一般情况下无法获得无维度依赖的保证。

看点提出子空间鲁棒Wasserstein分析,给出ULA在岭可分势下的无维度依赖界,并证明近比例区域无法实现维度无关保证,证明较完整。

Yuansi Chen, Francesco Pedrotti, Peter A. Whalley

arXiv cs.AI · cs.RO

PhysTrace: Interpretable Temporal Evaluation of Physical Consistency in Video Generative Models

说明PhysTrace:视频生成模型物理一致性的可解释时序评估

简介本文提出 PhysTrace,一种无需训练的框架,将多模态大模型基于历史生成的物理预期与观测到的视频片段对齐,从而定位物理违背发生的时间段并给出可解释的描述。作者还在 IntPhys2 基础上新增违背时间区间,构建了 IntPhys2-Timing 数据集。实验显示其在该数据集上各物理原理的命中率最高达 70.7%,并在 IntPhys2 的可能/不可能判别总体准确率上优于对比方法。

Taekoan Yoo, Wonkyung Jung, Kyunghun Kim 等

arXiv cs.LG · cs.AI

Predictable performance is suboptimal, and what it means for model routing

说明可预测的性能并非最优:它对模型路由意味着什么

简介大语言模型在能力与成本上差异明显,因此出现了为每个查询自适应选择模型的路由方法,这类方法依赖对模型是否能答对的性能预测。研究表明,性能预测器只有在候选模型对该任务并非最优,或预测器相对候选模型增加了可观的容量时,才能超过以模型自信度为基线的简单方法。实验涉及 16 个语言模型和四个基准,结果显示:模型越不理想,预测器相对自信度的优势越大,经过微调后优势缩小。级联路由也呈现相同规律。

Guanhua Zhang, Moritz Hardt

arXiv cs.CL

How Well Do Decision Models Transfer to Vietnamese? An Empirical Study of Text Classification

说明决策模型能否迁移到越南语?文本分类的实证研究

简介本文评估了四种专用决策模型在越南语零样本文本分类中的表现,涵盖六组任务中的13种分类设置。研究比较了英文、越南语及双语标签描述的影响,并测试了俚语缩写、拼写错误和去除变音符号等语言变化下的稳健性。结果显示,在英文标签描述下JEV整体表现最好,去除变音符号造成的性能下降最明显。

Phat Huu Ha, Nguyen Xuan Phuc, Nong Nhut Quy 等

arXiv cs.CL · cs.AI · cs.LG

How Depth Growth and Looping Shape In-Context Learning in Language Models

说明深度增长与循环如何塑造语言模型的上下文学习

简介该论文研究通过深度增长和循环复用计算的语言模型如何影响上下文学习(ICL)能力的获得、保持与机制,实验对象包括最多30亿参数的预训练模型及受控任务。结果显示,这类模型更依赖上下文信息,比全深度稠密参考模型更早获得上下文学习能力,并在可以通过权重学习固定关联时保持得更稳固。研究还发现,深度增长会使早期归纳头跨层传播,且两类模型在少样本表现和后续词预测中更依赖归纳排序靠前的注意力头。

Ferdinand Kapl, Kaitlin Maile, Stefan Bauer 等

arXiv cs.LG · cs.AI

Post-Hoc Feature Selection Layer for Neural Networks Interpretability

说明用于神经网络可解释性的事后特征选择层

简介本文将特征选择层(FSL)改造为训练完成后再优化特征权重的事后版本,作为轻量模块接在已冻结的预训练模型之后,用于表格数据,以突出原模型认为最重要的特征。该方法不改变原模型结构与参数,并在合成与真实高维表格数据上,用准确率、F1、t-SNE、轮廓系数等指标与内嵌FSL及Integrated Gradients等后验解释方法比较。实验显示,该方法能识别相关特征,同时保持原网络的预测能力。

Jo\~ao Kenji Suwa, Jo\~ao Pedro Silveira e Silva, Bruno Iochins Grisci

arXiv cs.LG

When and How Does Muon Precondition? The Role of Structured Gradient Noise

说明Muon 优化器何时、如何发挥预条件作用:结构化梯度噪声的作用

简介这篇论文研究用于大语言模型训练的 Muon 优化器为何有效。作者先指出,在经典各向同性噪声假设下,Muon 除了对学习率做重新缩放外没有加速作用。随后他们考察小批量采样产生的结构化噪声,并在任务频率不均的联想记忆模型中分析其影响。论文认为 Muon 能把对任务频率的依赖从线性降为平方根,并提到动量有助于降低采样噪声。

Xiaoran Chen, Binghui Li, Liwei Wang 等

arXiv cs.CL

SyRA-CS: Synthetic-to-Real Adaptation for Code-Switched ASR with Meta-Learning

说明SyRA-CS:利用元学习从合成语音迁移到真实语音的语码转换语音识别方法

简介该论文研究语码转换(混用两种语言)语音识别中真实语音稀缺的问题。作者提出SyRA-CS框架,基于Reptile元学习,先在合成的CS-FLEURS数据上进行元训练,再用一小时带标注的真实目标语音进行适应。在阿拉伯语、法语、德语、印地语与英语混合的实验中,该方法在16组模型与语言对比较中,WER均优于持续微调。

Fadel Thior, Ahmer Tabassum, Haania Siddiqui 等

arXiv cs.DL · cs.AI

Major Revision, Minor Accountability: LLMs as Reviewers of Published Articles in Top-Tier Journals

说明《大修而非问责:LLM 充当顶级期刊已发表论文的审稿人》

简介该研究让四个大语言模型对 2026 年在 Nature、Science、Cell 等 20 种期刊发表的 200 篇论文撰写独立审稿报告。结果显示,800 份审稿意见中有 75.6% 建议大修或拒稿,且不同模型之间的比例从 17.5% 到 100% 不等差异显著。研究还发现,在人为植入单一方法或统计缺陷后,各模型的检出率在 17.0% 到 60.5% 之间,作者认为这些模型的输出只是一种不稳定、依赖框架和模型的信号。

Bastien Le Guellec, Su Hwan Kim, Raphael Bentegeac 等

arXiv cs.LG · cs.CL

SQuAT: Spherical Lattice Vector Quantization-Aware Training

说明SQuAT:基于球面格点向量量化的量化感知训练

简介本文研究大语言模型低比特量化中的向量量化感知训练(VQ-QAT),提出 SQuAT 方法,将权重分解为方向与幅值,方向用 E8 导出的球面码本量化,幅值用低比特标量量化器独立量化,并为两者分别使用直通估计器。作者还设计了分布式精确最近邻分配方案,使训练时间减少 12.8 倍,并扩展到 100 亿词元。实验显示,在相同量化器和初始化下,SQuAT 优于标准 VQ-QAT,并在多个模型上取得当前最优的 VQ-QAT 精度。

Sebastian Loeschcke, Ivan Koryakovskiy, Tycho F. A. van der Ouderaa 等

arXiv cs.CL · cs.AI

Same Entity, Different Script: Diagnosing Cross-Script Entity Matching Failures in Language Models

说明同一实体,不同文字:诊断语言模型在跨文字实体匹配中的失败

简介本文研究多语言语言模型在同一人名以不同文字(天城文与拉丁文)书写时,身份判断会出现差异。作者使用601组经过审核的身份配对,发现Qwen2.5-7B在马拉地语提示下,同一人判断准确率从拉丁文的35.1%降至天城文的8.5%,而不同人判断准确率仍高于98%。在马拉雅拉姆语的374组配对上也观察到类似现象,并通过探针与激活修补定位了第二实体在中间层的因果敏感位置。

Athira Gopal, Patil Prathamesh Pravin, Ankush Kadu 等

arXiv cs.CL · cs.AI · cs.LG

HERD: Harness-Evolving Recursive Distillation for Continual Learning

说明HERD:用于持续学习的“线束演化”递归蒸馏方法

简介该论文提出HERD框架,把持续学习分为两部分:一是在上下文中不断精炼技能、保留难以被技能覆盖的样本;二是通过带双锚点约束的蒸馏将经验内化到参数中。论文称,在TRACE+17的25阶段任务流上,HERD在相同内存和计算预算下,新任务学习能力与最强参数化基线相当,遗忘最少,通用能力保持最好。

Xun Sun, Thanh Thi Nguyen, Thuy-Trang Vu