Universal Test-Time Training
说明通用测试时训练(uTTT):让所有层共享一块快速记忆
简介该论文提出通用测试时训练方法uTTT,让所有网络层读写同一块共享记忆,同时保留各层自己的主干参数,记忆在时间和深度两个维度上循环更新。作者实现了uTTT-MoE和uTTT-Dense两个版本。在语言建模中,uTTT-MoE在RULER准确率上高于同等状态与计算量下的层私有版本,并在新视角合成任务中取得了性能提升。
机器学习、人工智能、自然语言处理、计算机视觉、多智能体。
说明通用测试时训练(uTTT):让所有层共享一块快速记忆
简介该论文提出通用测试时训练方法uTTT,让所有网络层读写同一块共享记忆,同时保留各层自己的主干参数,记忆在时间和深度两个维度上循环更新。作者实现了uTTT-MoE和uTTT-Dense两个版本。在语言建模中,uTTT-MoE在RULER准确率上高于同等状态与计算量下的层私有版本,并在新视角合成任务中取得了性能提升。
说明FLEX-WAM:用于长时程想象与规划的灵活块因果世界-动作模型
简介该论文提出FLEX-WAM,一种可同时用于模拟未来状态和生成动作的世界-动作模型。它支持可变长度的上下文和无限自回归生成,并通过平衡训练梯度、利用前向动力学弹性调节采样,提升模型对动作的响应性。论文报告其在多步预测质量、延迟以及PushT和OGBench Puzzle-4x4任务的想象规划中表现良好,并在双臂OpenArm机器人上实现了实时策略与模型-现实偏差识别。
说明与AI协作涂鸦者探讨创作边界的反思
简介本文探讨与协作型AI系统共同协商创作边界,如何为个人创作反思提供契机。研究基于名为Froggi-Draw的单主动权协作涂鸦系统,用户可决定AI“协作者”(Froggi)何时以及贡献多少。一项为期一周、8名新手和有经验艺术家参与的试点研究显示,参与者在使用中如何应对创作风险与不确定性,对系统的使用和看法也随时间变化。作者认为,支持性的协作AI设计应同时提供用户控制权,使其能够察觉并灵活协商这种权力关系的边界。
说明CodeForge-MA:经执行验证的多智能体学习与语言条件LoRA多语言代码生成框架
简介该论文提出CodeForge-MA框架,用于提升大语言模型的代码生成能力。它由四个智能体协作生成并用测试验证指令-代码数据,同时过滤重复和基准泄露,训练时结合掩码监督微调与测试驱动的强化目标。对于较大模型,采用基于语言条件的稀疏专家路由低秩适配器,在推理时保持基础模型不变。作者称,这些数据、目标与适配器的联合设计在多种编程语言上带来了稳健的提升。
说明规模扩大还是数据稀释?去中心化学习中局部拓扑演化的动态
简介该论文研究去中心化学习中客户端数量增加时的效应,比较了环形、静态随机图与基于朋友的朋友发现的局部自适应拓扑(LFHE)在CIFAR-10上、客户端数N为10至200时的表现。结果显示,保持每个客户端本地数据量固定时,因总数据被分散而产生的性能下降明显减弱;剩余的性能下降主要取决于通信结构,环形拓扑进入高分歧状态,而静态随机图与LFHE接近共识。提高LFHE的度阈值可进一步改善准确率与共识,但模型传输成本显著增加。
说明语言模型智能体中具有稳定时间抽象的分层强化学习
简介本文指出,仅引入显式的层级结构并不能保证时间抽象稳定:子目标可能几乎每轮都被替换,或在不再合适时仍被保留。作者提出STAC方法,将过早重规划和陈旧保留视为约束代价,只作用于采样的边界决策。在ALFWorld和WebShop两个基准上,STAC相比强分层基线取得了明显的成功率提升。
说明推理生命周期中的幻觉:界面可见性、因果证据与发布控制(大型推理模型)
简介本文综述了312篇论文与一手报告,聚焦文本推理中的幻觉问题,考察哪些证据可以观察、哪些研究设计能够确立因果关系,以及现有证据支持哪些纠正措施。作者提出了UIPCA分类框架,涵盖无依据前提、无效推理、依赖性复用、答案轨迹一致性与行动策略失败五类。在所审阅的58项来源中,没有任何比较能在条件匹配下证明某项干预在提升推理能力的同时降低事实可靠性。
说明塑造风场:用于城市风场预测的嵌套势函数方法
简介本文提出Sculpt方法,用嵌套势函数直接把质量守恒和壁面不可穿透约束写入神经网络的参数化中,以预测城市瞬态风场。模型通过三维交错网格上体矢量势的离散旋度生成无散度速度更新,并用共享标量势约束边界,同时采用多分辨率参数化以捕捉大尺度流动结构。作者还发布了UrbanWindFlow大涡模拟数据集,用于同时评估预测精度与运动学可容许性。
说明写作作为一种自组织临界过程
简介该论文用自组织临界理论解释文本中普遍存在的自相关衰减幂律。作者分析了近期发布的KLiCKe击键数据集,发现最终文本的自相关符合带有有限尺寸标度的幂律,且修订过程会朝该规律方向产生依修订规模而变的回复动态。论文由此提出,人类写作似乎会动态调节文本中的语义相关性,使其趋向临界状态。
说明类人注意力?人类与多模态大模型视觉搜索的心理物理学比较
简介本研究比较了1250名人类受试者与多模态大语言模型(MLLM)在相同二维和三维视觉刺激、不同刺激数量下的视觉搜索表现。两者在特征搜索中都表现高效,在合取搜索中随刺激数量增加而下降。两者的错误率相关性较强(ρ=0.82),但人类在目标缺失试验中会延长搜索时间,而模型在复杂搜索中表现出极端的有无判断偏差。结论是模型复现了高层级的人类表现特征,但其内部计算方式存在显著差异。
说明基于辩论的AI安全性受认知偏差影响
简介该论文研究基于辩论的AI监督方法是否可靠。作者用大模型生成68段关于侦探推理的对话,并对其中一方施加锚定、谬误忽视、术语堆砌和冗长等修辞干预。在369名参与者的研究中,这些干预总体上显著改变了人们的判断,表明人类裁决易受操纵性修辞策略影响。
说明衡量并减少语言模型在不同GPU厂商之间的跨平台偏差
简介同一语言模型在不同厂商的GPU上运行,即使权重和输入相同,也会产生不同的输出。论文用五类指标分析两个稠密模型和两个混合专家模型,并发现偏差部分来自厂商矩阵指令内部的累加顺序。文中提到,将计算提升到FP32可使稠密模型的logit误差降低43%,但运行时间约为三倍;仅将MLP保持为BF16则可保留94%的收益,运行时间约为1.3倍。
看点系统分析跨厂商GPU数值差异的多种度量并给出仅MLP保留BF16可保留94%收益的实用发现,证据包括对比实验与蒸馏训练验证。
说明网络化马尔可夫决策过程中用于无模型强化学习的泰勒表示
简介本文研究网络化马尔可夫决策过程,其中转移动态未知且状态-动作空间随智能体数量迅速增长。作者提出在局部奖励平滑且导数受控的条件下,利用泰勒展开近似Q函数,并通过丢弃远距离智能体的系数并边缘化,得到可扩展的局部泰勒表示。基于此提出可扩展的无模型演员-评论家算法,并为线性LSTD评论家给出有限样本保证,同时引入神经TD参数化方法,在三个控制基准上与谱方法相当或更优。
说明生物医学领域神经机器翻译的模型压缩研究:结合知识蒸馏与量化,在法译英任务中压缩模型并加速推理
简介本文研究在生物医学领域将知识蒸馏与量化结合用于法语到英语的机器翻译模型压缩。作者比较了多种微调策略,以适配在专业术语多、平行语料少的条件下的压缩学生模型。实验显示,协同蒸馏并量化后的学生模型体积减少69%,推理速度提升98.21%,二氧化碳排放减少98.46%,且翻译质量未受影响。
说明Artemis:基于几何的多智能体驾驶世界模型,共享三维状态与渐进式记忆更新
简介该论文提出 Artemis,一种基于几何约束的多智能体驾驶视频世界模型,通过从多智能体观测重建显式三维世界地图,实现跨视角一致的统一三维状态。模型还能区分受控前景与不受控的非智能体背景动态,并用关键帧渐进更新三维地图。作者构建了基于 CARLA 模拟器的 MA-CARLA 数据集,实验显示其在视觉保真度和跨视角一致性上优于已有方法。
说明基于大语言模型多智能体协作的受约束多目标容器放置
简介论文提出一种基于大语言模型的多智能体协作框架,用于数据中心的容器放置,同时兼顾降低功耗与提高亲和性偏好,并满足多资源容量和反亲和约束。框架包含四个智能体,在每步放置中以闭环方式工作,并通过候选表保证动作满足硬约束。在 Google Cluster Trace(100 个应用、25 台机器)上的实验显示,相比功耗贪心基线,该方法功耗降低 8.36%,亲和性提高 39.30%。
说明VERA:面向自适应大语言模型评判器的基于判决的可靠性轴
简介该论文针对大语言模型评判器在吸收新验证反馈时如何可靠估计判断可靠性的问题,提出VERA方法:在每个预测判决组内,利用隐藏层激活区分正确与错误判断,从而估计可靠性。作者以VERA为控制信号设计了周期性自适应框架,在Chatbot Arena上适应后,8B和14B参数的评判器在四个公开基准上均优于最强基线,相对提升最高达23.01%。在一个专有的时序审计任务上,焦点类别召回率相对最强自适应基线最高提升16.1%。
说明面向偏好对齐的分组失真保证:一种按群体条件学习策略的方法
简介基于偏好的对齐方法(如 RLHF 与 NLHF)通过成对比较学习语言模型策略,但目标通常是最大化社会福利,而单纯的比较不足以确定这一目标。本文提出 GLHF 算法,每位用户只需一次比较,即可为各群体学习一个条件策略。在 Bradley–Terry 比较模型下,GLHF 在多个预设(可重叠)群体上渐近达到已知的最优失真界,且对相似偏好群体有更强保证。实验显示,在各群体中失真均有降低,最差群体的失真也明显低于 NLHF 等基线方法。
看点将失真保证推广到多群体且可重叠的分组条件策略,样本复杂度对群体数呈对数增长;理论与咖啡评分及合成LLM实验相互印证。
说明面向离策略子目标价值学习的分层时间感知自举方法
简介离策略分层强化学习需要在低层策略不断变化时估计高层决策的价值。HIRO通过重标注子目标复用经验数据,但标签变化后价值更新针对的是新标注的子目标,而非高层策略原本需要更新的子目标。本文提出分层时间感知自举方法(HTB),在当前低层策略下评估指定子目标并保留累计任务奖励,并借助剩余执行时间区分子目标延续与新的高层决策。论文报告在AntFall任务上,HTB成功率为32.8%,同配置的本地HIRO为9.6%(五个成对随机种子,1000万环境步)。
说明子水平 Flood 双过滤:迈向可扩展的二参数持续同调
简介本文提出一种高效计算大规模点集二参数持续同调的新方法,即子水平 Flood 双过滤,它是对子水平偏移双过滤的可扩展近似。作者称该构造具有理论稳定性,并描述了其高效计算方式。在低维合成数据(密度感知至关重要)和真实时间序列数据的分类任务中,该方法得到了验证。
说明基于ReRAM的存内计算CNN加速器故障脆弱性实证研究
简介本文针对基于阻变存储器(ReRAM)的存内计算(PIM)卷积神经网络加速器,开发了故障注入框架,在软件和硬件两个层面分析大型CNN的脆弱性。研究将CNN参数映射到ReRAM交叉阵列并注入卡在高电平(SaH)与卡在低电平(SaL)两类故障,结果显示脆弱性与层的类型和深度、参数位置及故障类型和数值有关,且不同模型的脆弱性各不相同,其中SaL比SaH更进一步降低分类准确率。
说明TeleTune:利用离线遥测日志演化智能体技能
简介计算机操作智能体需要学习人们使用软件的操作知识,用户遥测日志是可扩展的来源,但日志不记录目标、无法回放,且可能混杂多个任务。TeleTune 从离线日志中学习文本化技能库,依据动作预测误差提出修改并保留能提升留出集动作预测准确率的改动;在 WorkArena 与 Online-Mind2Web 上,其平均成功率分别为 77.1% 和 80.6%,优于各基线。
说明从预训练扩散表示中得到可辨识的世界模型:在冻结的扩散模型上加轻量对齐层,使其潜变量可对应真实状态变量
简介本文研究如何在不重新训练生成主干的前提下,为冻结的预训练扩散模型配备可辨识的潜坐标。作者提出对比扩散对齐方法(ConDA),仅在冻结的扩散潜表示上学习一个轻量对齐映射,并在标准 TCL/GCL 假设下证明对齐后的表示可辨识到置换和分量可逆变换。实验覆盖物理与机器人视频系统,结果显示 TCL 与 GCL 版本在潜状态恢复和滞后图恢复上表现良好,其中模拟下落物体系统实现了精确恢复。
说明PharmAgent:基于冻结语言模型、带约束感知的分子优化搜索方法
简介该论文提出PharmAgent,一种用于分子优化的约束感知搜索方法,在有限评估次数内同时提升目标活性并满足可开发性约束。方法通过拉格朗日控制器把已接受状态的约束违反累积为约束压力,并结合按结构索引的经验回放指导后续生成。在五个任务上,其目标分数曲线下面积和带约束搜索结果均优于所比较的基线方法,并在消融实验中表现最好。
说明基于成对偏好反馈的连续博弈学习
简介本文研究玩家只能获得成对偏好反馈(仅知道两个行动中哪个更优,不知收益数值和偏好强度)时的连续博弈学习问题。作者证明,标准外部遗憾与粗相关均衡无法仅从这类序数信息中辨识;据此提出基于归一化单边偏好方向的一阶序数理论、序数方向遗憾基准及相应均衡概念。文中给出的算法可由每轮每位玩家一次成对比较实现,在有限分辨率下取得次线性序数遗憾,并在序数势博弈中几乎必然收敛到纳什均衡集合。
说明未提及的检查发现如何影响强化学习在胸片报告核查中的表现
简介该研究用强化学习训练视觉语言模型,依据胸片为12项发现生成检查清单,再由独立模型据此判断报告句子。在留出患者上,两种核查器测得的区分度提升分别为12.6%和11.8%,只有规则型核查器满足预先设定的误报标准。改用固定顺序、将未提及发现记为阴性的训练格式后,结果出现分化,并且标签来自报告本身,并非由放射科医生裁定。
说明EvoMem-VLA:面向长时程机器人操作的状态演化记忆
简介该论文指出,多数视觉-语言-动作模型只依赖当前观测,任务相关信息离开视野后即丢失,影响长时程依赖记忆的任务表现。作者提出EvoMem-VLA,通过编码并保留历史状态之间的变化来构建状态演化记忆,并采用任务自适应路由,在RMBench、RoboMME及四个真实任务上分别取得80.7%、82.0%和83.8%的成功率,据称较此前最优方法有明显提升。
说明渲染以推理:新视角语义预测提升视觉语言模型的空间理解
简介已有工作为视觉语言模型加入预训练三维模型提取的几何特征,但仅融合几何特征并在常规空间问答上训练,对高层多跳任务提升有限。作者认为原因在于训练信号不足,于是提出“新视角语义渲染”作为辅助训练任务,要求模型预测未观察视角的语义布局。实验显示该方法在三个基准上相比几何增强基线均有提升,完整模型在VSI-Bench和ReVSI上超过先前开源方法。
说明Prism:用于原生2K视频-音频联合生成模型训练的动态稀疏注意力方法
简介该论文提出Prism,一种动态稀疏注意力框架,用于原生训练2K分辨率的视频-音频联合生成模型。它将token序列划分为时空宏区域,依据视频特征方差和音频到视频交叉注意力的特征范数,为每个区域动态选择块形状并确定稀疏度。实验显示,Prism相比全注意力训练加速2.5倍,且生成质量更优。
说明多模态大模型视觉编码器评估的强基线方法
简介本文研究如何评估视觉编码器在多模态大语言模型中的表现。作者通过大规模实验,指出以往跨模态评估方法在实验设计和方法构建上的局限,并做出改进。随后提出无需训练、基于跨模态最近邻检索的RAVEL方法,其在实验中取得了领先的表现,明显优于已有方法。
说明CleanMDM:用于多模态动作清理的干净动作扩散模型
简介动作捕捉数据常有缺失片段、抖动、漂移和接触伪影,难以直接使用。本文提出CleanMDM,将动作清理建模为带即插即用条件的掩码条件生成,可同时接受含噪三维动作、稀疏二维或三维关键帧及文本。论文还引入潜在动作质量判别器和网格感知接触投影,以减少滑步、抖动与穿模。实验称其优于既有基线,且文本与二维关键帧能带来可控性提升。
说明BeliefGraph-JEPA:面向动作条件时间序列的结构化潜在世界模型
简介该论文提出BeliefGraph-JEPA,一种结构化潜在世界模型,将未来驱动因素的影响分解为带类型的潜在效应状态,并随预测时域滚动演化,再通过图结构路由到各目标节点,构成联合嵌入预测架构的预测基础。在临床、农业、环境和工业四类多目标系统上,该框架优于多种预训练及有监督的已知未来协变量基线。
说明《无概念逃脱审计》:面向扩散模型可验证概念擦除的审计感知遗忘方法
简介文章指出,现有文生图扩散模型的概念擦除方法大多只在文本接口干预,仅通过输出评估,无法发现网络内部仍编码的被擦除概念;潜空间审计显示即使对抗提示下的稳健方法,被擦除概念仍可从内部表示中恢复,且问题随擦除概念数量增加而加剧。作者提出AVCE框架,在模型潜表示层面审计各概念的嵌入邻域,在最薄弱的几何点闭式编辑交叉注意力与自注意力投影,并用正交梯度投影合并多个概念。在SD v1.5、SDXL和Flux 1.0上的实验显示,相比最强基线,其攻击成功率降低5.07倍,审计分数提升3.84倍,同时保持有竞争力的生成质量。
说明任务向量下降:从非独立同分布批次中学习
简介这篇论文研究语言模型持续学习中的一个问题:训练数据按分布成段出现时,模型在适应新分布的同时容易遗忘旧知识。作者比较了完整应用参数位移(λ=1)与按系数λ缩放任务向量后再应用的做法,并在持续预训练、随机初始化预训练、监督后训练和强化后训练中进行了实验。结果显示,中间的λ值通常优于完整应用,且在同一分布序列较长时更明显。
说明CASE:面向高效长视频智能体的成本感知停止框架
简介长视频智能体会主动收集与问题相关的证据,但通常不明确决定何时已看够可以作答。本文提出即插即用的终止框架CASE,用轻量岭回归器学习“现在作答”与“继续搜索”之间的成本感知差距,输出停止或继续的决定。在Video-MME上,端到端准确率平均变化+0.67个百分点,模型token使用减少53.63%,且冻结策略可零样本迁移到LongVideoBench和MLVU。
说明MMPostTrainBench:多模态后训练自主研究基准
简介本文提出 MMPostTrainBench 基准,涵盖图像、音频、视频及音视频联合理解等八项任务,考察 LLM 智能体在固定预算下对多模态模型进行迭代后训练的能力。结果显示,52.1% 的模型-任务均值低于基础模型,且存在非目标能力退化,智能体也未能稳定选出最佳候选提交。作者进一步提出 MMResearch 框架,借助分层记忆与开发集评估改进表现。
看点提出多模态自主后训练基准及带分层记忆的研究框架,发现回归与选择差距;在八项任务上做了系统评估,影响面集中于多模态研究智能体领域。
说明基于直接预测与流匹配的高效图生成(DiGFM)
简介本文提出DiGFM,一种用于图结构数据生成的图Transformer模型,采用连续流匹配范式并直接预测干净的图,而非预测噪声。模型通过多步过程将先验噪声分布映射到干净图的分布。实验表明,该方法仅需扩散模型约2.5%至15.6%的步数即可生成高质量样本,推理速度提升5.3至257倍,并在通用图基准和分子数据集上达到或超过现有最先进模型。
说明《隐藏状态配方》:面向工业场景抗噪对话意图分类的大规模消融研究
简介本文研究对话式数据库接口中,用户查询夹杂问候、客套等噪声时如何提升意图分类准确率。作者基于 Llama-3.2-1B-Instruct,在 BANKING77 和 CLINC150 数据集上进行了 360 组对照实验,比较了多种池化策略。结果显示,在有噪声条件下注意力池化表现最好,均值池化则会明显降低性能。
说明离线AI模块:语音优先的离线架构、硬件参考方案、量化与基准测试
简介本文介绍一套可在无网络环境下运行的语音优先AI系统,面向网络不可靠或缺失的非洲语言社区。研究在两种硬件上(NVIDIA Jetson Orin NX与Raspberry Pi 5)对三个2-5B参数的指令调优模型进行了四种量化格式的端到端基准测试,并在MasakhaNEWS多语言主题分类与Ethio-ASR语音识别任务上评估质量。主要结论是Q4_K_M量化在两种硬件上均为最佳的体积与质量权衡方案。
说明GNN-CB:面向人类与大语言模型的图神经网络竞赛基准
简介本文提出 GNN-CB,这是首个以竞赛形式评估人类与大语言模型图神经网络编程能力的基准,包含 18 个涵盖节点、边和图级预测的竞赛任务。所有提交通过统一的自动化流程,使用隐藏测试集和标准化评分进行评测。结果显示,在该评测协议下,大语言模型很少能达到人类最高水平,且表现较不稳定;多数任务仍由人类夺得最高分。
说明Sibyl:面向长时程任务的小模型与大模型高效协作框架
简介论文提出 Sibyl 方法,训练小型语言模型智能体在关键步骤上有选择地咨询云端大模型,并将其指导内化到后续决策中。方法分三阶段训练,并同时优化成功率与云端调用次数。在 ALFWorld 和 WebShop 上,仅用 0.6B 参数模型,成功率分别超过基线方法 95.2% 和 80.4%,平均每条轨迹仅调用云端 0.8 次和 3.9 次。
说明Harness-Search:借助多智能体协作引导长程检索
简介这篇论文提出 Harness-Search,一种面向长程搜索的多智能体框架,把提出检索动作、更新持久状态和判断何时停止三项职责分配给三个权限受限的角色。在七个长程搜索基准上,相较同一策略底座下表现最强的基线,检索召回率和最终答案召回率均有明显提升。轨迹分析显示,随搜索历史增长,该方法能持续积累有用证据并减少冗余检索。
说明VHDL-REPOBENCH:评估大语言模型生成 VHDL 设计能力的仓库级基准测试
简介该论文提出 VHDL-REPOBENCH,一个面向 VHDL 硬件描述语言的大规模、跨文件仓库级基准。它收集约100个开源 VHDL 仓库,包含约2.5千个 VHDL 文件和约500个测试平台,用于评估大语言模型在语法、语义、跨文件依赖和功能验证等方面的表现。测试显示,现有模型在行级和块级准确率上表现中等,但在多文件推理、层次化设计理解和从规格到模块生成方面仍存在明显挑战。
说明可解释性能否在数据漂移后保持?:研究解释在输入分布变化下是否依然可靠的论文
简介论文探讨机器学习模型在数据漂移后,其局部解释是否仍忠实反映新模型的决策。作者以IEEE-CIS交易欺诈检测数据集为例,发现存在显著的协变量偏移,但未检测到显著的概念漂移。结果显示,旧解释与重训练模型仍有较强相关性,但忠实度持续低于新生成的解释,因此作者认为解释应被单独监控,并视为与其生成模型绑定的产物。
说明分布式潜意识学习:用随机载体输出替代模型更新
简介论文提出分布式潜意识学习(DSL),参与方在本地调整共享模型后,仅用与任务无关的输入探测模型并上传输出,不传输参数。协调方汇总这些输出并蒸馏为共享模型。论文报告在大模型组合与联邦分类中,相比LoRA平均与FedAvg,DSL通信量更低,并保持了较好的效果。
说明通过全局修正局部估计从不完整数据中学习场重建
简介该论文研究如何从始终不完整的训练样本中重建物理场。作者提出一种局部构建、可全局修正的估计器:先用共享的坐标条件预测器从不完整图像块中学习局部场估计并融合为一致场,再由全域估计器基于原始观测学习残差修正。在三个带有真实观测缺口的海洋数据集上,该方法在保留的源支持数值上取得最低MSE和最高PSNR,相比最强的外部基线,MSE降低28.9%至34.5%。
说明面向块扩散语言模型的无偏同策略蒸馏
简介同策略蒸馏是语言模型训练后的有效方法,已有研究将其用于块扩散语言模型,但多集中于小块尺寸。本文发现,师生模型块边界不一致会造成上下文错位,且学生模型会过快吸收高支持度信号而忽视低支持度更新,导致训练不稳定甚至过度自信崩溃。为此提出Un-OPD框架,通过边界感知的步骤过滤和支持度再平衡的置信度校准来稳定训练,并引入rollout复用机制降低生成开销。在数学推理和代码生成基准上,该方法稳定了训练并取得更好表现,训练耗时约减半。
说明WiSPER:基于WiFi信道状态信息的多人三维姿态估计方法
简介该论文提出WiSPER框架,用于利用WiFi信道状态信息(CSI)估计多人三维姿态。框架包含两阶段:PAMEL在掩码预测预训练中加入姿态监督,ReFT则通过条件残差流对多个姿态候选进行细化。在PiW3D数据集上,整体平均每关节位置误差为63.72毫米,相对WiFi-JEPA降低40.0%。推理时仅需CSI输入。
说明面向科学逆问题的稳健集成引导(REG):用集成预测离散度加权、截断残差,改进扩散先验求解器的重建精度
简介该论文针对科学逆问题,提出稳健集成引导方法REG,在不对物理模拟器求导的前提下,对扩散先验与黑盒前向模型的集成修正进行加权和自适应截断。实验在Navier-Stokes反演、黑洞成像和声学全波形反演上进行,结果显示相比原集成求解器重建效果有所提升,其中黑洞成像PSNR提高6.2至8.2 dB,Navier-Stokes重建误差在匹配计算预算下降低26.4%。
说明EnGRICH:用人类评语增强生成式奖励建模
简介生成式奖励模型(GRM)在给出偏好判断的同时会生成自然语言评语,但现有训练只以最终判断是否正确作为监督,不可靠的评语也可能被强化。本文提出EnGRICH框架,用一小批人类评语训练一个训练期的MetaCritic,据此构造针对具体回答的评分标准,评估生成评语的证据覆盖度与正确性,并把人类评语学到的标准推广到仅有结果标签的偏好数据上。推理时训练好的GRM可独立运行,在七个奖励模型基准上优于竞争基线。
说明缺失模式不匹配对时间序列分类方法选择的影响:受控实证研究
简介本文研究在验证集上选择时间序列分类器时,若验证数据的缺失模式与部署时不一致,是否会影响选择结果。作者在64个单变量UCR数据集上进行了2×2受控实验,比较随机点缺失与循环块缺失。结果显示,不匹配的验证使所选分类器的测试平衡准确率平均下降1.14个百分点,缺失率越高影响越大。
说明AIProver:借助证书驱动的演化式框架,自动形式化数学研究论文
简介该论文提出 AIProver,一个用于自动将数学定理及证明翻译为 Lean 等形式语言并自动生成证明的智能体框架。框架联合微调一个 119B 开源语言模型,并通过 HarnessEvolve 演化其工具调用流程,依据类型、证明完整性与语义正确性的验证证书进行强化学习。作者还构建了包含 58.9k 实例的 LoCoBench 基准。原文报告其语义正确率(pass@4)从基线的 15.7% 提升至 36.7%,并优于其他开源系统与 Aristotle,成本也低于 Numina-Lean-Agent。
看点提出证书驱动的进化式工具调用框架并联合后训练,在研究级形式化上显著超过基线,证据较充分,对子领域有实际影响。
说明IrọyinSpeech文本语料库:用于语音与语言技术的24,905句精选约鲁巴语句子
简介本文发布了IrọyinSpeech约鲁巴语朗读语音语料库的文本部分,包含24,905个经人工核对、标注声调的独特句子。这些句子于2022年整理为录音提示,其中约11,000句改编自公开授权的新闻材料,其余为专门撰写,以扩大超出宗教译文的覆盖面。文本可用于变音符号还原、字素到音素转换、语音合成前端开发等研究。
说明在未建模状态依赖下使用学习型评论家的最优控制
简介该论文提出一种基于学习的模型预测控制框架:在解析动力学模型基础上,用残差动力学网络学习缺失的状态相关效应,并用学习到的动作价值评论家为局部iLQR优化引入长时域信息。作者还开发了GPU批处理iLQR求解器以并行求解大量轨迹优化问题。在有偏差或建模不完整的控制任务上的实验表明,该方法提升了闭环控制性能,同时保留了模型基结构。
说明FACET:面向高保真荧光显微图像合成的非对称分解条件生成方法
简介该论文提出FACET框架,用于根据蛋白质氨基酸序列和细胞形态背景生成荧光显微图像,从而对未成像蛋白的定位进行计算机模拟预测。方法将序列与形态背景的作用分开建模,并借助预训练扩散模型实现高效生成。论文报告在保留的蛋白质上,相比基线方法空间重叠提升,FID降低,且网络评估次数减少75%。
说明重新审视数据流上的表格基础模型
简介该论文系统研究表格基础模型(TFM)在数据流上的表现,通过上下文学习而非更新参数来适应数据变化。研究涵盖记忆管理、计算成本以及概念漂移和标签延迟等流数据问题。结果显示TFM预测性能最高,仅保留最新样本的效果与现有记忆管理方法相当,漂移后恢复更快,但推理成本较高,因此作者认为架构效率是未来方向。
说明超越最小二乘的行为基础模型任务推断
简介行为基础模型(BFMs)通过从奖励函数推断任务向量,无需测试时的策略学习即可完成多种下游任务。本文指出,常用的普通最小二乘(OLS)推断只关注奖励重建误差,未约束奖励的排序,可能使零样本策略的后继测度偏离最优策略。作者提出BLS方法,在降低奖励重建误差的同时减少后继测度失配,并在运动、操作和人形机器人控制等基准上取得优于现有任务推断基线的结果,计算开销可忽略。
说明通过流反转学习条件源分布,用于时序流匹配
简介本文提出 CNP-Flow,一种用于时序生成的流匹配框架。它用条件噪声预测器为每个时序条件生成各向同性高斯源分布,并通过流反转从预训练的流匹配模型得到监督样本。在视频预测、视频插值和 7 自由度 Franka 机器人运动规划任务中,该方法提升了生成质量,并以更少的函数评估次数达到基线性能。
说明MemStrata:基于本地 Qwen 27B 的对话记忆系统在两个长期记忆基准上的评测
简介本文提出 MemStrata 对话记忆系统,使用本地 Qwen 3.8 27B 模型作为阅读器,在 LongMemEval-S 上得分 475/500(95.0%),在 LoCoMo 上得分 1,400/1,540(90.91%),采用源文感知评分(先对照完整原文核验参考答案)。作者同时报告了仅参考答案的评分结果,并与全历史对照组、关键词检索及其他方法进行了比较。文中也明确指出,源文感知评分优于人工裁定尚未得到证实,且缺乏独立复现的条件。
说明IRSTD-Agent:基于缩放引导交互学习的红外小目标检测智能体
简介论文提出IRSTD-Agent,一个让多模态大模型通过动态视觉搜索检测红外小目标的智能体框架。模型借助PROPOSAL、ZOOM、DETECT、DROP、REFINE五种视觉工具,逐步在原始分辨率图像上定位目标。训练采用缩放引导交互学习,利用标注衍生的交互轨迹监督工具选择与参数。实验在WideIRSTD-Full和IRSTD-1k数据集上进行,结果显示该框架优于所评估的视觉语言模型。
说明WILLIE:伤口分类、分割与定位的统一框架与基准
简介该论文提出WILLIE,一个统一框架与基准,用于同一协议下的伤口分类、分割和定位。作者将三个公开伤口数据集整合为共享基准,比较了三种规模配置的统一模型与10个单任务基线。最佳模型在单次前向推理中同时输出三项结果,分类准确率91.88%,Dice为91.41%,AP@0.5为96.23%;研究还发现基于分割得到的定位优于专用检测基线。
说明分层强化学习中半马尔可夫次优性研究
简介该论文研究分层强化学习中因坚持执行时间扩展子任务而产生的次优问题,将执行次优与策略次优分开分析。作者提出统一价值函数与四阶段广义分层贝尔曼方程,并在有界奖励与统一终止条件下给出分层策略与执行改进的结果。实验(基于选项与目标条件的方法及受控随机环境)表明,改变执行方式与改变学习目标可带来互补的收益,使执行设计成为分层策略优化的显式组成部分。
说明绿色路由神经算子:物理方程决定网络在何处读取信息
简介本文指出,许多偏微分方程中的输运场用于确定读取坐标,而常见神经算子仅将其作为输入值。作者提出绿色路由神经算子(GRNO),由控制方程决定潜在特征的采样位置。在五个二维和三维偏微分方程系统上,GRNO在40步自回归评估中于四个系统上取得最低平均最终相对L2误差,并在Keller-Segel系统上保持竞争力。
说明AgentDiscover:用最少搜索脚手架进行自主科学发现
简介该论文提出 AgentDiscover,让编码智能体自行规划搜索,并用数据库记录想法、候选方案及其关系,作为长期记忆。实验显示其在内核工程、生物学、算法设计和数学等任务上优于现有发现框架,成本更低、分数更高。文中还报告其程序在七届过往 AtCoder 启发式竞赛中本可名列第一。
看点让编码代理自主规划搜索并用数据库记忆实验,相比固定算法框架有新意;在多领域任务和历届AtCoder比赛上做了对比实验。
说明扩散 Transformer 是可证明最优的上下文生成器
简介该论文从理论上分析了在多种任务上预训练的扩散 Transformer(DiT)如何根据推理时给出的示例,为新查询学习并生成预测分布。作者证明,由有限示例生成的目标是反映剩余任务不确定性的预测分布,而非单一任务的估计输出。结果表明,在预训练资源和扩散采样步数充足时,DiT 在一类测试时任务(Hölder 类)上达到极小极大最优速率。
说明多分类中紧凑的集合值深度集成方法
简介本文针对以深度神经网络为成员的深度集成学习,提出用贝叶斯神经网络或带蒙特卡洛 dropout 的卷积神经网络等紧凑集成来降低训练和存储负担,并为每个查询实例构造代表性分布,进而得到任意效用下的贝叶斯最优预测。为提高单一标签预测的稳健性,论文还提出一族具有良好性质、可高效求解集合值最优预测的集合效用函数,并通过实验说明该框架的优劣势。
说明VAMPS:基于采样规划的视觉与运动策略学习
简介该论文提出VAMPS框架,利用模型预测路径积分(MPPI)控制训练可复用的机器人策略,无需人类示范。在仿真中,策略与MPPI迭代互相优化,并将学到的步行策略迁移到Unitree Go2机器人;在真实机器人上,它用自主采集的数据训练视觉运动策略,完成抓放和带力感知的白板擦除任务。
说明CT-Miner:基于笛卡尔树的快速粗粒度时间序列模式挖掘
简介该论文提出一种基于笛卡尔后缀树(Cartesian suffix tree)的笛卡尔模式挖掘算法,用于在时间序列中挖掘结构相同的频繁模式。笛卡尔树等价只保留层级顺序结构而忽略具体数值。作者称其将穷举式CT模式出现次数收集的时间复杂度从O(n^4)降至O(n^2),并给出正确性与复杂度证明。在多个时间序列数据集上,少量挖掘出的CT模式能保留有意义的聚类结构。
说明理解大语言模型训练中的权重平均机制及其在训练后量化中的作用
简介大语言模型通常以高精度预训练,再以低精度训练后量化部署。研究发现预训练时使用权重平均比学习率衰减更有利于量化效果,但其原理尚不清楚。本文将权重平均表述为保留训练进展与提高抗扰动能力之间的权衡,推导出一族统一常见策略并达到两者帕累托前沿的平均核,并给出训练后量化下的理论框架:量化越粗越易受扰动影响。实验验证了这些预测与所提出的平均策略。
说明秩一二次感知下近似消息传递算法的定量普适性
简介本文研究近似消息传递(AMP)算法在秩一二次感知矩阵下的表现。作者证明,在固定迭代次数内,这类矩阵与协方差匹配的各向同性高斯矩阵所得的归一化信号重叠、平滑谱统计量等结果仅相差 O(d^{-1/2})。由此得出归一化均方误差、谱矩及经验谱分布的普适性。该结果为 Maillard 等人(arXiv:2408.03733)提出的 AMP 普适性猜想,在规定的平滑谱去噪器情形下提供了证明。
看点证明了秩一二次感知下AMP的定量普适性,并确认了Maillard等人提出的猜想,理论上有实质推进,但应用范围较窄。
说明胼胝体在 Kendall 形状空间中的黎曼形状分析:衰老与阿尔茨海默病
简介本文提出一种黎曼形状空间框架,用于分析中矢状面胼胝体随年龄发生的形态变化,数据来自 OASIS-1 队列。研究以 128 个地标点表示轮廓,并通过测地回归估计年龄相关的形变,结果显示前部区域(膝部与前体部)贡献了大部分变化,且测地回归优于欧氏线性基准。在阿尔茨海默病组中,年龄几乎无法解释形状变异,提示疾病可能扰乱了健康的衰老轨迹。
说明超越拒绝模式:用于稳健且可泛化的大语言模型安全对齐的安全角色内化方法
简介该论文提出SSRFT(监督式安全角色微调),将安全对齐视为对预定义安全角色的内化。方法基于心理测量题、少量越狱提示和安全角色描述构建数据集,并生成、验证和扩充角色一致的回答。实验显示,相较标准SFT,SSRFT在预填充攻击下更稳健,对未见过的越狱场景泛化更好,同时减少对良性问题的过度拒绝并保留模型通用能力。
说明阴影特征精炼网络:基于知识蒸馏的渐进式特征精炼阴影去除方法
简介本文提出阴影特征精炼网络(SFR-Net),结合监督学习、特征精炼损失和知识蒸馏来提升阴影去除效果,并引入后处理算法以恢复去阴影图像的自然色彩一致性。在ISTD+和SRD两个公开数据集上进行评估,全图RMSE分别为3.4627和4.3781,SSIM分别为0.9382和0.9341。
说明CoDance:从视频中学习人形机器人与人类的反应式柔顺互动
简介该论文提出 CoDance 框架,从单段双人舞视频中学习人形机器人与人类舞伴之间的反应式、柔顺互动。方法通过多连杆柔顺增强,将运动示范转化为带有双手受力信息的训练数据。在仿真中,策略能随舞伴变化调整步伐,并复现约80%的手腕位移;在实体人形机器人上,可完成与人类舞伴持续双手舞蹈,包括前进与后退之间的反复切换。
说明更长推理何时有帮助?通过发现与执行预测数学推理
简介该论文提出“发现—执行”(DE)框架,利用短预算尝试估计数学推理在更多计算量下的成功率变化。作者在35道新奥赛题及IMO-ProofBench Advanced非几何题上评估四个模型。结果显示,测量条件执行能更好地预测长推理的效果,优于仅依赖短预算成功率的几何外推。
说明模拟硬件上稳健的参数高效大模型适配
简介本文研究在模拟存内计算硬件上对大语言模型进行低秩适配(LoRA)的方法:预训练权重固定存放在模拟阵列中,只训练LoRA权重,以适应下游任务和硬件非理想性。文中提出输入重塑以降低输入引起的矩阵向量乘误差,并提出更新累积以保留微小更新,使其在有限状态器件上正确编程。实验基于Llama-3.2-1B-Instruct和Llama-3-8B,在Muon和AdamW优化器下,结果显示两种方法均能改善噪声条件下的适配效果。
说明通过分层稳定实现语音基础模型的可迁移对抗鲁棒性
说明RubricArmor:通过对抗式演化改进基于大语言模型的评分标准生成
简介基于评分标准的强化学习为大语言模型提供可解释的奖励,但由大模型直接生成的评分标准容易被“奖励黑客”利用。该论文提出RubricArmor框架,让攻击步骤与修复步骤交替进行多轮对抗演化,在强化学习前发现并修补评分标准的漏洞。实验显示该方法优于现有基线,并使下游的基于评分标准的强化学习效果更好。
说明以运动学为中心的连续手语检索:基于词条引导的边界感知对齐
简介该论文针对手语与文本的对齐问题,提出以3D SMPL-X动作为主要表示的运动学框架,减少对外观图像信号的依赖。方法利用手语词条的时间跨度作为弱监督,把连续动作切分为片段并建立细粒度的动作与文本对应。实验称在CSL-Daily上双向检索达到当前最佳,在PHOENIX-2014T上结果具有竞争力。
说明LLM推理中并行策略的计算与通信权衡分析
简介本文提出一个统一的解析框架,用于分析张量并行、流水线并行及混合并行下大语言模型的分布式推理。框架把端到端延迟拆分为计算、GPU间通信和流水线气泡开销,并分别刻画预填充与解码两个阶段的差异。多GPU平台上的实验验证了该模型,并为并行策略选择和服务系统容量规划提供参考。
说明ASCENT:通过自蒸馏已验证经验,在线测试时训练长程智能体
简介该论文研究大语言模型智能体在部署过程中、对一连串相关任务边执行边在线更新权重的方法,称为在线智能体测试时训练。ASCENT 让模型冻结的初始副本以已验证的执行轨迹作为特权信息,预测沿轨迹的下一词分布,再把这些分布蒸馏进持久的 LoRA 快速权重,用于后续任务。论文报告,在 ALFWorld、WebShop 和 AppWorld 上,随着经验积累,该方法提高了任务成功率与交互效率,并能迁移到未见过的场景。
看点提出在部署中用自蒸馏将已验证轨迹写入权重的新范式,并在三个基准上对比在线适应方法,证据较充分,影响限于智能体训练子领域。
说明MESH-Harness:基于老虎机引导组合进化的自我改进智能体框架
简介论文提出 MESH-Harness,用于在固定模型权重、有限评估预算下改进智能体框架(负责组织上下文、维护状态、协调工具调用的代码)。该方法把框架拆成带角色接口的功能模块,并用 LinUCB 等方法选择模块组合进行评估。实验显示,在文本、检索增强数学推理、代码生成和交互式科学任务上,它在相同候选评估预算下优于 Meta-Harness,且测试时总成本更低。
说明重新审视高速视频的真值合成:精确有效条件与经审计的消费级采集语料库
简介运动去模糊数据集通常通过平均连续多帧高帧率图像并以中心帧作为标签来合成。论文指出,只有窗口为奇数且各帧采样时长相等时,该标签才无偏;偶数窗口会使每个标签产生固定比例的偏移。作者审计了51段标称240fps的智能手机视频,其中19段实际接近176fps,该信息仅记录在容器的时间表中。作者还发布了检查这两个条件且无需解码的工具,以及相关视频和时间表。
说明FlexCast:从任意变量集合进行自适应天气预报
简介该论文提出 FlexCast,一个可适应不同大气变量组合的天气预报深度学习模型,使用同一套参数即可处理从 69 个 ERA5 变量中任意选取的子集。模型通过元数据条件适配器、共享低秩投影与掩码集合融合等模块统一表示不同变量,并以六小时增量递归生成更长时效的预报。在 2020 年 ERA5 测试集上的实验表明,兼容的跨变量上下文可降低预报误差,而不匹配的上下文会使误差增加。
说明先可读,后可干预:间接提示注入的因果追踪
简介该论文研究大语言模型智能体在处理外部数据时,被嵌入其中的指令误导的间接提示注入问题。作者通过反事实角色探测、分组件激活修补以及在AgentDojo轨迹上的独立干预进行分析。结果显示,角色信号可被读取,但能有效改变智能体行为的干预方向在不同通道间迁移性较差,且干预效果受深度、位置和上下文影响。
说明BossouChimpanzee:长期野生黑猩猩视频数据集
简介该数据集记录了几内亚博苏(Bossou)户外野外实验室中野生黑猩猩的视频,时间跨度为1988至2018年,共超过1200小时的连续录像。论文介绍了该实验范式与视频档案的历史,并发布了约74小时的初始版本BossouChimpanzee70h,涵盖23只已识别个体,用于个体与行为识别。
说明被抹除、转移还是缩放?后训练与语言模型信念状态的因果商
简介本文研究语言模型预训练得到的信息在后训练中会如何变化:可能被抹除、转移到不影响决策的路径,或被缩放为占用更小方差。作者在可识别的受控设定中,用奖励无关核分别测量信息是否可解码、决策是否因果依赖它以及其占据的激活方差。结论是,后训练多数情况下只是转移或缩放这些信息并保持可解码,仅在长时间权重衰减下才出现抹除。
说明用小型宽松许可开源模型进行校准的证据推断
简介本文用低秩适配器微调了 Qwen3-4B-Base 模型,使其能够判断随机对照试验的结果是显著升高、显著降低还是无显著差异。训练仅使用了 CC BY、CC0 或公有领域许可的文章,模型以 Apache 2.0 许可发布。论文报告其预期校准误差为 0.017,宏观 F1 为 0.925,并称接受其最有把握的 80% 答案后,错误率为 2.6%。
说明用于非凸联邦随机双层优化的平滑梯度方法
简介本文针对非凸联邦随机双层优化问题,提出一种随机双重平滑梯度方法,仅使用一阶梯度信息以减少二阶Hessian与Jacobian矩阵的计算开销。该方法解耦了上下层变量的学习率,且不要求下层损失函数为强凸。作者给出的收敛速率为O(κ^{15/2}/ε^5),通信复杂度为O(κ^4/ε^3),其中κ为条件数、ε为解的精度,两者对条件数的依赖均优于现有方法。实验验证了该算法的有效性。
说明何时重新思考:面向视觉语言模型的多视角自我验证学习
简介视觉语言模型在多模态推理中表现较强,但仍可能给出看似合理实则错误的答案。本文系统分析了验证器能力与提示设计对自我验证效果的影响,发现验证效果对提示选择高度敏感。据此提出MOTIVE框架,从多个互补视角评估候选答案,并学习与正确性对齐的可靠性分数,以决定直接接受答案还是触发基于历史的重新思考。多个基准和模型主干上的实验显示其优于现有自我验证与自我纠正方法。
说明Mobile-4DGS:面向手机的统一静态与动态实时高斯泼溅渲染
简介该论文提出 Mobile-4DGS 框架,使静态与动态三维高斯泼溅(3DGS)能够在手机等资源受限设备上实时渲染。方法包括用一阶球谐函数压缩高阶辐射残差、按多视角一致性进行高斯稠密化与剪枝,以及用显式四维表示建模动态场景并复用深度排序以减少播放时的计算。实验表明,该方法在保持有竞争力画质的同时显著降低了存储与渲染开销。
说明融合即新变异:基于赌博机引导的工作流图进化方法(DAGO)
简介论文提出 DAGO 框架,用于自动化智能体工作流优化。该方法将多个父工作流组合视为赌博机的臂,用对比式赌博机(LinUCB)学习在有限评估预算下选择融合哪些父工作流,再由大语言模型生成子工作流,并以验证分数作为反馈,同时用有向无环图记录工作流及其多父谱系。论文报告在六个涵盖数学推理、代码生成和问答的基准上,DAGO 取得最高的宏平均分,并在相同预算下将 AFlow 的 80.3 提升至 81.7,同时降低 11.2% 的搜索开销。
说明当智能体上下文过时:可变上下文中的不一致问题
简介智能体常依据工具返回的文件内容推理,但这些数据源可能已被修改,而模型仍保留旧内容,导致回答过时。论文提出Concord框架,将每条观察与其来源关联,检测来源变化,并按可配置策略更新、标注或抑制过时上下文。作者构建了ConcordBench基准进行评估,在三个前沿模型上,Concord的回答与恢复后的工作区状态一致,且比最强的非预言基线少用46.4%的token。