T-SNN: Temporal Simplicial Neural Network for EEG Decoding
说明T-SNN:用于脑电解码的时序单纯形神经网络
简介该论文提出时序单纯形神经网络(T-SNN),把脑电记录表示为随时间演化的单纯形复形序列,以刻画多个脑区群体之间的高阶交互及其动态变化。模型结合单纯形卷积与循环更新。在七类 SEED-VII 情绪识别任务上,其在逐试次及跨被试评估中均优于卷积、循环、基于图及 Transformer 的方法,加入眼动特征后性能进一步提升。
机器学习、人工智能、自然语言处理、计算机视觉、多智能体。
说明T-SNN:用于脑电解码的时序单纯形神经网络
简介该论文提出时序单纯形神经网络(T-SNN),把脑电记录表示为随时间演化的单纯形复形序列,以刻画多个脑区群体之间的高阶交互及其动态变化。模型结合单纯形卷积与循环更新。在七类 SEED-VII 情绪识别任务上,其在逐试次及跨被试评估中均优于卷积、循环、基于图及 Transformer 的方法,加入眼动特征后性能进一步提升。
说明MetaSampling:让帧采样器在长视频问答中更高效
简介长视频问答中,帧选择是关键环节。MetaSampling是一种免训练、即插即用的采样策略,可叠加在现有帧选择器之上,动态减少输入多模态大模型的帧数。在36组配置的测试中,它在所有配置下都减少了帧数,并在25组中提高了准确率,平均减少8.9%的帧数,整体准确率略有提升。
说明UnfoldCRF:基于图像条件潜在区域的结构化掩码精修
简介该论文提出 UnfoldCRF,把分割掩码精修看作条件随机场上的推断,联合建模像素标签与潜在区域变量,并用阻尼平均场更新展开推断。在 COD10K 等多个数据集上,与参数、阶段数和监督相同的黑盒循环精修器相比,它取得更好的指标,并在未见过的掩码生成器上保持优势。作者还发现成对消息主要修正边界,区域消息主要修正非边界错误。
说明用于托卡马克中兆赫兹诊断边缘AI与等离子体控制系统集成调试的包级数字硬件孪生
简介本文提出一个包级数字硬件孪生模拟器,用于模拟托卡马克中兆赫兹诊断边缘AI架构,覆盖从诊断采样到控制系统交接的完整数据路径。模拟器包括1 MHz束发射光谱(BES)诊断、UDP传输、丢包与网络抖动、FPGA解析与推理等环节,并生成二进制UDP负载和PCAP文件。文中报告了丢包检测与无效窗口处理,以及有效窗口的端到端延迟(中位数91.6 μs,第99百分位108.1 μs)。
说明ASTRA:用于动态卫星星座的ADMM加速拓扑重构方法
简介该论文提出ASTRA框架,用于动态调整大型卫星星座的网络拓扑,以提高可靠性和效率。它将在线学习与基于ADMM的求解器结合,降低约束更新的计算成本,并给出对数级静态遗憾的理论保证。实验显示其在合成星座上拓扑质量相当或更好,在真实星链数据的部分部署和非均匀间距场景下依然有效。
说明基于YOLO的多数据集杂草检测基准研究:面向精准农业的跨域评估
简介本文在七个公开杂草检测数据集上,对YOLO26的纳米、小型和中型模型进行了系统比较,涵盖不同作物、杂草种类、田间条件和标注方式。除同数据集内评估外,还考察了跨域泛化与多源联合训练的效果。结果显示,YOLO26在同域内表现较好,但跨域时性能大幅下降,多源训练只能部分缓解领域差异。
说明RewardExplainer:从反事实偏好反馈中学习奖励模型的解释
简介该论文提出 RewardExplainer 框架,通过对目标奖励模型进行反事实改写并获取其反馈,用这些反馈训练一个可复用的解释器,生成开放式、原子化、可干预的自然语言评分机制。实验显示在多个目标奖励模型和解释器骨干上均有稳定提升。作者还利用生成的机制识别潜在偏见,构造去偏数据微调奖励模型,从而提升在奖励作弊基准上的鲁棒性。
说明Opera:面向长时程编程智能体的文字评审框架
简介论文提出 Opera,一个用于长时程编程智能体的文字评审(critic)框架。它把每次纠正视为持续有效的笔记,直到所诊断的问题真正解决为止,并在反馈发出前依据可见证据审核,同时追踪智能体后续行为以区分单纯服从与实际解决。实验显示,Opera 在 Terminal-Bench 2.1、SWE-Bench Pro 子集和 DeepSWE v1.1 上提升了非评审智能体的解决率,用其生成的轨迹微调 Qwen3.5-9B 后,在留出的 SWE-Bench Pro 仓库上解决率提高 10.2 个百分点。
看点提出把纠正反馈作为持续跟踪的笔记并追踪执行结果,新意明确;在三个基准、四个策略模型上实验充分并有对比,对编码智能体子领域有实际价值。
说明ICMAPE:上下文多智能体纯探索方法
简介该论文针对多智能体系统中以获取环境未知信息为目标的主动序贯假设检验问题,提出基于贝叶斯学习的去中心化框架ICMAPE。方法把固定置信度的识别目标转化为由推断置信度导出的奖励,使强化学习方法可用于去中心化纯探索,并联合学习集中式推断网络与去中心化策略。论文在两个合成基准和基于真实数据的马里兰州硝酸盐浓度监测任务上进行了测试,结果显示ICMAPE-TD3以更少的探索步数达到目标精度。
说明从 HL 到 H+L-1 参数:用于长期时间序列预测的 Hankel-Toeplitz 预测器
简介该论文研究长期时间序列预测中的线性模型,借鉴经典平稳过程预测理论,提出 Hankel-Toeplitz 预测器(HTF)。HTF 只学习一个脉冲响应,同时定义逆滤波器和预测映射,可训练系数数量为 H+L-1。在七个基准数据集上,其按预测步长平均的 MSE 与 Dense Linear 相差在 1.2% 以内,而可训练参数减少 75 至 229 倍。
说明面向论述性文本语义相似度分析的高层文本预处理:框架与实证演示
简介本文指出,语义文本相似度方法常把文档中为批评或对比而引用的其他立场词汇当作本文主张,导致相似度虚高。作者提出在标准预处理之前进行的高层规则干预,设计了12条规则,并在斯坦福哲学百科的三个伦理学词条上,用八个Transformer模型验证其能降低相似度分数。文中还提出了衡量语义重定向程度的语义扩散指数(SDI)。
说明基于生成式真实到仿真的机器人操作测试时空间推理
简介本文提出Simify框架,无需训练,在测试时通过大规模并行物理仿真进行显式空间推理。它从单张RGB-D图像利用三维生成模型和视觉语言模型重建可用于仿真的物体资产,再由奖励函数定义任务(如搭建最高的塔),通过进化搜索优化物体摆放。作者在真实机器人上进行实验,结果显示该框架在复杂物体重排任务上优于既有基础模型空间推理方法,并强调完整准确的几何信息对仿真到现实迁移的重要性。
说明面向贝叶斯非平稳多臂老虎机的未来信息导向采样
简介该论文针对多臂老虎机中的探索与利用权衡,提出未来信息导向采样(FIDS)算法,用于贝叶斯非平稳环境。FIDS 会主动探索以收集关于未来最优选项的信息,而不仅关注当前最优选项。作者称其遗憾值与汤普森采样相当(相差一个小常数因子),并提出基于监督学习的近似框架,从离线数据学习该策略,在合成基准上验证了效果。
说明DynGraphAgentBench:动态图异常检测中智能体生命周期控制的基准
简介该论文提出 DynGraphAgentBench,一个可执行基准,用于评估在反馈延迟条件下,智能体如何在动态图异常检测中逐窗口选择检测器。基准包含七个时序图数据集、十一种可选检测器以及每个数据集八个按时间顺序的部署窗口。控制器只能看到时间因果的聚合信息和自身历史,并须在当前窗口训练前选定检测器,结果在一个窗口后才揭示。
说明在工况变化下调整神经算子用于力学决策
简介神经算子可以加速重复的非线性力学计算,但工况超出训练范围后精度会下降。本文研究使用过程中获得的高保真解能否用于调整神经算子,从而改进后续基于力学的指令选择。研究以两个硬磁软材料系统为例,利用有限元模型提供参考解。结果显示,固定的算子在刚度和加载超出训练范围时精度明显下降,用16条有限元加载路径更新后,大部分精度得以恢复。
说明GroupMask:面向大语言模型半结构化剪枝的分层自适应分组稀疏方法
简介该论文研究大语言模型的半结构化剪枝,指出固定 N:M 稀疏模式在每层使用相同稀疏率,并探讨分层自适应稀疏分配在该模式下是否有效。作者提出 GroupMask,以分组为单位保留或剪除权重,借助超网络学习各层的分组选择器,并在冻结预训练权重的条件下进行优化。在 LLaMA-2-7B 上,50% 稀疏、1×256 分组大小时,学习到的分层自适应分配相较统一稀疏率将 WikiText-2 困惑度从 10.02 降至 8.30,平均零样本准确率从 0.455 提升至 0.496。
看点用分组级稀疏与可学习的逐层稀疏分配替代固定N:M模式,并在五个模型上与基线比较,新意中等偏上。
说明超越单智能体与一致性:通过条件渐进剪枝为多智能体辩论正名
简介该论文针对基于大语言模型的多智能体辩论(MAD)方法。作者指出,在相同严格成本限制下,现有MAD框架难以超过强大的单智能体和基于一致性的基线方法。为此,论文提出条件渐进剪枝(CPP)这一轻量级剪枝框架,充分利用多轮辩论。论文称CPP在多个基准测试上优于所有现有MAD框架,并且是首个全面超过一致性方法的方案。
说明HARMONIA:通过神经基混合实现可解释的图学习
简介本文提出 HARMONIA,一种可解释设计的图学习框架。它用神经基混合(MoNB)让特征路由到专门的基专家,并用稀疏 RRWP 聚合(SRA)通过稀疏图传播计算多跳、多路径的结构关系,避免二次方的成对计算成本。模型保持可加形式,预测可分解为特征响应与结构影响。论文称其解释恢复效果优于现有可解释图基线,预测性能具有竞争力,并能扩展到数百万节点的图。
说明系统一的决策能加总吗?概率一致性研究
简介本文研究分类模型在直接细粒度预测与先预测大类再逐层组合两种方式下,概率是否自洽。作者在 TREC、CLINC150、MASSIVE 三个数据集上比较两个系统共 72,000 个分类问题,发现两者都存在明显分歧,且对准确率的影响方向不同。文章认为,决策系统应结合准确率、置信度校准和概率一致性进行联合评估。
说明论高效推理中的令牌价值不均等
简介该论文指出,思维链推理中不同令牌的价值并不相同,并可用令牌级对数概率信号加以刻画。作者提出TokenProbe框架,选择性压缩冗余令牌以减少消耗。原文称该方法在保持推理质量的同时,将令牌用量减少了基线的76%。
说明基于稀疏4D锚点与高斯溅射的体视频压缩
简介该论文提出SAGA体视频编解码器,用稀疏4D锚点组织动态3D高斯溅射表示,通过坐标式INR解码器从锚点插值生成细锚点和高斯基元,以实现参数共享。为建模非结构化锚点间的长程依赖,设计了带正交性更新的固定大小记忆槽用于熵上下文建模。实验表明,相对GIFStream,其在Neu3D和MPEG MIV上的PSNR BD-rate分别降低80.39%和83.94%。
说明非整数 L_r 范数下非齐次随机图的双样本检验
简介本文研究判断两组网络是否具有相同边概率的双样本检验问题,检验难度取决于衡量差异所用的范数。对于非整数且大于2的 r,已知的上下界不一致,作者提出一种同时运行两个统计量并以任一拒绝为准的检验方法,并通过赫尔德插值设定阈值。文章证明该方法达到了猜想的速率,并在 n 介于 32 到 256 的模拟中观察到与理论一致的样本增长趋势。
看点通过Hölder插值组合两个统计量,证明了非整数r>2情形下的猜想最优速率,证明与模拟相互印证,对子领域影响较大。
说明ThinkNet:面向高效运动想象脑电分类的进化式深度集成
简介本文提出 ThinkNet 框架,用于在新用户(留出受试者)上选择紧凑的运动想象脑电解码器及推理策略。框架通过仅使用训练数据的归一化、基于验证集的进化搜索和验证门控推理,避免测试受试者信息影响模型选择。在 BCI Competition IV-2a 数据集的留一受试者实验中,紧凑模型的平均准确率优于较大模型,验证门控集成进一步提升了性能。
说明Greenpixie的AI令牌方法论:评估开放与闭源权重模型每个AI令牌的能耗、水耗与CO2当量影响
简介本文提出一种估算云端大语言模型推理每个令牌能耗的方法,区分输入(预填充)与输出(解码)令牌。研究通过开源权重模型在多种文本任务上的推理基准测试测量GPU能耗,并根据推理耗时估算非GPU服务器硬件的能耗,再用贝叶斯线性回归建模能耗与模型规模、请求流量及硬件配置的关系。该方法还可据此估算每个令牌的二氧化碳当量排放和耗水量。
说明SymNetPro:基于视距感知的稀疏无线电观测定向多发射机定位
简介论文针对稀疏接收功率观测下的定向多发射机定位问题,接收端只能获得无法分辨来源的叠加信号,且建筑遮挡和强信号掩盖会加大难度。作者在SymNet基础上提出SymNetPro,加入稀疏视距感知的注意力偏置和发射机丢弃增强两个模块。在定向射线追踪城市环境中,该方法在极稀疏采样下的OSPA指标明显优于代表性定位基线,并在测量噪声和发射机数量增加时保持优势。
说明EEG-Fusion:面向无源数据运动想象脑电解码的失败感知专家路由方法
简介本文针对运动想象脑电(MI-EEG)跨被试解码中部分被试会失败的问题,提出 EEG-Fusion 框架:在无目标用户标签的情况下,通过可靠性门控把每位目标被试路由到神经网络、协方差或生理特征专家之一。在 BCI IV-2a、BNCI2014-001、BNCI2014-004 等数据集的留一被试评估中,该方法提升了被试层面的宏 F1 分数并降低了预测坍缩指标。
说明为多轮业务智能体设计可靠的 LLM 作为评判者测量体系
简介论文提出一套方法,用于评估面向生产环境的多轮业务智能体。方法涵盖评估规范、模块化 LLM 评判器、保持意图的用户模拟,以及人工参与的治理流程,并将失败归因于智能体能力或业务知识缺失。生产环境研究显示,系统层面的测量保真度在多次审计中有所提升,人工与自动评判器的组合工作流在两种任务完成场景中描述性表现最佳;作者同时指出研究为观察性质,结论体现的是运营上的实用性,而非因果或普遍优越性。
说明简单扩散语言模型作为少步生成器比报告的更有效
简介论文指出扩散语言模型在少步生成时的质量差距,很大程度上源于采样器配置不佳。仅通过调整采样器(无需重新训练),一个较早的掩码扩散模型在16步内即可取得比标准采样器1024步更低的生成困惑度,并同时提升质量与语义多样性。作者还提出了分别评估质量与语义多样性的GroupEval方法,并从理论上解释了并行解掩码会破坏同步生成token之间依赖关系,因此固定温度通常并非最优。
说明用雅可比质心对 JEPA 世界模型进行行为监测
简介论文提出用子模块雅可比行和的“质心”来刻画世界模型的行为特性,可通过雅可比向量积高效计算。在连续控制任务的 JEPA 世界模型上,研究发现编码器能正确表示目标,而预测器对行为缺乏响应;这种失效可在执行动作前预测规划失败,并且基于质心的方法作为分布偏移检测器优于基线方法。
说明EpiTransfer:基于单目航拍时序帧的免训练稀疏远距离深度估计
简介该论文提出一种无需训练的深度估计方法,仅利用两张单目图像和相机位姿估计,通过对极几何迁移合成虚拟立体图像对,将时序对应转化为立体三角测量。方法在户外无人机飞行(最远约90米)和室内OptiTrack环境中以LiDAR为真值进行了验证。室内AbsRel为0.092,接近直接三角测量的0.073,并且在困难场景中保留了更大比例的有效深度;其表现明显优于ZoeDepth(0.225)和Depth Anything V2(0.570)。
说明测试时广义类别发现:在无标注测试数据上同时适应、识别已知类别并发现新类别的视觉语言模型方法
简介论文提出测试时广义类别发现(TT-GCD)场景,要求视觉语言模型在测试阶段无标注数据的条件下适应分布偏移、用文本监督识别已知类别并发现新类别。作者提出PACT框架,通过原型分配完成已知类别识别与新类别发现,并在腐蚀和域偏移基准上优于经过改造的先进TTA与GCD方法。
说明这篇论文讨论语言模型在开放式生成中的同质化问题,并重新检验其证据是否充分。
简介原论文认为语言模型的开放式输出高度同质,并称之为“人工蜂群思维”。本文作者逐一检验其三项核心结果,指出“写一个关于时间的比喻”的示例并不能代表整体情况,且对比基线不够严格,同时部分测量缺少对照。作者还表明,提示词等推理时干预能可靠地提高回答的多样性。作者并未断定“人工蜂群思维”是否真实存在,只认为已发表的证据不足以证实它。
说明通过时空类比统一视频任务
简介该论文提出ViGeo框架,将视觉上下文学习扩展到视频领域,通过时空画布补全,无需额外训练即可用示例指定任务。在严格划分的训练与测试集上,ViGeo可泛化到未见过的视频操作和事件相机等零样本模态。作者还发现“任务内化”现象:预训练任务对应的查询格式会覆盖示例,并可通过少量无关任务数据消除这一捷径。
说明ArticulateArena:衡量铰接运动学的度量方法
简介本文针对铰接物体预测的评估问题提出 ArticulateArena,一种比较关节所诱导运动而非编码参数的度量,对关节类型、轴向、原点和运动限制等参数的重复编码不敏感。该度量统一了固定、旋转、平移和螺旋关节,并可扩展到完整运动学树。作者同时发布了包含 19,977 个带已验证运动学的铰接物体数据集 ArticulateArena-20K,并在其上重新评估了已发表的重建方法。
看点提出与表示无关的关节运动度量并证明其为度量,统一多种关节并给出树编辑距离扩展,有实质新意;以大规模数据集与重评估支撑。
说明基于扩散的滚动预测:一种用于长时程环境预报的稳定机制
简介论文研究用扩散模型进行递归滚动预测,以抑制环境预报中误差的累积,实验涵盖低维水位时间序列和高维降水场。结果显示扩散能显著抑制误差增长,但数值稳定不等于预报保真:水位实验中预报会逐渐丢失事件层面的细节并趋向中心值,降水实验因持续接收数值天气预报条件,则更好地保持了空间结构和事件检测能力。
说明基于组织切片图像预测空间基因表达时保持差异表达基因排序以用于基因发现
简介该论文提出图像差异表达排序(IDER)任务,检验由组织学图像预测的基因表达是否能保持实测数据中基于差异表达统计的基因排序。作者还提出一个可微分的IDER训练目标,可在无预定义生物分组标签的情况下,借助形态学导出的代理对比进行训练。在公开空间转录组数据集上,该方法相比传统重建目标在差异表达基因排序一致性和通路富集重叠方面有所提升。
说明用参数高效微调与QLoRA量化优化Phi-2小型语言模型,用于实时聊天机器人
简介该研究利用参数高效微调(PEFT)结合QLoRA(低秩适配加4位量化)优化Phi-2小型语言模型,以适配移动和边缘计算环境下的实时聊天。研究旨在显著降低内存占用,同时保持或有望提升响应准确性。作者用ROUGE指标评估,摘要任务上有明显改进。
说明量化误差在频谱上是平坦的:单次随机探针即可免数据估计敏感度,并用于预算约束的混合精度量化
简介该论文提出用一次随机高斯探针无偏估计层量化误差的平方Frobenius范数,并指出最近舍入误差在频谱上是平坦的。在来自35B混合专家模型和9B稠密模型的1,683个张量上,实验显示该估计方法表现稳定。基于此的RAM方法无需校准数据,为各张量分配比特位,在7种架构上相比同等大小的均匀4比特构建版本,中位WikiText-2困惑度降低3.5%至13.6%(测试的MoE模型上)。
看点提出单次随机高斯探针可无数据估计量化误差的谱平坦性并用于预算约束混合精度,新颖性较强;多架构、多模型实验支持结论,但对比范围有限。
说明HyperMCTS:用超图增强的蒙特卡洛树搜索,服务长时程LLM智能体
简介长时程任务要求大语言模型智能体在贯穿整个方案的约束下协调决策。HyperMCTS是一种无需训练的方法,在有序的MCTS树上增加跨轨迹超图,将不同路径中反复出现的决策组累积回报,并借助超图引导的选择规则HyperUCT复用这些反馈。在DeepPlanning上,三个骨干模型的平均规划准确率较最强基线提高2.3至7.3个百分点,且调用次数和输出token更少;SealQA实验也显示问答能力有所提升。
说明自发现强化学习:学习历史是资产还是负担?
简介本文对一种由算法自动发现的强化学习更新规则进行了因果机制审计,围绕“经验时代”的五个支柱展开。作者通过固定、冻结和移植循环状态,检验学习历史何时有益、何时成为负担。主要发现包括:循环历史能扩展可用的奖励尺度范围,历史内容与其维护方式的脱钩可减轻不匹配的惩罚,在环境变化下控制回放保留会改变相对DQN的适应优势。
说明在真实硬件上验证内存最优的 Transformer 内核:从形式推导到两个高性能计算集群上的实测性能
简介本文用实测数据检验此前基于数组数学(MoA)推导的 Transformer 内核内存代价预测,测试平台为 Purdue Anvil 和 NCSA Delta 两个集群的 CPU 与 GPU。研究发现,一次 GPU 性能回退被定位并修复,优化后最高加速 2.5 倍;同一推导在不同拓扑结构下的实际成本差异很大。作者还提出,硬件相关优化可视为固定且已验证的规范下的常规重写。
说明当同意超出其语境:长期运行智能体中的剩余授权重放
简介该论文指出,LLM智能体中用户为敏感操作给出的批准可能在跨任务或会话后仍然有效,即使最初的语境已不复存在。作者设计了一种纵向攻击,先让良性交互获得授权,再在对抗性执行中重放这些剩余授权。实验显示,在AgentDojo等测试中,剩余授权使攻击成功率最高提升35.1个百分点,在真实编码智能体的上下文重绑定攻击中平均提升24.9个百分点。
看点揭示长期运行代理中授权残留可被重放的新失效模式,并在AgentDojo与真实编码代理上用多模型实验验证攻击成功率显著提升。
说明《人工性第一考》:以大语言模型为参照的 C 测试,用于评估超智能
简介本文提出一种基于 Levin Kt 复杂度、以大语言模型作为表示机器的新测试。它能生成难度以比特计量的题目,并在人类或前沿模型解出之前完成认证。作者用一批经认证的题目测试了十二个大语言模型,结果显示其能力随难度增加而下降,并延伸到以往未探索的高难度区域。
说明JIVE:基于雅可比信息的体积扩展,用于多样化生成采样
简介生成模型常出现模式坍缩、样本多样性不足的问题。JIVE 是一种无需训练的方法,在速度扰动中注入与生成器终点雅可比矩阵主导右奇异子空间对齐的方向,以提升生成多样性。论文称该方法可证明地最大化终点多样性并保持样本质量,计算采用矩阵自由迭代,额外开销较小。在多个基准上,JIVE 在少步和单步生成中都提升了像素级与特征级的多样性。
说明SlopBench:能否按“AI 套话味”给语言模型排序?一个跨领域的重复性 AI 写作基准
简介该研究提出 SlopBench,用于比较哪些语言模型会产生生硬、重复的 AI 式文字。作者在邮件、社交帖子、文章和工作聊天等 112 个任务上测试了 18 个模型,共收集 19,928 条输出,并从长度、开头重复、段落节奏和固定词汇结构四个可直接核对的表层行为打分。结论显示综合排名对权重非常敏感,因此作者建议分别报告这四项行为,并公开了提示词、输出、参考统计和评分代码。
说明论文说明:Adam 优化器在可分线性分类中的“两副面孔”
简介该论文研究确定性、全批量、带偏差修正的 Adam 在 softmax 参数化、对数损失的可分线性分类中的行为。作者给出小的固定正值 ε 下的定量描述:训练初期分类器接近最大范数间隔最优,之后更新才变得接近梯度式;达到欧氏间隔目标需要更长时间。文中还给出多项式步长和反比例线性衰减下的迭代次数结论,并称实验支持这些预测。
看点对小固定epsilon下Adam在可分线性分类中的行为给出定量刻画,区分了最大范数与欧氏间隔的两阶段,理论刻画新颖;给出了迭代次数的多项式与指数级界并有实验支持。
说明有限探针已足够:权重空间学习中的可辨识性与通用性
简介本文研究在何种条件下,基于有限探针的表示足以学习神经网络的功能性质,并给出了探测方法的一般可辨识性与通用性结论。作者发现,利用中间隐藏层表示通常比仅依赖最终输出能提供更多信息。基于此提出了 HIDDENPROBE 架构,用于学习隐藏层探针响应,在包括 MLP 与 Transformer 在内的多项基准上优于现有探测方法并达到领先水平。代码已在 GitHub 公开。
说明NSV-Shift:用于评估语音对语音模型理解非语音发声并调整回应的对比基准
简介该论文提出 NSV-Shift,一个对比式基准,用来检验语音对语音模型能否理解非语音发声(NSV)并据此调整回应。每组数据包含两段词汇内容相同、仅最后一轮所含非语音发声不同的对话。试点版本含 22 组经人工核验的数据(44 种音频条件),并对五个模型在 NSV 感知、情绪理解和回应调整方面进行评估。结果显示,模型检测非语音发声的表现普遍优于理解其细粒度情绪含义或给出适当区分的回应。
说明扩散 Transformer 中残差流负担如何影响表示学习
简介本文研究扩散 Transformer 在大像素块上预测干净数据、噪声或速度时表现不同的原因。作者提出“残差流负担”概念:预测噪声等带噪目标时,残差流需要在深层保留依赖噪声的输入信息,限制后续计算。实验指出,关键在于块空间中的频谱集中性以及残差状态的带宽。作者还引入空间索引超连接(SiHC)扩展残差流带宽,在 ImageNet 256² 上取得 FID 1.71。
说明MISHAP-Bench:大型音频语言模型的幻觉基准测试
简介大型音频语言模型常对音频作出流畅但缺乏依据的回答。本文将幻觉分为两类:回答内容未基于音频的上下文幻觉,以及与音频相关主题的说法缺乏外部可核实事实支持的知识幻觉。作者构建了包含12,000组开放式问题与音频的MISHAP-Bench,并对十个先进模型进行评测,发现幻觉仍很普遍,最强模型的幻觉率为36.5%。文中还测试了四种缓解方法,效果有限。
说明通过为无标签检查定价实现风险可控的大模型选择性回答
简介本文提出PriceCheck方法,用重新求解等无标签检查构建一组紧凑的决策规则,决定大模型何时作答、何时弃答。每项检查按其在正确与错误答案上的一致率及单次成本定价,并据此预测覆盖率与成本。在数学任务中,所选方案平均回答76.1%的问题,在所有15个划分上保留出的选择性风险均低于1.5%,优于奖励模型、提示式评判器等基线。
看点提出基于标签无关检查价格组合决策规则的选择性回答框架,并在数学任务上用多组划分与基线对比验证风险控制效果。
说明用于多重校准的增广特征提升方法:无需离散化的提升框架,并分析其层级保证
简介本文研究多重校准(multicalibration),即预测器的残差不仅在全局上无偏,在按预测器自身水平集分组并用丰富的检验函数加权后也应无偏。作者借鉴Tax等人(2026)的思路,提出一种特征增广的提升范式:每轮调用平方损失预言机,把前一预测器的输出作为额外特征,仅在最后对预测器取整以得到有限的水平集。文中通过增广假设类的表达能力分析该方法,并说明其可得到多准确性、多重校准和更强的水平集多重校准等一系列保证。
说明激活稀疏与 KV 缓存稀疏在大模型解码中的交叉点
简介本文分析大语言模型逐 token 解码时,激活稀疏(减少投影权重读取)与 KV 缓存稀疏(减少缓存读取)两种加速方式的字节开销交叉点。作者依据模型维度和保留比例推导理论加速上限,并在两块 GPU 上从 2K 到 128K 上下文实测,结果显示投影分支在短上下文更占优,KV 分支在长上下文更占优。组合两种方法在匹配的困惑度预算下,比最佳单一分支快 14% 到 26%。
看点提出字节交叉点与速度上限的统一分析,并用两块GPU、2K至128K上下文的实测验证,结论可靠,对子领域有实用价值。
说明普通策略优化在随机上下文赌博机中既是最优的,也具有差分隐私
简介本文研究标准策略优化(vanilla PO)能否在随机上下文赌博机中充分探索并达到接近最优的遗憾。作者证明,在可实现性假设下,由离线回归驱动的指数策略更新无需探索奖励或重要性加权即可实现。论文还提出分批版本,并说明基于私有回归预言机的差分隐私赌博机算法,实验显示了策略优化的实际效果。
看点证明标准指数策略更新无需探索奖励即可达到近最优遗憾,并给出批处理与差分隐私版本,理论贡献清晰;实验规模与广泛影响有限。
说明基于无分布假设风险保证的更快块扩散模型推理服务
简介该论文提出 Redline 方法,用有限样本过程从校准提示上的回答正确性中选择块扩散语言模型的运行配置。它把参考配置与候选配置之间的联合风险控制在用户设定的预算内,并部署通过检验的最快配置。论文报告,在某一预算下,LLaDA2 数学任务的配置每次前向多提交超过三分之一的词元。
说明大语言模型在学习预测自身准确率时,习得了两种不同形式的元认知
简介研究者训练10个开源大语言模型,让它们在回答事实性选择题前先预测自己答对的概率。结果显示,训练后的置信度包含两种信号:在接近训练数据的问题上,它追踪模型的真实准确率;在其他领域,则追踪答案分布的集中程度(输出一致性)。输出一致性在训练早期出现并能跨数据集泛化,而准确率追踪发展较晚且局限于训练分布。
说明前瞻性解读风险:大语言模型之间的有原则通信控制
简介本文针对多个大语言模型相互传递消息的智能体系统,提出“前瞻性解读风险”(PIR),即接收方在消息发出前误解为其他任务的概率。作者用黑盒探测建模消息、预期任务与接收方重构之间的关系,并引入“解读信息价值”(VoII)决定何时查询接收方信息。实验显示,接收方的解读失败率差异可达4至13倍,PIR引导的消息修订使解读失败率相对原消息降低44%。
说明迷失于地图中:语言模型的对话状态与行为可靠性
简介该论文研究了八个指令微调语言模型在任务型对话(MultiWOZ、SGD)中如何表示、更新和使用对话状态。结果显示,领域、槽位等结构信息比具体取值更容易被读取,且用户修改取值后新旧值都会影响模型行为。作者据此提出一种状态-动作控制器,在基础模型动作上基于结构读数有选择地修改,在保留数据上将精确查询准确率从0.318提高到0.621,任务成功率从0.272提高到0.371。
说明神经元级架构增长:面向脑电时间序列解码的受控评估
说明DCEmbed:面向神经代理模型的可扩展优化方法
简介本文提出 DCEmbed,用于求解嵌入神经代理模型(神经网络近似)的优化问题。该方法利用 ReLU 网络的差分凸(DC)表示,无需为激活函数引入大量二元变量,通过迭代的惩罚凸-凹过程求解。在二次规划、混合整数资源分配和神经两阶段随机规划实验中,相比精确混合整数嵌入方法,其更快得到高质量可行解。
说明用两个带置信门控的本地大模型评审员筛选商户匹配训练数据
简介该论文研究商户匹配任务中伪标签的可靠性:把嘈杂的支付描述匹配到商户实体,或判定无匹配。仅当两个本地大语言模型评审员一致时才保留标签,并对选择与弃权分别设置阈值。在2000条专家标注查询上的回溯实验显示,两模型组合在阈值(0.86, 0.80)下标签纯度为96.88%,覆盖率81.7%,优于任一单模型。研究结论仅衡量标签纯度,并未验证对下游学生模型的实际效用。
说明反事实回放:可分叉环境作为软件工程智能体的免费过程奖励
简介仅依据最终结果的强化学习只给软件工程智能体一个终局成功信号,对中间决策缺乏指导。本文提出反事实回放(CRR),在训练时利用可分叉的可执行环境,选取少量决策点、恢复状态、采样替代动作并继续推演,以此获得步级回报对比。该方法无需人工过程标注或学习得到的过程奖励模型;“免费”指的是这些监督成本,而非回放计算成本。
说明JET:Transformer 中的答案评估方法,用预训练模型从给定选项中选出答案
简介JET 利用预训练的语言模型和视觉-语言模型,在不额外训练的情况下,从有限的候选答案中做出选择,直接评估各候选项的似然,并在候选项之间共享计算。实验在桌面 CPU 和消费级 GPU 上测试了决策准确率与执行成本,其中 Qwen3.6-35B-A3B 在 MMLU 全部测试集上达到 87.48% 的准确率。通过前缀复用和缓存管理,执行速度提升 2.18 至 2.23 倍,输入准备优化使处理时间减少 30.8%,输出保持不变。
说明Robot-GST:几何感知的时空机器人策略表示与评估框架
简介该论文提出 Robot-GST 框架,用 RGB-D 观测借助 3D 高斯溅射和 SAM3D 构建机器人环境,在动作执行前先仿真评估候选动作序列,以过滤不可行行为。方法结合大型视觉语言模型进行长时程任务规划,并通过几何采样与状态轨迹规划估计最终状态。作者在立方体放置、玩具打包、鸭子重排等刚性、软体和可变形物体任务上进行了验证。
说明种群物理,种群问题:LLM 社会中的安全性与涌现现象
简介本文研究大语言模型(LLM)群体的集体行为,发现其会出现统计上显著的自组织现象,且这些现象无法简单由单个智能体的表现推断。作者提出一套衡量 LLM 社会系统自组织程度的框架,并在谢林网格、社交网络(Moltbook)和模拟的推特式错误信息环境(Rogue)三个系统中应用,结果显示三者均有显著自组织,其中开放式系统呈现类似相变的动态。论文还指出即使经过安全调优或监控,群体层面的异常行为仍可能出现。
说明当成功策略失效:终端智能体对环境新变化的适应能力
简介研究者提出“环境新变化”概念:任务目标不变,但改变了成功轨迹所依赖的某个环境假设。他们开发了AGNI自动化流程,用于提取轨迹相关假设、注入针对性的环境改变,并验证新任务仍可解决。在三个终端基准上的实验显示,多个大模型智能体在新任务上的适应表现明显低于基础任务。训练后的智能体在保留的新任务上适应能力有所提升,基础任务表现也有改善。
说明R²Flow:通过递归技能演化实现递归自我改进
简介该论文提出R²Flow框架,让基于大语言模型的智能体通过复用和修订技能库来持续自我改进。框架交替进行策略学习、独立验证和带版本的技能库更新,并通过合并仅步骤顺序不同的历史来汇聚证据。实验涵盖问答、数学推理、交互决策和代码生成,报告在任务准确率和技能库编辑精度上优于基线方法,并可跨执行器迁移。
说明编码器-解码器语音识别模型的上下文自适应
简介该论文研究在推理时提供语音-文本示例,能否让各类编码器-解码器语音识别模型适应新说话人、口音和领域。作者在六个模型上测试了两种示例形式,结果显示所有模型开箱即用都能完成上下文自适应,在理想条件下最多相对提升30%,使用一遍识别假设时最多提升23%。集中式示例在各类情况下都带来稳定的改进。
说明PI-NOMT:用于脑内液体动力学的物理信息神经最优质量传输方法
简介该论文提出PI-NOMT框架,用连续神经场表示示踪剂的密度、速度和源项,并结合物理方程与非平衡最优传输正则化,从稀疏的时空观测中反推隐藏的传输机制。作者在带有已知真值的合成基准以及九只对照大鼠的动态对比增强MRI数据上进行了评估,结果显示该方法能恢复速度场,并在各数据集上取得较低的端点误差与偏微分方程残差。
说明基于程序验证的视觉语言模型自进化方法(VQS)
简介论文指出,现有视觉语言模型自进化方法用多数投票或模型评判为无标注问题生成答案,人工评估显示其中约24%和18%的标签有误。作者提出VQS:模型先把图像解析为结构化记录(如场景图、图表表格或图示图),再由固定程序据此生成问题并计算答案,模型只逐条核验程序读取的事实。在十个基准上,VQS使Qwen3-VL在2B、4B、8B规模下最多提升3.18分,并超过各规模下最强的自进化基线;人工评估中其答案正确率为94%,多数投票为76%。
说明ReDrive:利用世界建模塑造表征的端到端自动驾驶框架
简介该论文提出 ReDrive,一种端到端自动驾驶框架,通过预测未来的表征来强化面向规划的视觉特征。训练分为驾驶视频预训练、联合世界建模与规划训练,以及规划器适配三个阶段。推理时无需辅助感知模块,也不需要预测未来状态。在 NAVSIM 上,v1 取得 91.0 PDMS,v2 取得 90.8 EPDMS,论文认为仅靠表征世界建模即可实现高性能规划,并保持简单的编码器-规划器推理流程。
说明通过重新解读注意力头通道来重新思考上下文化
简介该论文研究语言模型中的上下文化过程,即词与词之间传递信息以构建句子语境表示。作者提出:信息量较少的词倾向于吸收更多上下文信息,且这种吸收具有选择性,能更精准地在匹配的词之间传递信息。作者还把注意力头重新解读为由奇异向量门控的通道,并认为这些向量指向信息量更大的词的隐状态,从而可以自动解释注意力头,并将其嵌入连续空间。
说明概率契约:大语言模型接口中的准确性、一致性与决策
简介该论文提出“概率契约”基准,将精确有限世界后验、事件对齐、接口一致性与考虑失败情况的决策评估结合起来。研究在1000个世界上比较了四种模型-接口配置,发现不同接口对同一概率请求可能导致不同的决策,且准确性排序因分层而异。论文还通过多项事后分析与预先设定的二次检验,考察了分歧与置信度、平均化与决策损失等问题。
说明QwenGyre:面向超长时域智能体训练的弹性强化学习框架
简介论文提出 QwenGyre,用于训练执行时间很长、单次交互可达近百万 token 的大模型智能体。框架可在不中断执行的情况下在推理与训练之间动态调配 GPU,并通过轨迹处理器重建分支历史、评估部分进度并去除冗余路径。文中称其在 NL2RepoBench 上从 52.5% 提升至 58.5%,训练速度相较基线最高快 1.85 倍。
说明代码如何助力不同任务?LLM后训练中的分解式视角
简介该论文把一个经执行验证的代码语料按解题的计算模式拆分为若干可解释类别,再通过受控微调实验比较单个类别与均衡混合在问答、数学和代码生成任务上的效果。结果显示,同一类别对某些模型或任务有益、对另一些则有害,最优类别也随起始模型和目标任务而变。作者还发现,在部分模型-任务组合上,由效果良好的类别组成的紧凑混合集,仅用约10%至15%的全部语料即优于全量训练。
说明ViBR-WM:面向世界建模的视觉贝叶斯回归
简介该论文提出ViBR-WM模型,用于带不确定性的时序预测。模型通过可解释的回归结合视觉特征、物理历史和已知协变量,并支持趋势、季节和周期等模块化结构。它先压缩视觉表示,再用贝叶斯变量选择减少回归维度,并按后验概率加权组合多个预测子集。在物体运动、植被绿度和太阳能发电四项预测任务中,该模型的物理目标平均误差均低于对比方法。
说明Laya作为带类型的概率评估器:独立复现与校准及选择性升级的预注册研究
简介本文独立复现了Laya Typed-Decisions模型(421M参数的ModernBERT-large评估器,用于回答工作流状态上的选择、否定与评分类问题),并发现其置信度系统性偏低,而非原卡片所称的过度自信。单一温度缩放可显著降低校准误差(留出集ECE从0.204降至0.037),而预先冻结的等渗回归选择规则则未被支持。作者在全部官方测试集上复现了原卡片的准确率,并完成了预注册的八项实验,其中20项确认性检验在FDR校正后被拒绝。
说明ChemOPD:面向多任务化学推理的多教师在线策略蒸馏
简介该论文提出ChemOPD方法,让一个统一的大语言模型同时具备多种化学推理能力。方法先依据监督微调梯度估计任务相似度,并用混合整数规划构造部分重叠的专家组,再保留一个在全部任务上训练的通用教师,以专家指导补充而非替代其监督。在ChemCoTBench上,该方法在多数指标上优于仅使用专家的蒸馏,并更充分地利用了教师的性能。
说明DeltaSeek:面向持续变化建筑环境的主动感知初探
简介施工环境会持续变化,几何形状大幅改变,使静态建图与配准效果下降。本文提出 DeltaSeek 框架,探讨机器人的感知本体如何限制其能获取的观测。研究以 Husky A300 搭配 UR5e 机械臂,在基于 IFC 的室内场景中,比较底盘安装与手腕安装的 RGB-D 相机。结果显示两处变化在底盘视角下完全不可见,而手腕相机可以观测;对两种本体都能观测的变化,手腕相机的基座中位行驶距离为 6.0 米,底盘相机为 15.2 米。
说明弱到强泛化中的“主动瓶颈”机制:用两阶段学习解释学生模型何时能超过教师模型
简介本文研究弱到强泛化(W2SG),即学生模型在教师模型的预测上训练后反而超过教师的现象。作者在完全收敛、无正则化的两阶段岭回归设定下,给出了伪标签数量处于一个明确中间区间时学生才会优于教师的闭式条件。随机特征模型的分析进一步表明,数据量或模型宽度中较为稀缺的一方决定了过滤教师误差的程度。
说明CLIMB-flow:基于多尺度流的耦合线性逆问题后验采样方法
简介该论文提出 CLIMB-flow 算法,用于在金字塔或级联扩散模型架构上做贝叶斯逆问题的后验采样,采用由粗到精的分层策略直接在像素域生成图像。方法交替执行端点估计、数据一致性更新和重新加噪三步,近似吉布斯采样。在 ImageNet、CelebA、AFHQ 和 fastMRI 上完成修复、去模糊、超分辨率和加速 MRI 实验,据称在 CelebA 上相对最强对比方法有 1.37 至 7.66 dB 的 PSNR 提升,并支持最高 512x512 的像素域重建。
说明一种攻击骗过多个前沿多模态大模型:高可迁移黑盒对抗攻击研究
简介本文研究单张对抗图像能否在黑盒条件下稳定误导多种前沿多模态大语言模型。作者提出高可迁移黑盒攻击框架O-Attack,利用代理模型中跨模态对齐的高层语义空间,通过语义共识优化扰动。论文报告其在GPT-5.4、Claude-4.6、Gemini-3.1上的攻击成功率分别从29.1%、42.8%、38.2%提升至77.2%、81.6%、80.9%,并在24个模型上优于六种现有方法。
看点在已有代理模型与对齐语义空间上改进迁移攻击,思路有新意;在24个MLLM上与六种方法对比,攻击成功率大幅提升。
说明让动作对齐视觉规划:学习使机器人动作实现预想的视觉结果
简介论文研究世界-动作模型(WAM)在视觉预测与动作序列之间可能存在不一致的问题。作者把模型生成的视觉预测视为目标条件下的视觉提案,并借助一个冻结的动作条件世界模型,依据两段未来预测的一致性以及与终端目标的对齐程度构造反馈,再用 Flow Policy Optimization(FPO)优化动作头。在四个真实 UR5 机械臂操作任务中,平均成功率由 43.4% 提升至 75.1%,而 π0.5 为 61.4%。
说明基于V-JEPA 2与AQA的山地自行车动作质量评估:分阶段评分与参考式反馈
简介本文研究山地自行车跳跃动作的质量评估,训练数据为95段实地录制的视频,仅有“好”或“差”两类粗略标签。方法是用冻结的V-JEPA 2视频特征和二维姿态运动测量概括四个启发式阶段,再由小型Transformer预测评分;另一模块将各阶段测量值与标注为好的动作对比,给出可能的参考线索。作者指出,五折交叉验证结果(AUROC 0.768)属于探索性数据,存在选择偏差和骑手未分离等问题,外部小样本测试结果也较弱,现有结论尚不足以支持与骑手无关的可靠评分或纠正性反馈。
说明dOPT:通过几何化简对圆锥优化求导
简介该论文提出了dOPT框架,用于对圆锥优化问题求导,以便将优化问题嵌入学习系统中进行训练。它不直接对完整圆锥形式求导,而是在求得的原始-对偶解处将其化简为一个等式约束二次规划,保留参考解及其一阶灵敏度。文中给出了凸非线性规划、二次规划、二阶锥规划和半定规划的显式化简,并通过数值实验验证梯度并展示随问题规模增大、相比现有方法的明显加速。
说明Vestrum:通过调整验证、结构与记忆改进智能体框架
简介论文提出Vestrum框架,用于改进语言模型智能体的“框架”(控制信息获取、工具调用、记忆与自我检查的软件),无需训练任务模型。它把执行轨迹中的失败归类,提出验证、检索、任务分解和知识综合等方面的修改并进行范围筛选,再整体评估。在五个场景和两个基线框架上,冻结的框架在留出的测试任务中性能提升,例如UltraHorizon从47.6升至59.8,Terminal-Bench 4 Hard从63.7%升至70.3%。
说明借助自动可解释性增强视觉异常检测
简介视觉异常检测器通过偏离正常数据来识别异常,但其异常信号往往混杂了真实异常与无关的视觉变化。本文用稀疏自编码器分解PatchCore的残差特征,再由多模态大模型为每个特征标注为异常、干扰或不确定,并据此抑制干扰特征、放大异常特征。在40个类别的实验中,联合干预使源数据上的宏平均图像级AUROC从0.8724提升至0.8857,合成损坏下从0.8066提升至0.8210。
说明用于跨分词器蒸馏的双词表语言模型
简介该论文针对教师模型与学生模型分词器不同导致的蒸馏错位问题,提出双词表语言模型(DVLM)。它用学生词表的投影头替换教师的语言模型头,并通过并行分词序列与混合前缀注意力,使教师能够在输入分词和输出对数上与学生对齐地提供监督。实验显示,DVLM教师的收敛损失与原始教师相近,学生模型在六项推理任务上的表现有所提升。
说明带动量的退火Sinkhorn:线性内存下可认证的无正则最优传输
简介本文分析了用于无正则离散最优传输的Bregman Douglas-Rachford分裂法(BDRS),并给出可随时评估的原始-对偶证书,内存为线性。作者证明BDRS在单次内层Sinkhorn迭代下等价于热启动的不精确近端点法(IPOT),并将其解释为隐式反比温度退火的Sinkhorn。在像素级颜色迁移实验中,BDRS在1024×1024图像上以更快速度取得更低的修复传输成本,并在一块NVIDIA L40S GPU上完成约一千万像素图像的颜色迁移。
说明相同运行,结果不同:在开源权重模型上评测 AI 编程智能体
简介本文针对一项机器学习任务(改进用于航班延误预测的 XGBoost 分类器训练代码)进行了 584 次重复运行,比较六种智能体与六个开源权重模型的组合。结果显示,同一组合的多次相同运行之间差异,大于不同组合之间的差异,因此仅凭少量运行难以可靠排序。作者建议应将智能体与模型作为组合、通过多次尝试进行评测,并同时报告合规性与质量。
看点通过584次重复运行系统量化了编码代理的结果方差,证明少量运行无法可靠排序代理,并揭示违规运行得分最高的问题,证据充分。
说明道路上的目光:城市印度交通中摩托车骑手注视行为的自然情境比较
简介本文首次大规模分析了摩托车骑手在真实、混杂的印度城市交通中的注视行为,使用 myEye2Wheeler 数据集,并结合 YOLOv11 与 SAM2 的语义分割流程提取物体层面的注视指标。研究区分了直接注视与中央视觉两种注意模式,发现中央视觉用于广泛监控,直接注视用于短暂的选择性取样。新手骑手倾向于以道路为锚点扫视,经验丰富的骑手则形成跨多个物体的较长注意链,经验主要优化时间节奏而非改变注意分配策略。
说明通过激活引导控制自回归语音合成的语速
简介自回归语音合成系统训练完成后,通常难以控制语速。该论文提出一种无需重新训练的推理时方法:在某一解码器模块中,把激活值在一个发现的“语速轴”上的投影固定为某个标量,从而调节语速。实验表明,该方法基本保持说话人身份与自然度,并可推广到多种模型架构。
说明CodeActionBench:评估具身操作中的智能体代码即策略能力
简介该论文提出 CodeActionBench,一个包含 25 项机器人操作任务的基准,用于测试通用多模态模型能否通过可执行代码,把视觉理解与推理转化为具身操作。评测在不做任务专用微调、不提供示范或专用感知模块的条件下进行,共 9 种配置、675 次尝试,成功率在 2.7% 至 73.3% 之间。论文同时分析了空间对齐、物体保持和完成判断等常见失败情形。
说明展示与执行:通过示范进行教学
简介本文研究人如何通过示范教学,而非仅仅完成任务。作者提出一个贝叶斯模型来描述教学式示范,并比较了“有意教学地展示”与“单纯执行任务”两种情形的差异。两项实验显示,人类参与者调整教学行为的方式与模型预测一致;标准逆强化学习算法在从展示而非执行中学习时也能获益。
说明MinkowskiPE:面向时空感知的闵可夫斯基位置编码
简介该论文提出闵可夫斯基位置编码(MinkowskiPE),用时间与空间坐标参数化作用于查询和键特征的洛伦兹变换,使注意力分数只依赖两个标记之间的相对时空位移。在分子动力学和视频预测任务上进行评估,原文称在九项多轨迹分子评估中均取得最佳结果,并在KTH视频预测上把MSE相对最佳基线降低9.9%,参数量约为其十分之一。
说明扩散奖励模型(DRM):用扩散模型刻画多模态人类偏好
简介论文提出扩散奖励模型DRM,把奖励建模看作对条件分布的密度估计,用轻量扩散Transformer从高斯噪声生成奖励向量,不对输出分布做参数假设。在五个基准上,DRM在数据与骨干一致时与基线持平或更优,并能恢复传统单点输出无法表示的多模态奖励结构。论文还显示,以DRM作为RLHF训练奖励时,策略表现有所提升。
说明通过多模态Wasserstein重心绑定多种模态(BaryBind)
简介该论文提出BaryBind方法,用于把多种模态(如文本、视频、音频)对齐到同一语义空间。方法先将各模态投影到所有模态分布平均Wasserstein距离最小的重心上,再以重心为中心构建重心单纯形,并以其体积衡量全局对齐程度。实验显示该方法在文本-视频-音频检索、分类、视频问答和跨模态生成等任务中表现有竞争力,并在缺失模态和超过三种模态时具有稳健性与可扩展性。
说明在大语言模型的同策略蒸馏中,真的需要 KL 散度吗?
简介该论文研究大语言模型同策略蒸馏(OPD)中是否必须使用 KL 散度作为损失。作者发现,只要更新方向朝向教师模型即可有效训练,尤其是教师与学生分歧较大的少量词元最为关键。基于此,论文提出多教师同策略蒸馏的改进方法 C-MOPD,让每个样本都由所有教师共同监督,实验显示其在数学和代码基准上优于 MOPD。
说明相关性不等于充分证据:在生成前检测RAG中的证据缺口
简介论文指出,检索增强生成(RAG)中检索到的段落常提到正确实体,却缺少回答所需的事实,而生成模型即使被要求拒答,仍会回答大部分证据不足的问题。作者构建了成对基准,并提出RINSE方法,结合问题覆盖度、段落是否给出答案以及小型语言模型的综合判断,在生成答案前评估证据是否充分。
看点提出在生成前用问题与证据判断充分性的三信号方法RINSE,并与10种方法及前沿模型比较,平均AUC0.837优于最佳基线0.746。
说明多孔径光电容积描记法(MAPIS):空间光学与时间相干性场
简介本文用单台 MAPIS 设备采集的 44 段、每段 30 秒的记录,分析不同光圈通道在红光与红外波段上的直流强度、脉动交流成分、灌注指数及时间相干性之间的空间关系。结果显示,交流成分随直流强度呈次线性增长,因此直流较低的光圈灌注指数较高;同时,直流和交流较低的光圈自相关和心跳周期频谱集中度更高,红外信号的时间相干性也普遍高于红光。作者指出,这些关系在传统单通道 PPG 中会被平均掉,但光子路径机制仍需受控研究来验证。