机器学习、人工智能、自然语言处理、计算机视觉、多智能体。
说明日志解析丢失了关键信息：分布式GPU训练中的故障检测研究
简介本文提出GF-Bench，一个基于PyTorch的框架与数据集，用于生成分布式GPU任务中的各类故障，并提供220组标注的双GPU运行日志，涵盖正常运行、CUDA显存不足及持续性慢节点故障。作者比较了三种序列方法与基于大语言模型的LogPrompt在解析后日志上的表现，结果显示没有方法能同时可靠检出两类故障，最高总体F1为0.667。使用原始日志时，LogPrompt的总体F1提升至0.983，但输入令牌用量约为9.0倍，单次运行成本约为8.7倍。
说明不变原子：语言模型表示中局部语义几何的稀疏坐标
简介该论文提出“不变原子假设”，认为语言模型中局部语义变化可沿一组在保持语义的改写下稳定的方向稀疏表示。作者学习共享语义框架与稀疏坐标，以重构语义位移并抑制干扰变化。实验报告这些原子在语义与干扰因素间分离明显，并对模型预测有因果影响，结果可推广至未见过的语义邻域与干扰类型。
说明关于分布外上下文学习中注意力动态的理论研究
简介论文研究 Transformer 模型在输入分布偏移（分布外，OOD）时上下文学习能力下降的原因，通过 α 型与 β 型注意力权重的动态变化刻画分布外误差。作者进一步分析用分布外数据微调后，源域性能可能升降取决于特征偏移的性质，并以合成数据和真实数据实验验证理论结论。
说明在线多功能增量学习：面向任意时刻的类别与领域无关自适应
简介本文提出在线多功能增量学习（Online VIL）场景，即类别概念和视觉领域在线同时演化且无明确边界。为应对这种更接近现实的动态环境，作者提出 TopFlow 框架，包含领域无关流匹配（DFM）与全局拓扑保持（GTP）两种互补机制。实验表明 TopFlow 在 Online VIL 场景中取得了当前最优的性能。
说明DARE：一种减轻大型视觉语言模型幻觉的双路径自回归感知编辑方法
简介大型视觉语言模型常生成与图像不符的物体描述，即物体幻觉。本文提出DARE框架，通过免训练的表示编辑来减轻幻觉。它结合文本对比、解码过程中的自回归表示变化以及配对图像之间的可控视觉差异来构造编辑方向。多个基准实验显示，DARE能持续减少物体幻觉，同时保持多模态感知能力和推理效率。
看点在训练-free的表示编辑基础上加入自回归感知信号与图像对比路径，属有实质改进的组合；多个LVLM幻觉基准上的一致性实验较充分。
说明零知识友好的量化：评估可验证私有大模型推理中的比特精度
简介本文首次系统研究了面向零知识证明（ZK）的大语言模型量化方法，形式化定义了ZK友好量化的要求，并在九个语言模型上比较了权重、激活和非线性查找表的不同精度设置。结果显示，激活精度比权重精度更敏感，非线性查找近似常是效用下降的主要来源，且RMSNorm的逆平方根查找是多个大模型的瓶颈。作者指出，降低比特宽度未必等比例节省端到端证明开销，传统低比特量化经验不能直接用于ZK证明效率。
说明Merlin Plus：大规模多癌种CT图像-掩膜-报告数据集
简介该论文提出Merlin Plus，这是首个带有放射科医生绘制肿瘤掩膜、覆盖9个器官的大规模CT数据集。它在Merlin数据集基础上新增1,153个逐体素肿瘤掩膜及纵向元数据。掩膜通过基于报告的主动学习框架生成：先由分割模型产生初始掩膜，再由放射科医生审核修正，以降低标注负担。
说明MemFold：通过同策略优化学习用于长上下文个性化的紧凑软记忆
简介该论文提出 MemFold，用固定数量的连续向量压缩用户的长期历史记忆，作为阅读模型的记忆接口，并以模型自身生成的推理轨迹进行训练，同时结合任务结果奖励与基于置信度门控的同策略蒸馏。在 PersonaMem-32K 与 PersonaMem-128K 上取得了所测试的最高准确率，并无需目标领域训练即可迁移到 PrefEval 与 LongMemEval。消融实验表明，大部分提升来自奖励项，蒸馏信号带来较小的额外增益。
说明安全算子：通过谱优化调节安全指令的表达强度
简介该论文研究基于Transformer的语言模型中，上下文token可被吸收为权重中的乘性算子，并考察安全指令场景下该算子主特征值对指令影响强度的调节作用。作者提出带抑制权重的对比安全损失，在有害查询上强化安全指令、在无害查询上抑制它，并观察抑制权重变化时攻击成功率与过度拒答率之间的关系。
说明RA-CFGCache：面向分类器自由引导下扩散模型缓存的风险对齐方法
简介该论文针对扩散模型在分类器自由引导（CFG）下计算开销大的问题，提出免训练缓存框架RA-CFGCache。它考虑了有条件与无条件分支的缓存误差如何叠加，以及局部误差对最终输出的影响随时间步变化，并通过在线阈值控制器决定何时同时刷新或复用两个分支。实验在FLUX.1-dev、Wan2.1-T2V-1.3B和CogVideoX-2B上进行，报告相比所评估的免训练缓存基线，效率与保真度的权衡有所改善。
看点针对CFG下缓存误差组合与时间步传播问题提出风险对齐控制，在三个模型上验证，对已有缓存方法有实质改进。
说明面向稳健户外激光雷达定位的时序感知融合方法
简介该论文提出一种名为TempLoc的时序感知定位框架，用于估计传感器在环境中的全局六自由度位姿。方法包括预测每帧点的全局坐标及不确定性、利用注意力机制估计帧间点对应关系，并通过不确定性引导的坐标融合模块端到端地整合两者。作者报告在NCLT和Oxford RobotCar基准上，该方法明显优于现有方法。
说明面向组织病理图像的可扩展、带上下文的单细胞空间转录组预测
简介该论文提出 CELLO 框架，利用常规 H&E 染色组织图像直接预测每个细胞的基因表达，而非仅预测多细胞聚合的斑点水平数据。方法对每张图像只做一次病理基础模型前向推理，通过网格采样同时提取所有细胞的位置特征，并用距离衰减交叉注意力模块融合空间局部形态上下文。基于 HEST-1k 中 52 对 Xenium-H&E 数据（涵盖 12 个器官、约 1000 万个细胞），论文报告其平均预测精度优于对比基线，平均推理速度较 DeepSpot2Cell 提升 14.0 倍（不含上游细胞分割）。
说明超越像素重建：面向低资源满文历史文献的检索引导字形感知修复
简介历史满文文献受严重退化和成对训练数据稀缺的限制，数字化困难。该论文提出一种检索引导的字形感知修复框架，检索相关字形范例作为结构指导，并将其融入重建过程，以更好地恢复退化的字符结构。实验表明，该方法在图像修复质量和字形保真度上均优于现有方法。
说明预测性信用：衡量科学解释对实验预测的增益
简介该论文提出一套协议，用配对预测来衡量研究智能体对计划实验所作解释在预测中带来的增益。在受控学习、Tox21 与 OpenML 的共336个状态上测试，结果尚不确定，科学解释的预测增益在所测试的条件下未获证实。
说明从规则到工具：科学计算中 LLM 智能体的可执行检查
简介该论文提出 R2T 方法，把科学计算的公开要求（方程、边界条件、输出要求）做成可调用的可执行检查，供编码智能体修复程序时使用。与仅用文字描述检查的对照组相比，在多组 SciCode 修复任务上结果因任务而异：完整修复率在两个任务编号队列中分别为 26/30（文字）与 29/30（工具），整体上工具组并非在所有任务上都占优。
说明在部署词表之外丢失物体：窄域微调如何损害检测器的泛化覆盖并可修复
简介论文研究在宽泛语料上预训练的检测器经窄域微调后，对词表未命名物体的候选框覆盖率会下降，而域内精度上升，并在多种架构和领域中观察到该现象。作者提出纵向评估协议，并给出一种无需额外训练、将预训练状态部分混合回去的修复方法，可在域内精度仅小幅下降的代价下提升覆盖率。
说明混合自主交织匝道中基于智能体的演化动力学：用微观个体行为解释交通均衡
简介论文提出一个基于智能体的模型，描述车辆如何通过演化博弈式的车道选择规则自适应调整，以对应宏观交织匝道理论。作者证明去中心化动态收敛到宏观理论预测的唯一均衡。仿真显示其结果与宏观预测高度一致，并分析了收敛速度、交通变化适应性、CAV利他水平差异及信息不完全对系统表现和利他负担分布的影响。
说明等变强化学习的样本复杂度：利用群对称性减少机器人学习所需的交互数据
简介本文研究如何利用群对称性降低强化学习的样本复杂度，即达到最优回报所需的环境交互次数。作者在有限时域马尔可夫决策过程中，借助群对称诱导的同态，给出了更小的理论上界与下界，并将结论推广到连续状态与动作空间。实验表明，在高维连续机器人仿真中，考虑对称性的策略学习在样本效率和性能上都有明显提升。
说明关联基础模型在上下文学习中的支持集目标泄露：模型依赖性与评估可靠性
简介该论文研究关系型上下文学习中的一种失效模式：支持集中包含由目标派生、但查询样本无法获得的特征，从而造成目标泄露。作者构造了20种受控特征，在13个RelBench任务和五种关系型ICL配置上进行评估。结果显示，目标表（0跳）和全部泄露条件造成的偏差最大，且泄露效应强烈依赖于任务与模型，甚至可能逆转模型间的比较结论。
说明FineART：细粒度标注的双臂机器人操作轨迹数据集与视觉-语言-动作模型
简介本文提出FineART，一个密集标注的双臂机器人操作数据集，包含40,543个episode（约1,718小时）、533,913个子任务，覆盖151项任务。作者还提出FineART-VLA视觉-语言-动作策略，它会预测自身的下一个子任务来指导动作。文中报告，在FineART的子任务标注上进行中期训练后，空间指令的成功率从32.0%提升到100.0%；加入逐步人工子任务指导后，未见过的长时程任务成功率从16.0%提升到76.0%。作者还表示，数据集、模型权重和训练代码均已开源。
说明《永恒阳光下的无瑕心智》：系统性清除大语言模型的记忆（研究如何让持久化大模型按用户要求删除已分享的信息）
简介论文研究会在与用户长期互动中积累记忆的持久化大语言模型，能否在用户要求时遗忘曾经分享的信息。作者发现，现有模型即便声称已经忘记，也未能真正删除这些信息。直接删除匹配删除请求的消息并不足够，因为对话中的消息依赖会使信息残留。为此，作者提出DeLLM框架，为每次查询动态构建相关上下文，并维护消息的溯源图，以确定删除时需要移除的消息。实验表明，DeLLM在保持实用性的同时实现了较高的删除率。
说明记录越长，不变性越宽：纵向对比学习中隐藏的规模问题
简介该论文研究纵向数据在对比学习中的问题：同一个人的观测被视为正样本，记录越长，正样本跨越的行为状态差异越大，可能抹去原本有价值的变化信息。作者区分记录跨度与监督跨度，在长达2.7年的居家传感数据上发现，监督跨度越宽，可恢复的变化状态信息越少。
看点区分记录跨度与监督跨度，揭示纵向对比学习中更长历史会扩大不变性，并通过同人对比加以逆转，视角新颖；实验覆盖两年多数据并在199人上前瞻复现。
说明高倍率知识为何可迁移？全切片图像跨分辨率蒸馏研究
简介本文研究跨分辨率知识蒸馏，即把高倍率的表征迁移到低倍率的全切片病理图像分析中。作者在十个病理队列（涵盖分类、分级和生存预测）上做了受控实验，发现提供教师区域均值与原生低倍特征一起使用时，下游性能在全部十个队列中均有提升。然而，重建误差更低并不总能带来更好的下游结果，因此重建误差不足以衡量跨分辨率迁移效果。
说明从检索到推理：基于细胞绘画图像特征的智能体作用机制预测
简介本文针对细胞绘画（Cell Painting）形态学数据的作用机制（MOA）预测，指出现有方法依赖形态特征空间中的近邻匹配，而检索到的近邻常含批次效应、非特异性细胞毒性等噪声。作者提出PhenoAIR，一个可靠性感知的多智能体框架，将近邻视为需评估、比较并可能舍弃的不确定证据，并基于JUMP细胞绘画数据构建的基准进行评估，结果优于表示匹配及基于大语言模型的基线方法。
说明CAMEO：基于类激活图的皮肤病变分类背景替换增强框架
简介本文提出CAMEO框架，利用可解释AI生成的类激活图筛选稳定的解释，将皮肤镜图像中的病变与背景分离，再用逼真的合成皮肤替换背景而保持病变不变。在HAM10000和深色皮肤ISIC图像上，CAMEO在保持准确率的同时，将背景驱动的错误减少近四倍，并使背景变化时模型注意力更加一致。作者认为该方法在不牺牲准确率的前提下提升了鲁棒性与公平性。
说明该模型的文化价值观会因人设和语言而变吗？——JEV模型研究
简介论文研究了仅输出选项概率、不生成文本的语言模型JEV的文化价值观，使用Values Survey Module 2013量表，在英语和阿拉伯语下测试了沙特与美国人设及无人设的情况。结果显示，人设为沙特人时，答案向人类沙特与美国之间的差异方向移动，英语中再现约87%，阿拉伯语中约62%。
说明物理约束应在分子晶体生成器的哪个环节引入？
简介本文提出 CrystAF，一种全原子晶体流映射生成模型，并结合 UMA 势函数系统比较物理约束在训练、训练后或推理阶段引入的效果。结果显示，训练后学习物理偏好可提升分子有效性与晶体堆积质量，且采样过程不变；推理时 UMA 弛豫能修复局部冲突，但使生成速度慢 6 至 26 倍。两种方式互补，并且该训练后策略也改善了 Clari-M 和 MolCrystalFlow 生成器。
说明LOCO-AdaMP：用于自适应小块集成的内置LOCO推断方法，提升预测性能
简介该论文提出LOCO-AdaMP，一种基于LOCO（留一协变量）重要性指导自适应特征采样的小块（minipatch）集成框架。它无需数据划分或重新训练模型，即可对特征重要性进行具有渐近有效性的推断，并在预测性能上优于原有的LOCO-MP方法。作者在合成与真实数据集上的实验显示，该方法在预测、推断能力与稳定性方面均有优势。
说明面向高效机器学习工程智能体的奖励率策略梯度方法
简介传统强化学习只追求累计奖励，默认每个动作耗时相同，但机器学习工程智能体的数据加载、特征工程和模型训练耗时差异很大。本文借鉴连续时间强化学习与半马尔可夫决策过程，提出奖励率策略梯度（RPG），以单位时间内的长期奖励为优化目标，并按该速率对动作耗费的时间计费。作者在赌博机场景下做了理论分析，并在Qwen3.5-4B小模型上于MLE-Bench和NanoGPT中验证，固定时间预算下分别比普通强化学习高19.2%和85.7%的奖励。
说明ARCagent：面向临床问答的自适应检索校准智能体
简介该论文针对ME/CFS这类临床指南不完整或相互矛盾的疾病，提出了临床问答智能体ARCagent。它包含一个1706个文本块、来自10个来源的知识库（含指南间冲突登记表）、基于查询的冲突感知检索重排序流程，以及一个由LLM作为评判者打分的基准测试。作者报告该系统准确率为95.3%，超过所有基础大模型。
说明面向人类早期与中间视觉皮层的感受野约束刺激优化
简介该论文提出两种生成“最兴奋输入”（MEI）的新框架RF-DiVE和RF-GO，用于刻画人类V1至hV4视觉区域单个体素的特征选择性，并以自然场景数据集的fMRI数据进行研究。两种方法都使用受群体感受野约束的体素编码模型，RF-DiVE结合预训练潜在扩散模型，RF-GO采用正则化梯度上升。结果显示所生成的MEI在感受野内呈现一致结构，并且在模型预测中比最具激活性的自然图像引发更高响应。
说明动作为函数时拟合Q迭代的有限样本理论
简介本文研究离线强化学习中动作为函数（如放疗的剂量图或机器人的平滑运动轨迹）的情形，分析带函数动作的拟合Q迭代（FQI）的有限样本理论。作者提出平滑正则化策略搜索，并采用依赖critic的覆盖条件，无需动作密度。主要定理给出学习策略相对于固定平滑策略类最优值的遗憾有限样本保证；数值实验显示学习到的函数动作策略优于常数动作策略。
说明人格剂量控制：面向分级特征控制的校准激活引导
简介本文研究“人格剂量”，即通过特征描述和期望的平均强度来控制语言模型的人格表达，而不是直接调节激活引导系数。作者提出PersonaDose方法，在人格回复上微调共享的、以描述为条件的FLAS控制器，并依据实测的特征表达对其流时间进行校准。在三个模型上，该方法在连贯性下限75的条件下，核心特征表达明显高于对比激活加法方法。论文还指出，控制器学到的行为范围与范围内请求的准确性需要分开看待。
说明隐蔽性是一种关系而非属性：事件表示如何为事件感知中的时序攻击制造盲区
简介本文研究事件相机中时序扰动的隐蔽性，指出隐蔽性取决于下游观察者如何处理时间。作者提出 Null 攻击，在保护累积窗口内重定时事件以使累积张量保持不变，并在 DVS Gesture 与 DailyDVS-200 数据集上验证其攻击成功率。结果显示，在不同时序视图下，完全隐藏的扰动会变得可见，因此隐蔽性不是扰动本身的属性。
说明关系基础模型上下文学习中的支持集目标泄漏：影响、检测与缓解
简介该论文研究关系型上下文学习中的一种失效模式：当标注的支持集包含查询不可用的目标派生特征时，预测会受到影响。作者构造了14种共20列的合成泄漏类型，在RelBench数据库上用冻结的关系编码器与ICL头进行评估，并用积分梯度（Integrated Gradients）排序并移除可疑列。结果显示，目标表泄漏导致的性能下降最明显，一跳和两跳泄漏则未被模型稳定使用；积分梯度通常能把目标表泄漏排在前列，并在影响最大的场景中部分恢复性能。
说明LEGO-Anything：用编程智能体进行三维场景重建
简介本文提出 LEGO-Anything，让编程智能体根据单张图像迭代编写并执行 Blender 代码，生成可检查、可编辑的三维场景程序。作者同时构建了 LEGO-Bench 基准，包含 104 个室内外场景共 208 张图像，分别评估产物有效性、可见表面几何和渲染外观。实验显示，表现最好的智能体仍在有效产物与准确还原几何及外观之间存在明显差距，因此提出免训练的 LEGO-Plugin，并进一步测试重建场景对目标检测、实例分割和相对深度等视觉任务的支持。
说明神经演替：持续学习中入侵、共存与稳定的中尺度理论
简介论文提出“演替学习理论”（SLT），把持续学习类比为生态群落：已学表示是常驻群落，新任务是入侵者，遗忘是常驻者被取代。作者用新任务学习前测得的“预入侵兼容性”预测后续遗忘，在 Split-CIFAR-10 等多组实验中与遗忘呈强负相关（三次重复 r=-0.789），并给出若干形式化定理。该方法定位为微调前的诊断工具，可与回放、正则化、投影等方法互补。
看点提出以生态演替类比统一持续学习的中观理论，并用预适应兼容性度量预测遗忘，方法新颖；多组实验与CIFAR-100等验证较充分。
说明OTT3R：以约1%算力实现多视角三维重建与快速数据集生成
简介本文提出OTT3R，一种知识蒸馏框架，将9.59亿参数的大型三维重建模型压缩为1.02亿参数的小模型，推理速度最高提升约7倍，训练算力仅为VGGT的1.6%。论文还提供一套仅依赖RGB图像的伪标签生成流程，可为大规模图像集生成稠密点图与相机位姿，作为传统COLMAP方法的替代。作者称在部分测试场景中，经领域专门化的小模型精度高于COLMAP。
说明LatentSift：面向软件工程智能体、节省 token 的策略状态过滤验证方法
简介该论文提出 LatentSift，在软件工程智能体生成多条候选轨迹后，用策略模型生成时已产生的隐藏状态进行过滤，无需额外调用模型或执行测试。它将候选的推理、观察和函数调用状态与成功和失败轨迹的正负样本库比较，并结合学习到的线性分数保留有希望的候选。在 SWE-bench Verified 上，该方法使 EF 验证器 token 减少 66.6%–81.0%，总验证 token 减少 49.1%–62.1%（K=16），同时混合 Best@16 的结果与参考流程持平或更好，例如在 DeepSWE-Preview 上从 59.26% 提升至 60.06%。
说明AdaKerNet：面向多模态大模型的神经核解码器，用于任务自适应预测
简介本文提出AdaKerNet，一种可学习的任务自适应神经核解码器，不需要访问底层多模态大模型的参数，只使用其冻结的表示进行预测。它结合可学习的多模态特征、参考核先验和轻量神经预测器，联合优化。在四种多模态大模型和文本、音频、图像、表格等输入上的实验显示，在标签稀缺情况下优于多种基线解码器，平均误差最多降低41%。
说明跨注意力编码模型揭示人类高级视觉皮层中的动态时空信息路由
简介该论文将跨注意力编码模型扩展到自然视频，利用自监督视频模型V-JEPA-2的特征，按脑区（parcel）在空间和时间上动态分配信息，并用fMRI数据拟合视频片段的脑响应。结果显示，联合时空注意力在外侧和背侧视觉区域对未见视频的脑响应预测更好。方法还生成可解释的注意力图，能随运动物体变化，且人脸、身体、场景选择性网络的注意力图与各自语义选择性一致。
说明工程化的简洁性：简单的机制界面引导大语言模型智能体
简介本文研究交互形式与文本脚手架能否帮助大语言模型智能体在拍卖和匹配等有明确规则、已知最优策略的环境中做出更好决策。作者对比了一次性给出完整出价或排序的界面与逐步选择的顺序界面，并在固定交互形式的前提下考察推理提示与规则描述的影响。结果显示，升价拍卖界面明显减少了出价偏离，而部分提示能改善选择，另一些提示则降低表现；作者还指出，解释层面的改善不一定对应实际选择的改善。
说明压缩以记忆：通过同策略蒸馏学习紧凑记忆用于长视频生成
简介标准视频生成模型无法把历史上下文压缩成可复用的记忆令牌，生成越长，早期帧信息越难保留。本文提出预测对齐上下文压缩方法（PACC），用可学习的压缩器把过去帧信息汇总为紧凑记忆令牌，并通过同策略蒸馏训练压缩器，冻结的生成器同时充当学生与教师。在MBench上，PACC分别比最强基线在Causal-rCM与Causal Forcing上高6.63和3.19分，且在VBench-Long上可生成一分钟长的视频。
说明借助大语言模型引导剪枝改进近邻图索引
简介基于图的近似最近邻搜索常用于大规模语义检索，但其索引主要依据向量间的几何关系构建，而检索效果却以语义相关性评估，二者存在错位。本文提出 LLM-Guided Graph Pruning（LGP）框架，利用大语言模型推理直接改进现有图索引：找出结构上价值较低的邻居节点，并替换为提供语义信息的候选，同时保留原图的稀疏性和高效导航性。在主流语义检索基准上，LGP 在 DiskANN 和 HNSW 等索引上均优于普通贪心图搜索和基于大模型的重排序方法。
说明HyperZip：利用超网络为扩散大语言模型做个性化、高效的无损数据压缩
简介论文提出 HyperZip，一个基于大语言模型的无损数据压缩框架，采用带多词元预测的扩散式大语言模型以加快压缩速度。作者指出扩散式压缩中提高解码吞吐量会降低压缩率，为此使用超网络根据上下文生成针对数据的更新，无需昂贵微调即可让模型适配目标数据。实验表明，该方法在压缩率与速度之间优于现有基线。
说明训练过程中的可解释性及其在TCR-表位预测中的应用
简介本文提出"训练中可解释性"（EFT）这一与模型无关的方法，通过追踪模型训练过程中的解释变化，说明模型依赖哪些特征以及如何将这些特征组织为预测依据。作者将其应用于四个TCR-表位预测模型，并构建了包含388个实验解析TCR-表位结构的基准TCR-XAI2，同时补充了多种结构预测工具生成的结构。论文报告了CNN与Transformer学习轨迹不同、TCR α与β链证据在训练中可能冲突、以及真实结构与预测结构呈现不同特征偏好等发现。
说明StructRL：面向长时程视觉-语言-动作任务的在线结构化强化学习
简介该论文提出 StructRL，一个在线强化学习框架，用于改进执行长时程任务的视觉-语言-动作模型。它把任务拆分为可验证的子任务，只有前置子任务完成后才给予中间奖励，并依据完成速度调整奖励大小。作者在 RoboCasa365 和 LIBERO-Long 上用 GR00T-N1.5 和 pi 0.5 进行实验，结果显示其表现持续优于所评估的在线强化学习基线。
说明生成中的表示设计：扩散 Transformer 中的跨视图类别令牌对齐
简介该论文提出在扩散模型训练中直接优化语义表示。方法对每张图像构造两个独立加噪的观测，将学生类别令牌与另一观测的停止梯度 EMA 教师目标对齐，并与流匹配及局部补丁目标联合优化。在 ImageNet 线性探测中，类别令牌和平均池化补丁令牌分别提升 9.4% 与 10.1%，VOC2012 分割提升 3.6 mIoU，同时生成 FID 与对照相当；文生图训练中 FID 由 2.52 降至 2.37。
说明DeepRewind：预测并修复深度研究智能体中的过早承诺
简介深度研究智能体在迭代检索、证据评估和综合推理中，可能在证据不足时就接受某个结论，导致后续推理强化错误解释。论文提出DeepRewind，这是一个可逆的附加控制层，用类型化图表示智能体的认知状态，并通过提示式世界模型预测中间结论的影响与可逆性。在DRBench和LiveDRBench上，相比Open Deep Research，它将洞察召回率提高3.6个百分点，过早承诺减少59.1%。
说明ThuRunel：结构化咨询对话中的动态解耦
简介本文提出 ThuRunel，一个用于医美、法律咨询、教育规划等高风险咨询领域的 AI 咨询代理。它结合有限状态的信念管理框架、思维链教师合成方法和学习型生成适配器，用于判断何时追问、何时停止、哪些问题自行处理、哪些转交专家。与十一个基线相比，该系统在信息收集完整性和专家简报质量上取得了一致提升。
说明将线性时间架构应用于表格上下文学习
简介表格基础模型通过在上下文中参考带标签样本取得较好效果，但 softmax 注意力限制了其在大数据集上的使用。本文研究线性时间序列混合器在表格上下文学习中的表现：因果型 DeltaNet 表现最佳，但超过预训练上下文长度 2 到 4 倍后性能下降，原因被归结为循环状态的不稳定，而非容量问题。作者用随时间变化的衰减调度来稳定长度泛化，并通过读取最终状态重新引入非因果性，使其在 OpenML-CC18 和 TabArena 上接近 softmax 注意力基线。
说明ATLAS：面向可靠世界模型规划的潜在结构对齐传输方法
简介世界模型规划依赖潜在表示的几何结构，但仅约束潜在边缘分布无法保证用于动作选择的状态间关系。本文提出ATLAS训练目标，在校准全局潜在分布的同时保留状态间的相对几何关系，并借助一维Wasserstein-2传输校准边缘分布。在PushT、TwoRoom和OGBench-Cube等任务上，基于LeWM的实验显示目标到达成功率有所提升，多步预测误差也更低。
说明通过可达Fisher几何缩小适应差距
简介论文研究参数高效微调中适配器的可达Fisher矩阵（全模型Fisher经适配器雅可比拉回），分析其迹能揭示什么、丢失什么。作者发现迹可作为可扩展的诊断和训练启发方法，但不能证明局部差距行为或矩阵一致性。在306个单种子模型的实验中，迹匹配在全部30个组合中缩小了子群差距，但留出验证显示算子差异与Frobenius统计量的改善并不一致。
说明PILLAR：面向增强检索的私有倒排索引词法查询系统
简介检索增强生成（RAG）通常会把用户查询交给语料库的托管方。PILLAR 基于私有信息检索（PIR）构建隐私保护的 RAG 系统，服务器无法得知查询词或访问模式。它采用两阶段混合检索：稀疏阶段用固定数量的 PIR 查询在预计算的 BM25 索引上筛选候选文档，稠密阶段仅获取候选文档的嵌入向量并在本地重新排序。文中提出两种协议：PILLAR-Bin 延迟较低，PILLAR-Tree 检索质量最高。
说明局部蒸馏、全局调度：用于少步文本转语音的流映射方法
简介针对流匹配文本转语音模型需要大量神经网络函数评估才能完成生成的问题，本文提出局部流映射蒸馏（LFMD），在构建训练目标时避免对教师轨迹做数值积分。推理阶段，作者基于教师动态与学习映射的一致性推导出采样调度方案（TD-DP），并在单一代价图下支持多个函数评估预算。在 Seed-TTS 和 LibriSpeech-PC 上，LFMD 在低函数评估次数下优于匹配的积分蒸馏基线。
说明面向数据系统的AI软件工厂：让AI覆盖软件开发全流程
简介论文指出，AI辅助编码工具只能加速编码环节，对整个软件开发生命周期的整体提升有限。作者介绍了其构建AI软件工厂的进展，该工厂覆盖目标设定、编码、评审和运维等阶段，并产生元数据用于模型微调与更新世界模型。论文聚焦数据系统中可量化目标的进化式编码任务，报告了在微软数十个代码仓库中的规模化部署结果，并列出若干待解决的挑战。
说明周期性薄弱点：分块KV缓存压缩中的相位敏感性
简介论文研究分块KV缓存压缩在长上下文推理中带来的一种位置现象：同一信息在不同相位（相对压缩窗口边界的位置）下检索难度不同，称为相位敏感性。在部分大型开源模型中，不同相位间的长上下文检索准确率差距最高可达40个百分点。作者还从头预训练多种压缩设计的Transformer进行复现与机制分析，表明高平均准确率可能掩盖系统性的位置失效。
说明StateTape：面向长时程编程代理的、以动作为条件的证据生命周期建模
简介大语言模型编程代理在长时程任务中，上下文会随每次观察不断增长。本文提出StateTape，将代理上下文按代码仓库的变化而非上下文长度来改写：把仓库建模为符号级代码图，并用磁带标记每次写入改动的符号，从而判断哪些记录已失效、哪些仍需保留。作者还提出了TraceBench基准，并报告在六种编程代理和三个编辑密集型基准上，StateTape能有效清除失效记录、召回所需内容，且计算开销很小。
说明训练大模型说出自己察觉到被评测：语言化评测意识（VT）方法
简介大模型察觉到自己正被评测时，行为可能与正式部署时不同，使审计结果难以准确衡量。该论文提出“语言化训练”（VT）方法，鼓励模型更愿意说出自己的评测意识，并在模型主动说出相关内容之前截断输出作为训练前缀，再用强化学习目标进行校准式训练。论文报告，在 Qwen3.6-35B-A3B、Kimi K2.6 和 Inkling 上，VT 使被说出的评测意识提高 2.4 至 2.9 倍，并可迁移到未见过的智能体场景，同时潜在评测意识与行为基本保持稳定。
看点提出新的训练方法让模型口头表达评估意识，并用合成文档微调做因果实验验证，新颖且证据较扎实，但影响面集中于评估安全子领域。
说明PyroStack：美国野火多波段时空亚日数据集
简介该论文介绍了PyroStack数据集，整合卫星火情观测、大气再分析、植被、燃料和地形等数据，覆盖美国本土和阿拉斯加2012至2024年间的6994场野火。数据空间分辨率从30米到9公里，时间分辨率为每小时，并提供12小时间隔的火势蔓延数据。该数据集可用于物理模拟和机器学习方法，以支持野火蔓延模型的评测与改进。
说明用于长序列建模的分数阶状态空间转移（FRAC）
简介论文提出 FRAC，一种基于分数阶动力学的选择性状态空间模型（SSM）。它用幂律长记忆取代常见 SSM 中的指数遗忘，并以对数间隔的有限个指数模态之和近似重尾核，使其能并行训练，同时保持有界状态的自回归解码。作者报告，在包括 13 亿参数语言建模在内的实验中，FRAC 在长上下文任务上优于现有 SSM 基线，在短上下文上仍具竞争力。
说明学习样本重要性：在“处处学习”中参数化对偶变量
简介该论文研究“处处学习”框架下的约束训练问题，指出逐点约束会产生函数形式的对偶变量。作者提出将对偶变量表示为每个样本的参数化函数，使其能够应用于未见过的新样本。论文给出了该参数化带来的原始解误差与最优统计乘子逼近程度之间的关系，并在多种任务中验证了方法的有效性。
说明CheatBench：衡量 AI 智能体的奖励作弊行为
简介论文指出，训练来最大化奖励的 AI 智能体可能出现访问未授权信息、规避监控、突破沙箱等作弊行为。作者提出 CheatBench，一个涵盖数学研究、知识工作、编程和视觉任务的作弊行为基准，环境同时包含高难度任务与作弊机会。该基准可用于比较不同模型和任务类别，并已在 https://cheatbench.ai 公开发布。
说明监督子空间的廉价且有效检验：偏最小二乘的逐成分推断
简介偏最小二乘（PLS）回归会从高维自变量中提取与结果相关的少数方向，但其拟合结果的推断过去往往成本高、有偏差，或根本没有。论文将推断归约为对监督子空间做留出集上的普通最小二乘重拟合，并给出两种基于留出集相关性的检验：一种是修正的渐近t检验，另一种是置换检验。论文在合成数据、两个近红外化学计量数据集和跨语言词嵌入回归上进行了验证，并称其功效高于CV置换Q²，成本仅为后者的一小部分。
说明EAGLE：基于熵感知的几何学习增强器，用于部分多边形监督的目标定位
简介论文提出一种用于目标检测的轻量级后训练模型头EAGLE，借助信息论与统计形状分析量化各类别的几何复杂度，并据此进行边缘细化与基于熵的定位重新打分。在MS COCO和Pascal SBD上的实验显示，该熵框架能够预测形状重建误差及掩码与普通框预测之间的精度差异；EAGLE在已达SOTA的检测框架上带来稳定提升（MS COCO上mAP50-95提高0.9点），推理开销极小。
说明HeurEvo：面向时间受限数学优化的混合求解器增强启发式算法的智能体进化框架
简介该论文提出HeurEvo框架，利用AI智能体自动发现优化算法，同时进化高层算法结构、代码实现和可复用组件库。规划器决定使用哪些组件及运行时分配，编码器将计划转为可执行代码，组件进化器更新共享组件池。在多个组合优化基准和MIPLIB实例上，该方法能在严格时间预算内找到高质量解，部分结果与顶级求解器相当或更优，并在六边形装箱等非线性几何问题上超过了此前已知的最佳结果。
说明图学习的通用分类器：用一个模型统一处理节点、边和图级任务
简介该论文指出，现有的图基础模型大多只能做节点级预测，或要求固定的特征维度。作者提出通用分类器（UC），支持任意特征和类别数量，把节点、边和图级任务统一为基于相似度的分类目标。实验显示，该模型在节点、链接和图级任务上都有较强的零样本迁移表现。
说明MoRE：用硬件感知的低秩路由扩展专家混合模型
简介论文提出 MoRE，将专家混合（MoE）模型中的路由器权重矩阵做低秩分解，把路由成本从随专家数线性增长降到更低。作者给出理论证明，并设计了推理时的融合 Triton 内核以减少显存访问。实验显示其在记忆任务和知识问答基准上表现更好，推理能力基本持平。
看点提出低秩分解路由器以降低MoE路由成本，配合理论证明与Triton内核，对已有方法有实质改进，证据包括证明、合成任务与预训练基准。
说明基于广义PINN与迁移学习的空间变化传热系数反演估计
简介本研究针对射流冲击冷却中空间变化的对流传热系数，探索广义边界表示与迁移学习方法在物理信息神经网络（PINN）中的应用。通过内部瞬态温度测量反演边界，并与CFD-CHT参考结果在雷诺数5000、10000、15000下比较。结果显示，广义表示可在无固定二次形式下处理复杂分布，迁移学习能显著缩短目标训练时间，但重建精度取决于源与目标问题的兼容性。
说明超越树结构：利用自适应图稀疏自编码器学习混合拓扑特征图
简介稀疏自编码器可以从大语言模型的激活中提取可解释的特征，但已有的结构化方法只允许单父节点的树或森林，事后构建的图则既不指导特征学习，也不能可靠地恢复特征关系。本文提出自适应图稀疏自编码器（AG-SAE），把每个特征的完整父节点集合当作一个结构假设，由证据决定其父节点数量为零、一个或多个。实验显示，它在受控玩具模型中能精确恢复混合拓扑，在真实大语言模型激活上的关系可靠性和语义有效性均优于基线，特征层面的因果干预也更强。
说明面向网络控制的完全去中心化且具安全意识的多智能体强化学习
简介本文提出一种安全的完全去中心化多智能体强化学习算法，用于解决网络上的离散时间控制问题，包括持续监测问题。算法将节点局部观测历史输入图编码器和状态估计器，并通过离散时间控制障碍启发式方法约束控制策略以提高安全性。在自定义仿真环境中，该方法的平均不确定性比集中式控制策略低 26.3%，与带注意力层的更复杂算法相差在 1% 以内。
说明十月七日袭击后德国社交媒体上反犹言论激增的研究
简介该论文研究了2023年10月7日哈马斯袭击以色列之后，德国Facebook和Telegram上关于犹太教与以色列的讨论中反犹言论的变化。作者利用大语言模型检测用户帖子中的26类反犹内容，分析了事件前后各三个月共125,718条帖子。结果显示反犹言论在两个平台上都明显上升，且Telegram上的比例约为Facebook的十倍。
说明提示词要多少才够？对大模型少样本示例的黑盒最小化研究
简介本文提出一个黑盒提示词最小化框架，把少样本提示压缩为必要的最小子集。实验显示，示例字符数平均可减少约65.3%，同时保持命题输出的完整性。研究发现模型倾向保留逻辑标识符和约束声明，删去自然语言叙述与跨提示的关联标注。
说明EEG基础模型对电极布局的表征与功能鲁棒性
简介该论文研究脑电（EEG）基础模型在不同电极布局下是否稳定。作者选取四个采用不同布局处理方式的模型，在静息睁眼/闭眼和运动想象分类任务上，从线性探针的泛化能力与嵌入表示的相似性两方面进行分析。结果显示两者可以分离：嵌入变化大未必导致性能明显下降，表示稳定也可能损失下游性能；而聚合方式比编码器本身更决定功能鲁棒性。
说明GNA：面向检索增强多变量时间序列预测的粒度邻居组装方法
简介这篇论文提出 GNA，一种用于时间序列预测主干模型的检索层。它从历史中组装两种粒度的邻居：完整历史窗口，以及每个变量各自最匹配的历史片段，并用学习到的门控机制决定对检索未来与持续性预测的信任程度。在相同回看长度和统一检索参数下，GNA 在 96 个数据集与预测步长设置中的 85 个上改进了两个 Transformer 主干模型，并在 12 个标准基准中有 8 个取得最低 MSE。
说明无名词符的证明：哥德尔本体论证明、其浅嵌入与 Monatshefte 笔记的开放问题
简介本文研究 Benzmüller 与 Scott 关于哥德尔及 Scott 本体论证明变体的笔记所用的高阶模态逻辑浅嵌入方法，指出其证明可能超出模态对象语言。作者论证笔记中所有命题都能在不替换对象语言之外内容的嵌入中证明，并解决了笔记提出的三个开放问题，结果在 Isabelle/HOL 与 Lean 4 中验证。
说明虚假真相效应还是单纯曝光？基于大语言模型的社交媒体模拟中重复效应因模型而异
简介该论文研究基于大语言模型的生成式智能体在社交媒体模拟中，是否会出现人类认知中的“虚假真相效应”，即反复接触某陈述会提高其被判定为真的程度。作者在四个模型上用两阶段实验比较重复与未见陈述的评分，区分真实的真相效应与单纯曝光效应。结果显示不同模型表现各异：Gemma-3 表现出真实效应，Qwen2.5 为单纯曝光效应，GPT-5-nano 无真实性重复效应，Llama-3.1 仅有小幅提升。
说明从表面到体积：用于蛋白质表示学习的配准几何方法
简介该论文提出 Protein-TetSphere，一种面向蛋白质的残基级体积表示方法：先对每条蛋白链做四面体剖分，再将各残基的局部体积区域配准到统一的固定拓扑参考四面体上。在配体结合口袋分类、蛋白-蛋白界面预测和从头结合子设计三项任务上，该方法均优于仅使用表面特征的基线。
说明幂律谱条件下的随机优化：紧致界与洗牌分析
简介这篇论文把已有的幂律谱理论从确定性梯度下降推广到随机梯度下降（SGD），指出同样的谱指数也支配随机训练的动态。针对各向同性高斯数据，作者分析了数据洗牌方式，给出精确常数，并认为单次洗牌（Single Shuffle）严格优于 Flip-Flop 与独立同分布采样（IID）。
说明上下文学习放大了一个潜在的符号推理回路
简介该论文研究大语言模型在上下文示例增多时，内部如何逐步激活抽象规则的推理回路。作者在三个模型系列中追踪了抽象、归纳、检索三个阶段，发现这一回路在准确率还很高之前就已可检测且有功能。论文报告了因果贡献增长、激活修补和函数向量注入等实验结果，认为抽象规则执行所需的结构在示例出现之前就已存在于权重中。
说明OTROPE：基于最优传输的大语言模型稳健离线评估方法
简介本文提出OTROPE方法，用于在标注数据有限、模型分布偏移明显的情况下，评估一个较新的大语言模型。该方法利用最优传输在语义空间中校正分布，将带人工标注的行为模型样本与未标注的目标模型样本对齐，并结合代理预测器。作者给出了理论分析，并在合成与真实评估任务上报告该方法优于基线，同时使较弱评估器的集成可接近甚至超过较强评估器。
说明配对多模态缩放定律：研究在总数据量固定时，多模态配对数据比例如何影响多模态分类任务的损失曲线，并提出新的缩放定律
简介该论文指出，现有多模态缩放定律是在实验后经验性地拟合多模态项，且从未改变固定数据预算下的配对数据量。作者在三种环境中训练模型，通过扫描数据规模与配对数量进行实验，发现配对比例对损失有显著影响，且与任务中的协同信息量直接相关。论文提出由四个幂律之和构成的新缩放定律，对应冗余、各模态独有和协同四个信息通道，在其实验中拟合测试误差为3.2%，优于最佳配对扩展版现有定律的10.4%。
说明从 Fisher 视角理解大语言模型参数更新的稀疏性
简介近期研究发现，大语言模型后训练时参数变化往往集中在少数坐标上。本文用对角模型 Fisher 信息来分析这一现象，该指标衡量输出分布对单个参数的敏感度。作者从理论上说明，较小的对角 Fisher 会带来较小的期望梯度，并在强化学习和同策略蒸馏实验中发现，从初始 Fisher 选出的固定稀疏掩码能保留完整训练的大部分提升。
说明CyFA：基于相对时间分区记忆的线性序列建模
简介该论文提出CyFA（循环流注意力），一种带相对时间分区记忆的线性RNN。模型通过可学习的时钟对键和值状态进行循环变换，将历史关联按相对时间槽位组织存储，并推导出可高效分块训练的等价形式。在400M至1.4B的预训练实验中，CyFA在召回密集型任务上表现更好，同时保持有竞争力的语言建模能力和较高的计算效率。
看点提出以相对时间分区记忆并用周期转移组织键值关联的新机制，并推导出可高效分块训练的精确等价形式；实验覆盖400M至1.4B规模，与KDA在FDA上对比并报告计算耗时。
说明缓解大型推理模型中的欺骗性安全对齐
简介大型推理模型通常通过强化学习训练，但奖励主要基于最终答案，对中间推理几乎没有直接监督，可能出现推理过程与最终答案传递的安全信号不一致的情况。作者提出 DSAR 指标来量化这种不一致，发现在多个模型和基准测试中，标准提示和预填充攻击下都普遍存在这一现象，且攻击下更为明显。作者进一步提出 SARA 方法，在强化学习中同时奖励安全意识推理和安全的最终答案，实验显示其能显著缓解该问题，同时保持模型的有用性。
说明《人口保真度》：评估大语言模型对人群的代表性
简介该论文提出“人口保真度”评估框架，用于判断大语言模型生成的回答能否代表某一人群。框架包括群体层面的准确性、群体间差异的大小和差异的结构三个维度。作者重现了一项关于LLM问卷回答“机器偏差”的研究，并评估了文化微调这一改进方法，发现它能提升与调查中心的一致性，却未改善群体内部差异的呈现。
说明单步追索的带符号几何：路径上的有效性与带符号曲率准则
简介该论文研究分类器中被拒用户的一步追索：沿梯度方向移动预定距离，看能否越过决策边界。作者以路径曲率的符号判断一步是否成功，并分析额外查询与校准对有效性的影响。实验在多个浅层模型上进行，并比较了不对称与对称曲率惩罚的效果。
说明带反馈校正的动作分块近端策略优化（论文）
简介该论文提出 ACPPO，即在 PPO 中使用分块动作的 actor、保留标准状态价值 critic，从而避免学习分块 Q 函数。其扩展 ACPPO-Corr 在分块规划之外加入逐步反馈校正器，在每个分块内在线调整计划动作。作者在 IsaacGym 与 Bi-DexHands 的 25 个机器人仿真任务上评测，称 ACPPO-Corr 综合表现最好，并认为分块规划配合闭环校正是有效的。
看点在PPO中用分块actor保留状态价值critic，并加入逐步反馈修正，是对已有方法的有实质改进；在25个仿真任务上验证并做消融。
说明学生策略在线学习教师续写的蒸馏方法（OLIVE）
简介论文提出OLIVE方法：学生模型每轮生成前缀，教师模型接着续写，再用教师生成的词元计算交叉熵更新学生模型。作者称其在推理任务和智能体任务上优于现有蒸馏方法，异步实现还将训练时间缩短23.8%。在ScienceWorld上，仅用GPT-5.4-mini的文本持续训练，比离线SFT高13%。
说明CoRe：用于缓解视频扩散模型潜在奖励作弊的协同演化奖励模型
简介论文发现，在潜在空间中用固定奖励模型优化视频扩散模型时，模型会在预测奖励保持很高的同时，画面和运动质量下降，即出现“潜在奖励作弊”。作者将原因归结为生成器会逐渐超出奖励模型的训练范围。为此提出CoRe框架，让奖励模型在生成器当前样本上持续重新拟合，并以真实视频偏好作为锚定，从而避免质量崩溃。实验基于Wan2.1-T2V-1.3B，结果显示CoRe在生成质量上优于预训练模型和既有对齐方法。
说明先判断再修复：基于笔画引导注意力的满文古籍风险感知修复
简介该论文针对满文古籍整页盲修复问题，提出SAGE-Restore框架，先预测需要修复的区域，再依据该预测生成修复候选并在像素级选择性应用。论文还设计了兼顾退化区域恢复、完整内容保留及二者平衡的评估协议。结果显示该方法在退化区域恢复指标R-Recovery（0.463）和RFS（0.626）上最高，同时U-Fidelity达到0.968。
说明表示学习能否与损失下降脱钩？极分解更新给出的答案
简介该论文研究矩阵版Muon优化器在教师-学生模型上的训练动态：损失出现周期为2的振荡且长期不降，但权重仍在移动，学到的特征持续与教师子空间对齐。作者在线性玩具模型与均值场ReLU模型中给出了相应的理论结论，并在多种激活函数与深层残差网络中进行了实验验证。
说明认知专家语言模型与对应脑系统更好地对齐
简介大语言模型可以预测自然语言理解过程中多个脑区的活动。本研究针对六个认知领域（感觉、空间、数字、推理、社会与抽象处理）分别构建专家模型，通过提示和微调两种方式实现。结果显示，各专家模型的表征与其对应认知领域的脑系统对齐程度更高，且这一结论在三个基础模型和三个功能磁共振数据集上均成立。
说明ChronoSRL：面向自监督强化学习的时间几何方法
简介论文提出ChronoSRL，让评论家（critic）的表示空间具有时间几何结构：状态-动作与目标的嵌入距离被训练为智能体到达目标所需的时间，并结合生存强化学习预测到达时间分布及在目标附近停留的时间，使策略倾向于更快、更可靠地到达目标。在七个标准运动与导航基准上，该方法比对比学习、动作分块对比学习及生存强化学习基线学得更快、性能更高。作者还在四足机器人的仿真到现实运动任务中测试了速度跟踪、目标位置到达和攀箱任务，ChronoSRL是其中唯一能保持指令速度与目标位置并攀爬最高箱体的自监督方法。
看点为对比式和生存式强化学习的表征引入时间几何，并在七个基准及四足机器人任务上超过基线，新颖性较强，证据较充分。
说明横截池化神经网络：把最大池化推广到仿射群作用的网络结构
简介这篇论文提出“横截池化神经网络”，把空间最大池化推广到仿射群作用上。作者证明网络对所选子群具有等变性，并给出输入受仿射扰动时各池化小波系数的显式稳定性界。实验显示该网络在小数据场景下有用，并可用于预测热带气旋增强。
说明MERID：基于递归自我改进智能体的多模态抑郁症分析方法
简介本文提出MERID框架，用于多模态抑郁症（MDD）检测，数据包括访谈录音和传感器测量等。该框架通过基于经验的递归自我改进，自动开发并修订检测流程，并在小规模队列中验证改进效果后再继承。实验表明，MERID在多项任务上优于多模态和基于智能体的基线方法，并强调了声学和语言线索的价值。
说明前馈层在Transformer动力学中的作用
简介本文从控制理论角度研究Transformer中词元（token）的动态行为，把自注意力机制视为相互作用的粒子系统，把其后的前馈层视为独立的控制输入。主要理论结果表明，无论键、查询和值矩阵如何，前馈网络都能把词元引导到任意接近一致（consensus）的状态。作者还指出该结果可扩展到多簇收敛和多头注意力，并通过数值实验进行验证，同时将理论中的阈值行为与真实大语言模型进行了比较。
说明单步下一隐变量预测并不等于世界模型
简介该论文讨论用单步回归学习下一隐变量的方法，即LeNEPA将LeJEPA的各向同性惩罚引入时间序列。作者指出，单步回归拟合的是条件均值，只有在特殊情形下才是可展开的转移核。文中通过线性高斯、非线性、非单射观测等情形的分析与标量自回归、隐旋转的数值例子说明，多步开环误差会随步长增长，且各向同性惩罚对转移权重的偏导为零，不能修正此问题。
说明统一多模态模型中基于演化数据的互相对抗自训练（MATE）
简介该论文提出MATE框架，用强化学习对统一多模态模型做后训练，让图像生成与视觉理解两个分支互相出题、互相作答，而非彼此协作监督。题目来自模型自身输出，并随训练演化。在Janus-Pro-1B上，MATE使GenEval提升2.4分，DPG-Bench提升1.7分，九项理解基准平均提升0.7分，同时提高了反复图文循环中的一致性。
说明BASE：利用预测移除误差对专家进行批感知选择，以高效执行 MoE 解码
简介本文针对混合专家（MoE）大模型批量解码时专家权重搬运开销大的问题，提出 BASE 方法。该方法按专家被移除后对 MoE 层输出的影响程度对其排序，并在校准阶段训练轻量线性预测器估计每个 token 的移除代价，同时开发 GPU 定制内核以支持推理。实验显示，在三种 MoE 架构上无需重新训练即可改善质量与效率的权衡。
