AI 算法 · 2026年10月18日(周日)

机器学习、人工智能、自然语言处理、计算机视觉、多智能体。

arXiv cs.LG

The Optimal Sample Complexity of Pointwise Replicable Agnostic Learning

说明逐点可复现不可知学习的最优样本复杂度

简介本文研究两个用相同随机种子独立训练的预测器在每个固定查询点上高概率一致(逐点可复现)所需的样本量。对于有限VC维的非空二分类类,论文给出了所需独立样本数的紧致界,并给出匹配的下界,从而消除了一般可数域问题中剩余的对数开销和参数限制。

Guangjian Zhang

arXiv cs.LG · cs.AI · cs.DB 有代码

HCFM: Helmholtz Component Flow Matching for Time Series Anomaly Detection

说明HCFM:用于时间序列异常检测的亥姆霍兹分量流匹配方法

简介本文提出 HCFM,一种无监督的时间序列异常检测框架,基于流匹配(Flow Matching)生成模型。它将向量场拆分为输运、压缩和残差三个分量,其中输运分量被约束为无散度,从而只需在压缩分量上估计散度。作者称该结构化参数化在大规模单变量和多变量基准上,相比16个基线方法提高了检测精度,并保持高效推理。

Shyam Sundar Saravanan, Tie Luo, Sanjay Madria

★★★★☆ 值得关注
arXiv cs.CV

PRET is a few-shot system for pan-cancer recognition without example training

说明PRET:无需示例训练即可识别多种癌症的少样本系统

简介该论文提出PRET系统,用于跨器官、跨医院、跨任务的泛癌识别,无需针对具体任务训练。在23个国际基准、共4484张全切片图像上评估,该方法在20项任务中优于现有方法,其中15个基准的曲线下面积超过97%。在淋巴结转移检测中,仅用8张切片示例即达到临床级诊断水平,并优于11名病理医生。

看点提出无需训练的少样本泛癌识别系统,在23个基准、4484张全切片图像上验证,并在淋巴结转移检测中超过11位病理医生。

Yi Li, Ziyu Ning, Tianqi Xiang 等

arXiv cs.LG

PACT: NVFP4 Data-Flow LoRA Fine-Tuning on Consumer GPUs

说明PACT:面向消费级显卡的 NVFP4 数据流 LoRA 微调

简介本文提出 PACT,一套在消费级 GPU 上进行 LoRA 语言模型微调的系统。它用原生 NVFP4 矩阵运算加速冻结的投影层,并通过复用量化输出、以 NVFP4 保存激活等方式降低显存占用。论文称,在 16 GB RTX 5080 上的多模型、多任务评估中,该系统显存占用更低、微调更快,且精度具有竞争力。

Lei Gao, Hossein Entezari Zarch, Chaoyi Jiang 等

arXiv cs.AI 有代码

SteadyThought: Mitigating LLM Under-Thinking via Thought-Level Preference Optimization

说明SteadyThought:通过思路级偏好优化缓解大模型的“思考不足”

简介大型推理模型常在推理路径之间频繁切换,却难以持续深入有价值的思路,论文称之为“思考不足”。作者提出 SteadyThought(ST)框架,把切换点上的问题形式化为偏好问题,并以新生成的回答为优选、原回答为劣选进行思路级偏好优化。实验显示,该方法在多个模型和数据集上最多减少 63.8% 的 token 消耗,同时保持较强的推理准确率。

Zhenyue Peng, Lin Yang, Jie Wang 等

arXiv eess.SP · cs.LG

Normalizing Flow for Neural-Enhanced Track-Before-Detect

说明用于神经增强先检测后跟踪的归一化流方法

简介本文提出一种神经增强的先检测后跟踪框架,直接处理复数值原始信号,并在运行时学习未建模传播效应的潜在表示。模型用归一化流表示每个目标信号功率的概率密度,在序贯贝叶斯推断中以无监督方式在线训练,目标函数来自变分贝叶斯的证据下界最大化。推断方面结合了置信传播与序贯蒙特卡洛方法。

Shaoxiu Wei, Bhaskar Rao, Florian Meyer

arXiv cs.AI · cs.RO

VLA-Rolling: Fewer Denoising Steps, Better Control via Adaptive Action Reuse

说明VLA-Rolling:通过自适应动作复用,用更少去噪步数实现更好的机器人控制

简介流匹配视觉-语言-动作(VLA)模型通过迭代去噪生成动作序列,但通常只执行前一小段就重新规划,其余被丢弃的动作尾部仍保留可复用的去噪进度。作者提出 VLA-Rolling 推理框架,通过动作尾部继承、逐动作置信度估计和基于置信度的重加噪与去噪预算分配来复用动作尾部,且底层 VLA 保持冻结。在多个模型与基准的 16 个组合中,该方法降低了动作块推理成本,最高加速 1.48 倍,并在 14 个组合中将成功率最多提高 15.08 个百分点。

Sicheng He, Yi Pan, Qiuting Yu 等

arXiv cs.SI · cs.CY · cs.MA

Scam Town: Can Scam Education Spread Like a Vaccine?

说明《Scam Town》:诈骗防范知识能否像疫苗一样在社区中传播?

简介论文构建了一个由大语言模型扮演居民的模拟社区“Scam Town”,观察诈骗防范警示在居民间的传播效果。结果显示,居民之间的口耳相传可使被骗人数减少约两成;若官方警示覆盖大部分居民并引发讨论,模拟中被骗人数约减半。作者强调这些是需由真人检验的预测,而非确证。

Simiao Ren, Tommy Duong, Xingyu Shen 等

arXiv cs.LG · cs.CL 有代码

Beyond the Teacher: Understanding and Preserving Distillation Overshoot in Agentic On-Policy Distillation

说明超越教师:理解并保持智能体同策略蒸馏中的过冲现象

简介该论文研究在多轮智能体任务中,同策略蒸馏(OPD)训练后较小的学生模型可能超过教师模型,但随训练继续又会退步的“蒸馏过冲”现象。作者将其归因于修正学生弱决策与侵蚀学生成功选择两种相互竞争的效应,并提出成功保持型同策略蒸馏(SPOD)方法,以在保留教师指导的同时减少对成功决策的侵蚀。

Jike Zhong, Ming Li, Yuxiang Lai 等

★★★★★ 值得关注
arXiv cs.CL · cs.AI 有代码

One Head Away from Language Confusion: Single Attention Heads Across Model Families

说明距离语言混淆仅一个注意力头:跨模型系列的单个注意力头研究

简介大语言模型有时会用意料之外的语言回复,即语言混淆。作者在七个模型系列的12个检查点中逐一消融单个注意力头,并用FLORES-200续写和LCB对话回复进行测试。结果显示,在十个模型中,关闭某一个头导致的语言偏离远多于同层其他头,少数几个头对输出语言有显著影响。

看点发现单个注意力头可主导语言混淆,跨多个模型系列系统消融验证,揭示了可定位的机制,对理解和修复语言混淆有重要意义。

Jiwon Jeong, Anjelo Jann Laroza, Chaewoon Yoon 等

arXiv stat.ML · cs.LG

Strictly Replicable Realizable Learning: Unknown Marginals, Finite-Class Interpolation, and the Cost of Shared Randomness

说明严格可复现的可实现学习:未知边缘分布、有限类插值与共享随机性的代价

简介该论文研究布尔可实现学习中的严格可复现性,即使用相同随机种子、两份独立训练样本应得到完全相同的假设。作者在未知与已知实例边缘分布下给出有限类样本复杂度的紧界,并讨论有限阈值链乘积、VC 维为一的有限类以及共享随机性的实现代价。

Guangjian Zhang

arXiv math.NA · cs.LG · cs.NA

Integrable building blocks for symplectic neural networks: learned-type layers, fiber-preserving layers, and what a single layer can do

说明辛神经网络的可积构件:学习型层、保纤维层,以及单层能力

简介该论文提出三类可精确辛的神经网络层:学习型层、平面移动剪切层和保纤维层,并分析残差辛层的表达能力。在16个系统的实验中,基于非线性积分构造的层在多数情形下比SympNets、HénonNets等方法更精确,例如在非线性薛定谔格点上精度高出百倍以上。

Andrew Qing He

arXiv cs.LG · cs.AI

Synergy-Aware Residual Flow Matching for Single-Cell Perturbation Prediction

说明面向协同效应的残差流匹配:单细胞扰动响应预测

简介该论文提出 SynGeneFlow 方法,用于预测单细胞在基因或化学扰动下的表达响应。它先以可加性扰动效应作为源分布,再学习通向真实扰动状态的残差流,并通过基因互作掩码与扰动相关的偏置建模非可加的协同信号。作者在遗传与药物扰动基准上进行了评估,结果显示该残差化框架在多种设定下表现稳健。

Jingrui Wu, Wangyun Dan

arXiv cs.LG · cs.AI · cs.SY

LLM Agents as Suppliers of Physical System Models: Calibration and Acceptance in Modelica

说明大语言模型智能体作为物理系统模型供应商:在 Modelica 中的校准与验收

简介论文让大语言模型编码智能体依据带数据的需求描述,用 Modelica 库组件为四个仿真系统和一个真实开关电磁铁构建模型,并研究验收究竟证明了什么。作者提出按是否属于可接受模型集合来验收,而不是与单一参考模型比对,并加入物理不变量等更高层的检验。

J\"org Frochte, Herbert Schmidt

★★★★☆ 值得关注
arXiv cs.LG

Decentralized Online Exp-Concave Optimization

说明去中心化在线指数凹优化:多个智能体协作、只用本地计算和通信,最小化一系列全局损失函数的遗憾(regret)上界与下界

简介论文研究去中心化在线凸优化,即多个本地智能体仅通过本地计算和通信来最小化一系列全局损失函数。作者提出去中心化在线牛顿步(D-ONS)算法,对指数凹损失达到对数级遗憾上界O(Nd(1-σ₂)^{-1/2} log²T),并给出近似匹配的下界,同时将结果扩展到无界可行域的去中心化在线线性回归。

看点首次给出去中心化在线exp-concave优化的对数遗憾界,并给出近似匹配的下界,理论贡献突出;证明依据充分,但缺乏实验验证。

Hao Qiu, Mengxiao Zhang, Yuanyu Wan

arXiv cs.LG · cs.CE

Multifidelity Monte Carlo Estimator for High-Dimensional Quantities of Interest

说明面向高维关注量的多保真蒙特卡洛估计器

简介多保真蒙特卡洛(MFMC)用计算更便宜的低保真模型作为控制变量,降低用高保真模型估计统计量的成本。本文把该方法扩展到向量值关注量,将标量系数换成矩阵并最小化加权均方误差,给出全矩阵最优系数的闭式解。实验表明,最佳系数类别取决于样本量与需估计的协方差量之间的关系,复用先导样本可降低均方误差。

Zhibo Dai, Hamdi A. Tchelepi, Daniel M. Tartakovsky

arXiv cs.CV · cs.AI

IECLA: Interpretable Emotion Contribution Learning for Affective Image Editing

说明IECLA:面向情感图像编辑的可解释情感贡献学习方法

简介该论文提出IECLA框架,用于情感图像编辑,即在保持原图内容与结构的同时,让图像传达目标情感。方法通过反事实干预构建对象级的正负贡献监督,训练预测器定位支持或反对原图情感的区域,并由目标感知的编辑代理将这些证据转化为局部化的编辑操作。论文报告其在多个编辑骨干上提升了目标情感表达,同时保持图像内容与结构,用户研究也显示感知到的目标情感表达与自然度有所改善。

Yijie Guo, Dexiang Hong, Weidong Chen 等

arXiv cs.LG · cs.RO

Latent World Models Should Plan with Distances Along the Latent Manifold

说明潜在世界模型应沿潜在流形的距离进行规划

简介潜在世界模型(如 LeWM)通过在欧氏距离下搜索使预测终端潜在向量最接近目标的动作序列来规划。作者发现这种度量仅在目标附近有效,较远处会形成虚假低代价区域,使规划器陷入其中。为此提出邻域图代价(NGC),在训练潜在向量构成的互为最近邻图上计算最短路径距离,仅替换终端代价且无需重新训练。在四个基准任务上,NGC 提升了 LeWM 的规划成功率,并在 TwoRoom 和 Reacher 上接近完全成功。

Zunzhi You, Linwei Tao, Siyu Xu 等

arXiv cs.LG · cs.DC · cs.PL

Conjugate Compilation: Self-Improving Agentic Co-Compilation for Speculative Decoding

说明共轭编译:面向推测解码、可自我改进的智能体协同编译

简介论文提出“共轭编译”,把推测解码中的小草稿模型与大目标模型视为跨模型编译问题,联合优化两者在共享执行中的表现,而非单独优化。系统由大语言模型驱动的自我改进智能体搜索实现,并结合蒙特卡洛树搜索。在六组单GPU配置(NVIDIA B300与RTX 5090)上,几何平均单轮加速为1.37倍,交错内核版本为1.45倍,最佳情况为1.59倍。

Annabelle Sujun Tang, Rohan Mahapatra, Christopher Priebe 等

arXiv cs.CV

FineSplat: Fine Patches, Local Groups, Detailed Splats

说明FineSplat:精细图像块与局部分组实现精细高斯溅射重建

简介该论文提出FineSplat,一种前馈式三维高斯溅射(3DGS)框架,以精细图像块为基础,通过视角分组与三维空间分组相结合的策略,高效建模邻近视角与几何相关的特征。论文还利用重建误差作为渲染反馈信号,以恢复精细的几何与外观细节。作者称在相同或更少高斯数量下取得了明显优于现有方法的效果。

Hyebin Kim, Hwasik Jeong, Joonhyuk Park 等

arXiv cs.AI 有代码

MAMath-Bench: Process-Aware and Robust Evaluation of Multimodal Multi-Agent Mathematical Reasoning

说明MAMath-Bench:面向多模态多智能体数学推理的过程感知与鲁棒性评测基准

简介该论文提出 MAMath-Bench,一个用于评估多智能体系统多模态数学推理能力的基准,包含 1,003 道题,涵盖 11 个数学类别,涉及文本、图像和音频等模态。它通过细粒度里程碑标注,从解题正确性、推理过程可靠性以及对对抗性推理链扰动的鲁棒性三个维度进行评估。研究发现多智能体协作并不总能提高最终答案准确率,协作可提升中间推理覆盖度但可能增加冗余,且当前系统仍易受细微结构性扰动的对抗性推理错误影响。

Xinping Wang, Jie Ma, Rui Xing 等

★★★★☆ 值得关注
arXiv cs.DS · cs.LG

No Escape from the Quadratic Barrier: Adaptive Attacks on Linear ℓ₂ Sketches

说明无法逃脱的二次方障碍:针对线性ℓ2草图的自适应攻击

简介论文研究用固定低维线性投影估计高维输入欧氏范数的随机草图(如Johnson-Lindenstrauss变换)在自适应黑盒查询下的安全性。作者证明,即使回答方计算能力无限且能在每次查询后改变随机规则,攻击所需查询次数也可达到对数因子内的二次方下界,即与草图维度k的平方相当。该结果说明,仅靠调整预测规则来防御固定的压缩线性表示存在根本性限制。

看点证明二次下界在对数因子内最优,突破了以往隐私防御的界限,并给出自适应攻击构造,证据为严格理论分析。

Edith Cohen, Uri Stemmer

arXiv cs.AI

Fix, Not Just Resample: Bounded Compiler-Guided Repair in Lean 4

说明修复而非仅重采样:Lean 4 中有界、编译器引导的证明步骤修复

简介论文指出,证明助手 Lean 会对失败的步骤给出精确错误信息,而单纯采样语言模型会丢弃这些信息。作者提出一个有界的在线步骤级修复模块,对失败的战术最多修复 R 次,把编译器错误信息交给预训练修复模型。在 LeanDojo 的 1,990 个定理子集上,该方法在所有测试的候选数量下都优于纯采样基线,相对提升最高达 32%,多证出 82 个定理;修复需要额外运行时间。

Haotian Deng, Chris Farber, Sonal Narasimha 等

arXiv cs.CV · cs.AI

ReTrace: Visual Backtracking for Efficient Multimodal Large Language Models

说明ReTrace:面向高效多模态大模型的视觉回溯机制

简介多模态大模型把图像编码为大量视觉token,注意力和KV缓存开销很大。现有方法在浅层剪除低显著性token,但这会把暂时停止计算与永久删除信息混为一谈。作者发现中间层的视觉枢轴会回头检索早期被视为不重要的token,并据此提出ReTrace,引入“休眠”状态,先缓存这些token,在回溯窗口内恢复,吸收信息后才剪除。在Qwen2.5-VL和InternVL3上,FLOPs与KV缓存降低近90%,预填充加速2.83倍,同时在复杂视觉语言基准上保持较好表现。

Guangzong Si, Dong Wang, Yifan Yu 等

arXiv cs.LG · cs.AI

UpLoop: Upcycling Large Language Models with Gated Loop

说明UpLoop:用门控循环对大语言模型进行升级改造

简介论文提出UpLoop,一种在预训练的非循环大语言模型基础上进行训练后改造的方法,逐层局部循环选定的层,并在注意力与MLP残差分支上加入隐藏维度门控,使后续循环成为渐进式精炼。原文称,从Qwen3-4B Base出发并进行SFT,在20个基准上的平均准确率在循环次数R=3时提升6.17%,并突破了先前循环模型常见的R=2饱和现象。

Tieyuan Chen, Huabin Liu, Yingtao Zhang 等

arXiv cs.LG · cs.AI · cs.CV

UtoMe: Observation-Uncertainty-Guided Token Merging for Weather Foundation Models

说明UtoMe:面向天气基础模型的观测不确定性引导令牌合并方法

简介本文提出UtoMe,一种利用观测不确定性引导的令牌合并框架,用于天气Transformer。它将动态显著性与集合数据同化离散度结合,作为相对输入可靠性指标,决定保留哪些令牌并校准剩余令牌的二部匹配。在ERA5 72小时预报实验中,在相同令牌预算下,UtoMe相比训练期ToMe降低了整体误差;在1.40625°分辨率、减少50%令牌时,UtoMe-E将整体误差从67.32降至53.00,编码器FLOPs为0.55倍。

Yunbei Zhang, Janet Wang, Xi Xiao 等

arXiv cs.LG

Block Recursive Transformers for Structured Parameter Sharing

说明块状递归 Transformer:结构化参数共享

简介该论文提出块状递归 Transformer(BRT),把各层划分为连续的块,并依次递归复用每个块。与逐层重复或整体循环复用两种极端做法相比,这种中间粒度的共享方式在块内进行局部精炼,同时保留跨深度的变化。在参数规模最高达 1.7B 的仅解码器模型上,BRT 的验证负对数似然和下游任务准确率均优于静态递归共享基线。

Josep Marques, Hyunyoung A. Cho, Youngeun Kim 等

arXiv cs.AI

Industrial Agentic AI: LLM-Driven New-Generation Agents for Smart Manufacturing

说明工业智能体:面向智能制造的新一代大语言模型驱动智能体

简介本文系统梳理了由大语言模型驱动的工业智能体。作者分析了五项关键挑战,提出统一分类体系,涵盖应用场景、具身形式和五个能力等级,并设计了四层系统架构及闭环任务执行机制。文章还回顾了工业全生命周期中的代表性应用,并展望了未来研究方向,为工业智能体的设计与应用提供结构化参考。

Lei Ren, Haiteng Wang, Shixiang Li 等

arXiv cs.CL

When Does Better Acceptance Pay? A Controlled Study of Speculative Decoding

说明更高的接受率何时能带来收益:投机解码的受控研究

简介该论文研究投机解码(speculative decoding)中,额外的接受长度何时值得付出获取它的执行代价。作者建立了覆盖训练、推理与评估的对比流程,在十个基准和两个目标模型上,于共享的目标模型生成数据上重新训练了六种草稿模型方案。结果显示,在统一训练和推理条件下,已发表对比中看似较大的差距明显缩小;接受率提升的收益取决于任务不确定性和服务条件。

Yongchao Long, Chunrui Zheng, Yuxuan Zhou 等

arXiv cs.CV

MultiAltitudeSR: Multi-Altitude Agricultural UAV Image Super-Resolution via Physical Ground Sampling Distance Conditioning

说明MultiAltitudeSR:基于物理地面采样距离条件的多飞行高度农业无人机图像超分辨率方法

简介该论文提出 MultiAltitudeSR 框架,利用源与目标地面采样距离(GSD)对特征调制和重建进行条件控制,用于提升农业无人机图像的分辨率。模型在 10 至 70 米真实飞行高度的图像上联合训练,无需针对每个高度对单独微调即可支持 21 种高度组合,放大倍数从 1.18 倍到 6.03 倍。实验表明,使用真实多高度图像对训练的效果优于所测试的合成退化流程,超分辨率图像在下游零样本分割任务中也显示出对作物监测的益处。

Xintong Jiang, Yu Tian, Yixue Liu 等

★★★★☆ 值得关注
arXiv cs.LG · cs.CL

Certified Sparse Attention via Perturbed Retrieval

说明基于扰动检索的可认证稀疏注意力:为长上下文解码的注意力误差提供可验证的置信保证

简介论文提出一种稀疏注意力方法,通过对每个键的分数加入独立的 Exp(1) 扰动,把阈值检索转化为按注意力权重成比例的抽样,并用 Horvitz–Thompson 估计输出,同时给出对所有阈值层级都成立的置信界,以控制单个查询的误差。在 16K 至 128K 词元的三个大模型、十组设置中,作者报告证书未被违反,并在同等读取键数和同等字节数下误差低于多个基线;端到端任务和 PG-19 困惑度与稠密注意力相近,CPU 解码在 32K–128K 词元时快 1.1–1.4 倍。

看点用Exp(1)扰动把阈值检索转为按注意力权重采样,并给出同时成立的置信界,理论与方法有新意;实验覆盖3个LLM、10组设置,误差显著降低。

Runguo Li

★★★★☆ 值得关注
arXiv cs.CL · cs.CY 有代码

The World as Viewed by 136 Countries: An Open, Curated, Annotated, and Multilingual Dataset of 118 Million State Media Articles

说明136个国家眼中的世界:1.18亿篇国家媒体文章的开放、标注、多语言数据集

简介该论文介绍了WorldStateMedia,这是一个包含来自136个国家、114种语言的1.18亿篇国家媒体文章的开放数据集,并依据State Media Monitor标注各媒体的国家控制程度。研究发现,英文网络语料中编辑受控媒体页面的占比从2013年的39%升至2025年的93%;在部分低资源语言中,国家媒体占比较高。此外,论文还在领土争端的检索增强生成实验中发现,检索某国国家媒体会使模型回答更偏向该国立场,其中英文(面向外国受众)媒体的影响最明显。

看点首次系统审计大规模预训练语料中的国家媒体比例,并以RAG实验验证其对模型答案的影响,新颖且证据充分。

Bryan Li, Samar Haider, Grace Kim 等

arXiv cs.AI

CorrectRTL: Boost RTL Generation Quality Through Automated Self-Correction with Instruction Decomposition

说明CorrectRTL:通过指令分解的自动自我修正提升RTL生成质量

简介本文针对大语言模型生成RTL(寄存器传输级硬件描述)代码的任务,提出了新的基准ScaleBench(含200个复杂设计)和名为CorrectRTL的智能体框架。该框架采用先分解后修正的方法,将骨架搭建与细节实现分开。在ScaleBench上,Pass@1从20.5%提升到49.0%;在VerilogEval上最高达到96.1%。

Jing Wang, Shang Liu, Hangan Zhou 等

arXiv cs.CL

A Measurement Perspective on Benchmarking LLM-Generated Text Detectors using Item Response Theory

说明从测量视角用项目反应理论评估大模型生成文本检测器

简介本文提出一种基于测量的基准评估框架,用多维项目反应理论(IRT)将文本视为测量题目、检测器视为受试者,同时刻画基准异质性与检测器行为。在含32K条人类与机器生成文本、覆盖四个领域、由14个检测器评估的基准上,作者发现人机文本在参数空间中分布不同但有重叠,检测器能力呈现多维且随领域变化的模式。作者还利用聚类得到一个含2,088条文本(占全部6.5%)的紧凑子集,其检测器表现比较模式与完整基准基本一致。

Yanbin Zhao, Zhipeng Chen, Guangsheng Bao 等

arXiv cs.CL

Rubrics Carry the Standard: Shapley Attribution for Checklist-Based LLM Judges

说明评分标准承载判分尺度:面向清单式大模型评审的 Shapley 归因方法

简介本文研究用大模型作为评委、依据清单式评分标准评估开放式输出的做法。作者在带有预设缺陷的受控评分任务及 SummEdits、RAGTruth 两个人工标注数据集上测试发现,评分标准内容对正确输出通过率影响极大,而更换评委模型影响较小。作者还提出基于 Shapley 值的归因方法,并给出变更控制机制,用以衡量和约束评分标准的修改。

Saeid Asgari, Rui Ying, Sara Malvar 等

arXiv cs.LG · cs.AI

PRECOCIAL: Pretraining with Code Curriculums via Iterative Search for Accelerated Learning

说明PRECOCIAL:通过迭代搜索优化代码课程进行预训练以加速学习

简介该论文提出PRECOCIAL方法,用大语言模型迭代改写生成合成预训练数据的程序,并以预训练后再微调的表现为评分标准。搜索过程中只保留一个网络并持续预训练,以降低计算成本。在四个语言与代码数据集上,优化后的程序在相同微调预算下困惑度更低,并且在多个推理与问题求解任务上表现更好。

Edward Gu, Ali Payani, Kevin Ellis

arXiv cs.AI

Towards Human-AI Complementarity for AI Safety

说明面向AI安全的人机互补性研究

简介随着模型越来越强,人类评估其输出的安全监督难度不断增加。本文探讨让人类与AI各自纠错、结合两者判断以获得更强监督信号的可能。作者构建了目前已知规模最大的此类任务集(8个数据集、6个领域共3957条实例),并收集了416名标注者的35613条判断。结果显示存在可观的互补潜力,但测试的辅助方法使人类更少纠正AI的错误,且混合方法平均相对更优的单一来源仅有小幅提升,实现互补性仍是待解决的问题。

Sander Lanbo Shi, Miranda Anna Christ, Eric Modesitt 等

arXiv cs.CV

Visual Sufficiency Landscapes: Understanding Query-Conditioned Reliability in Visual Token Pruning

说明视觉充分性景观:理解视觉标记剪枝中依赖查询的可靠性

简介该论文提出“视觉充分性景观”,用于衡量在固定层和预算下,有多少视觉子集能保持稠密模型的回答、参考答案似然和输出分布。研究在Qwen2.5-VL-7B、InternVL2-8B和LLaVA-v1.5-7B上进行,发现不同输入及同一图像的不同问题会产生明显不同的景观。加入该概率后,对FastV、VisionZip和SparseVLM等剪枝方法的失败预测有所提升。

Zhenghan Li, Kexin Sun, Wei Zheng 等

arXiv cs.CV

Meta Inverse Prompting for Video Generative Models

说明面向视频生成模型的元逆向提示(Meta Inverse Prompting)

简介视频生成模型目前大多只能从文本或图像生成视频,难以反向从视频中还原可控的文本条件。本文提出首个实用的视频逆向提示框架MVIP,将其建模为元学习问题,学习一个在时间维度上优化的元提示,用于快速推断提示。该方法摊销了反演过程,测试时无需昂贵的逐视频迭代优化。实验显示,与基于图像的反演和迭代描述基线相比,MVIP能恢复质量更高、重建保真度显著提升的逆向提示,且效率大幅提高。

Yerin Jung, Jongheon Jeong

arXiv cs.CL 有代码

DeGMatch: Target-Aware Reasoning Data Selection via Deconfounded Gradient Matching

说明DeGMatch:通过去混杂梯度匹配进行面向目标的推理数据选择

简介该论文研究如何从大量长推理轨迹训练数据中,依据一小批参考样本选出符合目标能力的训练数据。作者指出现有方法在长推理轨迹上区分目标的能力有限,候选梯度中的整体结构会掩盖细微差异。为此提出DeGMatch方法,先构建目标相关性筛选门控,再用模型特定梯度重新排序,通过去均值并去除主要主成分来提升目标区分度。论文称其在数学、科学和代码任务上优于多种基线方法。

Changho Lee, Janghoon Han, Rajdeep Mukherjee 等

arXiv cs.LG · cs.AI · q-bio.QM

Label-Space Mismatch Distorts Cross-Cohort Evaluation in Breast Cancer Molecular Subtyping

说明标签空间不一致如何扭曲乳腺癌分子分型的跨队列评估

简介论文研究乳腺癌分型分类器在不同标注标准的队列间迁移评估时的问题:METABRIC 使用六类,PAM50 使用五类,导致跨队列比较不可靠。作者在 METABRIC 训练的分类器上,将标签空间限制为目标队列的标准,并分别考察 EM 先验校正等操作的作用。论文同时指出,多模态融合的优势在跨队列中并未体现,并主张在任何跨队列性能声明之前应先报告队列允许的标签集合并进行标签空间合规处理。

Suxing Liu, Byungwon Min, Zhijian Zheng 等

arXiv cs.AI · cs.CL

CoworkEnv: Synthesizing Training Environments for Long-Horizon Cowork Agents

说明CoworkEnv:为长流程协作智能体合成训练环境

简介该论文提出CoworkEnv框架,用于为AI协作员自动生成可执行的训练环境,包括任务请求、服务记录、工具接口和评分检查。训练数据来自教师模型演示(用于监督微调)和学生模型交互(用于强化学习)。基于该框架训练的小型PocketWorker模型(Qwen3-VL-8B-Instruct)在Claw-Eval上平均分从46.6提升至64.1,其中多轮任务提升31.9分。

Zhongwei Xie, Yiming Du, Jiaxin Bai 等

★★★★☆ 值得关注
arXiv cs.AI · cs.CL · cs.LG

Revealing what benchmark scores hide: Jointly measuring the breadth and reliability of LLM capabilities using accessibility profiles

说明揭示基准分数背后隐藏的信息:用可达性剖面同时衡量大模型能力的广度与可靠性

简介该论文指出,基准测试对每道题只用一种措辞判定对错,忽略了同一请求可以有多种等价表述。作者提出“可达性”,即模型在保持语义的多种表述下成功的概率,并用它揭示能力的覆盖广度与稳定可得性。在六个基准、二十多个模型上,约一半平均可达性接近的模型对,其优劣取决于是只需五种表述中成功一次(Access@5),还是必须全部成功(Reliable@5)。

看点提出以措辞等价下的成功概率衡量能力广度与可靠性的新指标,并在六个基准、二十余模型上验证其揭示的权衡关系。

Kazem Faghih, Yize Cheng, Shoumik Saha 等

arXiv cs.AI

MemPrice: Online Memory Allocation via Adaptive Pricing for Long-Horizon Agents

说明MemPrice:面向长时程智能体的自适应定价内存分配方法

简介这篇论文研究长时程大语言模型智能体在交互历史不断增长时,如何分配有限的上下文资源,包括保留哪些信息、投入多少上下文及采用何种细节粒度。作者提出MemPrice,将活跃上下文视为共享资源,通过自适应价格动态分配给各类记忆和表示层级。实验在LongMemEval、LoCoMo、AppWorld和WebShop上于匹配的内存预算下进行,涵盖三种基础模型。

Yiming Zong, Shiyuan Piao, Jiashuo Jiang 等

arXiv cs.LG · cs.AI · cs.CL

CasePlay: Self-Play Reinforcement Learning from Case Reports for Medical Reasoning

说明CasePlay:基于病例报告的自我对弈强化学习医学推理方法

简介该论文提出 CasePlay,一种利用临床病例报告进行自我对弈强化学习的框架,用于提升大语言模型的医学临床推理能力。框架包含按知识点约束出题的提议者和结合评分标准反馈的推理者,以减少题目集中与质量不足的问题。论文报告在七个医学相关基准上优于现有自我对弈基线,并使 SFT 预热模型平均提升 3.1 分,其中 LiveClin 提升 6.3 分。

Hao Wang, Zihan Wang, Kai Wu 等

★★★★☆ 值得关注
arXiv cs.LG · cs.AI 有代码

ControlJEPA: Principled Trajectory Regularization via Lyapunov Tube Loss

说明ControlJEPA:基于李雅普诺夫管道损失的轨迹正则化方法

简介该论文指出,下一词预测训练使隐藏状态轨迹缺乏约束,已有几何正则化方法主要控制偏差方向而非大小。作者提出ControlJEPA框架,依据离散时间李雅普诺夫收缩条件,用归一化、尺度不变的横向偏差度量对违反该条件的情况进行惩罚。论文报告,该方法无需修改架构,在六个基准和六类模型上提升了准确率与数据效率,且推理时正则化器关闭后平滑的横向轨迹特性仍然存在。代码已公开。

看点将离散时间Lyapunov收缩条件用于隐状态轨迹正则化,有新意;在六个基准和六类模型上实验,证据较充分,影响面限于训练正则化子领域。

Thai-Khanh Nguyen, Nhi Y. Pham, Uyen N.B. Vo 等

★★★★☆ 值得关注
arXiv cs.CL · cs.LG · cs.SE 有代码

Over-Defense in Coding Agents Begins at Silent Forks

说明编码智能体的过度防御始于“静默分叉”

简介该论文发现,编码智能体在任务所需之外的防御性动作,常出现在“静默分叉”处,即无论选择哪个动作结果都相同的回合。作者提出ForkDPO方法,在这些分叉处对比适度与过度的动作进行学习。在未见过的代码仓库测试集上,4B模型的过度防御行为比例从70.3%降至58.9%。

看点提出在静默分叉处对比合比例与超比例动作的ForkDPO,思路新颖;4B模型实验仅在一个测试集上比较到DPO,证据规模有限。

Hanjun Luo, Xuecheng Liu, Xiucheng Zhang 等

arXiv cs.LG · cs.AI · stat.ML

Robust Direct Preference Optimization under Preference Label-Flip Attacks

说明在偏好标签翻转攻击下的鲁棒直接偏好优化

简介直接偏好优化(DPO)是离线人类反馈强化学习的常用方法,但研究表明它容易被对抗性偏好标签翻转攻击误导。本文提出Trim-K与Soft-Trim-K两种鲁棒DPO方法,分别剔除或平滑降权影响最大的K个偏好对,并给出对任意至多K次翻转攻击均成立的梯度扰动界。实验在Stanford Human Preferences、HH-RLHF和UltraFeedback-Binarized数据集上验证了分析结论。

Chenye Yang, Weiyu Xu, Lifeng Lai

★★★★☆ 值得关注
arXiv cs.CL · cs.AI

Epi: Towards a Persistent, Self-Improving Agent for Autonomous Research

说明Epi:面向自主研究的持久自我改进智能体

简介论文提出自主研究智能体Epi,能跨模型会话持续开展研究,并借助积累的经验改进方法。研究中共产生120项刷新纪录的结果,包括20项数值界记录和100项构造记录;在30项FrontierOR任务上,其轻量版Epi-turbo的总基准得分比Codex高5.4%,模型成本约为后者的64%。

看点提出跨会话持续研究的代理框架,并有120项记录级结果、计算机辅助证明和与Codex的基准对比,新颖且证据较扎实。

Yue Huang, Zhangchen Xu, Xiaonan Luo 等

arXiv cs.AI · cs.CV · cs.LG

LowNet: Looped Wavelet Neural Networks with 24 Learnable Parameters for Solving Poisson Equations

说明LowNet:用于求解泊松方程的循环小波神经网络,仅含24个可学习参数

简介该论文提出一种受小波启发的泊松方程求解器LowNet,仅有24个可训练标量,由四个5×5卷积核组成。通过残差循环复用小波模块,在不增加参数的情况下提高精度,同时利用小波变换实现线性计算复杂度。

Yuanhao Gong

arXiv cs.LG

T-MUON: Tensorizing Muon via t-SVD for Large Language Model Pre-training

说明T-MUON:通过 t-SVD 张量化 Muon 优化器,用于大语言模型预训练

简介本文提出 T-MUON,将 Muon 优化器推广到张量层面。它把结构相关的 Transformer 梯度组织为三阶张量,并通过 M 变换直接定义类似 Muon 的更新。实验涵盖 51M 至 1.3B 参数的 GPT-2 式和 LLaMA 式模型,在 FineWeb 与 FineWeb-Edu 上训练,结果显示带恒等变换的分头 T-MUON 验证困惑度低于 AdamW、Muon 及若干变体。

Dongyang Li, Mingsong Yan, Zheng Zhang 等

★★★★☆ 值得关注
arXiv cs.LG 有代码

MLFont: Machine Learning-Driven Font Subsetting and Range-Compact Unicode-Range Slicing for Low-Latency Web Typography

说明MLFont:用机器学习切分网页字体以加快加载的方法

简介该论文提出MLFont,用机器学习和优化方法学习网页字体的切分策略,将字符按高频、主题共现和紧凑区间三阶段分组,以减少未使用字形的下载。在五款Noto字体上,与单文件和等分基线相比,它降低了3G网络下的字形延迟,并在20个网站的模拟与无头Chrome测试中实现了冷缓存加速与带宽节省。

看点将LDA主题模型与遗传算法结合用于字体unicode-range切分,并在多款字体和网站上验证了加载延迟和带宽收益,新意属于对已有思路的有效组合。

Quan Wang, Yiran Mao

arXiv cs.LG · cs.AI

TrustAgent-RFF: Agentic Diagnostic Planning for Reliable RF Fingerprinting under Domain Shift

说明TrustAgent-RFF:面向域偏移下可靠射频指纹识别的智能体诊断规划框架

简介该论文提出 TrustAgent-RFF,用于提升射频指纹(RFF)识别在接收机、距离、采集日期或环境变化后的可靠性。框架无需目标域标签,与冻结的 I/Q 分类器配合,为每次设备预测收集反事实稳定性、原型一致性、采集域相似度和信号质量等证据,并由源域校准的信任估计器与基于大语言模型的规划器决定接受、拒绝或延后判断。实验显示,五个数据集上源域到目标域的平均准确率下降 38.7%,且许多错误预测仍具有很高的置信度。

Chuan Liu, Tianya Zhao, Yiting Wang 等

arXiv cs.CL · cs.AI

What Can't Jev Decide? Probing the Limits of One-Pass Decision Models

说明Jev 一次前向决策能力的边界:什么是它无法决定的?

简介论文研究 Jev 及其开源复现模型在单次前向传播中做选择的能力边界。结果显示,当答案依赖同一用户的两次及以上状态更新时,准确率明显下降,相似记录互相干扰;面对过时的状态摘要时,模型会直接沿用。作者还指出,模型对自身错误有一定感知,却无法识别从过时输入继承来的错误。

Wang Yang, Xinpeng Li, Yanyan Zhang 等

arXiv cs.AI · cs.LG

Means-Ends Analysis Helps LLMs Plan in Continuous-State Domains

说明手段—目的分析帮助大语言模型在连续状态领域中规划

简介大语言模型的规划研究多集中于离散状态领域,而在动作构成连续、无法逐一枚举的场景中,既有方法的假设不再成立。论文借用纽厄尔与西蒙的手段—目的分析,提出结构化提示框架 Medaka,引导模型递归分解目标、进行代数推导并逐步追踪状态。作者还构建了基于液体混合的测试平台 Liquidworld,结果显示 Medaka 能在多个模型系列上提升表现。

Jiayi Li, Carl Kingsford

arXiv cs.CV · cs.AI · cs.CL

Stable Signer V3: 4D Deformable Primitive Splatting Is All You Need for Sign Language Production

说明Stable Signer V3:基于4D可变形基元溅射的手语虚拟人系统

简介本文提出Stable Signer V3,一套可交互的高分辨率手语虚拟人系统,基于4D可变形基元溅射技术。它针对现有虚拟人的三个问题:面部表情受限、身份相关的身体形变不准确、精细外观细节丢失。系统通过共享面部基元、测试时身体基元和测试时超分辨率模块加以改进,在十个身份的保留评估中,面部几何误差降低71.4%,身体边界误差降低35.1%,高分辨率RGB重建误差降低24.2%,同时保持交互式流式推理。

Sen Fang, Liwei Che, Dimitris N. Metaxas

arXiv cs.SD · cs.LG · eess.AS 有代码

DF-PALM: Dynamic Fusion Prompt Learning for Audio--Language Models

说明DF-PALM:面向音频-语言模型的动态融合提示学习

简介论文提出DF-PALM,一种用于少样本音频分类的动态特征空间提示方法,通过音频条件化的类别表示和非对称交叉注意力来细化音频特征,同时冻结预训练编码器。在11个基准、16-shot设置下,DF-PALM平均准确率为80.69%,宏平均F1为80.32%,分别比PALM高4.11和4.30个百分点,并在多种设置和其他模型上均有提升。

Yulin Sun, Shenghua Li, Yong Dou 等

arXiv cs.LG · cs.CL

CARTA: Self-Supervised Reusable Transaction Embeddings via Heterogeneous Tokenization and Cross-Attention

说明CARTA:利用异构分词与交叉注意力的自监督可复用交易嵌入

简介该论文提出CARTA,一种无需标签、从原始支付交易学习16维紧凑嵌入的自监督编码器。冻结后的嵌入可直接用于少量标签的欺诈检测和无监督风险分层,无需重新训练编码器。在IEEE-CIS与IBM TabFormer数据集上,其表现优于若干基线,但完全监督的CatBoost仍更强。

Shreyas K. Chandrahas, Jose Munoz, Satish Babu Bellapu

arXiv cs.CL · cs.AI

How Well Can LLMs Verbalize Mathematical Formulas? A Multi-Domain Evaluation

说明大型语言模型能多好地朗读数学公式?一项跨领域评估

简介本文评估了五款主流大型语言模型在六个科学领域中将 LaTeX 数学公式转写为朗读文字的能力,并构建了多领域语料库 Read-Aloud Math。研究以多参考 BLEU 衡量效果,发现 GPT-5.2 在简单转写中得分最高,Claude Sonnet 4.5 与 Grok 4.1 Fast 在扩展转写中表现较好。结论认为,该方法有前景,但效果仍受转写类型、上下文和公式特征影响。

Peter Volbach, Tim Schlippe

arXiv cs.LG · cs.AI · cs.CL

Arctic-SWE: Revisiting the Long Horizon Agent Training by Modeling-System Co-Design

说明Arctic-SWE:通过建模与系统协同设计重新审视长周期智能体训练

简介该论文提出 Arctic-SWE,一个完全异步的强化学习框架,用于软件工程等长周期智能体训练。作者在小规模任务池上进行过拟合测试,整合了门控奖励、重要性权重控制、训练与推理引擎对齐及策略更新间的状态一致性等已有组件,建立可复现的强基线。在原始 R2E-Gym 数据上,Qwen3.5-4B 在 SWE-bench Verified 上达到 62.0% pass@1;经过筛选与优化后,4B 与 9B 模型在多个基准上均有提升。

Boyi Liu, Yite Wang, Xinyu Lian 等

arXiv cs.IR · cs.AI · cs.CL

GRaSP: Latency-Aware Optimization for Geo-Distributed Retrieval-Augmented Generation

说明GRaSP:面向地理分布式检索增强生成的延迟感知优化方法

简介该论文提出 GRaSP,一种即插即用的检索结果重排序方法,在语义相关性之外考虑网络延迟、跨区域流量成本和数据驻留限制,无需重新训练。在 CloudLab 测试平台和 Natural Questions 语料上,GRaSP 在中等延迟设置下使 P90 取回延迟降低 41%,并保留仅按相关性检索 78% 的召回率,选择开销低于 1 毫秒。

Hardik Ruparel, Raj Kumar Pandey, Pramod Kumar

arXiv cs.AI · cs.CL

A Cross-Domain Evaluation of Prompting Techniques for Large Language Models

说明大语言模型提示技术的跨领域评估:比较零样本、少样本、检索增强与自动提示优化在六类基准任务上的表现

简介本文在同一大语言模型和六个基准数据集(涵盖算术推理、逻辑推理、常识推理和事实核查)上,对比了零样本提示、少样本提示、检索增强生成(RAG)以及受PE2启发的自动提示优化。结果显示没有哪种策略在所有领域都稳定占优,最高配置之间的两两统计比较也无显著差异;RAG在可检索300个示例时平均准确率最高,为78.33%。作者认为应根据任务特点自适应地选择提示技术。

Kevin Krazius, Tim Schlippe, Paul Libbrecht

arXiv eess.SY · cs.LG · cs.SY

ATLAS: Expert-Guided Sustainable Satellite Backhaul for Off-Grid Wildlife Monitoring

说明ATLAS:面向离网野生动物监测的专家引导式可持续卫星回传系统

简介该论文提出ATLAS系统,用基础模型把专家的自然语言意图转化为语义评分逻辑,结合环境与能源状态,并通过约束强化学习调度器决定哪些视频片段上传以及何时上传,以节省有限的卫星带宽与能源。研究在18个离网鲑鱼监测河流站点部署了六个多月。结果显示,ATLAS的平均片段选择准确率为87.4%,比平均基线高出26.4个百分点,并且在低太阳能时期仍基本保持连续运行,而基线系统的停机率为16.0%。

Hao Fang, Miao Zhang, Haoyuan Zhao 等

arXiv cs.LG

A Symmetry-Matching Approach to Blind-Spot Reduction in Sparse Autoencoders

说明一种用于减少稀疏自编码器盲区的对称匹配方法

简介该论文指出语言模型可能把语义不同的输入在表示层面视为相同,形成标准稀疏自编码器训练未针对的盲区。作者在训练中加入可微的 V_Gini 正则项,惩罚同一扰动族内响应不均的情况,并在 GPT-2、Gemma 2 与 Qwen 2.5 上做了多随机种子评估。结果显示该方法提高了弱尾部响应、降低了响应失衡,且通用文本重建没有明显退化;下游可辨识性仍需另行验证。

Csaba Balogh

arXiv cs.CL

Compositional Activation Steering Across Languages and Behaviors with Contextual Gates

说明基于上下文门控的跨语言、跨行为组合式激活引导

简介该论文提出一种上下文引导方法,通过联合训练门控机制,使固定的引导方向强度随当前隐藏状态及各干预之间的相互作用而自适应调整,从而同时控制语言模型的多种行为。在多种语言、行为属性和模型上,该方法优于恒定强度引导及包括提示在内的四种基线方法,并能更好地保留通用知识。

Daniil Gurgurov, Akansh Maurya, Josef van Genabith 等

arXiv cs.HC · cs.AI

Leveraging Mental Models for Human-Centered Explanations: A Systematic Design Approach Illustrated by Explainable Fake Review Identification

说明利用心智模型构建以人为中心的解释:以可解释的虚假评论识别为例的系统设计方法

简介该论文提出 MIND-X 方法,让可解释人工智能的解释贴合用户的心智模型、常识概念和判断习惯,而不只追求模型的技术保真度。研究以虚假评论识别为案例,通过 10 人的定性研究归纳出感知线索分类,再据此设计提示大语言模型生成基于语言的自适应解释。在 166 人的定量评估中,这类解释在可理解性、满意度、信任感、说服力和决策支持方面优于常见的词元级透明方法。

Sidra Naveed (1), Md Shajalal (1), Gunnar Stevens (1 等

arXiv cs.AI · cs.CL

HybridResearcher: Bridging the Structured-Unstructured Boundary for Deep Research Agents

说明HybridResearcher:打通结构化与非结构化信息的深度研究智能体

简介该论文提出 HybridResearcher,一个 4B 参数的智能体,用于在结构化数据(如数据库)与非结构化数据(如网页)之间进行跨来源推理。作者通过以单一来源任务为种子、围绕桥接实体合成缺失来源的方式构造训练数据,并采用监督微调加强化学习进行训练。论文称其在 HybridDeepResearch 基准上相较基础模型 Qwen3.5-4B 提升 30.0 个 pass@8 点,并超过规模更大的 Qwen3.5-397B-A17B 8.3 点,同时在单一来源基准上也有所提升。

Soyoung Yoon, Peiran Xu, Han Wang 等

arXiv cs.CV · cs.HC

Predicting Individual Differences in Lipreading From Eye-Tracking and Pupillometry During Silent Visual Speech

说明通过无声视觉语音时的眼动与瞳孔测量预测个体唇读能力差异

简介本研究收集了24名成年人观看无声说话视频并进行四选一唇读任务时的眼动与瞳孔数据,构建了LiPS数据集。论文用多分支神经网络结合跨模态注意力,依据观看行为区分较强与较弱的唇读者,全模型准确率为0.680。结果显示,瞳孔相关信号和逐帧注视动态比注视嘴部的时长更能反映唇读能力差异。

Puneet Kumar, Satyarth Malik, Gao Zheng 等

arXiv cs.LG

Distribution-Based Regularization for Reward Fine-Tuning Diffusion and Flow Models

说明用于扩散与流模型奖励微调的基于分布的正则化(DFR)

简介本文针对预训练扩散与流匹配模型的奖励微调中容易出现模式崩溃和分布漂移的问题,提出DFR方法:在任务奖励之外加入一个作用于生成分布本身的、依赖分布的逐样本奖励,而不是像传统反向KL正则化那样间接约束采样动态。作者将KL正则化目标推广到分布的凸泛函上,并据此得到针对Fréchet距离、最大均值差异(MMD)和DreamSim多样性的可加逐样本奖励。在多项文生图微调任务中,DFR的峰值奖励与KL调优基线相当,同时在相同或更低漂移下多样性最多提高29%。

Romeo Passaro, Jeongjae Lee, Jong Chul Ye 等

arXiv cs.CL · cs.LG

LastWords: Boring Problems Revisited

说明《LastWords:重访那些枯燥的问题》:回顾自然语言处理中看似简单、实则棘手的老问题

简介本文回顾了一个看似枯燥却难以用纯神经网络方法解决的自然语言处理问题:文本规范化中的数字读法。作者称,这一问题在最新的前沿模型中已基本得到解决,但对于此类范围有限、资源受限的问题,作者认为仍有待解决的开放问题。

Huayang Li, Richard Sproat

arXiv cs.CV

Multi-Speed Field Evaluation of a Semi-Autonomous Precision Sprayer for Weed Control in Vegetable Crops

说明蔬菜除草用半自主精准喷雾机的多速度田间评估

简介本研究评估了一套用于萝卜田间定向除草的半自主拖拉机喷雾系统,结合YOLOv11-medium检测、ByteTrack跟踪与12喷头喷雾装置。在0.13、0.27、0.45 m/s三种速度下进行田间试验,结果显示速度越快,杂草命中率明显下降、误喷作物比例上升,系统未达到预设的商业可行性标准,作者指出需改进运动下的植物感知与喷雾时序补偿。

Md Khairul Islam, Boyang Deng, Yuzhen Lu 等

arXiv stat.ML · cs.LG

Scalable and Adaptive Distribution Regression via Random Features

说明基于随机特征的可扩展自适应分布回归

简介本文研究分布回归,即从概率分布学习到响应变量的映射。作者用随机特征近似构建 RaDR,并给出两阶段采样下的有限样本分析,说明在满足特征预算条件时其误差上界与精确核方法同阶。进一步提出自适应方法 A-RaDR,依据下游学习目标分配随机特征。在合成数据和41个真实数据集上的实验显示,RaDR 可显著节省计算量,A-RaDR 进一步提高了预测精度。

Yinsong Wang, Xiao Liu, Yu Ding

arXiv cs.IT · cs.DS · cs.LG

Query-Dependent Reading for Quantized Inner-Product Estimation: A Minimax Separation

说明面向量化内积估计的查询相关读取:极小极大分离结果

简介本文研究存储与读取预算分离时的内积估计量化问题。作者证明,若读取方式与查询无关,额外存储并无益处,并给出归一化极小极大误差为1/(4^R-1)的匹配下界。进一步构造依赖查询的两批次协议,使额外存储能够降低误差,并给出误差上界与下界,二者在主常数上相差不超过π/2倍。

Krishnakumar Balasubramanian, Siddharth Bhandari, Shiva Prasad Kasiviswanathan

arXiv cs.CL · cs.LG

Measuring Data Diversity with Embeddings: A Taxonomy and Benchmark for Diversity Measures

说明用嵌入向量衡量数据多样性:多样性度量的分类与基准测试

简介本文整理了21种基于嵌入向量的多样性度量方法,并归入四个类别。作者提出了EmbDivBench基准,从多样性、均衡性和差异性三个方面,在模拟数据和真实文本上比较这些方法。结果显示,最常用的平均两两距离并非最佳,图熵总体表现最好,文中据此提出了选择多样性度量的实用建议。

Cantao Su, Anna Wegmann, Esther Ploeger 等

arXiv cs.CL

Do We Need the Largest LLMs for Every Clinical Decision?

说明我们是否每个临床决策都需要最大的大语言模型?

简介大型临床语言模型通常需要多 GPU 基础设施,难以在本地部署。本文提出 CERTA,一种决策级统计认证方法,用于判断量化模型何时可以替代其原生 BF16 参考模型,并将无法认证的决策交由参考模型处理。在 11 个指令微调模型上,2,500 个临床核查决策的测试显示,8 位量化在多数决策中可替代参考模型,部分 4 位配置也显著降低了部署成本,但不同模型之上的表现差异较大。

Ali H. Lazem, William Teahan

★★★★☆ 值得关注
arXiv cs.CV 有代码

Goal Images Are Control Targets: Spatially-Grounded Goal-Image Synthesis for Robotic Manipulation

说明目标图像即控制目标:面向机器人操作的空间定位目标图像合成

简介该论文研究机器人目标条件操作策略所用的目标图像。作者发现,在通用编辑质量榜单上领先的闭源图像编辑器,生成的控制目标反而不如其提出的较小规模开源微调模型,且在多步长任务上差距更大。研究认为,下游成功率主要取决于操作指令的遵循程度,与画面真实感无关。作者还提出了SGE-Goal框架,通过预测编辑区域掩码来合成目标图像,并发布了代码和数据。

看点提出以下游控制效用而非编辑质量选择目标图像生成器,并用空间定位分解框架改进;在CALVIN与SIMPLER-Bridge上对比实验充分,长链任务结果显著。

Riddhi Chatterjee, Ritish Shrirao, Kushagra Mehrotra 等

arXiv cs.LG

Sample-Efficient Reinforcement Learning with General Utilities via Neural Dual Critics

说明基于神经对偶评论家的样本高效通用效用强化学习

简介本文研究以策略诱导的占用测度的非线性泛函为目标的强化学习(RLGU)。作者提出一种自然的行动者-评论家方法,用神经网络评论家直接学习状态-动作对上的策略梯度伪奖励,并用多层蒙特卡洛方法控制偏差。在若干条件下,该方法在含近似误差的情况下达到 Õ(T^{-1/2}) 的全局收敛速率,并给出固定评论家表示时的 Õ(ε^{-2}) 采样复杂度。

Ankur Naskar, Vaneet Aggarwal

arXiv cs.LG · cs.AI

RAFT: Redundancy-Aware Input Filtering for Temporal Graph Neural Network Training

说明RAFT:面向时序图神经网络训练的冗余感知输入过滤方法

简介该论文针对时序图神经网络(TGNN)训练中事件数量大、依赖关系限制并行的问题,提出 RAFT 框架。它通过跟踪训练中节点记忆的变化,过滤掉部分预测目标事件和历史上下文事件,减少训练输入。实验覆盖三种模型和五个数据集,训练输入平均减少35.23%,训练时间最多减少52.56%,模型精度变化可忽略。

Yue Dai, Sarah Zhou, Youtao Zhang

★★★★☆ 值得关注
arXiv cs.AI · cs.CL · cs.LG

Bellman Language Models: Solving the Recurring Decisions of LLM Agents

说明贝尔曼语言模型:解决LLM智能体中反复出现的决策问题

简介该论文提出“先离散化、后决策”方法,将智能体的工作流日志或智能体自身运行记录转化为离散状态,估计各结果概率与行动成本,再求解马尔可夫决策过程,把已解出的决策交给控制器执行,未见过的状态才交回大模型处理。在τ²-bench电信任务上,多项指标都有提升,但在需要大量内容生成的任务(如SymPy问题修复)中收益有限。

看点将智能体重复决策视为MDP求解并复用,结合controller与LLM混合,新颖;在τ²-bench与InventoryBench上有明确对比实验,证据较充分。

Adarsh Vatsa, William Eiers

arXiv eess.AS · cs.CL · cs.SD

Dual Task Vector Merging: Leveraging Emotion and ASR Knowledge for Low-Resource Alzheimer's Disease Detection

说明双任务向量合并:利用情绪与语音识别知识进行低资源阿尔茨海默病检测

简介本文针对从语音检测阿尔茨海默病数据有限的问题,提出双任务向量合并方法,在冻结的wav2vec 2.0骨干网络中注入情绪识别和语音识别任务学到的权重差值。训练时仅优化分层合并系数与线性分类头,更新参数不足全量微调的0.1%。在ADReSS和ADReSSo数据集上,该方法在主要二分类设置中优于冻结探针、LoRA和全量微调,与LoRA结合效果最佳;在PROCESS数据集的三分类任务中同样有效,并在减少训练数据的情况下保持稳定提升。

Yuan-Chao Li, Yin-Long Liu, Liu He 等

arXiv cs.CV · cs.AI

SpriteStage: Long Horizon Animation Generation via Progressive Scene Programming and Replay

说明SpriteStage:通过渐进式场景编程与回放生成长时程动画

简介该论文提出SpriteStage框架,用于生成长篇动画。它逐场景迭代生成并在共享空间舞台上执行剧本,依据运行时与视觉反馈修改动作和剧情,再将结果映射到生产资产与引擎中并回放成最终视频。作者以三段约9.9至14.3分钟的完整动画展示了该框架的效果。

Zhaoqi Wang, Zijian Zhang, Jiamou Liu

arXiv cs.LG

FlowMaker: From Tasks to Cost-Efficient Generative AI Workflow Deployments

说明FlowMaker:从任务到低成本的生成式AI工作流部署

简介该论文提出FlowMaker系统,让用户只需提交任务,系统即自动选择工作流结构、模型和部署配置的组合。作者设计了一种约束引导、感知负载的剪枝算法,用于动态集群状态下的快速决策。与包括Murakkab在内的现有方法相比,文中报告其有效吞吐量最高提升10.14倍,成本最高降低2.77倍。

Dimitrios Liakopoulos, Prasoon Sinha, Neeraja J. Yadwadkar

arXiv cs.CV

Arbitrary-Scale Anisotropic 3D MRI Super-Resolution with Gaussian Prototypes

说明基于高斯原型的任意尺度各向异性三维MRI超分辨率重建

简介该论文提出GSMR3D模型,可在每种MRI对比度下用单一模型重建任意各向同性或各向异性分辨率的磁共振图像,以缩短扫描时间。模型结合学习得到的各向异性三维高斯原型字典与尺度条件频率编码,并保证重建结果与采集的低分辨率数据一致。实验显示其在多数几何条件下重建质量指标更优,并能较好保留胶质瘤分割等下游任务所需的信息,重建每个体数据约需6秒。

Aditya Rastogi, Ramon Leiser, Prateek Singh 等

arXiv cs.LG

LLM-Based Evaluation Planning for Heterogeneous Optimization

说明基于大语言模型的异构优化评估规划(REP-HO)

简介该论文针对异构优化问题,即优化器需要决定评估哪些候选解、以及在不同成本和保真度下评估哪些目标与约束。作者提出REP-HO,用大语言模型替代原有基于规则的混合保真度选择步骤,并加入自适应最近邻摘要以提升决策。实验覆盖五种异构场景,结果显示该方法与人工设计的MFE-NSGA-III相比具有竞争力,并表现出自适应分配行为。

Nian Ran, Sebastian Brulin, Markus Olhofer 等

arXiv cs.CL · cs.IR

Learning to Program Retrievals: Composing Search Primitives via Reinforcement Learning

说明学习编写检索程序:通过强化学习组合搜索原语

简介该论文提出检索程序学习(RPL),让模型把搜索原语组合成带局部状态和控制流的可执行程序,以自适应方式进行多步检索。作者还设计了程序变异方法,用于在强化学习中探索更优的程序结构。实验显示,RPL 在开放域问答上提升了多种模型规模下的表现,多跳任务提升明显,4B 模型优于所有 8B 基线,并在语料级推理中降低了上下文消耗和检索轮次。

Kyuyoung Kim, Zilin Xiao, Zhiyuan Wang 等

arXiv cs.CL 有代码

MisleadQA: Diagnosing LLM Failures under Misleading Context

说明MisleadQA:诊断大模型在误导性上下文中的失败

简介该论文构建了 MisleadQA 数据集,用带弃答选项的选择题检验大模型在误导性上下文下的表现。上下文分为正确但不适用的(S)和错误但适用的(F)两类。结果显示,仅给出 S 时模型有29.3%的情况改答错误选项,仅给出 F 时比例为75.4%;加入正确上下文后,S 的影响基本消失,但 F 仍使21.0%的回答出错,且 F 在前时更明显。

Hui Wang, Bohao Chu, Qianli Wang 等

arXiv cs.MA · cs.SY · eess.SY

AgentSoV: Virtual Sensing for LLM Multi-Agent Systems via Stream of Variation

说明AgentSoV:基于变化流的LLM多智能体系统虚拟传感方法

简介该论文提出AgentSoV框架,将大语言模型多智能体系统的执行过程视为随机动态系统,通过“变化流”(Stream of Variation)建模,并用状态空间模型学习各阶段之间的变化传播。无需重新执行系统,即可进行故障定位、中间输入影响量化以及在监测预算下的虚拟传感器布置。实验表明该方法可统一应用于多种多智能体架构。

Congjing Zhang, Siyuan Xu, Yunfei Bai 等

arXiv cs.LG

An Impossibility Result for ETF Target Geometry, and an Equinorm Remedy for Imbalanced Analytic Continual Learning

说明ETF目标几何的不可能性结果,以及面向不平衡解析持续学习的等范数修正方法

简介该论文研究解析持续学习(ACL)中的分类器头,比较将渐进神经坍缩中的单纯形等角紧框架(ETF)目标与精确解析更新结合的做法。作者指出这种融合与普通one-hot的ACIL完全相同,且ETF不能随类别数嵌套扩展,会引发灾难性遗忘。论文提出只对拟合权重做等范数后处理,在5:1至100:1的长尾不平衡下提升尾部类与总体平均准确率,但在近平衡数据上会有平均准确率下降的代价。

Berk Sezer

arXiv cs.CV

PCHMR: Empowering and Benchmarking Human Mesh Recovery in Privacy-Constrained Real-World Settings

说明PCHMR:隐私受限真实场景下的人体网格恢复赋能与基准测试

简介该论文针对人体网格恢复(HMR)模型在隐私受限场景中的训练与评测问题,提出基准,使用联邦学习及安全聚合方法训练主流HMR模型,不集中收集原始图像,并在不同客户端规模和数据异质性设置下进行评估。作者还提出DePoser,一种结合深度基础模型的本地标注与微调流程,使协同训练的模型能针对终端用户的数据分布进行本地调整,在野外数据上以DePoser生成的伪真值衡量,个性化精度有所提升。

Zeyu Cao, Qingxuan Wu, Zhiyang Dou 等

arXiv cs.LG · stat.ML

A Statistical Viewpoint on Adam, Shampoo and Muon

说明关于 Adam、Shampoo 与 Muon 的统计学视角

简介该论文从统计学角度设计随机优化方法,假设梯度服从正态分布,并用其协方差对随机梯度进行白化,由此提出可在线估计梯度均值与方差的方法。文中用对角与 Kronecker 结构近似协方差,分别得到与 Adam 密切相关的方法,以及称为 MN 的新方法(Shampoo 的一种变体);并将该框架应用于 Muon,提出 MN-Muon。在 GPT-2 类模型实验中,作者报告 MND 在稳定性、验证损失和耗时方面优于 Distributed Shampoo 与 KL-Shampoo;MND-Muon 在多数配对实验中优于 Muon,而 NorMuon 与之表现相近,并在部分设置中略优。

Tetiana Parshakova, Robert M. Gower, Paulo Orenstein

arXiv cs.AI · cs.PL · cs.SE

Pattern-Driven Evaluation of LLM Code Optimization: Isolating Compiler-Transcendent Semantic Reasoning

说明基于模式的大模型代码优化评估:分离编译器无法覆盖的语义推理能力

简介现有评测多只看端到端加速比,难以判断模型是否真正完成了预期的优化。该论文提出PatternBench基准,针对七类变换,衡量现代编译器优化后仍然保留的性能提升,并用基于AST的优化忠实度分析检查生成程序是否实现了目标变换。实验显示,仅看运行时加速并不完整,忠实度与实际加速关联密切,微调可同时提升两者。

Wesley Lu, Runzhou Liu, Hongru Du 等

arXiv cs.MA · cs.AI

Measuring Consensus in AI Agent Networks

说明衡量AI智能体网络中的共识程度:一个评估框架

简介随着AI智能体通过网络相互连接并承担需要协商和共同决策的任务,作者提出一个评估框架,把共识形成视为公开立场向共同区域靠拢的过程,并以累积的通信历史作为背景。框架追踪立场轨迹、群体分散程度以及公开消息中表达的信息。两个案例研究分别涉及基于分散事实的人员配置决策,以及需要协调重复信息和已取消合同的决策;在1,872次完整运行中,分享解释的做法与更准确的群体决策相关。

Jin Gao

arXiv cs.CV

VTF900: A 900-Subject Visible-Thermal Face Recognition Dataset and Benchmark

说明VTF900:包含900名受试者的可见光-热成像人脸识别数据集与基准

简介该论文提出VTF900,一个包含900名受试者、配对可见光与热成像图像的大规模人脸识别基准,涵盖表情、姿态和遮挡变化,支持1:1验证与1:N闭集识别评测。作者在ARL-VTF数据集上训练后,比较了卷积网络、视觉Transformer和域自适应模型。结果显示,在N=900时,ViT-B正面条件下AUC为97.68%,TAR@1%FAR为51.10%;DPIT-ResNet50在侧脸条件下更稳健(AUC 94.68%,TAR@1%FAR 36.08%)。论文指出,小规模下的高AUC并不代表大规模部署时的可靠性,姿态变化会明显加剧性能下降。

Jacob Abaare, Bianca Ianetta, Cedric Nimpa Fondje 等

arXiv cs.LG · eess.SP

Recurrent Temporal Restricted Boltzmann Machines as Unsupervised Encoders for Biomechanical Movement Sequences

说明用于生物力学运动序列的循环时序受限玻尔兹曼机无监督编码器

简介本文将循环时序受限玻尔兹曼机(RTRBM)改造为无监督编码器,把运动数据窗口映射为固定长度的嵌入向量,并将其接入SIT-FUSE分割流程。作者在模拟肌骨伸手任务和两个真实步态数据集上评估,结果显示聚类可在无标签情况下恢复与目标接近程度相关的运动结构,步态嵌入在非线性探针下优于PCA和自编码器基线。但去除循环连接并未在伸手任务上造成可测量的性能下降,且简单的通道统计量在步速分类上与嵌入表现相当,因此循环结构的收益证据并不一致。

Wafi Sharif, Nicholas LaHaye

arXiv cs.LG

Compose the Horizon: Parameter-Shared Blockwise Forecasting under a Sequential-Compute Trade-off

说明在顺序计算与参数共享之间的分块长期预测:Compose the Horizon(论文)

简介该论文提出递归函数分解方法 RFD,用一个参数共享的小型算子分三块依次生成未来序列,每块接入滚动上下文以指导下一块的预测。实验显示反馈信号主要来自预测状态本身,且反复使用共享算子的收益小于加宽网络。在冻结的长上下文评估中,RFD 在 24 组结果中有 23 组测试误差更低,但对比协议不同,且其顺序计算在通道数较多时较慢、占用内存更多。

Zeyan Li, Weiheng Li, Shengda Zhuo 等

arXiv cs.AI · cs.SE

Teaching Code Agents to Ask Without Leaking Private Code

说明教代码智能体提问而不泄露私有代码

简介本地代码智能体可以向更强的云端模型请教以扩展能力,但这类请教常常会暴露仓库中的私有标识符、文件路径和源码。该论文提出效用验证抽象方法(UVA),训练智能体以角色和类型描述私有实体,同时保留专家所需的技术细节。训练后的智能体请教更频繁,在仓库级问题修复基准上解决率为37.6%,高于同一模型单独工作时的25.3%;其提问泄露的私有实体减少为原来的1/3.7,逐字代码减少为原来的1/1.4。

Wenjia Jiang, Jieke Shi, Zhensu Sun 等

arXiv cs.LG · cs.AI

Pair-Aware Optimization: Coordinating Exploration and Refinement for Jailbreaking LLM Agents

说明配对感知优化:协调探索与精修以越狱 LLM 智能体

简介本文研究如何让对抗性输入诱使大语言模型智能体执行攻击者指定的恶意行为(即越狱)。作者比较了零阶、一阶及两者先后顺序的四种策略,并提出 ZO-FO 框架:先用零阶优化探索前缀,再用一阶优化精修对应后缀,并通过配对感知优化协调两者。实验显示,混合优化优于单一优化方法,且优化顺序对效果影响明显。

Juanyang Xu, Zheng Wang, Xingyu Zhao 等

arXiv cs.CV

Rate as a Feature, Not a Nuisance: Curriculum FiLM Training for Event-Based Graph Neural Networks

说明将事件率作为特征而非干扰项:面向事件相机图神经网络的课程式FiLM训练

简介论文指出事件相机的事件率随场景运动等因素变化,现有方法通过时间归一化或不变性训练丢弃了这一信息。作者提出把每条记录的对数事件率通过FiLM调制到PointNet++主干的各层,并采用先自然事件率、后率增强微调的两阶段课程训练。论文报告在N-Caltech101上准确率达到67.2%,在DVS128 Gesture上达到82.5%,相比基线有明显提升,且额外参数仅约0.2M。匹配容量的对照实验表明,提升来自事件率条件化而非模型容量增加。

Kavyansh Tyagi, Andreas Ziegler

arXiv cs.LG · cs.AI · cs.IR

Expert-Guided Rubrics as Dense Reward Signals for Reinforcement Learning in Non-Verifiable Domains

说明面向不可验证领域强化学习的专家指导评分表稠密奖励信号

简介论文关注大语言模型在金融等不可自动验证领域中,如何通过强化学习训练检索代理。由于这类任务的查询质量需要专家按等级判断,而非简单的二元奖励,作者提出把少量固定的专家判断转化为稠密奖励,并与基于检索的指标结合,形成与GRPO兼容的混合训练信号。文中称,与稀疏奖励基线相比,Recall@3最多提升6%,MRR@3最多提升6.7%。

Ashish Bansal, Hossam Amer, Keerat Kaur Guliani 等

arXiv cs.CL · cs.CY · cs.LG

Efficiency Measured in English: Tokeniser Coverage Bounds Small Language Models on Indic Scripts

说明以英语衡量的效率:分词器覆盖率限制了印度文字上的小型语言模型

简介该论文指出,小型语言模型的效率通常只用英语测得的内存数字来报告,并不适用于印度多种文字。作者在涵盖十一种印度文字的131k句语料上测试TinyLlama-1.1B,发现其分词器对多数印度文字几乎没有词表覆盖,部分文字退化为字节回退,且未报告任何未知词。论文指出,限制因素是词表而非参数量,同一上下文窗口下英语用户可用约1528词,而卡纳达语用户仅约91词。

Anna Pramod