AI 算法 · 2026年11月1日(周日)

机器学习、人工智能、自然语言处理、计算机视觉、多智能体。

RSS 订阅
arXiv cs.AI · cs.CL

Learning by Doing: Autonomously Compiling and Curating Agent Skills from Verified Traces

说明边做边学:从已验证的执行轨迹自主编译与整理智能体技能

简介论文介绍了Zep Agent Skills,这是一个面向已部署LLM智能体的生产服务,用于保存程序性记忆。系统只使用已验证的任务尝试作为依据,将其编译为带版本的技能,并在三个基准(τ³-bench银行业务、AppWorld、EnterpriseOps-Gym)上评估;教师模型轨迹编译的技能可在多种推理强度下提升三个较弱执行模型的通过率。

Daniel Chalef, Peter Evans, Pavlo Paliychuk 等

arXiv math.OC · cs.LG

Benign population landscapes do not transfer to empirical risk minimization in nonsmooth optimization

说明良性总体景观未必能迁移到非光滑优化中的经验风险最小化

简介该论文研究非光滑非凸优化中景观几何的迁移问题。作者证明,对于高斯测量下的稳健相位恢复,总体目标函数具有良性景观,但经验目标函数在样本量趋于无穷时,以不为零的概率出现尖锐的虚假局部极小值,且该概率下界与维数无关。

Penghao Wang, Mateo D\'iaz, Liwei Jiang

arXiv cs.LG · cs.AI · cs.SE 公开资源

Toward Executable Multi-framework Front-end Code Generation with Self-Correction

说明面向可执行多框架前端代码生成的自我修正方法(MESCoder)

简介该论文研究根据UI截图生成可执行的多框架前端代码(如React、Vue、Angular),提出树结构自我修正框架MESCoder。方法先从截图提取结构骨架,再逐步构建子树与组装关系,并用统一的Project Agent依据运行沙箱反馈修复项目。训练采用离线初始化与在线强化学习两阶段策略。实验显示,该方法提升了代码可执行性,并缩小了与基于HTML生成的视觉保真度差距。

Linxiao Li, Haoran Ma, Chenyue Wang 等

arXiv cs.CL · cs.LG

Information-Theoretic Design of Sparse Autoencoder-Based Steering

说明基于稀疏自编码器的引导干预的信息论设计

简介该论文提出一个信息论框架,用于分析稀疏自编码器(SAE)激活的特征激发分布。框架以特征激发分布之间的Jensen-Shannon散度(JSD)衡量生成或干预后的状态偏离目标分布的程度,并据此构造朝向目标激发分布的引导向量。论文在问题模式生成任务中验证了该引导方法的效果。

Hirofumi Morise

arXiv cs.AI · cs.SE

A Self-Exploring and Self-Evolving Paradigm for Adaptive Edge AI Development

说明面向自适应边缘AI开发的自探索与自演化范式(SE2)

简介本文提出SE2,一种用于自适应边缘AI开发的自探索、自演化范式。与把大语言模型仅当作按固定流程生成代码的工具不同,该方法让智能体利用其推理能力自行决定工作流程。研究将开发过程拆解为检索、推理、编码、测试四个原子操作,智能体依据当前上下文动态选择下一步操作。摘要称,相比现有先进基线,合成程序准确率最高提升26%,资源消耗降低28%,并对未预料的边缘AI场景保持较好适应性。

Leming Shen, Qiang Yang, Xinyu Huang 等

arXiv cs.LG · cs.NI

State-Augmented Learning for Post-Deployment Adaptation of Coexisting O-RAN Applications

说明面向共存O-RAN应用部署后自适应的状态增强学习

简介论文提出ATTUNE方法,用于在服务约束下与移动负载均衡应用共存的节能应用。该方法以拉格朗日乘子作为策略输入,并在运行中根据测得的服务下降情况在线更新该乘子,网络参数保持不变。仿真结果显示,单一策略的节能效果与针对每个服务要求单独训练的策略相当,且无需重新训练即可适应目标、负载和合作应用的变化。

Wonhyeok Ko, Yeonseo Jeong, Songnam Hong

arXiv cs.CV

IMPACT: Image-Conditioned Motion with Physics-Aware Collision and Trajectory Guidance for Video Generation

说明IMPACT:面向视频生成的图像条件运动与物理感知碰撞与轨迹引导框架

简介该论文提出IMPACT,一种基于物理状态驱动的图像到视频生成框架,通过显式动力学预测与稀疏、稠密两类物理引导相结合,改善生成视频中的碰撞与运动合理性。其中物理状态生成器统一了自由飞行与离散碰撞过程,稀疏轨迹约束物体整体位移,稠密区域运动先验引导扩散采样。在100个球体与平面碰撞场景的实验中,该方法在物理合理性上优于多种基线方法。

Shiwei Yang, Yunlong Yu, Zhao Wang 等

arXiv cs.CL

XDecideBench: Evaluating Typed Decision Models and Confidence Policies Across Languages

说明XDecideBench:跨语言评估类型化决策模型与置信度策略的基准

简介该论文提出XDecideBench基准,包含9个测试套件、122种语言、88,425条文本和153,875个类型化问题,用于评估用于文本路由与内容审核的类型化决策模型。研究发现模型排名因套件和语言而异,英语中表现最佳的模型在约四分之一的套件-语言组合中明显落后。论文还指出,在英语数据上设定的置信度阈值在XNLI上的错误率超过了预设的5%。

Marek \v{S}uppa, Jaroslav Kop\v{c}an

arXiv cs.CL

Interpreting Classical Readability Formulae as Surprisal

说明将经典可读性公式解释为惊奇度(surprisal)

简介该论文从理论上说明,Flesch-Kincaid 等经典可读性公式的系数可以解释为惊奇度(surprisal,即信息论中的意外程度)。作者把公式视为无记忆模型下逐词与逐句交叉熵之和,并借助齐普夫定律将其与语言联系起来。研究据此把年级换算为惊奇度单位,并将词系数与儿童词汇增长的规范数据进行对照比较。

Yo Ehara

arXiv cs.LO · cs.AI · cs.SE

ProofPatch: Reviewing Lean Statements and Keeping the Reviews Valid as Formalizations Evolve

说明ProofPatch:审阅 Lean 陈述并在形式化演进中保持审阅结论有效

简介该论文提出 ProofPatch 工具,帮助人工审阅者判断 Lean 证明助手中的陈述是否符合本意,并在开发变动时保持审阅结论有效。审阅者可向内核提出针对性问题,并将结论与陈述及其依赖定义的指纹一起存储,被锁定的声明在修改时会被阻止。在 Mathlib 的 229 对连续版本上,该工具在 12,898 个合成决策中回送 118 个供人工复审,文本方法的回送量明显更多。

Xujun Che, Depeng Xu, Jian Xiang 等

arXiv cs.LG · astro-ph.IM · physics.flu-dyn

Learned Surrogates of Three-Dimensional Magnetohydrodynamic Turbulence

说明三维磁流体湍流的学习型替代模型

简介本文针对天体和聚变等离子体中三维电阻磁流体(MHD)湍流计算成本高的问题,首次提出其学习型替代模型,并比较了卷积UNet、移位窗口Transformer和傅里叶神经算子三种主干网络。模型以128^3分辨率、雷诺数1000、3000和6000的衰减湍流数据训练为自回归模拟器。UNet与Transformer的相对速度误差为0.018至0.053,并能保持电流片、拟涡量等统计特征。在两个公开基准上,模型的误差也优于已报道的部分最佳结果。

Semih Kacmaz, E. A. Huerta

arXiv cs.CL · cs.IR

Wrong Together: Shared Bias in User Simulation

说明共同偏差:用户模拟中的集体性错误

简介该论文研究能否用多个语言模型用户模拟器之间的分歧,判断模拟得到的群体回答比例及群体差异是否可靠。作者用6个模拟器和12个国家60个问题的GlobalOpinionQA数据进行评估,发现分歧对群体差异的预测比对单一群体比例更准确(AUC为0.87对0.71)。模拟器共有的错误无法被这一信号察觉,但若同时影响两组则会在比较中抵消。作者还提出从一组群体估计共同偏差并在另一组中扣除的校正方法,可降低预测误差。

Saber Zerhoudi

arXiv stat.ML · cs.LG

Infinite Quantiles Inference under Local Differential Privacy

说明本地差分隐私下无限多分位数的联合推断

简介本文研究在本地差分隐私约束下,目标概率数量随样本量增长时的同时分位数推断。每位用户只参与一次,因此学习未知分位点与校准其联合不确定性必须共享同一份隐私信息。作者利用单次树形报告中的累积分布函数得分,通过精确协方差融合得到更稳健的估计,并借助三批连续样本完成分位点定位、密度估计与联合乘子校准。文中还以人口普查微观数据展示了所得联合区间在工资分位比率分析中的应用。

Yi Liu, Qirui Hu

arXiv cs.LG · q-bio.QM

FACET: Feasibility-Automaton Complete Enumeration and Truncation-Free Scoring of Molecular Formulas from MS/MS

说明FACET:从 MS/MS 数据中完整枚举并无截断打分分子式的方法

简介从串联质谱谱图确定前体离子的中性分子式,是鉴定未知小分子的第一步。FACET 把待考虑的分子式与最终选择分开处理:一个可行性自动机逐个元素计数地构建分子式,只接受符合前体质量以及环与双键、化合价约束的分子式,从而完整枚举全部可行集合。随后一个小型神经打分头对所有可行分式进行排序。在 NPLIB1 基准上,FACET 的 top-1 准确率在加合物已知时为 0.859、未知时为 0.729,高于最强的既有方法(分别为 0.766 和 0.660),其召回率也最高。

Xujun Che, Depeng Xu, Xiuxia Du

arXiv cs.LG · cs.MA

MAPLE: A Multimodal Mobile Agent with Playbook-Learned Experience

说明MAPLE:基于剧本式经验学习的多模态移动智能体

简介本文提出MAPLE框架,这是一种无需梯度训练的多智能体方法,让智能体在执行过程中逐步共享经验并动态调整提示。它能够在每一步实时交换运行中的洞察,减少盲目的反复试错。作者称,该方法在AndroidWorld和MobileWorld基准上,于复杂的长流程移动任务中取得了当前最佳的表现。

Jun Wang, Aurora Wei, Lucas Spangher 等

arXiv cs.CL · stat.AP

Sentiment sensing: comparative analysis of multilingual sentiment dynamics

说明情感感知:多语种情感动态的比较分析

简介该论文提出“情感感知”框架,结合成分数据分析、函数型数据方法和非参数推断,用于跨国、多语种的情感比较,并检验情感变化是否具有统计显著性。作者将该框架应用于欧盟27国关于能源和人工智能主题的新闻报道,进行了两项案例研究。

Mara Sabina Bernardi, Elisa Di Nuovo, Francesca Torti 等

arXiv cs.LG

Unified dynamics of training, learning, inference, and reinforcement in neural networks

说明神经网络训练、学习、推理与强化的统一动力学研究

简介该论文研究神经网络在训练、学习、推理和强化之间的内在关系,基于nanoGPT上的九组实验,发现参数更新会产生依赖状态的有限幅度响应,学习会持续重组分布式功能支持。作者提出了预测更新后能力转变的方法,在5,088个目标上达到91.43%的准确率,并在另外五种神经网络架构上进行了验证。

Mian Wang

arXiv cs.LG

MoEDDI: Semantic Mixtures of Experts for Long Tailed Drug Drug Interaction Prediction

说明MoEDDI:面向长尾药物相互作用预测的语义专家混合模型

简介该论文提出MoEDDI模型,用于预测药物之间的相互作用。它按化学特征把描述符分配给不同专家,并与全局T-DDI模型通过残差方式结合。在三个测试集上,宏观F1值相比复现的T-DDI基线均有提高,其中样本最少的类别提升最明显。论文基于单次随机种子的结果,并指出仍需进一步的消融实验和分布偏移评估。

Dinh Tan Nguyen, Hien Quang Kha, Minh-Toan Dinh 等

arXiv cs.LG

Profile-aware diagnostics of discarded parameter-Hessian mass

说明对被丢弃的参数Hessian质量进行基于分布特征的诊断

简介本文研究参数Hessian中被丢弃部分的比例,它取决于对角分布特征和参数划分,而非K-FAC所丢弃的Fisher信息。作者在指定权重、输入和坐标下,将非块对角平方Frobenius质量与分组大小及实测对角分布参考进行比较。在同一批已保存的训练ResNet-18状态上,从阶段分组改为逐层分组,估计质量会从分布包络线以下移到以上;联合条件蒙特卡洛筛选在6/6个种子/输入组合中解决了这一交叉。

Maxim Bolshim (1), Alexander Kugaevskikh (1) ((1) ITMO University, Saint Petersburg 等

arXiv cs.LG · cs.AI

The Verifier Is Part of the Simulator: Evidence-View Gaming in Agentic Equation Discovery

说明验证器也是模拟器的一部分:智能体方程发现中的证据视角操纵

简介论文研究用智能体自动发现控制方程的流程,其中验证器只能看到模拟轨迹的数值摘要,而摘要本身带有离散化误差。作者固定轨迹、候选库、验证器与阈值,只允许智能体选择可用的摘要视角,发现选择不同摘要会影响判定结果。作者将这种通过选择摘要来钻空子的行为称为证据视角操纵。

Orestis Oikonomou, Bogdan Raonic

arXiv cs.AI · cs.CY

Large language models underrepresent malice and overreport virtue

说明大语言模型较少体现恶意、过度强调美德:比较其内部表征与输出评分

简介研究比较了大语言模型内部状态与其自评打分在四种动机上的差异,并通过两项预注册研究进行验证。结果显示,对于自利和加害意图等恶意动机,内部与输出的评分基本一致,较低评分源于内部信号较弱;而对于职责和关心他人等善意动机,输出评分高于内部读数,表明在输出阶段被放大。模型因此对举报者的动机更倾向于善意解读。

Xiaoyan Wu, Fan Shi

arXiv cs.LG

Same Function, Different Mechanism: Implementation-Local Geometry Beyond Accuracy

说明同一函数,不同机制:超越准确率的实现局部几何

简介论文指出,两个模型即使预测完全相同,在实现被扰动时反应也可能不同:查找表可以独立改变每个案例,共享规则则会让各案例的改变相互耦合。作者用“实现图”描述这一差异,并证明在有限群共享下,可独立改变的预测数等于输入-输出轨道数减去输入轨道数。论文还将该维度与局部KL曲率联系起来,并在模加法模型与编译Transformer上进行了验证。

Miroslav L\v{z}i\v{c}a\v{r} (Mereology Labs)

arXiv cs.AI · cs.CY

Urban functional knowledge transfer through global representations amid uneven data

说明基于全球表征的城市功能知识迁移:应对数据分布不均

简介该论文关注城市功能观测数据在全球分布不均的问题。作者提出 POI 对齐城市嵌入方法 PURE,学习 POI 语义与 AlphaEarth Foundations 物理表征之间的关系,并在覆盖 142 个国家和地区的五项城市分析任务中,将平均 R² 从 0.792 提升到 0.830。研究还发现,知识迁移具有选择性,在物理特征相近、地理距离较近的地区之间,尤其是同一大洲内的地区之间,迁移效果更明显。

Junyuan Liu, Xinglei Wang, Guangsheng Dong 等

arXiv cs.LG 公开资源

Alignment Flywheel-Guided Suppression Patching for Interactionless Inverse Reinforcement Learning

说明用于无交互逆强化学习的对齐飞轮引导抑制补丁

简介论文提出一种「飞轮引导补丁」机制,在不重新训练已学习奖励评估器的前提下,对其进行局部修正。系统通过对齐飞轮识别被过度泛化或违反约束的区域,并将已验证的发现编译为抑制补丁,在在线奖励评估时仅检索一小部分局部补丁。实验在MuJoCo基准上进行,并测试了演示中未包含的规范能否编译进同一奖励接口。

Elias Malomgr\'e, Pieter Simoens

arXiv cs.CL · cs.AI

Step-dLLM: Adaptive Step-aware Sparse Attention for Efficient Diffusion LLM Inference

说明Step-dLLM:面向扩散大语言模型高效推理的自适应步长感知稀疏注意力

简介扩散大语言模型通过迭代去噪并行生成词元,但其双向注意力难以像自回归模型那样使用KV缓存,每一步都要重新计算完整注意力,单步成本随长度呈二次增长。本文提出Step-dLLM,在去噪过程的锚定步周期性地刷新块稀疏掩码,并在局部一致的区间内复用,同时为各注意力头分配自适应的全局稀疏预算。该方法无需重新训练即可应用于LLaDA-1.5和Dream-7B-Instruct,并配有融合的Triton内核。

Zhichen Zeng, Xichong Zhang, Junpan Wu 等

arXiv cs.LG · physics.soc-ph

Inferring missing locations in human mobility data using memory effects

说明利用记忆效应推断人类移动数据中缺失的位置

简介人类移动数据在时空上往往稀疏,缺失会使结论产生偏差。论文提出一种简单的插补方法:观测值的信息量随其与缺失点的双向时间距离衰减,每位个体由一个参数决定衰减速率。在合成数据与真实推特数据上,经贝叶斯模型比较选出的幂律衰减方法插补准确,总体宏观AUROC超过0.9,对移动性最强的用户超过0.8,并与考虑缺口的连续时间马尔可夫链相当,在移动性最强的用户中表现更优。该方法对中等程度噪声稳健,并可推广到不同国家和欧洲行政区域。

Pablo Rosillo-Rodes, Ant\`onia Tugores, David S\'anchez 等

arXiv cs.LG

AgentCBO: Causal Belief Routing for Bayesian Optimization under Unknown Graphs

说明AgentCBO:未知因果图下面向贝叶斯优化的因果信念路由

简介本文针对因果贝叶斯优化通常假设因果图已知的问题,提出AgentCBO框架,将优化目标从完全恢复因果图转为因果信念路由,只关注会改变探索集合与先验等优化相关对象的结构差异。框架结合大语言模型的因果先验,通过受保护的提议与提交机制,对不确定的结构边进行有界局部修正。在十个基准上,其表现与已知因果图的方法相当,表明受约束的大语言模型先验可以提升固定预算下的因果贝叶斯优化效果。

Qiyu Wei, Xin Zhang, Richard Allmendinger 等

★★★★☆ 值得关注
arXiv cs.AI · cs.CL · cs.LG 公开资源

Are Fake Citations a Form of Reward Hacking? A Pre-Registered Study of Post-Training and Citation Cues

说明虚假引用是否属于奖励作弊?关于后训练与引用提示的预注册研究

简介该论文研究经过后训练的语言模型是否因被要求提供引文而大量编造参考文献。作者在美国联邦判例、计算相关科学文献和医学文献三个领域的900个问题上,测试了三个模型系列的十二个开放权重检查点,并在十五个检查点上重新拟合。结果显示,仅改变提示、要求引文时,后训练模型的编造率显著上升,而基础模型几乎不受影响;长度对照实验表明这一效应针对引文本身,而非答案长度。作者的结论是:可能如此,但尚未得到证明。

看点作者称,后训练模型在被要求给出文献时捏造引文的比例显著升高,并在长度匹配对照中区分了引文要求与冗长;摘要还报告偏好模型偏爱引文数量更多的输出,但作者认为奖励因果尚未证明。

Zain Naboulsi

arXiv stat.ME · cs.CY · cs.LG

Accuracy Is Not Risk: Why Medical AI Should Not Report Only Its Most Likely Label

说明准确不等于风险:医疗AI为何不应只报告最可能的标签

简介这篇论文指出,许多医疗AI只输出最可能的诊断或影像类别,但这一标签不足以估计患者的结局风险。作者用Jeffrey条件化规则说明何时可以把中间状态的概率传递到结局风险,并以胸痛鉴别诊断和BI-RADS乳腺影像为假设案例进行演示。论文建议,临床与保险决策应基于患者的结局风险,并由开发者说明模型输出的含义。

Jeffrey Humpherys, Makoto Jones

arXiv cs.AI · cs.CL

What Do LLM Judges Actually Verify? Matched Controls and Record Gaps for Document Currency

说明LLM评审器究竟在核实什么:文档时效性的配对对照与记录缺口

简介本文研究大语言模型评审器能否依据修订记录,检查答案所引用的文档是否仍然有效。作者从替代关系表中生成配对答案,并删除记录中的部分链接,按评审器给出的理由为每项发现打分。在IETF RFC索引的48组替代关系上,给定完整记录时,评审器几乎都能识别出被替代的引用;但在删除链接的24个缺陷上,仅依靠文本的检出率普遍高于依赖记录的检出率。

Unnati Shah, Samruddhi Kakade, Aum Patel

arXiv cs.LG

When Does Exploration Prevent Collapse? Three Regimes and the Path of the Reward in Self-Consistency Training

说明探索何时能防止坍缩:自洽训练中的三种区间与奖励路径

简介该论文研究无标签的测试时强化学习(TTRL):模型依据多数答案给予奖励,容易坍缩到单一答案。作者把单题训练建模为softmax策略logits的连续流,分析不同探索系数下哪些策略稳定,并推导出相应的边界。结果显示,探索是否通过奖励一同作用,会影响学习率与GRPO归一化是否改变这些边界。

Jaeho Hwang, Uiwon Hwang

arXiv cs.CL

When LLMs Modify Themselves: Convergence, Values, and Stopping in Iterative Self-Improvement

说明当大模型修改自身:迭代自我改进中的收敛、价值观与停止

简介该研究让六个大语言模型在循环中迭代修改各自的系统提示词,每个模型在三种模式下共进行54次实验。结果显示,模型是否以及何时停止自我修改与模型本身相关,而与所设定的模式关系不大:两款Claude模型在所有实验中都宣布收敛,GPT-4o仅有11%的实验宣布收敛,其中一次持续修改了101轮。六个模型都表现出诚实、清晰、好奇等共同的核心价值观,并在迭代中保持稳定。

Oleg Stroganov

arXiv cs.LG · cs.NA · math.NA

Accelerating posterior sampling in Bayesian inverse problems with diffusion models: an online-offline perspective

说明用扩散模型加速贝叶斯逆问题中的后验采样:在线与离线视角

简介这是一篇综述性论文,讨论如何用基于分数的扩散模型作为先验来解决贝叶斯逆问题中的后验采样。论文梳理了似然引导、谱与投影方法、序贯蒙特卡洛修正以及摊销条件训练等主要途径。作者按照离线准备与在线推断之间的计算代价划分方法,并比较它们的假设、优缺点,重点关注计算加速。

Duc-Lam Duong

arXiv cs.LG

Best-of-Both-Worlds FTRL for Linear Bandits: The Interplay of Information Acquisition, Corruption, and Geometry

说明线性赌博机中同时适用随机与对抗环境的 FTRL 算法

简介本文研究线性赌博机问题中的“两全其美”(BOBW)算法,目标是在对抗环境下保证 O(√T) 的遗憾,在随机环境下保证 O(log T) 的遗憾。针对有限动作集,作者提出了信息获取型跟随正则化领导者算法(IAFTRL),它完全基于 FTRL 框架,在随机环境中达到与信息获取复杂度相关的遗憾界,同时保留对抗环境下的 O(√T) 保证。

Canzhe Zhao, Vincent Y. F. Tan

arXiv cs.CV · cs.LG

[Re] Pure Noise to the Rescue of Insufficient Data

说明纯噪声助力数据不足:对一篇图像分类论文的复现研究

简介本文复现了Zada、Benou与Irani(2021)关于不平衡训练数据图像分类的主要结论。原论文提出用纯噪声图像扩充少数类样本,并配合一种分别归一化噪声与自然图像的批归一化层。复现结果支持纯噪声过采样、该批归一化方法以及在平衡数据上加入噪声的效果,但额外实验提示,其性能提升可能与更大网络或更复杂的数据增强带来的提升相互独立。

Seungjae Ryan Lee, Seungmin Brian Lee

arXiv cs.CL · cs.AI

Character-Name Concentration in LLM Fiction: Measuring Displacement and Mitigating Repetition

说明大语言模型小说中角色名字的集中化:衡量替换效应并缓解重复

简介该论文研究大语言模型生成小说时角色名字高度集中于少数重复名字(如 Elara、Elias)的问题。作者比较了八种提示层面的控制策略,并提出无需微调的“推测式命名”方法,借鉴推测解码的思路,对候选名字集进行打分与筛选。实验使用 20 个模型生成四种语言的 44,782 篇故事,结果显示该方法在语料层面将名字集中度总体降低约 95%,同时保持名字的自然度。

Alejandro Mozo Quesada (1), Sergio G\'alvez Rojas (1), Francisco L\'opez Valverde (1) ((1) Universidad de M\'alaga 等

arXiv cs.CV · cs.RO

DriftingPlanner: Drifting Generative Models for One-Step Trajectory Planning in End-to-End Autonomous Driving

说明DriftingPlanner:面向端到端自动驾驶的单步轨迹规划漂移生成模型

简介该论文提出DriftingPlanner,一种用于端到端自动驾驶的轨迹规划方法,仅使用漂移损失训练,不含坐标回归项。方法按场景分别计算吸引-排斥场,并在推理时将噪声向量与其相反数成对解码后取平均,以抵消偏移。在NAVSIM navtest上,该方法取得93.75 PDMS的当前最佳结果;单步推理时与需要十步推理的最佳扩散或流匹配方法相差0.13 PDMS。

Ziming Liu, Yizhan Qu, Leichen Wang 等

arXiv cs.AI · cs.IR

OntoDoc: Automatically Generating Ontology Resource Descriptions

说明OntoDoc:自动生成本体资源描述的多智能体框架

简介本文提出OntoDoc,一个多智能体框架,可为SPARQL端点或RDF文件中的任意IRI自动生成自然语言描述。系统通过四个阶段工作:从知识图谱收集相关三元组,检索维基百科和网络背景知识,生成有证据依据的中间假设,并据此生成最终描述。在生物医学、农业和跨领域三个知识图谱上的评测显示,其准确性不低于基线方法,完整性明显更优。

Juan Guajardo Gutierrez, Mike Tran, Nasim Shirvani Mahdavi 等

arXiv cs.LG · cs.CL 公开资源

Geometry of Confabulation and Refusal in Small Language Models

说明小型语言模型中胡编与拒答的几何结构

简介本文研究小型语言模型面对无法回答的问题时,是拒绝回答还是自信地给出错误答案(胡编)。作者提出包含784条题目的ConfabQA基准,并用线性探针、稀疏自编码器和方向优化分析首个生成词之前的隐藏状态。结果显示,在Qwen3-1.7B和Gemma 2 2B上,探针能较好地区分即将出现的拒答与胡编;在Llama 3.2 3B上,ConfabQA的优势在折间波动范围内。

Vladimir Kazei

arXiv cs.LG · cs.SY · eess.SY

Learning momenta for Hamiltonian-based models

说明学习哈密顿模型的广义动量

简介该论文提出一种哈密顿类神经网络的通用扩展方法。在广义动量解析形式未知、仅有状态及其导数数据的情况下,模型可同时从数据中学习广义动量、哈密顿结构和系统动力学。论文以耗散质量弹簧系统、双摆和受非完整约束的滚动圆盘作为示例来评估该方法。

Ignacio Puiggros T., A. Srikantha Phani

arXiv cs.CL

EZ-Ar-VC: Robust Arabic Voice Anonymization with Generalization across Dialects and Code-Switching

说明EZ-Ar-VC:面向阿拉伯语语音匿名化、可跨方言与语码转换泛化的稳健方法

简介该论文关注用语音转换模型对语音数据进行匿名化,同时保持自然度。作者发现现有零样本语音转换系统主要针对英语等高资源语言优化,用于阿拉伯语时发音保留效果有限。作者基于EZ-VC,用多样的阿拉伯语语音训练了以阿拉伯语为中心的模型,在可懂度、自然度和发音保留方面表现较好,同时保持较高的说话人差异度。

Injy Hamed, Adarsh Arigala, Rufael Marew 等

arXiv cs.SE · cs.AI

Toward Bounding Coding-Agent Autonomy in Software Maintenance: A Pilot Study of Boundary Contracts

说明面向软件维护的编码智能体自主性边界:边界契约试点研究

简介随着编码智能体获得更大的代码修改权限,相关上下文并不能界定其操作权限。本文提出“边界契约”,在修改仓库前以机器可读方式明确各文件的角色(可编辑、仅检查、必需、受保护)。作者在一个真实企业代码仓库的40项维护任务上,对比了有无边界契约信息的同一编码智能体,结果显示边界信息提升了编辑选择F1、必需行为覆盖率和严格可接受补丁数量。论文强调这只是初步证据,并提出了如何生成、验证、修订和执行此类边界的研究问题。

Heeyong Eun, Seungyeon Chung, Hyejee Park 等

arXiv cs.CV

StreamClarify: Proactive Clarification for Grounded Streaming Video Question Answering

说明StreamClarify:面向流式视频问答的主动澄清框架

简介论文提出 StreamClarify,一种免训练的流式视频问答框架,在回答前先检测不确定性,必要时主动请求用户澄清。框架结合临时金字塔 KV 缓存与 CPU 端语义检索档案管理历史帧。作者构建了包含 1,837 组问答的诊断基准 StreamClarify-QA,实验显示其在多个视觉语言模型上提升了宏观准确率。

Zhuchen Shao, Bo Chen, Klara Nahrstedt

arXiv cs.LG · cs.CL 公开资源

Does Random Search Discover Task Experts? Revisiting Neural Thickets

说明随机搜索能否发现任务专家?重新审视“神经灌木丛”

简介该论文重新检验了一项主张:预训练模型周围密集分布着各类任务专家,只需对权重加入高斯随机扰动即可找到。作者发现,最佳扰动的优势随选择集规模增大而迅速衰减,许多结果更像是对选择题目的过拟合,且优势常在未见题目上消失。作者认为,随机权重扰动未必能有效找到任务专家,任务适应需要比随机搜索更精细的方法。

Julian Asilis, Guanzhe Hong, Vatsal Sharan

arXiv cs.CL

MedAstra: ASR-less Speech Retrieval with Diagnostic Grounding for Medical QA

说明MedAstra:无需语音识别的医学问答语音检索框架

简介该论文提出MedAstra框架,将冻结的WavLM语音表示通过轻量适配器映射到冻结的E5文本嵌入空间,实现无需语音转写即可直接用音频检索医学文献段落。在Recall@10指标上,纯语音检索达到87.6,混合配置达到90.4,高于转写优先的密集检索的81.0。作者同时说明,实验为描述性系统比较,合成声学测试与真实临床语音需区分看待。

Elahe Khatibi, Ziyu Wang, Amir M. Rahmani

arXiv cs.LG · cs.AI

LoRAForge: Co-Designing Post-Hoc Compression and Execution for Efficient Multi-LoRA Serving

说明LoRAForge:面向高效多LoRA服务的后置压缩与执行协同设计

简介该论文提出LoRAForge系统,用于多LoRA适配器的高效服务,通过后置压缩降低已训练适配器的存储占用,并将批量因子构造与按秩专门化的执行连接起来。系统提供统一保留比例和基于谱能量预算两种分配策略,并采用加速的FlashTSQR因子构造方法。论文报告在多个适配器上显著提升了词元吞吐量,且在压缩后分数下降较小。

Shenghui Li, Thiemo Voigt

★★★★☆ 值得关注
arXiv cs.CV

Context-Shielded Backdoor Attack against Large Vision-Language Models

说明上下文屏蔽的大型视觉-语言模型后门攻击

简介论文研究大型视觉-语言模型(LVLM)推理时的视觉token压缩如何影响后门攻击。作者发现,完整token推理时周围的干净视觉token会抑制嵌入的触发器,而token剪枝会去除这些上下文从而激活后门。据此提出StripWake,一种仅作用于投影器的后门方法,在完整token审计下保持休眠,在未见过的压缩器下激活。在LLaVA-1.5-7B上,其完整token攻击成功率为0.4%,压缩后为94.0%-99.7%。

看点提出上下文剥离现象,设计在全token推理下休眠、压缩后激活的投影器后门,并在LLaVA-1.5-7B九种压缩器上报告结果。

Zhifang Zhang, Qiang Huang, Chenpeng Wang 等

arXiv cs.LG

Learning What to Ask and What to Believe: Distilling a Variational Bayesian Agent into Language Models

说明学习该问什么、该信什么:将变分贝叶斯智能体蒸馏进语言模型

简介该论文研究如何让语言模型在交互任务中主动提问并更新对隐藏状态的信念。作者用基于期望信息增益选择问题的轻量贝叶斯教师智能体生成合成交互数据,并微调一个80亿参数的学生模型,使其复现教师的提问与结构化信念状态。在三类多轮谜题任务上,学生模型表现明显提升,并发现暴露信念状态有助于缩小差距,同时该技能无法迁移到未见过的任务类型。

Baichuan Li, Yanling Chang, Alfredo Garcia

arXiv cs.LG · cs.AI

Mathematical Formulation and Comparative Performance Evaluation of Machine Learning Algorithms for Maize Land Suitability Prediction

说明玉米土地适宜性预测中机器学习算法的数学表述与性能比较

简介本文针对埃塞俄比亚玉米种植,比较了多种机器学习算法评估土地适宜性的效果,研究地点为阿姆哈拉地区的 Burie、Shindi 和 Tilili。研究采用了单变量特征选择、递归特征消除和顺序特征选择等方法,并使用 KNN、梯度提升和随机森林等分类器。结果显示,梯度提升结合顺序特征选择的模型准确率达 99.41%,精确率与召回率分别为 99.35%。

Haimanot Bitew, Ayisheshim Almaw, Habtamu Zegeye 等

★★★★☆ 值得关注
arXiv cs.GT · cs.AI · cs.DS

How Much Can Approximate Equilibria Change the Social Cost of Selfish Routing?

说明近似均衡能让自私路由的社会成本改变多少?

简介本文研究非原子拥堵博弈中的近似纳什均衡,即允许每个参与者的成本至多为最小可用成本的 1+ε 倍。作者比较了 ε-近似均衡与精确纳什均衡的社会成本,对多项式延迟(次数 d)的一般拥堵博弈及串并网络上的单商品路由博弈,给出了相对变化的紧致上下界。结果显示,在小 ε 下,一般拥堵博弈中相对降低与增加的最大幅度均为 Θ(√(dε));而在深度为 h 的串并网络上,最大相对降低为 Θ(hε),两类网络由此形成区分。

看点首次给出多项式延迟下近似纳什均衡社会成本变化的紧界,并区分一般拥塞博弈与串并联网络,结论具有分离性。

Yu Cheng, Tianle Jiang

arXiv cs.DC · cs.AI

STLT: A Novel System for Energy-Aware Distributed Inference in the Edge-Cloud-Space Continuum

说明STLT:边缘-云-太空连续体中一种节能分布式推理的新系统

简介论文提出STLT系统,用于低地球轨道卫星与地面站之间的节能分布式推理。系统先离线分析深度神经网络结构,筛选出一组有利的切分点以缩小搜索空间;星上再依据当前环境状态,轻量地从这些预先计算的切分点中动态选择。作者在真实卫星遥测数据集上评估,报告称决策延迟平均降低25.1%,能耗平均降低27.5%,推理任务数最多增加20.1%,总体能耗降低8.8%。

Andrija Stanisic, Milos Gravara, Juan Luis Herrera 等

arXiv cs.CV · cs.LG 公开资源

Reproducing INP-Former: Reconstructing Intrinsic Normal Prototypes for Industrial Anomaly Detection

说明复现 INP-Former:重建内在正常原型用于工业异常检测

简介本文复现了 INP-Former 的核心结论,这是一种基于重建的多类工业异常检测方法,无需存储记忆库。作者在 MVTec AD 和 VisA 上复现了报告的性能,并将评估扩展到 MVTec AD 2,其中默认设置下的图像 AUROC 为 63.4。文章还分析了原型数量、分辨率、骨干网络大小、训练时长、LoRA 适配等因素的影响,指出原始基准的部分结论(包括默认原型数量)在更难的数据上并不成立。

Yunfei Liang, Juan Pablo Osorio Rivera

arXiv cs.CV

Modeling Fat-shift for Improved Head Segmentation from MRI Scans using a Probabilistic Model

说明用概率模型建模脂肪位移,以改进MRI头部分割

简介个性化头部计算模型依赖T1加权MRI扫描的头部分割,但化学位移伪影会使脂肪组织在频率编码方向发生位移,导致颅骨显得比实际更薄。本文提出一种基于变分推断的概率模型FLOW,在分割时显式建模脂肪位移。结果显示,FLOW能比不考虑位移的方法更准确地重建颅外解剖结构,同时保持其他结构的高分割精度,并显著减少电场模拟中的偏差。

Merle Diedrichsen, Koen Van Leemput, Douglas N. Greve 等

arXiv cs.CL

The Brittle Compass: Navigating LLM Prompt Sensitivity in Slovak Migration Media Discourse

说明《脆弱的指南针》:斯洛伐克语移民媒体话语中大语言模型的提示敏感性研究

简介该论文以斯洛伐克语为例,研究大语言模型在移民相关文本上的多项任务表现,包括主题相关性与地理相关性分类,以及移民来源地和目的地地名抽取。研究发现,使用斯洛伐克语提示词带来的提升幅度较小且取决于具体任务;大模型对提示词变化的稳健性明显高于小模型。分析还显示,指令(系统指令或任务指令)是影响结果最关键的提示成分,比示例部分更重要。

Samuel Harvan, Jaroslav Kop\v{c}an, Marek \v{S}uppa 等

arXiv stat.ML · cs.LG · math.OC

Adaptive Optimizers Can Get a Policy Ranking Wrong: Momentum, Dependent Data, and a Two-Run Remedy

说明自适应优化器可能使策略排序出错:动量、相依数据与双次拟合修正

简介本文研究用线性时序差分学习估计决策规则长期价值时,Adam等自适应优化器的固定平均速率会改变估计目标,导致不同规则之间的排序偏移。作者提出用第二个平均速率重新拟合同一数据,并通过两次拟合的线性组合消除主要偏移。在纽约出租车和电池模型的实验中,该方法纠正了几乎所有错误排序。

Sunyoung An, Xiaoming Huo

arXiv cs.RO · cs.AI · cs.CV

Vision-Language Models Are Joint Denoisers in Robotic Action Generation

说明视觉语言模型作为机器人动作生成中的联合去噪器

简介本文提出JADE,一种联合动作去噪器,让视觉语言模型与动作专家共同迭代优化机器人动作,而非仅提供静态条件。模型在每个去噪步骤中利用门控交叉注意力引导动作生成,并监督视觉语言模型从带噪动作中恢复干净动作。文中报告其在RoboDojo上平均成功率为12.67%,在RoboTwin 2.0及四项真实双臂任务上也有提升。

Xicheng Gong, Wenxuan Song, Chengze Liu 等

arXiv cs.LG

A Batched Hartigan's k-Means Clustering

说明批量化的Hartigan k均值聚类

简介Hartigan的k均值算法在理论上优于常用的Lloyd版本,但因计算必须按顺序进行而实际运行明显更慢。本文提出批量化Hartigan方法,利用三角不等式筛出一组可并行更新的步骤和一小部分仍需顺序执行的步骤,从而支持向量化计算。该方法首次使Hartigan算法的运行速度可与Lloyd算法相比。

Edward Raff, Michael Slawinski

arXiv cs.LG 公开资源

GraCo: A Unified Toolkit of Graph Coarsening Algorithms and Metrics

说明GraCo:图粗化算法与指标的统一工具包

简介图粗化是把一张图缩减为更小的图,并尽量保留原图的指定性质,常用于在训练前把图学习扩展到大规模图上。本文提出的 GraCo 是一个统一的图粗化方法工具包,以节点划分和粗化图所遵循的拉普拉斯矩阵定义粗化,并实现了文献中的 17 种方法及一个随机基线,分为五个系列,同时收集了可用于任意粗化方法的评估指标。作者在合成随机块模型上检验了实现,并在 Cora、PubMed、ogbn-arxiv 和 ogbn-products 上报告了各方法的运行时间与峰值内存。该工具包已开源。

Antonin Joly

arXiv math.NA · cs.LG · cs.NA

Online Autotuning of Algebraic Multigrid via Contextual Bandits and Reinforcement Learning

说明基于上下文赌博机与强化学习的代数多重网格在线自动调参

简介代数多重网格(AMG)常用于求解大型稀疏线性方程组,但其效率高度依赖设置与求解参数。本文提出一种面向 hypre BoomerAMG 的在线自动调参方法,通过 LinUCB 上下文赌博机选择层级构建参数,并用递归 LSTDQ 控制器在多重网格循环间调整松弛权重,无需离线预训练即可在连续求解中降低总耗时。

Xudong He, Ruiyu Wang, Yilang Ding 等

arXiv cs.CL · cs.AI · cs.LG

ArSciKids: Arabic Curriculum-Aligned Datasets for Scientific Experiment and Multiple-Choice Question Generation in Primary Education

说明ArSciKids:面向小学科学实验与选择题生成的阿拉伯语课程对齐数据集

简介本文介绍ArSciKids,包含两个与阿拉伯语小学课程对齐的数据集:一是取自沙特、叙利亚和约旦官方小学科学教材的999条实验记录,二是来自沙特Manhaji平台的2167道选择题。两者覆盖1至6年级,均为真实教育内容。作者用LoRA微调十个开源模型,并以自动指标和人工评估进行检验,结果显示不同模型规模和任务之间差异明显。

Taghrid Housari, Massa Rankoussi, Jafar Abdul Majeed 等

arXiv cs.LG

Zeroth-Order Policy Optimization for Scheduling in Queueing Networks

说明排队网络调度的零阶策略优化

简介本文针对排队网络调度中强化学习状态空间大、转移随机性强的难题,提出只依赖平均成本估计(单一标量)的零阶策略优化算法,无需估计值函数或优势函数。研究基于背压保护策略,证明了平均成本目标关于策略参数的一致光滑性,并给出算法达到ε稳定策略的有限时间收敛保证。多个排队网络上的数值实验表明,该方法性能具有竞争力,优于PPO等基于梯度的强化学习方法和传统排队基线。

Deyi Wang, Qining Zhang, Lei Ying

arXiv cs.LG · cs.AI

Satisfied, Not Solving: Wireheading of Bounded Homeostatic Rewards in Reinforcement Learning

说明满足而非解题:强化学习中有界稳态奖励的“接线头”式投机行为

简介该论文研究一种稳态满足奖励:需求逐渐累积,满足需求即可获得奖励。作者给智能体提供了一个可以重置需求的低成本动作。在MiniGrid的DoorKey和KeyCorridor环境中,使用该动作的PPO智能体大多数种子下未能完成任务,策略接近均匀分布。论文指出,即使奖励有界,智能体仍会利用其投机。

Chase J. Metoyer

arXiv cs.LG · cs.DC

Fast and Exact Relative-Position Attention via Structure-Aware Kernels

说明基于结构感知核的快速精确相对位置注意力计算方法

简介本文提出一种精确注意力算法,将加性相对位置项融入类似FlashAttention的分块计算中,以减少重复索引与内存访问,并避免梯度累加时的原子操作冲突。作者提供了统一的Triton实现,并与朴素及专用实现对比。在8K令牌序列上,该方法前向(反向)计算最高加速1.8-6.4倍(2.0-21倍),峰值内存最多降低2.9-128倍(1.4-54倍)。

Delyan Boychev, Ivo Petrov, Dimitar I. Dimitrov

arXiv cs.LG

TRIAGE: Reliability- and Load-Conditioned Escalation for Two-Tier LLM Serving with a Semantic Evidence Judge

说明TRIAGE:面向两级大模型服务的可靠性与负载感知升级机制及语义证据评判器

简介该论文研究两级大模型服务中何时把请求从小模型升级到大模型,提出TRIAGE方法,依据生成后的可靠性状态和随负载变化的GPU成本决定是否升级。实验在一块A40上用Qwen2.5-7B与32B(AWQ)进行。作者报告了未被证实的假设与事后加入的语义证据评判器的结果,并指出7B到32B的端到端收益很小,分配器因此选择不升级。

Basavaraj R M, Aryan Bharat Kumar

arXiv cs.AI · cs.CL

Concept-Guided Prompting Strategies Increase Diversity in LLM-Generated Recipe Populations

说明概念引导提示策略提高大语言模型生成食谱群体的多样性

简介本文提出一种简单的概念引导提示方法,先生成主题概念,再在每个概念下生成回答。研究者让模型生成1000份食谱,并与人工撰写的语料对比,同时以两种朴素提示策略作为基线。结果显示,该方法在所有情形下都优于基线,语义覆盖率达到47.0%,高于前标题策略的35.1%和随机词提示策略的13.1%。作者表示,这些结果仅限于该特定任务,解决方案的质量和普适性仍需进一步研究。

Stuart Farmer

arXiv cs.LG · cs.AI

Lightweight Representation Learning for Low Tucker Rank Tensors

说明面向低Tucker秩张量的轻量级表示学习:在不改变模型的前提下降低计算与内存开销

简介该论文研究低Tucker秩张量的学习方法,这类张量可紧凑地表示多维数据之间的依赖关系。作者通过按需提取任务所需的谱分量、避免构造大型Kronecker算子进行因子级多线性收缩,以及不存储完整高维张量迭代而只更新紧凑潜状态,来减少冗余计算。在五种估计器上,实现结果与原算法轨迹在数值精度内一致;在n=100的三阶基准上,单次迭代运行时间最多降低3.12倍,常驻内存最多降低616倍。

Hiroki Hasegawa, Yukihiko Okada

arXiv stat.ML · cs.LG · math.OC

Lower Bounds on Inference Complexity for Polyak-Ruppert Averaged Stochastic Gradient Descent

说明Polyak-Ruppert平均随机梯度下降推断复杂度的下界

简介本文针对采用多项式递减步长的Polyak-Ruppert平均随机梯度下降,建立了高斯近似的尖锐下界。作者构造了一个一维光滑强凸的例子,证明其近似误差与上界相匹配。文中还给出了从单条轨迹估计极限方差的相对均值误差下界,并分析了达到给定精度所需的迭代次数。

Denis Belomestny, Alexey Naumov, Sergey Samsonov

arXiv cs.HC · cs.AI

Discussing politics with a chatbot: How political beliefs shape prompt formulation for generative AI

说明与聊天机器人讨论政治:政治信念如何影响生成式AI的提问方式

简介该研究通过一项实验,考察了563名瑞士公民使用AI聊天机器人搜索移民相关议题时的提问方式,以及选择性接触是否会影响这一过程。结果显示,对移民持更批评态度的参与者更倾向于提出带有反移民立场的问题,且该效应在广泛议题上比特定议题更明显。接触与态度一致的AI回答并未进一步加剧这种选择性,AI态度与思维风格也未显示出调节作用。

Victoria Vziatysheva, Reinhold Kliegl

arXiv cs.AI · cs.PF

Capacity Planning for Resource-Constrained Clinical LLM Serving

说明面向资源受限临床大模型服务的容量规划研究

简介该论文研究在固定加速器预算下,如何为不同规模的大语言模型分配计算容量,并决定请求的路由方式。研究在四块GPU的受控环境中,使用短事实核查、生物医学语义匹配和长文本临床摘要等任务进行实验,共测试24种配置。结果显示,机群构成对首词延迟、延迟和长文本覆盖率的影响大于路由策略。

Yi Tang, Geoffrey Martin, Yiye Zhang 等

arXiv cs.AI

CivicBench: A Benchmark and Memory Framework for Web-Based Civic Data Analytics

说明CivicBench:面向网络公共数据分析的基准与记忆框架

简介该论文提出 CivicBench,一个包含 400 项任务、覆盖四个城市和两年数据的基准,用于评估工具调用型语言智能体在网络公共数据上的分析能力,检验计算结论是否仍有记录支撑。论文还提出任务状态记忆(TSM)框架,将工具观测整理为带类型的断言,并按状态组织检索。论文报告在九组已完成的模型对比中,八组的平均得分差异为正,其 95% 区间不包含零。

Yangyu Wu, Siru Zhong, Haoyuan Liang 等

★★★★★ 值得关注
arXiv cs.CL · cs.SD · eess.AS 公开资源

GSLM2: Multi-Stream Speech Representation Learning and Generative Spoken Language Modeling

说明GSLM2:多流语音表示学习与生成式口语语言建模

简介该论文提出GSLM2,一种仅从语音中学习语言结构的生成式口语语言模型。它用自监督编码器SpidR 2.0在多个抽象层次上生成离散语音单元,并用多流模型联合建模这些单元。在最高600万小时数据和65亿参数的规模下,该模型语言能力提升、扩展效率更高,并缩小了与文本模型的差距,且在sWuggy、sBLIMP、tSC三项任务上优于部分语音-文本系统。代码与模型检查点已开源。

看点提出多流离散语音单元与多流语言模型联合建模,显著缩小与文本模型的差距,实验覆盖6M小时与6.5B参数规模。

Yosuke Higuchi, Tom Fizycki, Mahi Luthra 等

arXiv cs.CV 公开资源

GESTALT: Fast, Generalizable Histopathology Image Synthesis from Gene Expression with Pretrained Pathology Foundation Models

说明GESTALT:利用预训练病理基础模型,从基因表达快速生成组织病理图像

简介该论文提出GESTALT方法,将基因表达到图像的生成转化为预测病理基础模型的图像嵌入。轻量级基因标记Transformer从多细胞基因表达预测该嵌入,再由冻结或LoRA适配的扩散解码器PixCell渲染为图像。方法训练时间大幅缩短,在三个Xenium数据集的感知指标上优于现有最优方法GeneFlow,并支持1024×1024分辨率及多种泛化场景。

Felix Ho, Alexandros Graikos, Dimitris Samaras

arXiv cs.AI

EMG-Hybrid: A Dual-Engine Elite Memory--Guided Adaptive Optimization Framework for High-Dimensional Feature Selection

说明EMG-Hybrid:面向高维特征选择的双引擎精英记忆引导自适应优化框架

简介本文针对超高维、含噪数据集中的特征选择问题,提出三层分层优化框架EMG-Hybrid。框架包含双引擎控制器、自适应黑洞引力执行层以及精英记忆档案与离散差分进化微调模块,用于平衡全局探索与局部强化。论文报告在特征维度超过10万的数据上取得了优于现有基线的性能、显著降维和近线性并行加速。

Saba Zare, Mohammad Taheri

arXiv cs.LG · cs.AI

World Models Need Not Be Right to Rank Policies Right: Relative Bounds and Audit Limits

说明世界模型不必精确也能正确排序策略:相对误差界与审计局限

简介该论文研究用学习到的世界模型对强化学习策略进行排序,而不依赖额外的真实环境交互。作者推导了成对模拟恒等式和相对误差界,并提出 RAVEL 方法,用少量真实结果对模型淘汰进行审计。在 DMC 的 cheetah-run 和 walker-walk 任务上,45 个策略的模型排序保持较强,但配对审计的误差相关性很低,且审计区间只能认证少数决策。

Ahanaf Hasan Ariq, Hasaan Ahmad

arXiv cs.IR · cs.AI

SIDRec: End-to-End Semantic ID Representation and Modeling for Recommendation

说明SIDRec:面向推荐的端到端语义ID表示与建模

简介该论文提出SIDRec,一种端到端的、感知推荐目标的语义ID学习框架,将语义ID(把物品表示压缩为离散标识符的方法)用于推荐。它联合建模内容信息与协同信息,并让推荐监督直接指导可微量化。在三个公开基准数据集上,SIDRec在AUC和GAUC上均优于对比方法,相对最强基线的提升最高达5.15%。

Zhuohang Jiang, Yongsen Pan, Pangjing Wu 等

arXiv cs.AI

Compile as Hypothesis: A Headroom Typology for Prompt Optimization on Real Reasoning Models

说明把编译当作假设:面向真实推理模型的提示优化空间分类

简介本文检验自动提示优化器总能提升下游任务表现这一假设,在四类优化器和八项任务上做了配对、同日测量。结果显示,在强推理模型上,结构化搜索没有带来统计上显著的准确率提升,但离散结构基因组能防止无约束搜索的崩溃。论文还提出了三维的优化空间分类,并对商用 API 在故障期间的后端混用问题提供了审计工具。

Zhengshuai Yang, Changyun Li

arXiv cs.CL

Rethinking LLM Pruning via Test-Time Scaling

说明通过测试时扩展重新思考大语言模型剪枝

简介本文研究结构化剪枝(专家、前馈网络与层剪枝)后的大语言模型推理能力。在数学与代码四个基准上,通过相同采样预算下的pass@k比较原始与剪枝模型。结果显示,部分剪枝模型覆盖的问题范围可与原模型相当甚至更广,但正确解更难采样,且总token消耗可能显著增加。因此,剪枝应同时用可解决问题的范围和获得正确解的采样成本来评估。

Mingyang Song, Mao Zheng

arXiv cs.AI

HiGenTrans: Hierarchical LLM Knowledge Transfer for Generative Recommendation

说明HiGenTrans:面向生成式推荐的分层大模型知识迁移方法

简介该论文提出HiGenTrans框架,在生成式推荐中分三个层次引入大语言模型知识:输入层加入由大模型得到的用户表示,表示层对齐中间层特征,决策层用轻量混合专家模块对束搜索结果重排序。在三个公开基准上,相比最强基线,Recall@10最多提升12.9%,NDCG@10最多提升33.7%。

Zhuohang Jiang, Yuxin Chen, Haohao Qu 等

★★★★☆ 值得关注
arXiv cs.CV · cs.AI · cs.LG

What Does a Safety Label Measure? Auditing Situational-Safety Benchmarks for Multimodal LLMs

说明安全标签测量什么?多模态大模型情境安全基准的审计

简介该论文审计了多模态大模型的情境安全基准,这类基准为每个场景标注“安全”或“不安全”并据此评分。作者提出“基准卡”,列出七个可测量的字段,用于区分分数究竟来自场景本身、请求还是基准的文件与设计,并对六个基准进行了填写。结果显示,部分基准存在与场景无关的捷径信号,例如仅凭图片尺寸即可达到较高准确率;作者还提出了 Spot-Stop 分解方法,用于拆分排序与标注之间的差距。

看点提出Benchmark Card与Spot-Stop分解,区分场景、请求与基准文件对安全标签的贡献,并审计六个基准。

Wayner Barrios, Kenneth Barrios

arXiv cs.CL · cs.LG

Do Earnings Calls Help Predict Financial Restatements? Evaluating Text Beyond Public Firm Information

说明电话会议文字能否预测财务重述?评估公开信息之外的文本价值

简介该论文研究企业高管在财报电话会议中的用语能否提前预示财务重述(更正已发布财报中的错误)。作者比较了109场重述前的电话会议与218场配对对照会议。结果显示文本能预测重述,但在加入公开企业信息后并未带来可检测的排序提升;大型语言模型得分较高,但作者发现其在遮蔽文本的情况下有66%的概率能说出具体股票代码,且其发布时间晚于重述发生的时间。

Ahmet Efe, Shivank Sapra, Bilal Ahmed

arXiv cs.CV

StreamDuo: A Live Commentator and a Research Agent for Unseen Games

说明StreamDuo:面向未见游戏的实时解说与研究代理

简介该论文研究流式视频大模型在训练游戏之外的新游戏上做实时解说的跨游戏能力,发现现有解说模型能迁移解说时机,却不能迁移对游戏世界的知识。作者提出 StreamDuo,由一个可训练的解说模型和一个读取游戏维基的冻结研究代理组成,解说模型遇到无法命名的画面时请求代理检索。仅在《博德之门3》上训练后,在十款未见游戏上测试,实体召回率从0.082提升到0.116,源游戏泄露率从9.9%降到1.0%,在流式模型中时机最佳,生动度与整体质量评分最高。

Zixian Gao, Penghao Luo, Xiangcheng Cao 等

arXiv cs.LG

Zero-Gated Cross-Attention

说明零门控交叉注意力:为冻结语言模型逐步引入多模态条件的方法

简介该论文提出归纳门控交叉注意力(IGCA),一种零初始化的交叉注意力桥接结构,用于向冻结的语言模型注入非文本模态。初始化时它与预训练模型输出完全一致,之后可逐步引入多模态条件。作者在多个冻结骨干模型上进行了实验,并报告了训练与留出评估的损失结果。

Basavaraj R M, Manav Verma

arXiv cs.CL 公开资源

CompSkill: Compiling Execution Experience for Skill Retrieval

说明CompSkill:利用执行经验为技能检索编译信息

简介这篇论文提出 CompSkill,一种面向大语言模型智能体的技能检索方法。它不只依据技能描述排序,还把以往执行中的同任务对比编译成技能偏移量和受限的键残差,使经验只改变交给执行器的文档,而不改变文档内容。在 ToolQA、AppWorld 和 ALFWorld 上的实验显示,该方法在 ToolQA 中完成的任务数多于各基线,并与最强基线相当。

Qi Shen, Ziyue Zhu, Yongqing Jiang 等

arXiv cs.CL 公开资源

CogRSI: Evolving and Auditing Cognitive Reasoning Strategies

说明CogRSI:演化并审计认知推理策略

简介该论文研究语言模型能否通过改进自身策略,更好地推断他人心理状态,并检验其学到的策略是否正确。方法让模型根据故事中每个人是否看到事件进行判断,并用一条简短书面原则解决分歧;自我改进循环会自行撰写原则,只有准确率明显提高时才保留更新。学到的原则能迁移到未见过的测试集,但将规则转为代码检验后,多数规则在某些情形下会给出错误答案。

Yandan zheng, Haoran Luo, Xinliang Zhou 等

arXiv cs.RO · cs.AI 公开资源

Auriga Technical Report: A Task-Agnostic Agent Harness for Zero-Shot Embodied Manipulation

说明Auriga 技术报告:面向零样本具身操作的任务无关智能体框架

简介论文提出 Auriga,一个任务无关的智能体框架,让视觉语言模型在不做目标任务试验或重置的情况下,零样本地完成机器人操作。模型负责任务决策并通过工具调用或多步 Python 程序执行,框架提供校准的三维测量、双臂控制及执行中的偏差检测与恢复。在 RoboDojo 排行榜上,该框架以 57.7% 的成功率排名第一,在 RoboCasa365 上成功率为 73.2%。

Chengcheng Wang, Yuheng Shi, Siyu Xu 等

arXiv cs.IT · cs.LG · cs.NI

Digital Twin-Assisted Fast Beam Alignment for mmWave MIMO Networks

说明数字孪生辅助的毫米波MIMO网络快速波束对准研究

简介本文提出一种面向时延的波束管理架构,将数字孪生辅助的波束预测、基于区域的定位、加权集成学习和基于可解释性的波束剪枝整合在一个框架中。数字孪生离线生成特定场景的射线追踪信道数据,无需大量实地测量即可进行环境感知的波束预测。实验显示,该方法在实测数据上的top-1和top-3波束预测准确率分别为96.80%和98.36%,并将空口探测开销降低近一个数量级。

Muhammad Kamran Saeed, Ashfaq Khokhar

arXiv cs.LG

Mitigating Catastrophic Forgetting in Task-Free Federated Continual Forecasting via Two-Tier Replay under Concept Drift

说明在概念漂移下通过两层回放缓解无任务联邦持续预测中的灾难性遗忘

简介这篇论文研究在没有任务边界的联邦时间序列预测中,如何在概念漂移出现时减少模型遗忘旧知识的问题。作者提出一种漂移感知的持续学习流程,客户端监测预测窗口的RMSE,并在持续性能下降后才触发适应。方法还提出TwoTierReplay机制,把固定的离线代表性记忆与在线记忆分开,分别保留长期知识和漂移后的近期变化。在北京多站点空气质量数据集上,该方法在全部九种目标与预测步长组合中稳定性与可塑性得分最高,相比最强基线提升约11.4%。

Khaled Hallak, Oudom Kem

arXiv cs.LG

Scute: Exact Batched Serving for PEFT Adapters Beyond LoRA

说明Scute:超越LoRA的PEFT适配器精确批量推理系统

简介大语言模型推理系统通常只能在一块GPU上批量处理多个LoRA适配器,无法处理DoRA、(IA)、VeRA、OFT等其他参数高效微调方法的适配器。本文提出Scute,把这些方法统一写成带六个槽位的LoRA形式,并基于vLLM实现批量服务。实验显示,它能在同一批次中服务五种方法,与Hugging Face PEFT库的误差平均不超过各适配器效果的1.5%,同时相比同等数量的LoRA适配器,解码时间增加5%至17%。

Thomas Walker, Richard Baraniuk

arXiv cs.CV 公开资源

QVR3D: Query-Guided Visual Reasoning for Training-Free 3D Grounding

说明QVR3D:面向免训练三维视觉定位的查询引导视觉推理框架

简介该论文提出QVR3D框架,用于根据自然语言描述在三维场景中定位物体,无需额外训练。框架基于RGB-D观测,结合现成的基础模型,通过查询引导最大覆盖选择与查询相关的互补视角,并利用融合实例置信度、属性一致性和关系一致性的定位概率估计进行定位。作者报告其在ScanRefer和Nr3D上取得了当前最佳的零样本性能,并表明该视角选择方法还提高了多项三维视觉-语言任务的帧效率。

Jung-Hao Kao, Jing-En Huang, Jia-Wei Liao 等

arXiv cs.RO · cs.MA · cs.SY

Robust Safety Assurance for Robotic Swarms Using Decentralized Collision Verification

说明基于去中心化碰撞验证的机器人群体鲁棒安全保障

简介本文介绍了在户外无人机群上部署去中心化安全验证算法、以在运行时防止碰撞的方法、结果与分析。作者对一种基于可达集的去中心化避碰方法进行了修改与增强,并在8架无人机组成的集群上进行了实验,共记录140次户外飞行。结果显示,每个智能体平均约需500至520毫秒即可验证其未来4秒的安全性,其中可达集广播耗时(约300至500毫秒)占总验证时间的大部分。

Grant Phillips, Hoang-Dung Tran, Justin M. Bradley

arXiv cs.CV · cs.CG · cs.DC

CuPH: Parallel Cubical Persistent Homology via Level-Synchronous Component Tracking

说明CuPH:基于按层同步连通分量追踪的并行立方持久同调

简介本文提出CuPH,一种面向二维图像的GPU并行算法,用于计算立方持久同调(一种刻画图像形状与连通性的多尺度拓扑描述)。该方法直接在像素上操作,按灰度值分桶并以按层同步扫描配合无锁并查集追踪连通分量。作者证明其在整数输入上生成的持久图与标准算法一致,并给出浮点输入的稳定性界。实验显示其比现有GPU基线快18.6至99.6倍,并可作为拓扑感知分类与分割的后端。

Guangyu Meng, Pengfei Gu, Erin Wolf Chambers 等

arXiv cs.LG · cs.CL · cs.DC

Multi-Turn Semantic Caching for Low-Cost LLM Serving

说明面向低成本大模型服务的多轮语义缓存

简介语义缓存通过复用相似请求的已存回复来降低大语言模型的服务成本。论文指出,在多轮对话中,嵌入相似度难以准确预测缓存回复是否可用,并通过评审反馈学习「复用风险」,据此在预算约束下选择需要缓存的对话状态。实验显示,所提方法在数学辅导和电影票务两类对话数据上,比已有的语义缓存方法损失更低,并能降低服务延迟。

Baran Atalar, Selly Beyene, Xutong Liu 等

arXiv cs.LG · cs.CY · cs.DL

Change the Funnel, Not Who May Submit: Engineering Peer Review for the Flood

说明改变筛选漏斗而非投稿资格:为论文洪流设计同行评审

简介论文把机器学习顶会投稿量激增导致的评审负担与随机性问题作为背景,指出目前的做法是限制投稿人资格。作者在依据NeurIPS实验校准的模型中模拟了这一做法及另一方案,后者通过分阶段筛选漏斗改变论文的评判方式。结果显示,分阶段漏斗所需专家时间约为现行做法的一半多,并能使更多顶尖论文入选。

Mikhail L. Arbuzov, Lee Mosbacker, Sisong Bei

arXiv cs.CV

Grounding Across Views: Cross-View Referring Reasoning for Visual Grounding

说明跨视角指代推理:用于视觉定位的跨视角指代定位方法

简介本文针对跨视角目标地理定位任务,提出跨视角视觉定位(CVVG),以指代表达与视觉示例共同引导,在卫星图像中定位目标实例。作者提出GAV框架,通过视角感知的指代推理在视角间迁移语义与视觉信息,并在MoP-UAV数据集上取得62.55%的Acc@0.5新最优结果。同时发布了基于文本引导的CVOGL-Text基准。

Hao Gan, Liuqian Wang, Shuang Li 等

arXiv cs.LG

Synergetic Autonomous Intelligence: Three Axioms for Recursive Semi-Closed Learning

说明协同自主智能:递归半封闭学习的三条公理

简介本文提出协同自主智能(SAI)理论与设计框架,用于形成、保持、修订并组合关系的持续学习系统,基于三条公理:不被遗弃的关键区分(U)、由声明契约下的未来忠实延续定义的同一性(I),以及以允许的最低等级进行最合规局部补全(L)。作者在显式有限或仿射契约下给出U/I/L的相对一致性与条件非冗余性等结果,并给出GRC-Close生成与修复框架。

Dongxu Li

arXiv cs.LG · math.CO

On Sparse Graph Limits for Neural Combinatorial Optimization

说明关于图神经组合优化中稀疏图极限的研究

简介本文研究在小图上训练的图神经网络迁移到大图上时,哪些图信息必须保留,才能让组合优化的归一化目标值在不同规模之间保持可迁移。作者基于有限个能量特征,给出了规模迁移保证,并结合 Shapley-Folkman 界与基于有界树宽图的消息传递网络进行理论分析,同时通过精确求解器和训练模型的实验检验这些迁移保证。

Thien Le, Melanie Weber

arXiv cs.DC · cs.AI · cs.OS

Ripple: Deadline-Aware CPU-GPU Sharing for Embodied Inference

说明Ripple:面向具身推理的感知截止时间的CPU-GPU共享调度

简介该论文提出Ripple,一种CPU-GPU协同调度器,用于在统一内存的边缘设备上同时运行大模型推理与时间敏感的CPU任务。它依据模型推导的GPU显存流量和CPU任务完成反馈,将截止时间余量转换为GPU字节预算来调节干扰。在DGX Spark上的评估显示,该方法在测试的截止时间设置下,能持续满足CPU截止时间未达标率2%的目标和VLM的截止时间要求,同时保持LLM的尽力而为吞吐量。

Jiadong Zhang, Xiaosong Ma

arXiv cs.CL · cs.AI

Label Smoothing in Disguise? Gated Knowledge Distillation for Low-Resource Bangla Generation

说明标签平滑的伪装?面向低资源孟加拉语生成的门控知识蒸馏

简介本文研究门控知识蒸馏方法在孟加拉语生成任务上的效果,比较了按词元以教师置信度加权的EWAD和按样本以验证集梯度对齐加权的CHAD。实验涵盖六项以孟加拉语为中心的任务、三种学生模型和两类教师模型,结果显示门控方法在45组比较中均未显著优于普通知识蒸馏,且蒸馏整体上也未超过基于标准答案的交叉熵微调。论文认为知识蒸馏的主要收益来自正则化效果,无教师的标签平滑可弥补大部分差距。

Dipto Sumit, Zobeida Zaman Chowdhury, Syeda Fabiayee Jahan 等

arXiv cs.AI · cs.LG

Robust Reward Machine Learning and Execution in Noisy Environments

说明在噪声环境中稳健地学习与执行奖励机

简介本文提出Prob-IRM方法,在标签函数含噪声的情况下,用归纳逻辑编程从带噪声的命题历史中学习奖励机,并将其用于离散和连续环境的策略学习。该方法利用奖励机状态上的置信度决定何时重新学习,并提供额外的引导奖励。实验表明,在不同噪声水平下,其表现与使用手工奖励机的基线相当,并优于使用循环神经网络编码历史的方法。

Roko Parac, Lorenzo Nodari, Daniel Furelos-Blanco 等