AI 算法 · 2026年10月28日(周三)

机器学习、人工智能、自然语言处理、计算机视觉、多智能体。

arXiv cs.MA · cs.AI · cs.GT

Strategyproof Deep Reinforcement Learning for Online Resource Allocation

说明用于在线资源分配的策略证明深度强化学习

简介本文针对在线资源分配中的两个相互关联的问题:在未来需求不确定的情况下高效分配稀缺资源,并确保参与者如实报告任务价值与需求。作者提出首个用于在线资源分配的策略证明深度强化学习机制,包含单调神经网络、广义临界支付以及强化学习或模仿现有规则两种训练方式。在四种资源的实验中,神经规则达到离线福利上界的97.8%,模仿训练仅需261秒即达到97.5%,约比强化学习快89倍。

Fariba Dehghan, Sebastian Stein, Vahid Yazdanpanah 等

arXiv cs.CV

ALADDIN: Adversarial Latent Diffusion Distillation for One-Step Identity Swapping

说明ALADDIN:用于单步换脸的对抗式潜在扩散蒸馏方法

简介该论文提出ALADDIN方法,用于单步换脸,即把源人脸身份迁移到目标图像上,同时保持目标的姿态、表情、发型和光照。方法以预训练的多步流匹配模型初始化生成器,并在身份与目标保持约束下进行对抗训练。论文称其在同等身份迁移程度下,真实感和目标保持优于其他单步方法,并以少28倍的网络推理次数达到多步模型的水平。

Ivan Shchekotov, Timofei Gritsaev, Viacheslav Pirogov 等

arXiv math.ST · cs.LG · stat.TH

Regression Functions as Fields on Covariate Space: Evolution Equations, the Hessian, and Identification

说明把回归函数视为协变量空间上的场:演化方程、Hessian 与识别

简介论文把某一时刻结果变量对协变量的条件均值看作协变量空间上的一个场,研究协变量与结果随时间演化时该场如何变化。作者证明该场满足一个二阶演化方程,其扩散项由回归函数的 Hessian 与协变量增量的瞬时协方差加权给出,并讨论了与二次回归、核平滑偏差及二元结果下的 Nagumo 型方程和行波解的联系。

Nobuaki Tanaka

arXiv cs.CL

semanticfa: An R Package for Response-Free Semantic Factor Analysis of Psychometric Scales

说明semanticfa:用于心理量表的无需作答数据的语义因子分析R软件包

简介该论文介绍了semanticfa,一个R软件包,通过语言模型嵌入量表条目并对其语义相似度进行因子分析。作者以IPIP大五人格50题量表(使用Qwen3-Embedding-8B嵌入)为例,将结果与874,434名受访者的回答因子分析进行比较,发现两者在结构上有一定一致性,但也存在差异。论文提出“语义-行为一致性”可作为给定嵌入模型下量表的一项可测量属性,并认为语义因子分析是对基于回答的因子分析的补充而非替代。

Devon Yanitski, Chris Westbury

arXiv cs.CL

Teach reality, not ethics: a drop-in continued-pretraining corpus installs coupled human-biosphere-AI welfare dispositions across model families

说明教授现实而非伦理:一套即插即用的续预训练语料,可在多个模型系列中植入人类-生物圈-AI 的福祉倾向

简介论文指出,大语言模型越来越多地参与影响生态系统的决策,但生态推理通常不是训练重点。作者构建了一套基于真实数据的续预训练语料,涵盖人类、生物圈与 AI 的依赖关系、不可逆情境下的选项价值以及伤害后的恢复。在五个开源模型上的实验显示,在最高压力下,多数模型的有害选择大幅降至零或接近零,而通用能力测试(MMLU)基本不变。

Trent R. Northen, Mingxun Wang

arXiv cs.AI

From Interaction to Capability: Task Advancement as State and Supervision for GUI Agents

说明从交互到能力:面向GUI智能体的任务推进作为状态与监督

简介本文提出任务推进记忆(TAM),将已验证的任务进展作为核心机制,使GUI智能体能够在跨应用的长流程任务中延续既有成果,并学习可复用的操作。在MobileWorld纯GUI任务上,仅任务推进状态就将成功率从12.0%提升到28.2%;完整的TAM相比最强基线取得17.6%的相对提升,并使每个解决任务的生命周期token消耗降低38.7%。在SPA-Bench单应用英文Level 3设置中,TAM取得了当前最佳的任务成功率。

Ziyang Chen, Qian Li, Chengwei Qin

★★★★☆ 值得关注
arXiv cs.LG · cs.AI · cs.CL

Follow the Gradient: Tracing Safety Degradation Back to Training Data

说明沿梯度追踪:将安全性退化溯源至训练数据

简介论文指出,即使训练样本本身看似无害,用指令数据微调大语言模型也可能悄然削弱其安全性。作者提出可扩展的梯度嵌入方法SimpleLoRIF,用于识别梯度与不安全行为方向一致的微调样本,并借此构建去除约20%相关样本的SafeTulu数据集。在Qwen、Llama和Olmo上,训练SafeTulu可使GCG攻击成功率最多降低22%,同时基本保持或提升能力。

看点将低秩梯度归因简化并扩展到百万级数据,用于过滤安全退化数据,并在多个模型上以GCG攻击成功率下降22%验证。

Saket Reddy, Amro Abbas, Anshuman Suri 等

arXiv cs.NI · cs.AR · cs.LG

Keeping Inference in the Radio: Design and Measurement of a Spiking Accelerator for mmWave ISAC Activity Recognition

说明在无线电中完成推理:面向毫米波通感一体化活动识别的脉冲神经网络加速器设计与测量

简介该论文研究用脉冲神经网络(SNN)在毫米波通感一体化系统中识别人体活动,并在ZCU208 RFSoC上实现从微多普勒帧到活动标签的全流程可编程逻辑推理。全连接SNN在DISC数据集的未见受试者上达到94.7%准确率,单次推理耗时206微秒。与同拓扑的传统网络相比,其逻辑资源仅为八分之一,每次决策的动态能耗更低。

Anthony S\'anchez, Rafael Ruiz, Jos\'e A. Belloch 等

arXiv q-bio.QM · cs.AI

HGPRGDel: GPR-Aware Learning and Ranking for Growth-Coupled Gene Deletion Design

说明HGPRGDel:面向生长耦合基因敲除设计的GPR感知学习与排序方法

简介该论文提出一种可复用的方案,用于设计使细胞生长与目标化合物合成相耦合的微生物菌株。方法利用已有的计算设计基因敲除策略作为学习资源,为每个目标代谢物生成基因敲除优先级排序,并通过基于约束的代谢分析评估候选策略。其学习组件HGPRGDel显式表示基因-蛋白-反应(GPR)逻辑,并在e_coli_core、iMM904和iML1515上取得了较高的宏F1和AUC,其排序平均可找回MetNetComp参考基因的90%。

Ziwei Yang, Takeyuki Tamura

arXiv stat.ML · cs.LG

QD-PINN:A Physics-Informed Neural Network Approach to Bayesian Quickest Detection in High-Dimensional Diffusions

说明基于物理信息神经网络的高维扩散过程贝叶斯最快检测方法(QD-PINN)

简介论文提出一种基于PINN的框架,用于估计高维扩散过程与空间依赖情形下最快检测问题的最优停止边界,以缓解维数灾难。作者证明了自由边界偏微分方程与无限维随机优化问题之间的等价关系,并用深度集成与蒙特卡洛dropout量化学习到的停止边界的不确定性。结果显示其边界估计在独立训练和随机前向传播中波动较小,且在有参考数值解时与之十分接近。

Hang Ye, Yi Liu, Haipeng Xing

arXiv cs.CV · cs.AI

How Reliable Is Individualized Functional-Network Attribution in Resting-State fMRI Cognitive Prediction in ADNI?

说明个体化功能网络归因在ADNI静息态fMRI认知预测中可靠吗?

简介该论文研究了基于静息态功能连接的认知预测模型中,针对个体受试者的功能网络归因结果的可靠性。研究使用ADNI中875名受试者的数据,以Schaefer-200功能连接预测MMSE和ADAS-Cog13。结果显示,分半可靠性接近上限,但在重复扫描之间的可靠性明显下降;同时,个体间存在一定的人群共享结构,匹配个体的相关性也超过置换零模型,表明归因中存在适度但非零的个人特异性成分。

Sheethal Bhat, Mahfuzur Rahman Chowdhury, Imam Ahmed Shaik 等

arXiv cs.CV · cs.AI

PerceptRL: Making Visual Perception Rewardable in MLLMs from Answers to Interactions

说明PerceptRL:让多模态大模型的视觉感知可被奖励,从答案延伸到交互

简介这篇论文针对多模态大语言模型后训练中细粒度视觉感知不足的问题,提出 PerceptRL 框架。它一方面用多智能体流程从密集图像描述中提取已验证的错误,并转换为带固定答案和规则奖励的问答题进行强化学习;另一方面通过多轮视觉工具检查处理复杂情形,并加入坐标注入与兼顾空间准确性的过程奖励来纠正坐标漂移。在七个基准测试中,该方法平均准确率为 71.6%。

Tongkun Guan, Zhibo Yang, Mingkun Yang 等

arXiv cs.RO · cs.AI · cs.NE

Autonomous fixed-wing interception using reinforcement learning

说明基于强化学习的固定翼无人机自主拦截

简介本文提出一种固定翼拦截无人机,由神经网络直接将滤波后的单目视觉观测映射为执行器指令进行控制。策略在自定义 Python 环境中用强化学习(近端策略优化)训练,并部署到固定翼平台上进行真实拦截测试。在仿真中,该策略在多数条件下优于两种经典制导控制器;最终,它在真实飞行中成功拦截了机动的固定翼目标。

Daan van Hamersveld, Ewoud Smeur, Iurii Kriachko

arXiv cs.CL

What Carries Forward? Pretraining Disclosure Across Language Model Releases

说明后续发布是否延续预训练披露:对41个语言模型条目的文档审计

简介本文用2025年基础模型透明度指数中的24项预训练相关指标,审计了17个模型系列中的41个条目。作者比较了十个系列中相邻版本的得分与各项指标的增减变化。结果显示,多数相邻版本的得分下降,指标层面的披露损失多于增益,且得分持平或上升时仍可能隐藏披露减少的情况。

Md Sakib Ul Islam, S M Mehedi Zaman

★★★★☆ 值得关注
arXiv cs.AI · cs.MA

Concordat: Typed Sessions for LLM Agents

说明Concordat:面向大语言模型智能体的类型化会话协议

简介该论文提出 Concordat,一个 Python 库,把智能体的交互规则写成有限状态协议,并在运行时强制执行:每一轮只向模型开放当前状态下合法的工具,越权调用在产生副作用前被拒绝。在 tau-bench 航空任务上的实验显示,标准智能体在 50 个任务中有 13 个未经确认就修改了预订,Concordat 智能体则没有违规,任务成功率无显著差异。

看点将会话类型与类型状态应用于LLM代理的运行时协议约束,较新颖;实验仅在tau-bench航空任务上进行,规模有限。

Milad Sikaroudi

★★★★☆ 值得关注
arXiv cs.AI

M4Bench: Evaluating Procedural Specification for Clinical EHR Derivation Agents

说明M4Bench:评估临床电子病历派生代理的程序性规范

简介该论文提出M4Bench,包含MIMIC-IV和eICU上15个任务族的28项临床变量派生任务,用于测试AI编码代理能否复现这类派生,以及临床医生审核的代理技能如何影响结果。实验显示,技能平均提高奖励0.136,其中大部分增益来自规范完整性;仅有少数运行通过全部严格检查,且技能对返回行的影响很小。作者同时以开源方式发布任务、技能、评估代码和运行证据。

看点提出面向临床EHR衍生变量的新基准并分解技能价值,多组对照实验支撑结论,对该子领域有实际参考意义。

Hannes Ill, Rafi Al Attrach, Rajna Fani 等

arXiv cs.LG · physics.ao-ph · stat.ML

An Input Skip Can Reparameterize a VAE Without Improving the Generator

说明输入跳连可以重新参数化VAE,但不一定改善生成器

简介论文指出,在高斯变分自编码器中加入常数输入跳连后,若按特定方式调整解码器输出和噪声方差,模型生成样本的分布保持不变,但重建均方误差会按比例下降。作者在已知密度的高斯实验和七份DART海啸记录上发现,单纯降低重建误差并不能可靠地改善能量得分,因此评估生成质量需要超越重建误差。

Kevin Lee

arXiv cs.LG

Interpretable Meta-Policies for Neural Decision Making

说明用于神经决策的可解释元策略(NEXUS):把透明推理放在高层技能上的分层强化学习框架

简介该论文提出NEXUS,一种分层强化学习框架,将神经技能与符号化元策略结合。透明推理被放在高层技能而非原子动作上,从而显著降低符号复杂度,同时不牺牲环境表现。研究还比较了神经、符号和神经-符号三种元策略架构对环境回报和任务对齐表现的影响。

Raban Emunds, Jannis Bl\"uml, Quentin Delfosse 等

arXiv stat.ML · cs.LG

Graph Representation Learning via Adaptive Expectile Aggregation

说明基于自适应期望分位聚合的图表示学习:用可学习的期望水平替代简单平均,以更好地利用邻居信息

简介本文提出ExpectileGCN,一种自适应图聚合框架,通过可学习的期望水平(expectile level)捕捉超越均值的邻居信息,使聚合在类似最小值与最大值的行为之间连续调整,均值聚合为其特例。方法借助sigmoid平滑与不动点迭代实现可微近似,支持端到端优化。论文还给出稳定性与转导泛化保证,并在异配图模型下分析分类风险;在同配与异配基准图上的实验显示较强的预测性能,以及在特征损坏和结构扰动下的较好鲁棒性。

Tianyi Zhu, Wei Lan

arXiv cs.MA · cs.AI · cs.CL

Test-Time Communication in Trading Agent Swarms

说明交易代理群体中的测试时通信:多个自主交易代理之间的信息交流如何影响持仓趋同

Avid Fayaz, Harry Zhang, H{\aa}vard Alstadheim 等

arXiv cs.CL

ETAMem: Decoupling and Aligning Heterogeneous Memory for Long-Term Conversational Agents

说明ETAMem:为长期对话智能体解耦并对齐异构记忆

简介本文提出ETAMem,一种多视角记忆框架,用于长期对话智能体(大语言模型)。它先将对话信息拆分为原子记忆单元并识别情感信息,再按事件、情感、时间三个互补的层级视角组织这些记忆,检索时按查询分配各视角的预算。作者在LoCoMo和LongMemEval-S上进行实验,相对准确率分别提升12.46%和7.96%,并保持了有竞争力的令牌效率。

Xinying Qian, Ying Zhang, Yu Zhao 等

arXiv cs.LG

CRISP: Co-designing Pruning and Scheduling for Efficient MoE Inference on Edge Servers

说明CRISP:面向边缘服务器高效MoE推理的剪枝与调度协同设计

简介论文针对内存受限边缘设备上混合专家(MoE)模型推理的瓶颈,即专家权重搬运而非计算,提出CRISP框架。该框架按重要性重排神经元,使一个存储的专家可支持多种执行宽度,并根据组合频率和专家角色对热、温、冷组合采用差异化执行,同时利用异构宽度使专家加载与计算重叠。在Mixtral-8x7B和DeepSeek-MoE-16B上,相同内存预算下吞吐量最高提升2.1倍,相对全宽推理的精度损失限制在3.6%。

Congwei Zhang, Youming Tao, Yifei Zou 等

arXiv cs.CV · cs.AI · cs.CL

Representing the Unseen: Rethinking Visual Imagination for Spatial Reasoning

说明表示未观察到的世界:重新思考空间推理中的视觉想象

简介视觉世界模型常通过生成未观察状态的RGB视图来支持空间推理,但RGB主要因适合视觉生成而成为默认接口。作者提出基于模拟器的基准ImagiRep,包含922个问题,涵盖两种设置和七类问题,并提供RGB与深度、全景图、俯视几何等六种替代表示。结果显示,即使想象出的RGB准确,也不保证空间推理准确;不同问题受益于不同表示。作者还提出了轻量级测试时策略GEARS,用于自适应选择表示,效果优于现有方法。

Zengqi Zhao, Zun Wang, Shoubin Yu 等

★★★★☆ 值得关注
arXiv cs.SE · cs.AI

FeatureArc: Benchmarking Coding Agents on Evolving Features

说明FeatureArc:评测编程智能体在功能持续演进中的表现

简介论文提出 FeatureArc 基准,用于评测编程智能体在软件功能逐步演进中的能力:每个阶段的扩展都建立在智能体自己先前写的代码之上。任务由代码仓库历史构建,覆盖四种编程语言,并以新行为和既有行为的测试检验正确性。对 10 个智能体在 73 个任务上的评测显示,单阶段成功率为 62.7%,完整功能测试成功率降至 28.5%,常见失败原因是早期缺陷被遗留到后续阶段。

看点提出面向演化功能的编码智能体基准与自动构建流程,通过10个智能体在73个任务上的实验揭示首阶段与整体成功率的显著落差。

Yunlong Wang, Alyssa Wu, Cuiyun Gao 等

arXiv cs.CV

Segmentation Confidence for Arbitrary CNNs

说明面向任意卷积神经网络的分割置信度估计

简介卷积神经网络常用于医学图像分割,但本身缺乏置信度度量。本文探索可直接加入现有分割流程、无需从头训练的体素级不确定性估计方法,并提出一种从不确定性图中得出单一置信度分数的新方法。在不同感兴趣区域和成像模态上的评估表明,该置信度分数能够预测未见数据上的分割性能。

Baris Oguz, Xing Yao, Claudia Tawil 等

arXiv cs.LG · cs.CV

When Visual Evidence Is Insufficient: How Instructions, Post-Training, and Internal Activations Shape Refusal in Multimodal Language Models

说明当图像证据不足时:指令、后训练与内部激活如何影响多模态模型的拒答

简介该论文研究多模态大模型在图像无法回答问题时是否会拒答。作者在三个模型上基于MoHoBench基准,比较了推理时指令、监督式与偏好式后训练,以及对拒答相关激活方向的干预。结果显示拒答对指令的含义和位置非常敏感,后训练带来的拒答增幅更大,而激活干预的变化较小但可迁移。

Ananth K Suresh, Aveen Dayal, Gouthaman KV 等

arXiv cs.LG · cs.AI

Bayes-Adaptive MDPs for Rollout Allocation to Enhance GRPO Training

说明用于增强GRPO训练的贝叶斯自适应MDP滚动分配方法

简介论文指出,GRPO训练对每个问题分配相同数量的滚动采样,忽略了题目难度差异,导致难题获得的正向奖励信号不足。作者在与标准GRPO相同的总滚动预算下,提出AdaRoll-GRPO,将滚动分配建模为贝叶斯自适应马尔可夫决策过程,离线学习分配策略并在训练中应用。多个推理数据集和模型架构上的实验显示,该方法在固定预算下提升了GRPO的训练效果。

Faeze Moradi Kalarde, Armin Toroghi, Nam Ho Koh 等

★★★★☆ 值得关注
arXiv cs.AI

Beyond the Readout: A Latent Numerical Frame Shared Across Modality and Operation

说明超越读出:跨模态与运算共享的潜在数值框架

简介该论文研究多模态模型对文本或图像中的算术题(加法、减法)是否使用同一套内部数字概念。作者用因果干预在 Gemma4-12B-it 的残差流中学习子空间,发现不同条件下的数字方向不同,但通过一次旋转和缩放可以对齐,说明它们共享同一几何结构。此外,部分方向虽不影响当前输出的数字,却携带数值信息,并能引导后续数字的生成。

看点用因果干预而非相似度指标,揭示文本与图像算术共享一套数字几何,并发现不参与输出的隐藏方向承载数值,新意明显。

Oriol Juan Sabater, Alex Ferrando de las Morenas, Pau Rodr\'iguez 等

arXiv cs.LG · math.PR

Displacement Moments and Path-Terminal Separation in Brownian Interpolant Sampling

说明布朗插值采样中的位移矩与路径终端分离

简介该论文研究布朗随机插值在成对端点样本之间的采样误差,指出误差可依赖位移矩,即使端点没有一阶矩。作者对任意Borel耦合,证明了标准Euler采样在早停条件下的目标到输出KL保证。文中还分析了路径KL与终端KL的不同行为,并讨论了马尔可夫投影丢失的源信息。

Zhong Han

arXiv cs.CV · cs.GR

CTBakeGS: training-free baking of photorealistic CT volume renderings into 3D Gaussian splats

说明CTBakeGS:无需训练,将逼真的CT体绘制结果转换为3D高斯溅射模型

简介该论文提出一种无需训练的方法,把CT体数据的逼真体绘制结果直接转换为三维高斯溅射(3DGS)模型,便于在普通设备上实时显示。方法在自适应八叉树网格上放置高斯点,并在显卡上计算颜色与不透明度,同时对微弱的高斯点按概率保留。在六组公开CT扫描上的测试显示,两百万个高斯点的模型在多种传递函数下PSNR约为30至33 dB,转换一次通常只需数秒到约一分钟,转换后的模型可以每秒68帧的速度实时渲染。

Haruki Fukuda, Constantin Lux, Wolf Schweitzer 等

arXiv cs.AI

Clearing the FoG: Training KG Agents to Retrieve the Evidence Behind Their Answers

说明清理迷雾:训练知识图谱智能体检索答案背后的证据

简介本文指出,现有知识图谱问答智能体只关注答案是否正确,训练数据和奖励都不包含支撑答案的证据三元组,因此常常答对却没有检索到依据。作者提出FoG框架,通过递归隐藏实体的证据化问题合成、知识图谱交互智能体和证据覆盖过程奖励进行训练。在三个知识图谱问答基准上,3B至4B的开源智能体在答案准确率和证据覆盖率上超过了规模大得多的基线模型,并能零样本迁移到其他知识图谱。

Zongyuan Sun, Shuai Zhao, Yingjun Du 等

arXiv stat.ML · cs.LG · hep-ex

An end-to-end framework for uncertainty-aware validation of generative models

说明面向生成模型不确定性感知验证的端到端框架

简介论文提出名为 SIGMA 的端到端框架,将密度估计与不确定性量化结合。作者使用高斯混合模型,将拟合误差对应的不确定性作为讨扰参数纳入复合假设检验,使拒绝结论更可靠。在二维玩具模型和对撞机物理基准(QCD 背景过程)上的实验表明,考虑不确定性后,模型可用于规模大至十倍的测试集。

Giada Badaracco, Sean Benevedes, Christina Reissel 等

arXiv cs.GT · cs.CL

Game-Theoretic Solvers with Bayesian Opponent Modeling and Moral Rhetoric Framing for GLEE

说明用于GLEE的博弈论求解器,结合贝叶斯对手建模与道德修辞框架

简介本文介绍一个提交给GLEE竞赛的智能体,该竞赛要求在讨价还价、谈判和说服博弈中对战人类与AI对手。智能体由经典博弈论求解器计算数值行动、在线贝叶斯层估计对手类型,以及语言模型撰写配套消息三部分构成。作者还在1.32万场蒙特卡洛模拟对局、11种合成对手类型上进行了评估,并分析了9337条实际对局消息;其中说服场景的道德修辞框架与买家是否购买显著相关(χ²=616.7,p≈3.7×10⁻¹³²),在控制质量、轮次和配置后依然成立。

Hayden Arnold

arXiv cs.RO · cs.AI · cs.LG

Learning Quality-Controllable Robot Policies with Iterative Hindsight Relabeling

说明通过迭代事后重标注学习可控制质量的机器人策略

简介本文提出质量可控策略(QCP),使机器人在推理时可以控制执行速度、动作平滑度等质量属性及其组合。作者进一步设计了迭代事后重标注循环:在目标质量标签下收集在线执行数据,加入成功轨迹,并依据实测质量重新标注,然后微调策略。在 Robomimic 和 RoboEval 上的实验显示,各轮迭代中执行质量与成功率均有提升,并出现超过初始示范质量的成功执行。真实世界操作实验中,控制速度提高了传送带作业的吞吐量,控制搬运稳定性提高了搬运酒杯时的成功率。

Sinjae Kang, Dong Kyu Shin, Jaehong Kim 等

arXiv eess.SP · cs.AI

JEPA-Inspired Latent Field Prediction for Sparse-Pilot MIMO-OFDM Channel Reconstruction

说明基于JEPA思想的稀疏导频MIMO-OFDM信道重建潜在场预测

简介论文针对MIMO-OFDM系统中全信道状态信息获取开销大的问题,提出一种受联合嵌入预测架构(JEPA)启发的无线传播场世界模型。该模型将信道观测映射为潜在时频令牌,依据历史多频段上下文预测被掩码或未来的潜在场状态,并与稀疏带噪的当前导频融合以重建完整信道。基于射线追踪的实验显示,该方法的归一化均方误差优于仅用导频和直接重建的基线方法。

Yuzhi Yang, Brahim Mefgouda, Hang Zou 等

★★★★☆ 值得关注
arXiv cs.LG · cs.CL · stat.ML

LinMix: Data Mixing as Linear Domain Attribution

说明LinMix:把数据混合看作线性领域归因

简介本文研究语言模型预训练数据中各领域的混合比例如何影响性能。作者提出LinMix,在有上限的单纯形顶点上采样数据混合,使各领域处于上限或不出现,从而得到可解释的线性模型,其系数即为各领域的归因值。实验表明,在10亿与40亿参数模型上,LinMix在推理、代码和数学基准上优于基于狄利克雷采样的方法,并能支持288个细粒度领域的线性拟合。

看点将数据配比视为线性域归因问题,用顶点采样替代狄利克雷采样并给出最优性证明,思路新颖;实验覆盖两种模型与多个基准,证据较充分。

Hubert Baniecki, Przemyslaw Biecek, Martin Pawelczyk

arXiv cs.LG

How Many and How Much? Contrastive Learning with Negative Samples for Knowledge Graph Embedding

说明负样本该用多少、每个各占多大权重?知识图谱嵌入的对比学习方法RADAR

简介本文研究知识图谱嵌入的对比学习训练中,每个正样本应配多少负样本,以及每个负样本应有多大贡献。作者提出RADAR框架,包含风险感知的负样本数量分配和基于分布校准的负样本加权两项策略。在3个真实知识图谱和4种嵌入模型上的实验显示,RADAR在各组合中平均表现最好,并将采样得到的假负样本减少了90%以上。

Sooho Moon, Yunyong Ko

arXiv cs.LG · math.PR

Para-Gaussian Approximations of Random Deep Neural Networks

说明随机深度神经网络的类高斯近似

简介随机初始化的神经网络在宽度趋于无穷时呈现高斯行为,但对有限宽度的网络,这一近似较差,且层数越深误差越大。本文提出一种略偏离高斯分布的更精确近似,称为类高斯分布,由埃尔米特多项式构造。作者据此给出一种实用的递归方法来近似网络的深层,并将该理论应用于线性神经网络(可精确求解)和ReLU神经网络(可近似求解)。

Mihai Nica, Janosch Ortmann

arXiv cs.LG · cs.AI

Channel Selection for Mixture-of-Experts Decoding Needs No Calibration Data

说明混合专家(MoE)解码中的通道选择无需校准数据

简介本文研究混合专家模型解码时的通道选择问题。作者指出,基于离线校准阈值的做法既不能固定每次读取的权重量,也不能稳定提升准确率;改用每个 token 取得分最高的 k 个通道(top-k)则无需校准数据,并在多数对比中表现更好。论文还提出一种仅依赖模型自身权重的读取方法,在三个 MoE 模型上以约 17.8% 的路由专家读取量保留了约 98.1% 的全模型准确率,并报告了相应的 Triton 内核加速结果。

Geunhyoung Kim, Sung Ju Hwang

arXiv cs.RO · cs.CV · cs.LG

PDRVLA: A Vision-Language-Action Model with Physical Dynamics Representations

说明PDRVLA:带物理动力学表示的视觉-语言-动作模型

简介该论文提出PDRVLA模型,让机器人根据视觉画面和语言指令生成动作。模型包含一个轻量的物理动力学模块,从视觉-语言特征中提取物理令牌来指导动作生成,无需在控制过程中在线生成视频,以降低延迟。在四个仿真基准测试中,模型在LIBERO上成功率为99.3%,LIBERO-Plus为89.9%,RoboTwin 2.0为93.6%,SimplerEnv为81.5%。

Hanqing Wang, Zhaotian Cai, Ruichuan An 等

arXiv cs.CL

Same Verdict, Different Readers: Personalizing Fact-Checking Explanations from Relative Preferences

说明同一结论,不同读者:基于相对偏好的个性化事实核查解释改写

简介该论文针对事实核查解释难以同时满足不同背景读者的问题,提出在保持事实准确性的前提下,将已有解释改写为适合个人读者的版本。作者通过LLM模拟读者的相对偏好学习改写方法,并提出名为PERPL的框架,包括模拟偏好构建和渐进式偏好学习两部分。实验显示,该方法在个性化偏好对齐上优于规模更大的通用大模型,同时保持较高的事实忠实度。

Haokun Wen, Xuemeng Song, Mong-Li Lee 等

arXiv cs.AI · cs.LG · cs.MA

Agent-Conditioned Routing: Diverse Reasoning Paths Within One Frozen Model

说明智能体条件路由:在冻结模型内生成多样化的推理路径

简介该论文研究能否在不改变模型参数的情况下,让同一问题生成的多条解题过程呈现不同方法。作者提出智能体条件路由(ACR),为每条并行轨迹分配固定的专家可用掩码,并保留原有路由器。在126道数学与物理题上,ACR得到至少两种主要方法的题目数量明显多于温度采样,同时正确率较低。

Ananth Kalyanasundaram, Ankush Kadu, Athira Gopal 等

arXiv cs.LG

Euclidean Crowding-Driven Adaptive Euclidean-Hyperbolic Graph Learning

说明欧氏拥挤驱动的自适应欧氏-双曲图学习:比较欧氏空间与双曲空间在层级图数据上表现差异的论文,并提出一种融合两种几何的图神经网络方法。

简介论文从几何角度量化了欧氏空间在树状图嵌入中出现的拥挤现象,指出固定维度的欧氏嵌入会导致层级间的最小间隔收缩,进而削弱基于间隔的泛化界。作者同时给出了双曲几何在层级数据上更优的泛化界解释。在此基础上,论文提出EH-Fusion框架,通过指数映射将欧氏GNN表示提升到双曲空间,并依据节点邻域扩张模式自适应融合两种几何,实验验证了理论结论与方法的有效性。

Hao Chen, Jian Sun, Chuan Shi 等

arXiv math.DG · cs.LG

The Geometry of Manifold Learning: Singular foliations via Deep Learning models

说明流形学习的几何:基于深度学习模型的奇异叶状结构

简介本文研究训练好的神经网络如何在数据空间中定义几何结构。作者通过数据信息矩阵(Data Information Matrix,一种费舍尔信息矩阵的变体)得到一个叶状结构,并重点讨论使用ReLU激活函数的非光滑情形。论文证明由该矩阵列向量张成的分布在分布意义下是非光滑的,并引入仅在零测集上不同的光滑化版本。作者由此证明该光滑化分布在数据空间上诱导出奇异叶状结构。

Gabriele Novelli, Eliot Tron, Emanuele Latini 等

arXiv cs.AI

Uncovering Why LLMs Fail: From Internal Mechanisms to Adversarial Reasoning Trajectories

说明揭示大语言模型为何失败:从内部机制到对抗性推理轨迹

简介该论文提出白盒诊断框架CauTrace,通过七种功能状态、表示传播、时序状态协调与推理轨迹拓扑,分析大语言模型在普通推理失败和对抗扰动下的失败过程。研究在Qwen与LLaMA系列模型上进行,发现失败轨迹中注意力与MLP对支持状态更新的一致性较弱,且验证活动相对于承诺较少;具体表征特征和时序变化因架构而异。

Zirui Ding (1, 2), Xinxin Fan (2 等

★★★★☆ 值得关注
arXiv cs.LG

TRIDENT-Seq: Profile-Matched Prefix-Future Contrast for Label-Efficient Payment Risk Modeling

说明TRIDENT-Seq:基于画像匹配前缀-未来对比的低标注支付风险建模

简介该论文提出 TRIDENT-Seq,一种在无标签交易历史上预训练的交易基础模型,采用前缀-未来对比(PFC)方法:把每段交易前缀与活跃度特征相近的候选样本的后续行为摘要进行匹配对比。在三个生产支付业务中,预训练编码器在 0.5% 干预预算下的平均精度和召回率均优于同架构从零训练。部署评估显示,相比基于 XGBoost 的旧系统,记录的按金额计算的拒付率和总损失率分别低 37.7% 和 37.9%。

看点提出按活动画像匹配候选的前缀-未来对比预训练,显著优于随机候选;在三个生产业务上验证,标签效率提升明显,并有真实部署的损失下降结果。

Weiyu Han, Haoyu Jiang, Jie Sheng 等

arXiv cs.LG · cs.CL · cs.CV

EmbeddingGemma 2: Unified and Efficient Multimodal Representations

说明EmbeddingGemma 2:统一高效的多模态表示模型

简介本文介绍了开源多模态嵌入模型 EmbeddingGemma 2,可在同一表示空间中处理文本、图像、音频、视频及其组合。模型采用简化的逐层嵌入设计,并通过分阶段的训练课程逐步引入不同模态与训练目标。论文称其在各模态的嵌入基准测试中表现优于专用模型以及规模大两到十二倍的模型,并支持在资源受限环境下灵活部署。

Henrique Schechter Vera, Sahil Dua, Jovan Andonov 等