AI 算法 · 2026年10月19日(周一)

机器学习、人工智能、自然语言处理、计算机视觉、多智能体。

arXiv cs.LG · cs.AI

Remember Less, Adapt Longer: Bounded-State In-Context Reinforcement Learning with Recurrent Summary Memory

说明少记一些,适应更久:基于循环摘要记忆的有界状态情境强化学习

简介该论文提出循环摘要记忆(RSM),让Transformer策略精确关注近期交互的短工作缓冲区,并用固定容量的摘要保存更早经验,缓冲区满时改写摘要。实验显示,在长时间部分可观测任务中,RSM存储开销保持固定,能在训练时长八倍的范围内维持适应性能,并在任务中途变化时比增长型和循环型记忆更快重新适应。

Jiawen Wang, Cheng Xue, Peng Zhang 等

arXiv cs.LG

Which Answers Agree? Evaluating Self-Consistency from Incomplete Logs

说明哪些答案一致?基于不完整日志评估自洽性

简介本文研究自洽性(self-consistency)方法的评估问题,即生成多个回答并选出最常见答案。作者给出了在仅有正确性标签、缺乏答案一致信息时的准确率界限,并提出可对固定大小子集精确求平均投票准确率的 Plurality-U 动态规划方法。在大量推理模型输出数据上,记录弃答次数和答案选项可显著缩小准确率区间。

Zhengtao Gui, Zexi Chen, Weining Shen

arXiv cs.LG 有代码

NADS: Navigator-Guided Data Selection for Mitigating Catastrophic Forgetting in Fine-Tuning

说明NADS:面向微调中灾难性遗忘的导航器引导数据选择方法

简介大语言模型在新任务上微调时容易遗忘原有通用能力,而原始预训练数据往往无法获取。该论文提出NADS方法:先不加保留正则化地训练一个导航模型,用它与预训练模型的预测差异为合成候选数据打分,并通过高效的效用-多样性策略选出约束集合。随后在新任务数据上微调,同时在所选约束上蒸馏预训练行为。实验表明,该方法在新任务表现与通用能力保留之间取得更好平衡,并降低了选择开销。

Jianhao Zhang, Ou Wu, Yi Du

arXiv cs.LG · cs.AI 有代码

Cognitively Decoupled Meta-Induction for Out-of-Distribution Generalization

说明认知解耦元归纳:面向分布外泛化的任务级归纳表示学习

简介论文指出,上下文学习主要依赖查询与示例之间的近邻匹配,导致分布外(OOD)表现受限。作者提出认知解耦元归纳方法(CoDI),通过与查询无关的任务级归纳表示进行推理,并采用双循环元归纳学习优化跨任务的归纳器。作者称其在五个同分布与分布外基准上取得明显提升,且推理时无需显式归纳也能保留分布外增益。

Yuqian Wang, Yuanzheng Wang, Chaojun Xiao 等

arXiv cs.IR · cs.CV · cs.MA

MAPS: A Multi-Agent Personalized Script-Driven Video Advertising System Enhanced by Reinforcement Learning

说明MAPS:基于强化学习增强的多智能体个性化脚本驱动视频广告系统

简介该论文提出MAPS系统,由四个协作智能体组成闭环流程,依次完成用户画像建模、脚本生成、视频合成和基于反馈的迭代优化。其中脚本生成智能体通过带多维奖励函数的强化学习训练,使脚本同时贴合用户内容偏好与目标产品信息。文中报告,在快手广告系统的一个特定场景在线A/B实验中,相比生成式基线,MAPS使CTR提升2.87%,CVR提升2.74%,ARPU提升9.85%。

Zhongyu Wang, Chen Zuo, Qingxuan Sun 等

arXiv cs.LG

Bayesian Model Discovery with Language Models: Closing the Loop between Hypotheses and Experiments

说明用语言模型进行贝叶斯模型发现:让假设与实验形成闭环

简介该论文提出BMD方法,把大语言模型提出候选模型族与贝叶斯实验设计结合起来。数值引擎拟合参数并按模型证据加权平均预测,再选择下一组实验条件,并把更新后的信念和残差诊断反馈给大语言模型。作者称,在四个科学发现基准上,BMD的最终预测误差低于上下文学习和基于大语言模型的科学智能体,且更常恢复出精确的函数形式。

JooKyung Yuh, Byungmin Park, Eunseo Choi 等

arXiv cs.CV 有代码

Functional Cross-layer Experts Routing for One-step Diffusion Distillation

说明面向单步扩散蒸馏的功能性跨层专家路由(DeMoE):让模型在一次前向计算中更合理地分配内部容量

简介本文研究扩散模型单步蒸馏中,模型内部容量应如何组织。作者提出 DeMoE,在图像前馈层中加入一个常驻共享专家和若干按条件路由的专家切片,并使用单步分布匹配目标进行训练。在单步 FLUX.2-4B 生成的 GenEval 评测中,DeMoE 得分 0.8220,仅激活 80.5% 的图像前馈层宽度,据原文报告其整体与 50 步教师模型相当,并在复杂组合与计数上超过教师模型。

Zile Huang, Ser-nam Lim

★★★★☆ 值得关注
arXiv cs.LG

How Much Does One Wrong Answer Cost? Error Propagation in Constraint Pruning with Noisy LLM Oracles

说明一次错误回答的代价有多大:带噪声大模型预言机的约束剪枝中的错误传播

简介论文指出,利用已接受的答案(如传递性)跳过查询可以节省大模型调用,但现有分析通常假设预言机总是正确。作者认为应按预言机出错时的风险评估剪枝:一个被接受的错误答案会传播到它所蕴含的所有问题。论文分析了蕴含规则和实体解析两类约束,给出了查询顺序对错误放大程度的理论结果,并称模拟结果与各预测常数在抽样误差内一致。

看点将约束剪枝的误差传播建模为一阶风险,并给出实体解析中查询顺序的最优性结论,视角新颖;证据主要来自理论分析与模拟验证。

Zhengtao Gui (University of California, Irvine), Weining Shen (University of California 等

arXiv cs.CL · cs.AI · cs.LG

A Calibrated Instrument for Detecting Disposition Drift in Language Models

说明一种用于检测语言模型倾向漂移的校准测量工具

简介该论文借鉴一种校准测量方法,用于检测语言模型在微调后安全相关倾向(如危险请求配合、欺骗、权力寻求、谄媚)的漂移,并能可靠识别仅几个百分点的变化。研究发现,在医疗和金融建议上使用有害内容微调,引起的漂移远大于正确建议;开启推理的模型可能在答案中几乎掩盖这种变化,但其内部状态已经改变。因此作者认为,安全测试应同时考虑推理开启和关闭两种情况。

Jerry Kaplan

arXiv cs.CV · cs.RO

Think Densely, Act Sparsely: Latent Expert Cognitive Chains for Vision-Language-Action Autonomous Driving

说明密集思考、稀疏行动:面向视觉-语言-动作自动驾驶的潜在专家认知链(LECDrive)

简介自动驾驶需要对视觉、语义和几何信息进行密集理解,但现有视觉-语言-动作模型多以语言指令或轨迹等稀疏信号训练,容易丢失关键场景信息。本文提出“密集思考、稀疏行动”范式及LECDrive框架,在模型中嵌入逐层递进的潜在专家认知链,借助紧凑的潜在令牌内化DINOv3、SAM3和DepthAnything3等基础模型的知识,并采用课程式学习从表征过渡到语义与几何。实验显示,该方法在多个自动驾驶基准的物体感知、状态预测和轨迹规划任务上均提升了基础模型的表现。

Jie Wang, Guang Li, Zhijian Huang 等

arXiv cs.AI

TimelineAgent: An LLM-based Framework for Query-Centric Event Timeline Extraction Across Multiple Documents

说明TimelineAgent:面向多文档、以查询为中心的事件时间线抽取框架

简介该论文提出 TimelineAgent,一个基于大语言模型的多智能体框架,用于依据不同查询焦点从多份文档中抽取并构建事件时间线。其多阶段推理流程将异构事件特征组织为可复用技能,并通过面向目标的协议进行编排。作者还构建了覆盖多种查询焦点的评测基准,实验结果显示该框架优于现有方法。

Qingkai Min, Yunxin Bao, Yifeng Lu 等

arXiv cs.CL

Does Unlearning Survive Collaboration? Robust Unlearning for Shared-Model LLM Teams

说明遗忘能否经受协作?面向共享模型 LLM 团队的稳健遗忘方法

简介该论文指出,多个大模型组成团队协作时,遗忘效果会减弱:只检查最终答案会漏掉团队消息中仍可恢复的信息,单条消息的控制也无法保证组合后的恢复率低。作者提出聚合条件遗忘方法(ACU),利用个体与合并消息的重建反馈训练共享模型。在 TOFU 基准上,ACU 将完整轨迹的 ROUGE-L 召回恢复率从 41.8% 降至 19.3%,事实恢复率从 34.2% 降至 18.7%,同时保持相近的保留任务表现。

Hengsong Liu, Liangyu Teng, Jingnan Cai 等

★★★★☆ 值得关注
arXiv cs.LG · cs.IT · math.IT

Neural Video Coding under Limited Delay: Theoretical Optimality and System Design

说明有限延迟下的神经视频编码:理论最优性与系统设计

简介传统神经视频压缩多采用严格因果的预测编码,零帧延迟被视为固定约束。本文从信息论角度引入有限帧延迟作为设计参数,基于马尔可夫网络的团因子分解进行率失真分析,并提出图因子化顺序编码(GFSC)框架。作者给出理论结果:对于一般的K阶马尔可夫源,K帧延迟即可在一定失真区间内达到联合编码的率失真最优,这是零延迟因果编码一般无法保证的。实验表明,GFSC以轻量神经模块增强现有因果codec,在多个模型和数据集上提升了率失真性能。

看点提出有限延迟下的新理论结果(K帧延迟可达联合编码最优),并结合多模型实验验证,但该理论仅限于特定条件。

Likun Cai, Jun Chen, Ashish Khisti

arXiv cs.CL · cs.AI

No Matter Who You Are: Addressivity and Sycophancy in Large Language Models

说明无论你是谁:大语言模型中的“对话对象指向性”与谄媚

简介这篇论文研究大语言模型为何会过度附和、讨好用户。作者发现,后训练使模型输出带有“面向对话对象”的特性,并与谄媚行为相关联。通过稀疏自编码器提取方向并进行调控,研究发现只有后训练模型中的这种关联会增强或减弱谄媚,且模型对任何被识别的对话对象都会谄媚,而非针对特定身份。

Seungjong Sun, Hyunmin Jun, Minsik Yoon 等

★★★★☆ 值得关注
arXiv cs.LG · cs.AI

Anatomy of Off-Policy Policy Gradient: Importance Sampling, KL Regularization, and Baselines

说明离策略策略梯度解析:重要性采样、KL 正则化与基线

简介该论文研究大语言模型后训练中常用的离策略策略梯度方法,分析重要性采样、KL 正则化和基线三者在处理分布偏移时的作用。作者指出,要保持一致性,要么采用轨迹级重要性加权,要么采用以最优软价值为基线的 KL 正则化。后者可对应到群体相对策略梯度(GRPG),并给出有限样本的遗憾界。论文还指出基线的常数偏移可实现离线强化学习中的悲观策略。

看点提出离策略策略梯度一致性的结构性刻画,并把KL路线与GRPG、Bellman残差最小化等价,给出有限样本遗憾界,理论上有新意。

Haoqun Cao, Yurun Yuan, Tengyang Xie

arXiv cs.CL

Inside the Scorer: Mechanistic Evidence on Rubric Control in LLM-Based Automated Essay Scoring from 25 Base Models

说明深入评分器内部:基于25个基础模型的大模型作文自动评分中评分标准可控性的机制性证据

简介本文研究基于大语言模型的作文自动评分器内部是否为各个评分标准形成独立的表征,以及这些表征能否被单独控制。作者对25个开源基础模型在BESTEP英语写作任务上进行探测与引导实验。结果显示,整体分数在较长任务中可解码,各评分标准在长任务中有部分可分离的方向,但因果引导时匹配干预相对不匹配干预几乎没有优势,表明评分标准之间并非独立的控制维度。

Chungche Huang, Po-Ya Angela Wang, Shu-Kai Hsieh

arXiv cs.LG

Learning to Couple: Context-Adaptive Joint Denoising for Diffusion Language Models

说明学习耦合:面向扩散语言模型的上下文自适应联合去噪

简介扩散语言模型通过并行预测多个词元加速生成,但常见的因式分解去噪器假设这些同时预测彼此条件独立,从而产生误差。本文提出Codpula,将Transformer与可处理的概率推断层结合,由上下文决定耦合参数,得到依赖上下文的联合分布,并保持精确的条件推断。论文称其在多项推理基准上取得新的最优结果,并在数学推理和代码生成中改进了精度与延迟的权衡。

Zilei Shao, Ian Li, Heng Zhao 等

arXiv stat.ML · cs.AI · cs.LG

Corrected Block Sparse Spectral Optimization: Exact Models, Finite Identification, and Local Dynamics

说明修正后的块稀疏谱优化:精确模型、有限步辨识与局部动力学

简介论文指出标准块广义幂方法把两个不等价的目标混为一谈,并从原始问题重新建立模型,给出两种目标的恒等式及零响应列、并列、秩亏等情形的明确约定。对平方阈值目标,作者证明了全序列收敛,并在一个严格阈值间隔下得到有限步辨识支撑与符号模式。实验显示,在部分语言模型与视觉模型数据及三组单细胞数据上,稀疏块成分的表现与稠密PCA相比各有优劣,文中报告了聚类恢复指标的提升。

Omid Shams Solari

★★★★☆ 值得关注
arXiv cs.AI 有代码

Fine-Grained Units, Flat Decisions: Hierarchical Micro-Expert Pruning for Mixture-of-Experts Models

说明细粒度单元,扁平决策:面向混合专家模型的分层微专家剪枝

简介该论文针对混合专家(MoE)模型提出 UC-RAMP 后训练剪枝框架,将微专家掩码构建拆分为两个决策:先在各专家之间分配保留容量,再在既定容量内选择通道。在三个 MoE 模型、25% 和 50% 路由专家通道剪枝的设置下,UC-RAMP 在六组设置中的五组十任务平均准确率最高,并在单张 A100 上降低了首 token 时间和每 token 输出时间。

看点将微专家掩码构建拆为专家宽度分配与通道选择两阶段,并在多个MoE模型与十项任务上验证,50%剪枝下显著优于最强基线。

Zukang Xu, Xinpei Gao, Xing Hu 等

arXiv cs.CV

LEVI: Benchmarking Visual Identity Fidelity with Verifiable Low-Entropy Constructs

说明LEVI:用可验证的低熵视觉身份构造来评测图像生成的身份忠实度

简介论文提出低熵视觉身份(LEVI)概念,指由紧凑事实和明确规则确定身份、但外观可以多样的视觉对象。作者用声明式语言 VVG 描述身份结构,并构建了含 1375 个任务、覆盖六个领域的图像生成基准。在十个模型配置中,整体任务通过率最高为 58.69%,表明看似合理的图像与忠实呈现指定身份之间仍存在明显差距。

Xiao Ma, Zhonghao Zhan, Yi Tang 等

arXiv cs.AI

PFedQFT: Personalized Federated Quantum-Inspired Fine-Tuning for Medical Large Language Models

说明PFedQFT:面向医疗大语言模型的个性化联邦量子启发式微调方法

简介医疗数据因隐私和管理限制分散在各机构之间,联邦学习让各机构在不交换原始病历的前提下协作调整大语言模型。本文提出PFedQFT框架,用紧凑的共享适配器和量子启发式的正交基实现个性化联邦微调,每个客户端还保留轻量的私有残差算子。在七项公开医疗任务和多个大语言模型主干上的实验显示,可训练参数和每轮适配器上传量大幅减少,多数任务上预测性能具有竞争力。

Qihan Huang, Lingxia Zhang, Guye Zhang 等

arXiv cs.LG

Evidence Sufficiency and Model Comparisons in MexRegQA: An Item-Level Audit of Mexican-Spanish Regulatory QA

说明MexRegQA 中墨西哥西班牙语金融监管问答的证据充分性与模型比较审计

简介该论文指出,基于相似度的检索覆盖并不能证明检索到的证据包含回答问题所需的事实。作者对墨西哥西班牙语金融监管问答进行逐条审计,发现135个已覆盖条目中有35个缺少部分或全部关键事实。文章同时发布了MexRegQA v1.0基准,并建议将证据状态标签与基于依据的问答基准一同发布。

Fred Hu, Yeqi Wang (1), Xing Zhou (2) ((1) Huawei Technologies de M\'exico 等

arXiv cs.CY · cs.AI

Causal Humility: Governing the Authority of Fairness Claims Under Causal Uncertainty

说明因果谦逊:在因果不确定性下管理公平性主张的权威

简介本文提出“因果谦逊”治理框架,用于处理因果不确定性下的算法公平性判断。作者主张,对公平性的因果解释应明确其假设与遗漏,允许多种合理的因果说法并存,承认不确定结论也是合法结果,并使主张的权威与证据强度相称。论文提出用于记录这些信息的文档工具“Causal Cards”,并以UCI Adult数据集为例,展示不同因果发现方法得出的公平性路径存在差异。

Khadija Zanna, Rodrigo Ferreira, Frederick L. Oswald 等

arXiv cs.AI · cs.CL

Whose Credential Is It? How Owner Attribution in Agent MemoryShapes Cross-User Account Misuse

说明这是谁的凭证?智能体记忆中的归属标注如何影响跨用户账户误用

简介论文研究共享长期记忆的LLM智能体在服务一个用户时,可能误取另一用户凭证的问题。作者提出三阶段审计,区分凭证进入提示(暴露)、智能体使用凭证(行为)及他人账户变化(状态)三类事件。实验显示,将所有者姓名标注在凭证前后可大幅减少误用,但会略微降低正常任务的成功数。

Hau-Sing So, Daixian Liu, Carl Hou 等

arXiv cs.LG

Predictive Bandit Curriculum Reinforcement Learning via Gradient-Based Sample Group Discovery

说明基于梯度样本分组发现的预测式赌博机课程强化学习

简介该论文提出预测式梯度赌博机(PGB)课程学习方法,将投影后的样本级梯度聚类,发现按优化效果划分的学习单元。随后用轻量时序预测器预测各单元的未来效用,并将预测结果转为玻尔兹曼采样分布,以自适应方式分配训练数据。实验显示,在多种模型规模和推理基准上,PGB 优于标准 GRPO、基于难度的课程和基于历史的调度策略。

Liang Xu, Shufan Shen, Zhongni Hou 等

arXiv cs.AI

From Black Box to Controller: Inference-Time Steering of LLM via Feature Amplification

说明从黑箱到控制器:通过特征放大在推理时引导大语言模型

简介该论文提出 NeuroSteer,一种无需重新训练、可即插即用的推理时引导框架,用于灵活、定量地调节大语言模型的行为偏好。方法借助稀疏自编码器(SAE)找出与礼貌、正面情感等目标偏好对应的特征神经元,推理时放大这些特征的激活以引导输出。实验表明,该方法可在推理时改变情感、毒性、立场和礼貌程度,并在多数设置中取得更高的目标方向引导分数,但生成质量随任务和强度有所取舍。

Keqi Chen, Zekai Sun, Yuhua Wen 等

arXiv cs.LG

Stochastic Tracking of Drifting Affine Fixed Points

说明漂移仿射不动点的随机跟踪:线性随机逼近的有限时间分析

简介本文研究不动点随时间变化的线性随机逼近,观测噪声在各轮之间可能相关。作者给出常数步长下迭代值与对应不动点之间累计期望平方距离的上界,并对标量高斯模型给出下界。文中还提出一种无需已知噪声水平和不动点变化量的自适应方法,并将结果应用于变化环境中的表格式时序差分值函数估计。

Sajad Khodadadian

arXiv cs.AI

CVaR-RMD: CVaR Selection Pressure for Robust Metaheuristic Discovery

说明CVaR-RMD:用条件风险价值挑选稳健的启发式算法

简介论文提出CVaR-RMD框架,让大语言模型迭代变异可执行的启发式程序,并依据多种评估条件下的经验条件风险价值(CVaR)对候选方案排序。在三个组合优化领域的实验中,基于CVaR的选择提高了上尾性能、降低了失败率,同时保持了有竞争力的平均性能。这些改进在更大的未见实例和独立整理的领域内基准上依然成立。

Ruodai Cui, Li Niu

arXiv cs.CV · cs.MM

Multi-View Structural Representations for Physically-Consistent TeX Generation

说明基于多视角结构表示的物理一致性TeX生成方法

简介本文针对低光照图像生成,提出多视角路由混合专家框架MVR-MoE,从红外与可见光图像中挖掘结构线索并组织为多视角表示。模型通过多视角超连接扩展特征空间,并利用分层路由机制自适应地利用异构线索。预测的温度、发射率和纹理图受斯特藩-玻尔兹曼定律约束以保证物理一致性。实验表明该方法在具有挑战性的数据集上鲁棒性和可判别性更优,且模型轻量。

Daoheng Li, Jianjun Qian*, Mengkai Yan 等

arXiv cs.AI

ToolOPD: Credit-Aware On-Policy Distillation for Tool-Use Agents

说明ToolOPD:面向工具使用智能体的结果感知策略内蒸馏方法

简介论文指出,常见的策略内蒸馏假定长流程轨迹中的信用均匀分布,但分析发现信用集中在少数关键动作上,且改变结果会显著影响多个交互轮次的信用。作者提出 ToolOPD 框架,先将轨迹与结果总结为可复用的事后技能,再据此计算每个动作的结果感知信用,用于加权蒸馏损失并结合强化学习联合优化。论文称其在多个长流程工具交互基准上优于现有强化学习和自蒸馏基线。

Chu Zhao, Lei Tang, Yanming Wang 等

arXiv cs.LG · cs.AI · cs.RO

Progress-Guided Preference Generation for Aligning Generative Control Policies

说明基于进度引导偏好生成的生成式控制策略对齐方法

简介生成式策略在模仿学习中表现良好,但依赖专家示范,而现有偏好微调方法又需要昂贵的人工标注。本文提出无监督的进度引导偏好生成框架(PGPG),通过有序覆盖对齐衡量相对少量专家示范的顺序进展,从自主采集的轨迹中自动提取伪偏好标签。实验表明,在长时程操作任务上PGPG优于标准监督微调基线,并可同时用于扩散策略和流匹配策略。

Tung M. Luu, Tri Ton, Duc M. Nguyen 等

arXiv cs.LG · cs.AI

MT-CC: Multi-Group Temperature Scaling for Asymmetric Calibration Behavior in Class-Incremental Learning

说明MT-CC:面向类增量学习中非对称校准行为的多组温度缩放方法

简介论文指出,类增量学习中模型置信度的变化速度与准确率下降速度不一致,导致不同任务出现不同程度的校准偏差。作者提出后处理校准框架MT-CC,通过轻量分组网络依据置信度统计和任务信号划分样本并分别使用多个温度参数,并加入组内置信度与准确率差异(GDCA)正则项以提高组内一致性。实验表明该方法在保持准确率的同时显著改善校准表现。

Sungjun Yun, Yonghee Choi, Dong-Jun Han

arXiv cs.AI

When Safety Fails Collectively: Robust Alignment Against Harmful Fine-Tuning via Joint Weight Perturbations

说明当安全防线被集体击穿:通过联合权重扰动抵御有害微调的鲁棒对齐

简介该论文研究大语言模型在有害微调下安全对齐容易失效的问题。作者发现,有害权重扰动的各个部分单独作用有限,但合在一起会使模型有害性超过各部分效果之和。基于此,他们提出联合权重扰动(JWP)防御方法,在对齐阶段遮蔽扰动的不同部分并训练模型在这些状态下安全响应。实验显示,该方法在多种下游任务和模型系列中比既有防御更能抵抗有害微调,同时基本保持任务性能。

Zhiyuan Wang, Yuezhi Zhou, Zhu Zhang 等

arXiv cs.AI · cs.CV

BitFlat: Error-Localized Bitstream Design for Robust Diffusion Image Compression

说明BitFlat:面向稳健扩散图像压缩的错误定位比特流设计

简介本文针对基于逆向信道编码的零样本扩散图像压缩,提出无需训练的比特流框架BitFlat,用于应对比特翻转。其中,分块局部对齐(BLA)把每个扩散步的原子选择拆成独立单元,使单个比特错误只影响其所在单元;可靠性感知扩散控制(RADC)利用节省的比特施加有效码字约束,并把损坏的原子转为已知位置的擦除项,从而排除在噪声合成之外。实验在Kodak、DIV2K和CLIC2020上进行,结果显示在误码率10^-4至10^-2的范围内,BitFlat优于传统、学习型和扩散型编解码器。

Xinfeng Deng, Li Zhou, Haitao Chen 等

arXiv cs.CV

RxGS: Relightable Gaussian Stylization via BRDF Decomposition

说明RxGS:基于BRDF分解的可重光照高斯风格化

简介该论文提出RxGS,一种面向三维场景的参考图风格化方法,基于BRDF感知的三维高斯表示。它只优化通过逆渲染得到的漫反射反照率场,保留粗糙度、金属度、法线和环境光照不变,使风格化后的场景仍可在不同光照下重新渲染。在NeRF-Synthetic场景上,该方法取得了最低的几何一致性代价(GCC),在真实拍摄场景上表现也具竞争力。

Wanrong Hong, Liu Jiang, Mukesh Prasad 等

arXiv cs.LG

LOOP: Recovery-Aligned Iterative Layer Pruning via On-Policy Distillation

说明LOOP:通过同策略蒸馏实现面向恢复的迭代式层剪枝

简介该论文提出 LOOP 方法,用于压缩大语言模型。它分多轮进行剪枝:每轮只删除一层,并通过短时的同策略蒸馏恢复能力。层的选择会利用恢复过程中的信号,综合考虑各层的推理贡献与恢复敏感度。作者称,在多个基准测试中,该方法在不同模型规模和剪枝比例下,平均准确率均优于一次性剪枝的基线方法。

Liang Xu, Shufan Shen, Zhongni Hou 等

★★★★☆ 值得关注
arXiv cs.IR · cs.AI · cs.CL 有代码

Cross-Pollination Retrieval: Finding Transferable Ideas Across Fields in Scientific Literature

说明跨领域启发检索:在科学文献中寻找可迁移的思想

简介该论文研究跨领域启发检索,即在不同研究领域之间找出可迁移的思想。作者通过挖掘跨主题引用构建了大规模数据集CPR-Dataset,其中评测集含1300个查询、涵盖26个领域。结果显示,现有检索器的最佳Recall@10仅为0.26,而LLM重排序器可达0.81;对比式微调后,Recall@10最高可提升至0.70。

看点提出跨领域类比检索任务并构建大规模数据集,在多个基准上验证迁移效果,证据较充分,对检索子领域有实际价值。

Seokwon Jung, Yerang Kim, Yejin Kim 等

arXiv cs.AI

Neither Over- nor Under-Constrained: Evaluating LLM Personalization under a Constraint Qualification Audit

说明既不过度约束也不欠约束:基于约束资格审计评估大模型个性化

简介现有的大模型个性化评估方法常对回答空间约束过多或过少,导致频繁误拒和误收。作者提出 ConQual-Audit 框架,分三步:从用户画像和任务参考中提取语义约束,剪除不必要约束并补全缺失约束,再用自然语言推理对候选回答进行验证。在 PrefEval 和 LaMP 上,该框架优于九个基线方法,并在最精简的约束集上取得较低的误判率;将该审计模块接入 ExPerT 和 PREF 后,也能帮助它们得到更小、质量更高的约束集并降低误判率。

Xuran Li, Guanqin Zhang, Imran Razzak 等

arXiv cs.AI

LIRQuant: An Efficient Locally Isolated Rotation Quantization Method for Large Language Models

说明LIRQuant:面向大语言模型的高效局部隔离旋转量化方法

简介该论文提出 LIRQuant,一种面向大语言模型训练后量化的方法。它根据通道对量化噪声的敏感度,只对敏感通道应用可学习旋转,其余通道使用轻量固定旋转,以降低优化复杂度并保持异常值平滑能力。论文报告在 LLaMA-2/3、Mistral、Qwen3、Mixtral 等模型族的 W4A4KV4 设置下取得较好精度,并给出 LLaMA-3-8B 的校准时间与显存占用及推理加速数据。

Desheng Xu, Hanglin Li, Tianchen Song 等

arXiv cs.AI · q-bio.GN

HyperTaxa: Multiscale Genome Representations for Generalized Microbial Taxonomic Inference

说明HyperTaxa:面向通用微生物分类推断的多尺度基因组表示

简介该论文提出HyperTaxa框架,用于微生物分类推断。它将全基因组编码为多尺度超光谱k-mer转移场,并通过Node2Vec到MDS的两阶段方法,将表示对齐到由分类学导出的语义空间。实验显示,该方法能对训练中未见过的物种进行零样本推断,在较高分类等级上提升更明显,并在基准及大规模不相交物种评估中优于基线方法。

Akash Rao, Sushim Gupta, Vishalini Ramnath 等

arXiv cs.CV

Frechet Forcing: Training Long-Horizon Streaming World Models from Short Clips

说明Fréchet Forcing:用短片段训练可长时间生成的流式世界模型

简介流式视频世界模型逐段生成未来画面,但仅用短片段训练时,超过训练长度后误差会累积并导致漂移。本文提出 Fréchet Forcing,在三项约束下微调模型:自生成历史后的流匹配损失、基于真实片段统计的 Fréchet 距离以保持场景一致,以及冻结感知空间中的真实帧匹配以保证画面真实。训练无需教师模型、在线判别器或长视频;在 MiniWorld-1B 上微调后,生成结果在超过 4000 帧时仍保持稳定,并能在机器人操作和相机探索中继续遵循动作指令。

Yian Zhao, Yu Yan, Hongcan Guo 等

arXiv cs.RO · cs.CV 有代码

SpaRV: Sparse Radiance Voxels for Scalable Geometrically Consistent LiDAR-Visual Mapping and Rendering

说明SpaRV:用于可扩展、几何一致的激光雷达-视觉建图与渲染的稀疏辐射体素方法

简介该论文提出SpaRV,一种基于稀疏辐射体素的地图表示,通过可微光线步进渲染,并让不规则激光雷达扫描与图像共同监督建图。它利用激光雷达深度与占据信息约束几何,并通过法线与平滑正则项保持表面平滑;同时交替优化相机位姿与焦距以修正误差,并以分子地图与八叉树分层限制显存占用。原文称,在一张24GB显卡上,该方法可重建一个由63,582张图像采集的校园场景。

Jianheng Liu, Yunfei Wan, Fangming Cheng 等

arXiv cs.CV

PoSTCache: From Forecasting to Postdictive Smoothing for Revisable Diffusion Caching

说明PoSTCache:从前向预测到可修正的后向平滑,用于扩散模型缓存加速

简介该论文针对扩散与流匹配生成模型采样计算量大的问题,提出一种免训练、即插即用的缓存框架PoSTCache。它先用已有缓存策略为跳过的步骤生成前向预测,待后续完整计算步骤得到的修正信号再反向回溯,修正并重新整合之前的预测。论文还提出后验方差降低(PVR)策略来选择完整计算的锚点,实验表明其在图像和视频生成模型上改善了质量与效率的权衡。

Liwei Lan, Hui Chen, Jungong Han 等

arXiv cs.LG

Can Metadata Fix the Gauge? Calibration Turns Sparse Multi-Source Learning from Sparse PCA into Sparse Mean Recovery

说明元数据能否修正符号规范?校准将稀疏多源学习从稀疏PCA转化为稀疏均值恢复

简介该论文研究多源数据中各来源坐标定向不一致的问题。若不做校准,直接汇总各来源样本会抵消均值信号,问题退化为稀疏PCA;若有与任务无关的相对规范元数据进行同步对齐,同样的观测即可转化为稀疏均值问题。作者提出AlignedMass指标衡量校准恢复的一阶信号量,并论证有效校准可使其与样本总量成比例,从而在统计和计算上带来分离。

Yirong Xiang, Yibo Zhou

arXiv cs.IR · cs.LG

Knowledge Manifold Optimization for Scientific Discovery

说明面向科学发现的知识流形优化:在文献知识空间中同时权衡新颖性与证据支持,寻找可支撑的知识空白

简介本文提出知识流形优化(KMO)方法,把科学发现视为在文献派生的连续知识空间中进行的多目标搜索。方法同时评估知识体制边界强度、白空间新颖性、语义梯度大小和证据支持度四个目标,并找出帕累托最优的“受支持知识空白”。在一个包含99篇论文、涉及空气动力学及气动设计的语料上,研究报告了19个非支配点,其中16个构成实用前沿,并展示了方法论桥接、气动结构拓扑与流固耦合集成等不同发现模式。作者还表明,仅以距离最大化为基准会选出支持度和可靠性更低的外推区域。

Shigeru Obayashi, Yoshiaki Kawagoe, Kazuhiko Komatsu 等

arXiv cs.CV · cs.GR

FluidGen: Physics-Aware Fluid Video Generation via Motion-Guided Post-Training

说明FluidGen:通过运动引导后训练实现物理感知的流体视频生成

简介视频生成模型在烟雾、火焰、爆炸碎片等流体现象上常常失真,缺乏连贯的涡旋结构,动态单调,违背真实流体的物理规律。本文将数据驱动的流体先验注入预训练视频模型:训练数据包括带速度场真值的高精度仿真数据和真实场景流体视频。模型采用双流结构,在生成画面的同时预测每帧速度场,并以速度场作为奖励进行偏好优化。论文称其生成的流体动态比强视频基线和基于优化的方法更真实。

Yang Zheng, Zizhang Li, Boyang Deng 等

arXiv cs.LO · cs.AI · cs.SE

Beyond Leaderboards: A Method for Application-Specific Capability Profiling of Large Language Models

说明超越排行榜:面向具体应用的大语言模型能力画像方法

简介公开排行榜只能给出大语言模型的通用排名,工程师还需要针对具体应用、架构和成本做选择。本文提出一种面向具体应用的能力画像方法,并实现为容器化测试平台,每个应用各自带有数据集与评估器。实验显示,在所评估的自动化条件下,模型选择造成的差异大于框架选择,但设计并未确立普遍的因果排序;216个迁移单元中仅108个经真实Oracle数据库验证为正确,系统自报成功率高于独立观察结果。

Oleg Grynets, Vasyl Lyashkevych, Andrii Salyk 等

arXiv cs.LG · cs.AI

A "feature ODE" describing the learning behavior of shallow MLPs on simple functions

说明描述浅层多层感知机在简单函数上学习行为的“特征常微分方程”

简介本文研究两层多层感知机在各向异性高斯数据上的梯度流训练动力学。作者提出一个直观上可能描述浅层多层感知机学习过程的“特征常微分方程”(feature ODE)。实验发现,训练用于学习简单目标函数(低阶埃尔米特多项式和阶梯函数)的多层感知机,其损失曲线大致遵循该方程给出的轨迹。作者认为这种吻合出人意料,因为方程做了较大简化,且并非来自严格的近似推导,并对其原因和用途进行了讨论。

Joseph Turnbull, Berkan Ottlik, Jamie Simon

arXiv cs.LG

OPDArena: Understanding Learning and Forgetting in On-Policy Distillation

说明OPDArena:理解同策略蒸馏中的学习与遗忘

简介本文提出 OPDArena 框架,在五个预训练模型和多种教师来源下,比较监督微调(SFT)、可验证奖励强化学习(RLVR)与同策略蒸馏(OPD)。研究同时评估数学能力的学习、通用能力的保持以及预测分布的变化。结果显示,教师的选择显著影响能力保持:由 RLVR 训练的教师所指导的学生在目标任务上提升,同时保留了先前能力;而由 SFT 训练的教师所指导的学生,能力损失更大。

Yuanze Xu, Tianzhu Ye, Hui Sun 等

arXiv cs.CL · cs.AI · cs.LG

Consistency Training Suppresses Cue Following Without Teaching Cue Selectivity

说明一致性训练压制了对提示线索的跟随,但并未教会模型区分线索是否正确

简介语言模型有时会因为"我认为答案是B"这类无效提示而改变答案。本文用一致性训练(CT)让模型在有无提示时给出相同答案,并比较了输出词元、残差激活、注意力模式和采样答案率四种方法,在Gemma-2-2B-it和Llama-3.1-8B-Instruct上训练。结果显示四种方法都削弱了被训练的线索,但正确与错误线索的影响同时下降,且对位于选项之前的线索效果更强,剩余的线索诱导错误主要仍由电路注意力头承担。

Prakhar Gupta, Terry Jingchen Zhang, Zhijing Jin

arXiv cs.LG · cs.RO 有代码

Latent Projection for Latent Planning

说明潜在投影用于潜在规划:在潜在空间中剔除噪声方向后再做规划代价计算

简介该论文面向在潜在空间中规划的世界模型,指出潜在表示中包含噪声,而常用的 ℓ2 规划代价会受其影响。作者利用训练正则项(SIGReg)隐含的线性高斯结构拟合状态动态矩阵 A,得到各方向的不确定性,并把 ℓ2 代价限制在不确定性最小的 k 维子空间上。该修正是事后进行的,不改动编码器、预测器、展开与规划器,并在六个环境中评估,在 TwoRoom 与 PointMaze 两个二维导航任务上成功率有明显提升。

Yoo Sung Jang, Michael Ryoo

arXiv cs.RO · cs.CV 有代码

InteractAgent: Agentic Human Motion Interaction with Memory-Augmented Reflection

说明InteractAgent:基于记忆增强反思的智能体式人体动作交互系统

简介该论文提出InteractAgent,一个用于长时程人-场景交互的多模态大模型智能体系统,能够规划、执行、观察并反思。系统以单一多模态大模型同时担任规划者和评估者,并使用冻结的动作模型作为执行器。在UniHSI数据集上,相比免训练基线,它提高了任务成功率并减少了穿模现象。

Senhe Zhang, Tao Zhang, Yujia Zhang 等

★★★★☆ 值得关注
arXiv cs.CV

Saga: an in silico ontology for a multimodal patient world model

说明Saga:面向多模态患者世界模型的计算机内模拟本体

简介该论文提出Saga,一种多模态患者世界模型,从患者历史中学习共享状态,用于预测临床事件并生成多模态影像。模型将生成的事件和时间追加到历史中重新编码以推进预测。研究纳入112个中心的461,370名患者,涵盖12种癌症,并以随访观察对未来影像进行评估。

看点提出统一患者状态的多模态世界模型,自回归推进事件与影像轨迹,在46万患者、112中心上做了内外部验证并有对比与消融。

Youcheng Li (Peking University, Isoplex Lab), Fa Tian (Isoplex Lab) 等

arXiv cs.AI · cs.LG

Spherical Fixed-Point Reasoners: Adaptive Loop Halting on the Hypersphere

说明球面不动点推理器:在超球面上实现自适应循环停止

简介该论文提出球面不动点推理器(SFPRM),将原有不动点推理器的计算搬到归一化Transformer(nGPT)的单位超球面上进行,使输入注入、阻尼和停止判断都变为测地线操作。作者证明了不动点的存在性以及在特定条件下的局部与全局收敛性。在Sudoku-Extreme、Maze-Hard和Mini-ARC上,该方法的测试准确率分别为96.6%、87.9%和59.1%,优于对比方法。

Arber Zela, Artavazd Maranjyan, Pol Puigdemont 等

arXiv cs.CV

Negation without Confusion: Decomposing Bias and Recomposing Style in Text Embeddings for Negation-aware Image Generation

说明无混淆的否定:在文本嵌入中分解偏置并重组风格,用于否定感知的图像生成

简介文生图扩散模型常因文本表示中的隐含语言偏置而难以正确处理否定,偏置语义容易压过本意的否定约束。该论文提出一种无需训练的方法 Dero(分解与重组文本嵌入),借助辅助提示构建语义保持子空间与偏置子空间,并基于双向 SVD 进行语义解耦,再选择性重组语义成分。该方法仅作用于文本表示,可用于 U-Net 和 DiT 等不同扩散架构,实验显示在物体级与概念级否定上均有改进。

Sooyeon Park, Hemraj Singh, Kyunghyun Min 等

arXiv eess.SP · cs.LG

Sampling of Signals on Multigraphs: From Removable and Uniqueness sets to Spectral Proxies

说明多图信号采样:从可移除集与唯一性集到谱代理

简介本文研究在同一组节点上定义多个移位算子(多图)的带限信号采样问题。作者为多图信号引入与单一层无关的频率和带宽概念,并将可移除集与唯一性集推广到多图。文中提出一种汇总各层信息的聚合算子,可直接由移位算子计算,用于判定采样集是否为唯一性集,并据此设计贪心采样算法。数值实验显示,该方法比单层方法选出条件更好的采样集,重建误差更低。

Alejandro Parada-Mayorga

arXiv cs.CV

Visual Memory and Textual Alignment for Cross-Modal Few-Shot Segmentation

说明用于跨模态小样本分割的视觉记忆与文本对齐方法

简介该论文针对小样本分割任务,即在少量标注样例下分割目标物体。作者提出基于SAM 3的ViTA-SAM框架,通过视觉记忆模块编码支持样本特征与掩码,并利用文本编码器提取语义先验,再借助跨模态对齐模块使文本特征依赖记忆增强的视觉表示。此外还提出伪标签细化策略,用预测掩码更新记忆。论文称在多个基准上该方法的平均mIoU比最强对比方法高出5%以上。

Tianqi Wei, Zhi Chen, Xin Yu 等

arXiv cs.AI

Think, Compress, Answer: Reinforcement Learning for Multimodal Grounding via Reasoning Compression

说明《思考、压缩、作答:通过推理压缩进行多模态定位的强化学习》:一种让多模态大模型先推理、再压缩上下文、最后定位目标的方法

简介论文指出,多模态大模型的推理链变长后,容易扩展到整体场景和无关关系细节,稀释了目标的感知证据,导致定位模糊或出错。作者据此提出Think-Compress-Answer(TCA)框架,把定位分为自由推理、面向目标的上下文压缩和基于压缩上下文作答三个阶段,并用多阶段GRPO强化学习训练。作者称在六个多模态定位基准上,TCA取得了明显的零样本性能提升。

Jinbae Seo, Hyeongjun Kwon, Jiyoung Lee 等

arXiv cs.CV · cs.AI

ACorD: Adaptive Correspondence Discovery for Medical Image Registration

说明ACorD:面向医学图像配准的自适应对应点发现方法

简介该论文提出ACorD框架,用于医学图像配准,即对齐不同图像中的解剖结构。方法先通过相关性引导的跨尺度偏移预测生成多个候选对应点,再用多头可变形聚合以注意力机制对这些候选加权融合,以减少由粗尺度误差向精细尺度传播造成的影响。作者称在四个公开医学配准基准上的实验表明,该框架提升了配准的鲁棒性。

Arghavan Rezvani, Kun Han, Xiaohui Xie

arXiv cs.CV · cs.RO

TNVD-SC: Diagnosing Scan Context Failures in Forests with Terrain-Normalized Vertical Distributions

说明TNVD-SC:用地形归一化垂直分布诊断森林中的扫描上下文定位失败

简介该论文研究森林中长期激光雷达位置识别的难点,指出重复植被和起伏地形造成结构混淆。作者发现候选检索通常可命中正确位置,但传统扫描上下文(SC)在候选中精匹配效果有限,并提出保留环扇区拓扑、编码地形相对垂直概率分布的TNVD-SC方法。在标准化评测中,该方法的平均R@1为91.83%,并给出无损压缩实现以降低描述子大小与计算延迟。

Jineon Kim, Jhonghyun An

arXiv eess.IV · cs.LG

Uncertainty-Gated SHAP-Dirichlet Refinement for MRI-Based Depression Classification

说明基于不确定性门控的SHAP-Dirichlet后处理方法用于MRI抑郁症分类

简介本文提出一种后处理可靠性层,无需重新训练分类器即可改进基于结构MRI的重度抑郁症分类预测。方法检索相似的已标注SHAP解释,构建Dirichlet类别证据,并对不确定的预测进行概率融合修正,不可靠的病例可交由专家复核。在504名SRPBS受试者和159个解剖特征上的实验显示,该方法对TabM和ResNet的准确率有所提升,并显示出更好的校准效果。

Phuc Truong Loc Nguyen, Nguyen Truong Toan To, Truong Thanh Hung Nguyen 等

arXiv cs.CV · cs.LG

Clean Forcing: Drift-Resistant Autoregressive Video Diffusion with a Frozen Base

说明Clean Forcing:基于冻结基座、抗漂移的自回归视频扩散方法

简介自回归视频扩散模型逐段生成视频,但误差会累积,画质可能在数秒内崩坏(漂移)。该论文提出Clean Forcing,在冻结的基础模型上训练一个5.9M参数的LoRA修正器来回归这一偏差,并加入闭环训练与漂移收缩目标。在50秒文生视频中,Δ-漂移从+11.3降至无真实视频时的+1.65、用40个真实视频片段时的-0.16,文中称优于已发表的最佳结果+3.57,且所需数据少150倍以上。

Wenqing Wang, Joonghyuk Shin, Jonathan Tremblay 等

arXiv cs.CV 有代码

Confidence-Guided Pseudo-Label Refinement for Unsupervised Cross-Domain Person Re-Identification

说明基于置信度引导的伪标签精炼用于无监督跨域行人重识别

简介该论文针对无监督跨域行人重识别中域偏移产生的噪声伪标签问题,提出CGPLR框架。该框架综合质心匹配度、邻域一致性、与最强竞争簇的分离度及时间分配稳定性来估计样本可靠性,并据此对样本做保留、重分配或暂缓硬身份监督的三路选择。论文报告在Market-1501到MSMT17上Rank-1为76.4%、mAP为47.6%,在MSMT17到Market-1501上Rank-1为95.1%、mAP为87.7%。

Sundas Iqbal, Danish Ali, Qing Tian 等

arXiv cs.CV · cs.RO

Where Do the Gaussians Go? Foreground Attraction for Camera-Based Weakly Supervised 3D Occupancy

说明高斯点去哪了?面向相机弱监督三维占据预测的前景吸引

简介该论文研究仅用二维伪标签训练的相机三维语义占据模型。作者发现前景体素上的高斯密度平均仅为背景的1.62倍,于是提出一种仅用于训练的前景吸引损失,把前景像素反投影到三维点并拉近附近高斯,推理网络保持不变。在Occ3D-nuScenes上,三个随机种子的平均前景IoU由6.29提升到6.96,平均mIoU变化在基线的种子波动范围内。

Jeagon Song, Jhonghyun An

arXiv cs.AI · cs.SY · eess.SY

The Forward/Inverse Duality of Controlled Emergence:A Computational Design Program from Explanation to Engineering

说明可控涌现的正逆对偶:从解释到工程的计算设计纲领

简介本文提出一个统一研究纲领,把智能系统中“放开适应性”与“防止失控”的张力,表述为一对对偶问题:正问题由局部规则解释宏观行为,逆问题从期望目标反求可控规则与读出机制。作者以增广五元组作为共享形式对象,并把“工程性”拆分为可控性、可复现性与形式化程度三个可独立测量的维度,据此提出三个可检验的工作假设和一个可行性判据。文中说明附带的简化试点实验仅用于验证研究方案可执行,不构成对这些假设的统计检验。

Hao Li, Minghui Ren, Shaowen Lu

arXiv cs.SE · cs.AI

Selecting and Composing Agent Design Patterns: Industrial Case Evidence and Controlled Reference-System Experiments

说明智能体设计模式的选择与组合:工业案例证据与受控参考系统实验

简介本文在认知功能-执行拓扑框架基础上,提出以证据驱动的模式选择流程和显式组合契约。研究结合两个工业案例、七次从业者研讨会以及可执行的故障注入实验,在三个本地参考系统中进行 2×2 消融,覆盖 36 个场景族。受控挑战集结果显示,组合方式在每个系统中正确完成或安全拒绝 11/12 个族,而简单基线分别为 2、2、1,但这些并非生产环境成功率。

Jia Huang, Bingsheng Ru, Bo Liang 等

arXiv cs.LG

Conditional Average Treatment Effect Distillation for Hypothetical State-Intervention Targeting Under Budget Constraints

说明预算约束下用于假设性状态干预定向的条件平均处理效应蒸馏

简介本文研究在资源有限条件下,如何对公共卫生干预进行个体化定向。作者在观察性数据中,针对肥胖、血糖升高和终生吸烟史三种状态,以预先设定的协变量估计条件平均处理效应,并用决策树和随机森林等简单模型对因果森林教师模型进行蒸馏。结果显示,蒸馏后的学生模型与教师模型效用差异在0.011以内;但文中所称的显著性比较经Holm校正后不显著,结论仍需纵向或前瞻性验证。

Vasundhara Acharya, B\"ulent Yener

arXiv cs.CL · cs.AI 有代码

MapSteal: Map-based Autonomous Knowledge Stealing Attack Against Large Language Models

说明MapSteal:基于图谱的黑盒大模型自主知识窃取攻击

简介该论文提出MapSteal框架,从少量初始根节点出发,用结构化状态表示知识获取目标,并通过教师模型提出的方向递归扩展,无需学生模型反馈即可生成问答对,用于训练小型学生模型。在Qwen3.5的2B、4B、9B规模上,于六个医疗和网络安全基准中取得有竞争力的下游表现。论文同时指出,增益因领域和评测集而异。

Zhengao Li, Chuxu Zhang, Yushun Dong

arXiv cs.LG

Zephyrus-R1: Agentic Reinforcement Learning for Weather Reporting

说明Zephyrus-R1:面向天气报告的智能体强化学习

简介本文提出 Zephyrus-R1,一个用于训练天气预报文字报告的强化学习框架,重点在奖励设计、课程学习和与人类专家的对齐分析。奖励结合气象评分标准与双向论断蕴含,参照美国国家气象局的参考报告进行评估,并在模拟工具调用环境中训练视觉语言智能体。训练后的 Qwen3.5-4B 六项评分指标均值相对基础模型提升 26%,Qwen3.8-27B 提升 13%。

Fengfei Yu, Marshall Fisher, Isadora White 等

arXiv cs.CV

Recurrent Vision Transformers for Event-Based Spacecraft Pose Estimation Under Slow Relative Motions

说明基于循环视觉Transformer的事件相机航天器位姿估计(慢速相对运动场景)

简介该论文研究用事件相机估计航天器位姿,用于交会与近距离操作。针对真实轨道中相对运动很慢、事件数据稀疏导致效果下降的问题,作者提出使用循环视觉Transformer(RVT),通过循环记忆跨越较长时间的事件流,并从完整轨迹中学习时间注意力范围。实验基于在慢速相对运动下采集的真实事件数据,结果显示其位姿估计精度和稳定性优于逐事件帧或固定时间窗口的方法。

Sofia McLeod, Mohsi Jawaid, Carl Seubert 等

arXiv cs.LG · cs.AI

Weighted State Souping for Efficient Long-Context Retrieval

说明加权状态汇合:面向高效长上下文检索的方法

简介该论文针对状态空间模型(SSM)在长而拥挤的上下文中表现下降的问题,提出加权状态汇合方法:学习与查询相关的权重来组合已缓存的状态。实验覆盖文档问答、大海捞针式检索、变量追踪和工具使用等任务,结果显示长上下文性能明显提升,并可进一步得到近似恒定编码成本的稀疏变体。

William L. Tong, Aryo Lotfi, Emmanuel Abbe 等

arXiv cs.CV · cs.LG

CheXFuse: Guided Differential Joint Attention Fusion for Robust Multimodal Chest X-Ray Classification in Data-Scarce Medical Settings

说明CheXFuse:面向数据稀缺医疗场景的胸片图文多模态分类融合方法

简介该论文提出 CheXFuse 框架,采用引导式差分联合注意力(GuDJA)融合胸部 X 光图像与文本报告的表示,以减少弱信号干扰。在 IU 胸片数据集上做正常与异常的二分类实验,并设置报告掩码条件作为文本信息减少时的压力测试。原始报告下准确率为 95.73%,掩码报告下为 95.58%,作者认为该方法在模态信息不对称时具有潜力。

Muntaqim Ahmed Raju, Priyanka Siddappa, Md Shifat Haider Al Amin 等

arXiv cs.LG · cs.CL

Curriculum Learning Teaches LLMs Long-Horizon Implicit Reasoning, Up To A Limit

说明课程学习让大模型学会长程隐式推理,但存在上限

简介该研究探讨大模型能否通过课程学习,在单次前向计算中完成更长距离的隐式推理。作者用词表规模和前瞻步数逐步递增的样本微调模型,发现课程训练的 Qwen3-0.6B 在前瞻步数达 256 时准确率为 98%,无课程训练则为 45%。进展随训练放缓并趋于饱和,提示存在内在前瞻上限。该能力还能迁移到11个自然语言推理基准上。

Jimson Huang, Maxwell Nickell, Ruowang Zhang 等

★★★★☆ 值得关注
arXiv cs.LG · cs.AI

Safety Offset Learning: When Benign Fine-Tuning Misaligns LLMs

说明安全偏移学习:良性微调如何让大模型失去对齐

简介该论文指出,微调的安全风险不只取决于训练数据是否有害,还取决于监督信号是否推动模型从拒绝转向服从。作者构造了良性指令,这些指令原本容易被对齐模型拒绝,并配以原始无害回答。实验显示,仅当拒绝与答案之间的差异足够大且无法通过浅层捷径解决时,有害服从才会增加。基于此,作者提出SAFEOFF数据集,在三个对齐模型和三个安全基准上明显削弱了安全对齐。

看点提出良性微调因行为转变而削弱对齐的新视角,并构造SAFEOFF数据集,在三个模型和三个基准上验证。

Jesson Wang, Zhanhao Hu, Minghao Lin 等

arXiv cs.LG

PRISM: Prior Relational Information for Self-supervised Modeling to Enhance Solubility OOD Generalization

说明PRISM:利用先验关系信息进行自监督建模,以提升溶解度的分布外泛化能力

简介该论文提出PRISM,一种无标签的预训练框架,把专家定义的化学先验转化为关系教师信号。针对溶解度预测,它训练四个编码器,分别保留疏水、静电、极化率和子结构效应的关系信息,并用KL散度匹配距离邻域分布。论文称在骨架、溶质和溶剂等分布外设置下,PRISM与监督及自监督基线相当或更优。

Xinyi Chen, Jiahuan Pang, Titus Chima 等

arXiv cs.LG

Adversarial Post-Training of Foundation Models for High-Frequency Trading

说明面向高频交易的基础模型对抗式后训练

简介本文针对基于限价订单簿数据训练的自回归基础模型,提出一种使用 Wasserstein 生成对抗网络目标的后训练方法。方法利用进化策略在预训练生成器的低秩 LoRA 扰动上更新,并以对抗判别器评估撮合引擎的实际输出。在保留测试集上,LOB-Bench 的真实性指标提升约 17%,同时随机扰动与持续预训练对照组没有改善;误差累积速度也有所放缓。

Alexandre Bismuth, Kang Li, Aramis Marti-Shahandeh 等

arXiv cs.LG · cs.CL 有代码

Text Dominance in Paralinguistic Conflict: Tracing Suppression Through Audio LLM Circuits

说明音频大模型在副语言冲突中偏向文本:通过电路追踪抑制机制

简介该论文测试六个音频大模型在文本与语音情感、说话人身份、讽刺等副语言线索相互冲突时,是否优先采信转写文本。平均文本主导率为0.78(排除讽刺后为0.86)。在最偏向文本的模型中,说话人身份在语言模型输入处仍可线性解码,说明问题不在感知层面。注意力消融可部分恢复基于音频的输出,表明影响通过中间词元传递,且该效应仅在自由生成中出现,不出现在封闭选项测试中。

Ankur Banerjee, Vishnu Guntakala, Danity Pike 等

arXiv cs.CL · cs.LG

Cognitive Maps in Large Language Models

说明大语言模型中的认知地图:模型如何在有限信息下进行关系推理的研究

简介该论文探讨大语言模型是否会形成类似动物认知地图的内部表征。研究通过关系推理任务和对内部激活进行干预的因果实验发现,超过百亿参数的模型能推断未明说的实体关系,并把关系结构与实体身份组合起来。作者认为模型以成对链接存储关系、在查询时再组合,并借助稀疏的键值对完成绑定;通过扰动这些键值对还能植入会以可预测方式改变模型行为的“错误记忆”。

Albert Qin, Jonathan Cohen, and Gautam Reddy

arXiv cs.CV

ViMoLa: Discrete Motion Tokens for Language-Guided Video Generation

说明ViMoLa:用于语言引导视频生成的离散运动标记

简介该论文提出ViMoLa方法,从文本预测运动先验,并通过零门控交叉注意力适配器注入冻结的图像到视频骨干网络(Wan 2.2 DiT)。在46.2万段视频上训练后,方向准确率由0.287提升至0.442(随机水平0.250),生成质量与基线相近。文中也指出控制仍不完善,例如复合运动的提升较小。

Bishoy Galoaa, Sarah Ostadabbas

arXiv cs.LG

Distributionally-Robust Policy Learning with Observational Data

说明基于观测数据的分布鲁棒策略学习:在分布偏移下改进个性化干预决策的论文

简介论文研究如何用观测数据学习干预策略,使其在训练分布与部署分布不同时仍有稳健表现。作者以 f 散度球定义最坏情况下的策略价值,并提出基于交叉拟合双重稳健评分与对偶求解器的估计方法。理论上给出 O~(n^{-1/2}) 收敛率,并在满足 Tsybakov 型边际条件时得到 O~(n^{-(1+α)/(2+α)}) 的快速收敛率;实验显示在福利项目校准的数据上,分布鲁棒方法优于经验福利最大化。

Debmalya Mandal

arXiv cs.LG · stat.ML

Divergence based Ranked Preference Alignment for LLMs

说明基于散度的排序偏好对齐方法 f-RPO,用于大语言模型对齐

简介论文针对大语言模型对齐中的排序反馈,提出 f-RPO 目标函数,将基于散度的对齐方法扩展到排序偏好,成对偏好对齐是其特例。作者证明该方法在收敛时保持偏好排序的一致性。在 0.5B 至 8B 参数的 Qwen、Llama 和 Gemma 模型上,总变差与反向 KL 两种变体在排序与生成质量上均优于排序对齐基线。

Rajdeep Haldar, Yue Xing, Qifan Song

arXiv cs.CL

Assertion and Belief: Moore's Paradox in Language Models

说明断言与信念:语言模型中的摩尔悖论

简介本文研究摩尔悖论,即“下雨了,但我不相信下雨了”这类句子虽可能为真,却不宜被断言。作者首次在大语言模型中检验该悖论,评测12个模型对不同语境下摩尔式句子的判断。结果显示模型大多能识别这类句子的不恰当性,且判断并非依赖记忆中的固定句式,而与言语行为相关。随后,作者借助理性言语行为框架发现,模型的推理并非基于对说话者的考虑,而更像是回忆关于该悖论的知识并套用规则,因此模型似乎把它当作句子的事实来学习,而非对说话者的要求。

Anshun Asher Zheng, Weili Cao, Fangcong Yin 等

arXiv cs.LG

CVTA: Cross-Variable Temporal Attention for Multivariate Irregular Time Series Prediction

说明CVTA:面向多变量不规则采样时间序列预测的跨变量时间注意力方法

简介该论文针对医疗、气候和大规模监测等领域中观测时间不同步、变量异质的多变量不规则采样时间序列,提出了短期连续时间预测框架CVTA。它利用变量条件嵌入把各变量映射到各自的潜在空间,并通过时间注意力捕捉变量之间的依赖关系。作者还展示了该模块可通过动态元决策模型作为辅助模块接入现有预测模型,在多个真实基准数据集上进行了实验。

Ankitkumar Joshi, Milos Hauskrecht

★★★★★ 值得关注
arXiv cs.CL

Sharp Degree Bounds for Putinar Certificates in Terms of the Positivity Margin via Analytic Sums of Squares

说明基于解析平方和方法、以正性裕度衡量的 Putinar 证书次数的精确界

简介该论文研究在多项式正性裕度 δ 已知时,Putinar 平方和证书所需次数的上界,给出 O(δ^{-1/2}log^2(2/δ)) 的界并构造了匹配的下界例子。对于至多两个不等式生成元的情形,界改进为 O(δ^{-1/2}log(2/δ)),同样是精确的。论文还给出了环面上三角平方和证书的精确界,并由此得到 Lasserre 层级的最坏情形收敛速率。

看点证明了Putinar证书次数与正性裕度的尖锐界,并给出匹配下界,对已知界有显著改进,理论证明扎实,对子领域影响较大。

Yuxiang Zhao, Ting Gan

arXiv cs.LG · cs.CV

Finite Interaction Lens: Structured Precision Sharing for Vision-Language Models

说明有限交互透镜:视觉语言模型中的结构化精度共享方法

简介该论文提出有限交互透镜(FIL),一种用于评估视觉语言模型中有限组视觉干预的混合精度方法,用于识别多个干预之间的交互效应。它在线性投影层中把单个干预分量用更高精度计算并在联合候选中复用,同时保留混合残差。在Qwen3-VL-4B-Instruct的一个MLP中,相较于同等名义BF16乘积预算的对照方法,FIL在合成数据和两组COCO实验中分别将最终交互均方误差降低了94.4%、99.85%和99.35%,作者称其实际价值取决于任务是否需要这种额外精度。

Nozomu Fujisawa

arXiv cs.LG · cs.AI · cs.IR

Benchmark for Structured Retrieval-Augmented Generation in Perovskite Photovoltaics

说明钙钛矿光伏领域结构化检索增强生成的基准测试

简介本文提出一个定量问答基准,用于评估检索增强语言模型在钙钛矿光伏文献上的表现,其中755个标准答案直接由45,441条器件测量记录计算得出。研究比较了六种检索架构,标准段落检索的准确率为16%至23%,而加入只读SQL执行后,历史文献与新近文献上的准确率分别达到51.5%和50.8%。作者认为,系统化的表格抽取是进行文献规模定量研究的必要前提。

Qiwei Han, Chi Zhou, Gaoxiang Yuan

arXiv cs.CL

Representations in Motion: Layer-wise Rotation and Trajectory Divergence in LLMs

说明动态表征:大语言模型中的分层旋转与轨迹分歧

简介本文研究大语言模型在推理过程中各层表征如何随之变化。作者在模型被要求说谎或诚实时,考察真假陈述的事实性方向,发现不同条件下提取的方向会随层数逐渐相互旋转分离。论文还报告,三维视角任务中也出现类似旋转,并指出逐次试验的轨迹可用于预测模型的任务与行为。

Zhuonan Yang, Yik Siu Chan, Wannan Yang 等

arXiv cs.CV

DiffGround: Semantic Difference-Guided Zero-Shot Video Question Grounding

说明DiffGround:基于语义差异引导的零样本视频问题定位

简介该论文提出DiffGround,一种基于冻结多模态大模型的动作驱动零样本视频问题定位框架。它先把问题转化为动作线索,再由视觉语言模型选取关键帧,并通过比较相邻SigLIP2嵌入的语义差异,无需训练即可细化时间片段。作者称其在NExT-GQA和STAR数据集上优于现有零样本和有监督方法。

Cheng-Han Lee, Amir Salimi, Hsiang-Wei Huang 等

arXiv cs.AI

Design and Cross-Domain Evaluation of an Agent Execution Harness

说明智能体执行框架的设计与跨领域评估:规划、执行、审查三者分工协作的论文

简介论文提出一种智能体执行框架(harness),将原始任务目标与可修改的计划、执行记录分开,由规划者分配子任务、执行者产出结果、审查者对照原始要求检查。在终端任务、医疗问答、应用构建和科学问题等领域进行了评估,并同时报告结果、延迟与推理成本。

Saurav Joshi, Manas Gupta, Ashwin Venkatesh Raman 等

arXiv cs.CL

Flattening Fantasies: Analyzing Stereotypes in Pornographic Discourse

说明《扁平化的幻想》:色情话语中的刻板印象分析

简介本研究对色情网站 xHamster 上 540 万条视频标题进行大规模量化分析,考察不同国籍、族裔与性别身份在色情话语中如何被描述。结果显示美国色情内容占主导,并被视为行业隐含的标准;同时发现持续存在的族裔刻板印象、宗教物化以及对文化禁忌的性化,女性形象呈现“圣母—妓女”二元划分,男性则常被刻画为体能占优的角色。

Sarmad Chandio, Osama Khalid, Sharaf Zia 等

arXiv physics.comp-ph · cs.LG

Concurrent two-scale topology optimization of printable bone scaffolds via rectified-flow generation and exact latent-space refinement

说明基于整流流生成与隐空间精细化的可打印骨支架双尺度拓扑优化

简介该研究提出一种双尺度并行拓扑优化框架,用条件整流流生成周期性晶格微结构,再在隐空间中利用有限元均匀化灵敏度进行精细化。在远端兔股骨基准测试中,八个整流流初始化的结果均得到可打印单元,六项工程模量的最大相对误差低于1%;在人股骨重建中,皮质中段支架孔隙率为63%,近端松质骨支架孔隙率为84%,并在行走与上楼载荷下满足柔度约束。

Reza T Batley, Sourav Saha

arXiv cs.AI

Learning Which Device to Call: Online Tool Grounding for LLM Agents in IoT

说明学习该调用哪台设备:物联网中LLM智能体的在线工具落地

简介物联网中,同一项能力常由多台设备提供,而智能体的计划并未指明应调用哪一台。该论文提出一种框架,将选择问题建模为上下文多臂老虎机,结合自适应上下文划分与分层端点树,在任务成功率与服务成本之间权衡,并考虑设备能力、授权、电量与可用性。在模拟的装卸月台场景中,该方法的步骤成功率与成本调整后的服务质量优于最近设备、宣传质量、UCB1和LinUCB等方法。

Yichen Liu, Xiaochong Jiang, Haoran Yu 等

arXiv cs.LG

FTFM: Factorized Tabular Foundation Models

说明FTFM:分解式表格基础模型,在保留单元格表示的同时降低计算开销

简介论文提出分解式表格基础模型(FTFM),用于表格分类。现有模型要么保留单元格表示但计算昂贵,要么速度快却压缩行信息。FTFM为每行和每列各设一个上下文潜变量,单元格通过行列潜变量的交互更新,减少重复注意力计算,同时保留特征相关信息。论文称其在TabArena和BeyondArena等主流基准上预测性能具有竞争力。

Josif Grabocka

arXiv cs.CV

Tricking Synthetic Image Detectors with Amortized Generative Attacks

说明用摊销生成式攻击骗过合成图像检测器

简介本文系统评估了三种针对合成图像检测器的可迁移攻击,包括两种迭代扰动方法MIG、MuMoDIG以及摊销生成式攻击Tricker。作者提出双轴评估协议,分别改变用于构造攻击的替代检测器和提供输入图像的生成器,并测量攻击效果、跨检测器迁移性、图像质量与运行时间。结果显示,可迁移性同时取决于检测器和生成器的分布,MIG与MuMoDIG对检测器与生成器组合高度敏感,而Tricker表现更为稳定。

Mohamed Awad, Khaled Elhady, Yasser Rohaim 等

arXiv cs.AI · cs.CL · cs.LG

Narrow Decision Models: A System-1 Architecture for Calibrated, Typed Decisions

说明窄域决策模型:一种面向校准化、类型化决策的系统一架构

简介该论文提出“窄域决策模型”(NDM),用于替代通用大模型生成文本的做法,而是针对特定机构的决策问题给出带校准概率的答案,如从选项中选择、在有序量表上打分、判断是非题。模型体积较小,可在机构自有基础设施上运行,结构可被明确表述和测试。文中以法院来文分流为例,并报告在公开及虚构数据上的初步验证,以及一个基于真实法律文件训练的实例与生产环境中LLM分类器在91%的保留文档上结果一致。

Carlos Andr\'e Antunes, Aldry Albuquerque, Gabriel de Melo Schmith 等

arXiv cs.AI

Symbolic Constraint Agents: Mining Formal Tool-Call Constraints to Prevent Agent Errors

说明符号约束智能体:挖掘形式化工具调用约束以防止智能体出错

简介该论文提出符号约束智能体(SCA)框架,从API文档中自动挖掘符号约束,并结合执行轨迹加以修正,运行时用SMT求解器检查智能体的工具调用。违规时给出自然语言警告,若合法替代值唯一确定则自动修复。在AppWorld与τ²-bench上的实验显示,该方法提升了错误检测效果,并提高了任务成功率、减少了失败调用。

Jinu Lee, Shraddha Barke

arXiv cs.DC · cs.CV

StreamAhead: Real-Time Streaming Video Question Answering via Adaptive Precomputation

说明StreamAhead:基于自适应预计算的实时流式视频问答

简介该论文提出 StreamAhead,一种算法与系统协同设计的实时流式视频问答方法,用于在视频持续到达时以低延迟回答随时提出的问题。系统按片段自适应决定预先计算的程度,各片段保持不同的表示层级,只在查询到达时为被检索的片段补全 KV 缓存,并在 CPU 与 GPU 之间流水线调度。原文称其准确率与现有先进方法相当,首词元时间(TTFT)最多降低 10.4 倍,并能维持 30 FPS 的处理速率。

Haoyang Fan, Dhruv Parikh, Rajgopal Kannan 等

arXiv cs.AI

Editing as Language: Teaching LLM Agents a Grammar for Native Context Editing

说明将编辑作为语言:教LLM智能体一套原生上下文编辑语法

简介本文提出原生上下文编辑(NCE)框架,用一套专用特殊标记构成的语法,让语言模型智能体直接通过语言本身对自己的上下文进行编辑。在四个长时程智能体基准上,NCE相比基础模型提升了平均任务成功率,并降低了平均令牌用量。

Yunlong Deng, Yan Li, Xing Hu 等

arXiv cs.CL

EmotiQ: A Quantum Residual Specialist Framework for Text Emotion Classification

说明EmotiQ:用于文本情感分类的量子残差专家框架

简介该论文提出 EmotiQ 框架,以冻结的 Transformer 分类器为主要决策者,在验证集上找出难以区分的情感边界,再由量子编码等专家模块只在通过验证准入标准时介入修正。在六个文本情感分类数据集上,准入后的策略使平均宏 F1 高于基线,六个数据集中有五个取得正向提升。其中 ZZ 相互作用特征映射最稳定有效,平均提升 +0.0030。

Carlton Kigonya, Tanaka Chirara, Yunting Yin

arXiv cs.LG

Beyond the record: evaluating probabilistic AI weather forecasts deep in the tail

说明超越历史纪录:深入极端尾部评估概率型AI天气预报

简介本文比较了四种先进AI天气模型与基于物理的IFS-ENS集合预报在2022年陆地区域的表现,分辨率1.5度,预报时效2至10天。以1979至2021年ERA5月度纪录界定历史边界,并按超出当地历史变率的幅度衡量2022年创下的新纪录。结果显示,在热与冷纪录上,AI模型在几乎所有时效和超出幅度下都优于IFS-ENS,其中热纪录的优势随幅度增大而增强;但风的优势随幅度和时效增加而减弱。

Bastiaan Van Velthoven, Cas Decancq, Diego G. Miralles 等