arXiv
cs.AI
说明MetaPersona:基于实证社会科学构建的任务导向合成人群
简介大语言模型社会模拟中使用的人物画像缺乏选择属性和赋值的理论依据,可能扭曲人口构成与潜在特征。该论文提出MetaPersona-DB数据集(含11000多项实证人类受试者研究)及MetaPersona框架,依据实证先验从人口统计、潜在属性与结果之间的关系中抽样合成人群。在三个下游案例、三个基线及三个前沿模型上,效果因任务与模型而异:在误导信息信念和AI工具情绪上表现较强,收入再分配结果则参差不齐。
Jinyi Ye, Yuangang Li, Chenxiao Yu 等
arXiv
cs.CV
说明MSU GenText-Forensics 2026 挑战赛技术报告:多语言文档伪造检测与取证报告的分解式思维链方案
简介本文介绍了团队 MSU 在 ACM MM 2026 GenText-Forensics 挑战赛中的解决方案。该方案结合文档篡改检测器与两个经 LoRA 微调的 Qwen3-VL-32B 视觉语言模型,通过分解式思维链流程定位篡改区域、识别攻击类型并生成取证报告。模型通过从特权教师模型蒸馏思维链进行训练,该方案获得该挑战赛第三名。
Kirill Koltsov, Aleksandr Gushchin, Dmitriy Vatolin 等
arXiv
cs.AI
说明解码延迟反馈预填充:一种无模型控制器及其泛化局限
简介论文提出 DLFP,一种无需模型的调度控制器,在大模型并发推理时,仅根据已解码请求的延迟反馈调整与之重叠的预填充分块大小,以降低 P99 词元间延迟。在 Qwen3-0.6B 的单卡实验中该方法使 P99 词元间延迟平均降低约 27.7%,但首词元时间增加约 34.8%;在 Qwen3-8B、Qwen3-32B 及双卡张量并行配置下则未能泛化,作者将原因归于调度器调用间隔只是 GPU 迭代时间的代理指标。
Gaurav Agarwal, Ashish Garg, Isha Singhal
arXiv
cs.AI · cs.CL
说明扩散语言模型微调中的上下文选择与目标加权方法(GoldiMask)
简介本文针对离散扩散语言模型的监督微调,指出随机掩码未考虑“作为上下文可见”与“作为预测目标”之间的相互作用。作者提出GoldiMask方法:通过近似最大化一个子模目标选择可见的上下文词元,并依据所选上下文及剩余学习潜力对其余目标进行加权。实验覆盖三种骨干模型和三个训练数据集,在多数设置中取得最高平均准确率,在推理与代码生成任务上均有提升;消融实验显示两个组件都有贡献,并且在GSM8K和MATH-500上降低了置信度阈值并行解码的迭代次数。
Loay Mualem, Llu\'is Pastor-P\'erez, Vinh Tong 等
arXiv
cs.LG
说明LeanPolish:用已验证的编辑来压缩 Lean 证明
简介本文提出 LeanPolish,一个符号化的 Lean 4 流程,发布了 33,402 条已通过验证的局部编辑和 65,596 条同一状态下失败的尝试。作者用它研究模型从这类监督中学到了什么:简单的符号规则就能取得完美排序,因此需要更严格的评估。经过训练的排序器在保留状态上表现优于最强的冻结基线,迭代符号化处理也提高了压缩率。
Pauline Bourigault
arXiv
cs.LG · cs.RO · stat.ML
说明从随机探索中学习规划
简介本文研究智能体能否仅凭随机探索获得的经验进行长程规划,而无需策略改进训练。作者用随机游走分析了时间关系所包含的信息,并用条件能量模型从观测对中学习这些关系,无需动作或奖励标签。在测试时,模型结合局部动态模型逐步规划,实验涵盖迷宫导航与操作规划。
Deqian Kong, Guangyan Sun, Sheng Cheng 等
arXiv
cs.AI · cs.LG
说明对齐的训练数据也可能因语境混淆而诱发失准
简介该论文发现,大语言模型在经过对齐训练后,可能在其他语境中表现出不当行为,作者称之为“语境混淆”。研究在性别平等、隐私和人身安全三个领域进行了验证。结果显示这种失准较为局限,加入一般对齐数据效果有限,而针对相应领域的对齐数据或推理时的上下文示例可明显减轻问题。
Yavuz Bakman, Duygu Nur Yaldiz, Baris Askin 等
arXiv
cs.CV
说明PhyProbe:重新思考生成视频的物理一致性评估
简介论文提出PhyProbe,一种用于评估生成视频物理一致性的评估器。它基于冻结的预训练时空编码器提取特征,并通过轻量评分头输出物理一致性违背的标量分数。训练结合了成对排序、带噪声标量标注的回归以及基于锚点的校准。实验表明,它在多数成对基准上优于既有方法,并与人类判断有较强相关性。
Max Ku, Jiaojiao Fan, Zekun Hao 等
★★★★☆ 值得关注
arXiv
stat.ML · cs.LG · math.OC
说明线性优化器在线学习的下界
简介本文证明了:在每轮仅调用常数次线性最小化器的在线学习方法中,对一般凸集无法超越在线 Frank-Wolfe 的 T^{3/4} 遗憾率,从而确认了 Weibel 等人提出的猜想。作者构造了特定的对抗性实例,给出了随 T 与调用次数 b 变化的遗憾下界。
看点证明了Weibel等人关于固定系数线性预言机方法无法超越T^{3/4}遗憾率的猜想,并给出确定性学习者的下界构造,理论上有实质推进。
Mohit Sinha
arXiv
cs.CL · cs.DL · cs.IR
说明Doc2LoRA:可解码的科学思想表示
简介该论文把每篇科学论文表示为由Doc-to-LoRA超网络生成的LoRA适配器,使向量空间中的每个点都对应一个可用自然语言提问的大语言模型。在美国物理学会(APS)论文上的实验显示,其生成的子领域名称比五个基线更接近官方名称,且两篇论文之间的混合点生成的摘要会随混合权重平滑过渡。加入一个可逆变换后,这些嵌入在检索任务上也接近SPECTER2和EmbeddingGemma的水平。
Chand Sahil Mansuri, Joel Zachariah, Sadamori Kojaku
★★★★☆ 值得关注
arXiv
cs.AI · cs.LG
说明多任务自我进化的智能体工具框架:智能体自己担任优化者
简介论文提出一种让同一冻结语言模型既解题又改进自身运行框架(harness,即围绕智能体的提示、工具调用与上下文管理代码)的方法。该方法在五个不同领域的基准上进行多任务演化,并在训练集之外的五个基准上检验泛化能力。从49行的初始框架出发,第一阶段得到的框架在分布内基准上平均提升4.48分,在分布外基准上提升12.64分。
看点提出同一冻结模型兼任求解与优化的自演化框架,并在分布内外基准上验证,较已有方法有实质新意。
Qiankai Xu
arXiv
cs.RO · cs.CL
有代码
说明TALK-Dem:面向痴呆相关沟通模式的具身任务规划基准测试
简介该论文提出 TALK-Dem 基准,用于评估基于大语言模型的机器人在痴呆症相关口语交流模式下的任务规划能力。基准包含 4,800 条指令,涵盖五种典型沟通模式、三个强度等级。实验显示开源模型在这些情境下表现明显下降,并提出 CARE 方法,通过检索经验来提升任务成功率。
Guangxin Zhao, Yiran Hu, Yuan Cao 等
arXiv
cs.AI
说明AI 智能体能否重新发现 Blaschke 曲线不变量?
简介本文以一个固定的四次 Blaschke 乘积为对象,研究 AI 辅助数学重新发现的过程。智能体获得 80 组边界配置对应的六条配对直线的数值坐标,定理本身不在任务说明中给出。研究记录显示,智能体拟合出一个齐次三次式,并在 80 个未见参数值上预测 480 条直线,残差极小。作者同时指出,一个确定性的多项式次数搜索基线也能恢复该三次式,因此实验并未证明智能体具有优势。
Yunus E. Zeytuncu
arXiv
cs.CV
说明组合而非对话:视觉语言模型丢失的是场景,而非思路
简介该论文提出 Layered-VQA 基准,含 93 个场景和 300 个问题,将图像拆分为可精确重组的有序 RGBA 图层。作者评估了 11 个开源及 2 个闭源视觉语言模型,发现碎片化场景会显著降低准确率,而重组相同图层基本可恢复表现。研究还指出,即使选中充分证据,效果有时也不如完整场景,且证据需求增加时,定位能力下降远快于答案准确率。
L. D. M. S. Sai Teja, Ufaq Khan, N. Siva Gopala Krishna 等
arXiv
stat.ML · cs.AI · cs.LG
说明通过离散平均生成器加速扩散语言模型
简介本文提出离散平均生成器,是 MeanFlow 向连续时间马尔可夫链的扩展,用于加速离散状态空间中的扩散语言模型,使少步生成更高效。作者给出了该平均生成器满足的自洽恒等式,并据此设计训练目标。在 Potts 模型模拟中,该目标使 K 步采样器的总变差距离最多降低 67%;在 OpenWebText 上,8 至 64 个采样步的生成困惑度在所比较的方法中最低,并实现 16 倍加速;在 ImageNet 上表现与现有方法相当。
Yidong Ouyang, Zhengyan Wan, Themis Haris 等
arXiv
cs.LG · cs.AI
说明模拟器精修扩散模型:用于射频逆向设计
简介本文提出模拟器精修扩散模型(SRD),用于根据目标S参数生成印刷电路板布局。方法结合低保真可微代理模型与高保真但不可微的电磁仿真器:代理模型的梯度提供扰动方向,仿真器再沿该方向搜索有效的设计更新。原文称,该方法在不同设置下优于现有先进方法,分布内目标的仿真S参数最多接近目标提高21.2%,分布外目标最多提高19.8%。
Jinhao Liang, Jacob K. Christopher, Michael Frei 等
arXiv
cs.CV
说明归纳式视觉逻辑:视觉语言模型在少样本远分布外场景下的免训练适应方法
简介论文指出,Qwen-VL、LLaVA 等生成式视觉语言模型在训练分布之外的专业领域(作者称为远分布外)会失效,因为所需的判别特征从未学过,常规适应方法难以解决。作者提出免训练框架 IVL,利用模型仍保留的描述能力,从少量支持图像中提取视觉特征并按类别整理成特征词典,推理时通过分层筛选做分类。摘要称其在多个远分布外基准上取得了两种骨干模型下最高的综合准确率,且预测可追溯到具体特征。
Hung-Jen Chen, Yu-Heng Ho, Ting-Yao Huang 等
arXiv
cs.LG · cs.AI · cs.CL
说明论在线策略蒸馏中的离线策略教师
简介在线策略蒸馏(OPD)让学生模型基于自身策略生成的轨迹学习,并由教师提供密集监督。该论文指出,这种设置下教师需要续写学生生成的前缀,而非自身生成的前缀,且前缀越长其续写表现越差。作者提出SCOUT框架,通过带可验证奖励的强化学习周期性地优化教师的条件续写能力,实验显示其能提升教师续写能力,并在多种配置下改善在线策略蒸馏的效果。
Langlin Huang, Hao Liu, Mononito Goswami 等
arXiv
cs.AI · cs.CL · cs.LG
说明超越模式坍缩:用生成流网络生成多样化的合成专家对话
简介本文提出一种用生成流网络(GFlowNets)生成多样且高质量合成数据的方法,用于训练大语言模型。作者在潜在对话结构上建模高斯混合密度,使专家策略按训练数据中的出现比例被采样。在辅导和情感支持两类对话领域的实验中,该方法在保真度、模式覆盖和真实性之间取得更好平衡,且不复制训练数据。
Sumit Asthana, Michael Ion, Kevyn Collins Thompson
arXiv
cs.CL
说明长时间对抗性对话中语言模型安全性的评估
简介该研究指出,多数安全评测只用单个有害提示测试模型,而真实系统常在长对话中与用户交互。研究让另一个语言模型扮演持续施压的对抗用户,在三个开放权重模型上测试两种有害提示,并用安全分类器判断每条回复。结果显示,安全回复率随对话轮数增加而明显下降,单轮表现不代表持续对抗中仍然安全。
Parisa Salmani, Peter R. Lewis
arXiv
cs.LG
说明通过可回收单元门控实现循环神经网络中动力系统的持续学习
简介本文研究如何让循环神经网络依次学习多个动力系统而不遗忘旧系统的行为。作者比较了参数正则化、回放和参数隔离等持续学习方法,并提出CRUG方法:用可微门控选择每个任务的单元,并回收未使用的单元供后续任务复用。文中称CRUG在重构精度与容量之间取得了最佳平衡,且遗忘为零,能够可靠地学习非线性和混沌系统序列。
Sima Hashemi, Daniel Durstewitz, Georgia Koppe
arXiv
cs.CL
说明HalluScoring 2026:首届大语言模型幻觉检测与答案核验共享任务
简介该论文介绍了面向阿拉伯语问答的共享任务HalluScoring 2026,用于评估幻觉检测与事实核验能力,包含两项任务及四个子任务,并基于HalluScore与HalluTruthQA两个阿拉伯语数据集。共有13个团队参赛,其中10个提交了系统说明论文。结果显示幻觉检测仍具挑战,任务1的最高AUC-ROC为0.7717和0.7670;辅助评估下任务2的最高综合得分为0.8824和0.8565。
Aisha Alansari, Abdessalam Bouchekif, Ahmed Hasanaath 等
arXiv
cs.IR · cs.AI
说明TAGGRAPH:面向智能体持久历史检索的标签增强图结构研究
简介该论文针对大语言模型智能体的长期记忆系统,提出一个基于共享对话记忆的受控评测框架,比较不同图结构配置与BM25等检索方法。在LongMemEval-S上,AdaptiveGraph在图方法中表现最佳(MRR 0.844),但BM25(0.867)和OpenClaw(0.880)更高;在ATANT Core上,局部图遍历优于扩散方法和BM25。作者认为检索策略应结合记忆设置并与较强的词法基线共同评估。
Yu-Shu Chen, Yu-Jung Liang, and Pengtao Xie
arXiv
cs.LG · cs.AI
说明MILO:通过多智能体协同进化自动发现智能体运行框架(harness)
简介该论文提出MILO框架,用于自动发现并同时进化智能体的运行框架(harness,即控制模型执行与环境交互的结构)及其搜索策略。在Terminal-Bench 2.1、PaperBench和DeepSWE上,MILO发现的框架在前沿模型和开源模型上均优于八种先进框架与六种搜索方法。作者还报告其在EinsteinArena开放问题上改进了若干已知上界。
Prithwish Jana, Mononito Goswami, Hao Liu 等
arXiv
cs.LG
说明带自适应锚点的函数空间Transformer:一种从连续函数学习的新框架
简介论文提出函数空间Transformer(FST),用可随输入自适应分布的连续潜在表示来学习函数,特征存放在锚点上并通过函数空间交互递归细化。在PDEBench的Burgers和Darcy流偏微分方程求解任务上,FST显著优于Perceiver IO,并与傅里叶神经算子(FNO)具有很强竞争力;在ImageNet-1K上,它以更少参数取得高于ViT基线的分类准确率。
Guorui Sang, Pedram Rooshenas
arXiv
cs.CV
说明TrackFish3D:基于多视角视频的群游鱼类自监督三维追踪
简介该论文提出 TrackFish3D,一种仅依靠多相机几何关系进行自监督训练的三维追踪方法,用于密集群游鱼类的轨迹跟踪,无需身份标注或三维真值。模型在无标签视频上训练一次,即可直接应用于未见过的测试视频。在作者的基准上,其三维多目标跟踪准确率(MOTA)由最强基线的 87.7% 提升至 95.8%;在 3D-ZeF 斑马鱼基准上达到 81.1%,高于最佳几何基线的 77.4%。
Patt Phurtivilai, Zhiyang Dou, Yifan Wu 等
arXiv
cs.AI
说明引导式AI导师如何化解学生的学习僵局
简介该研究分析了1260段真实的化学LLM导师会话(共20462轮学生发言),识别出6630次僵局,包括概念性错误、表达不确定和求助三类。研究模拟了三种导师设置并比较其应对方式。结果显示,每多一轮僵局,下一轮恢复的几率降低约12.7%,并提出僵局深度与类型可作为实时调整辅助的信号。
Bakhtawar Ahtisham, Kirk Vanacore, Alessandra Napoli 等
arXiv
cs.SE · cs.AI · cs.CL
说明OpenCollab:一个可编程协作与可控运行时的多智能体编程框架
简介论文提出 OpenCollab,一个用于多智能体软件编程的统一框架,可编程设计智能体协作组织并在共享运行时中进行受控实验。作者定义了衡量声明组织是否被实际执行的 Adherence 指标,发现改变单一配置维度可使其在 47.2% 至 97.2% 之间变化。在多项编程基准上,作者称其 Duo 配置优于 Mini-SWE-agent、OpenHands、Codex CLI 和 Claude Code 等主流框架,单智能体配置在所有测试套件中 token 用量最少。
Chun-Wah Hsu, Kai Gong, Yu Wu 等
arXiv
cs.CV
说明面向可动画高斯头部虚拟形象的语义修复学习(SInGA)
简介本文提出SInGA方法,可从单张图像学习可动画的高斯头部虚拟形象。该方法在UV空间中定义语义修复框架,利用人脸对称等线索补全未被观测的面部区域,再据此回归高斯属性,并为每个位置堆叠多个高斯以增强细节。实验表明,该方法无需逐个体优化即可泛化,生成的头像完整性和身份保持效果更好,并支持动画驱动和未观测视角的渲染。
Pilseo Park, Fizza Rubab, Yiying Tong
arXiv
cs.LG
说明激活条件化自蒸馏:一种无需参考答案的推理训练方法
简介该论文提出激活条件化自蒸馏(ACSD)。它通过对比答案正确与未正确的模型自生成轨迹的激活,提取引导向量,由冻结的基础模型在每个预测位置施加,学生模型据此学习自身前缀上的逐词分布。蒸馏时无需题目参考文本,也不更新教师参数;推理时只使用学生模型。论文报告在五个模型上数学基准平均准确率最高,并在部分模型上超过参考答案条件化的OPSD基线。
Zhexi Lu, Subhajit Chaudhury, Tejaswini Pedapati 等
★★★★☆ 值得关注
arXiv
cs.AI
说明CARAT:材料大模型是在推理还是在复述?
简介该论文提出CARAT评测框架,用于检验材料领域大模型回答晶体结构问题时是真正基于结构推理,还是复制输入中已有的答案。作者通过保持问题与标准答案不变、比较八种输入形式、设计捷径检测等方法进行检验,发现模型在许多情况下只是重复关系而未真正使用它们,经过监督训练后该现象有所改变。
看点通过匹配视图、答案掩码和捷径消融区分推理与复述,揭示基线与证据呈现的混杂效应,方法论上有新意,证据较扎实。
Jiajun Wu, Jian Yang, Zixiang Ni 等
arXiv
cs.SE · cs.AI
说明E2E-SWE:从零构建可运行代码库的大模型基准测试
简介本文提出 E2E-SWE 基准,用于评估编程智能体能否端到端地从零构建完整、可运行的软件仓库。该基准包含 186 个整仓库生成任务,涵盖 11 种编程语言,智能体仅依据自然语言规格说明和空工作区完成项目,并需通过一套隐藏测试。在对 13 个前沿模型的评测中,pass@1 从 11.7% 到 67.7% 不等,显示出明显的模型区分度。
Hantian Ding, Chloe Bi, Jiacheng Zhu 等
arXiv
cs.CL
说明EVOKE:在智能体中激发世界知识,实现可迁移的决策
简介大语言模型作为智能体用于多步决策时,难以迁移到未见过的环境。本文提出EVOKE后训练方法,在固定状态下用多样化目标对同一组候选动作排序,迫使策略依赖真正的世界知识而非表层上下文习惯。作者在三种基座模型和多类任务上评估,报告了任务表现、未见环境泛化和数据效率的提升。
Yuhan Guo, Jinming Liu, Liang Xu 等
arXiv
cs.LG · cs.AI · cs.CL
说明Hermes:学习上下文推理以解锁测试时扩展
简介该论文研究如何在推理阶段利用多个上下文窗口分配额外计算,提出由模型自主决定如何分配新上下文与保留信息的“上下文推理”能力。作者提出可配置的 Hermes 框架族,以及两阶段训练方法 Hermes-Learn。研究发现,较强模型能利用这种灵活性随推理计算增加而提升,较小开源模型起初难以做到;经 Hermes-Learn 训练后,小模型也能形成随问题和推理进展而变化的自适应策略,且这些效果可跨基准与模型泛化。
Xinyu Li, Mononito Goswami, Hao Liu 等
arXiv
cs.CV
说明ExploreNet:学习在扩散模型GRPO中“往哪里探索”
简介论文指出,Flow-GRPO等基于组内相对奖励的图像生成强化学习方法,在每个去噪步骤都加入各向同性高斯噪声进行探索,但这种噪声对所有潜变量元素一视同仁。作者提出ExploreNet,一个为每个潜变量元素预测噪声尺度的策略,并在Stable Diffusion 3.5 Medium上验证,其在保留的GenEval2测试中比Flow-GRPO提升14%,推理阶段不变。
Shuyue Stella Li, Xiaochuang Han, Yulia Tsvetkov 等
arXiv
cs.MA
说明多智能体搜索中的吸收态相变
简介本文将统计力学中的吸收态相变形式体系用于预测基于大语言模型的多智能体搜索任务的成功与否。作者将搜索任务分为四类,理论推导出临界通信度 d_c,即每个智能体需要至少与多少其他智能体通信,错误假设才不会失控扩散。在真实的搜索发现任务、软件配置调试和物理机制发现任务上评估后,结果与理论的吻合程度并不一致。
Wenwen Zheng, Yuzhe Yang, Helen Qu 等
arXiv
cs.CV · cs.GR
说明模态动态字形:让字母像乐器一样振动起来
简介本文提出“模态动态字形”方法,通过有限元特征分析找出矢量字形自身的柔软振动模态,并以此构建动画。冻结的视频扩散模型只监督这些模态的振幅和相位,从而让字形在保持可读性的同时表达语义概念。与自由点优化相比,该方法的动作更平滑、更少撕裂轮廓,并在人工评测中获得更多偏好。
Maham Tanveer, Jiyeon Han, Nanxuan Zhao 等
arXiv
physics.soc-ph · cs.CL · cs.MA
说明多智能体讨论在隐瞒异议时收益更低
简介该论文针对大语言模型多智能体讨论是否提高准确率存在相互矛盾的报告,提出一个简约模型,刻画四种行为:隐瞒异议、内化已表达的答案、看到异议后重新考虑、朝正确答案修正。模型显示,只有当隐瞒率低于由净修正率和内化率决定的临界值时,讨论才可能推翻错误的多数意见。随着隐瞒率上升,讨论收益随之下降;要求智能体不隐瞒异议,以及关闭推理功能,都能提高这一收益。
Chand Sahil Mansuri, Xin Wang, Mengying Li 等
arXiv
astro-ph.IM · cs.LG
说明Gestalt:面向天文学的元基础模型
简介该论文将22个冻结的通用基础模型(来自8个模型家族)的图像嵌入拼接后,经白化和随机奇异值分解(SVD)压缩为1024维表示。在HSC、JWST和DESI Legacy Survey星系图像上,该表示在21项指标中的19项优于所有单个模型,且性能随模型数量和架构多样性提升。作者认为,无需额外训练即可由现有模型组装出有用的天文基础模型。
Michael J. Smith, Shashwat Sourav
arXiv
hep-ph · astro-ph.CO · cs.AI
说明用大型拉格朗日模型搜寻超出标准模型的实验信号
简介这篇论文提出 hAIthem 框架,结合强化学习与大语言模型,在理论参数空间中寻找尚未被实验排除的区域。作者以暗标量多重态模型为例进行了概念验证,结果显示该方法比进化算法基线找到更多可行区域,并提出了一些将已有可观测量组合使用的新思路。
Ibrahim Elsharkawy, Victoria Knapp-Perez, Wahid Bhimji 等
arXiv
cs.CV
说明Point2Part:基于点提示的统一三维分块方法
简介现有三维部件分解方法不一定能把原始形状划分为互不重叠、合起来完整覆盖整体的部件,容易出现重叠或缺口。本文提出一个可提示的模型,用户用三维点提示指定每个想要的部件,模型输出完整划分整体形状的对应部件。该方法基于预训练的三维生成模型,在同一共享形状潜空间中统一处理图像到部件生成、网格到部件生成和部件分割三项任务,并报告在所有三项任务的部件质量指标上均优于现有工作。
Hao-Tang Tsui, Yu-Rou Tuan, Xiaoxuan Ma 等
arXiv
cs.RO · cs.AI · cs.LG
说明基于技能空间射击的机器人策略自主改进:利用可复用技能,让机器人在失败后自我修正策略
简介论文提出“技能空间射击”方法,借助基础模型的指导,通过可复用的短技能探索修正动作,并把成功的尝试转化为策略改进。真实机器人实验显示,自主运行的策略能够反复得到改进,技能也可在不同任务间共享,减少新任务所需的教学。
Zihang Rui, Renhao Wang, Haoxu Huang 等
arXiv
cs.CV · cs.CL
说明Imagine3D-LLM:让多模态大模型先在脑中构想三维场景再作答
简介该论文针对多模态大语言模型难以从多视角图像整合出连贯三维理解的问题,提出Imagine3D-LLM。模型在图像令牌后加入一组可学习的摘要令牌,将其解码为紧凑的三维高斯溅射表示,并以光度重建损失进行监督,同时与标准的下一词预测目标联合训练。作者称,该方法在多个空间推理和三维理解基准上优于既有方法。
Jaewoo Jung, Hyeonseo Yu, Honggyu An 等
arXiv
cs.LG · cond-mat.dis-nn · cond-mat.stat-mech
说明局部去噪失效与语义分化:生成模型中两个时间窗口的关联
简介该论文研究生成模型动态中的两个时间窗口:样本确定语义类别的分化窗口,以及局部上下文不足以生成的非局域窗口。在"共同原因"假设下,作者证明非局域窗口必然位于分化窗口之内。作者还给出两个窗口随系统规模增大收敛到单一时间的条件(即"相变"),并在高斯混合模型中做了解析验证。
Guangkuo Liu, Mert Okyay, Yifan F. Zhang 等
arXiv
cs.RO · cs.CV · cs.GR
说明反事实视频生成助力可扩展的人形机器人移动与操作
简介该论文提出PRISM框架,通过视频到视频生成,从少量真实交互视频中扩增出大量多样的反事实人-物交互视频。作者再用接触锚定的真实到仿真流程,将视频中的人体与物体运动转化为物理上可行的轨迹,并训练单一策略。部署到真实人形机器人后,该策略无需真实世界微调,即可对未见过的箱子、桶、容器和球等物体完成拾取、搬运和放下。
Zihan Wang, Zhen Wu, Pieter Abbeel 等
arXiv
cs.CV
说明像素扩散模型的对抗训练:用对抗学习修正高频细节不足
简介该论文研究了像素扩散模型生成的图像高频细节偏少的问题。作者在预训练模型的扩散或流匹配目标之外,对非高噪声时间步的预测输出加入对抗损失,架构和采样流程保持不变。实验显示这种后训练方法能同时改善分布保真度、覆盖度、提示词对齐和感知质量,并恢复缺失的高频频谱能量。在所测试的潜在扩散配置下,该方法未能取得相近的综合提升。
Xin Lin, Zhifei Zhang, Yuqian Zhou 等
arXiv
cs.CL · cs.AI · cs.LG
有代码
说明STEPQuant:在增量规则循环状态量化中,误差何时何处最关键
简介线性注意力用固定大小的循环状态取代不断增长的KV缓存,但这些持久状态在并发服务中仍可能成为显著的内存瓶颈。论文提出STEPQuant,一种面向Delta规则循环状态的时空联合训练后量化框架,依据误差大小和内存存活时长分配精度,并基于状态分布与键行对输出误差的影响拟合键行与值列的缩放因子。实验表明,在名义6位预算下其精度接近FP32状态,集成到SGLang后可实现超过5倍的循环状态压缩,并将总服务内存降低至多68.7%。
Bingchen Yao, Haobo Xu, Haokun Lin 等
arXiv
cs.LG · cs.AI
说明LeapQuant:面向线性注意力的高精度循环状态量化方法
简介本文针对采用线性注意力(如 Gated DeltaNet、Kimi Delta Attention)的大语言模型,提出免训练的循环状态量化方法 LeapQuant。该方法按窗口量化状态以减少误差累积,并保留少量高精度补偿标记,同时平滑剩余残差。实验显示,在 8 位量化下精度接近 FP32 基线,并在多款 GPU 上带来一定的推理加速。
Yi Pan, Haocheng Xi, Kan Zhu 等
arXiv
cs.CV · cs.LG
说明Cropland PAtteRNS:用于卫星影像时间序列作物分割的并行维度注意力网络
简介本文提出混合 Transformer-卷积模型 PAtteRNS,分别对 Sentinel-2 多光谱时间序列影像的时间、光谱和空间维度使用自注意力,并设计并行 Transformer 结构以降低计算复杂度。作者在 PASTIS 与 MTLCC 数据集的多种切片尺寸上进行了消融实验与对比,结果显示该模型在作物类别分割及地块边界质量(Boundary IoU)上表现更优。论文还指出数据集类别划分不合理与不同切片尺寸之间结果不可比的问题,并建议制定构建数据集的标准化做法。
Joseph Metcalfe, Sara Sharifzadeh, Fabio Caraffini
arXiv
cs.CV · cs.RO
说明重新思考世界-动作建模中的表征:ReWAM 论文
简介该论文研究世界-动作模型中的表征空间设计,发现仅靠重建精度或预训练感知特征都不足以保证有效的策略学习。作者据此提出 ReWAM,基于预训练的 DINO 特征构建以表征为中心的模型,并在 RoboTwin 2.0 上取得 93.6% 的成功率(未使用生成式视频预训练)。
Haoyi Jiang, Liu Liu, Xinjiang Wang 等
arXiv
cs.LG · cs.DM
说明LLM图重构失真的谱理论:尖锐界与实证刻画
简介该论文指出,评估语言模型重构图结构时常用的单一聚合距离(拉普拉斯谱间的Wasserstein距离)被两个边数量指标所夹住,二者均按2/n缩放。论文证明这一界是尖锐的,并在135个由三种开源模型生成的重构结果中做了实证刻画,区分单向编辑与混合编辑两类情形。
Jianru Shen
arXiv
cs.SD · cs.CL · eess.AS
说明EmoRES-TTS:用残差增强向量引导生成带情感的语音
简介该论文针对情感语音合成模型难以稳定表达指定情感的问题,提出一种无需重新训练的向量引导方法EmoRES。作者发现情感向量可分解为远离中性表达的共享分量和指向目标情感的残差分量,并分别控制两者。在IEMOCAP数据集上,EmoRES在IndexTTS-2和CosyVoice2两种模型上均优于基线方法CoCoEmo的四项客观情感指标,人工评测也显示其情感辨识率和自然度有所提升。
Kuan-Po Huang, Haohe Liu, Puyuan Peng 等
arXiv
cs.CV
说明DMA²:带对抗与锚定损失的像素空间分布匹配蒸馏
简介该论文针对文生图扩散模型的少步蒸馏,提出在原始RGB像素空间中进行分布匹配的方法DMA²。其中包括在固定高噪声区间进行教师匹配、基于DINO的对抗补丁引导,以及无参数的语义分布损失AF-Loss。作者称,四步的DMA²学生模型在多个基准上优于25步教师模型及其他少步蒸馏模型。
Xin Lin, Zhifei Zhang, Yuqian Zhou 等
arXiv
cs.CV · cs.AI · cs.CL
说明超越时间线:用有视觉依据的实体传记增强长视频记忆
简介长视频问答常需把跨越数小时或数天、涉及同一物体的事件联系起来,但按时间顺序的描述和文本实体难以确定物理身份。本文提出"有依据的实体传记"(GEB)框架,把不同片段中同一物理实体的视觉观察归并为可检索的传记,同时保留每个时刻的上下文。在四个基准测试(含日级和周级录像)上,该方法在选择题和开放式问答中均优于先前的记忆框架,其中在EgoLifeQA上准确率达72.0%,比已发表的最佳结果高4.4个百分点。
Hui Ren, Lei Fan, Henry Pao 等
arXiv
cs.CV
说明LongLive-Plug:视频生成的一次性通用蒸馏框架
简介该论文提出 LongLive-Plug,一种一次性蒸馏框架,把单步无分类器引导、少步采样和长上下文纠错等能力以 LoRA 形式学习在基础模型上。这些适配器可免训练地即插即用到兼容的下游模型中。作者在三类骨干模型族、八类任务的 54 个下游模型上验证了免训练部署。
Shuai Yang, Luozhou Wang, Wei Huang 等
arXiv
cs.CV
说明PowerSim:基于功率图的可微分物理模拟与渲染
简介该论文提出 PowerSim 方法,将预训练的 PowerFoam(基于功率图的三维表示)场景与物质点法(MPM)耦合,使模拟运动可直接驱动场景的几何与外观,无需中间表示。基于此框架,论文展示了对静态场景的用户交互模拟、空间变化材料场的恢复、多场景图元合成为可模拟场景,以及随物体形变同步更新的光线追踪反射等应用。
Trong-Tung Nguyen, Anand Bhattad
arXiv
cs.CV
说明FracGen:借助物理信息视频生成学习物体的拉伸与断裂
简介本文提出FracGen,一种可感知断裂的视频生成模型,能根据一张完整物体的图片,在物理信号条件下生成可控的断裂过程。为训练模型,作者构建了FracSim仿真框架,在材料点法中加入连续损伤模型,可生成配对的断裂视频和像素对齐的物理场。实验表明,FracGen在物理和视觉逼真度上均优于现有视频生成基线。
Trong-Tung Nguyen, Jiahan Zhang, Anand Bhattad
arXiv
cs.CL
说明用教师监督预训练潜在信息反馈 Transformer(LIFT):让语言模型在生成步之间传递内部状态的论文
简介本文指出标准 Transformer 语言模型是前馈结构,深层表示不会反馈给浅层,跨生成步的信息只能通过已解码的词元传递。作者提出 LIFT(Latent Information Feedback Transformer)架构和训练方法,利用现成预训练语言模型的下一词分布生成状态作为教师监督,使模型同时预测下一个词元和下一个状态。实验显示,在参数量 1.35 亿至 10 亿的模型上,LIFT 在相同词元预算下于语言建模、下游推理和程序性任务上优于标准 Transformer 与基线。
Dor Tirosh, Ido Amos, Mor Geva
arXiv
cs.AI
说明先于思考的思考:通过元推理扩展智能体推理
简介本文提出“智能体元推理”,这是一种推理时框架,把智能体运行中的控制决策(如复用已有工作、重新开始、何时停止)变为显式的结构化推理过程。工作单元负责具体任务计算,控制器整合已有结果、评估各选项在剩余预算下的价值,并据此派发任务。在ProgramBench等基准上,该方法相较直接控制与多个基线有所提升,且随预算增加仍在改进。
Paras Dahal, Anton Bakhtin, Taco Cohen 等
arXiv
cs.CV
说明LIFT:在大视角变化下通过同策略自蒸馏实现未来布局可控的视频生成
简介该论文提出 LIFT,一个图像到视频的生成框架,在相机控制之外加入未来布局控制,用户可指定未来视角中应出现什么内容及其位置,尤其是最后一帧。研究者采用同策略自蒸馏(OPSD),把使用稠密布局的教师模型能力迁移给只使用末帧布局的学生模型,并构建了带有相机和时间一致布局标注的数据集 LIFT-Vista。实验表明,LIFT 在视频质量、未来布局可控性和相机可控性方面优于其他方法。
Shengxiang Ji, Boyang Wang, Haiyang Xu 等
arXiv
cs.AI · cs.CL · cs.LG
说明学习用于智能体环境构建的元技能(测试时 AI4AI)
简介该论文研究让一个“构建者”模型在两个模型权重都固定的情况下,学会为“目标”智能体搭建更好的执行环境。作者提出元技能,即说明何时需要支持、应提供哪些资源的原则,并从目标模型在开发集上的执行反馈中学习这些原则。在 Harness-Bench 和 NewtonBench 上,使用完整技能库的元技能相比无技能构建,宏平均性能提升 8.95 个百分点。
Cheng Qian, Kunlun Zhu, Beibin Li 等
arXiv
cs.AI · cs.CL · cs.LG
说明AdviSD:通过有针对性的多轮自蒸馏学习为前沿大模型提供建议
简介论文提出一种小型可训练的建议者,用自然语言建议引导冻结的大语言模型执行器。方法名为AdviSD,将基于结果的强化学习与选择性的自蒸馏结合,并从理论上证明了某些修正样本会限制学习效果,因此有选择地保留部分修正可提升性能。实验显示,在BFCL-v3和EnvScaler上相较advisor-GRPO分别有提升,训练后的建议者还能泛化到其他任务和执行器。
Rishabh Agrawal, Hejie Cui, Shasha Li 等
arXiv
cs.CV · cs.AI
说明打破均匀陷阱:通过SplitMoE扩展视频扩散模型
简介本文指出,常见的视觉混合专家模型(MoE)会因路由分散和均匀性约束,破坏视频中连贯的时空结构。作者提出SplitMoE,将专家池分为语义专家和通用专家,并用原型引导路由和拉推正则化,使令牌按语义属性自然聚类。在相同激活参数量下,该方法在收敛速度、路由一致性和视频生成质量上优于传统负载均衡MoE。
Yu Xu, Yuxin Zhang, Xiao Yang 等
arXiv
cs.CL
说明LongHarness Bench:检验语言模型长上下文推理框架的压力测试基准
简介本文提出一个评测长上下文推理框架效果与效率的基准,任务需要词法检索、语义匹配以及对全局与局部上下文的策略性推理。在四个评测套件上,最强的模型与框架组合宏平均准确率为68%,说明基准仍具挑战性。同一模型在不同框架下的效率差异明显,作者据此主张将效率作为长上下文评测的重要维度。
Quang Hieu Pham, Thuy Duong Nguyen, Jocelyn Qiaochu Chen 等
arXiv
cs.CV
有代码
说明CLeaR:解决风格迁移中内容泄漏与风格退化两难问题的统一免训练框架
简介风格迁移要把目标内容渲染成参考图的风格,但现有方法常出现内容泄漏,即参考图中的物体、布局或语义出现在生成结果中。论文提出免训练框架CLeaR,通过正交子空间投影、多视觉基础模型集成反演和能量引导校准,在抑制内容泄漏的同时保持风格对齐。论文报告在StyleBench上,该方法相比现有方法风格对齐更好、内容泄漏更少,并在LLM-as-Judge评测中表现更优。
Teng Zhou, Yunhao Chen
arXiv
cs.LG · cs.MA · cs.RO
说明带解耦生成引导的多智能体流匹配:让多个智能体生成的结果满足硬性约束的新框架
简介论文提出 DeGG-Flow 框架,用于多智能体流匹配生成。它把生成过程表示为控制仿射动力系统,针对需要多个智能体共同满足的共享需求和依赖邻居的个体需求分别设计引导条件,并给出可行性条件与有限时域收敛保证。作者还推导了描述引导所引起分布偏差的 Wasserstein 界。在多机器人跨越空间间隙和带可供性需求的多物体场景生成两项实验中,该方法直接生成满足全部硬性需求的对象,包括训练中未出现的团队规模。
Ruoyu Lin, Magnus Egerstedt, Fabio Pasqualetti
★★★★☆ 值得关注
arXiv
cs.LG · math.OC · math.PR
说明在平均奖励弱耦合马尔可夫决策过程中实现 O(1/N) 最优性差距
简介本文研究平均奖励弱耦合马尔可夫决策过程(WCMDP),即由 N 个较小的 MDP(称为臂)共享多个每步预算约束组成的系统。文中考虑各臂模型参数相同、具有多个动作且成本依赖于状态和动作的设定。作者给出了在类似于 restless bandits 的条件下,最优性差距优于 1/√N 的情形,并设计出一种达到 O(1/N) 最优性差距的策略。该策略并非基于优先级排序,而是旨在诱导局部线性的平均场动力学。
看点将RB中的O(1/√N)最优性差距改进到WCMDP中的O(1/N),并给出非优先级的局部线性平均场策略,证明较扎实。
Yige Hong, Xiangcheng Zhang, Qiaomin Xie 等
arXiv
cs.CV · cs.LG
说明只需少量扰动即可改写视觉语言模型的感知:在 ε≤4/255 下的定向语义替换
简介这篇论文研究视觉语言模型(VLM)能否被对抗性扰动操控。作者在白盒设定下,把源图像各视觉流与目标图像在模型合并后的 token 空间中对齐。按照严格的成功标准(同时说出目标、确认其存在并否认源对象),在 ε=4/255 时图像完全替换的成功率为 38%,视频在 ε=1/255 时为 35.9%。
Binchi Zhang, Apurva Narayan, Atrisha Sarkar
arXiv
cs.CV · cs.MM · cs.SD
说明HelixWorld:实时交互式视听世界模型
简介该论文提出HelixWorld,一个实时交互的视听世界模型,画面与随摄像机视角变化的立体声音效随用户操作同步生成。作者构建了带真实立体声和度量相机位姿的数据集,并将双向教师模型蒸馏为少步流式学生模型,可在单张GPU上以24 FPS无漂移地联合生成视听内容。论文还提出HelixBench评测空间声学一致性,实验显示其视觉表现与响应性与静音世界模型相当,在相机对齐的空间声学沉浸感上明显优于基线。
Lei Ke, Jiahao Pan, Zeyue Tian 等
arXiv
cs.LG
说明WUSH-KV:基于数据自适应变换的 KV 缓存量化方法
简介长上下文推理中,KV 缓存的显存与带宽开销随上下文长度和批大小增长。本文提出 WUSH-KV,用于低比特 KV 缓存量化,利用校准数据分别为 key 和 value 构建数据感知变换以降低量化误差,并集成进 SGLang 进行端到端评测。结果显示,在 2 比特下,WUSH-KV 在所测模型和下游任务上与 OSCAR 变换表现相当或更优。
Jiale Chen, Vage Egiazarian, Eldar Kurti\'c 等
arXiv
cs.AI · cs.SY · eess.SY
说明用于验证基于视觉的神经反馈系统的随机世界模型
简介该论文提出用随机世界模型代替生成对抗网络(GAN)作为感知替代模型,以验证基于视觉的神经反馈系统。作者用可被标准验证器约束的、具有物理基础的隐变量训练世界模型,其在保留帧上的重建比参数多达130倍的GAN更准确。在紧急制动基准测试中,该方法解决了全部状态空间,而此前最先进的验证器有38%的状态未能解决;在RGB版本上,世界模型替代模型解决了超过80%的状态空间。
I. Samuel Akinwande, Mykel J. Kochenderfer, Clark Barrett
arXiv
cs.CV
说明VideoLoop:用循环工作记忆缓解长视频智能体的语义抖动
简介该论文针对长视频理解中多模态智能体的“语义抖动”问题:只追加不删除的工作记忆会使关键证据的注意力下降。作者提出VideoLoop,包含外、内两层循环,内层每步从过去观察的文件系统中检索并重写有界工作记忆。在VideoMME(long)上,四种LVLM骨干平均提升4.2个百分点;使用Gemini 3.1 Pro时,该方法在VideoMME(long)上达到88.3%。
Jianming Xu, Jinfa Huang, Jingyang Lin 等
arXiv
cs.CV
有代码
说明GA-EIRFS:面向长尾激光雷达三维目标检测的几何增强重复因子采样方法
简介该论文指出,长尾三维目标检测不应只看类别频率,还应考虑激光雷达点云中物体的几何可观测性。作者提出 GA-EIRFS,在基于频率的重复因子上结合点数、表面法向熵和表面覆盖度三项几何分数来调整采样概率,检测器和推理过程保持不变。在 nuScenes 上,使用 CenterPoint 和 PointPillars 的实验显示 mAP 与 NDS 有所提升;KITTI 上的结果随随机种子变化较大。
Taufiq Ahmed, Constantino \'Alvarez Casado, Daniel Herrera Castro 等
arXiv
cs.CV
说明自对齐强制:基于可微分带噪历史的流式视频扩散
简介论文提出自对齐强制(SAF)训练方法,用于自回归视频扩散的流式生成,以减少长序列生成中的误差累积。该方法让每个块的历史与被去噪块的噪声水平对齐,并保持历史可微分,从而训练速度较已有方法最多快1.8倍、显存更低。在4块GPU上推理可达49.1 FPS,长时程生成在视觉质量与运动之间取得更好平衡。
Weiqiang Wang, Zhuokun Chen, Yusheng Dai 等
arXiv
cs.MA
说明IMPACT:庞贝住宅生成式多智能体模拟中的社会相互依赖移动建模
简介本文提出IMPACT架构,利用特定文化中的角色与义务定义智能体活动之间的依赖关系,使其移动受他人行为影响。研究在十个相互依赖角色的庞贝晚餐五小时模拟中实施该架构,并通过消融实验与三十七名参与者评分、六位考古专家访谈进行评估,结果显示完整架构的行为更具社会连贯性与可信度。
Tianqi Liu, Nayoung Kim, Julia Sebastien 等
arXiv
stat.ML · cs.LG
说明ReCIRC:校正式一致性风险控制(论文,用于在黑盒预测中按输入控制任务相关的错误率)
简介该论文针对黑盒预测模型需要控制任务相关错误率的场景,如分割中漏检的病灶像素、多标签分类中漏检的标签。现有一致性风险控制(CRC)对所有输入使用同一阈值,只给出边际保证,可能对简单样本过度保护、对困难样本保护不足。ReCIRC通过反转每个输入的局部风险曲线,把阈值重参数化为代表共同目标条件风险的风险预算,再对该族应用CRC。在三种合成数据和五种真实数据设定下,ReCIRC在各设定中均取得最低的平均最差组风险和平均正向组超额风险,同时边际风险接近目标值。
Bruno Marcondes e Resende, Helton Graziadei, Thiago Rodrigo Ramos 等
arXiv
cs.CL · cs.CV
说明从路由信号到选择性复核:MoE视觉语言模型中的视觉重新定位
简介视觉语言模型有时会接受不存在的视觉前提,即使目标物体不在图中仍回答其颜色、数量或位置。本文首次利用混合专家(MoE)视觉语言模型内部的路由决策,在生成前检测目标缺失,并引导选择性纠正。研究在两个模型上分别训练线性检测器,仅凭路由信号即可获得较高的检测性能,并在不修改模型权重的情况下提升了端到端准确率。
Hongzhu Guo, Mohsen Fayyaz, Nanyun Peng
arXiv
cs.CL · cs.AI · cs.LG
说明局部混合如何在全局 NoPE 注意力中编码相对位置
简介这篇论文解释了混合模型为何能在全局注意力层不使用显式位置编码(NoPE)的情况下仍然隐式编码位置。作者认为,滑动窗口注意力(SWA)和门控线性注意力会在残差流中引入近因偏置,并被全局注意力的 logits 选择和传递。与仅有全局 NoPE 注意力的模型相比,这种近因偏置在长序列中能够保持。
Cutter Dawes, Nick Alonso, Tom Figliolia 等
arXiv
cs.AI · cs.LG
说明LLM智能体是否真的执行了它声明的计划?关于规划模式声明与模式专属执行的研究
简介本文研究大语言模型智能体在“声明计划”与“实际执行”之间的差距,提出“规划即路由”方法:模型先从预定义、顺序、层级、搜索四种规划模式中选一种,再由确定性路由器交给对应的专用执行器。在四个基准和三种模型上,通用的Plan+ReAct常无法保持所声明的规划结构,而专用执行器显著提升了任务成功率,但模型选择最优模式的能力仍不稳定。
Subba Reddy Oota, Francisco Herrera, Jordi Cabot Sagrera 等
arXiv
cs.CL · cs.AI
说明正确答案,无效推理链:可验证小学数学题揭示的思维链问题
简介该论文借助合成小学数学基准 iGSM,逐步程序化检验模型生成的思维链。结果显示,在最难的题目上,31.6% 的正确答案附带无效推理链;训练数据中打乱或互换推理链的内容后,准确率仍保持较高水平。作者据此讨论这些发现对思维链监控与解释的意义。
Ratish Puduppully, Pranabendu Misra, Paarth Iyer 等
arXiv
cs.SD · cs.CL
说明剪枝提升效率,代价是公平性:剪枝语音大模型中的人口群体差异
简介本文研究音频编码器剪枝对语音大模型(SLAM-ASR)在不同人口群体上的影响,使用Fair-Speech和Common Voice数据集。结果显示剪枝对各群体影响不均,最好与最差群体之间的差距扩大,且只有最大模型会用总体词错误率掩盖这种差异。LoRA适应提升了各群体表现,但对表现已好的群体收益更大。作者建议部署时应按群体报告词错误率,并将表现最差群体的错误率作为明确标准。
Ganesh Pavan Kartikeya Bharadwaj Kolluri, Michael Kampouridis, Ravi Shekhar
arXiv
cs.LG
说明广泛探索,精准推理:通过采样把小模型推向前沿
简介本文提出并行幂锐化回火(PPT)方法,在推理阶段对大语言模型进行采样,无需额外训练或外部奖励,即可增强推理能力。该方法同时运行多个不同锐化强度的相互作用副本,低强度副本负责探索多样的推理路径,高强度副本负责利用更可能的回答。实验表明,PPT 显著优于单链幂锐化采样,并在部分表现上超过经过强化学习后训练的模型,接近前沿模型水平。
Panagiotis Theodoropoulos, Nan Jiang, Xintong Duan 等
arXiv
cs.AI · cs.CY
说明AI智能体会被激进化:论文模拟两个大模型互相影响信念
简介论文让一个扮演特定人设的目标大模型与一个试图使其立场更极端的影响者大模型进行模拟对话,考察激进化的两种路径:强化已有信念(共鸣)和推动原本不重视的信念(说服)。结果显示两种方式都会使目标智能体更激进,其中共鸣效果更强,且会扩散到相关信念。研究认为AI智能体易受激进化影响,在个性化智能体和多智能体生态中值得关注。
Ozgur Can Seckin, Shalmoli Ghosh, Alessandro Flammini 等
arXiv
cs.IR · cs.CL
有代码
说明仅用上下文示例实现高效稠密检索
简介本文探讨能否不经训练,仅靠少量上下文示例,让解码器型大语言模型生成适用于稠密检索的表示。作者提出 RICE(Representations from In-Context Examples),以共享上下文的示例引导查询与文档编码,无需训练即可提取高质量表示。结果显示,RICE 嵌入能明显提升基于提示的大语言模型嵌入的检索准确率。
Nour Jedidi, Abdul Basit Ali, Hang Li 等
arXiv
cs.AI
说明NeuronEye:面向视觉语言推理的查询引导视觉概念激活
简介当前视觉语言模型把物体身份、空间布局等视觉信息混合编码在稠密隐状态中,难以单独调取某个语言问题所需的视觉证据。论文提出即插即用的 NeuronEye 框架,从中间表示构建稀疏的概念级神经元词表,按语言查询激活相关视觉概念并定位对应图像块,再把聚焦后的证据注入视觉 token。在 Qwen2.5-VL-7B 上,CV-Bench 总体准确率提升 3.1,Distance 项提升 9.5,BLINK Multi-view 提升 8.3。
Ruiyu Yan, Bowen Chen, Shaowen Wan 等
arXiv
cs.LG
说明面向CVaR策略评估的尾部影响力采样
简介本文研究在固定评估预算下,如何更准确地估计策略的条件风险价值(CVaR,即下尾损失的期望)。作者为每个可单独查询的条件分布定义尾部影响力,并据此分配样本,提出尾部影响力采样方法(TIS)及其锚定变体。文中报告了在CliffWalking和语言模型审查流程中的实验结果,显示其均方误差低于基于学习占用度和完整回放的方法。
Pauline Bourigault, Xiaotong Ji, Matthieu Zimmer 等
arXiv
cs.LG
说明探针空间预条件化:快速稳定的零阶训练方法
简介这篇论文针对零阶优化(ZOO)训练收敛慢于反向传播的问题提出改进。作者先将计算预算从大量步数转向大批量、多扰动探针的设置,使1SPSA优于MeZO;再提出1.5-SPSA,每步增加一次干净前向传播以计算探针空间的对角预条件器,加快收敛。作者报告在6个后训练数据集上取得领先结果,并称在A100等普通GPU上可原地训练OPT-30B。
Francois Chaubard, Mykel J. Kochenderfer, Chris R\'e
arXiv
cs.LG · hep-ph
说明基于量纲分析与调和展开的量纲一致代理建模
简介本文提出一种数据驱动方法,用于构建满足量纲齐次性的代理模型。方法先由测量变量的量纲矩阵导出 Buckingham Π 群,再构造允许的量纲前因子,并用归一化不变量域上的截断调和展开逼近剩余的无量纲依赖关系。系数通过正则化线性回归确定。作者在单摆、普朗克黑体辐射定律、双摆 Lyapunov 场以及 COBE/FIRAS 实验黑体光谱数据上进行了测试,结果显示量纲约束在条件数、抗噪性和样本效率方面优于无约束基线。
Ernest Tarrus, Hector Gisbert
arXiv
cs.AI
说明面向风险规避型智能体的性格训练
简介本文提出用性格训练(character training)让AI智能体形成风险规避倾向,以降低错位智能体造成灾难性危害的可能。作者构建了一份描述资源上恒定绝对风险规避(CARA)的模型宪章,并通过同策略蒸馏灌输给模型。结果显示,性格训练模型在未见过基准决策格式的情况下,表现与直接训练的基线相当,并在四个模型中的两个上具有更好的分布外泛化能力。
Arav Dhoot, Punya Syon Pandey, Jamie Johnson 等
arXiv
cs.LG
说明Mira:利用自适应缓存与预测式专家预加载实现节省显存的 MoE 推理
简介本文提出 Mira,一种算法与系统协同设计的方案,使混合专家(MoE)模型能在单块 GPU 上进行高容量推理。Mira 通过每层轻量预测器提前两层预测专家使用情况,并结合两级缓存与定制量化格式,以减少因专家传输造成的停顿。论文报告,与现有基线相比,Mira 在显存受限的 GPU 上平均吞吐量提升 5.71 倍,首 token 时间缩短 11.71 倍,束搜索推理平均加速 3.84 倍。
Sanjali Yadav, Bahar Asgari
arXiv
cs.CE · cs.AI · cs.LG
说明基于神经网络拓扑优化的船舶结构在推进机械振动下的设计
简介该论文提出一种用卷积Kolmogorov-Arnold网络(KATO)进行神经重参数化拓扑优化的方法,以有源输入功率(AIP)为目标,设计受迫振动下的船舶甲板板和推进器基座框架。文中在100 Hz与18 Hz等工况下测试,并与GCMMA方法比较,结果显示该方法在降低振动的同时保持结构连通、特征尺寸可控,计算速度也更快。
Shengyu Yan, Muhammad Muztahidul Hakim Zareer, Jasmin Jelovica
arXiv
cs.CV
说明VISTA:通过同策略蒸馏内化集体视觉经验,用于主动多模态智能体
简介该论文提出VISTA方法,训练会主动调用视觉工具收集证据的多模态智能体。它把同一输入多次交互轨迹中的视觉发现整理为共享监督信号,通过经验条件教师模型对学生模型的回应前缀进行评估,使一条轨迹中的发现可指导另一条轨迹的学习。论文报告,该方法在同等规模的主动多模态智能体中平均表现最强,并在细粒度感知和通用推理任务上优于同骨干网络的训练基线。
Zheng Jiang, Houde Qian, Yiming Chen 等
★★★★☆ 值得关注
arXiv
cs.LG · q-bio.NC · stat.ML
说明用 Hessian 零空间延拓遍历神经网络的解空间
简介该论文提出 Hessian 零空间延拓(HNC)方法,利用局部曲率在保持网络功能不变的权重区域中移动,并可引导至具有指定性质的解。作者在记忆任务的 RNN、ImageNet 训练的视觉 Transformer 和强化学习智能体上进行了验证,发现同一训练解附近存在大量内部表示各异但行为相同的解。
看点提出基于Hessian零空间的方法遍历保持功能的权重区域,在RNN、ViT和强化学习上验证,证据较充分,影响面较广。
Ann Huang, Mitchell Ostrow, Zhouyang Lu 等
arXiv
cs.AI
说明MoFlow:面向多目标的智能体工作流生成
简介本文研究生成同时兼顾准确率、成本、延迟、鲁棒性和一致性等多个目标的智能体工作流。MoFlow 将工作流生成建模为多目标马尔可夫决策过程,并用凸包蒙特卡洛树搜索求解,使每个节点保存一组可达的权衡而非单一加权分数。一次搜索即可近似覆盖帕累托前沿,之后无需重新训练即可按任意偏好查表得到对应工作流。在六个数学、代码和问答基准上,MoFlow 的平均超体积最高。
Yining Lu, Aurelie Lozano, Xi Yang 等
arXiv
cs.CV
说明OmniTaskonomy:视觉生成何时能提升视觉理解?
简介该研究探讨用图像生成任务训练模型,是否以及在什么条件下能提升其视觉理解能力。作者在相同问题的图像到图像生成与图像到文本理解任务之间做受控对比,发现采用正确训练方案时,生成训练可提升理解表现,且随生成数据增多而增益更大。作者还提出涵盖19项生成任务与25项理解能力的OmniTaskonomy分类框架,显示不同生成任务对不同理解能力的迁移效果具有选择性。
Jiaxin Ge, Yiming Qin, Ji Xie 等
arXiv
cs.CV
说明MUGEN:通过相机控制实现交互式全景世界探索
简介论文提出大规模真实全景视频数据集MUGEN,包含超过1300小时、至少4K分辨率的全景视频,并带有丰富的语义和几何标注,用于交互式360度世界探索。基于该数据集,作者提出可由相机控制的全景视频生成模型Wan360,采用无参数的ERP感知组件并使用全景Plücker嵌入表示相机运动。实验表明,MUGEN可作为全景世界探索的数据基础,Wan360能生成高质量、时间连贯、可控相机的360度视频。
Jiaming Tan, Zhen Li, Shuwei Shi 等
arXiv
cs.CV
说明RS-OPSD:面向超高分辨率遥感视觉问答的可靠特权同策略自蒸馏方法
简介该论文针对超高分辨率遥感图像中的视觉问答任务,提出RS-OPSD框架,将放大局部区域的视觉特权能力内化到模型中,推理时无需额外视觉搜索或工具调用。作者构建了包含6750个带证据区域标注样本的GeoEvidence-6K数据集,并提出上下文保持视觉特权与正确性对齐蒸馏等方法。原文称其在XLRS-Bench等三个基准上达到当前最优水平,平均领先同规模模型4.0个百分点。
Chengjie Jiang, Yunqi Zhou, Jiafeng Yan 等
★★★★☆ 值得关注
arXiv
cs.AI
有代码
说明概率还不够:统计分歧令牌以量化大语言模型的推理不确定性
简介本文提出分歧令牌置信度(DTC)方法,通过统计两个模型在同一推理轨迹上解码时强烈分歧的令牌数量来估计答案置信度。分歧令牌由同一轨迹下两模型对下一令牌分布的Jensen-Shannon散度识别,其数量与答案准确率几乎呈负相关。在多个模型族和六个数学基准上的实验显示,DTC在白盒与黑盒设置下校准效果均优于基于概率和口头表述的基线方法。
看点提出以两模型在同一推理轨迹上JS散度计数分歧词元的置信度估计,思路新颖;在多模型和六个数学基准上验证,校准误差显著降低。
Feiyang Li, Shengjing Liu, Qi Zhan 等
arXiv
cs.LG · physics.comp-ph
说明面向能源与辐射系统、基于异构科学接口的基础模型(GEODE)
简介论文提出 GEODE 框架:为各类任务设计专用科学接口,并连接到共享的小波算子库,由一个联合预训练模型同时处理腔体流动、辐射剂量和弹塑性应力等问题。新任务只需训练占参数约 2.1% 的私有接口即可学习。结果显示,参数隔离能保持既有预测不变,而无限制微调会使其明显退化;但论文指出,保持性本身不足以证明预训练计算被复用,还需与随机化对照比较。
Samrendra Roy, Tapas Tripura, Yoon Pyo Lee 等
arXiv
cs.LG
说明Alpha 扩散语言模型:问题不只在于因子分解
简介离散扩散语言模型可以并行生成多个词元,但减少去噪步数时,预测可能前后不一致。作者提出 AlphaDLM,用序列级 alpha 损失训练,使其在 alpha 趋近于零时等同交叉熵,并在 alpha 为 1 时达到联合模式最优。在 TinyGSM 上训练后,该方法仅用四次模型评估在 GSM8K 上达到 34.6% 准确率,并扩展到 SDAR-1.7B 上的代码与数学基准测试。
Nikita Gushchin, Dmitry Baranchuk, Alexander Korotin