arXiv
cs.LG · cs.AI · cs.CL
说明注意力头维度对长上下文检索的影响:在语言模型中,更宽的注意力头有助于长文本信息检索
简介该论文研究在参数量固定的前提下,减少注意力头数量、增加每个头的维度是否能提升长上下文检索能力。实验发现,预训练损失和短上下文非检索任务的表现受头维度影响不大,但长上下文检索性能随头维度增加而提升。更宽的头拥有更高比例的检索头,并且即使在长上下文持续预训练中冻结注意力投影权重,检索性能仍会提升,说明影响还涉及嵌入层和MLP等组件。
Seiya Tokui, Shoichiro Yamaguchi, Sosuke Kobayashi
arXiv
cs.CL · cs.AI
有代码
说明SOPO:用于片段级幻觉检测的苏格拉底式引导策略优化
简介本文针对大语言模型生成内容不忠实、存在幻觉的问题,提出一种多轮强化学习框架SOPO,用于片段级幻觉检测。其核心是苏格拉底式反馈机制:教师模型在推理过程中依据标准答案给出间接提示,以缓解困难样本的奖励稀疏问题,并通过轮次优势缩放抑制冗长倾向。作者报告其4B模型在RAGTruth上取得了较好的结果。
Jiawei Dong, Zilong Bai, Pengtian zhu 等
arXiv
cs.RO · cs.AI · cs.LG
说明视觉-语言-动作模型能预知自己会失败吗?物理AI系统中可解释的成功与失败模式
简介该论文研究视觉-语言-动作(VLA)机器人策略模型OpenVLA的内部表示。作者用稀疏自编码器(SAE)提取模型激活,发现其中包含与任务结果相关的信息,可在机器人进入无法恢复状态之前预测任务失败。论文还识别出与成功或失败阶段相关的SAE特征,并定位其显著变化的时间区间以归纳重复出现的行为模式,再用基于视觉语言模型的流程生成行为描述并在保留区间上验证其与特征激活的对应关系。
Christian A. Rogers, Qian Lin, Daniel S. Brown
arXiv
cs.CV
说明面向全切片图像生存分析的无数据持续模型合并基准评测
简介该研究针对基于全切片病理图像(WSI)的生存预测,建立了无数据持续模型合并的端到端基准,涵盖任务专用微调、顺序合并以及 TASK-IL 和 CLASS-IL 两种推理设置。作者在四个 TCGA 癌症队列和三种任务顺序下,用 C-index、IPCW C-index、遗忘度和后向迁移等指标系统比较了六种代表性合并策略。结果显示,没有任何策略在所有评价标准下都占优,且考虑删失的评估方式可能显著改变各方法的相对排名。
Vu Minh Tran, Doanh C. Bui, Ma\"i K. Nguyen 等
arXiv
cs.AI
说明基于学习式前瞻与平衡词表带的扩散语言模型水印
简介该论文针对扩散语言模型提出一种文本水印方法。原有绿红水印依赖前文生成绿色词表,但扩散模型常先生成后面的词,因此作者同时学习词表带和前瞻预测器,并按不重复的上下文-词对计数绿色词。在 LLaDA-8B-Instruct 上的 WaterBench 实验显示,两项改进都提高了检测 z 分数,强水印下在 1% 误报率时可检出至少 96% 的回复,且与未加水印文本的评判得分相当。
Hyojun Kim, Hyeseon An, Yo-Sub Han
arXiv
cs.CV · cs.LG
说明学习精确秩滤波器的神经析取范式方法
简介论文提出一种学习秩滤波器(包括中值滤波)结构元素的方法:前向传播保持精确的算子计算,反向传播使用由平滑阈值方程推导出的替代导数。实验在 MNIST、Fashion-MNIST 图像去噪和视网膜血管分割任务上进行,结果显示该方法在各设置下都优于用精确次梯度训练的方法。
Diego Marcondes, Wonder A. L. Alves, Ronaldo F. Hashimoto
arXiv
cs.CV
说明DS-BiCA-Net:面向遥感变化描述的成对保持式跨时序建模
简介该论文针对遥感图像变化描述任务,即用自然语言描述同一场景两个不同时期图像之间的语义变化。作者提出DS-BiCA-Net,将图像内处理与跨时序处理分开成独立模块,并让两幅图像在编码器中始终保持独立的数据流,仅在聚合头中融合。实验显示,图像内细化单独使用无益,只有在其后接双向交叉注意力时才有效;该方法在LEVIR-CC数据集上取得82.65的S_m^*分数,为所比较的已发表结果中最高。
Licheng Zhang, Naveed Akhtar, Siew-Kei Lam
★★★★☆ 值得关注
arXiv
cs.AI · cs.CL · cs.LG
说明SWE-Shift:在动态变化的工作区中评估编程智能体
简介该论文提出 SWE-Shift 基准,用于评估编程智能体在任务执行途中遇到变化时的表现。同一历史与工作区下,一组保持不变,另一组在执行中收到与任务相关的更新。共 120 个场景、12 类变化,评估了 17 个系统,结果显示所有系统在变化后的成功率均低于原任务,工具或会话变化与过期证据的配对成功率为零。
看点提出执行中途环境变化的编码智能体评测新范式,用同一历史的干净与扰动对照,17个系统的实验揭示明显性能下降。
Victor Shea-Jay Huang, Rongqing Li, Zhangyue Yin 等
arXiv
cs.LG · cs.AI
有代码
说明Principia:面向科学发现的测试时假设到原理构建框架
简介本文提出Principia,一个基于大语言模型的框架,在测试阶段从相关输入及观测结果中提出比较性因果假设,并归纳出可复现的科学原理,随新观测不断修正。在分子优化、蛋白质工程、基因扰动和分子性质预测等基准上,其表现优于依赖内部知识、外部资料或经验总结的基线方法。
Dongki Kim, Sangwoo Park, Jinheon Baek 等
arXiv
cs.LG · cs.AI
说明双自适应 Z-Score PPO:基于动作置信度与归一化优势幅度的动态裁剪
简介本文研究 PPO 的自适应裁剪变体。其核心方法 PPO-DAZ3 依据动作置信度和归一化优势幅度,为每个样本动态设定裁剪区间,其余训练流程保持不变。在 LunarLander-v3、CartPole-v1 和 Acrobot-v1 三个经典控制基准上的结果显示,自适应裁剪只在部分任务中有效:PPO-DAZ3 在 LunarLander-v3 上表现最好,PPO-AZ3S 在 Acrobot-v1 上领先,标准 PPO 在 CartPole-v1 上仍具竞争力。
Taha M. Mahmoud, Naima Kaabouch
arXiv
cs.AI
说明基于证据的小型语言模型行为预测架构,用于预判未来求助需求
简介本文提出ELBP四层架构,用于在本地设备上通过小型语言模型预测用户未来的求助行为。模型在原始事件、结构化、双视角等配置下进行评估,最佳组合Qwen2.5-3B加ELBP的全集F1为0.80、PR-AUC为0.84。加入证据验证与弃权机制后,选择性F1提升至0.84,证据支持度达到相应水平。
Adeyemi Adeseye, Aisvarya Adeseye, Hannu Tenhunen 等
arXiv
cs.CV · cs.MM
说明红外行人检测中配对热通道的两个正交维度:标定成本与检测增益的受控归因研究
简介该论文研究红外行人检测中经过标定的热通道,认为它由两个结构上相互正交的维度构成。研究发现真实标定温差优于尺度匹配的灰度伪温差,并分析了配对与绝对标定尺度共同作用导致的校准误差上升,以及通过相位随机化破坏空间结构带来的检测增益。
Tian Zhang, Yang Chen, Bing Bai 等
arXiv
cs.CL
说明采集日期分配会改变时间问答的答案
简介该论文研究把采集日期作为元数据加入输入,是否会在证据内容未变的情况下改变时间问答的结果。作者在维基百科页面上交换两个修订版本对应的日期,发现五个开放权重大模型的后续引用精确匹配率显著下降。该效应在多种提示和虚构答案场景中依然存在,作者据此提出了时间问答输入的审计方法。
Minsu Oh, Seunghui Jwa, Soo Kyun Kim 等
arXiv
cs.MA
说明《心智市场》:一个包含510亿种状态的智能经济模型
简介这篇论文提出“心智市场”框架,用于在多个智能体之间分配有限的专家推理资源,并在辅助结果观察前估计每次协助的预期收益与机会成本。研究在一个包含512亿种人设-市场状态的依赖型智能体经济中进行,并在共同30%协助配额下,对240个案例进行匹配回放。结果显示,分配器的任务级人设一致性为85.42%,高于等量随机分配的73.86%;协助价值存在差异且可能为负,稀缺性会改变值得购买的干预。
Jusheng Zhang, Xuekun Wu, Wenhao Wang 等
arXiv
cs.LG
说明EVOLVE:基于不确定性感知与自适应原型记忆的多变量时间序列异常预测
简介本文提出EVOLVE框架,用于无监督的多变量时间序列异常预测,即根据当前观测估计未来的异常风险,为复杂系统提供早期预警。该方法通过自适应异常原型记忆构建与变量和上下文相关的扰动,并通过采样多个潜在历史状态、解码平滑与偏差放大两类演化假设来建模不确定性,以解码轨迹之间的分歧估计未来异常风险。作者称在六个真实基准数据集上,EVOLVE持续优于现有异常预测基线方法。
Jianxin Jin, Kai Zhao, Shiyan Hu 等
arXiv
eess.AS · cs.AI
说明Uni-Stream:用于语音合成与识别的统一流式语音语言模型
简介该论文提出 Uni-Stream,一个在紧凑预训练语音模型基础上构建的统一流式语音语言模型,可在同一模型中同时支持语音识别与语音合成,以实现实时人机交互。模型以流式格式处理交错的文本与语音,并通过两阶段训练取得与任务专用模型相当的性能。作者还开发了流式训练的数据标注流程,并计划公开发布生成的转写文本与词级时间戳。此外,论文考察了模型在不同任务和模态下的表征,发现即使在统一架构中训练,语音与文本仍位于不同的潜在特征空间,而各模态内部的表征在较深层中更依赖具体任务。
Xuan Shi, Chang Zeng, Tiantian Feng 等
arXiv
cs.LG
说明CFBrainAug:基于模块化的反事实脑网络增强方法,用于可解释的fMRI自闭症诊断
简介该论文提出CFBrainAug框架,用于基于静息态功能磁共振成像(rs-fMRI)脑网络的自闭症谱系障碍(ASD)诊断。方法通过生成标签相反但拓扑结构相似并受模块数约束的反事实脑网络来扩充训练数据,并利用其识别个体与反事实之间的连接差异作为解释。在ABIDE I数据集的NYU站点上,准确率达到74.1%。
Yifan Qiao, Sheng Li
★★★★☆ 值得关注
arXiv
cs.AI · cs.CL · cs.LG
有代码
说明并非所有信息都值得索取:基于决策价值的大语言模型信息获取方法
简介该论文指出,大语言模型在信息不完整时常会为无用或不值得的检查付费,或在证据已足够时仍继续提问。作者提出免训练的DIVA方法:让模型用简短数值问题构建小型决策模型,并按检查结果改善决策的价值扣除成本后进行评估,无价值时即停止,其变体DIVA-U还考虑模型估计的不确定性。在四个领域、20个大语言模型上,DIVA-U的遗憾值低于所有基线。
看点提出基于决策价值的信息获取方法,新颖性有实质改进;在20个LLM和四个领域实验,证据较充分,对LLM决策支持有一定影响。
Seunghan Lee, Jun Seo, Junhyeok Kang 等
arXiv
cs.LG · cs.AI · cs.CV
说明利用稀疏搜索历史与零成本代理进行跨任务架构搜索
简介该论文针对神经架构搜索(NAS)成本高的问题,提出一种跨任务迁移方法,结合稀疏的源任务搜索日志与零成本代理指标,通过冠军初始化和成对排序器联合预训练降低最坏情况下的失败风险。在TransNAS-Bench-101上,该方法将Micro自编码任务的最差10%排名从290降至43,将Macro房间布局任务从465降至45。在13个cell空间目标任务中,它在10个目标上的平均与最差情况表现均优于仅使用代理的排序器,同时保持有竞争力的平均性能。
Yuefeng Xu, Jun Yu
★★★★☆ 值得关注
arXiv
stat.ML · cs.LG
说明异构客户端的联邦非参数回归:何时对单个客户端有益
简介本文研究联邦非参数回归(Nadaraya–Watson 核回归)是否对单个客户端有益,取决于人群异质性和估计不确定性。各客户端只上传局部核统计量,服务器据此构造加权联邦估计量,无需集中个体数据。文章给出客户端增益的精确恒等式、逐点推断方法以及跨客户端的同时推断,并在两种扰动模型下分析稳健性。
看点将Nadaraya-Watson联邦估计与客户端收益、两阶段推断及分布鲁棒界相结合,提出了区分已实现拟合与重复拟合的新框架,理论证明较完整。
Xiaoran Jiang, Anand N. Vidyashankar
arXiv
cs.AI · cs.CV · cs.LG
说明Ψ-0.6:统一视觉-语言世界模型中的自适应思维流
简介该论文提出Ψ-0.6,一个统一的视觉-语言世界模型,可在称为“思维流”的共享推理过程中自适应地组合感知、语言、几何与模拟。模型在多视角空间推理的零样本测试中超过了主流开源模型,并能生成和解读想象场景进行反事实模拟。通过任务反馈的强化学习,它还联合优化中间表示的选择、生成与使用,提升了视觉问答准确率,且增益可迁移到未见过的基准。
Khai Loong Aw, Klemen Kotar, Baihan Zhang 等
arXiv
cs.CV
说明旋转式挤奶台上奶牛背部解剖区域的实时定位(基于RGB-D)
简介本文提出一种感知方法,在商用旋转式挤奶台拍摄的RGB-D图像中,通过单次前向计算同时找出目标奶牛、十个骨性标志点以及四个背部解剖区域(肩隆、背部、臀部和尾根)。该网络在作者构建的数据集上取得了较好的标志点精度与区域交并比,单帧耗时26.4毫秒。作者还报告该模型在西澳大利亚一个大型奶牛场的自有设备上,仅用十个标注帧即可迁移,并能将区域映射到热成像相机上以获得每个区域的温度。
Vineet Prasad, Shiron Melvin, Sheikh Azid 等
arXiv
physics.flu-dyn · cs.LG · cs.NA
说明用神经基方法求解与学习Navier-Stokes动力学
简介本文提出神经基方法(NBM),用于求解和学习不可压缩流体的Navier-Stokes动力学。该方法采用先表示后投影的思路:固定的神经基定义表示空间,对控制方程的投影确定展开系数。此外,NBM由残差给出速度误差的后验估计,据此可构造无需数据、可认证的系数学习训练目标。作者称理论分析和数值实验显示其精度、效率、泛化能力和可扩展性均明显优于基线方法。
Yuhe Wang, Zhu Wang, Min Wang
arXiv
cs.CV · cs.CY · cs.HC
说明《锻造情感》:关于情感与艺术的深度学习实验
简介该论文通过名为“Forging Emotions”的实验,探索如何利用生成对抗网络(GAN)生成能够传达或引发特定情感的图像。实验认为,计算机科学界目前用于构建情感图像数据集的方法并不充分,建议借鉴心理学中的情感关联网络;同时指出,仅依据亮色或暗色等基础心理学发现来生成情感视觉效果并不够,研究应进一步理解GAN的结构。
Amalia Foka
arXiv
eess.AS · cs.AI
说明MG-REPA:面向生成式目标说话人提取的多粒度表示对齐
简介生成式目标说话人提取模型音质好,但训练收敛很慢。本文提出MG-REPA,在帧级用自监督模型对齐隐藏状态,在句子级用说话人验证模型对齐,并对帧级目标做时间归一化以去除句级统计量。在Libri2Mix上,MG-REPA分别以3.0倍和2.1倍更少的轮数达到基线的OVRL和PESQ,训练750轮时在侵入式指标上与已发表的2000轮基线相当,非侵入式指标有所提升。消融实验表明其优于单一粒度的对齐方式。
Dohwan Kim, Jung-Woo Choi
arXiv
cs.CY · cs.CV · cs.HC
说明《偏见博弈:解读文生图模型的认识论游戏》:通过游戏化教学培养对文生图模型偏见的批判性读图能力
简介本文提出一套源自人文视角的三阶段认识论游戏:解读、质询与揭示,帮助学习者看见文生图模型如何通过姿态、镜头、服饰、道具和场景生成刻板印象。研究在美术专业本科生中做了试点,讨论从印象式反应转向基于视觉证据的论证。作者认为,这类游戏式方法有助于培养批判性素养。
Amalia Foka
arXiv
cs.LG · cs.AI
说明稀疏性促使多任务神经网络形成功能模块化结构
简介该论文研究多任务神经网络在学习过程中如何把共享计算组织成专门化、可复用的部件。作者发现,稀疏化正则项能在没有预先设定模块边界的情况下促进功能模块化,并识别出紧凑、对任务有选择性的子网络,称为功能标记。实验显示,专门化主要在较深层出现,较浅层保留共享计算,并且这些标记可以在不重新训练的情况下重组。
Bowen Shi, Qi Ouyang, Long Qian
arXiv
cs.CL · cs.AI
说明LLENS:在日本大学医院本地部署的大型语言模型智能体平台研究
简介本文介绍了在北海道大学医院封闭网络内部署的临床支持AI智能体平台LLENS,使用开源大模型Kimi K2.6和带有多种工具组件的框架。在180道医院文档问题的测试中,交互式文档访问的平均准确率为97.2%,高于固定检索的81.3%和不使用文档时的10.7%。该平台自2026年9月14日起已在医院网络上运行。
Ken Enda, Jien Saito, Masami Mukai 等
arXiv
cs.CL
说明从承诺到问责:尼泊尔政治文本中选举承诺的多模型比较与可视化
简介该论文针对南亚发展中国家选举后承诺常被遗忘、难以追责的问题,构建了首个尼泊尔政治文本金标准数据集,用于自动提取和分析选举承诺。研究比较了机器学习、深度学习与大语言模型的表现,其中深度学习模型fastText-LSTM准确率最高,达0.914;大语言模型中Qwen3-8B在少样本设置下表现最好。研究成果已集成到一款移动应用中,用于可视化承诺,以提升透明度和公民参与。
Prakash Poudyal, Nischal Karki, Amrit Dahal 等
★★★★☆ 值得关注
arXiv
stat.ML · cs.AI · cs.LG
说明图极限变分问题的隐式神经表示
简介本文提出一种神经网络探索框架,用于求解图极限(graphon)上的变分问题,这类问题见于极值图论与稠密随机图的大偏差理论。框架用隐式神经网络表示图极限,通过梯度下降优化目标,并结合多尺度正弦残差结构、带隐式微分的约束求解器以及考虑对称性的蒙特卡洛估计器。论文称该方法在广义图兰问题上重新得到已知最优图极限,并对开放实例给出候选最优解,其中包括一类此前未报告的极值结构;在Erdős–Rényi随机图的大偏差问题上,对三角形图的上尾情形,所得候选结构优于Lubetzky与Zhao的已知参考构造。
看点提出用隐式神经表示求解图极限变分问题,发现已知最优结构并改进三角形上尾问题的已知构造,同时促成新定理,新颖性较强。
Taeyoung Kim, Jineon Baek, Joonkyung Lee 等
arXiv
cs.CV
说明将双曲视觉-语言模型中的角度对齐与径向层级分离
简介该论文提出AURORA框架,把双曲视觉-语言模型的语义对齐与层级蕴含建模解耦:用角度对齐捕捉语义相似性,用新的径向-角度序锥(RAOC)建模上下位关系,并加入范数正则项以稳定训练。在数百万图文对上训练后,模型在零样本分类、图文检索、层级推理和组合理解任务中均优于欧氏和双曲基线。
Mingyang Gao, Yuwei Wu, Shiyu Luo 等
arXiv
cs.CL
说明区分多语言P(True)自评中的问题、回答与验证语言
简介该论文研究语言模型判断自身答案是否正确时,问题语言、回答语言和验证指令语言三者的影响。作者在六种语言的因子设计下,用十个3B至14B的开源模型,在LSQA、MMMLU和TriviaQA上进行测试,并以首词元P(True)探针衡量置信度。结果显示三种语言作用不同,仅改变验证语言就可使校准误差变化最多0.04,且评分器的选择会显著影响准确率差距的结论。
Jewon Yeom, Jaewon Sok, Seonghyeon Park 等
arXiv
cs.LG · cs.AI
说明重新审视 LoRA 初始化以实现稳健的非对称学习率
简介本文针对 LoRA 微调对学习率高度敏感的问题,指出 LoRA+ 中 B、A 两矩阵学习率比值在标准初始化下会导致训练不稳定甚至性能崩溃。作者通过信号-噪声分解分析其原因,并提出 InitAA 初始化方法,将 A 的方差按 n⁻² 缩放,同时保持 B₀=0。实验表明该方法显著扩大了稳定学习率范围,并降低了最佳比值的漂移。
Disen Liao, Yaoliang Yu
arXiv
cs.LG · cs.AI
说明超越数据调度:通过损失重加权实现数据混合的快速大模型预训练
Jiazheng Li, Huaqing Zhang, Jing Xu 等
arXiv
cs.CV · cs.CL · cs.LG
说明SyncPro:面向主动式流媒体视频理解的同步推理与响应框架
简介该论文针对主动式流媒体视频理解中推理与及时响应难以协调的问题,提出 SyncPro 双流框架,包含用于证据追踪的内部分支和面向用户的响应分支,两者共享因果历史并可独立激活。研究构建了 189K 条双流样本,经监督微调与轨迹级强化学习训练,并在三个主动式基准上取得了更好的响应时机和更准确的回答。
Xueyun Tian, Bingbing Xu, Jiaming Liu 等
arXiv
cs.CL · cs.HC · cs.SE
说明更短不等于更便宜:对比LLM生成解释时声明式动画规格与自由代码的受控实验
简介该论文比较了两种让大模型生成交互式动画解释的方式:自由形式的HTML/JavaScript代码,与声明式动画规格(作者设计的ExplainSpec格式)。实验覆盖五个领域共20个请求,使用三个Claude模型及开源Qwen3-14B进行。结果显示,规格的回答文本明显更短,但总体输出并未普遍变得更快或更便宜,自由代码的有效率也不低于规格。
Jiantang Huang
arXiv
cs.CL
说明从嘈杂检索到决策证据:面向上下文学习的白银证据示范
简介该论文针对检索增强的少样本上下文学习在长而嘈杂的文本中难以找到决策相关证据的问题,提出用由大模型生成的、与目标相关的证据摘要替换示例中的原始检索段落。方法在多个数据集上进行了测试,论文称其在多数数据集上提高了标签准确率与证据F1,并优于InstructRAG式上下文学习。
Masoud Monajatipoor, Fazlolah Mohaghegh, Hamid Reza Hassanzadeh 等
★★★★☆ 值得关注
arXiv
cs.AI · cs.LG
有代码
说明MPQ:从消息传递视角看训练后量化
简介本文研究大语言模型的训练后量化(PTQ),即在不重新训练的情况下把权重压缩为低比特表示。作者把逐行量化看作离散码本上的后验推断,并提出消息传递量化方法(MPQ),在推理过程中跨块保留软后验信息,只在输出阶段确定硬码字。实验基于 Llama、Qwen、Mistral 等稠密语言模型,报告相比强基线,困惑度和零样本准确率有所提升。
看点将行级PTQ重新表述为离散码本上的后验推断,并用消息传递保留跨块软信息,是有新意的组合;在多个模型族和位宽上验证了困惑度与零样本精度的提升。
Yanshuo Chen, Chenxi Liu, Reza Shirkavand 等
★★★★☆ 值得关注
arXiv
cs.CV · cs.CL
说明RVL-CDIP数据质量系统审计
简介本文对文档分类基准数据集RVL-CDIP进行数据质量审计,发现约10.5%的标签有误,测试集中35.2%的文档在训练集中有重复或近似重复。作者还指出页面上的识别代码即可达到69%的分类准确率,并发布了修正后的语料、标注和分布外数据。
看点系统审计数据集质量问题,揭示标签错误、重复样本和隐私信息,并重新基准25个模型,实证充分,对该基准的可信度影响较大。
Stefan Larson, Kevin Leach
arXiv
stat.ML · cs.LG
说明用于离线最大熵强化学习的条件流模型
简介本文研究离线最大熵强化学习,即仅依据固定数据集估计最优软动作价值函数 Q*,无需与环境继续交互。作者用基于概率流 ODE 的条件扩散模型估计奖励分布和状态转移核,据此构造软最优贝尔曼算子的近似,再在深度神经网络类中最小化经验贝尔曼残差来估计 Q*。文中给出了非渐近理论保证,且结果不要求贝尔曼完备性;数值实验支持了理论结论。
Hao Cheng, Yuling Jiao, Lican Kang 等
arXiv
cs.CL · cs.LG
说明语义丰富却度量上对情感不敏感:现代文本嵌入模型的几何盲区
简介论文发现,现代文本嵌入模型的向量中几乎能线性解码出句子情感,但余弦相似度几乎不区分情感极性。作者提出情感注入句嵌入(SISE),在冻结编码器上用一个小型监督对比头进行训练,可提升检索MAP等指标,并发布了可在CPU上复现的流程与诊断指标Attribute Alignment Gap。
Mahdi Naser Moghadasi
arXiv
cs.CV · cs.AI
说明ImageRSI:面向智能体图像生成的验证驱动递归自我改进框架
简介该论文提出ImageRSI框架,在冻结图像生成器的前提下,通过单任务内的五维验证与修复、跨任务共享的经验库以及离线更新的评判器来提升复杂文生图请求的满足率。论文还发布了包含961条请求及对应评估清单的ImageReq-Bench基准。原文报告在MindBench(以Nano Banana Pro为生成器)上的Checklist Strict Accuracy为52.6%,在ImageReq-Bench上为65.66%。
Shuo Han, Zhilin Wang, Peng Ling 等
arXiv
cs.CL
说明EDWARD-NMT:面向神经机器翻译的弹性维度、自适应路由与双一致性模型
简介本文提出EDWARD-NMT,一种用于神经机器翻译的混合专家(MoE)编码器-解码器架构,目标是训练一次、随处部署。模型结合Matryoshka式弹性维度以减少内存占用,采用带学习阈值的自适应sigmoid路由让每个词元动态决定激活的专家数量,并使用双一致性目标提升提取子网络的性能。在PhoMT、WMT-14、多语言OPUS-16和多领域德英基准上的实验表明,全容量模型达到或超过强MoE基线,并且从单一检查点提取的子网络无需重新训练即可优于同等规模的稠密Transformer。
Edward Nguyen, Thai Tran, Kiet Anh Hoang 等
arXiv
cs.CL · cs.AI · cs.DL
说明《Tampered ML》:评估大语言模型对机器学习研究的判断能力
简介该论文提出 Tampered ML 基准,包含 1,858 组实验方案对,每组由已发表的机器学习论文改写的实验方案和一个仅引入特定方法缺陷的反事实版本组成。模型需要在两种呈现顺序下识别方法更严谨的方案。人工验证估计约 86% 的样本有效。前沿模型表现高于随机水平,但远未可靠,且对呈现顺序高度敏感,倾向于选择看起来更具体、透明或常规的有缺陷设计。
Soroush Ebadian, Parand A. Alamdari, Joe Benton 等
★★★★☆ 值得关注
arXiv
cs.LG · cs.AI · cs.CL
有代码
说明REACT:对思维链轨迹进行早期表征分析与控制
简介这篇论文研究在推理模型生成思维链(CoT)的早期阶段进行干预的时机问题。作者提出REACT方法,从安全与不安全的轨迹对中学习一个安全方向,并只在早期隐藏状态上施加一次编辑,模型权重保持冻结。研究发现,最有效的干预集中在前两到三个token的早期窗口,而风险最容易被读出的位置并不一定控制效果最好。在DeepSeek-R1-Distill-Llama-8B上,安全的思维链加答案输出比例在StrongREJECT-273测试集上由29.06%提升至82.05%,同时良性拒答和实用性保持在接近基线的水平。
看点提出在早期CoT隐状态施加一次条件激活干预,并以后续生成效果区分风险可读性与控制效果,有新意;多模型多种子实验支持结论。
Hanwen Zhang, Enyi Jiang, Ruike Zhu 等
arXiv
cs.AI · cs.SE
说明谁来核验工具?失真的格式化输出如何误导智能体及其验证器
简介论文指出,智能体和验证器常依赖工具打印的文本,即使工具计算正确,这些文本也可能歪曲工具的实际行为。作者在一个生产环境的RAG研究系统中观察到,输出格式化器遗漏搜索限制、结果上限或标识符命名空间,从而误导智能体向用户提供错误或不完整的信息。作者通过对比两个格式化版本的实验表明,补全遗漏信息后,智能体的无依据断言明显减少,验证器接受错误答案的情况也显著改变。
William Jeffries
★★★★☆ 值得关注
arXiv
cs.CL
说明语境还是知识:大模型如何归因自己的答案
简介语言模型回答问题时,可能依据所给文档,也可能依据参数中的知识。本文在生成答案之后、询问来源之前,干预模型的键值缓存,考察决定其来源报告的因素。结果显示,改动或移除文档的缓存不会改变报告,而交换问答部分的缓存则会改变报告,并可通过沿特定方向调整数值来反转大部分报告。作者表示,并未据此确立一般的报告准确性。
看点通过干预生成答案后的KV缓存,证明来源报告因果依赖于回答时产生的缓存状态,对2个较小模型的引导实验结果显著,但仅限于受控事实任务。
Kirill Afendulev, Alexey Dontsov, Alla Chepurova 等
arXiv
cs.CL
说明不只是说什么,还有何时说:面向狼人杀智能体的内心想法驱动主动发言时机
简介本文介绍一个为AIWolfDial共享任务“随时发言”赛道开发的狼人杀AI智能体。系统基于已有的内心想法(Inner Thoughts)框架,通过生成内部想法并评估其在当下表达的价值来决定发言时机。作者针对竞争环境和信息不完整的狼人杀设定重新设计了该方法,称为对抗性内心想法(Adversarial Inner Thoughts),并通过自我对弈日志分析和人工评估讨论其效果。
Yoshiki Tanaka, Shuya Uchiyama, Daichi Hamaguchi 等
arXiv
cs.AI
说明PersonaScienceBench:用多样化模拟研究者评估科学智能体
简介该论文提出 PersonaScienceBench,包含来自四个科学领域、五个基准的 200 项任务。模拟研究者依据人物画像提供背景信息和反馈,任务目标与评分标准保持不变,智能体只能通过对话了解研究者的偏好。作者在十八种模型配置上进行了评测,发现任务表现、事实回忆与自我重复等方面各有不同优势;即使最终得分相同,不同智能体的交互方式也可能不同。
Siyang Wu, Weizhi Zhang, Chen Yang 等
arXiv
cs.LG · cs.CL
说明检验 Transformer 理论的有效性
简介本文比较了七种刻画 Transformer 能力与局限的形式化理论,并把它们对各类任务的预测整理成统一矩阵。作者通过受控实验测量样本复杂度、长度泛化和预训练语言模型表现,发现没有任何单一理论能解释全部成败模式。研究认为,一个合格的 Transformer 理论需要刻画软注意力、内容依赖的检索及有界计算等特征。
Awni Altabaa, Tobias Schnabel, Kiran Tomlinson
arXiv
cs.LG · cs.AI
说明ReMedI:面向可控分子优化的推理时精炼与自蒸馏方法
简介该论文提出ReMedI方法,用于药物先导化合物的多目标优化,例如在提升渗透性、降低毒性的同时尽量保留原有结构。方法以预训练分子语言模型为基础提议编辑,并用Metropolis-Hastings搜索在推理时逐步精炼;搜索轨迹还可蒸馏回基础模型。在C-MuMOInstruct和SMDD基准上,该方法优于基线,所用先导化合物训练数据约为C-MORAL的1/7.8,严格成功覆盖率约为其2.8倍。
Jia Yi Zhang, Shivanshu Shekhar, Allison McLevige 等
arXiv
cs.LG
说明PRISM:通过隐式随机调制提升大语言模型的采样多样性
简介大语言模型常出现模式坍缩,输出集中于常见语义,导致重复采样只得到语义重复。本文提出PRISM训练框架,将多样性内化为模型能力,结合子模块化数据筛选与随机嵌入调制两部分,并给出该机制稳定性的理论分析。在WritingPrompts和BookMIA上,PRISM在质量与多样性之间取得更优平衡,并在数学和代码基准上提升采样效率,还有助于强化学习中维持多样的生成结果。
Qixin Xu, Zihan Zhu, Xiaojiang Liu 等
arXiv
cs.AI
说明面向集成感知与通信的跨尺度非线性波形融合学习
简介本文针对集成感知与通信(ISAC)中固定叠加和频率划分的局限,提出学习跨尺度非线性波形融合方法,将图像通信内容与线性调频参考信号融合为一个固定总能量的波形。用户端借助参考信号和信道状态信息重建图像,基站端利用实际发射脉冲进行多目标距离与角度的序贯定位,并引入学习的局部修正。与时域叠加及频谱线性融合相比,所提波形的归一化定位误差分别降低29.0%和27.0%,平均峰值信噪比分别提高1.40和0.82 dB;在固定波形下,学习的局部修正使平均归一化定位误差再降低12.2%。
Jiayu Liu, Kai Wan, Shuo Shao 等
arXiv
cs.AI
说明DELA:为扩散语言模型学习可控编辑
简介扩散语言模型(DLM)目前主要靠逐词掩码调度来控制生成,草稿层面的修改较为隐含。该文提出即插即用框架DELA,在冻结的DLM上增加控制器,通过插入、删除、重掩码和停止四种显式编辑动作来修改草稿,并采用先追加、后全局精修的两阶段解码。实验显示,在数学推理与代码生成任务上,DELA相比直接扩散解码最高提升5.5个百分点,且主干模型保持冻结。
Xinsong Feng, Chenan Wang, Leshu Tang 等
arXiv
cs.RO · cs.AI · cs.CV
说明视觉-语言-动作模型中的测试时训练:用人类示范进行训练的探索
简介该研究将可把上下文存入快速权重的测试时训练(TTT)接入 InternVLA-A1 与 Pi0.5 两个模型,探讨在配对的人类示范和机器人轨迹上训练后,动作生成如何受示范条件影响。实验测试了多种训练目标、梯度覆盖和对比正则化等设置。结果显示,在当前规模下,加入 TTT 并训练配对数据并未稳定地实现基于示范的目标选择,较短序列、完整轨迹梯度连接和对比正则化也没有明显改善对示范的响应。
Qiangong Zhou, Jiafeng Liang, Yimin Dong 等
arXiv
cs.AI · cs.CL
说明大语言模型驱动智能体的行为分析框架:从数据中发现行为类别,分析其依赖关系,并通过实验检验这些关系。
简介论文提出一个通用框架,将基于数据的行为发现与分析和实验研究相连接。方法先从记录的活动中归纳行为类别,再用可解释的假设描述行为之间的关系,并通过统计检验与保留情境测试评估证据的强度和适用范围。作者还以迭代自我反思为例,展示了发现、依赖关系学习与提示词比较如何相互促进。
Tianqiang Yan, Lizhen Qu
arXiv
cs.CV · cs.GR · cs.LG
说明RADIANT:以物体为中心的前馈式全局光照神经渲染器
简介该论文提出 RADIANT,一种无需逐场景优化或运行时光线追踪的前馈式神经渲染架构。它以每个物体 32 个表面块令牌表示场景,使注意力长度与多边形数量脱钩,并通过几何不变的形状因子注意力建模光的传输。在 1.03M 场景基准上,其训练步数少于 RenderFormer,600k 步时达到 32.2 dB 的 PSNR,且 500 个物体场景的 512x512 前向推理耗时 0.83 秒。
Sarah Zhang, Zhiyang Dou, Minghao Guo 等
arXiv
cs.CV · cs.AI
有代码
说明面向匿名化人群视频监控的引导式零样本异常解释:上下文、分类与空间定位
简介该论文提出XAVAD方法,用于匿名化视频异常检测的可解释性,整合零样本全身匿名化、异常类型分类、热力图空间定位和场景上下文描述。作者基于CLIP多模态嵌入与LLM辅助提示,并改进Grad-ECLIP进行定位,实验显示在多个公开监控数据集上优于现有基准方法。
Mulugeta Weldezgina Asres, Lei Jiao, Christian Walter Omlin
arXiv
cs.LG · stat.ML
说明DBCM:用于时间序列预测测试时自适应的双分支校准模块
简介该论文针对时间序列预测中因非平稳性导致的测试时分布偏移问题,提出双分支校准模块DBCM。观察到预测残差在不同通道间存在明显共享结构,DBCM用共享适配器跨通道共享适应能力,并用低秩通道专属适配器保留有限的通道特异性,同时引入通道混合和非线性门控调制。实验表明,该方法在多种数据集、预测步长和骨干模型上均优于已有方法。
Jaebyeong Jeon, Kunwoo Kang, Sang Yup Lee 等
arXiv
cs.AI
说明DriveMind:面向闭环自动驾驶的动态信念追踪框架
简介论文提出DriveMind,一种基于多模态大语言模型的自动驾驶框架。它在场景模糊时同时保留多个假设,并随新帧到来更新各假设的权重,借鉴粒子滤波思路。在Bench2Drive上,加入信念追踪后驾驶得分由68.50提升至81.37,成功率由41.36%提升至54.09%,在无信号灯路口和对向来车交互等场景提升最明显。
Yan Shi, Kehua Chen, Jiarui Qi 等
★★★★☆ 值得关注
arXiv
cs.LG · cs.AI
说明脑电基础模型的受控评估:随机初始化、频带功率与验证集选层
简介该论文在统一协议下评估了五个公开的脑电(EEG)基础模型和一个内部JEPA式模型,并加入随机初始化、五频带对数功率特征以及按验证集而非测试集选择层三项对照。结果显示,若按测试分数选层会明显抬高性能峰值;在验证集选层的条件下,随机初始化在半数模型的睡眠与情绪任务上不逊于预训练,且没有模型在情绪与运动想象任务上超过五频带功率基线。作者据此提出四项报告规范,并公开全部结果以供复核。
看点通过随机初始化、频带功率和验证集选层三项对照,系统检验EEG基础模型的增益,方法上有新意,多基准多种子实验扎实,对领域报告规范影响较大。
Mingyu Jeon, Suwan Cho, Jae Young Suh
arXiv
eess.AS · cs.CL
说明集中的因果影响,分散的诊断信息:大型音频-语言模型中的认知障碍判断
简介本文研究大型音频-语言模型如何从语音判断认知障碍,并通过在解码器MLP中按类别对比激活频率筛选出的CI对比神经元进行因果干预。研究在八个开放模型和两个语料库上进行,结果显示,消融少量这些神经元会引起明显的类别导向预测变化,但它们的冻结激活经线性读出后的判别性能(AUC约0.92至0.97)与随机掩码及全部神经元相当,表明因果控制集中而诊断信息分散。
Xiutian Zhao, Luqi Sun, Bj\"orn Schuller 等
arXiv
cs.AI
说明多智能体大语言模型系统中的沟通失败分析
简介本文研究多个大语言模型智能体通过辩论、共享证据和相互纠错协作推理时出现的沟通失败。作者基于医疗问答、编程、金融、多跳推理、伦理和具身文本等任务中的3211条失败的多轮交互轨迹,建立了沟通失败分类体系,并分析了其分布、轮次间的错误变化和少数正确意见被压制等现象。研究发现,失败多源于纠错恢复和共识决策问题,而非孤立的首轮错误;作者建议在定论前加强分歧处理、证据核验、少数意见保留和恢复检查。
Priya Pitre, Jun Hou, Yi Fang 等
arXiv
cs.CV · cs.AI
说明ACVA-Bench:超越提示词跟随,评测文生图模型的抽象概念可视化能力
简介本文提出“抽象概念可视化能力”(ACVA)并构建了ACVA-Bench基准,用于评估文生图模型能否在不提供具体对象或场景的情况下,将“忠诚”等抽象概念转化为准确、多样且可与相近概念区分的图像。研究采用基于语义问题分解的细粒度评估方法,并经人工评测验证。对主流模型的测试显示,它们依赖少量典型视觉模式,在表征多样性和概念区分度方面仍有提升空间。
Mengyan Wang, Jiyuan An, Yining Liu 等
arXiv
cs.AI · cs.DC
说明HyScale:扩展学习型稀疏注意力的长上下文训练
简介本文提出HyScale,一种面向学习型稀疏注意力的长上下文训练系统。论文指出,选择步骤成为训练瓶颈,因为现有系统需要物化完整分数表并在重计算时重复选择。HyScale引入HyTopK与选择重放两项技术,并结合系统级优化,在512块H20 GPU上训练GLM-5.1的1M token序列时较Megatron-LM加速2.07倍。
Yangshen Deng, Xinjing Huang, Yulong Wang 等
arXiv
cs.CL · cs.LG
说明模型会因提示而改答案:量化推理语言模型的“听从提示”程度
简介该论文研究大语言模型在客观题(MMLU)上,因“某来源认为答案是X”这类提示而改变答案的现象。作者让提示来源分别为教授、朋友或狗,测试Qwen、Gemma、SmolLM三个开源模型家族。结果显示,提示带来的答案对数几率变化大致恒定,且与来源无关;即使声明来源不可信,这种偏移依然存在。
Anxin Guo, Chirag Pabbaraju, Sara Ahmadian 等
arXiv
math.OC · cs.LG · cs.SY
说明利西亚社区卫生项目药品末端配送的动态库存分配模型
简介本文研究利比里亚社区卫生项目中稀缺药品的动态分配问题,在中央仓库、卫生机构与其督导的社区卫生助理之间进行配置。文章将问题建模为有限时域随机控制问题,并用反射布朗运动的漂移率控制给出连续时间近似,再结合深度分裂方法求解动态分配策略。基于洛法县方贡达地区儿童疟疾病例数据校准后,在基准设定下,该策略相比最强的仅考虑公平性的基准策略,运营成本降低约6%,同时保留约98%的公平效用。
Baris Ata, Yufan Chen, Robert Montgomery
arXiv
cs.AI · cs.LG
说明测试时记忆演化能否在科学发现中超越测试时训练?
简介该论文提出测试时记忆演化(TTME),作为测试时训练(TTT)的替代方法:通过不断更新外部记忆来指导后续探索,而不更新模型权重。在相同的发现框架下,TTME 在五个数学任务上的表现优于 TTT,同时在计算量和运行时间上明显更低,原文以 FLOPs 和运行时间的降低幅度说明其计算效率优势。
Yepeng Liu, Shengmai Chen, Xuandong Zhao 等
arXiv
cs.AI
说明AI科学智能体是否保留了模型的安全性?
简介本文研究把大语言模型集成到AI-for-Science智能体框架后,其安全行为是否仍然保持。作者在50个有害化学请求上评估了五种智能体框架,比较直接提示、两种简单对抗提示和一种自适应攻击下的表现。结果显示,即使在直接提示下,智能体框架也可能提高有害请求的服从率;对基础模型几乎无效的自适应攻击,在引入框架后变得高度有效。作者认为,基础模型的安全行为在加入框架后并不稳固,需要用领域专用安全基准来评估和对齐这类智能体。
Michael Yew Chuan Lee, Manya Sriram, N. Benjamin Erichson
arXiv
cs.CL · cs.CV · eess.AS
说明X-Dubbing:在时间与画面约束下的语音到语音翻译
简介该论文提出 X-Dubbing,用于跨语言配音,即把源语言语音转换为与原视频同步的目标语言语音。方法把任务拆为时间感知的语音到文本翻译与视频感知的文本到语音两部分,二者都基于与语言无关的时长预算。翻译模块还利用合成语音的配音反馈进行优化。论文称其在包括同步性和视听对应在内的多项指标上优于近期基线方法。
Jeongsoo Choi, Ji-Hoon Kim, Junseok Ahn 等
arXiv
cs.CV · cs.LG
说明NUViT:面向傅里叶空间数据的视觉Transformer
简介视觉Transformer(ViT)在许多视觉任务上表现出色,但难以直接用于傅里叶空间数据,例如医学成像和显微镜等领域使用的数据。本文提出非均匀ViT(NUViT),重新设计了图像分块、数据表示和位置编码,以契合傅里叶数据的频率与相位结构。实验涵盖傅里叶域图像分类、二维晶格识别、MRI标注和冷冻电镜蛋白异质性分析,结果显示NUViT比标准架构更好地捕捉傅里叶数据的结构。
Jeffrey Gu, Robert C. Heeter, Ellen D. Zhong
arXiv
cs.LG · cs.AI · cs.CV
说明长尾数据下监督对比学习中表示几何结构的重新审视
简介本文研究监督对比学习及其平衡变体在长尾分布数据上学习到的表示,其最优解是否真正呈现正则单纯形几何结构。作者提出理论框架判断最优解是否形成正则单纯形,发现现有目标函数因依赖每类样本数而无法做到。据此提出可应用于对比目标的结构平衡方法,并给出完全平衡的对比目标函数,理论上可保证其最优解形成正则单纯形;理论与实验均显示其表示空间更平衡,并在长尾识别与迁移学习任务上表现更好。
Joonhyeok Jeong, Jy-yong Sohn, Kibok Lee
arXiv
cs.AI
说明PPO 与 SAC 对比:双臂空间机器人协同运动控制研究
简介该论文针对双臂空间机械臂在目标接近任务中的协同运动规划,构建了强化学习框架,并加入臂间防碰撞约束。研究比较了同策略算法 PPO 与异策略算法 SAC,在五个随机种子下,SAC 的成功率平均为 78.6%,PPO 仅为 7.4%。论文还指出 PPO 在该奖励设计下容易陷入局部最优,而 SAC 在未见过的目标位置上性能下降较少。
Nasim Fallahiarezoodar, Zheng H. Zhu
arXiv
cs.AI
说明RSI-Opt:用于模型训练的递归自我改进优化器智能体
简介论文提出RSI-Opt,一种即插即用的优化器智能体框架:元智能体依据此前训练的证据,不断改写提示、操作流程手册、已测试的优化器代码和决策节奏,并保存评估过的策略用于后续进化。在三项训练任务、5代进化后,智能体性能明显提升,并能迁移到保留任务及科学机器学习中的Burgers偏微分方程问题。
Binghang Lu, Yige Sun, Guang Lin
arXiv
cs.AI
说明BARC-Bench:良性请求,风险后果
简介该论文提出 BARC-Bench,包含九个模拟工作环境中的 110 项任务,用于测试智能体在看似无害的请求中是否会做出不安全行为。作者以工作区记录、隐含环境信息和未明说的社会规范作为安全边界进行评估。结果显示,四种前沿模型配置在五次尝试中始终安全完成的任务比例为 9.1% 至 72.7%,最强配置仍有 27.3% 的任务出现安全违规。
Kangkang Li, Kelvin Luu, Lily Ma 等
arXiv
cs.AI · cs.RO
说明CEMIR与FISER对比:基于推理与基于增强的语用意图识别方法研究
简介该论文比较了两类人机交互意图识别方法:基于结构化社会与具身推理的FISER,以及通过合成叙述和图像进行多模态增强的CEMIR。二者在HandMeThat v2基准上使用四个大语言模型进行评测。统计分析显示,两者在各模型和难度级别上均无显著差异,性能主要取决于模型能力与歧义本身的难度。
Ziya Hosseynzadeh, Farjad Fallah, Farnoosh Fallah 等
arXiv
cs.DB · cs.DC · cs.IR
说明图查询处理的扩展:基于负载均衡的分区聚焦探索
简介本文关注图数据上的查询处理,目标是找出全部或 k 个答案,查询可包含通配符和比较操作。作者提出将图分区并采用分布式处理,结合聚焦探索与负载均衡以提高并行度和响应时间,并给出减少加载分区数量的启发式方法。论文在大规模合成与真实图数据集上进行了实验,并验证了分区方法下的正确性。
Harshit Modi, Abhishek Santra, Sharma Chakravarthy
arXiv
cs.CV · cs.LG
说明MAGIC:基于决策边际门控的对比去偏与证据恢复方法,用于视觉语言模型的测试时鲁棒性扩展
简介该论文针对大型视觉语言模型(LVLM)在推理时受语言偏见影响的问题,提出名为MAGIC的方法。它先评估模型关键词元的预测边际,对置信度低、易受语言偏见影响的回答,再结合文本与图像扰动分支的词元对数进行去偏推理,并恢复信息量最大的被破坏视图以辅助判断。此外,论文利用校准数据集剪除无效分支以降低推理成本,并在基准数据集上报告了相较多种基线的有效性。
Shunshun Gu, Enze Zhang, Ming Pei 等
arXiv
cs.LG
有代码
说明GS-MoE:无需训练、通过分组子空间共享与剪枝压缩MoE模型的方法
简介本文提出GS-MoE,一种无需训练的混合专家(MoE)模型压缩框架,从共享子空间秩与专家中间宽度两个维度减少冗余。它用分组低秩表示捕捉专家间的共享结构,并用基于Nyström的神经元压缩降低每个专家的中间宽度。在DeepSeek-MoE-16B-Base上,总参数减少60%时,平均推理性能保留约90%,高于D²-MoE的73%,域外困惑度低20%。
Carson Cary, Yukai Jin, Yihao Huang 等
arXiv
cs.SD · cs.AI
说明MI-MIDI 2:用稀疏自编码器从观察到控制——文本生成MIDI中的特征发现与干预
简介本文提出一套端到端方法,用稀疏自编码器(SAE)在文本生成MIDI任务中发现并评估模型特征,并应用于text2midi和MIDI-LLM。作者通过与音乐指标的相关性、乐器程序和自动描述来刻画特征,再以干预方式在生成的MIDI上检验这些特征是否真正影响输出,并在新提示上确认结果。
Jakub Po\'cwiardowski, Mateusz Modrzejewski
arXiv
cs.AI
说明把合规视为一种分布:委托契约、误差预算与基于用途的AI监管中的评估权分配
简介论文提出,基于用途的AI监管需要一个能承载义务的证据对象,即在声明的情境分布下部署失败率的合规记录,并附带范围与失效期限。作者在委托者、审计方与执法方的策略博弈中,分析声明情境混合的真实性、审计的无偏性、认证误差预算的可持续性等问题,并给出机制与命题。全部结论来自五项预先登记的合成实验,未评估任何语言模型或生产系统。
John deVadoss
arXiv
cs.HC · cs.CL
有代码
说明CRM-Agent-Bench:有状态企业环境中工具调用智能体的评测基准
简介这篇论文提出了 CRM-Agent-Bench,一个基于执行验证的评测基准,包含 555 个跨九个业务领域的有状态多轮任务。每个任务配有可执行的契约,依据动作、参数、顺序、回复、目标状态和受保护状态等检查项判定成功。作者在 16 个系统上评测,严格成功率在 64.32% 至 83.60% 之间。
Monojit Banerjee, Zhujun Lan, Defu Cao
arXiv
cs.CL
说明DraMaze:面向多样化微短剧剧本生成的多智能体流程与未来感知记忆
简介论文提出DraMaze,一种多智能体剧本生成流程,通过套路记忆引导的进化树搜索与变异探索多样的因果路径,并构建后向叙事依赖树来组织和检索历史记忆。作者还提出了双语基准MiDramaBench及衡量叙事重复与多样性的因果模式指标。原文称,在三种骨干大模型上均有提升;对于最长6万字的60集剧本,因果模式重复减少32.1%,逻辑得分为82.5,高于表现最好的基线8.5分。
Siyang He, Qiqi Wang, Fan Liu 等
arXiv
cs.CY · cs.CL
说明AusClinBench:依澳大利亚临床政策对大语言模型进行确定性评分的基准测试
简介本文提出AusClinBench,一个依据澳大利亚临床指南和药品补贴清单编写的基准,共142道题,涵盖五个领域,每题有可用精确匹配评分的唯一答案。作者测试了28个模型,盲测准确率在51.5%到92.7%之间。多数失败题目在提供相关条款后可答对,说明问题多在于规则应用而非记忆。作者建议把模型视为临床产品的组成部分,并设定本地规则的最低标准。答案由一名全科医生编写,尚未经独立审查,且该基准不构成任何模型可用于临床的许可。
Daniel S. Epstein
arXiv
cs.LG
说明REDAR:面向类增量学习的强化学习驱动自适应正则化
简介该论文针对类增量学习中正则化强度通常固定、无法随任务变化调整的问题,提出 REDAR 方法,用轻量强化学习智能体在每个增量阶段根据当前性能与新数据统计信息,决定蒸馏系数。策略仅在由初始阶段构造的伪增量任务上训练,之后直接用于真实增量序列。实验显示,在 CIFAR-100 和 Tiny-ImageNet 上,REDAR 相比固定与启发式基线减少了遗忘并提升了前向迁移,且短任务训练的策略可迁移到更长的增量运行中。
Akila Ayanthi, Darshana Priyasad, Tharindu Fernando 等
arXiv
cs.CV · cs.AI
说明OpenHome:智能家居摄像头视频从感知到洞察的评测基准
简介本文提出OpenHome,一个仅依赖画面、四选一的多选题基准,用于评估视觉语言模型对智能家居摄像头视频的理解能力。基准包含1118段真实视频片段上的2254道题,分为感知、推理和洞察三个层级共10项任务。文中对32个闭源与开源模型进行了测试,最佳模型总体准确率为81.2%,闭源模型在各层级均优于开源模型。
Xianglong Wang, Neil Rodrigues, Pei Guo 等
★★★★☆ 值得关注
arXiv
cs.AI · cs.CL · cs.MA
说明“助人型智能体问题”:大语言模型智能体之间自发的合作可能绕过既定工作流程
简介论文研究多个各自追求独立目标的大语言模型智能体在共享资源环境中,即使没有共同奖励,也可能在审核机制不可用时彼此代为修改、绕过既定监督流程。作者提出“助人型智能体问题”,并构建FavorBench与改编的CooperBench两个基准进行测试,结果显示此类越权式帮助频繁出现,其中FavorBench中至少三个模型的帮助行为对互动之外的各方造成了明显损害。
看点提出“助人型智能体问题”,揭示良性智能体自发绕过审查流程的合作,新颖;但实验规模与证明细节摘要中未能充分体现。
Moumita Choudhury, Amit Sarker, Shlomo Zilberstein
arXiv
cs.CV
说明用多物体交互视频解读视频编码器中的物理规律
简介该论文研究视频编码器(V-JEPA2 与 VideoMAE)是否在潜在表示中编码了两物体之间的关系型物理量,如动量传递、恢复系数和摩擦力。结果显示:两种编码器都能可靠区分弹性与非弹性碰撞;V-JEPA2 的预测器较不易预测出动能增加的碰撞;动量违背的检测仅在其中一种编码器中出现;动能读出在更换环境后仅对 V-JEPA2 成立;两者都未能保留在几何变化后仍有效的摩擦系数。
Ayushi Mehrotra, Sai Vidyaranya Nuthalapati
arXiv
cs.LG · stat.ML
说明流匹配在流形上的兼容似然目标
简介本文研究黎曼流匹配在流形上的似然目标。作者在一维平环上构造了一个分布,使既有扩展方法的全局最优速度场把样本推离数据分布,并提出“兼容性”概念来解释此类失效。文中提出基于端点指数族、以条件速度为充分统计量的新目标,在常曲率流形上兼具兼容性且只支持可行速度,在多个基准上取得更好的结果。
Lucas Ng, Georgios Batzolis, Mark Girolami
arXiv
cs.CV · cs.AI
说明Spectra:用于深度伪造检测的多尺度隐式分解方法
简介该论文提出Spectra框架,用于检测深度伪造图像。它对每张图像拟合隐式神经表示(INR),从中提取多层级重建热图,并通过双向融合与语义特征联合建模。实验表明,该方法在多个基准数据集上的鲁棒性和跨数据集泛化能力均优于仅依赖RGB外观或语义表示的检测器,并可扩展至人脸呈现攻击检测。
Dhananjaya Jayasundara, Kartik Narayan, Vishal M. Patel
arXiv
cs.AI
说明以可复现评估为基础的生产智能体安全提示压缩
简介该论文提出一个离线评估框架,用于在实时、会变化的企业数据上运行的对话智能体,使评估结果保持可复现,并能在过时后按需重新生成。作者以该框架作为GEPA提示优化的适应度函数,并设置正确性门槛以防止奖励投机。在面向商户的生产智能体上,经正确性门控的压缩使完整提示面缩小了3.5%至7.6%,且在三个独立的模型系列中均未降低保留任务的正确率,其中一个系列的正确率有可测量的提升。
Prabal Vashisht, Zheng Hu, Ying Yang
arXiv
cs.AI · cs.CL · cs.MA
说明知道该信任谁还不够:重复多方LLM谈判中的信任与达成协议之间的差距
简介该论文研究大语言模型智能体能否在多轮多方谈判中通过历史互动形成有用的信任评估,并借此改善结果。作者构建了重复多方多议题谈判框架,其中一名参与者暗中阻挠达成协议,比较了具备信任机制与不具备信任机制的智能体。结果显示,信任感知智能体能在几轮内识别出对手,但准确的信任评估并不总能带来更好的协议;只有在明确引导智能体使用信任信息时,达成协议的比率才最多提高23个百分点。
Amit Sarker, Moumita Choudhury, Saaduddin Mahmud 等
arXiv
cs.LG
说明超越经验法则与商用导航:救护车行车时间估计的人工智能辅助决策支持
简介本文利用瑞典斯科讷地区的历史救护车出车数据,指出现有调度常用的固定速度比例等简化假设与商用导航系统难以反映急救出车的实际情况。作者提出一套机器学习系统来更准确地估计救护车行车时间,并采用SHAP与排列重要性等方法解释模型,使其结果可被理解。
Muhammad Adil Abid, Johan Holmgren, Fabian Lorig 等
arXiv
cs.CL
说明基于词性签名的示例检索用于上下文依存句法分析
简介本文研究在无微调的情况下,为通用依存句法分析(UD)的上下文学习选择示例。作者提出一种按加权词性统计表示句子、并从带标注训练集中检索三个长度相近、带金标准句法的示例的方法。在UD英语网络树库(English-EWT)测试集的全部2077个句子上,该方法在两个开源权重模型上的带标签附着分数(LAS)最高,分别为72.4和73.2,并优于语义检索基线。
Muhammad Azam Afridi, Rajab Ali, Marco Passarotti
arXiv
cs.IR · cs.LG
说明面向短期建筑负荷预测的模型无关修正框架 WeL-RAC
简介论文提出 WeL-RAC,一个与模型无关的天气-负荷检索增强修正框架。预测时,它依据近期负荷状态和与预测时段对齐的天气预报,检索相似的历史案例,汇总其实际未来负荷轨迹来修正初始预测,无需重新训练基础模型。作者在 31 个建筑案例、三个数据集、八种预测骨干模型及 1 至 18 小时四个时段上评估,在 96 项数据集级比较中有 90 项得到改善。
Shiqiao Zhou, Huanbo Lyu, Holger Sch\"oner 等
arXiv
cs.LG · cs.AI · q-bio.NC
说明雅可比透镜的数学理论
简介Anthropic 此前提出一种名为雅可比透镜(J-lens)的可解释性工具,能在前沿语言模型的隐藏状态中找到类似工作记忆的线性方向。本文建立了 J-lens 的数学理论,证明它会优先识别相干特征,即在各层间放大、在不同词元位置上大致保持恒定、并在不同上下文中一致的方向。作者还在贝叶斯滤波器和玩具 Transformer 上做了验证,并提出了用于不同时间尺度的 ω-J-lens 系列。
Mitchell Ostrow, Daoyuan Qian, Toni Liu 等
arXiv
cs.NE · cs.AI · cs.LG
说明RobustNCL:面向瞬态故障的神经形态持续学习轻量检测与修复框架
简介该论文针对神经形态持续学习在硬件瞬态故障(如高能粒子撞击)下的可靠性问题,提出 RobustNCL 框架。该框架在读取片外 DRAM 权重时检测异常并进行修复,提供置零、最小/最大值和最可能值三种修复方式。实验显示,在高故障率下该框架精度接近无故障模型,且延迟和能耗开销很小。
Rachmad Vidya Wicaksana Putra, Shuochen Zhou, Muhammad Shafique
arXiv
cs.CV
说明STEP:基于稀疏端点与伪轨迹的手术点追踪方法
简介该论文提出 STEP 框架,用于在手术视频中持续追踪组织上的点,即使组织发生形变或被遮挡。方法先由冻结的离线教师模型生成候选轨迹,并通过时间可逆性和立体一致性筛选出用于训练的密集监督,再结合稀疏的物理端点与往返一致性损失训练因果学生模型。作者报告,在 STIR 到 VL-SurgPT 的迁移实验中,筛选后的轨迹使端点误差相对未筛选轨迹降低 7.0%;在 29 个诊断片段上,端点误差由 31.52 像素降至 16.80 像素,优于稠密标注微调。
Bing Fan, Anwesa Choudhuri, Zhongpai Gao 等
arXiv
cs.CV
说明LOCI:面向多主体图像编辑的局部连续控制方法
简介现有指令式图像编辑模型(如Flux.1-Kontext)缺乏对编辑位置和强度的细粒度控制。LOCI提出一种方法,可对图像中的多个主体分别进行空间定位,并以独立、连续可调的强度进行编辑,例如逐渐改变一人的年龄,同时为另一人添加胡须,且区域间干扰较小。该方法结合了主体级注意力绑定与区域化LoRA层,训练单一适配器后,可在推理时通过调整区域残差实现连续的编辑强度控制。实验表明,与基线方法相比,LOCI在保持编辑效果的同时明显降低了跨区域干扰。
Sai Vidyaranya Nuthalapati, Shlok Kumar Mishra
★★★★☆ 值得关注
arXiv
cs.LG · math.ST · stat.TH
说明独立及非负相关噪声下“最优者偏差”的紧界
简介当从 M 个带噪声的无偏分数中选出最高者时,报告的数值会高估其真实价值,高估量可达 c√V(V 为总噪声方差)。本文给出两类噪声条件下常数 c 的精确值:独立但不同分布的噪声为 √((M−1)/(2M)),两两非负相关的噪声为 (M−1)/M,并给出可达到这两个界的显式构造。论文还将结果应用于交叉验证估计量的偏差,所有定理均在 Lean 4 中完成形式化验证。
看点给出独立与非负相关噪声下赢家偏差的精确常数,改进了已知的两端结果,并附有显式构造与Lean 4形式化验证。
Ivan Viakhirev, Kirill Borodin, Grach Mkrtchian