★★★★☆ 值得关注
arXiv
cs.CV
有代码
说明野外环境下的智能体图像生成:针对近期新出现实体的参考检索与生成
简介本文研究图像生成模型难以处理的近期新出现实体问题。作者构建了自动化流程,从近期新闻标题合成提示词,并保留搜索结果高度混淆的样本,据此建立了包含500条提示词、16个子类别的基准Savanna。作者还提出定位-佐证-隔离范式,并基于15K条轨迹训练了Ranger-8B模型,其搜索得分为67.2,在多种生成器上取得最佳生成质量。
看点提出定位-佐证-隔离的新范式并构建自动化基准与训练数据,实验在多个生成器和基准上对比充分,对子领域影响较大。
Yifan Li, Bowen Qin, Kun Zhou 等
arXiv
cs.SI · cs.CL · cs.CY
说明短视频创作者传播内容的多模态测量框架
简介本文提出一个五阶段多模态框架,用于大规模测量短视频创作者的主题与传播策略。框架整合平台元数据、语音转录和抽帧的视觉语言描述,并借助大语言模型生成预定义指标和开放式标签。研究以16位创作者的9,852条TikTok视频为例,保留7,311条进行分析,结果显示其在教育、幽默及对时事的回应等方面存在明显差异。与两位专家标注的一致性(Cohen's κ)平均为0.40,接近专家之间的0.42,但各指标差异较大。
Julie R. Ancis, Michael Fire, Omer Tarshish
arXiv
cs.IT · math.IT · stat.ML
说明面向多层感知机中 Kolmogorov-Arnold 几何的一类基于 Rényi 的集中度指标
简介本文针对多层感知机的可解释性问题,提出 α-RC 指标族,用于衡量隐藏层雅可比矩阵各子式的集中程度。该指标通过 Rényi 散度将归一化子式大小与均匀分布比较,取值范围始终在 0 到 1 之间,不受网络规模影响。作者指出在 α=2 时它与参与比(Participation Ratio)存在显式变换关系,并用合成数据集上训练的单隐藏层网络进行了实验。
Juan Carlos Fern\'andez, Asunci\'on Jim\'enez-Cordero, Jos\'e Francisco Paris
arXiv
cs.LG · cs.AI
说明超越边际影响:面向大模型智能体的交互感知记忆选择
简介本文研究大模型智能体在每次决策时,如何从记忆中挑选一个保留完整记忆行为的小子集。作者提出了JointCoreBench基准(含九类交互、六类工作流领域和精确的充分集标准答案)以及JointCore基线方法,该方法先按成本顺序对记忆块进行群组删除测试。结果显示该方法在精确条件下能找到最小成本充分集,但论文强调它只是高效的基准基线,并不证明已具备可部署的记忆压缩能力。
BHVSP Subrahmanyam, Neeraj Choudhary
arXiv
cs.LG
说明ADT:面向三维分子结构的全原子扩散分词器
简介论文提出全原子扩散分词器(ADT),将结构令牌的粒度与重建分辨率解耦:小分子每个原子一个令牌,蛋白质每个残基一个令牌,同时表示主链与侧链几何。为减轻量化带来的几何失真,模型利用扩散模型从离散令牌中恢复更精细的原子几何。实验显示,它能从紧凑的离散表示中实现较好的重建,并支持小分子与全原子蛋白质结构的自回归生成。
Xuantuo Huang, Encheng Su, Aoran Wang 等
arXiv
cs.CV
说明SCALE:通过自对比对齐提升免引导视觉生成质量
简介该论文针对视觉生成中的无分类器引导(CFG)计算开销大的问题,提出自对比引导(SCG),通过对比模型对真实样本和自生成样本的预测,获得直接的模型信号,使生成结果更接近真实数据分布。作者将其整合进似然目标,提出免引导训练框架SCALE,可在单次前向传播中得到增强后的预测。实验涵盖扩散模型与自回归模型上的类别条件生成和文生图任务,结果显示SCALE优于模拟CFG的免引导基线,与DPO结合后效果进一步提升。
Jiwan Hur, Dong-Jae Lee, Dongyeun Lee 等
★★★★☆ 值得关注
arXiv
cs.RO · cs.CV
有代码
说明Expand-and-Prune:面向端到端自动驾驶的测试时候选空间自适应方法
简介该论文提出一种测试时框架 Expand-and-Prune,在不更新已学习参数的前提下,同时调整候选轨迹的范围与数量。框架先利用语义驾驶意图和时序传播预测扩展候选集,再依据中间轨迹评分的不确定性对候选进行自适应剪枝。论文称,在四个基准和四种候选式规划器上性能均有提升,其中 LangAuto 的 Driving Score 由 68.2 提高到 75.9。
看点提出测试时扩展并剪枝候选轨迹空间的框架,无需更新参数,在多个规划器和基准上做了较充分对比与消融验证。
Fabian Schmidt, Karol Fedurko, Markus Enzweiler 等
arXiv
cs.AI · cs.CL · cs.LG
说明推理模型在被自我提示时能够控制其思维链
简介这篇论文研究推理模型能否控制自身思维链(CoT)的属性。以往工作用用户提示给出约束来测试,发现可控性很低,作者认为这可能是约束写法造成的。研究者提出“自我指令思维链可控性”评估,把约束放在模型自己的思维链中,结果显示可控性明显提高,即使只是通用提醒也有帮助。论文还指出,这种控制能力可能被用于规避思维链监控。
Uriel Dolev, Idan Schwartz, Yoav Goldberg
arXiv
cs.AI
说明超越奖励打分:面向多模态回复生成的在线多智能体偏好学习
简介本文提出 PrefMind,一个在线双智能体强化学习框架,包含回复生成器与偏好评判器两个可训练智能体。二者围绕成对候选回复讨论哪一个更符合人类偏好,人工标签监督其判断与修正。实验覆盖三种模型规模,结果显示独立的偏好判断能力与下游回复生成质量均有提升。
Ziyun Zou, Jiwoo Hong, Yifan Lu 等
★★★★☆ 值得关注
arXiv
cs.LG · cs.CL
说明采样、混合还是验证?在不完美验证器下分配推理时计算量
简介该论文研究在推理时如何分配有限计算预算:生成多个候选答案后由验证器选出一个,但真实验证器会出错。作者提出SPLIT方法,利用小规模带标注的试点数据拟合一个概率公式,用于规划未见任务的采样数量、模型选择与验证开销。在七个涵盖数学、科学问答、代码与软件工程智能体的基准上,该方法的结果与事后最优分配的差距很小。
看点提出可由小规模标注试点拟合的精确公式来分配推理算力,针对不完美验证器,新意明显;在七个基准、26个模型和175个智能体系统上验证,证据充分,对推理预算规划有较广应用价值。
Srinivasan Iyengar
arXiv
cs.MA · cs.AI · cs.CL
说明简单模拟市场中大语言模型的演化
简介该研究用由二十个大语言模型智能体组成的模拟市场,观察仅通过系统提示词差异和破产淘汰机制产生的演化。在奖励准确率的市场中,智能体准确率达94%;在按令牌收费的市场中,准确率降至10%,而只有令牌用量被计价。作者认为这为抽象讨论提供了一个具体的实证例子。
Charlie Pilgrim, Christopher Krupenye, Dora Biro 等
arXiv
cs.NI · cs.AI
说明防止光网络故障排查中智能体 AI 的数据幻觉
简介本文展示了一种用于光通信网络自动化故障排查的智能体 AI 系统。该系统将数据引用机制整合进智能体架构,以防止数据幻觉。原文称,这提升了根因定位与推理过程的可解释性和可信度。
Jeremias D\"otterl, Martin Kuipers
arXiv
cs.LG
说明FLARE:在观测数据退化条件下,基于物理约束评估语言模型智能体的馈线恢复能力
简介配电网故障隔离后需要在信息不完整、相互矛盾且满足电气约束的条件下做出恢复决策。论文提出FLARE基准,包含800个满足交流潮流可行性的案例,覆盖五种观测设置,智能体需收集证据、评估开关并在固定运行限制下执行恢复操作。五个指令微调模型的平均归一化遗憾值为0.082至0.148,其中P95遗憾值从0.814到1.000,显示出明显的失效尾部;影子回放表明,被安全守卫拒绝的15706个动作中有96.4%会导致物理违规,因此作者强调需要外部安全检查。
BHVSP Subrahmanyam, Neeraj Choudhary
arXiv
cs.CV
说明LonGaussian:面向长上下文前馈高斯重建的跟踪基础先验方法
简介该论文提出 LonGaussian,一种流式前馈框架,可从已知内参、未知相机位姿的长图像序列中重建紧凑、可全局渲染的高斯场景。方法基于预训练的流式三维重建骨干网络,并通过多帧点跟踪合并重复观测到的同一表面,再利用渲染深度一致性过滤错误遮挡的高斯。在 DL3DV 和 RealEstate10K 基准上,该方法在使用明显更少高斯的情况下提升了新视角渲染质量。
Zhoufeng Xie, Guanjun Wu, Shuai Zhang 等
arXiv
cs.CL
有代码
说明谁为高效推理买单?跨任务与跨语言的基于置信度的小模型到大模型路由研究
简介该论文系统评估了基于置信度的小到大语言模型路由方法:简单输入留在小模型上,困难输入升级到大模型,以降低推理成本。研究涵盖三类模型、四种语言和三类任务,共72种配置、42,288次预测。结果显示,该方法在Belebele和SIB-200数据集上有效,但在MMLU-ProX-Lite上基本无效,并且全局置信度路由会造成最高达30.33个百分点的跨语言升级差距,而等配额路由可消除这一差距。
Md Sabbir Hossen, Anichur Rahman, Pabon Shaha 等
arXiv
cs.CV · cs.LG
有代码
说明组件能否骗过测试?面向关系型分布外样本的反事实配对循环
简介论文提出“反事实配对循环”评测方法:固定两张图和两段文本,只改变图文配对方式,从而抵消仅靠图像、仅靠文本或加性组件的捷径。该方法也可用于关系型离群值暴露的训练损失和双线性视觉语言打分的诊断。实验显示,循环评测能区分粗粒度图文匹配与方向性角色绑定失败;在含捷径的COCO压力测试中,循环训练将CycleAcc从0.882提升到0.927。
Yibo Zhou, Yirong Xiang
arXiv
cs.CL · cs.LG
说明多想还是多读?共享上下文推理的词元预算理论
简介论文研究多智能体辩论、自我修正等推理系统中,读取他人或自身草稿会占用同一上下文窗口的词元,从而挤占推理空间。作者提出词元预算理论,用陪审团模型估计最优智能体数量,并在五个开源模型、四项推理任务的980组对照设置中验证:在窗口紧张时,自洽性方法通常不逊于辩论,结论是剩余的思考空间比读取的内容更重要。
Manh Nguyen, Sunil Gupta, Hung Le
arXiv
cs.CL · cs.AI
说明MGE-PO:面向数学推理的熵感知信用分配方法
简介该论文指出,GRPO 在同一问题内对奖励相同的回答分配相同的组相对优势,忽略了生成过程中的不确定性。作者提出 MGE-PO,用四象限(4Q)优势调整结合已验证的正确性与生成熵:正确性决定修正方向,熵决定修正幅度。在 Qwen3-8B-Base 上训练八轮后,加入 4Q 使六个基准的宏平均 avg@32 提高 3.23 至 3.69 个百分点。
Jihao Huang, Guangjia Chai, Zhirui Chen 等
arXiv
cs.LG
说明基于混合门控理论的Transformer各向异性表示动力学研究
简介该论文研究Transformer中自注意力如何改变两个内部表示之间的微小差异,把自注意力拆分为值传输、查询门控和键门控三部分。作者提出门控引起的状态切换概念,即差异在固定注意力路由下收缩,在完整注意力下却扩张,并给出判定切换存在与否的谱准则。实验在四种Transformer架构上验证了这些理论预测。
Nguyen Do, My T. Thai
arXiv
cs.LG
说明基于响应信息的成本感知多轮大模型路由价值估计(RIVET)
简介该论文针对多轮对话中的大模型路由问题:每轮需在模型回复前选择模型,而任务成功与否只有在交互结束时才能得知。作者提出RIVET方法,训练时利用已记录的回复信息联合训练两个价值估计器,部署时仍只使用调用前的信息进行路由。在MINT基准上,RIVET解决的留出任务数多于最强的多轮基线,且总调用成本降低74.7%。
Haotian Yan, Jiaqi Liu, Bingyi Jing 等
arXiv
cs.CV
说明Kingfisher:基于尺度感知提示条件尺度分解的快速个性化视觉自回归生成
简介该论文提出 Kingfisher,一种无需微调模型的个性化图像生成方法。它把视觉自回归模型早期的残差尺度编码分解为内容和风格两部分,再把两张图像的成分重组为紧凑的语义前缀,由冻结的生成器完成后续尺度的预测。在 CSD-100 上,其内容保持和风格、文本对齐表现较好,同时相比扩散方法和 VAR 方法大幅减少了每对图像的准备时间。
Dinh-Khoi Vo, Akihiro Sugimoto, Minh-Triet Tran 等
arXiv
cs.CV · cs.GR
说明X-Splat:用于联合RGB与X射线三维重建的统一高斯溅射方法
简介该论文提出X-Splat,用一套统一的高斯基元表示同时重建RGB外观与X射线内部结构,只有靠近表面的基元额外携带外观属性。跨模态配准借助多视角立体与X射线几何代理完成,并通过两种模态的监督联合优化,加入源自X射线几何的表面深度一致性损失来指导RGB重建。作者称在InsideOut数据集与其自建的Flower & Insect数据集上,该框架跨模态对齐更稳健,RGB渲染质量提高,X射线重建不受影响,且比分别维护两套几何的方案更紧凑。
Wangze Xu, Chu Zhou, Mae Yamaguchi 等
arXiv
cs.CL
说明MultiAgent-OPD:用同策略蒸馏端到端训练分层多智能体系统
简介该论文研究分层多智能体系统(由 Leader 分配任务、子智能体执行)的联合训练问题。作者提出 MultiAgent-OPD,将同策略蒸馏与强化学习结合,端到端训练共享参数的 Leader-Searcher-Answerer 团队,其中冻结的 Teacher 为 Searcher 的搜索和总结 token 提供局部过程监督。在七个数据集上,该系统宏平均 avg@4 达到 38.68%,分别比 Prompted Critic 和 C-MAS + RL 高出 4.06 和 2.61 个百分点。
Yuhan Sun, Jiaxin Zhao, Yongdong Luo 等
arXiv
cs.CV
说明RAP:基于人工范例声明式标记的论文转海报数据集
简介该论文提出RAP数据集与基准,用于把学术论文自动生成为会议海报,视为一项视觉编码任务。数据集包含2022至2026年间多个机器学习会议的25K以上经过验证的论文-海报配对,并附有三级内容分类。作者还提出了免训练的多智能体方法PosterRAG,以及基于同一数据的SFT+RL训练方案。
Haonan Han, Yukang Lin, Minliang Lin 等
arXiv
cs.AI · cs.LG
说明检索增强生成技术的刻画与分析框架
简介本文针对大语言模型常见的幻觉问题,讨论了检索增强生成(RAG)技术。由于已有RAG技术众多,难以选择合适方案,作者通过对文献中RAG技术属性的定性分析,提出了一个包含主要维度和子维度的概念框架,用于刻画和分析现有RAG技术。该框架可在实证基准测试前作为预筛选工具,帮助研究人员和从业者挑选符合特定需求的候选技术。
Emmanuel Igbekele, Olawande Daramola
arXiv
cs.CL
有代码
说明ReLaDrift:通过漂移实现递归语言生成,用于测试时扩展
简介该论文提出 ReLaDrift 方法,用共享的漂移模型先从噪声生成初稿,再在连续潜在空间中迭代精炼。训练时随机采样迭代轮数,只在最后一轮计算漂移损失并阻断之前轮次的梯度。在 Sudoku Hard 和 GSM8K 上,该方法在多种推理预算下与迭代生成方法相比表现相当或更优。
Yuki Otsuka, Daisuke Oba, Naoaki Okazaki
arXiv
cs.LG
说明基于可靠性与保守性感知贝叶斯信念的过程奖励建模
简介过程奖励模型(PRM)在大语言模型推理的测试时扩展中很重要,但其给出的过程奖励可能不准确,原因包括监督数据不足与策略不匹配。本文提出BayesianPRM,将过程奖励视为奖励假设空间中的随机变量并维护贝叶斯信念,分别通过可靠性感知与保守性感知两种更新来应对这两类不确定性。实验表明,该方法在多模态推理基准上能得到更准确的过程奖励估计,并提升测试时扩展的表现。
Zhongjian Qiao, Zhixiang Zhou, Jiafei Lyu 等
arXiv
cs.AR · cs.AI
说明qGAMMA:在多精度加速器上为深度神经网络寻找最优映射的框架
简介本文提出 qGAMMA,一个用于探索和优化混合精度深度神经网络模型映射到支持多种定点与浮点精度的通用空间加速器上的框架。它使用领域专用遗传算法和基于硬件综合结果的解析性能模型搜索设计空间,找出使目标指标最小化的最优映射与加速器配置。作者在多种深度神经网络工作负载上进行了大量评估。
Leandro Fiorin, Luigi Altamura, Cristina Silvano
arXiv
cs.CV
说明TRECVID 2025 中的两项视频任务:基于多模态大模型的重排序与帧子集集成问答
简介本文介绍CERTH-ITI团队在TRECVID 2025的自由视频搜索(AVS)和视频问答(VQA)赛道中的参赛方法。AVS方面,采用两阶段框架:先由多个视觉语言模型对查询及其大模型改写版本进行初步检索,再用多模态大模型对前N个结果进行语义重排序,无需额外训练。VQA方面,对音视频多模态大模型进行微调并采用帧子集集成推理,在开放式问答任务中取得三项指标最高分,在选择题任务中排名第二。
Andreas Goulas, Damianos Galanopoulos, Ioannis Patras 等
arXiv
cs.AI
说明并非所有测试时计算都是证据:LLM推理中的模型特定偏差
简介该论文指出,同一推理模型在多次采样、不同推理深度及自我评估中的错误彼此相关,因此同一模型增加的计算并不等于独立证据。作者提出DIA方法:当中间阶段与最终阶段的预测不一致时,由一组异构的小模型独立作答并直接汇总结果。在七个基准和两个基础模型上,DIA在14项设置中有12项优于完整思维链,其中在MuSiQue上提升7.00%,且仅约17%的样本被触发。
Ming Shen, Tianjun Yao
arXiv
cs.CL
说明MAS-Bai:面向白文(僰文)的语言学自适应多智能体白语—汉语翻译
简介本文针对书写系统与高资源预训练差异较大的极低资源语言,研究僰文书写的白语与汉语互译。作者提出MAS-Bai框架,依输入难度选择轻量检索翻译或包含词源与句法智能体的深度语文学路径,并以轻量反向翻译器的循环一致性作为推理时的可靠性信号。在1,536句测试集上,该方法取得16.23 BLEU与62.15 COMET,分别比标准RAG高出8.11与6.85。
Jingting Zheng (1), Hong Ren (1), Yuehan Cui (1) 等
arXiv
cs.LG
说明面向随机决策问题可扩展学习的非参数优化方法
简介本文针对随机优化中的时变问题,提出基于Malliavin演算的随机变分框架,并据此推导非参数的最优性条件。作者设计了可扩展的深度学习算法随机路径跟随器(SPF),其表现对参数化维度不敏感。在分布漂移下的最小二乘恢复和逻辑回归两个问题上,实验显示该方法在性能和可扩展性上优于现有的基于学习和基于梯度的方法。
Mohsen Amidzadeh, Lauri Viitasaari, Mario Di Francesco
arXiv
cs.SI · cs.AI · physics.soc-ph
说明用调查数据检验大语言模型生成的政治社交网络:仅看整体指标可能掩盖个体层面的偏差
简介该论文用大语言模型根据美国全国代表性调查(ANES 2020–2022)中的人物画像生成政治社交网络,并以受访者自报的党派接触情况作为基准进行比较。研究发现,不同模型生成的网络在党派分隔程度和个体党派接触上存在明显偏差,且对特定社会群体的估计误差各不相同。作者认为,只用整体结果评估此类模拟不足以发现局部环境中的错误,应同时在整体和个体层面验证。
Marco Tonin, Michele Tizzoni, Bruno Lepri 等
arXiv
cs.SD · cs.AI
说明将空间听觉置于自由能原理框架下:一种感知学习的分层模型
简介该论文尝试用自由能原理(FEP)描述动态条件下的空间听觉,以声音方向定位为例。研究者用分层生成模型刻画听者在多次试验中,借助视觉反馈逐步更新对侧向精度、极向精度和半球歧义消除三个量的信念。结果显示,不同分量学习速度不同,且极向精度的提升在初始精度最低的听者中最明显。
Roberto Barumerli, Nils Meyer-Kahlen, Lorenzo Picinali
arXiv
cs.AI
说明FuzzInsight:在覆盖率引导的DNN模糊测试中权衡效率与效果
简介该论文研究如何配置覆盖率引导的深度神经网络(DNN)模糊测试,以生成暴露缺陷的边界用例。作者提出了等量采样(Equalized Sampling)种子选择策略,将平均种子队列利用率提高到77%,比既有方法高出13个百分点。在MNIST、SVHN、GTSRB和CIFAR-100上评估了84种配置,结果显示LSCD、LSC和MDSC等非结构化准则计算开销更低,并用生成的用例重新训练可提升泛化鲁棒性。
Vivek Vekariya, Fathiyeh Faghih, Alexander Pretschner
arXiv
cs.AI
说明OfficeTown:面向智能体持续进化的生成式组织模拟框架
简介该论文提出OfficeTown,一个用自然语言描述组织目的与活动即可生成模拟专业组织的框架,组织成员协调工作、把任务分配给助手智能体并审核成果,文件与决策会延续影响后续工作。作者据此构建了包含406个任务、4,836条评估标准、覆盖八个专业领域的OfficeTown Bench,并用其数据微调Qwen3.5-9B,在包括GDPval在内的外部专业工作基准上取得明显提升。
Hongchen Wei, Daohong Ying, Zhi Hong 等
arXiv
cs.GT · cs.LG · econ.TH
说明排序压缩中的比例性:将一组排序压缩为更小的一组排序,并保证各类代表性
简介论文研究如何把给定的一组排序压缩成规模更小的一组排序,该问题结合了排序聚合与多赢家投票两种社会选择框架。作者提出位置比例性、成对比例性和稳固联盟比例性(PSC)三种比例性概念。结果显示,位置比例性与PSC对任意输入排序和目标规模都可以满足,并可在多项式时间内找到输出;成对比例性一般无法满足,但在输入排序为单峰或单交叉时可以达到。
Daniel Halpern, Xinyu Liu, Evi Micha 等
arXiv
cs.LG
说明视觉因果链书签:面向延迟奖励强化学习的检索加权信用分配
简介该论文针对强化学习中奖励延迟到达、难以判断哪些决策真正导致回报的信用分配问题,提出视觉因果链书签方法(VCBM)。在低维完全可观测的延迟奖励修表任务中,VCBM 把信用集中到决定回报的决策点,平均1532.3个回合达到95.07%正确决策,快于基于LSTM的RUDDER基线(平均3327.1个回合,p<0.001)。在部分可观测的AppWorld语言智能体实验中,方法以检索和状态变更工具调用启发式分配信用,每个设置仅一个随机种子,属于算力受限的演示。
Prathap Selvakumar
arXiv
cs.LG · cs.AI
说明LangNCO:将自然语言约束编译为神经组合优化的推理时干预
简介该论文提出LangNCO框架,在不修改已训练神经组合优化求解器的结构、输入表示或参数的前提下,将实例级的自然语言需求转换为推理时的干预。大语言模型先把需求翻译为经过校验的领域专用语言规则,再由确定性执行器以硬动作掩码的方式应用,并通过关键节点偏置的多次采样来提高可行解的可达性。作者在CVRP任务上评估了道路封闭、时间窗、车辆分配等约束,报告在四个主要数据集上可行率达到100%。
Hironori Ohigashi
arXiv
cs.LG · cs.AI
说明MoE模型内部的更强教师:通过同策略双向蒸馏增强MoE模型
简介该论文针对混合专家(MoE)大语言模型,提出MoEvolve双向蒸馏框架。先恢复并增强激活更多专家的高k模型,再将其能力反向蒸馏回原始低k配置,保持推理时的激活预算。实验显示该方法使初始模型的领域平均分提升最多22.2分,并优于同预算的RLVR基线最多6.5分。
Haoyu Chen, Jun Bai, Yang Liu 等
arXiv
cs.CL
说明AMEND:带隔离评审器的约束引导多智能体文本去毒
简介该论文提出AMEND,一种推理阶段的文本去毒框架,将生成候选改写、多维度独立评审与约束优先选择分离开来。AMEND Lite仅在仍存在有毒片段时进行至多一轮定向修复,以提高效率。在ParaDetox上,多角色单轮选择的联合指标比最佳单一角色提高0.0508;在冻结的确认测试集上,AMEND Lite得分0.6597±0.0062,优于无约束多轮循环,同时减少28.4%的推理请求。
Tianyu Wang
arXiv
cs.CL
说明《LLM 在阴影中做什么:从反嵌入暗空间读取上下文依赖》:用隐藏状态检测幻觉的新方法
简介这篇论文研究如何检测大语言模型的忠实性幻觉,即模型回答是否依赖给定上下文。作者提出用隐藏状态投影到与反嵌入矩阵弱耦合的“暗空间”来估计上下文依赖,并定义了暗物质比率(DMR)作为上下文利用的直接分数。结合参数化知识分数,他们提出了 DarkLens 检测器,只需一次前向传播,在三个问答与摘要基准和六个开源模型上达到或超过多种基线。
Alexandra Kuleshova, Andrey Volodichev, Daria Kotova 等
arXiv
cs.LG · cs.AI · cs.CL
说明面向长时程智能体强化学习的树结构后验蒸馏(TreeOPSD)
Heming Zou, Qi Wang, Yixiu Mao 等
arXiv
cs.CL
说明语音脑机接口真的需要更大的模型吗?超越规模化的神经解码再思考
简介本文质疑语音脑机接口中“模型越大越好”的做法。作者提出BEST框架,采用两阶段结构,通过分层中间表示和紧凑的语音解码器,把神经活动直接映射为文本。在Brain-to-Text '24和'25基准上,BEST分别取得6.19%和1.62%的词错误率,所用参数仅为可比方法的3.85%。研究还指出解码器规模扩大带来的收益并非单调,跨模态对齐比模型大小更关键。
Zehui Feng, Weichuan Wang, Xiaohan Chen 等
arXiv
cs.LG · cs.GR · cs.RO
说明结构亲和:一种用于连贯笼式形状设计的算法
简介笼式变形通过少量控制手柄参数化三维几何,常用于动画、交互建模和气动外形优化等任务。本文提出结构亲和(Structural Affinity),利用基于平均值坐标预先计算的亲和矩阵,将内层控制笼与外层粗笼耦合,使手柄位移按矩阵传递给相邻手柄。论文报告,该方法在机器人形态协同设计、神经变形迁移和机翼形状优化三类任务中,使笼体自交和网格畸变明显减少,并降低对人工设计结构损失项的依赖。
Aviraj Newatia, Shengan Yang, Hantao Zhong 等
arXiv
cs.CV
说明基于知识引导与视觉层级的分布式提示学习,用于零样本异常检测
简介该论文针对零样本异常检测,提出层级知识引导分布式提示框架HiDist。它把每个提示词建模为对角高斯分布,并以已学习的正常分布为参照,将异常提示分布表示为对正常参照的偏差,再分别用于图像级检测和像素级定位。在七个工业与医学数据集上的实验显示了较强的跨数据集性能。
Jiyul Ham, Seongho Yoon, Yonggon Jung 等
arXiv
cs.CL
说明Chinese Decision:用于单次前向概率决策的中文语言模型系列
简介该论文提出 Chinese Decision,一组将预训练因果语言模型改造为中文决策模型的系统。模型通过单次前向传播读取候选选项字母的末位 logits 并归一化,无需自回归生成答案,适用于是非判断、分类选择和有序评分。作者基于 Qwen3.5 的 0.8B、2B、4B 三个骨干各训练一个轮次,在 CJ-Bench 上报告 4B 模型总体准确率为 85.97%。
Qiang Yan (Institute of Computing Technology, Chinese Academy of Sciences)
★★★★☆ 值得关注
arXiv
cs.AI
说明LongForge:通过证据-断言推理图度量并改进长上下文指令数据
看点将数据质量形式化为证据-断言推理图并分解为广度、深度等维度,可审计可控,提出两个此前未量化的数据缺陷;在两个骨干和六个基准上验证,平均提升2.2-4.7分。
Ziyang Chen, Junlong Jia, Xing Wu 等
arXiv
cs.CL · cs.AI · cs.LG
说明用自然语言解释国际象棋与围棋
简介现代国际象棋引擎的棋力远超人类,其选择的着法背后思路往往难以理解。论文提出一种基于引擎评估、可自动计算的指标来衡量象棋解释质量,并发现当前主流语言模型表现不佳,多依赖表面棋盘信息。作者随后提出无需训练的BinProp方法,使模型能发现可复用的象棋概念并用自然语言解释着法,平均得分接近直接提示的三倍。该方法还被报告可在围棋、国际跳棋和将棋中发现有用概念。
Ori Press, Alexander Golubev
arXiv
cs.AI · cs.NE
说明算法建模:将优化算法转化为可进化的智能
简介本文提出“算法建模”新范式,把迭代算法转化为可训练模型,将算法执行轨迹视为计算经验。作者以迭代优化为例,将其建模为自回归过程,并设计了维度无关的种群-时间架构,结合从模仿到超越的学习框架,使模型先学习多种教师算法再通过优化反馈改进。
Jian Yao, Zhiyao Zhang, Yichen Li 等
★★★★★ 值得关注
arXiv
cs.LG
说明几乎线性复杂度的 Littlestone 类私有学习
简介本文研究在差分隐私约束下学习二分类问题,其中Littlestone维数刻画了近似私有PAC可学习性。作者证明,对Littlestone维数为d的类,私有样本复杂度的上界可达O(d log d),远优于此前的O(d^5)等结果。主要方法是针对数据相关候选集的结构化指数机制,对子空间类,该秩即为余维。
看点将私有学习的样本复杂度从d^5改进到近线性O(d log d),并提出结构化指数机制,证明部分为理论完整,新颖性与影响较高。
Shay Moran, Chao Yan
arXiv
cs.CL
有代码
说明Cross-Centaur:用语言模型跨心理任务建模个体决策
简介该论文提出 Cross-Psych-101 数据集,包含 591 名参与者在 12 个任务中的 261,551 个有效决策,并且同一参与者跨任务关联。作者训练了 Cross-Centaur 模型,依据同一参与者在源任务中的行为预测其目标任务中的行动。结果显示,该模型在留出参与者上优于现成的大语言模型和 Centaur,探测分析表明其隐藏状态编码了可跨任务迁移的个体行为倾向。
Hikaru Asano, Hidezo Suganuma, Ryutaro Mori 等
arXiv
cs.AI · cs.HC
说明QuAD:一种面向定性数据质量的量化评估框架(基于分布对齐与内容感知多智能体系统)
简介该论文提出 QuAD 框架,用于在正式分析前量化评估半结构化问题收集到的定性回答数据集是否适合研究者选定的分析视角。它将从回答中重建的内在聚类分布与由元数据得出的外在分析视角进行比较,并通过四象限指标给出适用性信号。为提高评分一致性,作者还设计了内容感知的多智能体系统,并通过合成数据实验和一项社会调查案例进行验证。
Wenshuo Zhang, Leixian Shen, Qiqi Zhou 等
arXiv
cs.AI · cs.LG
说明CIIR:面向类别索引的接口表示学习,用于连接不同数据集
简介这篇论文提出 CIIR,一种模块化编码器-解码器框架,通过按类别索引的地址空间连接彼此独立、没有配对样本的异构数据集。作者用手写数字、服装图像、语音数字频谱图和手势图像学习该地址空间,并在冻结基础空间后,仅训练轻量适配器接入 SVHN 数据集,报告了两个方向的端到端地址迁移准确率。
Doo Yon Kim, Christian Wallraven
arXiv
cs.CY · cs.CL · cs.HC
说明AI能做访谈吗?AI主导与人类主导的在线文字访谈对比
简介本文比较了大语言模型聊天机器人与人类访谈员在文字访谈中的数据质量。在一项随机实验(41名大学生)中,受访者分别由受过训练的非专业访谈员或本地部署的AI系统通过实时文字聊天进行访谈。结果显示,AI访谈员提问次数是人类的两倍多,获得的回答文字量约多65%;两种条件下回答基本都切题,但研究认为AI访谈的可行性值得支持,可用于大样本定性数据收集。
Semra Guven, Tobias G{\aa}rdhus, Andreas Bjerre-Nielsen 等
arXiv
cs.LG
说明搜索智能体多轮强化学习中的有据信用分配(GCA)
Qirui Liu, Hao Chen, Yi Wen 等
arXiv
cs.LG · cs.AI
说明用于节省内存训练的局部代理方法
简介本文研究如何在 Transformer 中实现既准确又节省内存的局部学习。方法为每个 Transformer 块训练一个局部代理网络,通过蒸馏来预测全局网络输出,从而独立传播梯度并较好地估计反向传播梯度。在 CIFAR-100 视觉 Transformer 实验中,该方法在精度与内存的权衡上优于其他局部算法,并可用于小内存预算下的大语言模型微调,其训练更快、性能高于内存高效的零阶学习算法。
Wu S. Zihan, Brian A. Yuan, Guillaume Bellec
arXiv
cs.AI
说明LexPilot:评测法律大模型在中文民事咨询中主动与非专业用户互动的能力
简介该论文发现,面对信息不完整的非专业人士咨询,现有大语言模型常给出不负责任且实用性有限的回答。作者据此构建了LexPilot基准,基于432份真实中文民事判决、涵盖36类诉因,包含完整与信息不足两种咨询记录及对应判决结果。实验显示,在信息不足的咨询中,模型的主动互动能力较弱,其判决预测平均比信息完整时低23.84%。
Wenbin Zhang, ShangZhan Li, Bingxiang He 等
arXiv
cs.LG
说明MetaCurate:为高质量智能体编码数据演化筛选过滤器
简介该论文提出 MetaCurate,一种无需训练的框架,利用成对的大语言模型判断自动演化可执行的轨迹筛选过滤器。过滤器的排序与判断者偏好之间的分歧,用于同时修订其规则、评分标准和聚合策略。在受控的监督微调实验中,MetaCurate 在 SWE-Verified 上取得了比较方法中最高的平均分,包括手工规则过滤和搜索成本为其 3.5 倍的训练循环基线。
Donghoon Kim, Seunghyuk Oh, Kevin Galim 等
arXiv
stat.ML · cs.LG · math.ST
说明共形检验鞅的信息几何盲区:通过条件重采样构造的隐蔽分布偏移
简介本文研究基于共形得分的检验鞅(CTM)在序贯检验可交换性时的盲区:只要分布变化保持共形得分的分布不变,CTM 就无法察觉。作者提出"A 等价类"概念,并给出 KL 散度意义下唯一最近的"A 隐蔽 I 投影"及其勾股分解。实验中,将 EMNIST 字母按 MNIST 数字的得分条件重采样,使分布在支撑集不相交的情况下,检验鞅仍无法察觉。
Johan Hallberg Szabadv\'ary
arXiv
cs.CV
说明面向RGB-红外多目标跟踪的可靠性一致外观建模
简介该论文提出RCA-MOT框架,用于RGB与红外图像的多目标跟踪。它保留RGB、红外和融合三类身份表示,并用免训练的估计器为每个检测给出各分支的外观可靠性,据此调节身份分支权重、校准边界候选并控制外观记忆更新。论文报告在VT-MOT和UniRTL上取得新的SOTA结果,HOTA和IDF1分别较此前最佳提升。
Bingyang Wang, Jiazuo Yu, Lu Zhang 等
arXiv
cs.LG · cs.CL
说明LED:通过前瞻编辑改进掩码扩散语言模型
简介该论文提出前瞻编辑(Lookahead Editing,LED)方法,在掩码扩散解码中加入可改写的提议状态,每一步先对未来预测进行多次前瞻更新,再将词元写入掩码序列。作者基于Qwen2.5-7B和Qwen3-8B微调得到LED-7B和LED-8B,在八个基准上,LED监督微调相比标准掩码扩散模型监督微调平均分别提高11.4和7.7分。仅用监督微调的LED-8B还优于经过持续预训练、监督微调和强化学习训练的LLaDA2.1-16B Q模式。
Yuyan Zhou, Zeyuan Yang, Yuxuan Song 等
arXiv
cs.CV
说明Scene-Designer:学习用于智能体式三维场景生成的设计智能
简介该论文提出 Scene-Designer 框架,用于根据自然语言生成完整、连贯且可用的三维室内场景,并同时学习场景设计与质量评判两方面的能力。作者构建了两个数据集,并提出 Critic 引导的 Scene-GRPO 方法来改进设计决策、减少反复试错式修正。实验显示其在物理合理性、功能正确性和布局连贯性上表现更优,所学的评判模型也明显优于通用模型。
Xuanyu Liu, Hongyan Feng, Miao Pan 等
arXiv
cs.LG · cs.CV
说明面向可解释预测的多模态嵌入领域语言对齐
简介该论文提出一个框架,可把任何能与可解释辅助数据关联的嵌入空间与自然语言对齐,无需大量图文配对数据。方法包括将辅助数据转为部分描述文本、基于属性相似度加权的软对比损失,以及基于排序的概念检索评估。应用于地球观测多模态嵌入的物种分布建模任务(S2BMS 和 SatBird),结果显示所对齐的概念在两个数据集上的平均概念检索表现优于既有地球观测视觉-语言模型,并能恢复物种与栖息地的关联(ρ=0.44)。
Gabriel\.e Tij\=unaityt\.e, Thijs L. van der Plas, Mohamed-Bachir Belaid 等
arXiv
cs.AI
说明WebCoder:基于产物的智能体强化学习,扩展通用前端开发
简介该论文提出WebCoder,一种通过基于产物(artifact-grounded)的智能体强化学习训练的通用前端开发智能体。方法在可执行环境Webdev-World中,依据共享应用产物的变化与任务要求的满足程度分配奖励,并引入Webdev-Bench评测。论文报告,WebCoder-27B在Webdev-Bench上将需求满足率从基础模型的64.8提升至72.8,在Vision2Web上平均视觉与功能得分从41.1提升至62.4。
Zijun Dou, Zhen Yang, Xijun Liu 等
arXiv
cs.LG
说明面向结构动力学的 GraphNARX 模型初探
简介本文提出 GraphNARX 模型,这是一种基于图的非线性自回归外生模型,用于结构动力学。模型考虑结构几何,把动态行为建模为结构各单元之间的相互作用,并用于系统辨识。模型在系统辨识和虚拟传感两种框架下进行了评估,结果显示其精度良好,并能推广到不同尺寸的结构。
George Tsialiamanis, Keith Worden
★★★★★ 值得关注
arXiv
cs.CL
说明区分语言对工具准入与检索后安全性的影响
简介该论文研究大语言模型智能体在多语言环境下使用检索工具时的安全问题。作者在可控的URL检索设定中,分别改变请求、网页和回答的语言,测试十个模型与七种语言。结果显示,非英语的有害请求会提高工具准入率,回答语言与网页语言一致时有害性也会上升,因此多语言安全评估应分别衡量工具准入与回答有害性。
看点将工具准入与检索后生成的多语言安全风险解耦分析,提出SLIP现象,在十个模型、七种语言上做了受控实验,证据较充分,影响面较广。
Aditya Nawal, Manit Baser, and Mohan Gurusamy
arXiv
cs.MA
说明迈向高语义保真度:多智能体通信中的超维符号消息
简介该论文针对非理想信道下多智能体通信的语义保真问题,提出一种新的消息格式——超维符号消息(HSM)及其通信框架Herm。Herm通过实体-属性-值结构化编码抑制语义纠缠以保证传输保真,并通过接收方中心的自我绑定机制、相似度感知的双分支融合模块及基于代数逆运算的迭代解码来保证转换保真。实验表明,Herm在多种噪声场景下优于基线方法,且结构可读性更好。
Shoucheng Song, Chang Yao, Hao Wu 等
arXiv
cs.AI
说明重新审视用于大型推理模型安全对齐的 GRPO 方法
简介大型推理模型推理能力强,但仍可能输出不安全内容。论文指出,常用于安全对齐的 GRPO 方法在安全学习信号上存在两种失效模式,并提出 Beacon 框架,通过安全信号恢复与安全-效用解耦对齐来加以改进。实验显示,该框架在多个模型和基准上取得了最佳的平均安全与推理表现,并把平均安全错误率降低最多 32.83 个百分点,同时保持较低的过度拒答率。
Jiawei Chen, Yi Zhang, Jiawei Du 等
arXiv
cs.LG
说明潜在因子的结构角色:联合识别其表达位置与时间流动
简介论文将动态系统中潜在因子的结构角色形式化,描述其在哪些观测中体现、是否接收过去的影响、是否向未来传递影响。作者证明在适当的结构与变异性条件下,三种角色可在每个时间点的共同置换下被联合识别。基于该理论,论文提出RoleTrace框架,在共享的潜在坐标系中追踪这些角色,并通过合成数据与多方会议实验进行验证。
Xintong Li, Kun Zhang, Yujia Zheng
arXiv
cs.LG · cs.AI
说明通过学习潜在多表表示迈向先验数据拟合关系模型
简介该论文在大量合成关系数据库上预训练基于图的关系基础模型Griffin,并把编码器输出的潜在表示交给冻结的上下文预测器使用,不在目标任务上训练。在16个真实关系分类任务上,先用模式引导的合成数据、再用无模式合成数据的课程式预训练效果最好。这为PFN式合成预训练可迁移到图关系基础模型提供了初步证据。
Mohammad Sadeq Abolhasani, Viswanath Ganapathy
arXiv
cs.CL
说明检索开始之前:大语言模型智能体的安全与工具调用决策
简介论文研究大语言模型作为智能体时,是否调用外部工具这一决定本身的安全性,此前研究多只关注工具调用之后的环节。作者在七个开源权重模型上做了受控输入实验,发现中和请求中的操作成分对调用决策影响最大,并考察了文字拒绝与调用决策之间的关联。研究认为两者只有部分且因模型而异的关系,因此建议直接评估和监督工具调用决策,而不是把文字拒绝当作其代理指标。
Aditya Nawal, Manit Baser, and Mohan Gurusamy
arXiv
cs.CL · math.OC
说明ParetoChat:基于大语言模型的交互式多目标优化界面
简介论文提出 ParetoChat,一种基于大语言模型的专家代理界面,可把用户的自然语言偏好转换为多目标优化所需的参数,调用优化系统并迭代收集反馈。作者在多目标背包与集合划分问题上,用模拟决策者与 DESDEO 中的交互方法进行了对比实验,并以历史快递订单分配数据展示了用户如何通过自然语言探索目标与折中方案。
Gokhan Ceyhan
arXiv
cs.CL · cs.CY
说明同一个人,不同建议:用重复测试的风险承受度回答审计大模型理财建议
简介论文指出,AI理财顾问常以一道风险承受度问题决定股票配置比例,但人们的回答并不稳定。研究让七个大模型对800个仅风险回答不同的家庭资料给出配置建议,推荐股票比例平均变动10至16个百分点,回答改变时变动更大。作者认为,同一人重复测试应成为AI顾问的标准检查,对不可靠回答的处理也关乎客户自主权。
Soovadeep Bakshi, Apurba Bose, Aishwarya Bose 等
arXiv
cs.MA
说明思维块:通过轨迹到状态编译实现多智能体系统的非自回归潜在通信
简介论文针对基于大语言模型的多智能体系统,提出“思维块”(Thought Blocks),即一次性构造的固定大小潜在键值续写记忆,用于智能体之间的通信。相比自回归潜在通信平均加速2.5倍;相比基于文本的多智能体通信,文本词元减少45.7%,自回归步数减少84.8%,平均加速8.6倍。
Zhenhan Guan, Xiaolong Liu, Hengwei Ye 等
arXiv
cs.RO · cs.AI · cs.LG
说明通过模型到策略的形式化统一具身基础模型
简介本文提出一种与架构无关的概率框架,用随机核描述具身基础模型(如视觉-语言-动作模型和世界-动作模型)。框架包括条件输出分布与动作实现核,由此诱导出任务条件下的机器人策略。作者还将预训练和后训练与策略部署联系起来,并将该形式化应用于OpenVLA和DreamZero两个模型。
Xinyi Hong, Mingyang Ren
arXiv
cs.AI
说明智能体式上下文学习:闭环交互中 Transformer 能学到什么算法?
简介本文研究语言模型智能体在闭环交互中的上下文学习,即智能体的行动决定下一步进入上下文的证据。作者把交互式学习者表示为状态、更新和决策规则,涵盖主动学习、多臂老虎机与在线强化学习,并构造因果 Transformer 近似这些算法,给出回报损失的界。实验表明,Transformer 能学会执行三种典型递推,且不同奖励训练出不同的决策策略。
Shiguang Wu, Yaqing Wang, Quanming Yao
arXiv
cs.CV
说明TriFold:将不规则三维高斯折叠为结构化潜变量,用于三维场景生成
简介该论文提出 TriFold,一种面向原生三维高斯场景的变分自编码器,把高斯场景编码为固定布局的三平面潜变量,并同时重建几何与外观。模型通过逐单元可学习查询聚合投影高斯,并借助占据预测与基于查询的集合预测重建局部高斯集合。基于此表示,作者训练了潜变量流匹配模型,用于点云条件和单张图像条件的场景级三维高斯生成。
Yun Wang, Chiyu Wang, Fan Jiang 等
arXiv
cs.AI
说明《Distill Until Divergence》:面向智能体强化学习的错误截断式事后蒸馏方法
简介这篇论文研究长时程交互中的智能体强化学习。针对现有方法中技能蒸馏带来的监督可能与当前状态不匹配的问题,作者提出按轨迹结果和错误边界分配两类事后技能:正向技能强化成功流程与错误前的决策,负向技能针对关键错误进行修正。错误之后的部分仅由GRPO优化。实验显示该方法任务表现具有竞争力,并能有效进行细粒度信用分配。
Yibin Huang, Conghui Zhu
arXiv
cs.CV · cs.SD · eess.AS
说明SynerGest:面向双人对话的时空协同手势生成
简介本文提出SynerGest框架,用于为双人对话中的虚拟形象生成与语音同步的手势。方法包括基于对比流匹配(CFM)的训练目标,惩罚语义不匹配的配对,以及冲击-趋势协同注意力模块(ITSA),将语音驱动的节奏性冲击与连续运动趋势分开建模。作者称在两个公开数据集上达到了最先进的性能。
Chengxiang Guo, Jian Wang, Lanmiao Liu 等
arXiv
cs.DC · cs.LG
说明DIFFLET:面向 AWS Trainium 上扩散 Transformer 模型的快速推理引擎
简介这篇论文介绍了 Difflet,一个在 AWS Trainium2 芯片上为扩散模型提供服务的推理引擎。它让五种模型流水线共享同一编译后端,把联合注意力按注意力头分配到各个计算核心,并在每个去噪步骤决定是重新计算去噪器还是复用之前的输出。在五个图像和视频模型系列上,融合注意力相比使用 PyTorch/XLA 注意力的同一框架,去噪步骤速度提升 1.2 至 4.3 倍;在四个模型上,常驻服务比每次生成都重新加载权重的独立运行快 1.5 至 3.4 倍。
Bin Ma, Min Yu, Vijay Kodamalla 等
arXiv
cs.NE · cs.AI · cs.CV
说明SpikeQ:面向脉冲神经网络的脉冲引导训练后量化方法
简介脉冲神经网络在神经形态芯片上能耗低,但芯片内存有限,需要低比特权重和膜电位。作者提出SpikeQ框架,以脉冲误差而非数值误差(如均方误差)为目标进行量化:权重通过模拟下游神经元来选取量化水平,膜电位则用重置感知的网格,使阈值位于舍入边界上。实验覆盖图像分类、语义分割和目标检测共七个基准,在两者均为4比特时精度与全精度相差不超过2.59个点,内存缩小约7.8至7.9倍,能耗降低约6.4至6.9倍。
Kai Sun, Peibo Duan, Zhanglu Yan 等
arXiv
cs.AI · cs.PL
说明性能去哪了?理解并修复 C 到 Rust 翻译中的性能回退
简介论文研究了由 \crust{} 转译工具将 20 个真实 C 项目翻译成 Rust 后的性能问题。在用于分析的 8 个项目中,翻译后的 Rust 在 19 项操作中有 12 项比原 C 慢超过 3%,最多慢 62.2%。作者将这些减速归因于 9 类反复出现的性能问题,并提出 \ourtool{} 方法,用基于 LLM 的可复用优化规则修复这些问题。在 12 个未参与开发的项目的 41 项操作上,该方法加速了 40 项,其中 18 项快于原始 C 代码。
Zhiqiang Yuan, Chong Wang, Zhenhao Zhou 等
arXiv
cs.LG
说明GR-OPD:面向同策略蒸馏的组相对序列信用分配方法
简介论文指出同策略蒸馏(OPD)中常见的逐词更新只在局部分配信用,忽略了前面动作对后续反馈的影响。作者提出GR-OPD,把逐词反馈聚合为经校准的序列级信用,并利用同一提示下的多条采样回复校准教师指导。实验基于五组Qwen3师生设置和六个数学推理基准,报告其在宏平均Avg@K上优于原始OPD,且在思维模式不匹配时训练更稳定。
Yushu Wang, Renkai Yang, Jingcao Xu 等
arXiv
cs.IR · cs.LG
说明证据图结构何时能预测答案正确性:结构化检索中的无标签弃答方法
简介检索系统会给答案打分,但高分不等于可信。本文提出一种无需训练的弃答方法,在证据图中计算已选与未选候选之间的加权割边信号,无需正确性标签。在 MemoryAgentBench 的多跳任务上,该方法将精度-覆盖曲线下面积从 0.736 提升到 0.785。结果显示,其效果随图的构建方式、边的语义和关系类型而变化。
Anjan Goswami
arXiv
cs.CV
说明基于稀疏无位姿图像的帧一致前馈式3D高斯泼溅
简介本文研究如何从少量未知相机位姿的图像快速重建三维场景。作者用两个冻结的模型(VGGT估计位姿,TokenGS生成高斯)组成两阶段流程。研究发现,主要问题不在位姿旋转误差,而是坐标系不一致和平移尺度不匹配,二者都能确定性地修正。修正后无需额外训练即可接近COLMAP基准的重建质量,稀疏视角下也能达到同等水平。
Viruthshaan Vinasirajan, Ranga Rodrigo
arXiv
cs.AI
说明研究构思的起点:基于前向引用监督的可行动局限生成
简介本文关注自动化研究构思流程的第一步,即从文献中找出可行动的研究局限。作者构建了包含18,279个经人工核验的证据关联三元组的ActLim-Bench数据集,并提出三阶段后训练方法(监督微调、验证器过滤的拒绝采样微调、以验证器作在线密集奖励的强化学习)。论文报告,该方法在前沿模型中取得最高召回分数,其生成的局限在64.9%的非平局人工比较中更受偏好,并能改进下游构思系统。
Liyang Zhao, Yong Cao, Haibin Ling
arXiv
cs.LG
说明知识型与推理型基准是否在大模型中诱导出稳定的内部表征特征?
简介该研究检验人为预设的“知识/推理”标签能否在五个7B至31B的大语言模型内部形成可复用的表征特征。作者以完整任务为单位进行探针测试,并对标签做跨任务置换。结果显示,原始探针能区分MMLU的学科分组,但仅凭提示词文本即可得到几乎相同的效果,激活信息的额外优势很小且不显著;控制词汇因素后显著性消失。因此,在所测灵敏度下未发现可迁移的知识/推理特征,但不能排除中等强度的效应。
Parsa Rahimi, Azim Dehghani Amirabad
arXiv
cs.LG
说明循环语言模型的设计:拓扑结构、输入注入与循环状态(第一部分)
简介本文研究循环语言模型,即在逻辑深度上重复使用同一组Transformer模块的架构。作者分别考察循环位置、输入注入、循环状态组织等设计因素,在参数规模、逻辑深度和训练token数相同的条件下从零训练模型。结果显示,前置-循环-后置的三明治结构在上下文提取和推理任务上表现更好,输入注入主要提升知识检索与上下文利用能力。整体上,Huginn式设计在730M参数、336B token的规模下优于Ouro,并可迁移到MoE模型。
Benhao Huang, Chufan Shi, Junlin Chen 等
arXiv
stat.ML · cs.LG
说明稀疏尖峰Wigner模型中的可区分性与恢复问题
简介本文研究在信号与噪声均稀疏的尖峰Wigner模型中,稀疏秩一信号的可区分性与恢复问题,并比较多种算法和参数范围。对于次高斯噪声与非零坐标远离零的尖峰,作者提出留一法二次阈值过程以识别支撑集;对于Rademacher尖峰,符号同步可实现精确恢复。文章还将结果推广到连续非零噪声的情形,并结合作者此前的PCA结果,覆盖该模型的几乎全部参数区域。
Ioana Dumitriu, JD Flynn, and Zhichao Wang
arXiv
cs.AI
说明ASE:面向时间序列预测的归因引导语义演化框架
简介该论文提出ASE框架,用于构建文本因子、评估其在数值模型之外的条件贡献,并部署经验证选出的数值-文本融合预测器。在四个含文本的TESS数据集上,各实现的测试MSE均低于对应已发表的TESS成绩;在CSI 300动态股票排序任务中,文本融合实现的平均RankIC高于数值专家和打乱文本。
Yuxuan Zheng, Zhaoyang Li, Purui Liu 等
arXiv
cs.AI · cs.CY
说明LLM生成广告中营销标签的因果价值归因:一种去混杂方法
简介本文研究生成式营销中专家标签对大模型生成广告效果的因果影响,提出D-VAE(去混杂变分自编码器)框架,用于分离专家标注逻辑并估计各项技能的因果贡献。作者在29,177条粉底彩妆广告素材上测试,结果优于现有基准方法;现场实验显示推荐配置使互动率提高32.7%,与人类专家表现无统计学差异。
Danhong You, Wei Jiang, Zhiqiang (Eric) Zheng
arXiv
cs.CV · cs.MM · cs.SD
说明面向视频到音频生成的语义关键区域(SCR-V2A)
简介真实视频中的声音常与物体运动、接触和互动等细粒度视觉线索相关,现有视频到音频方法对这些细节捕捉不足。论文提出“语义关键区域”(SCR)概念,并设计SCR-V2A框架,先定位与声音相关的区域,再通过适配器双视觉编码将全局上下文与细粒度证据结合,用于条件化音频生成模型。实验显示其在分布匹配和音频质量上表现较强,跨模态对齐方面具有竞争力,且所需可训练参数较少。
Yun Fang, Wei Guo, Zhuonan Liang 等
arXiv
cs.AI
有代码
说明用用户手册让计算机操作智能体适应新软件
简介该论文提出MAGE框架,利用软件用户手册作为程序性知识来源,帮助图形界面操作智能体在未见过的软件上执行任务。执行时先检索相关手册内容并生成明确指导,并通过与环境交互调整策略以应对版本差异;训练时将手册转为可执行的任务-计划对,用于生成轨迹并优化策略,无需人工示范。在六个应用上的实验显示任务成功率优于强基线。
Chulhoon Yoon, Kyungri Park, Jinyeong Yun 等
★★★★☆ 值得关注
arXiv
cs.LG
说明“深度提升”:即使使用最简单的优化方式,神经网络也能泛化
简介这篇论文研究在宽度和深度受限的ReLU神经网络中,随机挑选一组能拟合训练数据的参数时,其泛化能力如何。若数据可由更小的网络解释,作者证明这种随机选择仍能以与小网络规模相关的速率泛化,而非由完整网络的VC维度决定。作者通过称为“深度提升”的证明技术,构造大量近似等价的参数,并指出这些结果在标签有误时依然成立。
看点提出深度提升技术,解释ReLU网络中随机插值参数的泛化机制,理论上突破VC维界限,但缺乏大规模实验验证。
Sunil Madhow, Yu-Xiang Wang
★★★★☆ 值得关注
arXiv
cs.LG
说明非线性可分数据上的最小 ReLU 分类器:稳定边缘处及之外的收敛与隐式偏置
简介本文研究一个两神经元 ReLU 网络在一维非线性可分数据上用逻辑损失训练的最小设定,目标函数非凸且不光滑,梯度下降表现出稳定边缘(EoS)行为。作者证明了常数学习率下的有限时间损失界,并表明梯度下降方向收敛到显式的最大间隔向量。论文还提出一种自适应学习率方案,理论上损失收敛速率为 O(1/(T log T)),快于标准的 O(1/T),并在 MNIST 上做了验证。
看点在非线性可分数据上分析两神经元ReLU网络的EoS与自适应步长,给出有限时间界与O(1/(T log T))收敛率,并有理论与MNIST验证,证据较扎实。
Quan Nguyen, Robin Yadav, Param Mody 等
arXiv
cs.AI
说明基于自适应专家分配的CPU-GPU协同MoE推理方法
简介混合专家(MoE)模型的专家参数占用内存大,显存不足时需要将部分专家放在CPU上。本文提出一种CPU-GPU协同推理系统,根据专家处理的token负载自适应分配任务:高负载专家转移到GPU执行,低负载专家在CPU上计算,并动态平衡两条路径的耗时。在三个代表性MoE大模型上的实验显示,预填充速度最高提升51.9%,解码吞吐量最高提升39.5%。
Wenhui Lv, Yunming Liao, Hongli Xu 等
arXiv
cs.CV
有代码
说明BRICE:受大脑启发的循环幻觉轮廓点云补全编码器
简介主流点云补全方法多依赖堆叠注意力模块且仅使用前馈连接。本文受哺乳动物大脑V1区产生幻觉轮廓(补全视觉信息的机制)的启发,提出基于预测编码的即插即用编码器BRICE,用于推断不完整三维点云中缺失的部分。实验显示,它能提升MVP2K、PCN、PlantPCom等数据集上的多种补全基线方法。
Yunlei Wang, Dawei Li, and Xue-song Tang
arXiv
cs.CL · cs.LG
说明通过合并对齐前后的模型来控制大语言模型的多样性与质量权衡
简介对齐会改变大语言模型的输出特性:基础模型输出更多样,对齐后的模型输出质量更高。本文提出一种深度感知的FrankenMerging方法,无需额外训练,将对齐模型的低层与基础模型的高层组合,以调节二者之间的多样性与质量平衡。实验显示,改变两个模型的层数分配可同时调整多样性与质量,多数情况下合并模型的语义多样性高于对齐模型,并在大多数设置中优于温度采样的权衡表现。
Yasuaki Sumita, Tomoharu Iwata, Toshiyuki Tanaka
arXiv
cs.LG · cs.AI · math.ST
说明基于邻域标签分布的图数据抗标签噪声算法
简介图卷积网络在图结构数据上表现出色,但依赖干净的标签。本文从数学上证明标签噪声会使节点的邻域标签分布变得平滑,熵增加,类别可分性下降。作者提出留一熵节点筛选方法(LENS),通过衡量移除某节点后邻域熵的下降来识别噪声节点,并通过重新标注保留有价值的特征信息。实验表明该方法在节点分类上达到领先精度,且运行速度比现有抗噪方法快一个数量级。
Pintu Kumar, Nandyala Hemachandra