AI 算法 · 2026年10月11日(周日)

机器学习、人工智能、自然语言处理、计算机视觉、多智能体。

★★★★☆ 值得关注
arXiv cs.LG

Swarm Telepathy: Prefill-Free KV-Cache Transfer Across Families

说明蜂群心灵感应:跨模型族的免预填充 KV 缓存传输

简介论文提出 SwaT(Swarm Telepathy),这是首个跨模型族的 KV 缓存传输方法,使多智能体系统无需接收方预填充即可通信。结合 KV 缓存压缩技术后,在智能体间通信设置中,其平均准确率比文本通信高 40%,平均耗时约为四分之一。实验覆盖 6 个模型族的 12 个大语言模型、17 个基准测试,并能把视觉语言模型的视觉能力传递给纯文本接收模型。发送与接收模型均保持冻结,训练所需不超过 5000 万 token 和 1 个 GPU 日。

看点首个跨模型家族的KV缓存传输方法,在17个基准、12个LLM上验证,平均准确率提升40%,速度快4倍。

Abdulrahman Alabdulkareem, Irene Tenison, Yang Zhang 等

arXiv cs.SE · cs.AI · cs.ET

TurnCost: Turns, Not Observations: Cache-Aware Loop Engineering for Coding Agents

说明《TurnCost:关注轮次而非观测结果》:面向编程智能体的缓存感知循环工程

简介本文分析了600条公开的编程智能体运行轨迹,发现多数工具输出很短,而输入token约98.6%由前缀缓存提供,因此固定输入计价会大幅高估成本。研究指出,轮次数量比平均观测大小更能解释轨迹成本的差异,认为减少不必要的轮次可能比压缩观测更有潜力,但未证明在保持任务成功率的前提下可以减少轮次。作者同时发布了用于在不同缓存、计价、压缩和路由策略下重新评估轨迹的工具TurnCost。

Pramod Kumar, Raj Kumar Pandey

arXiv cs.CV · cs.AI · cs.PF

VLCQ: Post-training quantization for deep neural networks using variable length coding

说明VLCQ:基于变长编码的深度神经网络训练后量化方法

简介本文提出VLCQ,一种训练后量化方法,放宽定点编码限制,改用变长编码以降低位宽。该方法无需原始训练数据或模型微调,在图像分类、分割和目标检测任务上与现有方法相比提升了压缩率与精度。作者报告在逐通道量化中,部分模型精度超过FP32,最高可实现12.25倍压缩且精度损失低于4%。

Reem Abdel-Salam, Ahmed H. Abdel-Gawad, and Amr G. Wassal

arXiv cs.CL · cs.AI · cs.SC

Have You Been Convinced? A Neuro-symbolic Argumentation Reasoning Approach to Detecting Persuasiveness in ChangeMyView Discussions

说明神经符号论证推理:在ChangeMyView讨论中检测说服力

简介本文提出神经符号论证推理系统NARS,直接从网络讨论中检测说服力。神经部分利用检索增强的迭代大模型推理提取双极论证结构,符号部分应用渐进式论证语义在结构上传播论证影响。研究基于Webis-CMV-20语料构建了CMV2BAS数据集,NARS在最佳配置下F1为0.57、AUC为0.56,优于零样本的Qwen3.6:27B和GPT-oss:20B。

Siddharth Bhargava, Sara Tonelli, Patricia Mart\'in-Rodilla

arXiv cs.AI

Self-Evolving Visual Agent via Margin Reward

说明基于边际奖励的自我进化视觉智能体

简介该论文提出Marvo方法,让视觉智能体无需人工标注即可从无标签图像中学习调用工具。系统包含一个生成问答对的挑战者和一个通过强化学习解题的求解者,并引入边际奖励(求解者使用与不使用工具的成绩差)来构建自适应课程。在多个基准测试中,该方法平均准确率最高提升7.1%。

Wenxi Yang, Yuzhong Zhao, Baochang Zhang 等

arXiv cs.LG · cs.CL

Can Language Models Learn While They Think? Testing Gradient Adaptation Across Architectures

说明语言模型能否边读边学?测试不同架构下的梯度自适应

简介论文测试了在阅读文本时对语言模型做梯度更新(动态评估)的效果。在部分softmax注意力模型上,这种做法能降低约5%至8%的下一词损失,且优于同一冻结模型直接读取完整上下文的表现;混合线性注意力模型提升很小;掩码扩散模型提升较大。但在多个长上下文基准上,更新权重并不能挽回因截断上下文而损失的准确率,作者认为这种适应主要体现在风格与词汇上,而非检索。

Surya Saka

arXiv cs.AI

Knowledge transfer between simple discrete worlds

说明简单离散世界之间的知识迁移:研究模型如何把已学规则用到新规则组合上

简介该论文研究在小型离散网格世界(类似数独、由共同基础规则加少量额外规则构成)中,模型如何适应新规则并正确推理。作者用深度循环模型在多种规则组合上训练,并在四种新颖程度下测试,规则以符号描述或两个已解示例的形式提供。结果显示,在重组已训练过的规则时,符号描述的准确率达到99%,高于示例的95%;但对从未共现的规则实例,符号描述低于无规则信息的基线,示例则仍高于基线。

Silv\`ere Gangloff, Jan Hula

arXiv cs.CV

Region Aware Squeeze-and-Excitation Networks for Image Segmentation

说明区域感知的挤压-激励网络用于图像分割

简介本文改进了挤压-激励(SE)模块:不再用全局平均池化,而是按空间区域池化,使通道重标定能感知区域。文中提出四种模块,分别用规则网格、SLIC超像素、冻结的通用网络语义图和可学习软区域分配来划分区域。在CUB、DUTS、ECSSD、PASCAL VOC 2012、ADE20K和mini-ImageNet等基准上,作者称其多数情况下优于SE及相关空间-通道注意力方法。

Jack Roberts, Praneeth Tummala, Kavi Sarna 等

★★★★☆ 值得关注
arXiv cs.LG · physics.chem-ph

On the Theoretical Limits of Learning Unconstrained Interatomic Potentials

说明无约束机器学习原子间势的理论极限

简介该论文研究用机器学习原子间势(MLIP)加速分子动力学模拟时,仅匹配能量和力是否足以保证采样准确。作者在无约束假设类中证明,预测误差与采样精度之间的关系随维度呈指数级病态。文中指出两种失效机制:动力学陷阱和平衡态失配,并给出保证平衡精度所需的全局能量控制条件。

看点证明无约束MLIP的误差与采样精度之间存在指数级病态关系,并识别动力学陷阱与平衡失配两种失效机制,理论贡献较突出。

Prajwal Ananth, Shuwen Yue

arXiv cs.CV

BrainAid: Efficient Brain Tumor Detection Using Lightweight CNNs and Explainable AI for Resource-Constrained Environments

说明BrainAid:面向资源受限环境的轻量级CNN与可解释AI脑肿瘤高效检测

简介本文提出BrainAid系统,结合卷积神经网络(CNN)与视觉Transformer(ViT),对MRI影像进行胶质瘤、脑膜瘤、垂体瘤和无肿瘤四分类。作者报告在公开数据集上精确率、F1分数和准确率均为98%,并集成可解释AI以提升可解释性。系统已部署在树莓派上,展示了在低资源环境中进行实时边缘端分类的可行性。

Sai Sriram Gonthina, Ross Gore, Bikash Chandra Singh 等

arXiv cs.LG · physics.plasm-ph

Toward a Multimodal Foundation Model for Plasma State Reconstruction

说明面向等离子体状态重建的多模态基础模型初探

简介该研究提出一个概念验证,探索用多模态基础模型从稀疏、不完整的观测中重建磁重联过程中的等离子体状态。模型基于250个合成VPIC模拟数据训练,能重建三个磁场分量和电子密度,并可在磁场与密度之间双向补全信息。结果显示在该模拟条件下存在跨模态预测耦合,但对不同等离子体条件或实验测量数据的泛化尚未验证。

Bin Xia, Chuanfei Dong, Boting Li 等

arXiv cs.CV · cs.CY

Global Disaster Risk Assessment Using World Risk Index Data: A Geospatial and Visual Analytics Approach

说明基于世界风险指数数据的全球灾害风险评估:地理空间与可视化分析方法

简介本文利用人道主义数据交换平台发布的世界风险指数(WRI),分析了2000至2025年的数据,该指数衡量各国面对自然灾害的脆弱程度,包括易发性、自然灾害脆弱性和应对能力。研究使用Matplotlib、Seaborn和Geopandas进行数据可视化。分析显示菲律宾、墨西哥、印度尼西亚和印度的WRI值较高,作者认为这些国家应做好应对灾害的准备。

Malithi Nawarathne, Nadeesha Herath Mudiyanselage, Lihini Sangeetha

arXiv cs.AI

Exposing AI Inference as a Telco Network API over the 5G User Plane

说明通过5G用户面将AI推理暴露为电信网络API

简介该论文提出“按需推理”(Inference on Demand, IoD)机制,通过类CAMARA的应用程序接口提供分割式AI推理,并在5G用户面路径中同时携带分割感知的张量上下文。作者在基于可编程用户面功能(UPF)的测试平台上,用可分割的视觉AI负载进行了评估。结果表明,自适应分割选择可以作为面向网络的服务运行,并避免静态配置的僵硬成本。

Rodrigo Moreira, Larissa Ferreira Rodrigues Moreira, Joberto S. B. Martins 等

arXiv cs.CV · cs.AI

Deep Learning-based Semantic Segmentation of Dental Radiographs: Comparative Evaluation of PSPNet, DeepLabv3, UNet, and UNet++

说明基于深度学习的牙科X光片语义分割:PSPNet、DeepLabv3、UNet与UNet++的对比评估

简介本文在统一、受控的实验条件下,比较了PSPNet、DeepLabv3、UNet和UNet++四种语义分割模型在1269张牙科X光片上的表现,并使用Dice系数、IoU、准确率、精确率及训练与验证损失等指标进行评估。结果显示,在图像尺寸为300x300、批次大小为16的设置下,UNet++的IoU为0.6719,Dice为0.7869,表现最佳。研究还探讨了图像分辨率和批次大小对不同模型性能的影响。

Malithi Nawarathne, Nadeesha Herath Mudiyanselage Lihini Sangeetha

arXiv cs.LG

The Optimal Decoder is Tilted Temperature

说明《最优解码器是倾斜温度》:论文提出一种兼顾多样性与合理性的LLM采样温度方法

简介论文把大模型解码视为最大化pass@k的问题,并加入熵下限与交叉熵上限两个约束,推导出“倾斜温度”的闭式采样规则。文中证明,在合理的多样性预算随样本数k变化的设定下,最优温度随k增大而升高。另提出在线算法J-EOS与离线方法CTD,并在HumanEval、MBPP等代码生成基准上报告优于标准及自适应解码基线的结果。

Nikolaos Papagiannis, Ananth Grama, Wojciech Szpankowski

arXiv cs.CL · cs.AI

Select or Rewrite: Oracle-Guided Fine-Tuning for Generative ASR Post-Editing from N-Best Hypotheses

说明选择或改写:基于 N-best 候选的生成式语音识别后编辑(Oracle 引导微调)

简介论文研究如何用大语言模型修正语音识别结果:模型比较 N-best 候选句,必要时改写转写文本。作者提出以三类数据做监督的微调方法:纠错样本教模型选择正确候选,正则样本抑制不必要的改写,困难负样本减少幻觉。实验显示该方法在约 3B 参数规模时增益较明显,但在 CommonVoice 上结论不够确定。

Shiran Liu, Gaohui Xu, Sergio Burdisso 等

arXiv cs.AI

Trace Evolution Bench: Measuring Whether Agents Improve from Their Own Environment Traces

说明Trace Evolution Bench:衡量智能体能否从自身环境轨迹中改进

简介论文提出 Trace Evolution Bench(TEB)协议,用于区分智能体的“自我进化”与仅仅重新评分的效果,并提供三个冻结的数据包。在编程任务上,DeepSeek v4 Pro 在 no_evolve 设置下策略未变,三个随机种子的成绩仍波动 7.5、5.0 和 12.5 个百分点。文本更新方法的表现因模型和种子而异,没有一种方法在所有种子和模型上都稳定超出其自身波动范围。

Fangfei Li, Chenyang Zhao, Long Wang 等

arXiv cs.CV · cs.CE · cs.DB

Use Of Convolutional Neural Networks In Detection Of Branch Dieback Disease In Pequi Trees

说明卷积神经网络在检测巴西小果树枝条枯死病中的应用

简介本研究比较了 AlexNet、Inception、LeNet、VGG16 和 MobileNet 五种卷积神经网络,用于诊断巴西塞拉多地区 pequi 树(Caryocar brasiliense)的枝条枯死病。研究使用无人机和手持设备在非受控光照下采集的 6,272 张多尺度图像进行训练和评估。结果显示结构更复杂的网络并不一定更可靠,其中 MobileNet 表现最佳,精确率为 0.71,ROC-AUC 为 0.63,结构紧凑的模型更稳定。

Ronilson Rodrigues Pinho, Elua Ramos Coutinho, Nilza de Lima Pereira Sales 等

arXiv cs.AI · cs.LG

Belief Embedding Tree Search

说明信念嵌入树搜索:用学习到的信念表示辅助部分可观测决策规划的蒙特卡洛方法

简介该论文针对部分可观测马尔可夫决策过程(POMDP)的规划问题,指出信念是隐藏状态的后验分布,而信念上的精确规划通常难以处理。作者提出信念嵌入树搜索(BETS),用生成式分布嵌入(GDE)表示每个节点的信念,并通过POMDP动态更新,同时与策略和价值网络一起通过经验训练。在RockSample、LightDark和PocMan的六种配置上,BETS与BetaZero及三种无学习组件的规划器相比表现具有竞争力或领先。

Christopher Solinas, Radovan Halu\v{s}ka, Martin Schmid 等

arXiv cs.CL

PAT: A Personality-Driven Augmentation and Transfer Learning Framework for Depression Detection on Social Media

说明PAT:基于人格驱动数据增强与迁移学习的社交媒体抑郁检测框架

简介论文提出PAT框架,用于从社交媒体中自动检测抑郁。该方法先用基于经典人格理论的大模型数据增强和细粒度对比学习训练帖子级编码器,再用训练好的评分器筛选高质量帖子,并将编码器迁移到用户级任务。作者称其效果显著优于现有方法,并能追踪心理状态轨迹、标出关键症状以提供可解释的诊断依据。

Shengwu Zheng, Yuzhe Ding, Xiaohui Liang 等

★★★★☆ 值得关注
arXiv cs.LG

Information-Theoretic Foundations of Online Temperature Sampling

说明在线温度采样的信息论基础

简介本文针对大语言模型解码中重复、退化生成的问题,提出在线熵采样方法(EOS)。在单一交叉熵预算下最大化采样分布的熵,并在条件分布逐个到达的在线设定中给出理论界:EOS 相对离线最优的熵损失与预算超出量均为 O(R log n),并证明其在约 log n 因子内最优。实验表明 EOS 能跟踪离线温度,且熵高于固定温度采样。

看点将离线温度采样推广到在线设定并给出近最优的遗憾界,理论上有实质推进;实验仅能验证趋势,规模与对比有限。

Jin Sima, Nikolaos Papagiannis, Ananth Grama 等

arXiv cs.LG · stat.ML

Sparsity Saves Compute, Not Samples: Oracle Inequalities for Dense and Sparse Mixture of Experts

说明稀疏路由节省计算而非样本:稠密与稀疏专家混合模型的 Oracle 不等式

简介该论文研究专家混合(MoE)模型中最小二乘估计器的估计误差,专家与门控网络均对参数满足 Lipschitz 条件。作者在门控希尔伯特空间中给出稠密 MoE 的快速收敛率,并针对 Top-k 与 Top-p 稀疏路由推导出相应界限,其中多出一项由路由复杂度(Natarajan 维数)决定的代价。对线性专家,论文还给出匹配的极小极大下界,表明速率在对数因子内最优。

Sagar Ghosh, Huy Nguyen, Alessandro Rinaldo

arXiv cs.CV

What Really Works for Universal Multimodal Embeddings? A Controlled Study of Contrastive Training Strategies

说明通用多模态嵌入的对比训练策略:受控比较研究

简介该论文在统一基准 MMEB 上系统比较了多种对比学习训练策略,发现大多数复杂策略相对标准基线提升有限,部分甚至降低整体性能。作者提出基于 MLLM 的诊断框架分析检索错误,并给出三点发现:高相似度负样本的梯度加权会损害泛化、正负样本分布间距拉大不一定带来更好检索、以及组合硬负样本挖掘、假负样本缓解与困难批次构建可取得最佳效果,在 Qwen2-VL-2B 上平均提升 6.0%。

Duo Li, Haojun Pan, Zuhao Yang 等

arXiv cs.IR · cs.CL · cs.LG 有代码

What Drives AI Citations? Content, Retrieval and Model Knowledge in Generative Engine Optimization (GEO)

说明什么驱动了AI引用?生成式引擎优化(GEO)中的内容、检索与模型知识

简介本文研究ChatGPT、Gemini、Perplexity等生成式搜索引擎为何引用某些网页,分析了两个为期90天、共15.8万条商业问题回答与46.8万条引用的数据集。研究发现,页面内容与用户问题的匹配度影响被引用的频率,但页面属性对同一网站内页面间的差异解释力很弱。主要原因在于模型自身检索所得的页面和模型已有的品牌知识,两者对结果的解释力远超页面属性。

Mahe Chen, Nick Koudas

arXiv cs.LG · cs.AI

InCLAD: A Continual Learning Benchmark for Industrial Visual Anomaly Detection

说明InCLAD:面向工业视觉异常检测的持续学习基准

简介本文提出 InCLAD,一个用于工业视觉异常检测的持续学习基准。它把每个工业部件视为一个任务,在半监督设定下让模型依次学习不同部件,并要求模型在学习新部件后仍保持对已学部件的检测能力。基准包含随机、由易到难、由难到易等多种任务顺序,并加入跨数据集场景,同时从图像级检测和像素级定位两个角度评估。

{\L}ukasz Marcjan, Dorota Wilk-Ko{\l}odziejczyk, Roberto Corizzo

★★★★☆ 值得关注
arXiv cs.CV

Appearance Compensation in Volume Rendering

说明体渲染中的外观补偿:渲染一致并不等于密度正确

简介本文研究在吸收-发射体渲染中,若外观可补偿密度变化,能否在重现所有外部RGB视图的同时密度仍然错误。作者以球谐函数等有限表示进行分析,给出理论结果与构造性反例:存在与外部RGB完全一致但中心密度翻倍、相对密度L2误差超过14.52%的物理合法SH2歧义。论文指出,仅凭渲染精度无法保证密度恢复,还需考虑外观容量、空间分辨率与测量方式。

看点证明了外观补偿下密度不可由RGB渲染唯一确定,并给出精确的物理SH2歧义构造,理论新颖;证据包括完整构造与受控实验。

Jianghong Zhou

arXiv cs.CL · cs.AI

Is a 9B Decision Foundation Model Needed for Symptom-to-Disease Classification? Fine-Tuning Clef-Flash Against TF-IDF Baselines

说明9B决策基础模型是否适用于症状到疾病的分类?对比TF-IDF基线的Clef-Flash微调研究

简介该论文将9B参数的决策模型Clef-Flash用QLoRA微调,用于24类症状到疾病的分类任务,单次前向传播即可对候选标签打分。微调模型准确率为95.42%,但基于TF-IDF的线性SVM和逻辑回归基线达到98.75%,且推理速度更快,因此在此基准上微调模型没有准确率优势。作者指出,需要在更长的真实临床文本和临床医生审阅下进一步验证。

S. M. Mahbub Uddin Ahmed

arXiv cs.CL · cs.AI

UltraBERT: Beyond the Limit of BERT Pre-Training

说明UltraBERT:突破BERT预训练的极限

简介本文重新审视双向编码器的预训练设计,发现编码器在约数万亿token后下游任务表现趋于饱和,且低、高掩码比例分别更有利于分类和检索。作者据此提出UltraBERT,在同一批次中对低、高掩码比例分配不同的语言模型头,并将蒸馏目标限定于低掩码比例。论文报告其在GLUE上达到91.0、在BEIR上达到47.7,称是首个在分类和检索任务上均达到最优水平的编码器。

Jungwoo Park, Taewhoo Lee, Jaewoo Kang

arXiv cs.LG

PATTERN Can Be Solved from Memory: Generator-Aware Baselines for Synthetic Node Classification

说明PATTERN 可以靠记忆解决:面向生成器的合成节点分类基线

简介本文研究常用于图网络排名的合成节点分类基准 PATTERN。作者发现其每个划分都复用同样的 100 个模式,因此无需训练、仅依靠从训练标签中读出的模式查找即可达到 99.2 的类加权准确率,高于已发表的最佳模型 89.8。文章还指出,对未见过模式的新图,CKGConv 和 GRIT 的表现低于这种忽略模式的预测器,并建议合成基准同时报告新模板上的成绩并公布基于生成器的基线。

Amin Najafgholizadeh, Mohsen Afsharchi

arXiv cs.LG

Algorithmic Fairness Over Time: Advances & Prospects

说明随时间变化的算法公平性:进展与展望。论文讨论如何衡量和保证算法决策模型在时间推移中的公平性。

简介论文指出,在反馈回路存在时,某一时间步的算法决策会影响后续观测到的数据,可能引入选择偏差或数据分布变化。忽视这些效应可能导致不公平,并随模型持续部署而加剧。作者提出一个分类体系,区分近期研究中不同类型的静态与时间性公平概念,并指出常见的隐含时间假设及有待解决的问题。

Miriam Rateike

arXiv cs.CV

CowCare: A Unified Visual Framework for Viewpoint-Robust Cattle Tracking and Spatiotemporal Heat-Stress Analysis

说明CowCare:面向奶牛跟踪与热应激分析的统一视觉框架

简介该论文提出CowCare框架,用于在多摄像头农场视频中跟踪奶牛个体,并识别其热应激行为。其跟踪模块CowTrack通过视角解耦网络保持跨摄像头的身份一致,热应激识别网络TSDF-Net则利用时序稳定模块和扩散模型语义先验来捕捉细微行为信号。论文报告在两个真实农场数据集上的结果:MVCow上全局多目标跟踪HOTA为83.48%、IDF1为87.72%,HSCow上Top-1准确率为87.72%。

Xin Liu, Weiran Li, Minghao Zhu 等

arXiv cs.LG

Conformal Sequential Decision Making With Cost and Sublinear Policy Regret Guarantees

说明带成本约束与次线性策略遗憾保证的共形序贯决策

简介本文研究自动决策者(如控制机器人或网络设备的AI智能体)在每个回合都须满足硬性成本预算、同时保持竞争性奖励表现的问题。作者提出在线共形回合智能体(OCEA),每回合选择一个候选动作,并在剩余预算不足以承受下一回合最大成本时切换为零成本动作。文中证明OCEA对任意状态序列都满足每回合成本约束,且相对于满足同样约束的比较类中事后最优动作序列,其期望策略遗憾为次线性;并应用于风险规避控制和带失真保证的在线压缩。

Jayadev Naram, Giuseppe Durisi, Matteo Zecchin 等

★★★★☆ 值得关注
arXiv cs.AI

On the Complexity Gap Between POMDPs and Multi-Environment POMDPs

说明POMDP 与多环境 POMDP 之间的复杂度差距

简介多环境 POMDP(ME-POMDP)用有限个可能环境刻画模型不确定性。已有研究证明其有限视野鲁棒奖励最大化问题是 PSPACE 完全的。本文找出哪些子类仍保持该复杂度,并分别证明多环境盲 MDP 与确定性 POMDP 为 NP 完全,一系列不满足混合封闭条件的子类为 PSPACE 完全,部分问题为存在实数理论完全。

看点系统刻画了多环境POMDP各子类的复杂度边界,给出NP、PSPACE与存在实数理论完备性的新结果,理论贡献突出。

Eline M. Bovy, Caleb Probine, Marnix Suilen 等

arXiv cs.AI · cs.GT

Can You Trust Your Preference Models? Stackelberg Games for Alignment

说明你能信任你的偏好模型吗?用于对齐的 Stackelberg 博弈

简介语言模型常通过不完美的评估器对齐人类偏好,而评估器的误差可能在优化过程中被利用。本文训练策略去寻找评估器可能颠倒真实偏好的比较对,并以偏好模型集成的分歧作为预测误差的代理。作者将其建模为两个对立策略之间的零和 Stackelberg 博弈,并给出均衡存在性与线性收敛算法 SMIDA,实验表明在留出数据上训练出的策略能提高超过分歧阈值且被反转偏好的比较比例。

Riccardo Formenti, Aditya Agrawal, Vikas Garg

arXiv math.PR · cs.LG · math-ph

DisCo Algebra: Why Disintegration and Combination Are Not Inverses

说明DisCo 代数:为什么分解与组合不是互逆的

简介本文提出一个用于联合概率的组合式框架 DisCo 代数,由分解(对称余算子)与组合(非结合的部分组合)两部分构成。分解端用分块联合分布函数作为 1 维摘要,会造成信息压缩;组合端借助正则条件测度重建分布。作者证明先组合后分解是恒等映射,而先分解后组合则不是,其信息损失恰为“概率曲率”,即真实条件分布与条件独立乘积之间的条件 KL 散度。

Xuexing Lu

arXiv cs.CV

Retraining-Free Depth Pruning of Vision Transformers: A Cross Domain Study of Layer Redundancy

说明无需重训练的视觉Transformer深度剪枝:层冗余的跨领域研究

简介该论文通过计算层输入与输出的余弦相似度,研究视觉Transformer中的层冗余,发现DINOv2和SwinV2等深层模型存在明显冗余。实验表明,在ImageNet-1K上移除20%的DINOv2模块、无需重训练,吞吐量提升1.24倍,每张图能耗降低20%,相对精度损失低于1%。作者还提出了自动选择剪枝配置的流程。

Alessandro Viespoli, Loris Nanni

arXiv cond-mat.mtrl-sci · cs.LG

DiffGA: Steering Frozen Diffusion Models for Materials Design via Evolutionary Search

说明DiffGA:借助进化搜索引导冻结扩散模型进行材料设计

简介该论文提出DiffGA框架,在已训练好的扩散模型采样过程中加入进化搜索,无需为每个新目标重新训练,可针对任意黑箱评估函数优化生成结果。为降低评估成本,作者用基于机器学习力场图嵌入的高斯过程代理模型替代部分昂贵的性质计算。在三个晶体设计任务上,DiffGA在稳定、唯一和新颖命中率方面优于多种基线,并用密度泛函理论检验了力场代理的可靠性及其偏差适用范围。

Shivang Agarwal, Rodrigo Wang, Kevin Ryczko 等

arXiv cs.LG · cs.AI

Recurrent In-Context Learning for Tabular Foundation Models

说明用于表格基础模型的循环式上下文学习:以共享参数的循环块替代独立层

简介该论文研究表格基础模型的上下文学习阶段是否需要每层独立参数,还是只需要足够的计算深度。作者提出Tab-Loop,将TabICLv2中12个不共享的ICL块替换为4个共享权重并循环应用k次的块,其余部分保持不变。在相同计算量下,Tab-Loop参数量减少62%,在多项基准上的表现与基线相当或略优。

Tejas Vaidhya, Gaurav Sahu, Irina Rish

arXiv cs.AI

Certify the Decision, Not Every Score: Exact Top-k Selection from Few Evaluations

说明只为决策作证,而非每个分数:用少量评估精确选出前k项

简介这篇论文提出认证自适应选择方法(CAS),用于在不评估全部候选方案的情况下,精确找出最稳健的前k个算法或调度方案。方法通过维护期望短缺(最坏情景平均损失)的保证上下界,一旦剩余不确定性无法改变结果即停止评估。预测仅用于决定下一个要评估的对象,不用于授权最终决策。

Yuhe Sui, Yingzhi Tang

arXiv cs.LG · stat.ML

Characterizing the Separability Gap in Prior-Data Fitted Networks

说明先验数据拟合网络中的可分性差距:特征分布与标签机制并非独立时的影响分析

简介该论文研究先验数据拟合网络(PFN)的理论假设。标准理论假设任务先验可分,即特征分布与由特征生成标签的机制相互独立,但作者证明常见的PFN先验即使在简单设定下也是不可分的。论文刻画了这种不可分性带来的预测差异,指出在后验集中时差异会消失,而在模型设定错误时,它可能提升特征拟合却损害条件标签拟合。文中还展示了其对特征归因、贝叶斯优化等的影响,并提出能利用无标签数据的SemiTabICL模型。

Julius Kobialka, Manuel H\"ulskamp, Thomas Nagler 等

arXiv cs.LG · cs.AI · math.OC

Mixing Regularization for Average-Reward Q-Learning and Q-Planning

说明平均奖励Q学习与Q规划中的混合正则化

简介本文研究平均奖励强化学习,此时贝尔曼算子仅在马尔可夫链混合时才在跨度意义上收缩。作者假设已有与奖励无关的m步混合策略,并通过向该策略正则化来控制学习策略的收缩与探索性质。文中给出了多种正则化选择下Q学习算法的有限时间分析,并在数值实验中验证了理论结论。

Julien Roger, Sam Bodmer, Jian Qian 等