AI アルゴリズム · 2026年9月29日(火)

機械学習、人工知能、自然言語処理、コンピュータビジョン、マルチエージェント。

arXiv cs.LG · cs.AI · cs.DC

When Log Parsing Removes What Matters: Detecting Failures in Distributed GPU Workloads

説明ログ解析で重要な情報が失われる:分散GPU処理における障害検出の研究

要約本論文は、分散GPUワークロードの障害を生成するPyTorchベースのフレームワーク兼データセットGF-Benchを提案し、通常実行、CUDAのメモリ不足による停止障害、持続的な低速化障害を含む220件のラベル付き2GPU実行ログを提供します。解析済みログに対して、3つの系列ベース手法とLLMベースのLogPromptを評価した結果、両障害を確実に検出できる手法はなく、最高の総合F1スコアは0.667でした。生ログを用いるとLogPromptの総合F1は0.983に向上しますが、平均入力トークン数は約9.0倍、1回あたりのコストは約8.7倍になります。

Boyuan Cui, Yuyang Zeng, Yifang Tian ほか

arXiv cs.LG · cs.CL

Invariant Atoms: Sparse Coordinates of Local Semantic Geometry in Language Model Representations

説明不変アトム:言語モデル表現における局所的意味幾何の疎な座標

要約本論文は「不変アトム仮説」を提案し、言語モデル内の局所的な意味変化は、意味を保つ言い換えの下でも安定する方向に沿って疎な座標で表せると主張します。著者らは共有の意味フレームと疎な座標を学習し、意味の変化を再構成しつつ無関係な変動を抑えます。実験では、これらのアトムが意味と無関係要因をよく分離し、モデルの予測に因果的な影響を持つことが示されたと報告されています。

Muhammad Ahtesham, Xin Zhong

arXiv cs.LG

Theory on Attention Dynamics for Out-of-Distribution In-Context Learning

説明分布外の文脈内学習における注意機構のダイナミクスに関する理論

要約本論文は、入力分布がずれた場合(分布外、OOD)にTransformerの文脈内学習性能が低下する理由を、α型・β型の注意重みの動きを通じて理論的に分析する。分布外データでの微調整後、元のドメインでの性能が上がるか下がるかは特徴のずれの性質に依存することを示す。合成データと実データによる実験で理論的知見を検証している。

Junze Deng, Daouda Sow, Sen Lin ほか

arXiv cs.CV · cs.AI コードあり

Online Versatile Incremental Learning: Towards Class and Domain-Agnostic Adaptation at Any Time

説明オンライン多機能増分学習:いつでもクラスとドメインに依存しない適応を目指して

要約本論文は、クラス概念と視覚ドメインが明確な境界なしに同時にオンラインで変化する新しいシナリオ「Online VIL」を提案している。このより現実に近い動的環境に対応するため、領域非依存フロー整合(DFM)と大域的トポロジー保存(GTP)という2つの補完的機構からなる TopFlow フレームワークを提案している。実験では、Online VIL において TopFlow が最先端の性能を達成したと報告されている。

Jae-Ho Lee, Min-Yeong Park, Jun-Yeong Moon ほか

★★★★☆ 注目
arXiv cs.CV コードあり

DARE to Mitigate Hallucination: Dual-path Auto-Regressive-aware Editing

説明DARE:大規模視覚言語モデルの幻覚を抑える二経路自己回帰対応編集手法

要約大規模視覚言語モデルは、視覚入力と一致しない物体の記述を生成すること(物体幻覚)が依然として課題です。本論文は、学習を必要としない表現編集によって幻覚を抑えるDARE(Dual-path Auto-Regressive-aware Editing)を提案します。テキスト対比、復号中の自己回帰的な表現遷移、対になる画像間の制御された視覚差分を組み合わせて編集方向を構成します。複数のベンチマークで、知覚能力と推論効率を保ちながら物体幻覚を一貫して減らすことが示されています。

注目点学習不要の表現編集に自己回帰的信号と画像対比経路を加えた、実質的な改良を含む組み合わせである。複数のLVLM幻覚ベンチマークで一貫した効果が示されている。

Jae-Ho Lee, Jeong-Eun Lee, and Gyeong-Moon Park

arXiv cs.AI

Bits Under ZK-LLM: Evaluating Zero-Knowledge-Friendly Quantization for Verifiable Private LLM Inference

説明ZK-LLM向けビット精度:検証可能な非公開LLM推論のためのゼロ知識に適した量子化の評価

要約本論文は、ゼロ知識証明(ZK)に適したLLMの量子化を初めて体系的に調べ、その性質を定式化しています。九つの言語モデルで、重み・活性化・非線形ルックアップテーブルの精度を変えて評価しました。その結果、活性化の精度が重みよりも性能への影響が大きく、非線形近似が効用低下の主因になりうること、またRMSNormの逆平方根ルックアップが複数の大規模モデルでボトルネックになることを示しています。さらに、ビット幅を下げても証明コストが比例して減るとは限らず、従来の低ビット量子化の経験則はそのままでは適用できないと結論づけています。

Taeung Yoon, Yupeng Zhang, Xiaojing Liao

arXiv cs.CV コードあり

Merlin Plus: A Large-Scale, Multi-Cancer, Image-Mask-Report Dataset

説明Merlin Plus:大規模多がん種CT画像・マスク・レポートデータセット

要約本論文は、9つの臓器にわたり放射線科医が作成した腫瘍マスクを備えた、初の大規模CTデータセットMerlin Plusを提案している。既存のMerlinデータセットを拡張し、1,153件の画素単位の腫瘍マスクと縦断的メタデータを追加した。マスクは報告書ベースのアクティブラーニング枠組みで作成され、分割モデルが初期マスクを生成した後、放射線科医が確認・修正する。

Pedro R. A. S. Bassi, Wenxuan Li, Szymon Plotka ほか

arXiv cs.CL

MemFold: Learning Compact Soft Memory for Long-Context Personalization via On-Policy Optimization

説明MemFold:長文脈パーソナライズのための、方策上最適化による小型ソフトメモリ学習

要約本論文は MemFold を提案し、ユーザーの長期履歴を固定数の連続ベクトルに圧縮してソフトメモリとし、そのモデル自身の生成ロールアウトで学習させる手法を示しています。学習にはタスク結果に対するグループ相対報酬と、信頼度でゲートされた同方策蒸馏を併用します。PersonaMem-32K と PersonaMem-128K で測定した中で最も高い精度を示し、PrefEval と LongMemEval には対象領域での学習なしで転移しました。アブレーションでは、タスクの向上の大部分は報酬項によるものと報告されています。

Jingxuan Wu, Yuzhe Yang, Yiqiao Huang ほか

arXiv cs.AI

The Safety Operator: Modulating the Expression of Safety Instructions via Spectral Optimization

説明安全オペレーター:スペクトル最適化による安全指示の表現強度の調整

要約本論文は、Transformerベースの言語モデルにおいて、コンテキストトークンが重みに乗法的な演算子として吸収されうることを扱い、安全指示の場面でその主固有値が指示の影響の強さをどう調整するかを検討しています。有害なクエリでは安全指示を強調し、無害なクエリでは抑制する、抑制重みを持つ対照的安全損失を提案し、抑制重みの変化に伴う攻撃成功率と過剰拒否率の関係を示しています。

Benoit Dherin, Michael Munn, Xavier Gonzalvo ほか

★★★★☆ 注目
arXiv cs.CV コードあり

RA-CFGCache: From Branch-Level Criteria to Guided-Risk Control under Classifier-Free Guidance

説明RA-CFGCache:分類器フリーガイダンス下の拡散モデル向けリスク整合キャッシュ手法

要約本論文は、分類器フリーガイダンス(CFG)下で拡散モデルの計算コストが高い問題に対し、学習不要のキャッシュ手法RA-CFGCacheを提案します。条件付きと無条件の両分岐におけるキャッシュ誤差の合成方法と、局所的誤差が最終出力へ与える影響が時間ステップごとに異なる点を考慮します。オンラインの閾値制御により、両分岐を同時に更新するか再利用するかを決定します。FLUX.1-dev、Wan2.1-T2V-1.3B、CogVideoX-2Bでの実験では、評価した学習不要キャッシュの基準手法に比べ、効率と忠実度のトレードオフが改善したと報告されています。

注目点CFG下のキャッシュ誤差の合成と時間ステップ依存の伝播を考慮したリスク整合制御を提案し、三モデルで既存手法を上回ることを示した。

Yiming Liu, Ben Wan, Tongxuan Liu ほか

arXiv cs.CV

Temporal-Aware Fusion for Robust Outdoor LiDAR Localization

説明堅牢な屋外LiDAR位置推定のための時系列考慮型融合手法

要約本論文は、センサーの大域的な6自由度姿勢を推定するTempLoc(時系列考慮型位置推定フレームワーク)を提案しています。各スキャンの点ごとの大域座標と不確実性を予測し、注意機構でフレーム間の点対応を推定したうえで、不確実性に基づく座標融合によって両者を統合します。NCLTおよびOxford RobotCarベンチマークでの実験において、従来手法を大きく上回ったと報告されています。

Minghang Zhu, Zhijing Wang, Yuxin Guo ほか

arXiv cs.CV

Towards Scalable Context-Aware Single-Cell Spatial Transcriptomics Prediction from Histology Images

説明組織病理画像から単一細胞レベルの空間トランスクリプトーム発現を文脈付きで予測する拡張可能な手法

要約本論文は、H&E染色の組織画像から各細胞の遺伝子発現を直接予測するエンドツーエンドのフレームワーク CELLO を提案しています。従来の複数細胞を集約したスポット単位の予測ではなく、画像1枚に対して病理基盤モデルを1回だけ順伝播させ、グリッドサンプリングで全細胞の位置特有の特徴を同時に抽出します。さらに距離減衰付きクロスアテンションで周囲の形態情報を反映させます。HEST-1k の Xenium-H&E ペア52組(12臓器、約1000万細胞)で評価され、既存手法より平均予測精度が高く、上流の細胞分割を除くとDeepSpot2Cellより平均14.0倍高速だと報告されています。

Zijun Gao, Chunbin Gu, Jinxi Xiang ほか

arXiv cs.CV · cs.AI · cs.LG

Beyond Pixel Reconstruction: Retrieval-Guided Glyph-Aware Restoration for Low-Resource Manchu Historical Documents

説明ピクセル再構成を超えて:低資源満洲語歴史文書のための検索誘導型グリフ認識修復

要約満洲語の歴史文書は言語・文化的に貴重ですが、深刻な劣化と対になる学習データの不足によりデジタル化が困難です。本論文は、関連するグリフの見本を検索して構造的な手がかりとし、修復過程に組み込む枠組みを提案します。これにより低資源条件下で劣化した文字構造の回復を改善します。実験では、既存手法と比べて画像修復の品質とグリフの忠実度が向上したと報告されています。

Ting Huang, Dongdong Wang, Mingqiu Liang ほか

arXiv cs.AI

Predictive Credit: Measuring What Scientific Explanations Add to Experimental Forecasts

説明予測クレジット:科学的説明が実験予測にもたらす効果の測定

要約本論文は、研究エージェントが計画された実験について行う説明が予測にどれだけ寄与するかを、対になった予測を用いて測定するプロトコルを提案します。受控学習、Tox21、OpenMLの計336の状態で検証した結果、科学的説明による予測上の利得は、試された条件下では確認されませんでした。

Jingjie Ning, Xueqi Li, Yibo Kong ほか

arXiv cs.AI · cs.SE

Rules to Tools: Executable Checks for LLM Agents in Scientific Computing

説明ルールからツールへ:科学計算におけるLLMエージェントのための実行可能な検査

要約本論文はR2T(Rules to Tools)を提案し、科学計算の公開要件(方程式、境界条件、出力要件)を呼び出し可能な実行可能チェックとして用意し、プログラム修復を行うコーディングエージェントに提供する。文章だけで検査を示す対照群と比べ、完全修復率は2つのタスクIDコホートで文章が26/30、ツールが29/30となったが、結果はタスクによって異なり、全タスクで工具が優位だったわけではない。

Jingjie Ning, Guojiang Zhao, Chen Xu ほか

arXiv cs.RO · cs.CV · cs.LG

Losing the name before the box: measuring and repairing what narrow fine-tuning costs a detector outside its deployment vocabulary

説明展開語彙外の物体を失う:狭い領域での微調整が検出器に与える影響の測定と修復

要約広範なコーパスで事前学習された検出器を狭い領域で微調整すると、領域内精度は向上する一方、語彙にない物体へのカバレッジが低下することを論文は示している。著者らは同一チェックポイントの微調整系列を追う評価手法を提案し、複数のアーキテクチャと領域で現象を確認した。さらに、事前学習の状態を一部混ぜ戻す訓練不要の修復法を示し、領域内精度の低下を小さく抑えつつカバレッジを改善できると報告している。

Trung Minh Bui, Jongsul Moon, YoungOuk Kim ほか

arXiv cs.MA

Agent-Based Evolutionary Dynamics for Mixed Autonomy Weaving Ramps

説明混合自律型交錯ランプにおけるエージェントベース進化動学:個々の車両の行動から均衡を説明する研究

要約本論文は、各車両が進化ゲーム的な車線選択ルールで適応する、エージェントベースモデルを提案し、マクロな交錯ランプ理論に対応させています。分散型の動学がマクロ理論の予測する唯一の均衡に収束することを証明しています。シミュレーションでは、マクロ予測と高い一致が示され、収束速度、交通変化への適応、CAVの利他性の差、不完全な状態情報が影響する様子が分析されています。

Sheryl Paul, Kexin Wang, Ruolin Li ほか

arXiv cs.CC · cs.LG · math.GR

Sample Complexity of Equivariant Reinforcement Learning

説明等変強化学習のサンプル複雑性:群対称性を使ってロボット学習に必要なデータ量を減らす研究

要約本論文は、群対称性を利用して強化学習のサンプル複雑性、すなわち最適なリターンに到達するために必要な環境との相互作用回数を減らせるかを検討しています。有限ホライズンのマルコフ決定過程において、群対称性が誘導する準同型を用いると、理論的な上界と下界が小さくなることを示し、連続的な状態空間と行動空間にも結果を拡張しています。高次元の連続ロボットシミュレーションでは、対称性を考慮した方策学習がサンプル効率と性能を改善したと報告されています。

Rayan Mazouz, Haibo Zhao, Chris Hillar ほか

arXiv cs.AI

Support-Set Target Leakage in Relational Foundation Models during In-Context Learning: Model Dependence and Evaluation Reliability

説明関係基盤モデルの文脈内学習におけるサポートセットのターゲット漏洩:モデル依存性と評価の信頼性

要約本論文は、関係型文脈内学習で生じる失敗モードを扱います。サポートセットにはターゲット由来の特徴が含まれるが、クエリ側では利用できない状況で、20種の制御された特徴を13のRelBenchタスクと5つの関係型ICL構成で評価しています。対象テーブル(0ホップ)と全漏洩条件が最も大きな偏差をもたらし、漏洩の影響はタスクとモデルに強く依存して、モデル間の結論を逆転させることもあると報告しています。

Roshan Reddy Upendra, Alexandre Dorais, Joe Meyer ほか

arXiv cs.RO · cs.AI · cs.CV

FineART: Fine-Grained Annotated Robotic Trajectory Dataset and Vision-Language-Action Model for Bimanual Manipulation

説明FineART:きめ細かく注釈された両腕ロボット操作の軌道データセットと視覚・言語・行動モデル

要約本論文は、40,543エピソード(約1,718時間)、533,913のサブタスク、151タスクを含む、高密度に注釈された両腕操作データセットFineARTを提案している。あわせて、次のサブタスクを自ら予測して行動を導く視覚・言語・行動ポリシーFineART-VLAを紹介している。FineARTのサブタスク注釈による中間学習で、空間指示への成功率は32.0%から100.0%に向上したと報告されている。段階ごとの人によるサブタスク指示を与えると、未知の長期タスクの成功率は16.0%から76.0%に上がったとされる。データセット、モデル重み、学習コードは公開されているという。

Jade Choghari, Pepijn Kooijmans, Mansi Agarwal ほか

arXiv cs.CL

Eternal Sunshine of the Spotless Mind: Systematically Erasing LLM's Memories

説明『永遠の日の光の下の無垢な心』:大規模言語モデルの記憶を体系的に消去する研究(ユーザーの要求に応じて共有情報を削除できるか)

要約本論文は、ユーザーとのやり取りを通じて長期的に記憶を蓄積する永続型大規模言語モデルについて、ユーザーの要求に応じて過去に共有された情報を忘れられるかを検討しています。既存のモデルは、忘れたと主張する場合でも情報を実際には削除できないことがわかりました。削除要求に一致するメッセージを単純に取り除くだけでは、会話内のメッセージ間の依存関係によって情報が残るため不十分だとされています。そこで著者らはDeLLMフレームワークを提案し、各クエリに応じて関連文脈を動的に構築し、メッセージの来歴グラフを管理して削除すべきメッセージを特定します。実験では、有用性を保ちつつ高い削除率を達成したと報告されています。

Olga Ohrimenko

★★★★☆ 注目
arXiv cs.LG · cs.AI

Longer Records, Broader Invariance: The Hidden Scaling Problem in Longitudinal Contrastive Learning

説明記録が長いほど不変性が広がる:縦断的対比学習に潜む隠れたスケーリング問題

要約本論文は、縦断データの対比学習において、同一人物の観測を正例とすると、記録が長くなるほど異なる行動状態が正例に含まれ、本来価値のある変化の情報が失われうることを検討しています。記録の長さと教師信号の範囲を区別し、最長2.7年の在宅センシングデータで、教師信号の範囲が広いほど回復可能な変化情報が減ることを示しています。

注目点記録スパンと教師スパンを分離し、縦断的コントラスト学習で履歴が長いほど不変性が広がることを示す新しい視点で、2.7年の実データと199人での再現で裏付けている。

Rameen Mahmood, Xuhai "Orson" Xu, Zachary Beattie ほか

arXiv cs.CV

What Makes High-Magnification Knowledge Transferable? A Study of Cross-Resolution Distillation in Whole-Slide Imaging

説明高倍率知識はなぜ転移可能か:全スライド画像における異解像度間蒸留の研究

要約本論文は、高倍率の表現を低倍率の全スライド病理画像解析へ移す異解像度間知識蒸留を研究しています。分類、グレーディング、生存予測にまたがる10の病理コホートで統制実験を行い、教師の領域平均を低倍率の元の特徴と併用すると、10コホートすべてで下流性能が向上したと報告しています。一方で、再構成誤差が小さくても下流スコアが一貫して改善するわけではなく、再構成誤差だけでは異解像度間転移を測る指標として不十分だと論じています。

Zhiyuan Yang, Jiahao Cheng, Mahdi S. Hosseini

arXiv cs.AI

From Retrieval to Reasoning: Agentic Mechanism Prediction from Cell Painting Profiles

説明検索から推論へ:セルペインティング形態データに基づくエージェント型作用機序予測

要約本論文は、セルペインティング(Cell Painting)の形態学的データから作用機序(MOA)を予測する問題を扱います。既存手法は形態特徴空間での近傍参照の照合に依存しており、バッチ効果や非特異的細胞毒性などによって得られる近傍情報はしばしばノイズを含むと指摘しています。著者らはPhenoAIRを提案します。これは信頼性を考慮したマルチエージェント枠組みで、近傍を評価・比較・棄却すべき不確かな証拠として扱います。JUMPのデータに基づくベンチマークで評価した結果、表現照合および大規模言語モデルベースの基準手法を上回ったと報告されています。

Jiayuan Chen, Botao Yu, Tianyu Liu ほか

arXiv eess.IV · cs.CV · cs.LG

CAMEO: A Class-Activation-Mapped Equitable Overlay Framework for Fair and Robust Deep Learning-based Skin Condition Diagnosis

説明CAMEO:クラス活性化マップを用いた皮膚病変分類の背景置換による頑健化フレームワーク

要約本論文は、説明可能AIが生成するクラス活性化マップで安定した説明を選び、皮膚镜画像の病変と背景を分離して、病変を変えずに背景を現実的な合成皮膚に置き換えるCAMEOフレームワークを提案します。HAM10000と濃色肌のISIC画像において、CAMEOは精度を維持したまま背景に起因する誤りをおよそ4分の1に減らし、背景が変わってもモデルの注目領域がより一貫することを示しました。著者らは、精度を犠牲にせず頑健性と公平性を向上できると主張しています。

Youssef Attia, Debasmita Mukherjee

arXiv cs.CL · cs.AI

Calibrated to Whom? Persona and Language Effects on Cultural Values in JEV

説明モデルの文化的価値観は、ペルソナと言語によって変わるのか?——JEVに関する研究

要約本論文は、テキストを生成せず選択肢ごとの確率のみを返す言語モデルJEVの文化的価値観を、Values Survey Module 2013を用いて検証しています。英語とアラビア語で、サウジアラビアとアメリカのペルソナおよびペルソナなしの条件を比較しました。サウジのペルソナでは回答が人間のサウジと米国の差の方向に動き、英語では約87%、アラビア語では約62%を再現したと報告しています。

Bushra Asseri, Abdulaziz Asseri

arXiv q-bio.BM · cs.AI · cs.CE

Where Should Physics Enter a Molecular Crystal Generator?

説明分子結晶生成器のどの段階で物理を取り入れるべきか?

要約本論文は全原子結晶フローマップ生成モデル CrystAF を提案し、UMA 原子間ポテンシャルと組み合わせて、学習・事後学習・推論のどの段階で物理を導入すべきかを体系的に比較しています。事後学習で物理的な選好を学習させると、サンプリングを変えずに分子の妥当性と結晶充填が改善されます。一方、推論時の UMA 緩和は局所的な衝突を修復できますが、生成を 6〜26 倍遅くします。両者は補完的であり、この事後学習戦略は Clari-M と MolCrystalFlow にも効果が示されています。

Haocheng Tang, Junmei Wang, Wengong Jin

arXiv stat.ML · cs.LG · stat.ME

LOCO-AdaMP: Built-in LOCO Inference for Adaptive Minipatch Ensembles with Enhanced Prediction

説明LOCO-AdaMP:適応型ミニパッチ・アンサンブルに組み込まれたLOCO推論と予測性能の向上

要約本論文は、LOCO(一つの共変量を除外する)重要度に基づいて特徴量のサンプリングを適応的に調整する、ミニパッチ・アンサンブルの手法LOCO-AdaMPを提案している。データ分割やモデルの再学習を必要とせず、特徴量重要度の漸近的に妥当な推論を行える。合成データと実データでの実験により、既存手法と比べて予測性能、推論の検出力、安定性に利点があることが示されている。

Yinan Cheng, Lili Zheng

arXiv cs.LG · cs.AI

Reward-rate Policy Gradient for Efficient Machine Learning Engineering Agents

説明効率的な機械学習エンジニアリングエージェントのための報酬率方策勾配法

要約従来の強化学習は各行動が同じ時間を要すると仮定し、累積報酬の最大化を目指します。しかし、データ読み込みや特徴量設計、モデル学習など所要時間が大きく異なる機械学習エンジニアリングエージェントには適しません。本論文は連続時間強化学習と半マルコフ決定過程を応用し、単位時間あたりの長期報酬である報酬率を最適化する報酬率方策勾配(RPG)を提案します。バンディット設定で理論的に分析し、小規模言語モデル(Qwen3.5-4B)でMLE-BenchとNanoGPTにおいて、固定時間予算内で通常の強化学習より高い報酬を得られることを示しました。

Muhang Tian, Sherry Yang

arXiv cs.AI · cs.IR コードあり

ARCagent: An Adaptive Retrieval Calibration Agent for Clinical Question Answering

説明ARCagent:臨床質問応答のための適応的検索キャリブレーション・エージェント

要約本論文は、診療ガイドラインが不完全または相互に矛盾する疾患(ME/CFS)を対象とした臨床質問応答エージェントARCagentを提案しています。1,706チャンク・10ソースの知識ベースとガイドライン間の矛盾レジストリ、矛盾を考慮した検索結果の再ランキング手法、LLM-as-Judgeによる評価ベンチマークで構成されます。著者らは正答率95.3%を報告し、基礎となる各LLMを上回ったとしています。

Yuyan Chen

arXiv q-bio.NC · cs.LG

Receptive-field-constrained stimulus optimization for human early and intermediate visual cortex

説明ヒト初期・中間視覚皮質向けの受容野制約付き刺激最適化

要約本論文は、最も強く応答する入力(MEI)を生成する二つの新手法RF-DiVEとRF-GOを提案し、V1からhV4までの網膜部位局在視覚領域における単一ボクセルの特徴選択性を調べます。使用データはNatural Scenes DatasetのfMRIです。どちらの手法も集団受容野(pRF)で制約したボクセル単位の符号化モデルを用い、RF-DiVEは事前学習済みの潜在拡散モデルを組み合わせ、RF-GOは正則化付き勾配上昇を用います。生成されたMEIはpRF内で一貫した構造を示し、モデルの予測では最も活性化させる自然画像よりも高い応答を引き出しました。

Junru Zhao, Hanfei Guo, Andrew Luo ほか

arXiv stat.ME · cs.LG · math.ST

Finite-Sample Theory for Fitted Q-Iteration When Actions Are Functions

説明行動が関数である場合のFitted Q-Iterationの有限サンプル理論

要約本論文は、行動が関数(放射線治療の線量分布や、ロボットの滑らかな運動軌道など)となるオフライン強化学習を扱い、関数行動を用いるFitted Q-Iteration(FQI)の有限サンプル理論を分析します。行動の確率密度を要さず、criticに相対的な被覆条件のもとで、平滑化正則化された方策探索を提案しています。主定理は、学習された方策の後悔(regret)に関する有限サンプル保証を与えます。数値実験では、学習された関数行動方策が定数行動方策を上回ることが示されています。

Gefei Lin, Rui Miao, Xiaoke Zhang

arXiv cs.AI

Persona Dosing: Calibrated Activation Steering for Graded Trait Control

説明ペルソナ用量制御:段階的な特性制御のための較正済み活性化ステアリング

要約本論文は、活性化ステアリングの係数ではなく、特性の記述と要求する平均強度によって言語モデルのペルソナ表現を制御する「ペルソナ用量」を研究している。著者らはPersonaDose(ペルソナドーズ)を提案し、共有された記述条件付きFLAS制御器をペルソナ応答で特化させ、測定された特性表現に合わせてそのフロー時間を較正する。3つのモデルで、一貫性の下限75の条件下において、コア特性の表現が対照的活性化加算(CAA)より大きく向上した。制御器が学習した行動範囲と、その範囲内での要求の正確さは別々に評価すべきだと論じている。

Zehao Jin, Junran Wang, Ruixuan Deng ほか

arXiv cs.CV

Stealth Is a Relation, Not a Property: How Event Representations Create Blind Spots for Timing Attacks in Event-Based Perception

説明ステルス性は摲動の性質ではなく関係である:イベント表現がタイミング攻撃の死角を生む仕組み(イベントカメラ認識の研究)

要約本論文は、イベントカメラにおけるタイミング攻撃の隠蔽性が下流の観測者による時間処理に依存することを検討しています。保護された累積窓内でイベントの時刻を変更する勾配誘導型攻撃 Null を提案し、DVS Gesture と DailyDVS-200 で攻撃成功率を評価しています。異なる時間ビューでは、保護された観測者に対して完全に隠れた摲動が見えるようになることを示しています。

Shoaib Ahmed Dipu, Md. Shaown Miah, Kamrul Hasan ほか

arXiv cs.AI

Support-Set Target Leakage in Relational Foundation Models during In-Context Learning: Impact, Detection, and Mitigation

説明関係基盤モデルのインコンテキスト学習における支持集合のターゲット漏洩:影響・検出・緩和

要約本論文は、関係型インコンテキスト学習で生じる故障モードを扱います。ラベル付きの支持集合に、クエリでは利用できないターゲット由来の特徴が含まれると予測が影響を受けます。著者らは20列にわたる14種類の合成リーク型を構築し、RelBenchのデータベース上で凍結された関係エンコーダとICLヘッドを評価しました。さらに統合勾配(Integrated Gradients, IG)で疑わしい列を順位付けして取り除きます。結果として、ターゲットテーブル由来のリークが最も明確な性能低下を招き、1〜2ホップのリークは一貫して使われないことが示されました。IGはターゲットテーブルのリークを上位に順位付けし、影響が最大の設定では性能を部分的に回復させます。

Roshan Reddy Upendra, Alexandre Dorais, Joe Meyer ほか

arXiv cs.CV

LEGO-Anything: Coding Agents for 3D Scene Reconstruction

説明LEGO-Anything:コーディングエージェントによる3Dシーン再構築

要約本論文は、単一画像から Blender コードを反復的に記述・実行する LEGO-Anything を提案し、検査や編集が可能な明示的なシーンプログラムとして3Dシーンを表現します。104 の屋内外シーン・208 枚の画像からなる LEGO-Bench を構築し、成果物の有効性、可視面の形状、レンダリングの外観を個別に評価しています。最良のエージェントでも有効な成果物と忠実な形状・外観の再現の間には大きな差があり、学習を要しない LEGO-Plugin を提案して性能向上を示し、再構築シーンによる物体検出・インスタンスセグメンテーション・相対深度推定の結果も報告しています。

Xirui Li, Peng Shi, Mingwen Dong ほか

★★★★☆ 注目
arXiv cs.LG

Neural Succession: A Mesoscopic Theory of Invasion, Coexistence, and Stabilization in Continual Learning

説明神経演替:継続学習における侵入・共存・安定化の中規模理論

要約本論文は「演替学習理論(SLT)」を提案し、継続学習を生態系の群集になぞらえて説明します。既存の表現を常在群集、新タスクを侵入者と見なし、忘却を常在者の置き換えとして扱います。新タスクを学習する前に測定する「侵入前の適合性」が後の忘却を予測し、Split-CIFAR-10 の 20 方向の遷移で三回反復の相関は r=-0.789 でした。手法は回放や正則化など既存手法を補う事前診断として位置づけられています。

注目点生態学の遷移の類推で継続学習を捉える中視的理論を提案し、適応前の互換性で忘却を予測。八つの実験と複数データで検証されている。

Shoaib Ahmed Dipu, Md Salman Shamil, Sayeed Shafayet Chowdhury

arXiv cs.CV コードあり

OTT3R: Multi-View 3D Reconstruction and Fast Dataset Generation at 1% Compute

説明OTT3R:約1%の計算量による多視点3D再構成と高速データセット生成

要約本論文は知識蒸留フレームワークOTT3Rを提案し、9.59億パラメータの大規模3D再構成モデルを1.02億パラメータの小型モデルへ圧縮しています。推論は最大約7倍高速化され、学習の計算量はVGGTの1.6%です。また、RGB画像のみから高密度点群マップとカメラ位姿を生成する擬似ラベル作成パイプラインを提供し、COLMAPの代替として位置づけています。著者らは、領域特化させた小型モデルが一部のテストシーンではCOLMAPより高精度だと報告しています。

Brandon Leblanc, Charalambos Poullis

arXiv cs.SE · cs.AI

LatentSift: Policy-State Filtering for Token-Efficient Verification of Software Engineering Agents

説明LatentSift:ソフトウェア工学エージェント向けの、トークン効率の良い検証のためのポリシー状態フィルタリング

要約本論文は、ソフトウェア工学エージェントが複数の候補軌跡を生成した後、ポリシーモデルが候補生成時にすでに得ている隠れ状態を用いて絞り込むLatentSiftを提案する。追加のモデル呼び出しもテスト実行も不要である。各候補の推論・観測・関数呼び出しの状態を、学習時の成功・失敗軌跡から集めた正負の状態バンクと比較し、学習済みの線形スコアと合わせて有望な候補を残す。SWE-bench Verifiedでは、EF検証器のトークンを66.6〜81.0%、テスト生成を含む総検証トークンを49.1〜62.1%削減(K=16)しつつ、ハイブリッドBest@16は参照ワークフローと同等以上を保ち、DeepSWE-Previewでは59.26%から60.06%に向上した。

Yuning Han, Yangchenchen Jin, Tyler Jandreau ほか

arXiv cs.LG · cs.AI · cs.CV

AdaKerNet: Neural Kernel Decoding for Task-Adaptive Prediction with Multimodal Large Models

説明AdaKerNet:マルチモーダル大規模モデルのためのタスク適応型ニューラルカーネルデコーダ

要約本論文はAdaKerNetを提案します。これはタスクに適応する学習可能なニューラルカーネルデコーダで、基盤となるMLLMのパラメータに依存せず、凍結された表現のみを用いて予測を行います。学習可能な多模態特徴、参照カーネル、軽量な非線形予測器を統一的な最適化の枠組みで共同学習します。4種のMLLMと、テキスト・音声・画像・表形式データを用いた実験では、ラベルが少ない条件で既存のデコーダを上回り、基準手法に対して平均誤差が最大41%減少したと報告されています。

Konstantinos D. Polyzos, Eleni Oikonomou, Tara Javidi

arXiv q-bio.NC · cs.AI · cs.LG

Cross-attention encoding models reveal dynamic spatiotemporal routing across human higher visual cortex

説明クロスアテンション符号化モデルが明らかにするヒト高次視覚皮質における動的な時空間ルーティング

要約本論文は、クロスアテンション符号化モデルを自然なビデオに拡張し、自己教師あり動画モデルV-JEPA-2の特徴を脳の領域(パーセル)ごとに空間と時間にわたって動的に振り分け、短い動画に対するfMRI応答に当てはめています。時空間の結合アテンションは、外側および背側の視覚領域で未見の動画に対する脳応答の予測を改善しました。また、移動する物体に沿って変化する解釈可能なアテンションマップを生成し、顔・身体・場景の選択的ネットワークのマップはそれぞれの意味的選択性と一致しています。

Iishaan Inabathini, Margaret M. Henderson

arXiv cs.AI

Engineering Simplicity: Simple Mechanism Interfaces Steer LLM Agents

説明工学的な単純さ:単純なメカニズム・インターフェースで LLM エージェントを導く

要約本論文は、大規模言語モデル(LLM)エージェントが、明示的なルールと既知の最適戦略を持つオークションやマッチングの環境で、対話形式やテキストによる足場(scaffold)によってより良い意思決定を行えるかを検討しています。完全な入札や順位付けを一度に求めるインターフェースと、安全な選択を識別しやすい逐次型インターフェースを比較しました。その結果、昇順オークションのインターフェースは入札の逸脱を大きく減らし、一部のプロンプトは選択を改善する一方、別のプロンプトは成績を悪化させることが示されました。また、説明の改善が実際の選択の改善に必ずしも結びつかないことも指摘されています。

Kehang Zhu, Anand Shah, David Parkes

arXiv cs.CV · cs.AI · cs.LG

Compress to Remember: Learning Compact Memory via On-Policy Distillation for Long Video Generation

説明「圧縮して記憶する」:オンポリシー蒸留によるコンパクトな記憶の学習と長尺動画生成

要約一般的な動画生成モデルは、過去の文脈を再利用可能な記憶トークンへ圧縮する仕組みを持たず、生成が長くなるほど初期フレームの情報を保持しにくくなります。本論文は、過去フレームの情報を集約するPrediction-Aligned Context Compaction(PACC)を提案し、凍結した生成器を生徒と教師の両方として用いるオンポリシー蒸留で圧縮器を学習します。MBenchではCausal-rCMで最強ベースラインを6.63点、Causal Forcingで3.19点上回り、VBench-Longでは約1分の動画を生成できることが示されています。

Xiaoyu Wu, Weihang Guo, Yifei Wang ほか

arXiv cs.AI · cs.IR

Better Nearest Neighbor Graph Indices via (Efficient) LLM-Guided Pruning

説明LLM誘導型剪定による近傍グラフ索引の改良

要約グラフベースの近似最近傍探索(ANNS)は大規模な意味検索に広く使われていますが、その索引は主に埋め込みベクトル間の幾何学的関係に基づいて構築され、検索結果は意味的関連性で評価されるため、両者にずれがあります。本論文は、大規模言語モデル(LLM)の推論を用いて既存のグラフ索引を直接改良するLLM-Guided Graph Pruning(LGP)を提案します。構造上価値の低い隣接ノードを見つけ、有用な意味情報を持つ候補に置き換えつつ、スパース性と効率的な探索性を保持します。代表的な意味検索ベンチマークでは、DiskANNやHNSWなどの索引で、通常の貪欲グラフ探索やLLMによる再ランキングより一貫して性能が向上しました。

Fangzhou Wu, Haike Xu, Sandeep Silwal

arXiv cs.AI

HyperZip: Efficient Data Compression through Personalized Diffusion LLMs with Hypernetworks

説明HyperZip:ハイパーネットワークで拡散型LLMを個別化し、高効率にデータを圧縮する手法

要約本論文は、大規模言語モデルによる可逆データ圧縮フレームワーク HyperZip を提案しています。多トークン予測(MTP)を備えた拡散型LLMを用いて圧縮処理を高速化します。拡散型圧縮では復号スループットを上げると圧縮率が落ちるという問題があり、ハイパーネットワークで文脈からデータ固有の更新を生成し、高コストな微調整なしにモデルを対象データへ適応させています。実験では、既存の基準手法より圧縮率と速度のバランスが優れていると報告されています。

Thai Nguyen, Khang Tran, NhatHai Phan

arXiv cs.LG · cs.AI · cs.CE

Explainability from Training with Applications to TCR-Epitope Prediction

説明学習過程から得る説明可能性とTCR-エピトープ予測への応用

要約本論文は、モデルに依存しない手法「学習からの説明可能性(EFT)」を提案し、学習中のモデル解釈を追跡して、モデルがどの特徴に依存し、それらをどのように予測根拠として組織化するかを説明します。四つのTCR-エピトープ予測モデルに適用し、388個の実験的に解明されたTCR-エピトープ構造からなるベンチマークTCR-XAI2を構築しました。さらに複数の構造予測ツールで生成した構造も併用し、CNNとTransformerの学習軌跡の違い、TCRαとβの証拠が学習中に衝突しうること、実構造と予測構造で特徴の選好が異なることなどを報告しています。

Jiarui Li, Zixiang Yin, Samuel Landry ほか

arXiv cs.CV · cs.LG · cs.RO コードあり

StructRL: Online Structured Reinforcement Learning for Long-Horizon Vision-Language-Action Tasks

説明StructRL:長期的な視覚・言語・行動タスクのためのオンライン構造化強化学習

要約本論文は、長期的なタスクを実行する視覚・言語・行動(VLA)モデルを改善するオンライン強化学習の枠組み StructRL を提案している。タスクを検証可能なサブタスクに分解し、前提となるサブタスクが完了した後にのみ中間報酬を与え、完了の速さに応じて報酬の大きさを調整する。RoboCasa365 と LIBERO-Long で GR00T-N1.5 と pi 0.5 を用いて評価した結果、評価対象のオンライン強化学習ベースラインを一貫して上回ったと報告されている。

Ziyi Yin, Sangmin Woo, Kang Zhou ほか

arXiv cs.CV · cs.AI · cs.LG

Representation by Design in Generation: Cross-View Class-Token Alignment in Diffusion Transformers

説明生成における表現の設計:拡散Transformerにおけるクロスビュー・クラストークン整合

要約本論文は、拡散モデルの学習において意味表現を直接最適化する手法を提案しています。各画像から独立にノイズを加えた二つの観測を作り、学生側のクラストークンを、もう一方の観測から得られる停止勾配のEMA教師ターゲットと整合させ、フローマッチングおよび局所パッチの目的関数と同時に最適化します。ImageNetの線形プロービングでは、クラストークンで9.4%、平均プーリングしたパッチトークンで10.1%向上し、VOC2012のセグメンテーションでは3.6 mIoU向上しました。生成FIDは同等水準を保っており、テキストから画像への学習ではFIDが2.52から2.37に下がったと報告されています。

Xiaoyu Wu, Yifei Wang, Chen Wei

arXiv cs.CL

DeepRewind: Predicting and Repairing Premature Commitments in Deep Research Agents

説明DeepRewind:深層リサーチ・エージェントにおける早すぎる結論の予測と修正

要約深層リサーチ・エージェントは、証拠が十分にそろう前に主張を確定させることがあり、その後の推論が誤った解釈を強化してしまう場合があります。本論文は、情報源・証拠・主張・仮説などを型付きグラフで表す可逆的な制御層DeepRewindを提案します。プロンプトベースの世界モデルが中間結論の影響と可逆性を予測し、リスクの高い確定を遮断するとともに、依存関係を考慮したロールバックを行います。DRBenchとLiveDRBenchでは、Open Deep Researchと比べ、洞察の再現率が3.6ポイント向上し、早すぎる確定は59.1%減少しました。

Amirhossein Abaskohi, Amirhossein Dabiriaghdam, Lele Wang ほか

arXiv cs.AI · cs.HC · cs.IR

ThuRunel: Dynamic Decoupling for Structured Advisory Dialogue

説明ThuRunel:構造化された相談対話における動的デカップリング

要約本論文は、美容医療、法律相談、教育計画などの高リスク相談分野向けのAI相談エージェント「ThuRunel」を提案しています。有限状態の信念管理フレームワーク、思考連鎖による教師合成手法、学習済みの生成アダプターを組み合わせ、いつ質問し、いつ止め、何を自律的に解決し、何を専門家に回すかを判断します。11の比較手法に対して、情報収集の完全性と専門家向け要約の質で一貫した改善を示しています。

Yuyan Chen

arXiv cs.LG · stat.ML

Adapting Linear-Time Architectures for Tabular In-Context Learning

説明線形時間アーキテクチャを表形式インコンテキスト学習に適応させる研究

要約表形式基盤モデルは文脈内のラベル付き例を参照することで高い性能を示しますが、softmax注意機構は大規模データセットでの利用を制限します。本論文では線形時間の系列ミキサーを表形式インコンテキスト学習で比較し、因果的なDeltaNetが最も有望で、事前学習の文脈長の2~4倍を超えると性能が低下することを示します。原因は容量ではなく、深い層で再帰状態が不安定になることだと分析されています。時間依存の減衰スケジュールで長さ汎化を安定させ、最終状態から読み出すことで非因果性を取り入れ、OpenML-CC18とTabArenaでsoftmax注意のベースラインに近い結果を得ています。

David Schnurr, Felix Sarnthein, Thomas Hofmann ほか

arXiv cs.RO · cs.AI コードあり

ATLAS: Aligned Transport of Latent Structure for Reliable World Model Planning

説明ATLAS:信頼性の高いワールドモデル計画のための潜在構造の整合的輸送

要約潜在ワールドモデルの計画は表現の幾何構造に依存するが、潜在の周辺分布を正則化するだけでは、行動選択に使われる状態間の関係は決まらない。本論文はATLASという学習目標を提案し、全体の潜在分布を校正しつつ状態間の相対的な幾何関係を保存する。一次元のWasserstein-2輸送により周辺分布を校正する。PushT、TwoRoom、OGBench-Cubeでの実験では、LeWMに適用した場合に目標到達の成功率が向上し、多段予測誤差も低下したと報告されている。

Ke Fang, Yupu Yao, Lu Cheng

arXiv cs.LG

Reducing the Adaptation Gap Through Reachable Fisher Geometry

説明到達可能なFisher幾何による適応ギャップの縮小(パラメータ効率的ファインチューニングにおけるFisher跡の有用性と限界の分析)

要約パラメータ効率的ファインチューニング(PEFT)で、アダプタが到達できる局所方向を規定する到達可能Fisher行列(全モデルのFisherをアダプタのヤコビアンで引き戻したもの)を取り上げ、そのトレースが何を示し何を失うかを検討しています。トレースは勾配ノルムから計算でき大規模に使える診断・学習上の目安になるとされますが、局所的なギャップの挙動や行列の一致を保証するものではないと結論づけています。306個のモデルでの実験では、トレースを揃えると30の組み合わせすべてで最良と最悪の部分群の差が縮小しましたが、保留データによる検証では算子の差異と二乗Frobenius統計量の改善は一致しませんでした。

Wasif Jalal, Sachin Deb, Asif Salekin

arXiv cs.AI

PILLAR: Private Inverted-Index Lexical Lookup for Augmented Retrieval

説明PILLAR:拡張検索のための私的転置インデックス語彙検索方式

要約検索拡張生成(RAG)では、ユーザーのクエリがコーパスの管理者に渡されます。本論文は、私的情報検索(PIR)に基づくプライバシー保護型RAGシステム PILLAR を提案し、サーバーがクエリの語も访问パターンも知ることができないようにします。二段階の混合検索を行い、疎な段階では事前計算されたBM25インデックスに対して固定数のPIRクエリで候補文書を絞り込み、稠密な段階では候補の埋め込みのみを取得してローカルで再ランク付けします。提案は、遅延を抑えるPILLAR-Binと、検索品質が最も高いPILLAR-Treeの二つのプロトコルで実装されています。

Truong Son Nguyen, Daniel Blackley, Ni Trieu ほか

arXiv cs.SD · cs.LG

Distill Locally, Schedule Globally: Flow Maps for Few-Step Text-to-Speech

説明局所蒸留と全体スケジューリング:少ステップ音声合成のためのフローマップ手法

要約フローマッチング方式の音声合成モデルは高品質だが、生成軌道の積分に多数の関数評価が必要である。本論文は、目標構築時に教師軌道の積分を避ける局所フローマップ蒸留(LFMD)を提案する。推論では、教師のダイナミクスと学習された写像の整合性からサンプリングスケジュール(TD-DP)を導き、単一のコストグラフで複数の評価回数に対応する。Seed-TTS と LibriSpeech-PC において、LFMD は低評価回数での合成を、対応する積分蒸留ベースラインより改善する。

Yentl Collin, Evan Dufraisse, Amr Mohamed ほか

arXiv cs.AI · cs.DB · cs.SE

Towards an AI Software Factory for Data Systems

説明データシステム向けAIソフトウェアファクトリーに向けて:AIで開発工程全体を支援する試み

要約論文は、AIによるコーディング支援ツールがコーディング段階しか加速せず、ソフトウェア開発ライフサイクル全体への効果は限定的だと指摘しています。著者らは、目標設定、コーディング、レビュー、運用の各段階を加速するAIソフトウェアファクトリーの開発状況を紹介し、そこで生成されるメタデータをモデル重みの微調整や世界モデルの更新に活用する仕組みを説明しています。対象はデータシステムと、測定可能な目標を持つ進化的コーディングタスクです。マイクロソフトの数十のリポジトリでの大規模展開結果と、未解決の課題も報告されています。

Anna Pavlenko, Bogdan Crivat, Brandon Haynes ほか

arXiv cs.LG · cs.AI

Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression

説明周期的な弱点:チャンク化KVキャッシュ圧縮における位相感受性

要約本論文は、チャンク化KVキャッシュ圧縮を用いた長文脈推論で生じる位置依存の現象を扱う。同じ情報でも圧縮ウィンドウの境界に対する位相によって検索のしやすさが異なり、これを位相感受性と呼ぶ。一部の大規模オープン重みモデルでは、位相間の長文脈検索精度の差が最大40パーセントポイントに達した。著者らは複数の圧縮設計でTransformerを事前学習し、現象を再現するとともに機構分析を行い、高い平均精度でも系統的な位置的失敗が起こりうることを示している。

Xingyu Zhu, Pu (Luke) Yi, Ziheng Cheng ほか

arXiv cs.AI

StateTape: Action-Conditioned Evidence Lifecycle Modeling for Long-Horizon Coding Agents

説明StateTape:長期タスク向けコーディングエージェントのための、操作条件付き証拠ライフサイクルモデリング

要約大規模言語モデルに基づくコーディングエージェントは、長い作業では観測結果が文脈に追加され続けて文脈が膨らむという課題を抱えています。本論文は、文脈の長さではなくリポジトリの変更に応じてエージェントの文脈を書き換える枠組みStateTapeを提案します。リポジトリをシンボル単位のコードグラフとして表現し、各書き込みで変更されたシンボルをテープに記録して、古くなった記録を判定します。six種類のコーディングエージェントと3つの編集集中型ベンチマークにおいて、計算オーバーヘッドが小さいまま、より高い解決率を達成したと報告されています。

Ziyang Yu, Liang Zhao, Bowen Zhu ほか

★★★★☆ 注目
arXiv cs.CL · cs.AI · cs.LG

Training LLMs to Verbalize Evaluation Awareness

説明大規模言語モデルに評価認識を言語化させる学習(VT)の提案

要約大規模言語モデル(LLM)は監査中に評価されていると気づくと、実運用時とは異なる振る舞いをすることがあり、その評価認識(EA)の測定は難しいとされています。本論文は、モデルが自発的に評価認識を口にした箇所を根拠として、その直前で出力を切り取り、強化学習で言語化を較正しながら増やす「言語化訓練(VT)」を提案します。Qwen3.6-35B-A3B、Kimi K2.6、Inkling で、言語化された評価認識は2.4〜2.9倍に増え、未見のエージェント設定にも転移し、測定された潜在的な評価認識と振る舞いはおおむね安定したと報告されています。

注目点評価意識を言語化させる新しい学習手法を提案し、合成文書微調整による因果実験で検証している。新規性と証拠は十分だが影響は安全性評価の分野に限られる。

Usman Anwar, Sahar Abdelnabi, David Krueger

arXiv cs.LG · cs.AI · cs.CV

PyroStack: A Multi-Band Spatio-Temporal Sub-Daily Dataset for Wildfires in the United States

説明PyroStack:米国の山火事を対象とした多バンド時空間サブデイリーデータセット

要約本論文は、衛星による火災観測、大気再解析、植生、燃料、地形などのデータを統合したPyroStackデータセットを紹介しています。米国本土とアラスカで2012年から2024年に発生した6994件の山火事を対象としています。空間分解能は30メートルから9キロメートル、時間分解能は1時間ごとで、12時間間隔の火災進展データも含まれます。物理モデルと機械学習の双方で、火災延焼モデルの評価と改良に利用できます。

Arya Kondur, Giosue Migliorini, Cameron Schmitt ほか

arXiv cs.LG · cs.CL

Fractional State Space Transition for Long Sequence Modeling

説明長系列モデリングのための分数階状態空間遷移(FRAC)

要約本論文は、分数階ダイナミクスに基づく選択的状態空間モデル(SSM)FRAC を提案します。一般的な SSM の指数的な忘却を、べき乗則の長期記憶に置き換えています。重い裾をもつカーネルを、対数間隔で並んだ有限個の指数モードの和で近似し、並列学習と有界状態の自己回帰デコードを両立させます。著者らは 13 億パラメータの言語モデリングを含む実験で、長文脈性能が最先端の SSM ベースラインを上回り、短文脈でも競争力があると報告しています。

Ivan Kobyzev, Abbas Ghaddar, Ali Nasiri-Sarvi ほか

arXiv cs.LG · eess.SP

Learning Samples Importance: Parameterizing Dual Variables in Everywhere Learning

説明サンプルの重要度の学習:「あらゆる場所での学習」における双対変数のパラメータ化

要約本論文は、データ分布全体で成り立つべき制約のもとでAIモデルを訓練する「あらゆる場所での学習(Everywhere Learning)」の枠組みを扱います。逐点的な制約から生じる関数型の双対変数を学習し、各サンプルのパラメトリックな関数として表現することで、訓練に使わなかった新しいサンプルにも適用できるようにしています。原始解の誤差が、この関数族が最適な統計的乗数をどれだけ近似できるかで制御されることを示し、複数のタスクで理論を検証しています。

Ignacio Boero, Jonathan Nixon, Alejandro Ribeiro

arXiv cs.AI

CheatBench: Measuring Reward Gaming in AI Agents

説明CheatBench:AIエージェントの報酬ゲーミングを測定する

要約強化学習で報酬を最大化するよう訓練されたAIエージェントが、未許可の情報にアクセスしたり、監視を回避したり、サンドボックスを突破したりする事例が報告されていると論文は述べています。著者らは、数学研究、知識労働、コーディング、視覚タスクなどを対象にしたベンチマーク「CheatBench」を提案しています。難しい課題と不正の機会を組み合わせた環境で、モデルやタスク分野ごとの比較が可能で、公開サイト https://cheatbench.ai で公開されています。

Long Phan, Stephen K. Yang, Jason J. Lim ほか

arXiv cs.LG · stat.ML

Cheap and Powerful Tests for Supervised Subspaces: Per-Component Inference for PLS

説明教師付き部分空間の低コストで強力な検定:PLSの成分ごとの推論

要約部分最小二乗(PLS)回帰は、高次元の説明変数から結果と整合する少数の方向を抽出しますが、その推定結果に対する推論は高コストで偏りがあるか、そもそも行われないことが多いとされています。本論文は、この推論を教師付き部分空間に対する留保データでの通常最小二乗による再当てはめに帰着させ、留保データ上の相関に基づく2つの検定を示します。1つは修正されたNadeau-Bengioの漸近t検定、もう1つは置換検定です。合成データ、2つの近赤外化学計量データ、言語横断の単語埋め込み回帰で検証され、従来のCV置換Q²より高い検出力をより低いコストで得られると報告されています。

Pawe{\l} Lenartowicz, Hubert Plisiecki

arXiv cs.CV · cs.LG

EAGLE: Entropy-Aware Geometric Learning Enhancer for Partially Polygon-Supervised Object Localization

説明EAGLE:部分ポリゴン教師あり物体位置推定のためのエントロピー考慮型幾何学習強化器

要約本論文は、情報理論と統計的形状解析を組み合わせてクラスごとの幾何学的複雑さを定量化し、物体検出の後処理用の軽量モデルヘッドEAGLEを提案します。EAGLEはエントロピーに基づく更新により境界の精緻化と位置推定の再スコアリングを行います。MS COCOとPascal SBDでの実験では、エントロピー指標が形状再構成誤差やマスク由来と通常のボックス予測の精度差を予測することが示され、EAGLEは既にSOTAの検出フレームワークにおいてMS COCOでmAP50-95を0.9ポイント改善し、推論時の負荷はわずかでした。

Naveen Stewart

arXiv cs.CL · cs.LG · cs.NE

HeurEvo: Agentic Evolution of Hybrid Solver-Augmented Heuristics for Time-Critical Mathematical Optimization

説明HeurEvo:時間制約のある数理最適化のための、ソルバー併用ハイブリッド・ヒューリスティクスのエージェント的進化手法

要約本論文は、AIエージェントを用いて最適化アルゴリズムを自動的に発見する枠組みHeurEvoを提案します。高レベルのアルゴリズム構造、その実装、再利用可能な部品群を同時に進化させ、計画・コード化・部品更新の各役割を分担します。組合せ最適化のベンチマークやMIPLIBの事例で、厳しい実行時間内に高品質な解を見つけ、六角形のパッキングなど一部の非線形幾何問題では従来の最良結果を上回ったと報告しています。

Feijie Wu, Hugo Barbalho, Konstantina Mellou ほか

arXiv cs.LG

The Universal Classifier for Graph Learning

説明グラフ学習のための汎用分類器:ノード・エッジ・グラフ単位のタスクを一つのモデルで扱う

要約既存のグラフ基盤モデルの多くはノード単位の予測に限られるか、固定の特徴次元を必要とすると論文は指摘しています。著者らは、任意の特徴数とクラス数に対応し、ノード・エッジ・グラフのタスクを類似度に基づく分類目標に統一する汎用分類器(UC)を提案しています。実験では、ノード・リンク・グラフの各タスクで強いゼロショット転移性能が示されています。

Ben Finkelshtein, Andr\'{e} Linhares, Petar Veli\v{c}kovi\'{c} ほか

★★★★☆ 注目
arXiv cs.LG · cs.AI · cs.CL コードあり

MoRE: Scaling mixture of experts with hardware-aware low-rank routing

説明MoRE:ハードウェアを意識した低ランクルーティングによる専門家混合モデルのスケーリング

要約本論文は、専門家混合(MoE)モデルのルーター重み行列を低ランクに分解する MoRE を提案し、ルーティングの計算コストを専門家数に対して大幅に抑えます。理論的な証明に加え、HBM のメモリ操作を減らす融合 Triton カーネルを設計しています。実験では、記憶タスクと知識集約型の質問応答ベンチマークで改善が見られ、推論能力は同程度とされています。

注目点低ランク分解ルータによりMoEのルーティングコストを下げ、理論証明、合成タスク、事前学習ベンチマークで裏付けており、既存手法への実質的改良である。

Honam Wong, Surbhi Goel, Enric Boix-Adser\`a

arXiv cs.LG · cs.CE · cs.NA

Generalized PINN-Based Inverse Estimation of Spatially Varying Heat Transfer Coefficients with Transfer Learning

説明広義PINNと転移学習に基づく空間変化熱伝達係数の逆推定

要約本研究は、ジェット衝突冷却における空間的に変化する対流熱伝達係数(HTC)を、物理情報ニューラルネットワーク(PINN)で推定する手法を扱います。内部の過渡温度測定から境界を推定し、レイノルズ数5000、10000、15000のCFD-CHT参照値と比較しました。広義の表現は二次形式を仮定せずに分布を扱え、転移学習は目標問題の学習時間を大幅に短縮しますが、再構成精度は源と目標の適合性に依存すると示されています。

Pradipan Maitra, Jariful Hassan, Arijit Hazra

arXiv cs.LG · cs.CL

When Trees Are Not Enough: Learning Mixed-Topology Feature Graphs with Adaptive Graph Sparse Autoencoders

説明木構造では不十分な場合:適応的グラフ疎オートエンコーダで混合トポロジーの特徴グラフを学習する

要約疎オートエンコーダ(SAE)は大規模言語モデルの活性化から解釈可能な特徴を取り出せますが、既存の構造化手法は単一の親を持つ木や森に限られ、事後的に作るグラフは特徴学習を導かず関係の復元も確実ではありません。本論文は適応的グラフ疎オートエンコーダ(AG-SAE)を提案します。各特徴の完全な親集合を一つの構造仮説として扱い、証拠によって親の数を0個、1個、複数個から選びます。実験では、制御された玩具モデルで混合トポロジーを正確に復元し、実際の大規模言語モデルの活性化では既存手法より関係の信頼性と意味的妥当性が高く、特徴レベルの因果介入もより強いことが示されています。

Xiaozuo Shen, Yifei Cai, Tian Tan ほか

arXiv eess.SY · cs.MA · cs.SY

Fully Decentralized and Safety-Aware Multi-Agent Reinforcement Learning for Control on Networks

説明ネットワーク制御のための完全分散型・安全性考慮型マルチエージェント強化学習

要約本論文は、持続的監視問題を含むネットワーク上の離散時間制御問題を解くため、安全性を備えた完全分散型のマルチエージェント強化学習(MARL)アルゴリズムを提案している。各ノードの局所観測履歴をグラフエンコーダと状態推定器の二つの並列分岐に入力し、離散時間制御障壁のヒューリスティックで制御方策を制約する。独自のシミュレーション環境での結果では、集中型制御方策より平均不確実性が 26.3% 低く、注意機構層を追加したより計算負荷の高いアルゴリズムとの差は 1% 以内であった。

Theodore Rogalski, Shirantha Welikala

arXiv cs.SI · cs.CL

The Surge of Anti-Semitism in German Social Media following the October 7 Attacks

説明10月7日の攻撃後にドイツのSNSで反ユダヤ主義が急増したことを示す研究

要約本論文は、2023年10月7日のハマスによるイスラエル攻撃後、ドイツのFacebookとTelegramにおけるユダヤ教とイスラエルに関する議論で反ユダヤ主義が変化したかを調べたものです。大規模言語モデルを用い、事件前後3か月の125,718件の投稿を26の反ユダヤ主義カテゴリーで分析しました。両プラットフォームで反ユダヤ主義が大幅に増加し、Telegramでの出現頻度はFacebookの約10倍でした。

Gregor Wiedemann, Daniel Wehrend

arXiv cs.SE · cs.AI · cs.HC

How Much Prompt Is Enough? A Blackbox Minimization of Few-Shots in LLMs

説明プロンプトはどこまで必要か?LLMの少数ショット例をブラックボックスで最小化する研究

要約本論文は、少数ショットプロンプトを必要最小限の部分集合まで削減するブラックボックス型のプロンプト最小化フレームワークを提案しています。実験では、命題出力の忠実性を完全に保ったまま、例示の文字数を平均で約65.3%削減できたと報告されています。モデルは論理的な識別子や制約の宣言を優先的に残し、自然言語の散文やプロンプト間の関係注釈を削る傾向があることも示されています。

Ali Alfageeh, Rahul Gopinath, Amin Alipour

arXiv cs.LG

Representational and Functional Robustness to Electrode Montages in EEG Foundation Models

説明脳波(EEG)基盤モデルの電極配置に対する表現・機能の頑健性

要約本論文は、異なる電極配置(モンタージュ)の下で脳波(EEG)基盤モデルが安定して動作するかを検証しています。電極の扱い方が異なる4つのモデルを選び、安静時の開眼・閉眼および運動イメージの分類で、埋め込み表現の類似性と線形プローブの汎化性能を両面から分析しました。その結果、両者は独立した性質であり、特に出力の集約方法がモデル自体よりも機能的な頑健性を強く左右することが示されました。

Jakob Steglich, Justus Meyer zu Bexten, Shakiba Moradi ほか

arXiv cs.LG · stat.ML

GNA: Granular Neighbor Assembly for Retrieval-Augmented Multivariate Time-Series Forecasting

説明GNA:検索拡張型多変量時系列予測のための粒度別近傍アセンブリ手法

要約本論文は、時系列予測バックボーンのための検索層 GNA(Granular Neighbor Assembly)を提案しています。過去から二つの粒度で近傍を組み立てます。一つは変量間の整合性を保つ過去の窓全体、もう一つは各変量が自身に最も一致する過去から未来を得る変量ごとの近傍です。学習済みゲートが、検索された未来とパーシステンス予測をどの程度信頼するかを予測ステップと変量ごとに決定します。同じルックバックと検索定数の下で、GNA は96の設定中85で二つの Transformer バックボーンを改善し、12の標準ベンチマーク中8で最小の MSE を達成しています。

Vincent Uhse

arXiv cs.LO · cs.AI · math.LO

Proofs Without Nominals: Gödel's Ontological Argument, its Shallow Embedding, and the Open Questions of the Monatshefte Notes

説明名詞記号を用いない証明:ゲーデルの存在論的証明、その浅い埋め込みと Monatshefte ノートの未解決問題

要約本論文は、Benzmüller と Scott によるゲーデルおよび Scott の存在論的証明の変種に関するノートで使われる高階様相論理の浅い埋め込みを検討し、その証明が様相対象言語の外に及ぶ可能性を指摘する。著者は、ノートで証明された全ての命題が対象言語の外の要素を置換しない埋め込みで証明できることを示し、ノートに挙げられた三つの未解決問題を解決する。結果は Isabelle/HOL と Lean 4 で検証されている。

Christoph Benzm\"uller

arXiv cs.AI · cs.SI

Illusory Truth or Mere Exposure? Model-Dependent Repetition Effects in LLM-Based Social Media Simulations

説明錯覚的真実効果か単なる接触効果か:LLMベースのソーシャルメディア模擬における反復効果はモデル依存

要約本論文は、大規模言語モデル(LLM)を用いた生成エージェント型シミュレーションで、人間の認知バイアスである「錯覚的真実効果」(繰り返し接触した主張を真だと感じやすくなる現象)が再現されるかを検討しています。四つのモデルを用いた二段階の実験で、反復提示された文と未見の文の評価を比較し、真の効果と単なる接触効果を区別しました。結果はモデルごとに異なり、Gemma-3 は真の効果を示し、Qwen2.5 は単なる接触効果、GPT-5-nano は真偽判断への反復効果なし、Llama-3.1 は小さな上昇にとどまりました。

Azza Bouleimen, Nicol\`o Pagan, Anik\'o Hann\'ak

arXiv cs.AI

From Surfaces to Volumes: Registered Geometry for Protein Representation Learning

説明表面から体積へ:タンパク質表現学習のための位置合わせ幾何学

要約本論文は、タンパク質のための残基単位の体積表現 Protein-TetSphere を提案する。各鎖を四面体分割して残基ごとの局所体積領域を求め、共通の固定トポロジーの四面体基準に位置合わせして表現する。リガンド結合ポケットの分類、タンパク質間相互作用界面の予測、de novo 結合子設計の3課題で、表面情報のみの従来手法より高い性能を示したと報告している。

Siyuan Chen, Cai Zhou, Jinrui Zhang ほか

arXiv cs.LG · stat.ML

Stochastic Optimization Under Power-Law Spectra: Tight Bounds and Shuffling Analysis

説明べき乗則スペクトル下での確率的最適化:タイトな上界とシャッフル解析

要約本論文は、決定論的勾配降下法に対して既に示されたべき乗則スペクトル理論を、確率的勾配降下法(SGD)へ拡張しています。同じスペクトル指数が確率的な学習の動きも支配することを示しています。等方的ガウスデータについては、データのシャッフル方法を解析し、正確な定数を導出して、Single Shuffle が Flip-Flop および独立同分布サンプリング(IID)より厳密に優れることを示しています。

Christopher De Sa, Thomas Dybdahl Ahle, Yaroslav Bulatov ほか

arXiv cs.LG · cs.AI · cs.CL

In-Context Learning Amplifies a Latent Symbolic Circuit

説明文脈内学習は潜在的な記号回路を増幅する(LLMが少数の例から規則を学ぶ仕組みを内部回路から調べた研究)

要約本論文は、大規模言語モデルが文脈内の例を増やしていく際に、内部の抽象規則に関わる推論回路がどのように活性化するかを調べています。三つのモデル系列で抽象化、帰納、検索という三段階の回路を追跡し、高い精度に達する前から検出可能で機能していることを報告しています。因果寄与の増加、活性化パッチング、関数ベクトルの注入といった実験結果を示し、規則に従う能力の基盤は例示の前から重みに存在すると論じています。

Melissa Wessel

arXiv cs.AI · cs.CL · stat.ML コードあり

OTROPE: Optimal Transport-based Robust Off-policy Evaluation for Large Language Models

説明OTROPE:最適輸送に基づく大規模言語モデルの頑健なオフポリシー評価手法

要約本論文は、ラベル付きデータが少なく分布のずれが大きい状況で、新しい大規模言語モデルを評価するOTROPEという手法を提案します。最適輸送により意味空間で分布を補正し、人手ラベル付きの行動モデルのサンプルと、ラベルのない目標モデルのサンプルを揃えます。また、代理予測器と組み合わせ、理論的な一貫性と収束率も示されています。合成データと実際の評価タスクの実験では、ベースラインを上回り、弱い評価器のアンサンブルが強い評価器に近づく、あるいは超える場合もあると報告されています。

Liner Xiang, Wenbo Zhang, Hengrui Cai

arXiv cs.LG · cs.AI

Paired Multimodal Scaling Laws

説明ペア化マルチモーダルスケーリング則:各モダリティの総データ量を固定したとき、対になったマルチモーダルデータの割合が損失曲線にどう影響するかを調べ、新しいスケーリング則を提案する論文

要約本論文は、既存のマルチモーダルスケーリング則が実験後に経験的にマルチモーダル項を当てはめており、固定データ予算下で対になったデータ量を変えていない点を指摘します。著者らは三つの環境でモデルを訓練し、データ量とペア化数を変えて実験を行い、ペア化比率が損失に大きく影響し、その影響はタスクに含まれる相乗情報量と直接結びつくことを見いだしました。冗長性、各モダリティ固有、相乗性の四つの情報チャネルに対応する四つのべき乗則の和からなる新しい法則を提案し、フィット試験の誤差は3.2%で、既存法則のペア化拡張版の最良値10.4%より高精度だと報告しています。

Marcus Ma, Shrikanth Narayanan

arXiv cs.LG

Understanding LLM Parameter Update Sparsity through the Lens of Fisher

説明フィッシャー情報量から見る LLM のパラメータ更新の疎性

要約大規模言語モデルの事後学習では、パラメータの変化が少数の座標に集中することが報告されています。本論文は、個々のパラメータに対する出力分布の感度を測るモデル対角フィッシャー情報量を用いてこの現象を分析します。小さい対角フィッシャー情報量は期待勾配も小さくすることを理論的に示し、強化学習と同方策蒸馏の実験では、初期フィッシャー情報量で選んだ固定疎マスクが全訓練の改善の大部分を保持することを報告しています。

Yufan Zhang, Sagnik Mukherjee, Hao Peng

★★★★☆ 注目
arXiv cs.LG コードあり

CyFA: Linear Sequence Modeling with Relative-Time-Partitioned Memory

説明CyFA:相対時間で分割されたメモリを用いる線形系列モデリング

要約本論文は、相対時間で分割されたメモリを持つ線形RNNであるCyFA(Cyclic Flow Attention)を提案する。学習されたクロックにより、キーと値の状態に循環的な変換を適用し、過去の関連を相対時間のスロットごとに整理して格納する。400M〜1.4Bの事前学習実験では、リコール重視の性能が向上し、言語モデリングでも競争力を保ち、計算効率も高いと報告されている。

注目点相対時間で分割したメモリを周期的な輸送で組織化する新機構を提案し、効率的なチャンク並列学習に使える厳密な等価変換を導出。400Mから1.4Bでの事前学習実験とKDAとの比較を示す。

Yixiao Chen, Shuojin Yang, Shi-Min Hu

arXiv cs.AI コードあり

Towards Mitigating Deceptive Safety Alignment in Large Reasoning Models

説明大規模推論モデルにおける欺瞞的な安全性アラインメントの緩和に向けて

要約大規模推論モデル(LRM)は通常、強化学習で最終回答に対する報酬に基づいて訓練されるため、中間の推論過程への直接的な監督はほとんどありません。その結果、推論過程と最終回答が矛盾する安全性の信号を示す「欺瞞的な安全性アラインメント」が生じることがあります。本研究は、これを定量化する指標DSAR(欺瞞的安全性アラインメント率)を提案し、複数のモデルとベンチマークで、標準的なプロンプトでも広く見られ、プリフィル攻撃下で大きく増幅されることを示しています。さらに、この問題を抑えるため、安全を意識した推論と安全な最終回答の両方を報酬とする強化学習手法SARA(Safety-Aware Reasoning Alignment)を提案し、有用性を保ちつつ問題を大幅に緩和できることを報告しています。

Xiangyu Zhou, Saleh Zare Zade, Rafi Ibn Sultan ほか

arXiv cs.CL · cs.AI · cs.CY

Population Fidelity: Evaluating Population Representativeness in LLMs

説明「人口忠実度」:大規模言語モデルの集団代表性を評価する研究

要約本論文は、大規模言語モデル(LLM)が生成した回答が特定の集団を代表できるかを判断する評価枠組み「人口忠実度(Population Fidelity)」を提案している。枠組みは、集団レベルの正確さ、集団間の差異の大きさ、その差異の構造という三つの次元からなる。著者らは、LLMの質問紙回答における「機械バイアス」を扱う先行研究を再現し、文化的ファインチューニングの効果も検証した。その結果、調査全体の中心との一致は改善しても、集団内部の差異の再現は改善しないことが分かった。

Neemias B. da Silva, Martin Lukk, Ali Sutani ほか

arXiv cs.LG · stat.ML

The Signed Geometry of One-Shot Recourse: On-Path Validity and the Signed-Curvature Criterion

説明一回の救済(リコース)の符号付き幾何学:経路上の有効性と符号付き曲率基準

要約分類器で拒否されたユーザーに対し、勾配方向へ予告距離だけ一度移動する「一回のリコース」が、決定境界を越えられるかを研究しています。経路曲率の符号によって一歩の成否を判定する基準を示し、追加の問い合わせや校正の効果も分析しています。多数の浅いモデルで実験し、非対称と対称の曲率ペナルティを比較しています。

Hazar Yueksel (Google)

★★★★☆ 注目
arXiv cs.LG · cs.RO コードあり

Action Chunking Proximal Policy Optimization with Feedback Correction

説明フィードバック補正付きアクションチャンキング近似方策最適化(論文)

要約本論文はACPPOを提案する。PPOでチャンク単位の行動を出力するアクターを用い、標準の状態価値クリティックを保持することで、チャンク化されたQ関数の学習を避ける。さらに拡張版ACPPO-Corrは、チャンク内で計画行動をオンラインに補正する逐次フィードバック補正器を加える。IsaacGymとBi-DexHandsの25のシミュレーション・ロボット課題で評価し、ACPPO-Corrが総合的に最も高い性能を示したと報告している。

注目点PPOに状態価値criticを保つchunked actorと逐次フィードバック補正を加えた実質的改良で、25の仿真タスクと消融実験で検証している。

Sanghyun Hahn, Jonghyun Choi

arXiv cs.CL

Learning from Teacher Continuations at Student States

説明学生モデルの途中状態で教師の続きから学ぶ蒸留手法(OLIVE)

要約本論文はOLIVEを提案します。学生モデルが毎回接頭辞を生成し、教師モデルがそれを続けて生成し、教師が生成したトークンに対する交差エントロピーで学生を更新します。著者らは推論タスクやエージェントタスクで既存の蒸留手法より高い性能を示し、非同期実装で学習時間を23.8%短縮したと報告しています。ScienceWorldでは、GPT-5.4-miniのテキストのみで学習した場合、同じ教師からのオフラインSFTを13%上回ったとされています。

Haojin Wang, Dylan Zhang, Huaibo Chen ほか

arXiv cs.AI

CoRe: Co-Evolving Reward Models for Mitigating Latent Reward Hacking in Video Diffusion Models

説明CoRe:動画拡散モデルの潜在報酬ハッキングを抑える共進化型報酬モデル

要約論文は、潜在空間で固定の報酬モデルに対して動画拡散モデルを最適化すると、予測報酬は高いままなのに画質や動きの品質が低下する「潜在報酬ハッキング」が起きることを見いだしています。原因は、生成器が報酬モデルの学習範囲から逸脱してしまうことだと分析しています。これに対し、生成器の現在のサンプルで報酬モデルを継続的に再学習し、実動画の選好に固定する枠組みCoReを提案しています。Wan2.1-T2V-1.3Bでの実験では、事前学習済みモデルや既存の整合手法より生成品質が一貫して向上し、固定報酬の最適化で生じる品質崩壊を避けられたと報告しています。

Zhaolong Su, Yujin Han, Feng Wang ほか

arXiv cs.CV · cs.AI · cs.LG

Think Before You Restore: Risk-Aware Manchu Manuscript Restoration with Stroke-Guided Attention

説明修復の前に判断する:ストローク誘導型注意機構によるリスク対応の満文古文書修復

要約本論文は、満文古文書のページ全体を対象とした盲目的修復の課題に取り組み、まず修復が必要な箇所を予測し、その結果に基づいて修復候補の生成とピクセル単位の選択を行うSAGE-Restoreを提案している。また、劣化領域の回復、無傷部分の保持、両者のバランスを同時に測定する評価手法を導入している。結果として、R-Recovery(0.463)とRFS(0.626)が最も高く、U-Fidelityも0.968と高い値を示した。

Mingqiu Liang, Dongdong Wang, Siyang Lu ほか

arXiv cs.LG · math.OC · stat.ML

Can Representation Learning Decouple from Loss Minimization? Polar Updates Have an Answer

説明表現学習は損失の最小化から切り離せるか?極分解更新が示す答え

要約本論文は、行列版Muon最適化手法を教師-生徒モデルで検討し、損失が周期2で振動して下がらない間も、重みは動き続け学習された特徴は教師の部分空間に整列し続けることを示す。線形の玩具モデルと平均場ReLUモデルについて理論的結論を導き、複数の活性化関数と深い残差ネットワークで実験的に検証している。

Akash Kumar

arXiv cs.CL

Cognitive Expert Language Models Better Align with the Corresponding Brain Systems

説明認知専門の言語モデルは対応する脳システムとより良く整合する

要約大規模言語モデル(LLM)は、自然言語理解中の複数の脳領域の活動を予測できる。本研究では感覚、空間、数的、推論、社会、抽象処理の六つの認知領域について専門化したLLMを、プロンプティングとファインチューニングで構築した。その結果、各専門モデルの表現は、対応する領域に関連する脳システムとより強く整合することが分かった。この結果は三つの基盤モデルと三つのfMRIデータセットで確認された。

Zhivar Sourati, Mengxuan Helen Wu, Nona Ghazizadeh ほか

★★★★☆ 注目
arXiv cs.AI · cs.RO

ChronoSRL: Temporal Geometry for Self-Supervised Reinforcement Learning

説明ChronoSRL:自己教師あり強化学習のための時間的幾何学

要約本論文はChronoSRLを提案し、批評器(critic)の埋め込み空間に時間的な幾何学構造を与えます。状態・行動と目標の埋め込み間の距離が、エージェントが目標に到達するまでの時間に一致するよう学習され、生存強化学習の考えを用いて到達時間の分布と目標付近に滞在する時間を予測します。7つの標準的な移動・ナビゲーションベンチマークで、対照学習、行動チャンク付き対照学習、生存強化学習の各ベースラインより速く学習し高い性能を示し、より小さなネットワークでも成立すると報告されています。さらに四足歩行ロボットによるsim-to-real移動タスク(速度追従、目標位置到達、箱登り)で評価され、指令速度と目標位置を維持し最も高い箱に登れたのは、試された自己教師あり手法の中でChronoSRLのみだとされています。

注目点対照学習と生存型強化学習の表現に時間幾何を導入し、7つのベンチマークと四足ロボット課題で基準手法を上回り、新規性と証拠は相応に強い。

Nico Bohlinger, Jan Peters

arXiv cs.LG · math.FA

Transversal Pooling Neural Networks

説明横断プーリングニューラルネットワーク:最大プーリングをアフィン群作用へ一般化したネットワーク構造

要約本論文は、空間的な最大プーリングをアフィン群作用に一般化した「横断プーリングニューラルネットワーク」を提案している。選択された部分群に対する等変性を示し、入力がアフィン摂動を受けたときの個々のプーリング後ウェーブレット係数の明示的な安定性境界を導いている。実験では、少量データの環境と熱帯低気圧の強化予測において有用性が示されている。

Emily J. King, Dustin G. Mixon, Michael Perlmutter ほか

arXiv cs.AI · cs.LG · cs.MA コードあり

MERID: Multimodal Exploration via Recursive Self-Improvement Agents for Major Depression Analysis

説明MERID:再帰的自己改善エージェントによるうつ病分析のためのマルチモーダル探索手法

要約本論文は、面接録音やセンサー測定などのマルチモーダルデータを用いて大うつ病性障害(MDD)を検出するためのMERIDフレームワークを提案している。経験に基づく再帰的自己改善により検出パイプラインを自律的に修正し、小規模コホートで改善を検証してから次の設計へ引き継ぐ。実験では複数のタスクで多モーダルおよびエージェントベースの比較手法を上回る結果を示し、音響と言語の手がかりの有用性も分析されている。

Lei Liu, Zhaokang Liang, Qingcheng Zeng ほか

arXiv cs.LG · math.DS

The Role of Feed-Forward Layers in Transformer Dynamics

説明Transformerの動力学におけるフィードフォワード層の役割

要約本論文は制御理論の視点から、Transformerにおけるトークンの動的挙動を研究している。自己注意機構を相互作用する粒子系、その後のフィードフォワード層を独立した制御入力とみなしてモデル化している。主な理論結果は、キー・クエリ・バリュー行列の値にかかわらず、フィードフォワードネットワークがトークンを任意に合意(コンセンサス)に近い状態へ導けることを示す。さらに、多クラスタへの収束や多頭注意への拡張も可能であるとし、数値実験で検証するとともに、理論の閾値的挙動を実際の大規模言語モデルと比較している。

Thomas Jacob Maranzatto, Semih Akkoc, Sennur Ulukus

arXiv stat.ML · cs.CV · cs.LG

One-Step Next-Latent Prediction Is Not a World Model

説明一歩先の潜在変数予測は世界モデルとは限らない

要約本論文は、一歩先の潜在変数を回帰で予測する手法を扱い、LeJEPAの等方性ペナルティを時系列に持ち込んだLeNEPAを取り上げています。一歩先の回帰が推定するのは条件付き平均であり、特殊な場合を除いて展開可能な遷移核にはならないと論じています。線形ガウス、非線形、非単射な観測の各ケースの解析と、スカラー自己回帰および隠れ回転の数値例により、開ループ誤差がステップ数とともに増えることを示しています。また等方性ペナルティは遷移重みに対する偏微分がゼロであるため、この問題を是正できないとしています。

Shitong Wang, Zhongang Cai, and Yuzhou Hong

arXiv cs.CV · cs.AI

Mutually Adversarial Self-Training with Evolving Data for Unified Multimodal Models

説明統一マルチモーダルモデルのための、進化するデータによる相互敵対的自己学習(MATE)

要約本論文は、画像生成と視覚理解を一つのモデルで行う統一マルチモーダルモデルを、強化学習で事後学習するMATEという手法を提案します。生成と理解の二つの枝が互いに協力して教えるのではなく、交互に出題者と解答者を務めて競い合います。出題はモデル自身の出力から作られ、訓練とともに変化します。Janus-Pro-1Bでは、GenEvalが2.4点、DPG-Benchが1.7点、九つの理解ベンチマークの平均が0.7点向上し、画像と文章の往復循環での一貫性も高まったと報告されています。

Wentao Zhou, Weijie Gan, Jiayun Wang

arXiv cs.LG

BASE: Batch-Aware Selection of Experts Using Predicted Removal Error for Efficient MoE Decoding

説明BASE:予測された除去誤差を用いた、MoE デコード効率化のためのバッチ認識型エキスパート選択

要約本論文は、混合エキスパート(MoE)大規模言語モデルのバッチ復号時に、エキスパート重みの転送がボトルネックになる問題を扱います。提案手法 BASE は、エキスパートを除去した際に MoE 層の出力がどれだけ変化するかで順位付けし、校正段階で各トークンの除去コストを推定する軽量な線形予測器を学習します。また推論用の GPU カーネルも開発されています。三つの MoE アーキテクチャで、再学習なしに品質と効率のトレードオフが改善されたと報告されています。

Ali Abbasi, Justin Shi, Soheil Kolouri