AI アルゴリズム · 2026年10月20日(火)

機械学習、人工知能、自然言語処理、コンピュータビジョン、マルチエージェント。

arXiv cs.LG · cs.AI

Orthogonal Boundary Unlearning for Dual-Use Concepts in Large Language Models

説明二重用途概念のための直交境界アンラーニング(大規模言語モデルの危険な能力の除去)

要約本論文は、サイバー攻撃や病原体増強などの危険な能力を大規模言語モデルから除去しつつ、良性の科学的有用性を保つ直交境界アンラーニング(OBU)を提案する。キャリブレーション用クエリの活性化共分散に対する特異値分解で能力部分空間を抽出し、パラメータ更新をその直交零空間に限定する。著者らは4つのオープンウェイトモデルで、二重用途概念の分離、文脈的プライミング攻撃の緩和、敵対的な再学習への耐性を報告している。

Niccol\`o Ronchetti

arXiv cs.AI · cs.CE

The More the Better? A Comparison of Single- and Multi-Agent LLM Setups on a Financial Review Task

説明単一エージェントと複数エージェントのLLM比較:金融レビュー課題で多いほど良いのか

要約本研究は、信用評価メモを要件に照らして審査するという金融課題を用い、単一エージェントと三つのエージェントによる分担型の大規模言語モデル構成を統制された条件で比較しています。300件の合成メモで各要件の正解ラベルが既知のため、見逃しと誤警報を別々に測定しています。チームは一部のモデルで説明付きの欠陥をより多く検出する一方、誤警報も増え、トークン使用量は約2.2〜2.4倍になりました。

Pei Liu

arXiv cs.AI

Securing Agentic Commerce Through Behavior-Aware Fraud Detection and Cybersecurity for Trusted AI-Agent Payment Authorization

説明信頼できるAIエージェントの支払い認可に向けた行動認識型不正検知とサイバーセキュリティ

要約本論文は、自律型AIエージェントによる商取引の安全性を高めるためのACAGS(自律商取引エージェント防御システム)を提案します。教師あり機械学習、行動分析、エージェント専用の認可制御、説明可能なAIを組み合わせています。合成取引データと五つの敵対的シナリオで評価され、承認・審査・拒否の認可結果も扱えることが示されています。著者は、実際の取引での検証が必要だと指摘しています。

Kayode L. Ogunsusi

arXiv cs.AI

Runtime Control for AI Agents: Closing the Evaluation--Execution Gap in Operational Workflows

説明AIエージェントの実行時制御:運用ワークフローにおける評価と実行のギャップの解消

要約言語モデルエージェントは、承認、紐付け、支払いなど確約を伴う運用ワークフローに関与する場面が増えています。本論文は、確率的な測定と決定論的な判定を分離し、承認の判断根拠に実行許可を結び付け、関連する変更が記録されると許可を無効化し、ディスパッチ時に再度許容性を確認する状態束縛型の実行時保証層を提案します。42件の脚本化されたリプレイでは、再評価を行わない比較対象が見逃した後から無効になった承認15件を特定しました。これは想定された政策と事象順序の下での挙動を示すもので、ディスパッチ時の強制方式に対する優位性や本番環境での有効性を示すものではありません。

Jayesh Bhadane, Ramachandra Yerramsetti, Rajesh Gupta ほか

arXiv cs.CV

FocusOVD: Geometric and Contextual Feature Refinement for Open-Vocabulary Small-Object Detection

説明FocusOVD:オープン語彙の小物体検出のための幾何・文脈特徴の洗練手法

要約本論文はFocusOVDを提案する。これは凍結された視覚言語モデルのバックボーンを変更せずに小物体の表現を強化する、オープン語彙物体検出器である。3つのモジュール(再重み付けされたクロススケール特徴融合、残差風車形ゲート付き畳み込み、残差畳み込みゲート付き線形ユニット)を備える。COCO-OVDでは新規カテゴリのAPが36.3%、LVIS-OVDでは全体のAPが33.7%と報告されている。

Hanlin Kou, Beiqi Bai, Li Chen ほか

arXiv cs.LG

When Parameter Gradient Flows Close in Representation Space

説明パラメータ勾配フローが表現空間で閉じるとき:パラメータ化モデルの勾配フローの閉包条件に関する理論研究

要約本論文は、パラメータ化モデルの表現勾配フローを規定する移動度写像が、同一初期化からのすべての自律的損失に対して成り立つ条件を研究している。二因子行列表現について許容される結合階数を分類し、一般的な表現の場合にも局所的な閉包条件を論じている。線形損失および二次損失に関する結果も示され、未解決の場合は明示的に残されている。

Shengye Tao

arXiv cs.LG · cs.AI

Training-Free Continual Learning for Multimodal Forecasting via Prompt Evolution

説明プロンプト進化によるマルチモーダル予測のトレーニング不要な継続学習

要約本論文は、変化する時系列の規則に適応するため、再学習の代わりに進化させたテキストによる指示文(ガイダンス)を用いる手法を提案しています。検索指数、通貨、商品価格とニュースを含む多モーダルベンチマークで、データ漏洩を防ぐ管理下でプロンプト進化を行い、Llama-3.3-70B に 900 語のガイダンスを与えた場合、保持データ上で TabPFN-TS-3 など複数の時系列基盤モデルを上回ったと報告しています。さらに、手法の特性と限界、2つの拡張についても検討しています。

Laurent Mombaerts, Jonathan Taws, Jacopo Gargano ほか

★★★★☆ 注目
arXiv cs.LG · cs.AI

Projected Distillation: On Learning to Solve Hard Problems from Close, Correct Targets

説明投影蒸留:近く正しい目標から難問の解法を学ぶ手法

要約本論文は大規模モデルの事後学習における難問への対応を扱い、すべての試行が失敗すると報酬ベースの強化学習では学習信号が得られない点に着目します。提案手法の投影蒸留は、学生モデルの失敗した試行を最小限の編集で正しい目標に修正し、対照的な更新で修正を学生の進化に合わせて更新します。Qwen3-8BとOLMo-2-7Bの二つのモデル、数学・コード・科学・ツール使用の五分野での実験では、専門化と能力保持のトレードオフにおいて比較手法より高い性能が示されています。

注目点学生の失敗解答を最小限編集して修正目標とし、対照更新で学習する手法を提案。編集量に応じた後悔の理論と、複数モデル・領域での比較実験で裏付けている。

Shripad V. Deshmukh, Christian Bock, Kangrui Ruan ほか

arXiv cs.AI · cs.CL · cs.SE

Recoverability and Verifier Strength: Two Measured Preconditions for Unattended Agent Self-Improvement

説明回復可能性と検証器の強さ:無人運用のエージェント自己改善に必要な2つの測定可能な前提

要約本論文は、検証器の強さ(信頼できる参照検証器との一致度)と回復可能性(不適切な変更を取り消す際のコスト)という、プラットフォームが測定できる2つの指標を提案しています。両方が十分な場合のみ変更を無人で実行すべきとする規則を示し、自社プラットフォームと τ²-bench ベンチマークで検証しました。部分的なLLM評価器は、入力によらず同じスコアを返しエラーも報告しないことがあり、回復は旧版を保持している場合にのみ元の動作に戻ることが示されています。

De Wang, Peng Qi

arXiv cs.CL

Detecting Errors in Large Language Model Responses: The Incremental Predictive Value of Hidden States

説明大規模言語モデルの回答の誤り検出:隠れ状態の追加的な予測価値

要約本論文は、大規模言語モデルの回答に含まれる幻覚(誤り)をどのように検出するかを検討しています。推論時に得られる出力側の情報を組み合わせたベースラインを構築し、同一のデータ分割と評価基準の下で、モデルの隠れ状態を加える前後の検出性能を比較しています。実験では、自由記述の生成タスクと制約付きの選択式タスクを扱いました。隠れ状態を加えると、2つのタスクでAUROCがそれぞれ約0.004と0.039向上しました。隠れ状態は追加の予測情報を与えますが、単独でも検出性能が高い場合、その上積みは限定的であることが示されています。

Ningzhi Li, Xiaojun Ma, Xiaofei Wang

arXiv cs.AI · cs.CL コードあり

Ask to Distill: Learning to Synthesize Data for On-Policy Distillation

説明Ask to Distill:オンポリシー蒸留のためのデータ合成を学習する手法

要約本論文は、正解なしでオンポリシー蒸留(OPD)に有用な合成質問を生成することを学習するフレームワーク Ask-to-Distill を提案します。凍結した教師・生徒モデルの組から、両者の不一致や教師の確率質量などを用いた分布的な報酬を計算します。数学推論、コード生成、エージェント課題での評価において、生成された質問は未最適化の生成プロンプトや実質問よりも平均性能を向上させたと報告されています。

Jiashuo Sun, Hao Zhang, Xueqiang Xu ほか

arXiv stat.ML · cs.AI · cs.LG

Beyond Scalar Leaderboards: Adaptive Sampling for Pareto Frontier Identification in Multi-Objective LLM Arenas

説明単一ランキングを超えて:多目的LLMアリーナにおけるパレート前線特定のための適応的サンプリング

要約本論文は、アリーナ形式の評価でパレート前線上のモデルを効率よく特定する固定信頼度の適応的サンプリングアルゴリズム VB-EGE を提案します。このアルゴリズムは、パレート状態を確定できるだけの統計的根拠が得られたモデルを順次候補から除外し、必要な比較回数を減らします。多目的 Bradley-Terry モデルの下で、高い確率で正しい前線を返すことと、サンプル複雑度の上界および対数因子を除いてミニマックス最適であることを示しています。3つの実データセットでの実験により有効性も確認されています。

Liang Twist Shan, Jiahao Ai, Zhimei Ren

arXiv cs.LG

Decision Sufficiency of Learned Representation Interfaces for Safe Generative Control

説明安全な生成制御のための学習済み表現インターフェースの決定充分性

要約本論文は、言語モデルの安全な応答を制御する際に、内部特徴の一部だけを使う制御器が完全な状態情報を使う場合と同じ最小平均損失に達できるかを検証します。有限個の出力を持つインターフェースでは最適損失を厳密に計算し、情報損失と決定規則の限界を区別します。SmolLM2での実験では、スパースオートエンコーダの2つのオン/オフ特徴に制限すると、完全な状態情報と比べて最小平均損失が0.0345から0.1166増加しました。

Jipeng Li, Yanning Shen

arXiv cs.CV · cs.LG

LoRASpace: A Pool-Wide Shared Substrate for Static and Dynamic Multi-LoRA Composition

説明LoRASpace:静的・動的マルチLoRA合成のためのプール全体共有サブスペース手法

要約本論文は、実際のLoRAプールでは積み重ねた低ランク因子が、ランクの和よりはるかに少ない方向で表現できることを示す。学習不要の手法LoRASpaceは、プールごとにサブスペースを一度計算し、静的なマージ方式と入力依存の動的ルーティング方式の二つの推論モードで再利用する。拡散モデルのプールでは、静的モードは組み合わせ方式と同等の品質をマージのコストで実現し、動的モードは6個のLoRAを有効にした17個プールで組み合わせ方式より6倍以上速い。

Thamirawaran Sathiyalogeswaran, Navindu De Silva, Chamikara Siriwardane ほか

arXiv cs.LG · cs.CV

Using Set Learning to Improve Set-Valued Classifiers on Long-tailed Data

説明ロングテールデータにおける集合値分類器の改善:集合学習の活用

要約集合値分類は、入力ごとに固定サイズではなく可変サイズの候補クラス集合を予測し、精度を保ちながら不確実性を示す手法です。しかし長尾分布で不均衡なデータでは性能が大きく低下します。本研究は学習戦略と損失関数が集合値分類器に与える影響を調べ、バッチ内のサンプル集合から学習する OKO(odd-K-out)損失を改良しました。計算コストは標準的な交差エントロピー学習の 3.2 倍から 1.36 倍に抑えられています。実験では、複数の集合値分類手法でマクロ精度が有意に向上し、ミクロ精度も競争力を保ちました。

Kevin Kasa, Scott C. Lowe, Graham W. Taylor

arXiv cs.LG · cs.DC

Learning-Theoretic Foundation for General Coded Computing: The Adversarial Setting

説明汎用符号化計算の学習理論的基盤:敵対的設定(悪意ある作業ノードへの耐性を扱う研究)

要約分散計算で悪意ある作業ノードが誤った結果を返す問題を扱う論文です。著者らは汎用符号化計算(GCC)に敵対的ロバスト性を加え、平滑化正則化によって誤った出力の影響を抑える方法を提案しています。誤りの原因となるノードを特定・除去する必要がないため、マスター側の計算負荷は線形とされています。論文は近似誤差の非漸近的な上界を示し、その誤差は (q/N)^(6/5) の order で減少することを述べています。実験結果は理論予測と整合的だと報告されています。

Parsa Moradi, Hanzaleh Akbarinodehi, Mohammad Ali Maddah-Ali

arXiv cs.LG · cs.AI

Scaling Graph Reasoning in Language Models with Learnable Graph Positional Encodings

説明学習可能なグラフ位置エンコーディングで言語モデルのグラフ推論を拡張する研究

要約グラフ上の推論課題では、グラフを直列化して言語推論モデルに与える必要があり、入力長が辺の数とともに増えるため解ける問題の規模が制限されると指摘しています。著者らは、注意の対数を調整する置換同変でスケーラブルなグラフ位置エンコーディングを提案し、GNNとグラフTransformerで計算します。直列化された隣接情報が不要になり、文脈の負担はO(N)に抑えられます。小さなグラフで学習したモデルは、最大1,000ノードのグラフ理論タスクでサイズ汎化が改善し、従来より少ないトークンを生成したと報告されています。

Javier Porras-Valenzuela, Arush Arora, Alejandro Ribeiro

arXiv cs.LG · cs.AI · cs.PF

MLIPS: Multi-Layer Indexer Pool Sharing

説明MLIPS:多層インデクサープール共有、学習不要のスパースアテンション高速化手法

要約論文は MLIPS を提案し、ある生成層が注意予算 K より大きい top-M 候補プールを公開し、後続の層がそこから各自 top-K を選ぶことで、候補探索を共有しつつ各層の採点と選択は保持します。学習は不要です。vLLM 上の DeepSeek-V4-Flash 実装では、生成層ごとに消費層を3つ設けた場合、4つの長文コンテキストテストで 1.14〜1.40 倍の高速化と 14.8〜27.4% の GPU エネルギー削減が報告され、精度変化は単発実行で -1.49〜+0.29 ポイントでした。プリフィル向けの探索的手法 Top-G も提案されています。

Samkit Jain, Sai Kishan Pampana, Shlok Agarwal ほか

arXiv cs.AI · cs.CL

Harness Self-Evolution for Long-Horizon Terminal Agents

説明長期的ターミナルエージェントにおけるHarnessの自己進化:反復改善による実行信頼性の向上

要約本論文は、モデルの重みを固定したまま、エージェントのharness(インタラクション基盤)を反復的に改善するフレームワークRiseHarnessを提案している。同一設定で成功と失敗の両方が現れるタスクに着目し、成功した実行を参照として失敗を分析する。候補となる変更は挙動チェックと繰り返しの評価を経て、効果が確認されたものが次の反復に引き継がれる。複数のモデルで成功率と信頼性を評価し、未知のベンチマークへの転移も検証している。

Ruhan Wang, Yucheng Shi, Zongxia Li ほか

★★★★★ 注目
arXiv cs.IR · cs.LG

Baseline and Incremental: User, Item, and Request Debiasing in Instagram Feed Ranking

説明ベースラインと増分:Instagramフィード順位付けにおけるユーザー・アイテム・リクエストのデバイアス

要約論文は、フィード順位付けのエンゲージメント予測がベースライン(そのユーザー、アイテム、リクエストが元々生むであろう量)と、候補がそれを超える増分の両方を含むと指摘します。著者らは生の予測を保持し増分を別の重み付き項として加える手法を提案し、Instagramフィードで利用者の習慣、アイテムの人気、リクエスト文脈の三つのデバイアスを対象に対照実験を行っています。両方の項を使う版が、多くの指標で単一項の版を上回ったと報告しています。

注目点価値モデルでベースラインと増分を分離する統一演算子を提案し、Instagram Feedで制御された四腕アブレーションを実施。生産環境での検証と広い影響が特徴。

Hsin-Chiang Chen, Hao Wang, Gedi Zhou ほか

arXiv cs.CL · cs.AI · cs.LG

The Router Already Knows

説明ルーターはすでに知っている:専門家ルーティング情報を活用するスパースオートエンコーダの研究

要約混合専門家(MoE)モデルでは各トークンについて専門家の選択がすでに行われており、本論文はスパース辞書がその選択を再利用できるかを検討しています。提案手法NR-SAEは、専門家ごとに小さな辞書を持たせ、凍結されたルーターが選んだものだけを開きます。Gemma 4 26B-A4Bの第15ブロックで、専門家加重出力の分散の0.518を説明し、複数の対照手法を上回りました。学習速度、意味的解釈性、下流の損失、因果的忠実性は未検証とされています。

Andrew Bistras, Marty Johnson

arXiv cs.CV

TokenFlow: Latent Token Rectified Flow Matching for 3D Point Cloud Generation

説明TokenFlow:3D点群生成のための潜在トークン整流フローマッチング

要約本論文は、各形状を潜在トークンの集合で表し、トークン上の整流フローと点上の条件付きフローを組み合わせた階層的フローマッチング手法TokenFlowを提案する。M個の学習可能トークンが交差注意により全体の文脈を集約し、計算量はO(NM)で、MはNよりはるかに小さい。ShapeNetの飛行機、自動車、椅子でMMDとカバレッジが最良、ModelNet10では学習した潜在集合が報告上最高の線形評価精度に達したとしている。

Linhao Wang, Dongjin Huang

arXiv cs.AI · cs.CV

KPHarness: Co-Evolving Knowledge and Probing for Long-Horizon Gaming Harnesses

説明KPHarness:長期的ゲームタスクのための知識とプロービングの共進化型ハーネス

要約本論文は、凍結された視覚・言語・行動モデルの外部実行ハーネスを、知識とプロービングの共進化によって調整するKPHarnessを提案する。回復知識が介入仮説を与え、能動的プロービングがその適用可否を検証して知識と後続のプローブ選択を改善する。遅い研究ループが有界なハーネス修正を生成し、対応評価で改善が確認された場合のみ採用する。Minecraftの採掘・戦闘・製作タスクで、基本方策、固定ハーネス、知識のみの手法より高いタスク網羅率を示した。

Zhikang Chen, Yueqing Sun, Sen Cui ほか

arXiv cond-mat.mtrl-sci · cond-mat.supr-con · cs.LG

Learning the Geometry of Materials Space with Trained Neural Tangent Kernels

説明学習後のニューラル接線カーネルによる材料空間の幾何構造の学習

要約本論文は、元素組成のみから超伝導転移温度を予測するニューラルネットワークが学習した幾何構造を、学習後のパラメータで評価したニューラル接線カーネル(NTK)によって復元する手法を示している。学習後NTKを用いたカーネルリッジ回帰は、元のネットワークの予測性能にほぼ一致し、初期カーネルによる回帰を大きく上回った。スペクトル解析と多次元尺度法により、幾何構造は少数の方向に支配されていることが示され、クラスタリングにより化合物は認識可能な超伝導ファミリーに分けられた。

Daniel Kaplan, Gabriel Kotliar, Anirvan M Sengupta

arXiv cs.CV · cs.GR

Test-time Adaptation for Point Cloud Denoising under Unseen Noise

説明未知ノイズ下の点群ノイズ除去のためのテスト時適応手法

要約テスト用の点群のノイズ分布が学習時と異なると、深層学習ベースのノイズ除去モデルの性能が大きく低下する問題に対し、本論文は追加の教師情報や元データでの再学習を必要としないテスト時適応ノイズ除去フレームワーク(TTAD)を提案している。残差駆動型ノイズモデリングでサンプルごとのノイズ分布を推定し、ノイズ認識型対照適応モジュールでテスト時に対照学習によりモデルパラメータを更新する。合成データと実データでの実験により、未知ノイズに対する既存モデルの汎化性能が向上したと報告している。

Kun Jiang, Shida Fu, Fanhao Yi ほか

arXiv cs.CL

Looking Into The Past: The Impact of Context on Detecting Deceptive Statements

説明過去を振り返る:文脈が欺瞞的発言の検出に与える影響

要約本論文は、隠れ役割ゲーム「アヴァロン(Avalon)」における欺瞞的メッセージの検出を扱う。従来の手法は各メッセージを単独で見るのが一般的だったが、著者らは直前のゲーム対話を文脈として加えることで、大規模言語モデル(LLM)の複数の指標が改善することを示している。

Alex Clay, Ernesto Jimenez-Ruiz, Pranava Madhyastha

arXiv cs.AI · cs.CL

More Memory, Worse Agents: Error Reproduction and Anti-Persistence in LLM Agents

説明記憶を増やすほどエージェントは悪化する?LLMエージェントにおける誤りの再生産と反持続化

要約本論文は、外部メモリを使って経験から改善するLLMエージェントを扱います。保存された抽象化(規則や技能)に含まれる誤りが、検索と再利用を通じて後続の判断に伝わり、新たな抽象化で再生産されることを指摘します。そこで、軌跡と結果のみを蓄積し、タスクごとの指針を必要時に再構築して実行後に破棄する「反持続化(Anti-Persistence)」の記憶設計を提案しています。複数のベンチマークとバックボーンで、保持データ上の成功率が高く、平均LLM呼び出しコストが最も低いと報告されています。

Ruhan Wang, Kishan Panaganti, Dongruo Zhou

arXiv cs.SD · cs.CL · cs.LG

Steering intonational tunes in text-to-speech synthesis

説明テキスト音声合成におけるイントネーションの操作

要約本論文は、残差ベクトル量子化に基づく音声合成システムにおいて、英語の文末イントネーション(平叙文の下降調と疑問文の上昇調など)を担う構成要素を調べたものです。バックボーンの隠れ状態がイントネーション情報を持ち、そこへの介入によって語調の方向をある程度制御できることを示しています。ただし、目的の曲調を細かく選ぶことはできないとされています。

Juan Pablo Vigneaux, Jennifer Cole

★★★★☆ 注目
arXiv stat.ML · cs.DS · cs.LG

Communication Complexity of Universal Features

説明汎用特徴の通信複雑度:タスク未指定時に関数族で評価可能なデータ表現の必要ビット数の研究

要約本論文は、タスクが後から指定される場合にデータを決定的に符号化するために必要な複雑さを研究している。符号化器はデータ分布を観察して有限長の表現を生成し、その後タスク関数が与えられると、復号器は誤差ε以下で結果を予測しなければならない。著者らは、関数族の双対VC次元d*を用いてO(d*log(1/ε))ビットの表現を構成し、d*≥1かつε<1/4のすべての場合で最悪ケースに対して定数倍を除き最適であることを示した。

注目点双対VC次元に基づく汎用特徴の符号化を提案し、ほぼ最適な上下界を示す点は新しい。ただし実験は限定的で、影響は理論と表現学習の交差領域にとどまる。

Lunjia Hu, Anish Jayant, Peter Li ほか

arXiv cs.AI

ProMemAgent: Long-Horizon Proactive Assistance with Context-Aware Prospective Memory from Sensory Perceptions

説明ProMemAgent:感覚情報に基づく前向き記憶で長期的な先回り支援を行うエージェント

要約本論文は、日常の感覚情報に前向き記憶(prospective memory)を組み込み、長期的な先回り支援を行う初のエージェントProMemAgentを提案しています。過去の一人称視点の映像や音声などを文脈付きの記憶として整理し、将来の検索に備えて手がかりの生成や前後の出来事の関連付けを行います。また、8つの日常カテゴリ・1,000件のインスタンスからなる評価ベンチマークCPMBenchを提示し、記憶検索および長期的支援において既存の基準手法を上回ったと報告しています。

Lilin Xu, Linyang He, Kaiyuan Hou ほか

arXiv cs.AI

Unified Sharp Bounds on Probabilities of Causation

説明因果確率(PoC)の統一的な鋭い上界の証明

要約本論文は因果確率(Probabilities of causation)に関する理論研究です。Shuらが多値の処置と結果について提案した閉形式の界について、高次元での鋭さ(sharpness)を数学的に証明しています。また、PNS、PSub、PRep、PNが一つのより一般的な公式の特殊ケースであることを示し、離散的な因果確率の鋭い界がすべての次元で一つの定理により閉形式で与えられると述べています。

Xin Shu, Ang Li

arXiv cs.AI

When PTQ Calibration Helps or Hurts: Dose-Driven Collapse and Validation-Gated Abstention in Quantized Text Embedders

説明PTQキャリブレーションが有益か有害か:用量依存の崩壊と検証ゲート付き棄権

要約本論文は、量子化されたテキスト埋め込みモデルにおける学習型の訓練後量子化(PTQ)キャリブレーションを検討します。3種類の埋め込みモデルと4ビット重み量子化で161回の実験を行い、効果は更新の大きさ(機能的変位で測定)に左右され、過大な更新は性能の大幅な低下を招くことを示しています。さらに、検証分割の信頼区間が基準を超えた場合のみチェックポイントを採用する規則を提案し、有害な選択は避けられる一方、有益な更新の一部は見送られることを報告しています。

Hyojung Han, Ryangkyung Kang, Youngeun Kim ほか

arXiv cs.AI

Correcting Attribution Patching with a Few Exact Measurements

説明少数の正確な測定で帰属パッチングを補正する

要約本論文は、機構的解釈可能性における帰属パッチング(attribution patching)の推定誤差を扱う。著者らはGuided-APを提案し、少数の正確な測定で誤差を明らかにし、未測定の推定値を補正する。単一プロンプトでは計算コストを増やさず誤差を最大26%減らし、複数プロンプトの事実補完タスクでは平均効果の誤差を75%から79%減らしたと報告している。

Luyang Zhang, Minxing Zheng, Jialu Wang

arXiv cs.LG

Fixed-Size Active Statistical Inference

説明固定サイズの能動的統計推論:ランダムな標本サイズのポアソン抽出を、分散を抑える条件付きポアソン抽出に置き換える研究

要約本論文は、機械学習の予測と重み付き抽出を組み合わせてデータ分析の分散を減らす手法を扱う。よく使われるポアソン抽出は標本サイズが確率的に変動し、推定量に分散を持ち込むため、固定サイズの条件付きポアソン抽出(CPS)を一般的な多変量Z推定の代替として提案している。論文によれば、CPSの漸近分散はポアソン抽出より悪くなく、予測が不完全な場合には大きく改善しうる。合成データと実データで検証し、実装用のPythonパッケージも公開している。

Erik Skalnes, Michael Oberst

arXiv cs.RO · cs.LG

Training Controllable World Models via Action Influence Maximization

説明行動影響力の最大化による制御可能なワールドモデルの学習

要約成功した目標指向のデモンストレーションで学習した行動条件付き動画生成モデルは、指示された行動を無視し、専門家らしい将来の映像を生成しがちです。著者らはその原因を行動影響力の不足したデータにあるとし、この指標がそのデータで学習した任意のモデルが表現できる行動影響力の上限を与えることを証明しています。論文は、データセットの行動影響力を高めるために学習データを能動的に収集する手法、行動影響力最大化(AIM)を提案しています。シミュレーション上のナビゲーションとマニピュレーションのタスクで、探索ヒューリスティクスや内発的動機付け手法と比較しています。

Samuel M. Bateman, Tenny Yin, Chongyi Zheng ほか

arXiv cs.LG

Sample-efficient learning with Dense Associative Memories

説明稠密連想記憶によるサンプル効率の良い学習

要約本論文は、ランダムな疎パリティ検査符号の符号語で学習する際の稠密連想記憶(DenseAMs)のエネルギー関数の変化を解析的に検討しています。学習データ量によって暗記が中心となる領域と基礎となる規則を発見する領域の二つが現れ、その間に転移があることを示しています。さらに、閾値学習則を持つ新しいモデルを提案し、O(log n) 個の学習サンプルから exp[O(n)] 個の解を発見できることを示しています。

Andrew Lucas, Dmitry Krotov

arXiv cs.CL · cs.LG

DStill: Trajectory Consistency Distillation for Accelerated One-Step Drafting in Block Diffusion Speculative Decoding

説明DStill:軌跡一貫性蒸留によるブロック拡散投機的デコーディングの単一ステップ下書き高速化

要約本論文は、ブロック拡散投機的デコーディングにおける単一ステップ下書きで生じるトークン分解誤差に対処するため、DStillという二段階の枠組みを提案します。まず下書きモデルに部分的に見えているブロックを補完させ、その多段階の精緻化軌道を用いて、一回のパスで最終的な補完を予測する生徒モデルを学習します。論文は、3つのモデル系列の推論・数学・コードのベンチマークにおいて、単一ステップのDFlashと比べて受理長が最大28%、高速化率が最大25%向上し、自己回帰デコーディングに対しては最大6.45倍の高速化を達成したと報告しています。

Shreyas Kulkarni, Uttam Gurram, Madhav Kanda ほか

★★★★☆ 注目
arXiv cs.AI

REM: What to Store, When to Recall, What to Forget in Experience Memory for Coding Agents

説明REM:コーディングエージェントの経験メモリにおける保存・想起・忘却

要約本論文は、コーディングエージェントが自身の経験のライフサイクルを管理するフレームワークREM(再利用可能な経験メモリ)を提案する。何を保存するか、いつ想起するか、いつ忘れるかを、エージェントの思考・行動ループの内部で決定する。リポジトリ単位のバグ修正ベンチマーク(SWE-ContextBench Lite)では、既存のメモリシステムより関連軌跡の検索精度とタスク解決率が高く、コストは17%低い。経験再利用のボトルネックは検索精度ではなく、経験の保存と管理の仕方にあると結論づけている。

注目点思考-行動ループ内で記憶ライフサイクルを管理する三つの決定を提案し、リポジトリ単位のバグ修正で既存記憶システムを上回る。証拠は比較的堅固だが影響はコーディングエージェント分野に限られる。

Xinyi Lisa Chen, Pedro Herrero-Vidal, Xiaohan Chen ほか

arXiv cs.LG

Shaped SAEs: Expanding the Toolkit for Mechanistic Interpretability

説明整形型スパースオートエンコーダ:機械論的解釈可能性の道具箱を広げる研究

要約スパースオートエンコーダ(SAE)は、大規模言語モデルの密な活性化を、学習した過完備辞書による疎で解釈可能かもしれない特徴へ分解する手法です。本論文は、SAE学習前に活性化を線形に整形する方法(J空間に基づく降ランク変換やアフィン変換の学習)と、整形型SAEの一種であるMatched Filter SAE(MF-SAE)を提案しています。SAEBenchやSAE Probesなどのベンチマークで、稠密な活性化や既存の最先端SAEと比較して評価されています。

Oveys Delafrooz Noroozi, Bhagyashree Puranik, Upamanyu Madhow

arXiv cs.CV コードあり

PerQ: Inverse Generative Modeling for Neural Image Compression via Quantization Error Compensation

説明PerQ:量子化誤差補償によるニューラル画像圧縮のための逆生成モデリング

要約ニューラル画像コーデックは、画素忠実度と知覚品質の間にトレードオフを抱えます。PerQ は知覚的再構成を、有界な支持を持つ逆生成モデリングとして捉え直し、コーデックが定める量子化セル内で生成的再構成を行います。凍結された多ビットレート歪み最適化バックボーンに、ビットレート条件付きのフローマッチング補償器を付加する手法です。Kodak と CLIC2020 での実験では、LPIPS と FID で MS-ILLM などの生成型コーデックに近い知覚性能を示し、PSNR では ELIC などの歪み最適化コーデックと競合する水準を保ちました。

Tianhao Peng, Ho Man Kwan, Fan Zhang ほか

arXiv cs.GT · cs.AI

Fundamental Impossibility Results in AI Safety: Trading Off between Desiderata

説明AI安全における根本的な不可能性の結果:目標間のトレードオフ

要約本論文は、無害性や有用性など安全なAIシステムの目標同士に根本的なトレードオフがあるかを検討しています。著者はAIシステムとユーザーのやり取りを、計算量または情報量に制約のある防御者と攻撃者、そして制約の少ない公開助言型のAIという三者のゲームとして形式化しています。主な結論として、助言が公開されたままの場合、防御者を助ける助言には根本的なトレードオフが存在するとされています。さらに、AIが共有する情報を防御者だけに有利になるよう操作できるかを論じ、これらの結果を安全なAIシステム設計にどう活かせるかについても述べています。

Ida Mattsson, Ratip Emin Berker, Emanuel Tewolde ほか

arXiv cs.CL コードあり

SHAM-Bench: A Span-level Hallucination Benchmark Across Multiple Tasks

説明SHAM-Bench:複数タスクにまたがるスパン単位のハルシネーション評価ベンチマーク

要約本論文は、六つの自然言語生成タスクを対象とするスパン単位のハルシネーション検出の統一ベンチマーク SHAM-Bench を提案しています。既存の人手アノテーション済みデータセットを共通の形式と評価方法で統合し、計 6,461 件の例を含みます。評価の結果、ファインチューニングされた検出器は領域内では良好でも分布のずれに弱く、推論を伴うプロンプトベースの手法はタスク間でより頑健でした。データセット、評価コード、公開リーダーボードが公開されています。

Sicong Huang, Ian Lane

arXiv cs.CL

Explore More, Validate Less: Efficient Reflective Prompt Optimization

説明探索を増やし検証を減らす:効率的な反省的プロンプト最適化

要約本論文は、反省的なプロンプト最適化において候補の生成と完全検証による選択を分離する二段階の枠組みを提案する。構築段階では訓練問題で改善された非重複のプロンプトを候補プールに追加し、その後、固定された完全検証の予算のもとで凍結されたプールから候補を選ぶ。五つのベンチマークと二つのモデルでの評価では、初期ソルバーに対して最大11.22ポイントの向上が示されている。

Xiaofan Zhou, Lu Cheng

arXiv cs.LG · cs.AI

Trail-Weighted Influence Scores for Approximate Outcome Prediction in Bayesian Networks

説明ベイジアンネットワークの近似的な結果予測のための経路加重影響スコア

要約本論文は、ベイジアンネットワークの予測において証拠を剪定する手法を検討しています。各証拠ノードから結果ノードまでの活性経路の辺の強度の積をスコアとし、閾値を下回る証拠を破棄します。衝突ノードのない二値変数のネットワークについて、剪定後の事後分布と厳密な事後分布との誤差の上界を証明しています。ランダムな木での模擬実験では、スコア閾値による剪定がランダム剪定より1.4〜13倍低い誤差を示しました。衝突ノードやループを含む7つのbnlearnネットワークでは、ランダム剪定より誤差は小さいものの相互情報量による順位付けに対する明確な優位はなく、計算の高速化も確認されていません。

Sahil Kumar Rajput, Randhir Kumar

arXiv cs.LG · cs.AI

Predictive Closure: A Set-Level Characterization of JEPA's Feature Selection

説明予測閉包:JEPAの特徴選択を集合レベルで特徴づける

要約結合埋め込み予測アーキテクチャ(JEPA)では、エンコーダと予測器を同時に学習し、次の観測の表現を予測する誤差を最小化します。本論文は、特徴の集合の性質に基づいて選択が決まるとする「予測閉包」の特徴づけを提案します。個々の特徴の予測しやすさだけでは説明できず、信号機のような予測しにくい特徴も、他の特徴の予測に役立つ場合には保持されることを示します。対照実験により、補助目標や予測器への側情報の提供によって、別の特徴の表現を間接的に強化できることも示されています。

Mosh Levy, Aly Lidayan, Yoav Goldberg

arXiv cs.CL

On the LLM Verification for Argument Graph Generation

説明論証グラフ生成における LLM 検証について

要約本論文は、マルチエージェント LLM が自然言語の論証を構造化グラフへ変換できる一方、その品質確認を別の LLM 審査役に頼っている現状を論じています。著者らは、各手法が保証できる範囲に応じて検証を階層化すべきだと提案し、決定的チェック、ソルバー、LLM 審査、不確実な場合のみの討論、最後に人間の判断という順序を示しています。実験では、LLM 審査役は構造的欠陥をほぼ完全な再現率で検出した一方、正しいグラフの約十分の一を誤って指摘し、同じ入力に対して判定が一貫せず、厳密なチェックより大幅に遅いことが報告されています。そのため決定的な検証ゲートが必要だと結論づけています。

Jakub B\k{a}ba, Jaros{\l}aw A. Chudziak

arXiv cs.CV · cs.AI

On the Limits of Scale: Inverse Scaling in Vision-Language Models

説明規模の限界:視覚言語モデルにおける逆スケーリング現象

要約本論文は、視覚言語モデルの規模と性能の関係を検証し、同一モデルファミリー内で、特定のサブタスクにおいては大規模モデルが小規模モデルより低い性能を示す「逆スケーリング(inverse scaling)」を報告しています。19のモデルと8つのマルチモーダルベンチマークを用いた問題単位の比較分析により、該当するサブタスクとモデルの組み合わせを375件特定しました。モデルの大型化が多モーダル能力を一律に向上させるとは限らず、モデル選択はタスクを考慮すべきだと論じています。

Rohit Saxena, Alessandro Suglia, Marek Rei ほか

arXiv cs.LG · cs.AI

LiBRA: Logit Fingerprints for Byzantine-Robust Client Selection in Federated Learning

説明LiBRA:連合学習におけるビザンチン耐性クライアント選択のためのLogitフィンガープリント手法

要約連合学習のビザンチン耐性集約規則は、クライアントのパラメータベクトルを比較して疑わしい更新を除外しますが、この方法はセキュア集約が秘匿する全クライアントの更新へのアクセスを必要とし、計算コストがパラメータ次元に応じて増え、同一構造のモデル間でしか比較できません。本論文はLiBRAを提案し、パラメータではなく、各モデルが擬似パターンに対して返すクラス別logit応答から作られる指紋で比較します。Krum、Multi-Krum、BulyanをこのLiBRA指紋を用いる変種として実装し、Fashion-MNISTとCIFAR-10での実験では、四種のバックドア・ラベル操作攻撃に対して元の規則と同等の頑健性を保つことが示されています。

Saheed A. Tijani, Frank Jiang, Ming Liu

arXiv cs.AI コードあり

A Small Model Asks Better: Fine-Tuning Query Clarification for Retrieval-Augmented Generation

説明小型モデルはより良く質問する:検索拡張生成のためのクエリ明確化の微調整

要約本研究は、検索拡張生成(RAG)システムが曖昧なユーザークエリに直面した際の明確化を扱います。約3,900件の例を含むClariEdgeデータセットを提案し、明確化が必要なクエリと不要な負例の両方を含めています。軽量な微調整LoRAは分類精度96.6%を達成し、多くのより大きなモデルのプロンプトベースラインを分類と明確化文の質の両面で上回りました。また、困難な負例が真に曖昧なクエリとそうでないものを分けるうえで重要であることが示されています。

Lihong He, Lucian Popa, Marina Danilevsky

arXiv cs.NI · cs.LG

Robust Lightweight IoT Device Fingerprinting Under Network Traffic Anomalies

説明ネットワークトラフィック異常下で頑健な軽量IoTデバイスフィンガープリンティング

要約本論文は、パケットヘッダーと局所鋭敏ハッシュ(LSH)に基づき、パケット単位とウィンドウ単位のコンパクトな指紋を生成する軽量なIoTデバイス識別手法を提案します。ドロップ、摂動、順序入れ替え、重複、パケット注入といったトラフィック異常への頑健性を評価しています。実験では、短い有界の観測ウィンドウで最大99%の精度を達成し、全体のトラフィック構造に影響する異常で性能低下が最も大きいことが示されています。

Roya Taheri, Shamik Sengupta

arXiv cs.RO · cs.AI コードあり

Refuses When Asked, Complies When Acting: A Runtime Safety Check for Robot Control Loops

説明質問には拒否、行動では実行:ロボット制御ループの実行時安全チェック

要約本論文は、フロンティアモデルをエージェントハーネスで低コストのSO-101アームに接続して制御する場合、質問応答では危険な指示を拒否するモデルでも、既定の制御ループでは有害な操作を実行してしまうことを示しています。家庭内の3つのタスク15回の試行で、モデルは拒否率0%で毎回危害を試み、27%で完遂しました。最初の動作の前に、同じカメラ映像をもとに指示を実行するかモデルに尋ねる実行時安全チェックを加えると、危険な指示15件すべてを止め、無害な対照15件は誤検出しませんでした。

Arnav Grover

arXiv cs.AI

An LLM-Based Agent for Legal Compliance Assessment: Architecture, Memory, and Evaluation in a Canadian and Quebec Context

説明大規模言語モデルによる法令遵守評価エージェント:カナダおよびケベック州の文脈におけるアーキテクチャ、記憶、評価

要約本論文は、多エージェントフレームワークCOMPASSの法令遵守サブエージェントであるComplianceAgentを提案します。デジタル主権、炭素影響、遵守、倫理の4観点からテキストを評価します。大規模言語モデルが固定の評価基準で採点し、参照法令コーパスに基づいて判断します。スコアが臨界値以下の場合は、自己修復的な書き換え、遵守ラベル、説明可能性レポート、人間のレビュアーへのエスカレーションを含む是正処理を実行します。13件の法令文書からなるコーパスと、15件の人手で注釈したテキストによる評価では、適合と不適合を正しく分離し、反復照会でもスコアが安定し、検索結果も関連性がありました。

Soukaina Alaoui Ismaili, Jean-Sebastien Dessureault

arXiv cs.CV

Look Before You Reason: Implicit Visual Thinking for Efficient Multimodal Reasoning

説明先に見てから考える:効率的なマルチモーダル推論のための暗黙的視覚思考

要約視覚言語モデルは、小さい、または見落とされやすい画像領域の細かな理解にまだ限界があります。既存の「画像を見ながら考える」手法は複数ターンのやり取りが必要で、計算が冗長になり推論も遅くなります。本論文は単一ターンの対話内で効率よく視覚推論を行うLoRe(Look Before You Reason)を提案します。最も関連の高い領域を予測し、対応するKVキャッシュを強化することで、追加の視覚入力なしに選ばれた視覚情報を利用します。また、細粒度評価のためのCOCO-ObjQAベンチマークも紹介されています。

Zerui Chen, Changrui Chen, Fei Ni ほか

arXiv cs.LG

Automated Brick Schema Knowledge Graph Completion Across Buildings

説明建物をまたいで Brick スキーマのナレッジグラフを自動補完する研究

要約Brick スキーマは、建物の機器・センサー・空間とその関係を型付きの多関係グラフとして表現します。本論文は、ナレッジグラフ補完を Brick モデル生成に適用した初めての試みとして、勾配ブースティング木、Pairwise Brick Relation Ranking、CompGCN の3手法を、feeds・hasPart・hasPoint の関係について比較しています。保留された MORTAR の建物では CompGCN が最も良い結果を示しましたが、どの手法もデータセットと関係の種類をまたいで一様に汎化するわけではありません。

Daniel Ma, Jalil Huseynov, Xinyi Pan ほか

arXiv cs.AI

Modeling Authentic Research Trajectories: A Graph View of Research Ideation

説明実際の研究の軌跡をモデル化する:グラフで見る研究構想

要約論文は、研究アイデアが最初の着想から最終的な形に至るまでの変化を記録する「研究進捗グラフ(RPG)」を提案しています。グラフは研究状態を認知的遷移で結び、各遷移に時間インデックスと推論の根拠を付与します。著者らは35の研究エージェントの表現を比較し、いずれも不完全で、状態の変化、その変化を促した証拠、両者を結ぶ推論を一つの記録として保持していないと報告しています。

Ruochen Li, Zhiyu Chen

★★★★☆ 注目
arXiv q-bio.QM · cs.LG

EMBER: Predicting TCR--pMHC Binding Without a Docked Complex

説明EMBER:ドッキング複合体なしでTCRとpMHCの結合を予測

要約本論文は、予測されたドッキング複合体を必要とせずにT細胞受容体(TCR)と肽-MHC複合体(pMHC)の結合を予測する構造ベースのフレームワークEMBERを提案する。EMBERはTCRとpMHCをそれぞれ独立に折りたたみ、SE(3)不変な残基グラフとして符号化し、学習した表現を比較する。そのため相対姿勢はモデルの入力にならず、構造予測の配置誤差が予測に伝播しない。エピトープ非重複の評価では、4種類の折りたたみツールすべてで、再学習した6つのベースラインを上回った。

注目点共折叠複合体に依存せず、TCRとpMHCを独立にエンコードして表現を比較する点が新規。複数の折りたたみツールと基準手法で一貫した改善を示し、TCR-pMHC予測分野への影響は中程度。

Lin Ha, Chen Zhou, Haozheng Luo ほか

arXiv cs.AI

Unsupervised Tool Evolution for Coding Agents in Data-Lake Analytics

説明データレイク分析におけるコーディングエージェントの教師なしツール進化

要約コーディングエージェントは、データレイク上で関連データを発見・整形・結合して分析質問に答えられますが、質問ごとにその作業を破棄し、次の質問で最初からやり直します。本論文は、正解ラベルなしでエージェントのツール群と利用スキルを自動で構築・改良するTEAL(Tool Evolution for Analytics over data Lakes)を提案します。また、実際の質問がない場合に進化用の合成質問を生成するTEAL-Qも紹介します。KramaBenchとLakeQAでの評価では、ステップ数に厳しい上限がある場合にTEALが全てのWorker LLMの性能を向上させたと報告されています。

Yuqing Yang, Yurong Liu, Deqing Fu ほか

arXiv cs.CV · cs.AI

Steering Vision-Language Models for Visual-Contextual Privacy in Location Disclosure

説明位置情報の開示における視覚文脈プライバシーのための視覚言語モデルの制御

要約本論文は、画像から位置情報を推測しうる視覚言語モデルが、画像の視覚的文脈に見合わない詳細まで開示してしまう問題を扱います。提案手法は推論時のルーティングと制御の枠組みで、順序付きの粒度ルーターが開示レベルを決定し、そのレベルに応じた隠れ状態への介入をデコード時に行います。4つのモデルで、文脈に沿った開示の整合性が向上し、一般的な能力ベンチマークへの影響はわずかだと報告されています。

Wenyue Chen, Yuhan Cheng, Ruixin Yang ほか

arXiv cs.LG · stat.ML

VampPrior Unleashed

説明VampPriorの改良:事前分布と事後分布の共分散を分離し、ディリクレ過程を導入

要約本論文は、深層潜在変数モデルで近似最適事前分布を与えるVampPrior(ヴァンププライア)の二つの課題に対処する。事前・事後の共分散を分離し、固定の一様混合重みをディリクレ過程に置き換えたところ、モデル証拠が向上し、頑健なノンパラメトリッククラスタリングが可能になったとしている。scVI(単一細胞変分推論)に適用すると、六つのアトラスで単一細胞の統合とクラスタリングが改善し、モデル証拠も大きく上がった。変更は事前分布のみで、連続潜在空間を持つ任意のモデルに適用できる。

Andrew A. Stirn, Abhejit Rajagopal, David A. Knowles ほか

★★★★☆ 注目
arXiv nlin.CD · cond-mat.dis-nn · cs.LG

Physics-Inspired Optimizers beyond the Edge of Stability: Period-Two Orbits and Delayed Instability

説明安定性の縁を超える物理着想の最適化手法:周期2軌道と遅延不安定化

要約本論文は、学習率が大きい場合の物理着想型オプティマイザ(VRAdamなど)の学習ダイナミクスを研究している。著者らは、安定性の縁(EoS)を超えて現れる運動エネルギー写像による対称な周期2軌道を解析し、ゆっくり掃引される分岐に関するNeishtadtの理論によって不安定化の遅延を説明する。実験では厳密な二次問題、全バッチMLP、ResNet-32で理論を支持する結果が得られたが、ResNet-18では写像による利点の大部分が実効学習率の一致によって再現された。

注目点運動エネルギー写像を用いて安定性限界の外での周期2軌道と遅延不安定化を解析し、Neishtadt理論と結びつけ、二次問題やネットワークで検証している。

Alexander Itin

arXiv physics.comp-ph · cs.LG · physics.plasm-ph

Machine-learned spectral PDE solvers for fluids and plasmas

説明流体・プラズマ向け機械学習スペクトル法PDEソルバー

要約本論文はWARPという手法を提案します。これは解法で用いる空間離散化上で弱形式による方程式発見を行い、観測状態を起点とした多段階ロールアウトを微分して学習するもので、機械学習によるPDEソルバーを生成します。八つの流体・プラズマのベンチマーク系(高次元の乱流シミュレーションを含む)で評価され、新しいランダム初期条件から数値的に安定したロールアウトが得られ、係数の復元、ロールアウト精度、統計指標が単一ステップの弱形式SINDyベースラインより大きく改善したと報告されています。

Mellow Baixuan Chen, Alan A. Kaptanoglu

arXiv cs.CV · cs.LG

What Not to Erase: Saliency-Constrained Augmentation for Low-Resource Handwritten Character Recognition

説明消してはいけないもの:低リソース手書き文字認識のための顕著性制約付きデータ拡張

要約本論文は、低リソースの歴史的手書き文字認識におけるデータ拡張を扱い、顕著性マップを用いて文字画像の拡張対象領域を制約する手法を提案しています。古典的な文書型変換、ランダムな欠損、および複数の顕著性制約付き欠損の各変種を比較し、摂動下での顕著性パターンの安定性を測る指標ECI(Explainability Consistency Index)を導入しています。その結果、顕著性制約は古典的拡張より認識精度を改善する場合があるものの、最良の戦略は一つに定まらず、アーキテクチャやコーパスによって異なると報告されています。

Paraskevi Platanou, John Pavlopoulos

arXiv cs.AI

Evolving Self-tuning Benchmarks for Long-Horizon Tool Use

説明長期的なツール利用のための自己調整型ベンチマーク進化手法(TURTLE)

要約本論文は、AIアシスタントのツール利用能力を評価するためのタスクを、人手に頼らず自動生成・進化させる手法TURTLEを提案しています。出題者・解答者・フィードバック生成者の3つの大規模言語モデルエージェントで構成され、出題者は解答者の成績に基づき、困難だが解決可能なタスクを作るよう報酬を受けます。AppWorld、τ-Bench、AutomationBenchでの実験では、進化後のタスクが目標の難易度に近づき、多様性が増し、元のタスクより幅広い失敗パターンを引き出したと報告されています。

Hyunji Alex Nam, Michael Dennis, Natasha Jaques ほか

arXiv cs.DB · cs.DC · cs.IR

SweepANN: A GPU-Accelerated Large-K Approximate Vector Search for Drug Discovery

説明SweepANN:創薬向け GPU 高速化の大規模 K 近似ベクトル検索

要約本論文は、創薬における大規模なベクトル検索の課題を扱います。各ポケットについて全体の 0.1% にあたる K=500K 個の候補を返す必要があり、既存の近似最近傍法ではこの規模で再現率と速度を両立しにくいとされています。著者らは SweepANN を提案し、圧縮ベクトルを複数の GPU に分割して順にスキャンし、窓方式で候補を絞り込みます。原文によれば、5 億分子・26,562 ポケットの処理に 4 基の RTX PRO 6000 で約 61 秒、平均再現率 99.6% を達成したとしています。

Zhenyu Zhang, Qi Lin, Nan Zhang ほか

arXiv cs.AI

When Does an Added Planning Capability Create Operational Value? An Observable Evidence Standard

説明追加された計画機能はいつ運用上の価値を生むか:観測可能な証拠基準

要約本論文は、産業用AI計画システムにおいて全体方策の改善だけでは個々の追加要素の独立した寄与を判断できないという帰属の問題を扱い、行動機会、実行計画の変化、運用上の結果、同等性、不確実性、運用範囲を区別する観測可能な証拠基準を提案しています。Favorita、M5、Walmartのデータを用いた予測から計画への再生実験により、単一指標による評価の限界を示しています。例えば、ある制御は681の実行計画のうち15件しか変更しませんでした。

Yihua Xu, Yan Lyu, Jize Li ほか

arXiv cs.CL · cs.AI

Evaluating Context Compaction on the Questions That Come Later

説明後続の質問に対するコンテキスト圧縮の評価

要約本論文は、言語モデルエージェントのコンテキスト圧縮手法が後で届く質問にも役立つかを評価したものです。複数の質問の根拠を注釈した四つのコーパスとエージェントの軌跡を用い、同じトークン予算でのランダム削除と比較しています。現在の質問向けに文を選ぶ手法は、後続の質問でランダム削除を有意に上回らず、質問を無視して単語を削るLLMLingua-2が一部の設定で優れていました。

Junwei Yao, Yongxi Zhou, Zike Yang ほか

arXiv cs.CV · cs.AI コードあり

Generalizing Multimodal Foundational Models in Context-Driven Class Incremental Learning

説明文脈駆動型クラス増分学習における多モーダル基盤モデルの汎化

要約本論文は、新しいクラスを、既存のクラスを忘れずに継続的に学習する類増分学習(CIL)を、音声と映像の両モダリティで扱う。著者らは、凍結した多モーダル基盤モデル(MFM)の表現が増分設定では十分に機能しないことを予備分析で示し、音声表現をタスクに対して安定した文脈的ガイダンスとして用いる注意機構ベースのモジュールを提案している。さらに、特徴量レベルとlogitレベルの蒸馏により忘却を抑えている。論文では、複数の音声-映像CILベンチマークで既存の最先端手法を上回ったと報告している。

Avi Gupta, Nilotpal Sinha, Vishnu Raj ほか

arXiv cs.CL

RealControlBench: A Benchmark for Interpretability-Informed Fine-Grained Control of LLMs and Agents

説明RealControlBench:解釈可能性に基づくLLMとエージェントの細粒度制御のためのベンチマーク

要約本論文は、大規模言語モデルとエージェントの細粒度な制御(steering)を評価する包括的なベンチマーク RealControlBench を提案します。従来の孤立した生成タスクを超え、複雑で多ターンのエージェント対話まで評価を広げ、指示追従、ツール使用の判断、推論性能、推論長の制御、軌跡に基づく安全意識の五つの側面を対象とします。実験では、既存の制御手法は現実的な設定では意図した動作を安定して引き出せず、モデル本来のタスク性能を大きく低下させることがあると報告されています。

Xinying Cai, Bin Hu, Mingyu Jin ほか

arXiv cs.AI

Vulnerability Analysis for Safe Multi-Agent Reinforcement Learning

説明安全なマルチエージェント強化学習の脆弱性分析:推論時の観測攻撃に関する研究

要約本論文は、安全制約付きマルチエージェント強化学習(SMARL)が推論時の観測攻撃に対してどの程度脆弱かを調べています。攻撃者は一部のエージェントの観測を摂動させ、その行動を変えます。提案手法の MinMax Attack は、侵害されたエージェントの敵対的目標行動を、良性エージェントの協調的抵抗を考慮して選択します。複数のベンチマークで、既存の攻撃より大きな安全コストを引き起こしつつタスク報酬を維持し、検知されにくいことが示されました。

Taozheng Zhu, Shixiong Jiang, Fanxin Kong

arXiv cs.AI · cs.CL · cs.LG

TEX: Test-Time Scaling Testing Agents via Execution-based Cross-Validation

説明TEX:実行ベースの相互検証によるテスト時スケーリング・テストエージェント(複数エージェントがテストとパッチを相互に実行して評価する手法の提案)

要約本論文は、複数のエージェントが並列にテストケースとパッチを生成し、各テストを各パッチに対して実行して K×K のフィードバック行列を作成するフレームワーク TEX を提案しています。エージェントはこの行列の自分に関係する部分を使って改良を行い、冗長な推論トレースを共有せずに客観的な検証を実現します。SWT-Bench Verified では 86.4% を達成し、単一エージェントの基準より 9.0% 高く、従来の最高水準を上回ったと報告されています。

Akash Gokul, Srijan Bansal, Yingbo Zhou ほか

arXiv cs.CL · cs.AI

When Does Hate Transfer? A Large-Scale Study of Cross-Lingual Hate Speech Detection

説明ヘイトは言語間で転移するのか?14言語にわたる大規模な言語横断型ヘイトスピーチ検出の研究

要約本研究は、ある言語で学習したヘイトスピーチ検出用データが、別の言語でも同程度の性能を発揮できるかを検証しています。14言語を対象とし、低リソース言語も含まれています。結果として、言語の類似性が最も強い予測因子であり、時間的重なりやデータセット規模の差は影響が小さいことが示されました。残りの事例については、文化的な手がかりや伝達の規範が関係する可能性が定性的分析から示唆されていますが、これは測定された原因ではなく仮説として提示されています。

Zahra Bokaei, Walid Magdy, Bonnie Webber

★★★★☆ 注目
arXiv cs.LG · cs.AI

VPFlow: Value-Predictive Planning with Imperfect World Models for Offline Goal Reaching

説明VPFlow:不完全な世界モデルによる価値予測型プランニングとオフライン目標到達

要約本論文は、オフライン目標条件付き強化学習における計画手法を扱い、正確な次状態予測の代わりに価値予測を用いることを提案しています。著者らは閉形式のモンテカルロ収益を唯一の教師信号として潜在世界モデルを学習し、一段階のフロー方策の噪声空間で進化的探索を行う VPFlow を提示しています。30 の OGBench の状態・ピクセルデータセットで、VPFlow は無モデル基準手法や LeWorldModel、PLDM、TD-MPC2 を上回る成功率を示したと報告されています。

注目点時間差分の代わりに閉形式のモンテカルロ収益で潜在世界モデルを学習する価値予測型計画を提案し新規性が高い。30のOGBenchデータセットで複数基準と比較し、証拠は比較的十分。

Yunzhe Hu, Dong Xu

arXiv cs.AI · cs.LG

A latent control model for realistic rodent motion

説明現実的なげっ歯類の動きのための潜在制御モデル:SCAMPERシステム

要約本論文は、身体性を持つ仮想ラットモデルを訓練するためのSCAMPERシステムを提案する。運動の制御に用いる運動事前分布と、探索に用いる行動事前分布という二つの事前分布を持つ変分アーキテクチャを採用している。著者らは、両者を組み合わせることで、目標志向の行動と探索の両方で自然な動きを生成し、疎な報酬からも学習できると報告している。

Aidan Sirbu, Charles Y. Zhang, Yuanjia Yang ほか

arXiv cs.RO · cs.LG

What Would Removing This Corruption Change? Failure Attribution for Vision-Language-Action Models

説明この破損を取り除くと何が変わるか?視覚・言語・行動モデルにおける故障帰属

要約本論文は、視覚・言語・行動(VLA)モデルが視覚的破損に敏感であることを踏まえ、現在のエピソードでその破損を除去すると有益かどうかを判断する「故障帰属」の問題を提案しています。著者らは、シーンと破損を別々に表現する分解型リスクモデルを構築し、対になる正常画像や追加の反事実実行なしに、潜在空間での介入により除去効果を推定します。OpenVLA、π0.5 などで評価され、既存の単一モデルや視覚言語モデルのベースラインより高い性能を示しました。

Carson Sobolewski, Anjali Parashar, Fei Chen ほか

★★★★☆ 注目
arXiv cs.RO · cs.CV

On Maximum Clique and Maximum Consensus Formulations in Point Cloud Registration

説明点群位置合わせにおける最大クリークと最大コンセンサス定式化の比較理論研究

要約本論文は、ロボティクスにおける点群位置合わせで用いられる二つの頑健な定式化、最大コンセンサスと最大クリークの関係を理論的に検討している。最大クリークは任意の正の許容誤差において最大コンセンサス集合より任意に大きくなり得て、そのアライメント誤差も任意に大きくなり得ることを示し、誤差を抑える幾何学的条件を導いている。回転を固定した場合には、並進の部分問題について最大コンセンサスを厳密に特徴づける鋭い誤差限界と判定法を与えている。さらに、k 個の対応からなる群を検定する group-k 一貫性を調べ、点群の尺度や幾何に依存しない誤差限界を保証する最小の群サイズを明らかにしている。

注目点最大クリークと最大コンセンサスの関係を理論的に示し、群の一致性に必要な最小サイズと誤差界を導出。Lean による形式検証も行う。

Abolfazl Babanazari, Kaveh Fathian

arXiv cs.IR · cs.CL

FLINT: Fixed-budget Late Interaction

説明FLINT:固定予算の遅延相互作用型検索モデル

要約本論文は、注意機構ベースのプーリングで各クエリと文書を固定数の埋め込みベクトルで表現する FLINT(Fixed-budget Late INTeraction)を提案している。トークンごとにベクトルを保持する代わりに、クエリと文書の両側にプーリングを適用し、文書の保存量と検索時のベクトル比較回数を抑える。BEIR では最も近いベースラインと同等の順位付け性能を示し、BrowseComp+ や CRUMB など長く複雑なクエリを含むベンチマークでは上回った。長いクエリのコーパスでは、端から端までの検索速度が ConstBERT より 1.5~2.8 倍速く、インデックスサイズは ColBERTv2 より 5.3~9.3 倍小さいと報告している。

Himank Handa, Negar Arabzadeh, Matei Zaharia

arXiv cs.SE · cs.AI

Certifying Repeatable Entry-Replay Witnesses for COBOL-to-Java Migration

説明COBOLからJavaへの移行における再現可能な入力再生証跡の認証手法

要約本論文は、COBOLから移行したアプリケーションの総合テストケースを生成する手法を提案します。外部操作を時系列に記録したテープで外部との相互作用を模擬したCOBOLの代替プログラム上で実行トレースを観測し、テストケースを認証します。33,429行の大規模COBOLプログラムに適用し、849件のテストケースで分岐の78.1%と段落の95.7%をカバーしたと報告しています。450件の欠陥を混入した検証では47.6%を検出したものの、丸めや精度に関する欠陥は検出できなかったとしています。

Andras L. Ferenczi, Mariya Bessonov, Allwyn Ponnudurai ほか

arXiv cs.CL

African Languages AI Safety Readiness Report

説明アフリカ言語のAI安全性への対応準備状況報告書

要約本報告書は、アフリカの言語がAI安全性の議論に含まれる準備ができているかを評価しています。既存の文献とデータをもとに、AI関連リソース(テキストデータを含む)、国家のAI政策支援、既存のテキストベンチマークでの性能、話者人口の4つの要素を検討しています。これらに基づき、言語を「完全に準備済み」「概ね準備済み」「新興」「基礎的支援が必要」の4つに分類し、AI安全性ベンチマークへの組み入れや投資の指針としています。

Israel Abebe Azime, Jesujoba O. Alabi, Tajuddeen Gwadabe ほか

arXiv cs.CL · cs.AI · cs.LG

Auditing Safety Preference Supervision with Recorded Derivations

説明記録された導出過程による安全性の選好監督の監査

要約本論文は、安全性に関する選好ラベルの作成過程を検査できるかを検討する。提案手法「記号的選好ラベリング」では、事前学習済み言語モデルがプロンプトと応答の定められた属性を分類し、明示的なルールで応答の判定を与え、固定の順位で選好ラベルを決める。各ラベルには導出過程が記録され、言語モデルを再実行せずに再計算できる。論文は、ラベルの再現性と属性判定の正しさを区別し、後者と意味的な安全性には別途の検証が必要だと指摘する。

Chenhan Lyu, Amir Rahmani

★★★★☆ 注目
arXiv cs.LG · math.PR · math.ST

Solving the Ho--Nguyen Conjecture for Gaussian Mixtures: Applications to Mixtures of Experts

説明ガウス混合モデルに関するHo–Nguyen予想の解決:専門家混合モデルへの応用

要約過剰適合したガウス混合モデルでは、パラメータ消去の次数がパラメータ学習の速度を左右する。本論文は、クラスタサイズMに対する多項式系の次数を2Mとする Ho と Nguyen の予想を、M≥2の全ての場合について証明している。さらに、その結果を専門家混合モデルに適用し、高次の消去と厳密なパラメータ対称性を区別している。

注目点Ho と Nguyen の予想を解決し、ガウス混合の過剰適合時の次数を鋭い符号変化境界と構成で示し、学習速度に影響する。

Yuyang Zhang, Qihuang Zhang

arXiv cs.LO · cs.AI

Theorem prover Arend

説明定理証明器 Arend の紹介

要約本論文は、JetBrains Research で開発された定理証明器 Arend(アレンド)を解説するものです。この言語は、単価公理に基づく基礎の枠組みで数学を形式化することを目的とし、構成的数学に重点を置いています。立方的構文をもつホモトピー型理論の変種に基づき、主要ライブラリ arend-lib には構成的代数、位相、総合的ホモトピー論の形式化が含まれます。

Fedor Part, Valery Isaev, Sergey Sinchuk

arXiv cs.AI · cs.CL · cs.LG

TxnQA: Benchmarking Analytical Reasoning and Evidence Grounding over Transaction Event Sequences

説明TxnQA:取引イベント系列に対する分析的推論と根拠提示のベンチマーク

要約本論文は、取引イベント系列に関する分析型質問応答のベンチマーク TxnQA を提案する。27 のタスク族・81 のテンプレートと、5 シナリオの不正リスク推論スイートを含み、合成かつプライバシー保護処理された取引データを用いる。正解はプログラムで算出される。結果として、LoRA 適応により出力形式は安定するが、算術計算がボトルネックとして残ること、また判定が正しくても根拠の正確な帰属が大きく低下することが示されている。

Rabimba Karanjai, Yiming Bian, Yun-Shiuan Chuang ほか

arXiv cs.HC · cs.AI · cs.CY

ValiAssist: Scaling LLM-generated Programming Feedback Validation by Demonstration

説明ValiAssist:デモンストレーションによるLLM生成プログラミング・フィードバックの検証の拡張

要約本論文は、教員がAI生成フィードバックを修正した内容から再利用可能な検証ロジックを推論し、他の学生の提出物に適用される過程で教員が確認・改良できるシステム ValiAssist を提案している。16名の教員を対象とした比較研究では、教育的意図に沿ったフィードバックの割合が57%から91%に、問題のある基準を修正する正確さが32%から77%に向上したと報告している。

Xiaohang Tang, Rehema Abulikemu, Peng Gao ほか

arXiv cs.CL · cs.AI

Target-Aware Curation of Hallucination Stress Tests for Large Language Models

説明大規模言語モデルの幻覚ストレステストを標的に合わせて編集・選別する手法

要約本論文は、ソースに基づく種子プロンプトを反復的に編集し、対象モデルの幻覚を引き出す手法を提案しています。LLM編集器が、対象モデルの回答と評価器のカテゴリ別スコア・説明を受けてプロンプトを修正します。7つのデータセットから500件の種子を用い、内在的・外在的幻覚を評価した結果、編集によって重大度スコアが大きく上昇し、また同じ提示でもモデルごとに失敗の傾向が異なることが示されました。

Jiho Lee, Bingquan Zhang, Lin Ting Liang ほか

arXiv cs.CL

Diagnostic Analysis for Large Language Model Reasoning

説明大規模言語モデルの推論を診断する分析:推論グラフの構造は信頼できるか

要約本論文は、大規模言語モデルが生成する推論構造(推論連鎖や推論グラフ)の信頼性を検証しています。オープンエンドの多段階質問応答において二段階の診断評価を提案し、第一段階ではグラフの構築能力がトポロジー、プロンプト設計、モデル系統によって変化することを示します。第二段階では不確実性推定を下流のテストとして用い、生成されたエッジを使うと正解グラフを使う場合より性能が低下することを確認しています。さらに、グラフ構造をプロンプトの文脈としてのみ用いても効果は小さいが、正解グラフを用いると確信度による正誤の分離が改善し、ノード単位の診断も可能になると報告しています。

Xinyu Liu, Dongqi Fu, Jun Wu

★★★★☆ 注目
arXiv cs.CL コードあり

Predicting Linear Relational Decodability Without the Relation

説明関係情報なしで線形関係デコード可能性を予測する

要約線形関係埋め込み(LRE)は、言語モデルの主語から目的語への写像をアフィン関数で近似する手法ですが、関係によって忠実度が大きく異なります。著者らは、関係を知らずに使える「エンティティレンズ」を提案し、中立的なプロンプトで実体型ごとに学習します。Olmo-3-7Bの28関係で、この関係非依存のスコアはLREの忠実度と相関係数0.7355(p<0.01)を示し、線形デコード可能性は主に主語表現の性質によると示唆しています。

注目点関係に依存しない読み出しで線形デコード可能性を予測するエンティティレンズを提案し、新規性は高いが、単一モデル・28関係での検証に留まる。

Jonas Rohweder, Adrian M\"ulthaler, Faridoun Mehri ほか

arXiv cs.CL コードあり

CEFR-oriented Russian Text Simplification Using Reinforcement Learning

説明強化学習によるCEFR準拠のロシア語テキスト簡略化

要約本研究は、選好ベースの最適化手法を用いてロシア語テキストを自動的に簡略化し、A1・A2・B1の習熟度レベルに合わせることを目指します。YandexGPTをRejection SamplingとDirect Preference Optimization(DPO)で微調整し、複数の学習設定を比較しています。最良モデルの目標レベル正答率は87.15%で、人手評価では75%の簡略化結果が目標水準に一致しましたが、A1が最も難しいとされています。

Kristina Mustakova, Alexey Sorokin

arXiv cs.AI コードあり

EGI-BENCH: An Enterprise General Intelligence Benchmark Suite

説明EGI-BENCH:企業汎用知能ベンチマーク・スイート

要約本論文は、八つの企業向けエージェント・ベンチマークを一つのコマンドラインから実行できるよう統合した、LLMエージェント向けのベンチマーク・スイートEGI-BENCHを公開しています。併せて、各ベンチマークの細かな指標を六つの次元(M1〜M6)に振り分けて評価する企業汎用知能(EGI)スコアを定義しています。快速モードで14のLLMを評価した結果、総合スコアは39.6から65.6の範囲にあり、すべての能力軸で優れるモデルは存在しなかったと報告しています。

Zhiwei Liu, Zhujun Lan, Jielin Qiu ほか

arXiv cs.CL · cs.AI

MMedAgent-Plus: Scaling Multimodal Medical Agents across Modalities, Tasks and Workflows

説明MMedAgent-Plus:モダリティ・タスク・ワークフローをまたぐ医療マルチモーダルエージェントの拡張研究

要約本論文は、視覚言語プランナーと、12のタスク・8のモダリティにまたがる18の専門モデルを組み合わせた医療用マルチモーダルツール利用エージェント「MMedAgent-Plus」を提案します。プランナーは専門モデルを選択して順次実行し、その出力に基づいて回答をまとめます。32の公開医療ベンチマークの208,928件のサンプルで指示チューニングを行い、保留データでツール編成、回答統合、エンドツーエンド実行をそれぞれ評価しています。最終回答の正解率は0.98で、最も優れた専門モデルと並び、最強のベースライン(0.28)を上回ると報告されています。

Ruoxin Wang, Yuanting Pan, Binxu Li ほか

arXiv cs.IR · cs.LG

Neighborhood-Aware Unlearning for Generative Recommendation

説明生成型推薦のための近傍認識型アンラーニング手法(NAU)

要約生成型推薦は意味ID(SID)を自己回帰的に生成して商品を予測し、意味的に近い商品同士はトークンを共有します。学習済みの相互作用(注入されたスパムなど)を後から削除する場合、この共有によりアンラーニング更新が忘却対象の近傍商品の予測にも意図せず影響することを、本論文は示しています。これは全体指標では見えにくい局所的な劣化です。提案手法のNAU(Neighborhood-Aware Unlearning)は、忘却対象商品の近傍に割り当てられる確率質量を明示的に制御し、3つのデータセットと4種類のSIDトークナイザで再学習の参照モデルに近い結果を示しています。

Pierre Lubitzsch, Yubao Tang, Maarten de Rijke ほか

arXiv cs.AI · q-bio.BM

Magnolia: A Persistent-Memory Agent Framework for Computational Chemistry

説明Magnolia:計算化学向けの永続メモリ型エージェントフレームワーク

要約本論文は、大規模言語モデルを用いて、ドッキングから量子化学計算までの計算手順、実験ノートおよびチャットログを統合する永続メモリ型AIエージェント「Magnolia」を提案する。セッション、プロジェクト、クロスプロジェクトの三層記憶システムを備え、人間が検証した知見を規則として後続作業に反映させる。四つの事例研究で評価され、記憶を持つ実行が一部の検査で記憶のない実行より良い結果を示したと報告されている。

Tao Jiang, Benjamin Navet, Yousouf Taghzouti ほか

★★★★☆ 注目
arXiv cs.CL

Which Agent's Skill Should Change? Group-Relative Credit Assignment for Evolving Multi-Agent Teams

説明どのエージェントのスキルを変えるべきか?進化するマルチエージェントチームのためのグループ相対的クレジット割り当て

要約本論文は、重みを更新せずに再利用可能なスキルを改訂して協調する言語モデルエージェントを改善するGRSE手法を提案します。チーム全体の報酬を、責任のあるエージェントとスキルの組み合わせに対比によって割り当て、失敗については構造化された診断を行います。HotpotQAとLoCoMoでの実験では、従来手法のMASkillsを多くのカテゴリで上回り、多段推論の質問で最も大きな向上を示しました。また、有害なスキルが植え付けられた状態からでも、正しい符号で各スキルを評価できることが報告されています。

注目点同一スキル群での複数実行を比較する群相対的な信用割当を提案し、HotpotQAとLoCoMoで最強の先行手法を上回り、有害スキル注入実験でも検証している。

Yanan Ma, Yang Wang, David Le ほか

arXiv cs.AI

Sparse RL Relaxation for LLM Reasoning

説明LLM推論のためのスパース強化学習緩和法(SpaRLax)

要約本論文は、思考連鎖(CoT)推論においてソフトトークン(連続表現)を学習させる課題を扱っている。従来の強化学習はソフトトークンを마ルコフ決定過程の行動として扱い、トークン間で勾配を伝播させられなかった。著者らはソフト推論の微分可能性を活かすSpaRLaxを提案し、確信のある段階では長い裾のノイズを切り捨て、不確かな段階では複数の候補を残す適応的スパース性(entmax)を用いる。九つの推論ベンチマークで基準手法より高い平均性能を示したとしている。

Jiabin Fan, Matthias Lindemann, Zita Marinho ほか

arXiv cs.LG

A Theoretical Analysis of Environment-Aware Out-of-Distribution Detection for Vision-Language Models

説明視覚・言語モデルにおける環境認識型の分布外検出の理論分析

要約本論文は、複数の環境を順次扱う継続学習型の視覚・言語モデル(VLM)が、現在の環境に属さない入力を棄却する方法を検討しています。以前の環境のクラス情報を使う、クロス環境の最大概念マッチング(MCM)スコアを提案し、特定の条件下で標準的なMCM検出器以下の誤検出率を持つことを理論的に示しています。さらに、ソフトな環境とハードな環境の区別や、カスケード検出での誤検出率の時間的変化についても分析しています。

Salimeh Sekeh, Mary Wisell

arXiv cs.CV · cs.AI

Language Guidance for Supervised Vision Training: An Empirical Study of Generalization

説明教師あり視覚学習への言語ガイダンス:汎化性能に関する実証研究

要約本論文は、画像とテキストのペアデータ、プロンプト設計、対照学習の目的関数を用いずに、事前学習済み言語モデルを視覚モデル学習の軽量な補助教師として使えるかを検討しています。明示的言語ガイダンス(ExLG)と暗黙的言語ガイダンス(ImLG)の二つの方式を比較し、分布内、分布外、ショートカットや疑似相関への耐性、テクスチャと形状の偏り、敵対的摂動への頑健性、継続学習の六つの汎化条件で評価しています。結果として、明示的方式は分布内性能、少データ時の性能、継続学習での記憶保持に有効であり、暗黙的方式はショートカットに敏感な場面や強い敵対的摂動下で有用だと示されています。両方式ともパラメータ数と学習時の負荷の増加はわずかです。

Shruthi Gowda, Nikita Jain, Elahe Arani ほか

arXiv stat.ML · cs.LG

Diffusion Score Estimation with Shallow Neural Networks: Regularity, Approximation, and Finite-Sample Rates

説明浅いニューラルネットワークによる拡散スコア推定:正則性・近似・有限サンプル収束率

要約本論文は、有限幅の浅いReLUネットワークを用いたデノイジング・スコア・マッチング(DSM)により、R^d上のOrnstein–Uhlenbeck拡散スコアを推定する際のサンプル複雑度と、それが逆過程サンプリングに与える影響を調べたものです。初期密度に弱い微分可能性と多項式増大の条件を仮定し、各固定球上で時間に関して一様なSobolev上界を導いています。さらに、パスノルム制約付き経験的DSM最小化器に対する高確率のリスク上界を示し、固定時刻t>0での二乗L²(P_t)スコアリスクがÕ(n^{-(d+3)/(2d+3)})となることを述べています。生成分布と元のデータ分布との全変動誤差はÕ(n^{-(d+3)/(4d+6)})です。

Fan Liu, Yahong Yang, Wei Zhu

arXiv cs.CL · cs.AI

LoWAgent: A Low-Resource Multilingual Benchmark for Web Agents

説明LoWAgent:ウェブエージェント向けの低リソース多言語ベンチマーク

要約本論文は、英語および低リソース言語(ヒンディー語、ベンガル語、ウルドゥー語、アムハラ語)でのウェブエージェントの性能を評価するベンチマーク「LoWAgent」を提案しています。6つの完全ローカライズされたサイトと5言語にわたる3,000のタスクインスタンスで構成され、3つのクローズドソースモデルと5つのオープンソースモデルを評価しました。その結果、低リソース言語では英語に比べて性能が低下し、オープンソースモデルでの低下が大きいことが分かりました。また、Cookie通知や広告ポップアップなどの干渉によって性能はさらに低下し、少量のトレースによる事後学習で低リソース言語の性能が改善することも示されています。

Ocean Monjur, Daud Ahmad Nisar, Shahriar Kabir Nahin ほか

arXiv cs.AI

LSA-PAST: Layer-Specific Adaptation and Prototype Transport for Compositional Incremental Learning

説明LSA-PAST:合成的増分学習のための層別適応とプロトタイプ輸送の手法

要約本論文は、状態と物体などの基本要素の組み合わせで視覚概念が成り立つ合成的増分学習を扱います。凍結したViTに深さ別の LoRA アダプタを組み込み、リハーサル不要のアフィン変換で、固定された過去のプロトタイプを現在のアダプタ空間へ写像するLSA-PASTを提案しています。実験では、精度と忘却のトレードオフにおいて最先端の性能が示されています。

Kyle Stein, Andrew Arash Mahyari, Guillermo Francia III ほか

arXiv cs.CL

The Culture Within: Towards Mechanistic Understanding of Cultural Reasoning in LLMs

説明文化の内側:LLMにおける文化的推論の機構的理解に向けて

要約本論文は、75か国、9,261件のシナリオからなるベンチマーク CultureLens を提案し、大規模言語モデルが文化情報をどう使うかを検討している。反対の規範を示すと、整合した回答が32〜47ポイント低下することが示された。反対の規範の例を含めた教師ありファインチューニングにより、未見の国を含めて整合した回答が回復することが示されている。

Samee Arif, Furkan Danisman, Angana Borah ほか

arXiv cs.CL · cs.SD

Preference-Aware Pareto Steering for Multi-Task Speech LLMs

説明多タスク音声LLM向けの選好考慮型パレート制御手法

要約音声大規模言語モデルは音声認識、タイムスタンプ予測、音声翻訳などの複数タスクを実行します。共同学習ではタスク間のトレードオフが生じますが、損失の重みを固定する標準的な学習では、そのトレードオフを運用上の選好に合わせて制御できません。本論文は、各タスクの参照値に対する現在の性能を追跡し、学習の進行に応じて重み付けを適応させるEA-SURFを提案します。六つの三目標の要求に対する実験では、目標へ収束し、固定損失重みと比べて端点を含む正規化ハイパーボリュームが17.8%向上しました。

Liuyuan Jiang, Vishal Sunder, Samuel Thomas ほか