AI アルゴリズム · 2026年10月1日(木)

機械学習、人工知能、自然言語処理、コンピュータビジョン、マルチエージェント。

arXiv cs.LG

Fixing a Model That Learned Worse Cancer Means Lower Risk: Monotonic Constraints in Bladder Cancer Recurrence Prediction

説明学習結果が逆転したがんモデルの修正:膀胱がん再発予測における単調性制約

要約英国の多施設試験BOXITの435名の膀胱がん患者を対象とした研究で、制約のないXGBoostモデルが、腫瘍ステージや上皮内がんが高いほど再発リスクが低いという、医学的常識と逆の関係を学習していたことを示しています。著者らは反事実による方向検定と単調性制約を提案し、識別能を損なわずにこの逆転を解消しました。結論として、このような検定は臨床導入前に定期的に行うべきだとしています。

Saram Abbas, David Thomas, Naeem Soomro ほか

arXiv cs.CV · cs.RO

Lang3DSeg: Annotation-Free Open-Vocabulary 3D Segmentation with Point Transformers

説明Lang3DSeg:点群トランスフォーマによるアノテーション不要のオープン語彙3Dセグメンテーション

要約本論文はLang3DSegを提案し、屋外LiDARの3D点群に対して、人手による注釈なしでオープン語彙の意味セグメンテーションを行うための主幹としてポイントトランスフォーマを用います。幾何学的な事前学習は行わず、ゼロから学習します。2Dから3Dへのラベル投影で生じる奥行きの曖昧さに対し、明示的なクラス優先規則でマスクを合成し、各投影インスタンスを深度分布の最初の隙間で切り捨てます。nuScenesの検証セットで52.8%、SemanticKITTIで41.4%のmIoUを達成し、単一のLiDARスイープ上でリアルタイムに推論できます。

Cigdem Kokenoz, Amir Salarpour, Alkim Domeke ほか

arXiv physics.soc-ph · cs.AI · cs.LG

Strategic Governance of AI Models in Earth Science

説明地球科学におけるAIモデルの戦略的ガバナンス:予測精度を超える物理的信頼性の評価

要約気象・気候データで事前学習されたAI基盤モデルが、天気予報にとどまらず地球科学の様々なタスクに微調整されて使われつつあります。しかし科学界がその評価を行う速度は、普及の速さに追いついていません。既存の評価は参照データとの一致度がほとんどで、モデルが予測対象を支配する物理過程を表現しているかは問われていません。論文は、学習データ、微調整、振る舞い試験、機構的解釈可能性、出力検証にわたる五つの物理評価の優先事項を示し、AI対応の評価データセットの公開、物理ベース評価の共通報告基準、モデルの安全性に関する専門研究の三点を提言しています。

Makoto Kelp, Amirhossein Arzani, Patricia Castellanos ほか

arXiv cs.CL · eess.AS

Child-Adapted Structured Phonological Representations for Interpretable Speech Sound Analysis

説明子どもの音声に適応させた構造化音韻表現による解釈可能な音声分析

要約本論文は、PhonoQ-2.0を子どもの音声に適応させ、CHILDES整列データを用いて3種類の整列監督条件と2種類の初期化方法を比較したものです。58名の定型発達児童の1,352個の子音対象を、人手による注釈と照合して評価しています。子どもの音声への適応により、有声性の認識マクロF1は、成人向けPhonoQの0.922から0.972〜0.987に向上しました。調音様式は整列監督の影響を受けやすい一方、調音位置は各システム間で比較的安定していました。

Abner Hernandez, Tom\'as Arias Vergara, Andreas Maier ほか

arXiv cs.CV · cs.LG

SmoothOperator: Enhancing Representations for Fine-grained Open-set Recognition via Modulated Label Smoothing

説明SmoothOperator:変調ラベル平滑化による細粒度オープンセット認識の表現強化

要約本論文は、オープンセット認識(OSR)で用いられる球面表現学習の目的関数を分析し、ラベル平滑化がアライメント項を調整するダイヤルとして働くが、全サンプルに同じ係数を適用している点を指摘します。著者らは、各サンプルの所属クラスが最も強い競合クラスに対してどれだけ際立っているかという「顕著性」に基づいて平滑化係数を設定する、プラグイン型のSmoothOperator(SmoothOP)を提案しています。これは既存の4つの球面表現学習手法に、わずかな学習コストで組み込めます。意味的シフトベンチマークでは、改良版が元の目的関数を概ね上回り、AUROC、OSCR、閉集合精度で最大4.7%の向上が報告されています。

Thiru Thillai Nadarasar Bahavan, Yu Xia, Sachith Seneviratne ほか

arXiv cs.AI · stat.ML

Learning Multiple Timescales for Goal-Conditioned Reinforcement Learning

説明目標条件付き強化学習のための複数時間スケール学習

要約本論文は、長期的タスクにおけるオフライン目標条件付き強化学習の困難に取り組み、一般化暗黙的時間抽象(GITA)を提案する。GITAは単一の価値関数を抽象ステップ数kで条件付け、複数のk値にわたって優位性で重み付けされた教師信号を集約して一つの方針を学習し、局所的な分解能と長距離の信号を同時に保持する。OGBenchでは、HIQLに対して平均成功率が25ポイント、固定kのOTAに対して7ポイント向上した。

Pedro Robles Dutenhefner, Dikshant Shehmar, Wagner Meira Jr. ほか

arXiv cs.CV · cs.AI

Geometric Similarity in VLM Low-Level Vision Representations

説明VLMの低レベル視覚表現における幾何学的類似性:タスクやアーキテクチャをまたいで表現構造が共有されるかを調べた研究

要約本論文は、視覚言語モデル(VLM)が低レベル視覚タスクで隠れ層の表現をどのように組織化するかを、自己回帰モデルと拡散Transformerの二つのアーキテクチャについて調べたものです。著者らは、大域的類似度、局所幾何、スパース特徴分解、位相的検証の四つの観点から表現を分析するGeoSimフレームワークを提案しています。結果として、低レベル視覚表現の組織原理と、タスク間・モデル間の一致における限界が示されています。

Shao-Jun Xia, Huixin Zhang, Zhen Lei ほか

arXiv cs.AI

MintFlow: Minimal Trajectory Intervention for Constrained Flow Matching

説明MintFlow:制約付きフローマッチングのための最小軌道介入手法

要約本論文は、フローマッチング生成モデル向けの学習不要な制約付きサンプリング枠組みMintFlowを提案している。事前学習済みのフロー軌道の中間状態に最小限の摂動を加え、その後の変化が目標制約を満たすようにする。フロー場は変更しない。随伴定式化により摂動の閉形式解が得られ、介入時刻も適応的に選択される。生成視覚タスクと物理系モデリングの課題で、既存手法より元の生成分布を保ちつつ制約を満たすと報告している。

Yesom Park, Kelvin Kan, Qifan Chen ほか

arXiv cs.CL · cs.AI

Contextual trajectory and incremental contextual displacement: Towards using LLMs to understand dynamic, utterance-specific meaning construction

説明文脈軌跡と増分的文脈変位:大規模言語モデルによる発話ごとの動的な意味構築の理解に向けて

要約本論文は、文に単語を一つずつ加えるたびに各トークンの文脈化単語埋め込み(CWE)を再計算し、発話の展開に伴う表現の変化を表す逐次的な増分軌跡を構築する手法を提案している。ガーデンパス文を検証例とし、臨界領域での処理の乱れなど既知の特徴を再現し、曖昧な文を対応する非曖昧な対照文と確実に区別できることを示した。さらに、曖昧性に関する情報は文レベルのCLS表現だけでなく通常の語彙トークンからも取り出せることが報告されている。

Grayson Wycliffe Storer, Julia Witte Zimmerman

arXiv cs.LG · cs.AI

SHARPO: Segment-Level Credit Assignment for Agentic Reinforcement Learning

説明SHARPO:エージェント型強化学習のためのセグメント単位のクレジット割り当て手法

要約本論文は、多段階の対話タスクを実行する大規模言語モデルエージェントを訓練するためのSHARPO手法を提案します。GRPOを基に、環境と接するセグメントごとに教師モデルと生徒モデルの対数確率差を計算し、それに基づいて有界なアドバンテージの重み係数を生成することで、セグメント間で信用の配分を変えられるようにします。Qwen2.5-7B-Instructを用いた実験では、ALFWorldとWebShopのベンチマークでGRPO、SDAR、RLSD、StepOPSDなどのベースラインを上回ったと報告されています。

Xinchen Du, Zhengze Zhou, Wenhui Zhu ほか

arXiv cs.LG · cs.AI · cs.CV

PLDiv: Measuring Dataset Diversity and Semantic Collapse via Persistence Landscapes

説明PLDiv:永続性ランドスケープによるデータセットの多様性と意味的崩壊の測定

要約本論文は、永続性ランドスケープ(persistence landscapes)に基づく多様性指標PLDivを提案し、幾何学的表現からデータセットの構造的な組織を捉えます。近傍のサンプルが順に結びつくにつれてデータ近傍がどう変化するかを要約し、タスク固有の教師なしで解釈可能な構造的多様性のスカラー値を得ます。著者らは、テキスト生成や画像埋め込みの多様性測定、指示データセットや推論軌跡における意味的崩壊の検出で、評価したベースラインと競合する性能を示し、意味的崩壊時の多様性ラベルとも強く一致すると報告しています。

Yang Ba, Michelle V. Mancenido, Rong Pan

arXiv cs.LG

TrueMuse: A Benchmark for Data Attribution in Text-to-Music Models

説明TrueMuse:テキストから音楽を生成するモデルにおけるデータ帰属のベンチマーク

要約本論文は、テキストから音楽を生成するモデルのためのデータ帰属(データ帰属、attribution)用の制御されたデータセットおよびベンチマーク「TrueMuse」を提案しています。精選された帰属用サンプルで3つの拡散ベースモデルをファインチューニングし、各サンプルが学習に含まれているかを既知にしています。旋律構造、音色、アーティストの作風、ジャンルの共通パターンの4設定で既存のブラックボックス帰属手法を評価した結果、帰属は依然として難しく、設定によって手法の性能が大きく変動することが示されました。

Jiawei Yu, Jian Liu

arXiv cs.AI · cs.MA

Kepler: Auditable World Models for ARC-AGI-3

説明Kepler:ARC-AGI-3 向けの監査可能な世界モデル

要約本論文は、環境のルールに関する仮説を実行可能な世界モデルとして表現し、遡及的な遷移検証と条件付き予測検証で検証するオープンソースのハーネス Kepler を提案します。凍結した Claude Opus 5 の構成で、Kepler は公開 25 ゲームすべてでサーバー検証済みの 100.00 RHAE を達成したと報告されています。また、3 種類の評価上の失敗事例も挙げられており、公開問題セットのスコアだけでは識別力が限られると論じています。

Wensen Wu

arXiv cs.CL · cs.LG コードあり

VERITYGATE: A Four-Gate Schema-Level Faithfulness Framework and Paired Benchmark for Grounded LLM Narrations over Structured Evidence

説明VERITYGATE:構造化証拠に基づく LLM 説明の忠実性を4段階で検査する枠組みとベンチマーク

要約本論文は、構造化システムが示す証拠に LLM の説明が従っているかを、宣言された証拠ID・実体・数値・主張タイプの4段階で検査する VERITYGATE を提案します。固定スキーマのみを検査し、文章中のすべての事実を検証するものではありません。GPT-4o-mini、Llama-3.3-70B、Claude Sonnet 4.6 で各設定900件を試し、修復後は主張の残存率が上がるものの出力量は一様に変わりません。コードとデータも公開されています。

Sachin Gupta

arXiv cs.LG

AnyJev Technical Report

説明AnyJev技術報告:学習不要で、言語モデルの一回の前向き計算から選択肢の確率判定を読み取る手法

要約本報告はAnyJevを紹介します。これは事前学習済みの指示調整型言語モデルの一回の前埋め(プリフィル)から、固定された選択肢の中の判断を確率として読み取る手法で、勾配更新やパラメータ変更は行いません。ラベル事前分布をラベルなし入力から推定して除算し、選択肢リストのK個の巡回回転にわたって対数確率を平均することで、ラベルの偏りと位置の偏りを補正します。また、必要な前埋めの回数を減らす停止規則も含まれます。原文では、2つの20選択肢タスクで回転により順序反転率が下がり、多くのモデルで正答率が向上したと報告されています。コードはオープンソースで公開されています。

Jiamu Zhang, Tianze Yang, Yucheng Shi ほか

arXiv cs.CL · cs.AI

Verbalized and Internal Probabilities Are Coupled in Large Language Models

説明大規模言語モデルにおける言語化された確率と内部確率の結合

要約本論文は、大規模言語モデルの内部確率(各回答を生成する際のサンプリング分布)と、言葉や数値で表明された確信度が一致するかを検討しています。学習データおよび文脈内データの不確実性源に介入し、両方の確率の読み出し値がどう変化するかを系統的に調べています。その結果、両者は学習データにおける分布的な不確実性と断定的な不確実性の双方から影響を受けること、また両者の一致は同じ不確実性源を別々に追跡した場合に予想される以上に強いことが示され、言語化された確率がモデルの内部分布の探針として使える可能性が示唆されています。

Sinead Williamson, Jiaxuan Li, Nick Foti ほか

arXiv cs.CV

Align Then Reason: A Multimodal Lip-Sync Judge for Dubbing

説明「まず整列、次に推論」:吹き替え向けマルチモーダル口唇同期判定モデル

要約本論文は吹き替えの品質管理のための手法Align Then Reason(ATR)を提案する。無音の映像と候補台詞のテキストだけを使い、台詞の内容と発話タイミングが話者の口の動きと一致するかを判定する。まず口の動きのフレーム表現と候補台詞の音素単位を単調に整列させ、その結果をもとに大規模言語モデルが推論する。7言語のベンチマークで、Qwen3.5 SFTベースラインに対し平均AUCが2B、4B、9Bの各推論モデルでそれぞれ59.4%、50.2%、50.8%向上した。

Rui Liu, Bhavin Jawade, Haoqi Li ほか

arXiv cs.CL · cs.AI · cs.LG コードあり

Component and Dimension Sparsity in Transformer Refusal Mechanisms

説明Transformerの拒否機構におけるコンポーネントと次元のスパース性について

要約本論文は、大規模言語モデルの活性化ステアリング(activation steering)が内部活性化への介入によって拒否行動をどのように変えるかを、機構レベルで調べたものです。4つのオープンウェイトモデルで、拒否ステアリングを注意機構とMLPのコンポーネント単位に分解し、その一部だけで全体の行動効果を再現できることを示しています。その割合は上流コンポーネントの28~48%で、ステアリング効果の88~101%を保持するとされています。さらにその内部では、残差ストリームの約50%の次元に信号が集中するとされています。

Vincent Siu, Glenn Grant-Richards, Vlad Pavlovich ほか

arXiv cs.LG · cs.AI · stat.ML

Rotate the Loop: Blockwise Conformality for Looped Transformers

説明ループを回す:ループ型Transformerのためのブロック単位共形性

要約ループ型Transformerは、一つの共有ブロックを多数の再帰ステップで再利用し、深さを異なる層の積み重ねではなく、実行時に配分できる量として扱います。本論文は、ループが状態を追跡できるかどうかは、ステップ間の残差に適用される線形写像の形式に関する幾何学的問題であると主張します。提案手法のブロック単位共形注入(blockwise conformal injections)では、残差を座標に沿ったグループに分割し、各グループ内で回転させることで、グループごとに異なる時間スケールを持たせます。実験では、接頭辞の残りが正しい状態での末尾トークン精度を含む状態追跡課題と、系列末尾で以前に書き込まれた信号を取り出す必要がある言語モデリングの両方で性能向上が示されています。

Alexey Zemtsov, Albina Klepach, Vadim Lomshakov ほか

arXiv cs.LG · cs.AI

On-the-fly Weight Generation: A Hypernetwork Proof of Concept on ARC-1D

説明オンザフライ重み生成:ARC-1D におけるハイパーネットワークの概念実証

要約本論文は、少数のデモンストレーションから専門モデルのパラメータを直接生成する手法を提案し、ARC-1D を制御されたテスト環境として用いています。個々の変換は小型の専門モデルで表現でき、ハイパーネットワークが文脈からそのパラメータを生成できることを示しています。生成された専門モデルは部分的な組み合わせ汎化を示し、訓練中に見ていない変換にも汎化しました。

Fabio J. Fehr, Philip Torr

arXiv eess.SP · cs.LG

PI-AMFM: Permutation-Invariant Learning for Variable-Cardinality AM-FM Mode Decomposition in Biomedical Signal Analysis

説明PI-AMFM:生体医学信号解析における可変数モード分解の順序不変学習手法

要約本論文は、生理信号に含まれる数の変化する非定常振動成分を分解するための順序不変ニューラルネットワーク枠組みPI-AMFMを提案しています。多スケール時間エンコーダ、Mamba基盤、成分の存在推定を組み合わせ、学習時には順序不変のハンガリアン法によるマッチングを用いています。著者らは、合成AM-FM信号において分解・瞬時周波数・再構成・モード数の誤差が比較手法より小さいと報告し、合成信号のみで学習した場合でも光電脈波記録から心拍および呼吸の動態を捉えられたとしています。

Youngsun Kong, Ki H. Chon

arXiv cs.LG

Quantifying the Impact of Ambulance Ramping: A Multi-Year Analysis of Victorian Emergency Medical Services Cases

説明救急車の搬送先引き渡し遅延(ランピング)の影響定量化:ビクトリア州の複数年事例分析

要約本論文は、オーストラリア・ビクトリア州における2020年1月から2024年3月までの約285万件の救急出動記録を分析し、救急車が病院で患者を引き渡すまでの遅延(ランピング)に焦点を当てています。累積の損失救急車時間は約149万時間に上り、遅延は2022年にピークに達した一方、搬送需要は減少していました。引き渡し時間は患者の緊急度との関係は小さい一方、直前1時間に同じ病院へ到着した救急車の数が増えると長くなることが示されました。著者はこれらの結果が、病院の状況を考慮した救急車ルーティングの実証的基盤になると述べています。

Ayesha Tanveer, Khandakar Ahmed, Assefa Teshome ほか

arXiv cs.DB · cs.AI · cs.CL

TabJoinBench: A Benchmark for Joinable Table Discovery

説明TabJoinBench:結合可能なテーブル発見のためのベンチマーク

要約本論文は、テーブル結合発見手法を評価するためのベンチマーク TabJoinBench を提案しています。意味的、関係的、ハイブリッドなデータレイク環境を対象とし、構成可能な摂動によってクエリと候補テーブルのペアを作成し、信頼できる正解データを保ったまま構造、表現、意味の変化を加えます。集合ベース、特徴量ベース、学習ベースの代表的手法と汎用言語モデルの埋め込みベースラインを評価し、処理済みデータセット、正解アノテーション、生成パイプラインを公開しています。

Sandipan De, Jin Wang, Vivek Gupta

arXiv cs.LG · cs.AI

Training-Aware Target Coverage for Synthetic Data Selection

説明学習を考慮したターゲット被覆による合成データ選択(TATC)

要約合成データは大規模言語モデルの学習に使われるが、量を増やせば良いモデルになるとは限らない。本論文は線形理論でそのトレードオフを分析し、合成データが有用になる条件と追加量の目安を示す。これに基づき、目標タスクに有益な候補を選び、既存データで十分表現されていない方向を広げる選択手法TATCを提案している。数学推論タスクでは、GSM8K において複数の選択予算で他の手法より高い性能を示したと報告されている。

Yang Ba, Michelle V. Mancenido, Rong Pan

arXiv cs.CV · cs.AI · cs.LG

Video Generation Models: A Survey of Post-Training and Alignment

説明動画生成モデルのポストトレーニングとアラインメントに関するサーベイ:事前学習済みモデルを人の意図に沿わせる方法の整理

要約本論文は、動画生成モデルのポストトレーニングとアラインメントを扱う初の包括的なサーベイです。事前学習済みの動画モデルは、人の意図への追従、時間的一貫性の維持、物理・安全上の制約の充足を安定して行えない場合があると指摘しています。既存手法を、教師ありファインチューニング、自己学習と蒸留、選好・報酬ベース、推論時の四つに分類し、データセットや評価手法もまとめています。

Chaoyu Li, Xiaoyi Gu, Yogesh Kulkarni ほか

arXiv cs.LG · cs.AI · stat.ML

Can We Trust This Evaluation? Instance-Level Reliability of LLM-as-a-Judge

説明この評価は信頼できるか?LLM審査員による個別事例ごとの信頼性

要約論文は、LLM-as-a-judge評価が複数の審査員の判断を多数決で集約するものの、個々の項目の評価が信頼できることは保証されないと指摘しています。著者らは、審査員パネルの振る舞いに基づき、ラベルなしで個別事例の評価信頼性を推定する手法SCUR(Structured Cross-fitted Uncertainty Risk)を提案しています。審査員の不確実性、測定の交差エントロピー、摂動感度の3つの信号を組み合わせてリスクスコアを算出し、5つの実世界ベンチマークで検証しています。特に、多くの既存手法が見逃す高合意のリスク項目の検出に優れていると報告されています。

Yang Ba, Michelle V. Mancenido, Rong Pan

arXiv cs.CV · cs.CL · cs.SI

Paying for Too Many Tokens? Valid and Cost-Efficient Multimodal LLM Annotation with Simple Heuristics

説明トークン代の節約:単純なヒューリスティクスによる有効で低コストなマルチモーダルLLMアノテーション

要約本論文は、視覚言語モデルで短尺動画に注釈を付ける際、フレーム抽出、画像グリッド化、単一モダリティ利用などの手法でコストを抑えつつ、下流の研究結論が保たれるかを検証します。感情分類と話題分類の二つの計算社会科学タスクで評価を行いました。その結果、最も精度の高い設定が誤った結論を導く場合があること、テキストのみでも高い性能が得られること、2×8の画像グリッド一枚で全動画理解とほぼ同等の一致度を、トークンコストの約15%で実現できることが示されました。これらに基づき、コストを考慮した注釈のガイドラインが提案されています。

Zhixi Zhu, Kristina Gligoric

arXiv eess.IV · cs.CV

Spatially Gated Diffusion for Localized Counterfactual Chest Radiograph Editing

説明空間ゲート付き拡散による胸部X線の局所的反事実編集

要約本論文は、胸部X線画像を編集する潜在拡散モデルを研究し、学習されたゲートで二つの生成経路を統合し、画像空間のマスクで元画像と合成して無関係な領域を保持する手法を提案している。MIMICに由来する2,400件の依頼のうち93.5%の出力が目標・保存・品質・網羅性の基準を満たし、目標達成率は97.4%であった。合成のみの対照条件と比べ、総合的有効率は1.7ポイント高かった。

Kamran Ullah Afaq, Basit Raza

arXiv cs.CL

Can large language models unlock discrete data in ophthalmic diagnostic reports?

説明大規模言語モデルは眼科診断報告書の離散データを活用できるか?

要約本研究は、GPT-4o を用いた2種類のプロンプト戦略により、眼科診断PDF報告書20件(視野、緑内障OCT概要、網膜神経線維層OCT、OCT厚み マップ各5件)から構造化データを抽出し、人手で作成した基準データと比較したものです。両方式とも数値の正確性が高く、1件あたりの処理時間は約56.5秒から約5秒へ、約92%短縮されました。著者らは、正確性と形式の整合性を両立させる混合型ワークフローのさらなる評価を支持しています。

Umair A. Zaidi, An-Lun Wu, Wei-Chun Lin ほか

arXiv stat.ML · cs.LG

Inference for stochastic differential equations driven by weighted sub-fractional Brownian motion using neural networks and the Euler approximation

説明重み付き劣分数ブラウン運動で駆動される確率微分方程式の、ニューラルネットワークとオイラー近似による推定

要約本論文は、ガウス過程で駆動される確率微分方程式の離散観測から、ドリフト、拡散、ノイズ共分散を推定する手法を扱う。オイラー近似で観測された遷移からガウス駆動増分を再構成し、その同時密度を用いて軌道尤度を得る。ドリフト、拡散、正規化された時間重みはニューラルネットワークと動径基底関数でモデル化し、共分散指数と拡散スケールは尤度プロファイルで推定する。20種類の係数設定で、同一のシミュレーション軌道を用いて二つのニューラル代替手法と比較している。

J. H. Ramirez-Gonzalez

arXiv cs.AI · cs.IR

Enterprise Representation Simplification (ERS): Reducing Representational Complexity for Enterprise AI

説明企業表現の簡素化(ERS):企業AIのための表現の複雑さの低減

要約本論文は、定められた範囲内で必要な情報を保ちつつ、不要な表現の複雑さを減らす「企業表現の簡素化(ERS)」を提案し、表現形式に依存しない「企業表現の複雑さ(ERC)」モデルを示します。ERCは、対象・相互作用・振る舞い・支援ソースの4つの次元で表現の広がりを測ります。また、表現構造が生む保守などのライフサイクル費用と、タスクレベルのERC低減がAIの推論を助ける可能性について論じ、その根拠としてText-to-SQL研究を挙げています。ERCは汎用的な複雑さ・性能・コストの指標ではないと明記されています。

Terry Dorsey, Kevin Huggins

arXiv cs.CV

VTV-FM: Flow Matching through Variational Terminal-Velocity Closure

説明VTV-FM:変分終端速度クロージャによるフローマッチング手法

要約本論文は、単純な元分布からデータ分布への生成輸送を学習する二次のフローマッチングフレームワークVTV-FMを提案している。静的データで欠けている終端速度を加速度エネルギーの最小化によって導出し、閉形式のクロージャを得る。同じ変分構成により、最適輸送(OT)のペアリングコストと学習用の加速度目標も定義される。著者らは、低次元データセット、偏微分方程式で支配される物理場、CIFAR-10での実験において、一次および高次のフローマッチングのベースラインに比べ、輸送の幾何と生成品質が改善したと報告している。

Haoyang Jiang, Yuheng Li, Di Yang ほか

arXiv cs.CL

Effective Synthetic Data Curation Requires Group-Level Signals

説明効果的な合成データの選別にはグループレベルの信号が必要であることを示す論文

要約本論文は、大規模言語モデルの学習に使う合成データを選別する際、個々のサンプルを単独で評価する信号では不十分で、サンプル同士の相互作用を考慮したグループレベルの信号が必要だと主張します。合成データの割合が高い学習パイプラインほど、グループレベルの信号を取り入れた手法だけがベースラインを上回ることを示しています。さらに、計算コストを抑えつつグループレベルの評価の利点の多くを得られる簡易な診断法も提案しています。

Cathy Jiao, Chenyan Xiong

arXiv cs.LG

Learning Goal-Reaching Quasimetric Geometry From Finite-Time Reachability

説明有限時間到達可能性から目標到達型の準距離幾何を学習する手法

要約本論文は、目標条件付き強化学習(GCRL)において、評価関数の勾配を有限時間ホライズンの到達可能性で制約する ReQRL を提案している。状態制約付き最適制御の考えに基づき、動力学的な到達可能性と境界幾何を分離し、それぞれをデータから推定する。著者らは OGBench 上で、既存の準距離学習手法および他のオフライン GCRL 手法を上回るか同等の性能を示したと報告している。

Daisuke Yamada, Travis Pence, Vikas Singh

arXiv cs.LG

Localizing Transfer Between Memorization Tasks

説明記憶タスク間の転移を局在化する:ランダムな写像の事前学習が別タスクを助ける仕組み

要約本論文は、ランダムな入出力写像を記憶するタスク同士の転移学習を調べています。事前学習の1エポックごとに、後続の微調整でおよそ1エポック分が節約される「等価な転移」と、対応しないタスクでの事前学習が下流タスクを直接学習するより効率的になる「非等価な転移」という二つのパターンを報告しています。アブレーション実験により、転移を最終層の大きさに基づく「自明な」転移と、他の層の共分散に部分的に由来する構造に基づく「非自明な」転移に分解しています。

Yimiao Yu, Florentin Guth

arXiv cs.LG · cs.AI · cs.CL

Pre-training interventions, ex post facto: Grafting model beliefs across checkpoints

説明事前学習後の介入を後から行う:チェックポイント間でのモデル信念の移植

要約本論文は、事前学習の段階を経ずにモデルの信念を変える「グラフティング(移植)」手法を提案しています。事前学習済みチェックポイントで合成文書ファインチューニング(SDF)のアダプターを学習し、その重み更新を事後学習済みモデルに加えます。複数のモデル系列(最大284Bパラメータ)で、虚偽事実の植え付けや誤って整合されたモデルの訓練、中間学習での介入を検証したと報告されています。平均して現実ドリフトと選好の一貫性の喪失を半分以上減らし、信念の植え付け強度は事後学習モデルへの直接SDFと同等だとしています。

Peter Nutter, Dani Roytburg, Cl\'ement Dumas ほか

arXiv cs.LG · stat.ML

Scalable Multi-Task Inverse Reinforcement Learning

説明スケーラブルなマルチタスク逆強化学習:複数エージェントのデータから転移可能な報酬を学習

要約本論文は、同一環境で異なる報酬を持つ複数エージェントのデータを低ランク仮定のもとで統合する、マルチタスク逆強化学習(IRL)手法を提案します。各タスクがすべての状態を訪れる必要がないため、状態カバレッジへの要求が緩和されます。計算量は、タスク数ではなくランクに比例して増加します。報酬復元と新環境での方策学習について有限標本保証を与え、実験では限定的なカバレッジに対する頑健性と、基準手法より低い転移後悔が示されています。

Allen Tran, Jia Wan, Nathan Kallus ほか

arXiv cs.CV

Video Evidence Indexing: Learning Where to Look from Video Previews for Token-Budgeted Long-Video Question Answering

説明動画証拠インデキシング:ビジュアルトークン予算内で長尺動画QAのため、プレビューからどこを見るべきかを学習する手法

要約長尺動画の質問応答は、視覚トークンのコストが高いことと、現在のVLMの文脈幅が固定であることに制約されます。本論文は、トークン予算付きのVideo Evidence Indexing(VEI)を提案します。低解像度の密なVideo Previewから、最終推論に用いる高解像度のEvidence Setをコンパクトに構築します。さらに特権的自己蒸留を用い、回答を知る教師が学生の索引化過程を導きます。限られた視覚予算下で精度が向上し、自己蒸留により質問応答精度と時間的証拠の特定も改善したと報告されています。

Haowen Guan, Shengzhi Li, Shichao Pei

arXiv stat.ML · cs.LG · stat.AP

Learning to Price Electricity for Optimal Demand Response

説明需要応答の最適化に向けた電力価格の学習:文脈情報を使う神経網ベースの価格設定

要約本論文は、ニューラルネットワークを用いた文脈依存型の電力価格設定アルゴリズムを提案します。価格設定をシュタッケルベルクゲームとしてモデル化し、Mehrabi et al.(2024)の平均場解の表現を利用しています。天気予報、日の出・日の入りの時刻、曜日などの文脈特徴から、制約を満たす価格シグナルへの写像を学習します。米国の複数都市の電力網をシミュレーションして検証し、文脈情報を取り入れることで需要応答プログラムの価値が大きく高まることを示しています。

Jing Shang, Mohammad Mehrabi, Xinyang Zhou ほか

arXiv cs.LG · cs.AI · cs.CV

Increasing Width Allows Greedy Layer-wise Training to Rival End-to-End Backpropagation in Self-Supervised Learning

説明幅を広げると、自己教師あり学習で逐次貪欲学習が誤差逆伝播並みになることを示す研究

要約本論文は、自己教師あり学習において、ネットワークの幅と深さが畳み込みネットワークの逐次貪欲学習(greedy layer-wise training)と端から端までの学習の効果にどう影響するかを調べています。ネットワークが広いほど、誤差逆伝播による端から端までの学習の優位性は小さくなり、比較的浅く非常に広いネットワークでは逐次貪欲学習の方が高い性能を示すこともありました。これらのネットワークが形成する表現の幾何構造がより望ましいことが、その改善の一因として示唆されています。

Syon Mansur, Joel Zylberberg

arXiv cs.LG · cs.CV · stat.ML

Signal-Noise Factorization Isolates Nuisance Variation into Removable Subspaces

説明信号・ノイズ因子分解:擾乱変動を除去可能な部分空間に分離する

要約本論文は、学習中に表現の信号・ノイズ因子分解(SNF)と信号・信号因子分解(SSF)を強化する正則化手法を提案しています。CIFAR-100で、L2正則化のベースラインと比較したところ、SNFの強化は性能を向上させましたが、SSFの強化では向上しませんでした。五段階の劣化を加えたBloodMNISTでは、SNF正則化による性能向上がより大きくなりました。ノイズ方向を射影除去すると精度が大きく向上し、カテゴリ変数の分解を保つことより、擾乱変数を分離することが重要だと示されています。

Sakin Kirti, Joel Zylberberg

arXiv cs.CV

What Do Verifiable Rewards Teach Video-Language Models About Time? A Controlled Multi-Model Study

説明検証可能な報酬はビデオ言語モデルに時間について何を教えるか:制御された複数モデルによる研究

要約本論文は、検証可能な報酬による強化学習(RLVR)で四つのオープンな動画言語モデルを微調整し、合成データ、自己教師あり学習の実動画データ、両者の混合という三つの学習方式を比較しています。合成データのみで学習すると実動画での精度が大きく低下するが、実際の検証可能な質問を加えるとこの低下は解消されます。また、性能向上の多くは映像情報によらないものであり、どの学習方式もフレームの時間順序を理解するには至っていないと報告しています。

Avyay Sadhu, Patrick Cooper

arXiv cs.CV · cs.GR

What Builds the Scene? Luminance Dominates Geometry Formation in 3D Gaussian Splatting

説明シーンを作るのは何か?3Dガウススプラッティングにおける輝度による幾何形成の支配

要約本論文は、標準的な3Dガウススプラッティング(3DGS)において輝度と色度がそれぞれ幾何形成にどう寄与するかを研究しています。チャンネルごとの監督で学習し、位置・スケール・回転・不透明度を固定したうえで、未見画像の再構成品質を比較します。輝度のみで学習した幾何は、RGBで学習した幾何より平均0.085 dB低い結果となり、色度のみの監督では幾何がさらに大きく劣ります。

Rezvan Joshaghani, Steven Cutchin

arXiv q-bio.BM · cs.LG

StabilityArc: Decoding Protein Sequence Embeddings into Generalizable Stability Landscapes

説明StabilityArc:タンパク質配列埋め込みを汎化可能な安定性ランドスケープへ解読する手法

要約本論文は、複数のタンパク質に共通のデコーダを用いて、残基表現から置換による安定性への影響行列を推定するStabilityArcを提案します。同時置換の相互作用(エピスタシス)には、接触を考慮した対称な残差項で対応します。66回の厳密な留め置き評価(ProteinGymの134,794変異体)で、Spearman相関0.7134を達成し、最も強いゼロショット基準ProSST-2048(0.6526)を上回りました。さらに、このスコアをKermutの事前分布として用いると、3種類の教師あり分割で0.8280を得て、Kermutの報告値0.8167を改善しました。

Aaron L. Feller, Andrew D. Ellington, Claus O. Wilke

arXiv math.OC · cs.AR · cs.LG

Q-MINO: A Minimal-Norm Method for Quantization-Aware Training

説明Q-MINO:量子化を考慮した学習のための最小ノルム法

要約量子化を考慮した学習(QAT)では直通推定器(STE)がよく使われますが、その代理勾配は量子化された目的関数と大きくずれることがあり、特に超低ビット領域でノイズのある更新やパラメータの振動を招きます。本論文は、勾配の合意、状態ドリフト正則化、整合制約を組み合わせ、直近の最適化状態から安定した最小ノルムの更新方向を構成する最適化手法Q-MINOを提案します。部分問題は実行可能な代替初期化を備えたウォームスタートのFrank-Wolfe法で解かれます。確率的Lyapunov KL枠組みの下で漸近的近傍収束が示され、さまざまな量子化設定での数値実験も報告されています。

Don Li

arXiv cs.CV · cs.AI

Personalized Image Generation with Reasoning and Reflection

説明推論と内省による個人化画像生成:ユーザー履歴から好みに合った画像を作る研究

要約従来の個人化画像生成は、選別された視覚的な例示からの条件付き合成に限られ、利用者自身の特性を捉えきれていませんでした。本論文は、利用者の履歴に基づく個人化画像生成の初の統一ベンチマークを提案し、個人化シーン生成と個人化クリエイティブ生成の二つのタスクと多軸の評価手法を含みます。さらに、マルチモーダル推論器と凍結した画像生成器を、推論と内省のループで結合するPEARLを提案し、両タスクで個人化指標を平均約15%改善したと報告しています。

Bo Ni, Ngoc N. Tran, Qinwen Ge ほか

arXiv cs.LG

Reformulation-Contrastive Learning for Mixed Integer Programs

説明混合整数計画のための再定式化対比学習(ReMILP):等価な書き換えを使った自己教師あり表現学習

要約本論文は混合整数線形計画(MILP)を対象に、問題の等価な再定式化を自己教師あり信号として用い、変数と制約の汎用的な表現を学習する手法を提案しています。変数を変えずに記述し直す「再記述」と、変数を予測可能な形で変換する「置換」を区別しています。提案手法ReMILPは、グラフニューラルネットワークとハイパーネットワークを同時に学習し、変数変換のもとで変数埋め込みがどう変わるかを予測します。著者らは、ソルバーによるラベルを使わずに、未見の問題クラスでも意図された不変性と等変性を示す表現が得られ、二値解、制約の活性、整数性ギャップの予測に有用だと報告しています。

Ousema Bouaneni, Mathis Le Bail, Cl\'ement Elliker ほか

arXiv cs.LG · cs.RO

Reward as Observation: Learning Reward-Based Policies for Rapid Adaptation

説明報酬を観測とみなす:素早い適応のための報酬ベース方策の学習

要約本論文は、報酬と行動のみを条件とする方策によって、観測空間が全く異なる環境へゼロショットで転移できる手法を提案しています。Pointmass、Cartpole、2D Car Racing の3環境で方策を学習し、配色や3D描画などが異なる観測、さらに Habitat-Sim 上の Stretch ロボットのナビゲーションへ、ゼロショットで転移できることを示しています。また、この報酬ベース方策が、目標環境で観測ベース方策の学習を導けることも示しています。

Morgan Byrd, Jacob Blevins, Maks Sorokin ほか

arXiv cs.LG · cs.AI

Benchmarking Generative Models for Near-Surface Data Assimilation on Real Station Observations

説明実際の観測所データによる地表近傍データ同化の生成モデル比較

要約本論文は、米国本土の11,849か所のNOAA MADIS観測所と4つの地表近傍変数を用い、実際の気象観測に基づく生成型データ同化手法を初めて統制下で比較したベンチマークである。データセット、観測演算子、深層学習アーキテクチャを固定し、未使用の観測所での空間的汎化性能を評価している。古典的な3D-Var(3次元変分法)との比較において、最良の生成手法はERA5に対するRMSE改善率で3D-Varを上回った(35.7%対33.3%)。また、全勾配ガイダンスが他の条件付け手法より優れ、観測所が疎な場合に利点が拡大することが示されている。

Ruizhe Huang, Qidong Yang, Jonathan Giezendanner ほか

arXiv cs.RO · cs.LG

CF-JEPA: Improving Robustness of JEPA World Models via Controllability Factorization

説明CF-JEPA:可制御性分解によるJEPA世界モデルの頑健性向上

要約本論文は、JEPA型の世界モデルであるCF-JEPAを提案します。潜在空間を制御可能な部分空間と制御不可能な部分空間に分解し、背景の妨害信号を制御不可能な領域に集約して、タスクに必要な制御関連情報のみを利用します。妨害のない条件では2Dおよび3D制御タスクで同等の性能を示し、妨害のある条件では性能が向上しました。また、妨害条件下でシミュレートされたロボットタスクでも検証を行っています。

Morgan Byrd, Robert Wright, Sehoon Ha

★★★★☆ 注目
arXiv cs.CL · cs.LG

Reason in Style: Discovering and Controlling Style in Language Models

説明スタイルで推論する:言語モデルのスタイルの発見と制御

要約本論文は、言語モデルの出力から内容とスタイルの表現を教師なしで分離するアルゴリズムを提案し、数学問題での有効性を検証しています。九つの教師モデルによる10万件以上の検証済み推論トレースから、六つの繰り返し現れるが偏りのあるスタイルを発見しました。重要度重み付けを用いて小型モデルを微調整すると、六つの数学推論ベンチマークで標準的な微調整より Pass@k が向上し、指定したスタイルと実際のスタイルの対応も確認されています。

注目点モデル出力のスタイルを教師なしで発見・制御し、6つの数学ベンチマークでPass@kを改善しており、新規性と根拠は十分である。

Ioana Marinescu, Eric Karl Oermann, Kyunghyun Cho

arXiv cs.LG

JEPA-TTT: Persistent Test-Time Training of Latent World Models for Planning under Dynamics Shifts

説明JEPA-TTT:動的変化下の計画のための潜在世界モデルの持続的テスト時学習

要約本論文は、事前学習済みの行動条件付き潜在世界モデル(JEPA)の動力学予測器を、テスト時に持続的に更新するJEPA-TTTを提案しています。視覚エンコーダと報酬ヘッドは固定したままです。4つの連続制御環境における8種類の動力学変化で評価され、500エピソードのテスト後、自己回帰潜在予測誤差は平均83%減少し、固定されたJEPA世界モデルに比べ計画性能は153%向上したと報告されています。

Zheyuan Zhang, Suyu Ye, Nakul Agarwal ほか

arXiv cs.GT · cs.AI · cs.MA

Outer Diversity of Condorcet Domains

説明コンドルセ領域の外部多様性

要約コンドルセ領域とは、与えられた候補者集合上の順位付けの集合であり、その領域に属する(奇数の)投票のみからなる選挙では、多数決関係が推移的になるものを指します。本論文では、ランダムな投票から領域内の最も近い順位付けまでの期待交換距離を測る指標として、コンドルセ領域の外部多様性を研究しています。候補者数の少ない極大コンドルセ領域については数値解析を行い、いくつかの特殊な領域については漸近挙動を確立しており、主に理論的な結果が得られています。

Piotr Faliszewski, Jan Jabrocki, Mateusz S{\l}uszniak ほか

arXiv cs.CL · cs.AI · stat.ML

Sequential Functional Structured Tucker Compression for Large Language Model Attentions

説明大規模言語モデルのアテンション向け逐次関数型構造化Tucker圧縮

要約本論文は、大規模言語モデルのアテンションを学習後に圧縮するFTC手法を提案する。固定の記憶容量の下で、Q/K/Vのヘッド構造を同時に活用し、後段の出力投影は圧縮後の表現の変化を考慮して別途扱う。ファインチューニングや勾配ベースの回復は不要である。6Bから32Bパラメータの7つのデコーダ型LLMでの実験では、5つのGQAモデルのすべての保持比率でWikiText-2のパープレキシティが比較手法中で最も低く、強い圧縮ほど改善が大きい。改善は下流タスクにも及び、32B規模でも大きな効果が残った。

Jiangfeng Chen, Xinyu Wang, Tianshuo Yan ほか

arXiv cs.AI

Robust Nash Alignment under Preference Uncertainty

説明選好が不確実な場合のロバストなナッシュアラインメント

要約本論文は、単一の選好モデルに依存する選好ベースのアラインメント手法が、対の選好にノイズや分布変化がある場合に脆弱になる問題を扱います。学習者と敵対的競争者、名目的選好周辺の曖昧性集合に含まれる選好カーネルを同時に考慮するゲーム理論的枠組みを提案し、四者の原始-双対プロキシゲームと単一ループの最適化ミラー降下上昇アルゴリズムを開発しています。平均反復に対して O(1/√T) の収束を示し、表形式ゲームと不確実な選好を伴う LLM アラインメントの実験で名目的ベースラインより優れた性能を確認しています。

Shihab Ahmed, Debamita Ghosh, David Tang ほか

★★★★★ 注目
arXiv cs.LG · cs.IT · math.IT

Parameter-Free Interval-Dynamic Regret under Heavy-Tailed Noise

説明裾の重いノイズ下でパラメータ不要の区間動的リグレット上界

要約本論文は、各ラウンドで不偏の確率的劣勾配を一つだけ得られ、条件付きp次モーメントが未知(1<p≤2)であるオンライン凸最適化を扱います。学習者は既知のパラメータを一切必要としない手法を示し、任意の区間と比較経路に対する期待リグレットの上界を与えます。区間の適応に伴うコストは対数因子として現れます。

注目点未知の雑音モーメント下で、パラメータ不要の区間動的リグレット上界と整合する変更測度下界を示し、理論的寄与が大きい。

Vaneet Aggarwal

arXiv cs.LG コードあり

WOMBAT: Whitebox Oracle for Molecular Benchmarking and Attribution Testing

説明WOMBAT:分子ベンチマークと帰属検証のためのホワイトボックス・オラクル

要約本論文はWOMBATを提案します。これは14種のホワイトボックス型グラフニューラルネットワーク(GNN)からなるベンチマークで、各モデルのメッセージパッシング重みを人手で設定し、特定のSMARTSモチーフを検出するよう作られています。そのため決定ルールは構成上わかっており、説明手法の誤りを検証する正解データとして使えます。研究者はPubChemの分子でモデルを検証し、GNNExplainer、PGExplainer、Integrated Gradientsなどの事後説明手法を評価しています。また、モデルが目的のモチーフを確実に検出しても、Integrated Gradientsの帰属がグラフ全体に広がるモデルを示しています。

Dominik Matuszek, Bartosz Zieli\'nski, Tomasz Danel ほか

arXiv cs.AI コードあり

ReLiveGym: Evaluating Long-Lived Agents over Weeks of Replayed Reality

説明ReLiveGym:実世界データを再生して長期稼働エージェントを評価する環境(数週間にわたり動き続ける大規模言語モデル・エージェントの試験環境)

要約本論文はReLiveGymを提案します。これは、実世界のニュース・市場・SNSのデータストリームを時系列順に数週間分再生し、エージェントが間隔を空けて行動する長期タスクの診断的評価環境です。8種の基盤言語モデルを用いて、モデル選択とハーネス設計が性能に与える影響を調べ、行動のタイミングの決め方が重要な設計軸であり、最適な設計はタスクやモデルによって異なることを示しています。また、事後フィードバックによる継続学習の効果も評価しています。

Xisen Jin, Jingheng Li, Zhenglun Chen ほか

arXiv cs.LG

Beyond Unimodal Bases: Pullback Geometry for Multimodal Data

説明単峰基底を超えて:多峰データのためのプルバック幾何学

要約本論文は、複数の多様体の混合から支持されるデータに対し、潜在ガウス混合に基づくリーマン計量を定義するプルバック幾何学を提案する。計量は責任度で重み付けした期待成分精度行列の行列平方として定めれられ、単一成分の極限では既存のガウス型構成に一致する。これを正規化フローに実装し、適応的混合学習により成分数をデータから決定させる。合成データ、多視点画像、MNIST での実験では、輸送の歪みの低減と補間の現実感の向上が示されている。

Honglei Brinkmann, Lucas Ng, Georgios Batzolis ほか

arXiv cs.LG · cs.AI · cs.CL

Initialization Improves LLM-Driven Discovery

説明初期化がLLM駆動の発見を改善する

要約この論文は、大規模言語モデル(LLM)を反復的に最適化させて、アルゴリズムや定理などを発見する手法を研究しています。作者らは「Modular」と呼ぶ12種類のハーネスを5つの課題で評価し、発見の成否がハーネス設計に敏感であることを示しました。さらに、初期段階で並列探索を行ってから反復最適化を始める初期化手法を提案し、多くのハーネスと課題で一貫した改善を確認しています。

Mansi Sakarvadia, Marco Ciccone, Colin Raffel

arXiv cs.SD · cs.LG

AnchorPrompt: Self-Distilled Soft Prompts for Robust Audio-Language Models

説明AnchorPrompt:頑健な音声言語モデルのための自己蒸留ソフトプロンプト手法

要約大規模音声言語モデル(LALM)は、ノイズや波形の破損、敵対的注入などの入力摂動に敏感です。本論文はAnchorPromptを提案し、モデルを凍結したまま、音声と質問の埋め込みの間に挿入されるプロンプトベクトルのブロックのみを学習します。三つのモデルと三つのベンチマークによる評価では、ほとんどの条件で回答の一貫性が向上し、激しい音声破損下での幻覚も減少することが示されています。

Pooneh Mousavi, Amir Ivry, Mirco Ravanelli ほか

arXiv cs.AI · cs.MA · cs.SY

Meta-Multi-Agent Reinforcement Learning for Fast Adaptation of Interactive Policies with Applications to Autonomous Driving

説明自動運転向け:メタ多エージェント強化学習による対話型方策の高速適応

要約本論文は、多エージェントシステムにおける対話型方策を新しいタスクに素早く適応させるメタ多エージェント強化学習(meta-MARL)の枠組みを提案しています。多エージェント問題をマルコフゲームとしてモデル化し、解の概念として「メタナッシュ均衡(meta-NE)」を定義しています。さらに、勾配ゲームに基づくアルゴリズムの定常点との同値性に関する十分条件を示しています。自動運転タスクでの評価では、事前学習された多エージェント強化学習のベースラインより速く適応できることが示されています。

Huiwen Yan, Kyriakos G. Vamvoudakis, and Mushuang Liu

arXiv cs.LG

SkillSpec: Consensus-Gated Agent Skill Evolution via Representation Specialization

説明SkillSpec:合意ゲートと表現の特殊化によるエージェントスキルの進化手法

要約本論文は、大規模言語モデル(LLM)エージェントが重みを更新せずに再利用可能なタスク知識を保持する自然言語スキルを扱い、SkillSpecという二段階の枠組みを提案しています。第一段階では、対になった評価で合意が得られた場合にのみ更新を採用する合意ゲート方式で進化させます。第二段階では、最適化過程で得られたプロセスと冗長性への感度の信号をもとに、フラット、グラフ、ハイブリッドのいずれかの表現を選択します。六つのベンチマークと三つの対象モデルにおいて、SkillOptと比べて平均成功率が6.89%向上したと報告しています。

Huancheng Chen, Xiaodi Sun, Zhaoqiong Huang ほか

arXiv cs.AI · cs.LG

R-GroundBench: A Diagnostic Benchmark for R-Group Groundingin Markush Molecular Editing

説明R-GroundBench:マーカッシュ分子編集におけるR基定位の診断ベンチマーク

要約本論文は、実際の特許に含まれるマーカッシュ構造から構築した診断ベンチマーク R-GroundBench を提案します。難易度とモダリティを制御した選択式(VQA)課題と、自由記述の生成課題の二種類で構成されています。結果として、簡単な VQA では90%超の正答率を示すものの、ショートカットを抑えた難しい VQA では56〜66%に低下し、生成課題の完全一致率は多くのモデルで20%未満でした。著者らは、現行のAIシステムはマーカッシュ編集における信頼できる定位と実行能力を欠いていると結論づけています。

Xin Wang, Zichuan Ying, Xinna Lin ほか

arXiv cs.LG · stat.ML

TRACE: A Reproducible Benchmark for Electricity Price Forecasting with Official Operational Text

説明TRACE:公式運用テキストを用いた電力価格予測の再現可能ベンチマーク

要約本論文は、米国主要市場の5地域にわたる7,300の地域・日単位のインスタンスからなる再現可能な電力価格予測ベンチマーク TRACE を提案する。各インスタンスは、予測締切時点で入手可能な公式運用テキストと価格を組み合わせたものである。テキストは締切時点で再構成され、締切後情報の漏えいを防いでいる。テキストの意味は価格の主な変動と両端のテールリスクに整合し、時系列基盤モデルでは上側テールのピンボール損失の中央値が7.4%低下した。ただし、日付をずらしたテキストを用いる対照実験では利得が消え、テキストなしの基準を下回った。

Xinyi Yi, Zhangdie Yuan, Ioannis Lestas

arXiv cs.CL · cs.AI · cs.LG

How Divergence Becomes Decision Flips in Compressed Language Models

説明圧縮言語モデルにおける分布の乖離が判断の反転に変わる仕組み:total variation と KL の比較研究

要約本論文は、圧縮された言語モデルと元の高密度モデルの出力分布の差が、どのように判断の変化につながるかを検討しています。802 個の圧縮・摂動モデルの調査では、arg-max トークンの反転率が total variation と安定した比率で対応し、KL 散度はモデルやコーパスによって変わる係数を経由するため、決定の変化を示す指標としては total variation の方が適切だと示しています。

Beatriz Almeida Felicio

arXiv cs.CV · cs.LG

FedMAD: Modulation-Aware Directional Aggregation for Federated Learning in Remote Sensing Image Classification

説明FedMAD:リモートセンシング画像分類のための変調認識型方向性集約によるフェデレーテッド学習

要約本論文は、リモートセンシング画像分類向けの個別化フェデレーテッド学習フレームワークFedMADを提案します。ローカルデータを共有せずに、分散した画像アーカイブ間で協調的にモデルを学習できます。グローバルに共有する表現パラメータとクライアント固有の適応パラメータを分離し、ローカルの変調更新の整合性に応じて各クライアントの集約重みを動的に調整します。BigEarthNet-S2とEuroSATでの実験では、データ分布が異種の条件下で、既存の最先端手法より優れた結果が示されています。

Bar{\i}\c{s} B\"uy\"ukta\c{s}, Beg\"um Demir

arXiv cs.CV · cs.MM · cs.SD コードあり

Soundwich: Video Generation with Layered and Controllable Audio

説明Soundwich:階層化され制御可能な音声を伴う動画生成

要約本論文は、既存の音声・映像同時生成モデルを再学習せずに利用し、同じ映像に同期した複数の独立編集可能な音声ステムを生成するフレームワーク Soundwich を提案します。各ステムの時間的な活動を明示的に制御でき、共有シーン表現とクロスモーダル接続によって、ステム間および映像との整合性を保ちます。実験と人による評価では、時間制御、音源分離、自然さの向上が示され、ステムごとの再配置、ミュート、置換、再ミックスが可能とされています。

Zhuo Ning, AmirHossein Naghi Razlighi, Sagi Polaczek ほか

arXiv cs.CL

Towards Robust Numerical Claim Verification

説明頑健な数値クレーム検証に向けて

要約大規模言語モデルはクレーム検証に広く使われていますが、数値推論には脆弱で、わずかな数値の変化で精度が大きく低下します。本研究では、この脆弱性が最先端モデルにも見られることを示し、数値を摂動させた例での敵対的ファインチューニングによって緩和できることを示しています。パラメータ効率の良いファインチューニングを用いた小型のQwen3モデルは、ラベル反転摂動で98.7%の精度に達し、より大きなゼロショットモデルや最先端システムを上回りました。

Peter R{\o}ysland Aarnes, Vinay Setty

★★★★☆ 注目
arXiv cs.DC · cs.LG

Leto: Fast In-Place Recovery for LLM Training on Surviving Hardware

説明Leto:稼働中のハードウェア上でLLM学習を高速に原地復旧する手法

要約本論文は、リセットや修理、交換を必要とせず同じハードウェア上で復旧できる障害に対応する耐障害学習システム Leto を提案する。残存するモデル状態とプロセス状態を保持し、残りの状態はシャドウトレーナーで事前に初期化する。また、二層の消去符号による保護と、チャンク単位のトランザクション的更新によって一貫性を保つ。6 台および 72 台の NVIDIA A100 クラスタでの評価では、最良のチェックポイント方式より 3.6〜6.5 倍速く復旧し、有効学習時間は最大 13.7 ポイント向上した。131,072 GPU 規模のシミュレーションでは、有効学習時間が 95% を超えた。

注目点既存ハードウェア上での原位置復旧という新たな枠組みを提案し、二段階消去符号とチャンク単位トランザクション更新で、実測3.6~6.5倍の高速化と大規模シミュレーションを示す。

Geon-Woo Kim, Joon Ha Kim, Daehyeok Kim

arXiv cs.CV · cs.LG

SemanTok: Predictable Semantic Tokens for Efficient Autoregressive Video Generation

説明SemanTok:効率的な自己回帰型ビデオ生成のための予測可能な意味トークン

要約本論文は、凍結したDINO特徴量をエンコーダに入力し、保持されたトークン接頭辞だけから意味特徴量を再構成する軽量ヘッドを加えた柔軟な長さのビデオトークナイザSemanTokを提案しています。著者らは、201MのSemanTok自己回帰モデルが3.4倍の規模のVideoFlexTokモデルと同等以上の性能を示すと報告しています。

Mikhail Dereviannykh, Vikram Voleti, Simon Donne ほか

arXiv cs.LG · stat.ML

Grand Canonical Generators

説明大正準ジェネレータ:可変粒子数系のための生成的サンプリング枠組み

要約本論文は、ボルツマン・ジェネレータを大正準集団へ拡張する生成的枠組み、Grand Canonical Generators(GCG)を提案している。粒子数と配置を同時にサンプリングする化学ポテンシャル条件付きの可変サイズ生成モデルと、粒子数分布と対応する正準ボルツマン密度に分解する二つの設計を示す。Lennard-Jones 流体およびゼオライト中のメタン吸着において、大正準観測量を精度よく再現し、自己正規化重要度サンプリングと大正準モンテカルロによる補正が可能であることを示している。

Andreas Burger, Malte Franke, Luka Mucko ほか

arXiv cs.AI · cs.LG

Ontology-Grounded, Reasoner-Verified Benchmarks for Evaluating LLM Reasoning in Scientific AI

説明オントロジーに基づき推論器で検証する、科学AIにおけるLLM推論評価ベンチマーク

要約本論文は、OWL 2オントロジーから多肢選択問題を自動生成する手法を提案しています。正解はオントロジーに基づいて設計され、誤答の選択肢は推論器による含意チェックで不正解であることが形式的に検証されます。Pizza、PMDco、DOIDの3つのオントロジーで112、2,491、15,216問を生成し、6つのLLMによるゼロショット評価では正答率が41.1〜76.8%となり、ランダム推測の25%を上回りました。

Nishtha N. Vaidya, Stephan Grimm, Thomas Hubauer ほか

arXiv cs.LG · cs.CV

Curvature Under Attack in hZACH-ViT: Gauge Symmetry, Boundary Saturation, and Adversarial Failure

説明hZACH-ViTにおける曲率への攻撃:ゲージ対称性、境界飽和、敵対的失敗

要約本論文は、ユークリッド、ポアンカレ、球面のプロトタイプヘッドを備えたコンパクトなVision Transformer(hZACH-ViT)を、3つのMedMNISTデータセットで比較しています。曲率c=1ではポアンカレヘッドの攻撃成功率が最も低い一方、クリーンデータのMacroF1も最も低いことが示されています。曲率をc=0.1に下げるとクリーン性能は改善しますが、OrganAMNISTでは強い攻撃の成功率が大きく上昇します。著者は、これは双曲表現自体の本質的な頑健性を示すものではなく、曲率・スケール・ポアンカレ境界への近さが認識と敵対的表現の変化を共に左右する、実装に敏感な領域であることを示すものだと述べています。

Athanasios Angelakis, Marta Gomez-Barrero

arXiv cs.CL

Bayesian Fine-tuning Yields Language Models that are as Bayesian as their Beliefs Allow

説明ベイズ的ファインチューニングで、信念の表現が許す範囲でベイズ的な言語モデルになる

要約本論文は、隠れ変数を含む不確実性下の推論課題で、言語モデルがベイズ的な意思決定を行えるかを検討します。航空便の推薦課題において、行動・表現・計算の三つの観点からモデルを検証し、ベイズ最適モデルの出力による微調整と、正解を用いた標準的な教師あり微調整を比較しています。その結果、ベイズ微調整モデルは行動がよりベイズ的で、中間層にベイズの定理の量を符号化し、ある程度それを推薦に用いていることが示されました。標準的な微調整モデルは、信念と推薦への反映の両面で異なっていました。

Polina Tsvilodub, Andreas Waldis, Linlu Qiu ほか

★★★★☆ 注目
arXiv eess.IV · cs.LG コードあり

Nonparametric Distribution Matching for Self-Supervised Whole-Slide Image Condensation

説明自己教師あり全スライド画像圧縮のための非パラメトリック分布マッチング(病理画像を少ないデータに圧縮し、学習に必要な特徴分布を保つ手法の提案)

要約全スライド病理画像(WSI)は解像度が非常に高く、1枚で数GBに及ぶため、学習の計算コストが大きい。本論文は、WSIの圧縮を固定された表現の下での分布マッチング問題として定式化し、スライドごとに容量を適応させる非パラメトリック事前分布に基づく近似枠組みNICERを提案している。五つの組織病理データセットでの実験では、平均で精度が7.44%向上し、効率と精度のトレードオフも改善したと報告されている。

注目点WSI凝縮を分布マッチング問題として再定式化し非パラメトリック事前分布のNICERを提案。5つのデータセットで平均7.44%の精度向上を示した。

Duong M. Nguyen, Trong Nghia Hoang, Hang Thi Nguyen ほか

arXiv cs.CV

Harnessing Vision-Language Models for Perceptual Quality Assessment and Autonomous Content Adjustment in Augmented Reality

説明視覚言語モデルによる拡張現実の知覚品質評価と自動コンテンツ調整

要約本論文は、拡張現実(AR)シーンの視覚的品質を評価・改善するため、視覚言語モデル(VLM)に基づく自動化フレームワークを提案している。著者らはAR画像・動画からなるベンチマーク「RateAR」を構築し、11の商用VLMを評価した。VLMの予測は人間の主観評価と強く相関し、スピアマン順位相関係数は最大0.8695に達した。さらに21名の参加者による利用者調査では、90%を超える参加者が仮想コンテンツの配置とサイズの整合性が改善されたと評価した。

Elias Rotondo (1), Lin Duan (1), Yanming Xiu (1) ほか

arXiv cs.LG · cs.AI · cs.RO

Learning Transferable Skills using Goal-Conditioned Bisimulation

説明目標条件付き双模倣(バイシミュレーション)による転移可能なスキルの学習

要約本論文は、報酬のないデータセットを用いて汎用方策を事前学習するための、教師なしスキル発見を扱います。著者らは、関数的等変性を満たしつつ環境の局所的な時間構造を保つ、行動を考慮した時系列表現の学習目的を提案しています。さらに双模倣を用い、スキルの振る舞いを実行に直接影響する状態特徴のみに条件付けます。実験では、ある環境で学習したスキルが、異なるレイアウトの下流タスクにも有効に適用できることが示されています。

Mohammad Amin Abbasfar, Farbod Azimmohseni, Mohammad Hossein Rohban

arXiv cs.LG · cs.AI コードあり

LabBook: Harnessing Experimental History for Efficient LLM-Driven Discovery

説明LabBook:実験履歴を活用し、LLM駆動の発見を効率化

要約本論文は、エージェントが保守する記憶 LabBook を中核とする単一エージェントの発見フレームワークを提案しています。LabBook は、完全な実験ログから関連する証拠を取り出す役割と、新しいプログラムの生成を導く役割を同時に担います。49 件の Frontier-CS 問題において、2 種類のバックボーンで評価されたベースラインに比べ、観測された品質とコストのトレードオフが改善されました。さらに、他の 9 件の数学・システム・ヒューリスティック設計タスクでも競争力のある結果を示しています。

Bo Yuan, Wenqian Ye, Zelin Zhao ほか

arXiv cs.CL · cs.AI

Closing the Loop: Practical Training Recipes for Looped Language Models

説明ループの完成:ループ型言語モデルの実用的な学習レシピ

要約本論文は、共有された層のブロックを繰り返し適用して実効的な深さを増すループ型言語モデルについて、実用的な学習手法を提示している。学習データ量を Ouro の 7.7T トークンから 310B トークンに削減しつつ、強い推論性能を維持したと報告している。また、同じデータと予算で学習した同パラメータ数の稠密モデルと比較し、12の評価ベンチマークすべてで上回る結果を示し、既存の事前学習済み稠密モデルをループ型に変換する簡易な方法も提案している。

Andrei Marchenko, Viacheslav Bezrukov, Oleg Kashurin ほか

arXiv cs.LG · q-bio.QM

ORBIT-FMIB: Tracking Order-Resolved Epistatic Information Through ESM-2

説明ORBIT-FMIB:ESM-2 における順序別エピスタシス情報の追跡

要約本研究は、タンパク質基盤モデル ESM-2 が高次エピスタシス情報をどの程度保持するかを調べる診断フレームワーク ORBIT-FMIB を提案し、GB1 適応度ランドスケープで検証しています。初回の実行では高次情報の保持が少ないように見えましたが、独立した再現実験では差が大幅に縮小し符号も不安定だったため、現時点では選択的な喪失を示す確かな根拠はなく、この方向性の問題は未解決です。

Maryam Rahimimovassagh, Ivan Garibay, Niloofar Yousefi

arXiv cs.AI · cs.LO

A Simple Doxastic Deontic Logic for Norm-Guided Decision Making

説明規範に導かれた意思決定のための簡潔な信念義務論理

要約本論文は、規範が相互に矛盾し、情報が不完全または信頼できない状況で、自律システムが意思決定を行うための簡潔な信念義務論理を提案する。Chellas の最小義務論理のうち古典的に還元可能な断片を、明示的な条件付き規範で拡張し、多エージェント KD45 と組み合わせたものである。これにより、規範は事実と規範に関するエージェントの信念に依存できる。著者らは、この論理の上で信念規範遵守最適化問題を定義し、主観的最適化(エージェントの信念に基づく)と客観的最適化(実際の事実に基づく)を区別する。さらに両者が一致する条件を示し、その条件下では最適な意思決定が多項式時間で重み付き部分 MaxSAT に帰着できることを示している。

Thorsten Engesser, Agata Ciabattoni

★★★★☆ 注目
arXiv cs.CV · cs.AI コードあり

VisionQ: VLM-as-a-Judge Taxonomy, Dataset and Benchmark for Qualitative Analysis in Computer Vision

説明VisionQ:コンピュータビジョンの定性分析における視覚言語モデル審査のベンチマーク

要約本論文は、CVPRおよびICCVの査読済み論文の定性比較図をもとに構築したベンチマーク「VisionQ」を提案します。視覚言語モデルが指定された視覚的基準に基づいて、手法の出力のどちらが優れているかを判定できるかを評価します。データセットは1,409本の論文、3,911件の注釈付きデータ点を含み、6つの軸・51の葉からなる視覚基準の分類体系を提示しています。また判定モデル「VisionQ-Judge」も訓練されています。20のモデルを評価した結果、最も高い精度は63.1%(偶然の確率は32.2%)にとどまり、基準ごとの信頼性にも大きな差がありました。

注目点命名された視覚基準に条件付けたVLM評価ベンチマークを提案し、1,409本のCVPR/ICCV論文と3,911件の注釈で20モデルを評価しており、新規性と証拠は十分。

Vu Dinh Xuan, Duc-Hai Nguyen, Minh-Dung Dao ほか

arXiv cs.LG · q-bio.QM

Analysis of Quantized and Efficiently Adapted Protein Language Models

説明量子化と効率的に適応させたタンパク質言語モデルの分析

要約本論文は、4ビット量子化と低ランクアダプタによる微調整(QLoRA)が、複数のタンパク質言語モデルに与える影響を、予測タスクと配列生成の両面から評価しています。多くのモデルとタスクの組み合わせで、全パラメータ微調整の90%以上の性能が維持され、最大規模のモデルではGPUメモリの節約率が約90%に達しました。著者らは、メモリに制約がある場合にQLoRAを最初に試す戦略として推奨し、生成モデルでは分布分析による検証も必要だと述べています。

Ilan Yaniv Zeisler, Sebastian Clancy, Pouriya Bayat ほか

arXiv cs.CL

PhysicsMate: A Curriculum-Grounded Bengali Benchmark for Secondary Physics QA with Small-Model Adaptation

説明PhysicsMate:カリキュラム準拠のベンガル語中等物理QAベンチマークと小型モデル適応

要約本論文は、ベンガル語の中等教育(9〜10年生)の物理問題に対応するカリキュラム準拠のベンチマークが不足している問題を扱います。国家カリキュラム・教科書委員会(NCTB)の物理シラバスに基づき、1834組の問答からなるPhysicsMateを構築し、1760ノードと2600エッジの知識グラフで裏付けています。0.6B、1.7B、4Bのモデルに低ランク適応を行い、クローズドブック精度がそれぞれ5.5、15.0、23.3ポイント向上しました。物理量や法則といった構造化された知識ほど効果が大きく、実体レベルの緩い知識では効果が小さいことも示されています。4Bモデルは量子化され、オフラインでのローカル推論に利用できます。

Rashid Azraf Jahin, Saadman Sajid, Khan Raiyan Ibne Reza ほか

arXiv cs.LG · cs.AI

Exploring More, Reasoning Better: Stepwise Risk-Sensitive GRPO for Diffusion Language Models

説明より多く探索し、より良く推論する:拡散言語モデルのためのステップごとのリスク感応GRPO

要約本論文は拡散大規模言語モデルを強化学習で訓練する手法を扱う。提案手法StepRS-GRPOは、基礎となる訓練器を保ったまま、ノイズ除去の各状態ごとにグループ優位性変換のリスク係数を変える。複数の拡散モデルと数学推論ベンチマークで、中心化GRPOと比べてpass@1精度とpass@kカバレッジが向上し、回答の多様性も増したと報告している。

Yue Yu, Bowen Zuo, David Crandall ほか

arXiv cs.CL

Lingtai: What Concept Geometry Reveals--and Does Not Reveal--About LLM Inference

説明Lingtai:概念幾何が明らかにする、そして明らかにしないLLM推論について

要約本論文は学習不要の概念テレメトリ手法Lingtaiを提案する。自己回帰生成の各ステップで隠れ状態を事前定義の概念アンカーに射影し、ステップごとの概念座標信号を得る。コード生成と小学校レベルの数学推論において、この信号は予測不確実性と一貫した関連を示したが、テストされた手順のもとで安定した正しさの指標とは認められなかった。解像度は符号化ごとに約0.7〜1.6%の追加オーバーヘッドとされる。

Jiangang Chen

arXiv cs.AI · cs.LG

When More Data Is Not Enough: The Context-Sufficiency Frontier in Generative AI Personalization

説明データが多ければ十分とは限らない:生成AIパーソナライズにおける文脈の十分性の境界

要約本論文は、生成AIに与える状況情報は量よりも顧客の現在の意図との関連性が重要だとする「文脈の十分性」の理論を提示します。不足、十分、飽和、干渉の4つの状態を区別し、最小限の関連情報集合を見つける「文脈十分性フロンティア」を導入しています。大手家具小売企業の生成型推薦システムを用いた実験では、関連する文脈は推薦の適切性を高めた一方、無関係な文脈は適切性を下げ、検索を不安定にしました。

Merieme Askour, Ayoub Merimi

arXiv cs.AI · cs.LG · stat.AP

Agent Evaluation Reliability: More Tasks Won't (Always) Fix An Agent Leaderboard

説明エージェント評価の信頼性:タスクを増やしてもエージェントのリーダーボードは必ずしも改善しない

要約本論文は、疎で不均衡なエージェント・リーダーボードを分析するためのベイズ分散分解フレームワークを提案し、Holistic Agent Leaderboard と Harbor Index の 22 ベンチマークに適用しています。固定したモデルとスキャフォールドの組み合わせの順位は信頼性が高い一方、基盤モデル単体の順位の信頼性は大きく低いと示しています。また、多様なベンチマークを統合すると、同じタスク予算で予測信頼性が 0.44 から 0.75 に向上するとしています。

Michael Hardy, Ruhana Azam, Anka Reuel ほか

arXiv cs.CL · cs.AI

Self-Evolving Coding Rules for AI Coding Agents

説明AIコーディングエージェント向けの自己進化型コーディングルール(RuleEvolve)

要約本論文は、AIコーディングエージェントの性能が基盤となるコーディングルールに大きく依存する一方、既存のルールは人手で作られ固定されているため労力がかかり、最適とはいえないと指摘しています。著者らはRuleEvolveという自己進化型フレームワークを提案し、候補となるコーディングルールの集合を保持して反復的に改善します。各反復では、LLMを用いた変異モジュールが既存の候補から変種を生成し、評価モジュールが最も成績の良いものを選んで候補集合を更新します。2種類のコーディングエージェント枠組み、4つのバックボーンLLM、3つのベンチマークで評価した結果、生成コードの機能的正しさ、コード長、生成コスト(使用トークン数など)において、人手による設計や既存のプロンプト最適化手法を上回ったと報告しています。

Zhengyuan Jiang, Reachal Wang, Yuepeng Hu ほか

arXiv cs.SD · cs.LG

On Evaluating Quantum Kernel Robustness for Low-Resource Cross-Corpus Audio Deepfake Detection

説明低リソース条件におけるクロスコーパス音声ディープフェイク検出のための量子カーネル頑健性の評価

要約本研究は、200件の学習サンプルのみを用い、wav2vec 2.0埋め込みを4次元に削減した条件で、量子サポートベクターマシン(QSVM)、古典的SVM、多層パーセプトロン(MLP)を比較しています。ASVspoof 2019で学習しADD 2023で評価する厳しいドメインシフトでは、MLPはほぼ偶然レベルまで低下する一方、QSVMは一定の識別能力を保ちました。ただし、その優位性は他の転移方向では一貫していません。著者らは、これを量子優位性の証拠ではなく、分布シフト下での量子カーネルの帰納バイアスの経験的な特徴づけとして位置づけています。

Lisan Al Amin, Lei Zhang, and Vandana P. Janeja

arXiv cs.AI

Incident-Arena: Getting agents to the last nine of reliability

説明Incident-Arena:エージェントの信頼性を「ラストナイン」まで高める評価基盤

要約本論文は、本番環境のインシデント対応をAIエージェントがどこまでこなせるかを評価するベンチマーク「Incident-Arena」を提案しています。実在するオープンソースソフトウェアに基づく20件の人手で作成されたタスクで構成され、一時的なKubernetesクラスタ上で故障を注入し持続的な負荷をかけます。静的検査を超える機能検証手法も提示され、フロンティアモデルの得点は64.3%未満で、診断や特定の誤り、修復の不完全さ、安全でない回帰が失敗の要因として挙げられています。

Andre Fu, Malik Drabla, Leon Liu ほか

arXiv cs.LG

Group-Invariant Statistics Determine Embedding Geometry: Harmonic Analysis of Representations from Bach to the Night Sky

説明群不変統計が埋め込み幾何を決める:バッハから夜空までの表現の調和解析

要約言語モデルが月や曜日、場所などの概念について学習する表現には、円や鞍形の幾何構造が繰り返し現れる。本論文は、単語の共起統計がある群 G のもとで不変であれば、学習された単語埋め込みは G の既約表現の行列要素から成ることを証明する。群が巡回群のときは円形構造が得られる。著者は巡回群 Z12、長三和音と短三和音に作用する二面体群、そして大規模言語モデルにおける天体の球面表現という三つの設定で、この結論を検証している。

Liam Storan, Andreas Tolias, Nina Miolane

arXiv cs.LG · cs.SY · eess.SY

Learning Linear Systems under Heavy-Tailed Noise: A Non-Asymptotic Analysis from A Single Trajectory

説明重い裾のノイズ下での線形システム学習:単一軌道による非漸近解析

要約本論文は、重い裾のノイズを持つ指数安定なベクトル自己回帰システムについて、単一の観測軌道に基づく最小二乗推定の非漸近的なサンプル複雑度を解析しています。独立同分布ノイズ、有界なノイズ共分散、持続的励起を仮定し、p>2の有界なp次モーメントの下での推定誤差の上界を示しています。さらに、準指数分布や準ガウス分布のノイズへの誤差評価も導出しています。

Xiaomian Yang, Sungho Shin

arXiv cs.AI · cond-mat.mtrl-sci · cs.LG

CompMat-Bench: Benchmarking AI Agents for Computational Materials Science

説明CompMat-Bench:計算材料科学におけるAIエージェントのベンチマーク

要約本論文は、最近発表された計算材料研究から導出した94のタスクからなるベンチマーク「CompMat-Bench」を提案しています。各タスクはエージェントに研究目標に向けた一つのステップの完了を求めます。評価時の高コストなシミュレーションを避けるため、研究ステップを事前に再現し、固定ルールで採点しています。三種のLLMに基づくエージェントは、完全な指示のもとで66.0〜90.4%の合格率を示しました。失敗の多くはソフトウェアの使い方ではなく科学的な誤りに起因していました。

Chenmu Zhang, Levi Felix, Jun-Jie Zhang ほか

arXiv cs.LG · cs.MA

MACTS-EM: Multi-Agent Collaborative Time Series Forecasting with Emergent Memory

説明MACTS-EM:創発的記憶を備えたマルチエージェント協調型時系列予測

要約本論文は、専門化された複数のエージェントが協調して時系列を予測するフレームワーク MACTS-EM を提案します。動的なエージェント割り当てを行うメタ認知層、ドメインを越えたパターン転移を可能にする創発的記憶機構などを含みます。金融市場、気候、エネルギー消費、パンデミックの伝播での評価では、多くの場合で既存手法を上回り、予測精度が8〜12%向上したと報告されています。

Ahmad Shahi, Mamehgol Yousefi

arXiv cs.CV

HAWK: Rethinking Multimodal Drafting for Speculative Decoding

説明HAWK:投機的デコーディングにおけるマルチモーダル草稿生成の再考

要約投機的デコーディングは大規模言語モデルで無損失の高速化を実現しているが、軽量な草稿モデルが豊富なマルチモーダル情報を活用しにくいため、大規模視覚言語モデルでは効果が限られている。HAWKは表現の類似度で情報量の多い目標層を選び、その隠れ状態の組み合わせ方を学習する。また草稿モデルには生の視覚トークンではなく、圧縮された視覚隠れ状態を与え、自身の提案後に目標の予測がどう変わるかも学習させる。SmolVLM-256Mの10のマルチモーダルベンチマークでは、貪欲デコーディング時にEAGLE-3比で平均受理長が3.32から4.08に、高速化率が2.19倍から2.60倍に向上した。

Wenhan Yang, Anirudh Rao, Ashwin Chandra

arXiv cs.LG · cs.AI

Overcoming Challenges of Interpretive Structural Modeling with Large Language Models

説明大規模言語モデルで解釈構造モデリングの課題を克服する

要約解釈構造モデリング(ISM)は多基準意思決定のための手法で、因果関係を表現し階層構造を得られる点が特徴です。しかし従来の手順は専門家との反復的なやり取りを要し、数百変数規模の研究には適用が難しいとされています。本研究は大規模言語モデルを不完全な専門家として用いるLLM-ISM手法を検討し、ペアワイズ、k組、行単位、全体グラフの4方式を比較しました。行単位(SHD=160、F1=0.77)と全体グラフ(SHD=135、F1=0.73)が最も良い結果を示しました。

Everett Rush, David J. Icove, Ari Kim ほか

arXiv cs.CL

Mixture of Decoders for Diverse Dialog Response Generation

説明多様な対話応答を生成するための複数デコーダの混合モデル

要約対話応答生成のsequence-to-sequenceモデルは多様性が低いという問題があり、その原因はモデルが単一モードの応答分布を学習してしまうことにあると著者らは考えています。そこで条件付き変分オートエンコーダの枠組みで複数のデコーダを混合し、各デコーダが異なる話題を専門的に学習するよう設計しました。オープンドメインの雑談コーパスでの評価では、定量指標と人手評価の両方で強力なベースラインを上回ったと報告されています。

Wenchao Du

arXiv cs.LG · cs.AI

Misalignment of Low-Loss Regions Causes Grokking

説明低損失領域のずれが「グロッキング」を引き起こす

要約本論文は、訓練データで過学習した後に検証データでの汎化が遅れて現れる「グロッキング(grokking)」現象を検討しています。モード連結性と低損失領域の幾何構造に基づく分析枠組みを構築し、対称性を保つ分割では検証性能が回復しない安定した「反グロッキング」の事例を示しています。著者らは、訓練と検証の分割が誘導する低損失領域が整合していないときにグロッキングが生じると結論づけています。

Yongding Tian, Zaid Al-Ars, Maksim Kitsak ほか