arXiv
cs.AI 2026年10月4日
説明 LatentIndex:スパースアテンションのためのレイヤー間共有とレイヤー固有の選択
要約 スパースアテンションはコアアテンションの計算を減らしますが、そのインデクサーには繰り返しの選択処理と層ごとのキーキャッシュの保存が必要です。本論文はLatentIndexを提案し、Multi-head Latent Attentionの潜在共有の考え方をインデクサー層間に拡張します。各層グループは先頭層の隠れ状態から共有潜在キャッシュを構築し、層ごとのスコアリングで独立したトークン選択を可能にします。4層共有の設定では、DeepSeek-V3.2上で論理的なインデクサーキャッシュの保存量を61.1%削減しました。
Zhaohui Wang, Zhixin Pan, Fanxu Meng ほか
arXiv
cs.CV 2026年10月4日
説明 DistScene:3Dシーン生成のためのオブジェクトからシーンへの蒸留手法
要約 本論文は、単一画像から合成的な3Dシーンを生成するフレームワークDistSceneを提案します。環境と個々のオブジェクトを同時にモデル化し、環境の幾何情報を物体配置の文脈として用います。手法には、環境とオブジェクトを共通座標系で同時生成するScene-Frame Generation、シーン文脈を用いて各物体を局所座標で精緻化するObject-Centric Refinement、事前学習済みの物体生成の事前知識をシーン生成へ転移する蒸留が含まれます。屋内外のベンチマークで、比較対象の基準手法よりシーン全体の空間的一貫性が向上したと報告されています。
Kunming Luo, Hongyu Yan, Ken Deng ほか
arXiv
cs.LG · cs.NA · math.NA 2026年10月4日
説明 大規模言語モデルの数値線形代数:数値計算の専門家向けに、LLMの中核概念、利用される線形代数の手法、そしてNLAの近年の貢献を解説するサーベイ論文。
要約 本論文は機械学習、特に大規模言語モデル(LLM)に焦点を当てたサーベイ論文です。目的は二つあり、一つは数値計算の専門家にも分かる形でLLMの中核概念を明らかにすること、もう一つはLLM技術が用いる重要な数値線形代数(NLA)の概念を検討し、NLAがこの分野にもたらした近年の重要な貢献を紹介することです。
Abdelkader Baggag, Yousef Saad
arXiv
cs.CV 2026年10月4日
説明 画像劣化下の物体検出における表現転移のタスク感応的幾何構造
要約 本論文は、画像劣化(ガウスぼかし)のもとで、クリーン画像のタスク知識を用いた蒸留が劣化画像の表現にどう影響するかを調べています。勾配から導出したタスク感応的幾何を用いて、局所的な表現方向への応答と介入効果の関係を分析しています。その関係は特定の方向族で成り立つことが示されていますが、それをより良い全体的な学習手法へ変換する方法は未解決の課題とされています。
Van Vung Pham
arXiv
cs.LG 2026年10月4日
説明 疎な観測から行うPDE逆問題のための後方一貫拡散サンプリング手法
要約 極めて疎な観測から偏微分方程式(PDE)の係数場を復元する不適切な逆問題を対象に、入力空間で最適化を行う関数空間の後方一貫サンプリング手法FunBCSを提案している。この手法は、ノイズ除去器による再構成が物理的に一貫するような入力を探す。著者らは、不連続なPDE設定では出力空間の手法が未観測誤差を適切に最小化できない場合があることを証明し、FunBCSはそれを最小化できることを示した。不連続なダルシー流を含む4つのPDE逆問題で評価したところ、既存の最先端手法と比べて再構成誤差を27~64%削減し、1.4~2.1倍高速だった。
Yida Pan, Muhammad H. Ashiq, Chanyong Jung ほか
arXiv
cs.CL · stat.AP 2026年10月4日
説明 スタンス・ドリフト:AI仲介コミュニケーションが主張をどう歪めるか
要約 本論文は、大規模言語モデルが文章の作成や要約の際に話し手の立場を忠実に保てるかを検証する。モデルが指定された立場から論証を生成し、別のモデルがその論証から立場を抽出する二段階のパイプラインとして分析し、立場保存率で一致度を測定している。112の討論命題で試験した九つのモデルは、既定設定ではいずれも0.7を超えなかった。主な漂移は、極端化、中立からの逸脱、立場の反転である。
Lingchong Liu, Yanfei Zhou, Jacob Bien ほか
arXiv
cs.RO · cs.CV 2026年10月4日
説明 PerturBot:摂動学習で視覚・言語・行動モデルのショートカット先験知識を破る
要約 本論文は、視覚・言語・行動(VLA)ポリシーが、タスクに必要な根拠ではなく視覚・言語・動作上のショートカット手がかりに頼る可能性を指摘している。著者らは、タスクを保つ手首カメラ映像の摂動、決定に関係する説明文による指示の拡張、ランダムおよび失敗した軌道区間の再ラベル付けを行う学習手法 PerturBot を提案している。また、ショートカットへの依存度を診断するオフライン指標 GroundingFscore も提案している。
Mingyu Liu, Chonghao Sima, Tianjian Feng ほか
arXiv
cs.RO · cs.LG 2026年10月4日
説明 階層型制御器の構造を活用した人型ロボットの歩行・操作のための文脈付きパラメータ学習
要約 本論文は、人型ロボットの階層型制御システムにおいて、各層のパラメータを独立に調整するのではなく同時に学習する方法を研究しています。作者は、タスク性能、動作の実現品質、制御コストを個別に観測し、相関のある多出力ガウス過程でモデル化する文脈付きベイズ最適化の枠組みを提案しています。箱押しタスクで重心予測制御器と全身制御器を共同調整し、箱の質量を変えて評価したところ、学習時と適応時のいずれにおいても、比較対象の基準手法より平均経験的後悔が小さかったと報告されています。
Sebastian Hirt, Lukas Theiner, Jan Peters ほか
★★★★☆ 注目
arXiv
cs.RO · cs.CV 2026年10月4日
コードあり
説明 ForeAct3D:VLAポリシー向けの、方策に基づく未来世界モデリング
要約 本論文は、視覚・言語・行動(VLA)ロボットポリシーの学習中に、将来の3次元シーン状態を予測する枠組みForeAct3Dを提案します。将来予測はポリシーが生成する行動チャンクを条件とし、背景の静止性や物体の剛体性などの物理的整合性制約を課します。推論時には未来予測は不要です。LIBEROとCALVINのベンチマークで基礎ポリシーを上回り、実機実験では平均成功率が6.7%から37.8%に向上したと報告されています。
注目点 行動条件付きの将来3Dシーン予測と物理整合性制約をVLA方策の学習に導入し、LIBEROとCALVINで基準を上回り、アブレーションと実機実験で裏付けている。
Zhe Tao, Feiran Wang, Gaowen Liu ほか
arXiv
cs.CV 2026年10月4日
説明 時空事前情報と生成的支援によるスパースビュー4Dガウシアンスプラッティング
要約 本論文は、SIGGRAPH Asia 2026 Volumetric Video Challenge のスパースビュー部門向けに、広基線の6台のカメラだけで動的シーンを再構成する4Dガウシアンスプラッティングの枠組みを提案します。前景マスクによる領域適応的な空間事前情報、フレーム補間と光学フローによる時間的事前情報、拡散モデルで復元した仮想カメラ画像の擬似教師としての利用を組み合わせています。公式テストベンチマークでは、全フレームPSNR 30.04 dB、前景PSNR 27.88 dB を達成し、同部門で総合1位になりました。
Shengqi Wang, Zhengxian Yang, Kaiwen Tian ほか
arXiv
cs.CV · cs.AI · cs.LG 2026年10月4日
説明 ConEx:概念を考慮した帰属による人間に理解しやすい顕著性マップ
要約 本論文は、画素単位の顕著性可視化と概念ベースの推論を結び付けるフレームワーク ConEx を提案している。クラスごとの概念を自動で発見し、概念活性化ベクトル(CAV)で表現して、各概念が画像のどこに現れ予測にどう寄与するかを示す。あわせて評価指標 VCM と CCM を提案し、忠実性・セグメンテーション・概念品質のベンチマークで良好な結果が得られたと報告している。
Yehonatan Elisha, Oren Barkan, Ziv Weiss Haddad ほか
arXiv
cs.LG 2026年10月4日
説明 大規模言語モデルで カリキュラム決定の結果を予測する研究
要約 本論文は、自動カリキュラム学習を逐次的な意思決定問題として分析し、カリキュラム決定の価値を決める量と、それを導くのに使われる局所的な学習信号との間にあるギャップを指摘しています。著者らは、オンラインの学習進捗推定と、大規模言語モデル(LLM)による各タスクの潜在的な下流利益および直接訓練で進捗が出やすいかの推定を組み合わせる手法を提案しています。Craftax環境の256の文章目標からなる独自ベンチマークで評価し、個別の目標タスクを最適化した場合に最も大きな効果が見られたと報告しています。
Octavio Pappalardo, Nathan Herr, Tim Rockt\"aschel
arXiv
cs.CV 2026年10月4日
コードあり
説明 幾何プリミティブを意味的パーツに組織化:3D セグメンテーションのための強化推論(RePart)
要約 本論文は、三次元形状の幾何プリミティブ(超二次曲面)を意味的なパーツにまとめる RePart 手法を提案しています。この組織化を有限ホライズンのマルコフ決定過程として定式化し、軌跡レベルの強化推論で結合と停止の方策を学習します。さらに境界認識型の表面ラベリングにより結果を元のメッシュへ戻します。PartNet と 3DCoMPaT++ での実験で、分割指標に関して良好な結果が示されています。
Xiaoming Gong, Ruoyu Wu, Zhenhong Sun ほか
arXiv
cs.CV · cs.LG 2026年10月4日
コードあり
説明 WASP:胎児脳MRIと超音波の学習のための弱整列時空間ペア手法
要約 本論文は、公開された胎児のMRIと超音波の対応データがない状況で、在胎週数や診断断面などの臨床メタデータを用いて、エントロピー最適輸送によりモダリティ間の対応を弱く整列させるWASPという枠組みを提案します。主要モデルを変更せずに、MRIの表現を超音波の潜在空間へ写像する軽量な整列モジュールを学習します。USFMでは在胎週数推定誤差が21.9日から17.4日に、標準断面分類の正解率が61.9%から69.0%に改善しました。両モダリティで事前学習済みのモデルでは改善は小さくなります。
Francesco Correnti, Gabriele Magrini, Marco Mistretta ほか
arXiv
cs.LG · cs.IT · math.IT 2026年10月4日
説明 差分プライバシー下での固定予算・最良腕識別の漸近最適アルゴリズム
要約 本論文は、純粋ε差分プライバシーの制約の下で、固定のサンプリング予算で最良の腕を識別する問題を研究している。学習者は、全てのやり取りの記録を保護しつつ、予算使用後に腕を推薦する必要がある。著者らは誤り確率の最適指数減衰率の上界を示し、それは事例依存のプライバシー考慮型輸送指数で与えられる。これに基づくAO-Pri-BAIアルゴリズムを提案し、純粋ε差分プライバシーを満たし、失敗確率の指数がプライバシー考慮型の基準と一致することを証明している。数値実験では、非漸近的な設定でも基準アルゴリズムより優れていることが示されている。
Keqin Chen, Jie Bian, Yulian Wu ほか
arXiv
cs.LG 2026年10月4日
説明 DiffGate:同方策蒸留のための難易度ゲート付き教師ガイダンス
要約 本論文は、大規模言語モデルの事後学習に用いられる同方策蒸留(OPD)の新手法DiffGateを提案します。GRPOと、失敗した軌跡にのみ適用され、グループの難易度で調整され、有界に制限された教師ガイダンスを組み合わせます。Qwen3-0.6BおよびQwen3-1.7Bを用いたコードと数学の実験では、対応するGRPOと比べ、4つのモデル・領域の設定すべてでpass@8が向上したと報告されています。
Karn Tiwari, Varnith Chordia, Prathosh A P
arXiv
cs.CL · cs.LG 2026年10月4日
説明 SIFT:分布シフト下の思考連鎖推論に対する頑健なメタ忠実性検証
要約 本論文は、推論モデルを監査するために使われる思考連鎖(CoT)忠実性検出器そのものが安定しているかを検討する。著者らは、クロス環境の不変性目標と認証付き棄権機構で学習する隠れ状態軌跡ベースの検出器 SIFT を提案し、14,996 のトレース、4 つの領域、8 つのモデルで評価した。既存の検出器は分布シフトで性能が大きく低下し、不安定性は分布シフトよりも乱数シードによる変動が主因であると報告している。
Noor Islam S. Mohammad, Md. Basim Al Zabir Shammo, Hasan Siddiki ほか
arXiv
cs.AI 2026年10月4日
説明 KRATOS指標の数学的境界・分解・帰無挙動:認知と比較可能性の診断法の数学的仕様
要約 本論文は、グループ単位の文献計量診断KRATOSの完全な数学的定義を示し、各グループの論文数の分布(参加度)と被引用重み(認知度)の分布を比較する。各成分の境界と等号条件、構成上限と分解式を導き、全体および層別の置換帰無仮説の下で認知比率の一次・二次モーメントを与える。結果は付属スクリプトによる数値検証で確認されている。本仕様は測定構造のみを扱い、認識的変化や公正性の尺度は定義しない。
Maria Dolores Gonzalez, Alberto Barbado
★★★★☆ 注目
arXiv
cs.CV 2026年10月4日
説明 『フレーム内で静止:JEPA世界モデルにおける速度の死角』:単一フレーム符号化では速度が捉えられない問題と構造的修正案
要約 本論文は、単一フレームの画像から学習するJEPA世界モデルの符号化には速度情報が含まれず、公式公開のLeWM重みを含めて同じ問題があることを指摘します。四つの実ベンチマークで、速度プローブは機会水準以下である一方、位置プローブはR²が約0.95に達することを確認しています。著者らは潜在表現を姿勢符号と有限差分の運動符号に分けるTI-JEPAを提案し、複数環境の目標停止計画タスクで有意な改善を示しています。
注目点 単一フレームJEPAが速度情報を持たない構造的盲点を形式的に示し、姿勢と運動を分離する軽量改良で複数環境の計画性能を有意に改善しており、根拠は十分。
Tinghe Zhang, Chunyu Liu, Yu Leon Liu ほか
★★★★☆ 注目
arXiv
cs.AI · cs.CL 2026年10月4日
コードあり
説明 強いモダリティが弱いモダリティを助ける:マルチモーダルLLMにおける方向性のあるクロスモーダル整合の転移
要約 論文は、整合が十分で豊富なデータを持つ源モダリティのMLLMを、データの少ない目標モダリティのMLLMにマージすると、目標モダリティ自身のベンチマークで性能が大きく向上することを示している。理論と実験の分析から、この効果は源モダリティがもたらす、モダリティ固有トークンとテキストトークンの整合の強化に由来すると述べている。そのうえで、追加の微調整なしに、少量の較正データから閉形式の重み空間解を求めて整合を転移するDCATを提案している。
注目点 強いモダリティから弱いモダリティへ文字列との整合性を一方向に移す新しい発想で、相互情報量の下界と閉形式解を示す。実験の規模と比較範囲は今後の検証が必要。
Hoigi Seo, Byung Hyun Lee, Minjun Kim ほか
★★★★☆ 注目
arXiv
cs.CL · cs.AI 2026年10月4日
説明 確率プローブのスコアから警報ポリシーへ:言語モデル・エージェントの活性化モニタの運用上の妥当性
要約 活性化プローブは言語モデルの安全に関わる性質をAUROCの高さで予測できるが、実運用のモニタは厳しい誤警報上限のもとで閾値による警報判断を行うため、両者は異なる推定対象である。著者らは運用妥当性の契約を提案し、複数のベンチマークで検証した。AUROCが高くても固定誤警報率での検出率は低く、閾値の実際の誤警報率もずれることが示された。独立な負例が不足する場合は、報告を控える方針が取られている。
注目点 AUROCと運用上の警報リスクを区別する検証契約を提案し、事前登録プロトコルで複数ベンチマークを検証、高AUROCでも低誤報率では検出率が低いことを示す。
Xueping Gao
arXiv
cs.LG · cs.AI · cs.CE 2026年10月4日
説明 一度だけ射影すればよい:厳密な制約充足のための射影適応型損失
要約 本論文は、学習モデルの予測が制約を満たすよう補正する手法の訓練効率を扱います。提案手法の射影適応型損失(PAL)は、訓練中に分離された射影を一度行うだけで、その残差に応じて制約ペナルティを適応的に重み付けします。論文によれば、非線形制約下でもほぼ完全な実行可能性を保ち、基準手法DC3より2.5倍速く訓練できるとされています。
Tim Aebersold, Soheyl Massoudi, Mark Fuge
arXiv
cs.FL · cs.LG 2026年10月4日
説明 Transformerから重み付きオートマトンへ:大規模言語モデルの検証に向けて
要約 大規模言語モデルは安全性が重要な場面で使われ始めていますが、ブラックボックスであるため振る舞いについて形式的な保証を与えることが困難です。本論文は、形式言語理論の古典的モデルである重み付きオートマトンとTransformerの間に原理的な橋渡しを構築し、オートマトン理論の検証手法をLLMの分析へ適用できるようにします。実数上の重み付きオートマトンとTransformerの形式的対応を示すとともに、許容誤差の範囲内で二つの確率モデルが同じ分布を定義するかを統計的に判定する、重み付きオートマトンの同一性検定アルゴリズムを提案しています。
Smayan Agarwal, Aslah Ahmad Faizi, Shobhit Singh ほか
arXiv
stat.ML · cs.LG · math.OC 2026年10月4日
説明 勾配なしサンプリング:確率的有界極値探索による生成モデルからの標本抽出
要約 本論文は、エネルギーベースおよびスコアベースの生成モデルに対し、モデルの勾配を計算せずに標本を得る手法を提案する。通常はスコア関数を含むドリフト項を、モデルの値に基づく高周波の振動余弦項で置き換え、高周波平均化の極限でランジュバン型MCMCや拡散モデルの逆時間SDEに対応することを示す。大域的有界性の下で平均二乗収束率を導出している。CelebA-HQとCIFAR-10での実験により、潜在空間でのサンプリングや時変目標の追跡への応用が示されている。
Alexander Scheinker