AskStream: When and What to Ask Proactively under Uncertainty in Streaming Video Understanding
説明AskStream:ストリーミング動画理解で不確実な状況において、いつ何を能動的に尋ねるかを評価するベンチマーク
要約本論文は、ストリーミング動画理解における視覚と利用者の両方の不確実性を扱う初のマルチターン評価基準AskStreamを提案しています。従来の「待つ」「答える」に加え「尋ねる」という行動を導入し、438本の動画と、待つ・尋ねる・答えるの3種類に分類された2,714の人手注釈付きフレーム単位時間窓を含みます。最も強力なモデルでも提案指標Ask-F1は52.18%にとどまると報告されています。