RealityBench: Simulated Environments to Evaluate a Vision Language Model's Ability to Document Human Physical Work
説明RealityBench：視覚言語モデルが人の物理作業を記録する能力を評価するためのシミュレーション環境
要約本論文はBlenderで屋根への太陽光発電設置や車両整備など十一の現場作業環境を模擬し、26の視覚言語モデルが、映像が作業証明として適切かどうか、また映像から作業に関連する状態を理解して記録できるかを検証しています。上位モデルは画面内のテキストの読み取りではおおむね良好でしたが、計測値の読み取りや小部品・空間関係の判断では弱い結果でした。適切性の判定では、人間の評価者同士の意見が一致しにくく、最良のモデルも単一の非作者評価者と区別がつかないとされています。