RealityBench: Simulated Environments to Evaluate a Vision Language Model's Ability to Document Human Physical Work
说明RealityBench：用于评估视觉语言模型记录人类体力工作能力的模拟环境
简介该论文用 Blender 构建了十一个模拟的现场体力工作环境（如屋顶太阳能安装、车辆维修），测试 26 个视觉语言模型能否判断画面是否可作为工作证明，以及能否理解画面中的任务相关状态。结果显示顶级模型在读取画面中的文字时表现较好，但在读取测量数值和判断细小部件与空间关系方面较弱；在可接受性判断上，最佳模型与单个非作者评分者难以区分。