家务助手

上海AI实验室与北航联合推出首个专注具身智能体安全性的评测基准IS-Bench，旨在测试基于视觉语言模型的家务助手的安全性。该基准包含150多个暗藏危险的家居场景和贯穿全过程的动态评测框架，揭示当前VLM家政助手在完成任务时的安全完成率不足40%。