给AI Agent完整的一生！港大NYU谢赛宁等最新智能体研究：虚拟即现实

模型信息

【模型公司】 月之暗面
【模型名称】 moonshot-v1-32k
【摘要评分】 ★★★☆☆

文章摘要

【关 键 词】 AI、智能体、虚拟环境、真实世界、V-IRL

新智元报道：香港大学和纽约大学的研究人员发表了一项新研究，通过V-IRL平台，将真实世界的地图、街景等信息融入虚拟环境，为AI智能体提供了一个更完整和真实的世界。

V-IRL平台利用API将AI智能体嵌入真实城市中，提供了一个巨大的测试平台，用于衡量开放世界计算机视觉和具身人工智能的进展。

智能体可以在模拟的真实世界环境中执行复杂任务，如Peng访问纽约市获取文件、Aria搜索餐馆并提出建议、Vivek寻找公寓、RX-399城市辅助机器人导航和Imani城市规划师分析数据等。

V-IRL还支持智能体之间的协作，如Ling游客获取路线和Diego礼宾专家调整计划。

V-IRL的分层设计允许智能体展现出感知、思考、行动和合作等能力。

V-IRL基准测试包括地点定位、识别与视觉问答、视觉语言导航等，涵盖了全球12个城市，展示了视觉模型在不同地区的偏差。

V-IRL旨在缩小数字世界与真实世界之间的感知差异，为AI智能体提供丰富的感知能力和环境理解，开启AI在现实世界信息处理方面新的可能性。

原文信息

【原文链接】 阅读原文
【阅读预估】 3319 / 14分钟
【原文作者】 新智元
【作者简介】 智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响，领航中国新智能时代。