用Vision Pro实时训练机器狗！MIT博士生开源项目火了

1,670 0 0

模型信息

【模型公司】 OpenAI
【模型名称】 gpt-3.5-turbo-0125
【摘要评分】 ★★☆☆☆

文章摘要

【关键词】 智能联动、追踪应用、网络通信、Python API、开源项目

文章介绍了一种名为Vision Pro的新玩法，通过与具身智能联动，实现了对机器狗的实时控制。作者利用Vision Pro的手部追踪功能开发了一个名为Tracking Steamer的应用程序，可以追踪人类动作并将数据传输到其他机器人设备上。该应用程序主要依靠苹果的ARKit库实现头部、手腕和手指的追踪，使用gRPC作为网络通信协议传输数据。作者还提供了一个Python API，方便开发者订阅和接收追踪数据，用于机器人的进一步分析和控制。通过Vision Pro追踪用户的动作，为机器人提供训练数据，使非专业人员也能参与其中。作者认为Vision Pro可以成为未来人们日常佩戴的设备，为机器人学习人类与现实世界交互提供数据。想要尝试这个开源项目需要准备苹果开发者账户、Vision Pro开发者配件和安装了Xcode的Mac电脑。