Science Robotics封面！DeepMind强化学习打造超一流机器人球员

678 0 0

文章摘要

这篇文章介绍了谷歌DeepMind团队在双足机器人运动技能方面取得的突破性进展。他们利用深度强化学习框架赋能仿人机器人全身控制，使其具备惊人的动态技能，包括跌倒自恢复和战术防守。研究者们长期以来致力于创造具有一般具身智能的代理，使其能够在物理世界中灵活行动，这需要流畅的动作组合、环境感知与理解以及实现复杂目标的能力。最近，深度强化学习在这一领域取得了显著进展，尤其是在仿人和双足机器人控制方面。谷歌DeepMind团队使用ROBOTIS OP3机器人平台进行研究，这款微型仿人机器人拥有20个可控关节，能够应对复杂的足球动作。他们通过实时运动捕捉系统监测机器人和球的位置，确保机器人能够实时掌握球场动态。为了验证机器人的技能和策略，研究人员设计了一场简化的单对单足球比赛，使机器人在竞技场上学会如何在对抗中保持优势。在训练过程中，他们采用了分布式MPO算法，通过训练teacher策略和整合这些策略形成student策略来提炼技能。同时，为了确保机器人技能能够安全应用于真实环境，研究团队在训练和仿真中引入了多种噪音和延迟，以增强机器人的鲁棒性和稳定性。特别针对机器人在动态踢踏运动中可能受到的损伤风险，研究团队设置了惩罚机制，成功引导机器人学习更为柔和、稳定的步态，提高了其运动的安全性。总的来说，这项研究展示了机器人在足球比赛中展现出高质量的技能和战略意识，为双足机器人领域的发展带来了新的启示。