迈向群体智能 | 智源发布首个跨本体具身大小脑协作框架与开源具身大脑

294 0 0

文章摘要

在2025中关村论坛“未来人工智能先锋论坛”上，智源研究院发布了跨本体具身大小脑协作框架RoboOS与开源具身大脑RoboBrain，旨在推动单机智能向群体智能的跃迁。RoboOS通过模块化设计和智能任务管理，支持多机器人系统的跨本体协作，而RoboBrain则负责全局感知与决策，构建动态时空感知、规划指导和反馈纠错机制。RoboBrain融合了任务规划、可操作区域感知和轨迹预测的三维能力，能够将抽象指令映射为具象动作序列，显著增强了长程操作任务的能力。RoboBrain由基座模型、A-LoRA模块和T-LoRA模块组成，采用多阶段训练策略，具备长历史帧记忆和高分辨率图像感知能力，提升了场景感知和操作规划的能力。

在任务规划方面，RoboBrain在多个评测集上表现优异，优于GPT-4V、Claude3等领先模型。在可操作区域感知方面，RoboBrain在AGD20K测试集上的平均精度超过了Qwen2-VL，展现了其在指令理解和物体属性方面的卓越能力。在轨迹预测方面，RoboBrain预测的操作轨迹与真实轨迹具有较高的相似度，展现了其高精度和稳定性。RoboBrain能够解读人类指令和视觉图像，生成基于实时图像反馈的行动计划和评估，预测每一步的轨迹并感知相应的可操作区域。RoboBrain能够有效利用环境信息和交互对象的状态，生成针对不同类型机器人操作任务的任务规划，并在不同场景中表现出良好的泛化能力。

RoboOS通过“大脑-小脑”分层架构，实现了大脑模型与小脑技能的“即插即用”，支持松灵双臂、睿尔曼单/双臂、智元人形、宇树人形等不同类型的具身本体。通过共享记忆系统，RoboOS实现了多个机器人之间的状态同步与智能协作，突破了传统“信息孤岛”的限制。RoboOS能够动态管理多机器人任务队列，支持优先级抢占与资源优化分配，确保复杂场景下的实时响应。此外，RoboOS能够基于执行反馈动态调整策略，结合环境变化，持续优化任务规划，提升鲁棒性。

在“递送苹果和水果刀”的任务场景中，基于RoboOS及RoboBrain，睿尔曼单臂机器人、宇树人形G1和松灵双臂机器人分工协作，完成了复杂的递送任务。RoboOS接收指令后，递送RoboBrain进行任务拆解，并将拆解后的子任务分发给跨本体机器人，实现了端云协作能力。RoboBrain通过空间记忆感知环境，确定果篮、苹果位置，并拆解任务为多个子任务，各机器人本体执行子任务过程中，由RoboOS提供端云协作能力，将任务规划为技能粒度，实现云端RoboBrain分发规划，端侧执行技能并实时反馈。

RoboOS专为解决当前具身智能落地过程中的通用性适配与多机调度难题而设计，基于“大小脑协同”的架构范式，云端的具身大脑RoboBrain负责统一的任务理解、规划决策与上下文感知，本体侧则接入轻量级的小脑执行模块，实现感知-认知-决策-行动的闭环协作。RoboOS原生支持异构机器人本体的灵活接入，以Profile模板机制快速完成机器人能力建模与适配。本体的小脑模块可调用包括开源技能库、自研低阶控制器等多种技能接口，形成一个支持模块复用、即插即用的运行体系，大幅降低开发门槛与接入成本。

RoboOS基于智源研究院研发的并行训练与推理框架FlagScale，原生支持多机器人系统的端云协同能力，打造具身智能的统一底座。系统在设计上充分考虑“多机器人-多模态-多任务”场景，具备极高的可扩展性与低时延响应能力。在端侧部署中，机器人注册即可自动与云端部署的RoboBrain大脑建立双向通信链路，通过高效发布-订阅机制实现实时任务调度与状态反馈，指令响应延迟低于10ms，满足复杂动态任务的闭环控制需求。面向机器人在长期运行中产生的海量感知与行为数据，RoboOS提供基于内存优化的数据访问引擎，支持TB级别历史数据的内存随机访问能力，为任务复现、异常回溯、跨任务知识迁移等场景提供基础能力。

智源研究院依托多模态大模型技术优势资源，正在联合北大、清华、中科院等高校院所以及银河通用、乐聚、加速进化、宇树等产业链上下游企业，积极建设具身智能创新平台，重点开展数据、模型、场景验证等研究。此次发布的跨本体具身大小脑协作框架RoboOS及开源具身大脑RoboBrain，将有机融合和广泛链接不同构型的具身本体与丰富多元的具身模型，加速具身智能跨本体协作与规模化应用。开放、协作、共享，是具身智能生态繁荣的必经之路，智源研究院愿携手更多产业合作伙伴，共绘具身智能生态蓝图。