文章摘要
【关 键 词】 AI游戏、实时生成、Transformer、开源模型、视频交互
Decart和Etched两家初创公司联合推出了Oasis,这是一款无需游戏引擎即可实时生成开放世界游戏的AI基座模型。Oasis经过数百万小时游戏视频的训练,能够仅通过用户的键盘输入实时生成游戏内容,包括图形学渲染和对物理原则及游戏规则的理解。该模型在H100上以360p分辨率实现每秒20帧的渲染,且无延迟。Oasis的代码和500M参数版本的模型权重已开源,官网也提供了游戏demo供玩家试玩。
Oasis的技术重点在于视频和交互,其模型基于Transformer架构,由基ViT的变分自动编码器(VAE)和基于DiT的潜在扩散主干组成,使用加速过的轴向、时空和因果注意力机制来克服长序列中的模型发散。这种架构保证了在Sohu芯片上的稳定扩展和快速推理,并且以自回归方式生成帧,能够根据游戏输入实时交互。
Decart成立于2023年9月,专注于提高AI模型效率和降低运行成本,已获得红杉资本2100万美金投资。Etched则是一家专注于AI芯片的公司,推出了Sohu芯片,专为LLM推理加速打造,性能远超Groq和英伟达B200。Sohu芯片的推出,有望解决视频生成模型在实际应用中的低效高成本问题。
Oasis的发布标志着全AI生成游戏的新纪元,预示着大型、低延迟、交互式的视频模型将成为下一波人工智能产品的核心。随着视频模型的扩展,它们正在学习代表整个物理世界和游戏,从而赋能一个全新的产品类别。
原文和模型
【原文链接】 阅读原文 [ 2096字 | 9分钟 ]
【原文作者】 新智元
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★☆☆
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...