谷歌展示首个大模型实时游戏模拟引擎，重塑游戏开发流程

41 0 0

文章摘要

谷歌研究人员利用开源扩散模型Stable Diffusion 1.4开发了实时游戏模拟引擎GameNGen，该引擎能在单个TPU上以超过20帧每秒的速度交互式模拟经典射击游戏《DOOM》。人类评估结果显示，GameNGen模拟的游戏与真实游戏难以区分，因为它不仅复制视觉效果，还能维持复杂的内部状态更新，如计算玩家生命值、弹药数量，攻击敌人，破坏物体，开门等，形成连贯的视觉效果，增强模拟真实性。

GameNGen由两大部分组成。第一阶段，训练智能体模拟人类玩家游戏行为，生成动作和观察数据。这些数据包括玩家输入和游戏输出，用于训练生成模型，学习根据玩家输入和游戏状态预测下一帧。为使智能体执行多种动作，设置奖励函数，包括玩家被击中、死亡、击中敌人、杀死敌人、拾取物品/武器、发现秘密等。为鼓励智能体流畅模拟人类玩法，每个动作应用4帧，并增加重复上一个动作的概率。

第二阶段，训练生成模型时，选择Stable Diffusion v1.4作为基础模型，并调整以适应游戏模拟需求。通过编码过去的帧和动作预测下一帧，涉及将过去的帧编码到潜在空间，并与噪声结合生成新帧。为解决自回归生成过程中样本质量快速下降问题，引入“噪声增强”技术，通过在训练时向编码帧中添加不同量高斯噪声，并在模型输入中包含噪声水平，使网络能在推理时校正之前帧中的错误信息，保持长时间轨迹稳定性，允许模型在生成过程中不断校正和优化预测，保持生成画面连贯性和质量。

尽管GameNGen存在技术局限，但在游戏关卡设计、测试、实时场景交互等游戏开发领域具有很大帮助。它可根据训练数据自动生成逼真场景，包括地形、建筑和道具等，并根据玩家行为和反馈进行实时调整和优化，学习玩家游戏模式和偏好，提供个性化游戏体验。如果玩家倾向于某种游戏策略，GameNGen可相应调整游戏难度和内容，增加游戏趣味性和挑战性。