LUMIERE

近日，谷歌宣布推出了 Lumiere，这是一款被称为 “逼真视频生成的时空扩散模型（Space-Time Diffusion Model）” 的 AI 视频生成器，相关内容在其预印论文中有详细介绍。

Lumiere 介绍：https://lumiere-video.github.io/

但实际上，这款工具最擅长的是创造出一些有趣的场景，比如可爱的动物穿着滑轮鞋、开车或者弹奏钢琴的视频。当然了，Lumiere 的能力远不止于此，但到目前为止，它可能是最先进的将文字描述转换成动物视频的 AI 生成器。

谷歌表示，Lumiere 采用了一种独特的架构，能够一次性完成视频整个时长的生成。换句话说，就是 “我们引入了一种时空 U-Net 架构（Space-Time U-Net Architecture），它能够通过模型的一次运算就生成视频的整个时长。这与现有的视频模型不同，现有模型通常是先合成一些关键的远景帧，然后进行时间上的高分辨率处理 —— 这种方法本质上难以实现视频的全局时间连贯性。”

用更通俗的话来说，谷歌的这项技术旨在同时处理视频中的空间（即视频里事物的位置）和时间（事物随时间的移动和变化）两个方面。这意味着，它不是通过将许多小部分或框架组合在一起来制作视频，而是可以通过一个流畅的过程从头到尾创建整个视频。

Lumiere 不仅能创造出精彩的视频效果，还可以做很多花样，谷歌在其演示页面上提供了很多精彩的示例。比如，它能够将文字描述转换成视频、把静态图片变成动态视频、根据参考图片生成具有特定风格的视频、利用文字提示进行统一风格的视频编辑、通过对图片某些区域进行动画处理创作出电影般的图像效果，还能进行视频内容的修复和改动（比如更换视频中人物的服装）。