AI智能视频AI智能视频视频创作

LUMIERE

一款被称为 “逼真视频生成的时空扩散模型(Space-Time Diffusion Model)” 的 AI 视频生成。

标签:
网易AI智能绘画

近日,谷歌宣布推出了 Lumiere,这是一款被称为 “逼真视频生成的时空扩散模型(Space-Time Diffusion Model)” 的 AI 视频生成器,相关内容在其预印论文中有详细介绍。

Lumiere 介绍:https://lumiere-video.github.io/

但实际上,这款工具最擅长的是创造出一些有趣的场景,比如可爱的动物穿着滑轮鞋、开车或者弹奏钢琴的视频。当然了,Lumiere 的能力远不止于此,但到目前为止,它可能是最先进的将文字描述转换成动物视频的 AI 生成器

谷歌表示,Lumiere 采用了一种独特的架构,能够一次性完成视频整个时长的生成。换句话说,就是 “我们引入了一种时空 U-Net 架构(Space-Time U-Net Architecture),它能够通过模型的一次运算就生成视频的整个时长。这与现有的视频模型不同,现有模型通常是先合成一些关键的远景帧,然后进行时间上的高分辨率处理 —— 这种方法本质上难以实现视频的全局时间连贯性。”

用更通俗的话来说,谷歌的这项技术旨在同时处理视频中的空间(即视频里事物的位置)和时间(事物随时间的移动和变化)两个方面。这意味着,它不是通过将许多小部分或框架组合在一起来制作视频,而是可以通过一个流畅的过程从头到尾创建整个视频。

Lumiere 不仅能创造出精彩的视频效果,还可以做很多花样,谷歌在其演示页面上提供了很多精彩的示例。比如,它能够将文字描述转换成视频、把静态图片变成动态视频、根据参考图片生成具有特定风格的视频、利用文字提示进行统一风格的视频编辑、通过对图片某些区域进行动画处理创作出电影般的图像效果,还能进行视频内容的修复和改动(比如更换视频中人物的服装)。
LUMIERE

数据统计

相关导航

星火内容运营大师

暂无评论

暂无评论...