ControlNet作者新项目爆火:仅一张图生成25秒绘画全过程!不到一天GitHub揽星600+

AIGC动态5个月前发布 QbitAI
923 0 0
ControlNet作者新项目爆火:仅一张图生成25秒绘画全过程!不到一天GitHub揽星600+

 

文章摘要


【关 键 词】 图像转换绘画模拟技术突破视频生成创意工具

ControlNet作者张吕敏(Lvmin Zhang)推出了一项名为Paints-Undo的新技术,该技术能够将任意图片快速转换成25秒的图像绘制过程视频。这项技术不仅适用于动漫风格,还能处理各种不同的绘画风格。在发布不到24小时内,Paints-Undo在GitHub上迅速获得了600多个星标,引起了广泛的关注和讨论。

Paints-Undo项目包含一系列模型,能够模拟人类的绘画行为,如素描、勾线、上色、阴影、变形等。目前发布的两个型号分别是paints_undo_single_frame和paints_undo_multi_frame。单帧模型基于SD1.5架构改进,输入一张图和一个操作步骤(相当于撤销次数),输出一张图。多帧模型基于VideoCrafter打造,输入两张图片,输出16帧中间帧,结果更一致但创造性较低。

Paints-Undo的默认使用方法是先使用单帧模型获取5-7个关键帧,再用多帧模型进行插值,生成较长的视频。理论上可以生成无限长的视频,但开发测试中发现100-500帧时效果最佳。项目测试在24GB显存的Nvidia 4090和3090TI上进行,最低需要10到12.5GB的显存。根据不同配置,处理一张图大约需要5-10分钟,生成的视频时长为25秒,帧率为4FPS,分辨率有多种可选。

除了直接生成从线稿到上色的视频,Paints-Undo还有多种玩法,如输入线稿生成绘制过程、单输入多输出、从一张图提取不同精细度的线稿等。感兴趣的用户可以访问GitHub链接(https://github.com/lllyasviel/Paints-UNDO)亲自尝试。

这项技术的出现,不仅为绘画爱好者提供了一种全新的创作方式,也引发了关于手绘伪造成本降低的讨论。尽管存在争议,但Paints-Undo无疑为图像处理领域带来了新的突破和可能性。

“极客训练营”

原文和模型


【原文链接】 阅读原文 [ 758字 | 4分钟 ]
【原文作者】 量子位
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★☆☆☆☆

© 版权声明
“绘蛙”

相关文章

暂无评论

暂无评论...