文章摘要
【关 键 词】 图像转换、绘画模拟、技术突破、视频生成、创意工具
ControlNet作者张吕敏(Lvmin Zhang)推出了一项名为Paints-Undo的新技术,该技术能够将任意图片快速转换成25秒的图像绘制过程视频。这项技术不仅适用于动漫风格,还能处理各种不同的绘画风格。在发布不到24小时内,Paints-Undo在GitHub上迅速获得了600多个星标,引起了广泛的关注和讨论。
Paints-Undo项目包含一系列模型,能够模拟人类的绘画行为,如素描、勾线、上色、阴影、变形等。目前发布的两个型号分别是paints_undo_single_frame和paints_undo_multi_frame。单帧模型基于SD1.5架构改进,输入一张图和一个操作步骤(相当于撤销次数),输出一张图。多帧模型基于VideoCrafter打造,输入两张图片,输出16帧中间帧,结果更一致但创造性较低。
Paints-Undo的默认使用方法是先使用单帧模型获取5-7个关键帧,再用多帧模型进行插值,生成较长的视频。理论上可以生成无限长的视频,但开发测试中发现100-500帧时效果最佳。项目测试在24GB显存的Nvidia 4090和3090TI上进行,最低需要10到12.5GB的显存。根据不同配置,处理一张图大约需要5-10分钟,生成的视频时长为25秒,帧率为4FPS,分辨率有多种可选。
除了直接生成从线稿到上色的视频,Paints-Undo还有多种玩法,如输入线稿生成绘制过程、单输入多输出、从一张图提取不同精细度的线稿等。感兴趣的用户可以访问GitHub链接(https://github.com/lllyasviel/Paints-UNDO)亲自尝试。
这项技术的出现,不仅为绘画爱好者提供了一种全新的创作方式,也引发了关于手绘伪造成本降低的讨论。尽管存在争议,但Paints-Undo无疑为图像处理领域带来了新的突破和可能性。
原文和模型
【原文链接】 阅读原文 [ 758字 | 4分钟 ]
【原文作者】 量子位
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★☆☆☆☆