PIKA正式上线唇形同步 – 给AI视频注入新的”想象”

AIGC动态10个月前发布 admin

1,179 0 0

模型信息

【模型公司】 百川智能
【模型名称】 Baichuan2-53B
【摘要评分】 ★★★★★

作者信息

【原文作者】 数字生命卡兹克
【作者简介】 反复横跳于不同的AI领域，努力分享一些很酷的AI干货
【微信号】 Rockhazix

PIKA正式上线唇形同步 - 给AI视频注入新的

文章摘要

【关键词】 AI产品、PIKA更新、唇形同步、AI视频、11Labs

本文主要介绍了AI产品PIKA的最新更新动态。在沉寂了3个月后，PIKA没有继续卷模型和控制，而是继续追求其1.0版本最初的目标：对话。PIKA的模型与其他AI视频产品不同之处在于，当生成人物时，大概率会说话，即唇形会动起来，模拟人物正在对话的感觉。这种效果更能符合真正的”短片”效果，因为短片中人与人之间的对话是必不可少的。

然而，去年PIKA 1.0上线时，并未与语音打通，只能生成一个正在动的嘴，但没有声音。声音需要用户自行在11Labs或魔音工坊中生成，然后将语音和AI片段拼接起来。但这样做的问题在于唇形和发音不匹配。因此，PIKA进行唇形同步是情理之中的事，他们一定会做，且必须做。

现在，PIKA已经推出了唇形同步功能，并对其超级合作者开放。作者亲自测试了这个功能，发现PIKA的唇形同步功能在某些情况下表现良好，但在其他情况下仍有待改进。例如，仅支持正脸，侧脸时会崩溃；面部有遮挡物时，识别会出错；背景有人脸时，会一起识别出来；唇部抖动不稳定；有时唇部会模糊等。

尽管如此，PIKA此次更新仍处于测试版阶段，尚未向公众开放，仍有很大的优化空间。作者期待PIKA在唇形同步方面的进一步优化，为AI视频注入新的活力。同时，作者认为，做AI配音的11Labs可能是最大的赢家。