Stable Video Diffusion问世! 全新SVD支持文字到影片、图像到影片的绘制

Stable Diffusion官方终于进展到视频了——

发布生成式视频模型Stable Video Diffusion(SVD)。

Introducing Stable Video Diffusion

▲ Introducing Stable Video Diffusion

Stability AI官方博客显示,全新SVD支持文字到视频、图像到视频的绘制:

Stable Video Diffusion问世! 全新SVD支持文字到视频、图像到视频的绘制

并且还支持物体从单一视角到多视角的转化,也就是3D合成:

Stable Video Diffusion问世! 全新SVD支持文字到视频、图像到视频的绘制

根据外部评估,官方宣称SVD甚至比runway和Pika的视频生成AI更受用户欢迎。

虽然目前只发表了基础模型,但官方透露「正计划继续扩充,建立类似于Stable Diffusion的生态系统」。

目前论文代码权重已上线。

论文链接:Stable Video Diffusion: Scaling Latent Video Diffusion Models to Large Datasets

最近视频生成领域不断出现新玩法,这次轮到Stable Diffusion出招,以至于网友们的第一反应就是「快」,进步太快!

但仅从Demo效果来说,更多网友们表示并没有感到很惊喜。

虽然我喜欢SD,而且这些Demo也很棒…… 但也存在一些缺陷,光影不对、而且整体不连贯(视频格与格之间闪烁)。

Stable Video Diffusion问世! 全新SVD支持文字到视频、图像到视频的绘制

但整体来说这是个开始,网友对SVD的3D合成功能还满是看好:

我敢打赌,很快就会有更好的东西出来,到时候只要描述一下,就会得到一个完整的3D场景。

Stable Video Diffusion问世! 全新SVD支持文字到视频、图像到视频的绘制

SD视频官方版来袭

除了上面展示的,官方还发表了更多Demo:

Stable Video Diffusion问世! 全新SVD支持文字到视频、图像到视频的绘制

太空漫步

▲ 太空漫步

背景不动,只让两只鸟动也可以▲ 背景不动,只让两只鸟动也可以

SVD的研究论文目前也已发表,据介绍SVD基于Stable Diffusion 2.1,用约6亿个样本的视频资料集预训练了基础模型。

可轻松适应各种下游任务,包括通过对多视图数据集进行微调从单个图像进行多视图合成。

微调后,官方公布的是两种图像到视频模型,可以以每秒3到30影格之间的自定义画面播放速率生成14(SVD)和25影格(SVD-XT)的视频:

Stable Video Diffusion问世! 全新SVD支持文字到视频、图像到视频的绘制

之后又微调了多视角视频生成模型,叫做SVD-MV:

Stable Video Diffusion问世! 全新SVD支持文字到视频、图像到视频的绘制

根据测试结果,在GSO数据集上,SVD-MV得分优于多视角生成模型Zero123、Zero123XL、SyncDreamer:

Stable Video Diffusion问世! 全新SVD支持文字到视频、图像到视频的绘制

值得一提的是,Stability AI表示SVD目前仅限于研究,不适用于实际或商业应用。 SVD目前也不是所有人都可以使用,但已开放用户候补名单注册。

视频生成大爆发

最近视频生成领域呈现出现「混战」的局面。

前有PikaLabs开发的文字生视频AI:

Stable Video Diffusion问世! 全新SVD支持文字到视频、图像到视频的绘制

后又有号称史上最强大的视频生成AIMoonvalley推出:

Stable Video Diffusion问世! 全新SVD支持文字到视频、图像到视频的绘制

最近Gen-2的「运动笔刷」功能也正式上线,指到哪画哪

Stable Video Diffusion问世! 全新SVD支持文字到视频、图像到视频的绘制

现在SVD又出现了。

但文本到3D生成方面好像还没有太多进展,网友对这一现象也很是困惑。

Stable Video Diffusion问世! 全新SVD支持文字到视频、图像到视频的绘制

有人认为数据是阻碍发展的瓶颈:

Stable Video Diffusion问世! 全新SVD支持文字到视频、图像到视频的绘制

还有网友表示原因在于强化学习还不够强:

Stable Video Diffusion问世! 全新SVD支持文字到视频、图像到视频的绘制
(0)
榜哥榜哥

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注