抢导演饭碗？AI生成视频100帧降至3美分

2023年05月12日21:03:22 娱乐 1506

用户生成视频的方式变得更加多元，可以文生视频、图生视频、视频生视频；在不同参数设置下，每100帧的报价范围从3美分到18美分不等。

文|郑远方

前脚《复仇者联盟》导演罗素兄弟中的joe russo刚刚放话，预计2年后就会出现一部完全由ai制作的电影，后脚stability ai就发布了ai生成视频新工具，制作电影、至少制造动画短片难度由此进一步降低。

当地时间5月11日，stability ai发布stable animation sdk，这是一款专为艺术家与开发人员设计的工具，旨在帮助艺术家和开发人员运用最先进的稳定扩散模型生成动画。

借助这一工具，用户可以使用所有stable diffusion模型，包括stable diffusion 2.0、stable diffusion xl等。

更重要的是，用户生成动画的方式变得更加多元，简而言之共有三种：文生视频、图生视频、视频生视频。

1）文本输入：即是使用文本形式的prompt，调整各种参数后生成动画，这一功能与之前的stable diffusion、midjourney或dall-e 2类似。

2）文本输入+初始图像输入：用户提供一个初始图像，作为动画的起点，再配合文本prompt，生成最终的动画效果。

3）初始视频输入+文本输入：用户提供一个初始视频，以作为动画基础。在通过参数调整与文本prompt指导，最终可输出动画。

与此同时，stable animation可以设置许多参数，包括最大帧数、高度、宽度、采样器、风格、色调等等。其中，可用的风格预设包括动漫、电影、漫画、数字艺术，增强幻想艺术、线条、朋克、摄影等多种形式。

目前，stable animation仅提供软件开发套件（sdk）和付费api。而部分参数要求可能会影响价格。stability表示，在不同设置下，每100帧的报价范围从3美分到18美分不等。

实际上，stability ai之前已推出基于stable diffusion的动画工具，例如用户可以prompt interpolation生成小段动图，而此次升级后，stable animation生成视频的能力变得更为全面且成熟。

值得一提的是，近日发布的wes anderson《指环王》新预告片中，就有着一些ai工具的踪迹。openai前ai主管andrej karpathy猜测，这部预告片中用到了midjourney/stable diffusion、controlnet、elevenlabs、d-id、chatgpt、adobe等工具。