新闻中心

AI新风口?首个高质量「文生视频」模型Zeroscope引发开源大战:最低8G显存可跑

2023-07-09
浏览次数:
返回列表

文生图模型stable diffusion开源后,将「ai艺术」彻底平民化,只需一张消费级显卡即可制作出非常精美的图片。

而文本转视频领域,目前质量较高的只有Runway前不久推出的商用Gen-2模型,开源界还没有一个能打的模型。

最近,Huggingface上有作者发布了一个文生视频模型Zeroscope_v2,基于17亿参数量的ModelScope-text-to-video-synthesis模型进行二次开发。

AI新风口?首个高质量「文生视频」模型Zeroscope引发开源大战:最低8G显存可跑图片

模型链接:https://huggingface.co/cerspense/zeroscope_v2_576w

相比于原版本,Zeroscope生成的视频没有水印,并且流畅度和分辨率都得到了提升,适配16:9的宽高比。

开发者cerspense表示,他的目标就是和Gen-2进行开源较量,即提高模型质量的同时,还能免费供大众使用。

Zeroscope_v2包括两个版本,其中Zeroscope_v2 567w可以快速生成576x320像素分辨率、帧率为30帧/秒的视频,可用于视频概念的快速验证,只需要约7.9GB的显存即可运行

使用Zeroscope_v2 XL生成高清视频,分辨率为1024x576,占用约15.3GB的显存。

Zeroscope还可以与音乐生成工具MusicGen一起使用,快速制作一个纯原创短视频。

Zeroscope模型的训练用到了9923个视频片段(clip)以及29769个标注帧,每个片段包括24帧。偏移噪声包括视频帧内对象的随机移位、帧定时(frame timings)的轻微变化或微小失真。

训练期间引入噪声可以增强模型对数据分布的理解,从而可以生成更多样化的逼真视频,并更有效地解释文本描述中的变化。

使用方法

使用stable diffusion webui

在Huggingface上下载zs2_XL目录下的权重文件,然后放到stable-diffusion-webui\models\ModelScope\t2v目录下即可。

在生成视频时,推荐的降噪强度值为0.66到0.85

使用Colab

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

AI新风口?首个高质量「文生视频」模型Zeroscope引发开源大战:最低8G显存可跑

Pippit AI Pippit AI

CapCut推出的AI创意内容生成工具

Pippit AI 133 查看详情 Pippit AI

笔记链接:https://colab.research.google.com/drive/1TsZmatSu1-1lNBeOqz3_9Zq5P2c0xTTq?usp=sharing

先点击Step 1下的运行按钮,等待安装,大约需要3分钟;

AI新风口?首个高质量「文生视频」模型Zeroscope引发开源大战:最低8G显存可跑图片

当按钮旁边出现绿色复选标记时,继续执行下一步。

AI新风口?首个高质量「文生视频」模型Zeroscope引发开源大战:最低8G显存可跑图片

点击想要安装模型附近的运行按钮,为了能够在Colab中快速获得3秒左右的剪辑视频,更推荐使用低分辨率的ZeroScope模型(576或448)。

AI新风口?首个高质量「文生视频」模型Zeroscope引发开源大战:最低8G显存可跑图片

需要在执行更高分辨率模型(如Potat 1或ZeroScope XL)时,权衡执行时间会更长。

再次等待复选标记出现,继续执行下一步。

选择在Step2中安装并希望使用的模型型号,对于更高分辨率的模型,推荐下面的配置参数,不需要太长的生成时间。

AI新风口?首个高质量「文生视频」模型Zeroscope引发开源大战:最低8G显存可跑图片

接下来,您可以输入目标视频的提示词来改变效果,并且还可以输入否定提示词(negative prompts),然后点击运行按钮。 

等待一会后,生成的视频就会被放置在outputs目录下。

AI新风口?首个高质量「文生视频」模型Zeroscope引发开源大战:最低8G显存可跑图片

「文生视频」开源竞赛

目前来说,文生视频领域仍处于起步阶段,即便是最好的工具也只能生成几秒钟的视频,并且通常存在较大的视觉缺陷。

但其实文生图模型最初也面临着类似的问题,但仅仅几个月后就实现了照片级真实感。

不过与文生图模型不同的是,视频领域在训练和生成期间所需要的资源都要更比图像更多。

虽然谷歌已经研发出了Phenaki和Imagen Video模型,可以生成高分辨率、更长、逻辑连贯的视频片段,但公众无法使用到这两个模型;Meta的Make-a-Video模型也同样没有发布。

目前可用的工具仍然只有Runway的商用模型Gen-2,此次Zeroscope的发布也标志着文生视频领域第一个高质量开源模型的出现。

以上就是AI新风口?首个高质量「文生视频」模型Zeroscope引发开源大战:最低8G显存可跑的详细内容,更多请关注其它相关文章!


# 开源  # runway  # stable diffusion  # ai  # 南通优化网站怎么收费  # 海淀网站建设路攻略  # 网站建设后怎么写  # 平度网站推广公司  # 药械营销推广方案  # 重庆seo2018轩辕seo  # 网站建设 论坛  # 汕尾网络营销推广服务  # 好的seo加盟代理项目  # 抖音关键词排名品牌  # 别再  # 站上  # 更高  # 只需  # 还可以  # 腾讯  # 首个  # 高质量  # 显存  # phenaki 


相关栏目: 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195


相关推荐: j*a map数组怎么取值  单片机for循环怎么用  固态硬盘如何查看盘符  宝马x5仪表盘上边有power是什么意思  爱奇艺视频怎么下载到手机u盘怎么转换格式方法  反向春运抢票方式  如何用ftp连接命令行  选哪个折叠屏手机好  js怎么设置typescript  高市盈率是什么意思  如何给电脑加装固态硬盘  输入命令如何换行  空调控制面板power灯一直亮是什么意思  云笔记本电脑有什么用  如何通过命令系统还原  typescript如何做项目  手机拍电脑屏幕有条纹怎么解决  折叠屏手机共有哪些  记录仪power灯亮是什么意思  春运抢票可以抢几次票  j*a里数组怎么赋值  360桌面壁纸怎么弄掉  单片机蓝牙怎么开启设备  单片机怎么读取电流值  什么是unix时间戳  什么是夸克模组文件格式  春运抢票失败怎么抢  a03怎么根据编号找文链接入口  交管12123协议头不完整是啥意思  如何去掉拍电脑的纹路详细教程  免费恢复删除的微信聊天记录软件有哪些  夸克链信有什么用  为什么夸克运行不了  苹果16更新了哪些功能  solo交友软件怎么恢复聊天记录  固态硬盘如何消除缓存  单片机计时程序怎么写  为什么ai老是说链接面板中缺少某些文件  夸克文字口令是什么意思  命令控制台如何执行sql文件  固态硬盘如何测试好坏  怎么确定手机是5g  苹果16要升级哪些功能  阿里云盘扩容是什么_扩容阿里云盘方法是什么教程  折叠手机屏易坏吗为什么  arp命令如何使用  今天是农历多少号  如何寻找和修复无法在 AI 中找到文件的问题  市盈率高是什么意思  电脑显示屏上power是什么意思 

搜索