资讯
2023-07-08 13:49 来源:shouyoubus.com 作者:佚名
用手机看
可生成1024×576高清分辨率视频的大模型,开源了!
无论是在海草间游动的小鱼:

还是精细到眼珠子的神秘克苏鲁图像:

全部以前所未有的清晰感呈现出来,让网友直呼“san值狂掉”。

这个视频生成模型开源即爆火,不仅在推特和Reddit上收获一众热度,就连前特斯拉AI总监Andrej Karpathy也来围观了一波:

现在,Hugging Face工程师已经搞出了试玩demo,不少网友直接线上开炫,例如生成《星球大战》达斯·维德在水上冲浪的珍贵影像:

效果看起来也不错,所以它究竟是怎么训练的?
基于17亿参数大模型改造
Zeroscope的“原型”,是达摩院ModelScope(魔搭)社区开源的17亿参数文生视频大模型。

这一版大模型由文本特征提取、文本特征到视频隐空间扩散模型、视频隐空间到视频视觉空间3个子网络组成。
其中,扩散模型采用Unet3D结构,通过从纯高斯噪声视频中迭代去噪过程,最终实现视频生成。
不过在ModelScope社区中开源的这版大模型,生成视频的效果还不能说是高清:

为此,ZeroScope设计了两个阶段,先通过文生视频、再通过视频生视频提升分辨率,最终生成1024×576分辨率的视频:
第一步,文生视频,基于ZeroScope_v2_576w来生成576×320分辨率的视频;
第二步,视频生视频,基于ZeroScope_v2_XL来生成1024×576分辨率的视频片段。
训练上,ZeroScope采用了9923个1024×576分辨率的视频片段,每个片段包含24帧画面,其中有3帧被打上标记,加起来一个是29769个标记帧(tagged frames)。
不过,生成高清视频,需要的硬件要求也会更高一些。
要想生成576×320分辨率、帧率30的视频,至少需要7.9GB的VRam(显存的一种);如果要生成1024×576分辨率、帧率30的视频,则至少需要15.3GB的VRam。
有网友感到高兴:
又一个足以与Gen-2竞争的文生视频模型出现了!

甚至有网友认为,这个模型的出现已经说明,人们没必要为了Runway搞出来的Gen-2付钱了,毕竟后者效果也没有那么好。

无论如何,文生视频AI领域的“新搅局者”都已经出现。
在线试玩Demo已出
模型一开源,Hugging Face上就已经出现了试玩Demo。
这里我们试着生成“和爱因斯坦打高尔夫球”。
效果还不错,虽然不知道为什么爱因斯坦打着打着蹲下了(手动狗头)

从提示词类型来看,不仅可以输入比较精细的描述:
例如“一个男人在行驶的火车上睡觉,窗外物体飞速移动”(A man is sleeping in his seat, inside a train running, background behind the window is moving fast)

也可以只输入简单的一句话,像是“巨型皮卡丘大战哥斯拉”(Giant Pikachu versus Godzilla fight)

除此之外,也有不少网友分享了自己的作品。
例如这是“爱因斯坦大笑着开星球大战里的飞梭赛车”:

还有网友@Callimiya生成了“达斯维德在课室跳舞”的神奇视频,似乎还有小孩子在陪他一起跳:

不过,由于试玩人数比较多,导致它有时会出bug。这时候只要不停地提交,还是可以冲进队列中的。

当然,如果你觉得这一版的Demo可控性不够好,还可以尝试另一版,无论是seed(便于生成相似内容)还是推理次数都可手动调整:

怎么样,想好用它生成什么新视频了吗?
简单版试玩:https://huggingface.co/spaces/fffiloni/zeroscope
可控版进阶试玩:https://huggingface.co/spaces/hysts/zeroscope-v2
参考链接:
[1]https://twitter.com/_akhaliq/status/1672650155743408133
[2]https://www.reddit.com/r/aivideo/comments/14hbiql/announcing_zeroscope_v2_xl_a_new_1024x576_video/
[3]https://twitter.com/fffiloni/status/1673644193967747072
责任编辑:落木
以上就是手游巴士为您提供《克苏鲁高清AI视频爆火!Demo在线可玩:前特斯拉AI总监也来围观》的详细内容,更多精彩内容请继续阅读上一篇《男生考上985研究生辞掉车企上万月薪工作:父母很支持》2023-07-10 开云电竞稳定韩服《命运方舟》突遭和谐
2023-07-10 开云电竞大平台王者《摘星辰》首演成功
2023-07-10 开云电竞稳定逆境成就九冠LF夺冠回顾
2023-07-10 开云电竞大平台《蛋仔派对》“玫瑰骑士”上线
2023-07-10 《剑网三》新手攻略,开云电竞大平台进行讲解
2023-07-10 Switch必玩游戏推荐,开云电竞大平台进行分析
2023-07-10 原神雷音权现开云电竞安全boss攻略介绍
2023-07-10 原神吼吼小狐巡天记过关开云电竞安全技巧介绍
2023-07-10 原神纯水精灵洛蒂娅开云电竞安全攻略
2023-07-10 开云电竞大平台《剑侠世界3》门派盘点
2023-07-10 李信最强打法教学,开云电竞大平台进行分析
2023-07-10 Minidayz1保姆级攻略1-开云电竞大平台稳定详解
2023-07-10 2023武侠手游推选-开云电竞大平台稳定详解
2023-07-10 晶核角色推荐-开云电竞大平台稳定详解
2023-07-10 Minidayz2保姆级攻略10-开云电竞大平台稳定详解
2023-07-10 Minidayz2保姆级攻略9-开云电竞大平台稳定详解
2023-07-10 Minidayz2保姆级攻略8-开云电竞大平台稳定详解
2023-07-10 开云电竞大平台报道:永劫无间即将转为免费
2023-07-10 开云电竞大平台:BLAST 2022年亏损1157万欧元
2023-07-10 开云电竞大平台:巴厘岛Major战报
2023-07-10 天玑×虎牙高能嘉年华壮观揭幕,iQOO Neo8 Pro伴现场电竞名手征战巅峰
2023-07-09 天玑×虎牙高能嘉年华开幕 OPPO Find X6成现场“明星装备”
2023-07-08 开云电竞稳定《第五人格》赛事回顾
2023-07-08 开云电竞稳定《天下》全新神灵主题
2023-07-08 开云电竞大平台之《火炬之光:无限》
手游巴士
手游巴士