资讯
2023-06-12 13:22 来源:shouyoubus.com 作者:佚名
用手机看
家人们,现在做个影视级视频,也就是一句话的事了!
例如只需简单输入“丛林(Jungle)”,大片镜头便可立刻呈现:
而且围绕着“丛林”变换几个搭配的词语,比如“河流”、“瀑布”、“黄昏”、“白天”等,这个AI也能秒懂你的意思。
还有下面这些自然美景、宇宙奇观、微观细胞等高清视频,统统只需一句话。
这就是Stable Diffusion和《瞬息全宇宙》背后技术公司Runway,出品的AI视频编辑工具Gen2。
而且就在最近,一个好消息突然袭来——Gen2可以免费试用了!
这可把网友们开心坏了,纷纷开始尝鲜了起来。
体验Gen2实录
如此好玩的技术,我们当然也要亲手体验上一番。
例如我们给Gen2投喂了一句中文:
上海外滩夜景,影视风格。
一个航拍视角的视频片段便立即被做了出来。
如果想让视频的风格变换一下,也可以上传一张图片,例如我们用的是一张赛博朋克风格的城市照片。
那么Gen2就会把你输出的提示词和照片风格做一个“合体”:
目前Runway官网可免费体验Gen2的功能是文生视频(Text to Video),但Gen1也开放了视频生视频(Video to Video)的功能。
例如一个国外小哥可能受《瞬息全宇宙》的启发,凭借Gen1也玩了一把更刺激的穿越。
他先是在家录了一段打响指的视频,然后“啪的一下”,瞬间让自己步入欧洲皇室贵族的“片场”:
然后……就连物种、性别,都可以随随便便地切换:
最后,再经历几次不同时空、人种的穿越之后,小哥一个响指又回到了自己的家里:
在看完Gen2生成的这波“大秀”之后,网友们不淡定了,直呼:
娱乐圈要被生成式AI重新定义了。
PC、手机都能玩
网页端和移动端(仅限iOS系统)现在均可正式开始体验。
以网页端为例,进入Runway官方主页(文末链接[1]),点击上方“TRY NOW”并注册账号,就可以进入下面的界面:
点击右方的“Introducing Gen2”,我们就可以正式开玩了。
首先,输入提示词,最多320个字符,然后在左边的设置菜单里进行一些基础配置(包括种子参数、插值等),点击“Generate”。
(当然,你也可以为视频提供一张参考图像,点击右边的图像图标即可。)
不到1分钟的功夫,视频就出来了。
点击下方播放按钮即可查看效果,视频可以直接保存到本地,也可以只保存在你的账户中。
当然,如果你不满意,还能在下方的提示词框中继续修改。
需要注意的是,免费试用的额度为105秒(右上角显示剩余额度),每个视频为4秒,也就是大约可免费生成26个Gen2视频。
额度用完或者你想体验去水印、提升分辨率等额外功能,就需要买会员,标准版为15美元一个月,Pro版35美元,年付更便宜一些。
如果你想要生成效果更好,可以多使用“in the style of xxx”的形式,比如:
A palm tree on a tropical beachin the style of professional cinematography, shallow depth of field, feature film.(如下图)A palm tree on a tropical beachin the style of 2D animation, cartoon, hand drawn animation.
或者直接去它的灵感库,选择一个你喜欢的视频然后点击“try it”即可查看它的提示词是怎么写的,然后在上面进行编辑或模仿就好了:
还有网友表示,使用“cinematic shot of”开头,也能让你的视频更具动感(解决了很多人试出来的视频不怎么动的问题)。
什么来头?
Gen2于今年3月20日正式发布,经历了两个多月的内测,现在终于正式上线。
它的前代Gen1只比它早了一个多月(2月发布),所以说迭代速度相当快。
作为一个基于扩散的生成模型,Gen1通过在预训练图像模型中引入时间层,并在图像和视频数据上进行联合训练,完成了潜扩散模型到视频生成领域的扩展。
其中也包括使用一种全新的引导方法完成了对生成结果时间一致性的精确控制。
其架构如图所示:
在训练阶段,先用固定编码器将输入视频x编码为z0,并扩散为zt。
然后对MiDaS获得的深度图进行编码,提取出结构表示s;再用CLIP对其中一个帧进行编码来获取内容表示c。
接着,在s的帮助下,模型学习反转潜空间中的扩散过程(其中s与c以及通过交叉注意块生成的c相连)。
在推理阶段,模型以相同的方式提供输入视频的结构s。
为了通过文本生成内容,作者还通过一个prior将CLIP文本嵌入转换为图像嵌入。
最终,Gen1可以生成细粒度可控的视频,也能对一些参考图像进行定制。
不过,一开始对公众发布的Gen1只能对已有视频进行编辑,Gen2才直接完成了文生视频的“蜕变”。
并且一口气带来了另外7大功能,包括文本+参考图像生视频、静态图片转视频、视频风格迁移等等。
这样的Gen2,也在内测阶段就被网友称赞“视频界的Midjourney”。
而根据官方的调研数据,Gen2确实更受用户欢迎:用户得分比Stable Diffusion 1.5要高73.53%,比Text2Live则高上了88.24%。
如今正式上线以后,果然迅速迎来一大波体验群众,有人表示:
上一次体会到这么激动的感觉,还是用AI生成图像的时候。
那么,不知道这波,参与开发了SD的Runway,能否再带着Gen2创造生成式AI领域的下一大热趋势——
如果答案是肯定的,还需要多久、还要解决哪些问题?
就且拭目以待。
责任编辑:落木
以上就是手游巴士为您提供《一句话拍大片!!视频版Midjourney免费开放:上次这么激动还是上次》的详细内容,更多精彩内容请继续阅读上一篇《只坑有钱人!史玉柱称感谢网友表扬:中国最缺计算数学人才 曾给浙大捐五千万》2023-06-12 只坑有钱人!史玉柱称感谢网友表扬:中国最缺计算数学人才 曾给浙大捐五千万
2023-06-12 一句话拍大片!!视频版Midjourney免费开放:上次这么激动还是上次
2023-06-12 女子称撑破试穿裙子无奈买下 裙子一扯像纸就烂:网友热议为何要讹人
2023-06-12 《逆水寒》手游组建“国风天团”:16位大师顾问助力内容创作
2023-06-12 铭凡推出HN2673迷你主机:12代i7 首搭锐炫独显
2023-06-12 拐点已到!小鹏汽车好起来了:G6三天预定量超2.5万台
2023-06-12 蔚来全系车型降3万!新车主“二选一”:可退3万块
2023-06-12 河北地质大学温暖回应环卫工人儿子 期待9月相见:最美妈妈让人动容
2023-06-12 青岛通报“一桌饭菜收费三次”:错收3400元已退还
2023-06-12 起售价或低于20万 别克E4纯电SUV官图发布:正面竞争国产品牌
2023-06-12 自抽脸?日本突然声称核污水危害健康 曾高喊可饮用、ALPS成笑话
2023-06-12 身临其境观看哥斯拉!苹果或将为Vision Pro定制怪兽剧集
2023-06-12 共享玩乐盛宴 《坦克世界》&《战舰世界》核聚变精彩瞬间
2023-06-12 换电到底是不是长久之计?蔚来宣布取消终身免费换电
2023-06-12 北京修订电动自行车用锂电池标准:电池组超80℃ 车辆30秒内发声报警
2023-06-12 北京修订电动自行车用锂电池标准:电池组超80℃ 车辆30秒内发声报警
2023-06-12 行业唯一双面泰坦玻璃手机!魅族20 INFINITY无界版首销售罄:顶配8499元
2023-06-12 大众CC超速迎头撞上大众途岳:后者A柱弯曲近乎报废
2023-06-12 接连2次被虐杀 澳洲鳄鱼得罪谁了?匿名者:我杀的、证明人才是老大
2023-06-12 似曾相识!麦芒A20官宣:5000万像素高清影像
2023-06-12 吴京和杰森斯坦森外滩吃饺子就酒:合作大片《巨齿鲨》将上映
2023-06-12 小米发布99元真无线耳机:单耳仅3.6g 28小时长续航
2023-06-12 399元起!天猫魔盒8 Pro上市:新CPU支持8K/蓝光原盘硬解
2023-06-12 最高用上RTX 4080!CDPR公布《赛博朋克2077》DLC配置要求
2023-06-12 6.4万买的FSD能用了 将在上海试点?特斯拉中国回应:不实
手游巴士
手游巴士