首页全站导航手机版加入收藏关注我们
全站导航
  • 手游行业
  • 游戏问答
  • 新游前瞻
  • 游戏动态
  • 视频攻略
  • 新游预告
  • 热游视频
  • 周边视频
  • 资讯中心
  • 游戏攻略
  • 礼包中心
  • 热门攻略
  • 游戏专区
  • 手游合集
  • 手游分类
  • 手游开服
  • 手游开测
  • 全部手游
  • 苹果排行
  • 安卓排行
  • 单机排行
  • 网游排行
  • 福利美图
  • 吐槽八卦
  • 内涵GIF
  • 游戏截图
  • 游戏壁纸
关注我们
手游巴士

资讯

  • 资讯
  • 游戏
  • 视频
  • 礼包
  • 图片
  • 首页
  • 游戏中心
  • 手游行业
  • 新游资讯
  • 新游预告
  • 游戏活动
  • 综合资讯
  • 硬件资讯
  • 游戏攻略
  • 游戏评测
当前位置:首页 > 手游资讯 > 手游行业 > 扩散模型和 Transformer 梦幻联动,一举拿下新 SOTA,MILA 博士:U-Net 已死

扩散模型和 Transformer 梦幻联动,一举拿下新 SOTA,MILA 博士:U-Net 已死

2022-12-24 17:56 来源:网络 作者:佚名

用手机看

扫描二维码随身看资讯 使用手机 二维码应用 扫描右侧二维码,您可以
1.在手机上细细品读~
2.分享给你的微信好友或朋友圈~

“U-Net 已死,Transformer 成为扩散模型新 SOTA 了!”

就在 ChatGPT 占尽 AI 圈风头时,纽约大学谢赛宁的图像生成模型新论文横空出世,收获一众同行惊讶的声音。

△MILA 在读 ML 博士生 Ethan Caballero

论文创意性地将 Transformer 与扩散模型融合,在计算效率和生成效果上均超越了基于 U-Net 的经典模型 ADM 和 LDM,打破了 U-Net 统治扩散模型的“普遍认知”。

网友给这对新组合命名也是脑洞大开:

All we need is U-Transformer

希望他们没有错过 Transffusion 这个名字。

要知道,这几年虽然 Transformer 占尽风头,但 U-Net 在扩散模型领域仍然一枝独秀 ——

无论是“前任王者”DALL・E2 还是“新晋生成 AI”Stable Diffusion,都没有使用 Transformer 作为图像生成架构。

△ 英伟达 AI 科学家 Jim Fan

如今新研究表明,U-Net 并非不可用 Transformer 替代。

“U-Net 并非不可替代”

论文提出的新架构名叫 Diffusion Transformers(DiTs)。

架构保留了很多 ViT 的特性,其中整体架构如图左(包含多个 DiT 模块),具体的 DiT 模块组成如图右:

更右边的两个灰色框的模块,则是 DiT 架构的“变体”。主要是探讨在条件输入下,不同的架构是否能对信息进行更好的处理,包括交叉注意力等。

最终结果表明,还是层归一化(Layer Normalization)更好用,这里最终选用了 Adaptive Layer Normalization(自适应层归一化)的方法。

对于这篇论文研究的目的,作者表示希望探讨扩散模型中不同架构选择的重要性,以及也是给将来生成模型的评估做一个评判标准。

先说结果 —— 作者认为,U-Net 的归纳偏置(inductive bias),对于扩散模型性能提升不是必须的。

与之相反,他们能“轻松地”(readily)被 Transformer 的标准架构取代。

有网友发现,DALL・E 和 DALL・E2 似乎都有用到 Transformer。

这篇论文和它们的差异究竟在哪里?

事实上,DALL・E 虽然是 Transformer,但并非扩散模型,本质是基于 VQVAE 架构实现的;

至于 DALL・E2 和 Stable Diffusion,虽然都分别将 Transformer 用在了 CLIP 和文本编码器上,但关键的图像生成用的还是 U-Net。

△ 经典 U-Net 架构

不过,DiT 还不是一个文本生成图像模型 —— 目前只能基于训练标签生成对应的新图像。

虽然生成的图片还带着股“ImageNet 风”,不过英伟达 AI 科学家 Jim Fan 认为,将它改造成想要的风格和加上文本生成功能,都不是难点。

如果将标签输入调整成其他向量、乃至于文本嵌入,就能很快地将 DiT 改造成一个文生图模型:

Stable-DiT 马上就要来了!

所以 DiTs 在生成效果和运算速率上,相比其他图像生成模型究竟如何?

在 ImageNet 基准上取得 SOTA

为了验证 DiTs 的最终效果,研究者将 DiTs 沿“模型大小”和“输入标记数量”两个轴进行了缩放。

具体来说,他们尝试了四种不同模型深度和宽度的配置:DiT-S、DiT-B、DiT-L 和 DiT-XL,在此基础上又分别训练了 3 个潜块大小为 8、4 和 2 的模型,总共是 12 个模型。

从 FID 测量结果可以看出,就像其他领域一样,增加模型大小和减少输入标记数量可以大大提高 DiT 的性能。

FID 是计算真实图像和生成图像的特征向量之间距离的一种度量,越小越好。

换句话说,较大的 DiTs 模型相对于较小的模型是计算效率高的,而且较大的模型比较小的模型需要更少的训练计算来达到给定的 FID。

其中,Gflop 最高的模型是 DiT-XL / 2,它使用最大的 XL 配置,patch 大小为 2,当训练时间足够长时,DiT-XL / 2 就是里面的最佳模型。

于是在接下来,研究人员就专注于 DiT-XL / 2,他们在 ImageNet 上训练了两个版本的 DiT-XL / 2,分辨率分别为 256x256 和 512x512,步骤分别为 7M 和 3M。

当使用无分类器指导时,DiT-XL / 2 比之前的扩散模型数据都要更好,取得 SOTA 效果:

在 256x256 分辨率下,DiT-XL / 2 将之前由 LDM 实现的最佳 FID-50K 从 3.60 降至了 2.27。

并且与基线相比,DiTs 模型本身的计算效率也很高:

DiT-XL / 2 的计算效率为 119 Gflops,相比而言 LDM-4 是 103 Gflops,ADM-U 则是 742 Gflops。

同样,在 512x512 分辨率下,DiT-XL / 2 也将 ADM-U 之前获得的最佳 FID 3.85 降至了 3.04。

不过此时 ADM-U 的计算效率是 2813 Gflops,而 XL / 2 只有 525 Gflops。

研究作者

本篇论文作者为 UC 伯克利的 William Peebles 和纽约大学的谢赛宁。

William Peebles,目前是 UC 伯克利的四年级博士生,本科毕业于麻省理工学院。研究方向是深度学习和人工智能,重点是深度生成模型。

之前曾在 Meta、Adobe、英伟达实习过,这篇论文就是在 Meta 实习期间完成。

谢赛宁,纽约大学计算机科学系助理教授,之前曾是 Meta FAIR 研究员,本科就读于上海交通大学 ACM 班,博士毕业于 UC 圣迭戈分校。

谢赛宁读博士时曾在 FAIR 实习,期间与何恺明合作完成 ResNeXt,是该论文的一作,之前何恺明一作论文 MAE 他也有参与。

当然,对于这次 Transformer 的表现,也有研究者们表示“U-Net 不服”。

例如三星 AI Lab 科学家 Alexia Jolicoeur-Martineau 就表示:

U-Net 仍然充满生机,我相信只需要经过细小调整,有人能将它做得比 Transformer 更好。

看来,图像生成领域很快又要掀起新的“较量风暴”了。

论文地址:

https://arxiv.org/abs/2212.09748v1

参考链接:

  • [1]https://twitter.com/ethanCaballero/status/1605621603135471616

  • [2]https://www.wpeebles.com/DiT

  • [3]https://paperswithcode.com/paper/scalable-diffusion-models-with-transformers#code

本文来自微信公众号:量子位 (ID:QbitAI),作者:羿阁 萧箫

以上就是手游巴士为您提供《扩散模型和 Transformer 梦幻联动,一举拿下新 SOTA,MILA 博士:U-Net 已死》的详细内容,更多精彩内容请继续阅读上一篇《Redmi 可穿戴新品 2023 早春系列公布:大屏手表、大屏手环、多彩耳机》

表羞涩嘛~喜欢就点我

分享吧~提高逼格:

相关阅读

  • 2022-12-24 OpenAI CEO 谈 AI 画图明星 DALL・E 2:技术突破不多,地气接了不少

  • 2022-12-24 小米净水器宣布销量突破 500 万

  • 2022-12-24 街机游戏中那些看不懂的奇怪动作,原来都是有出处的

  • 2022-12-24 消息称达美航空 2023 年起提供免费机上 Wi-Fi 服务

  • 2022-12-24 Redmi 可穿戴新品 2023 早春系列公布:大屏手表、大屏手环、多彩耳机

  • 2022-12-24 扩散模型和 Transformer 梦幻联动,一举拿下新 SOTA,MILA 博士:U-Net 已死

  • 2022-12-24 消息称 AMD 锐龙 7040 移动处理器支持 LPDDR5-7500 内存

  • 2022-12-24 搜狗输入法官网显示已支持开源鸿蒙 OpenHarmony(还未提供下载)

  • 2022-12-24 华为 MatePad 11 英寸推送鸿蒙 HarmonyOS 3.0.0.190 更新:新增 PC 应用引擎

  • 2022-12-24 电影《狩猎》即将上线腾讯视频 / 爱奇艺:外星异种入侵冰封雪原

  • 2022-12-24 Win11 学院:如何修复 Windows Update 服务丢失问题

  • 2022-12-24 自动驾驶的 2022:走出泡沫,回到正轨

  • 2022-12-24 120W+2C1A:努比亚三口氮化镓充电器套装 189 元新低

  • 2022-12-24 红旗汽车 10Ah 级大容量全固态电芯试制完成

  • 2022-12-24 小米米家 iOS 版 8.0 上线:首页支持品类聚合,顶部批量控制可折叠

  • 2022-12-24 数字人民币(试点版)iOS / 安卓版 1.0.16 更新:新增专属头像、个人红包功能

  • 2022-12-24 2022 年 11 月 10.3 英寸首次成为电子纸平板线上市场月销量最高尺寸

  • 2022-12-24 微信键盘诞生背后:国产输入法 30 年

  • 2022-12-24 Win11 学院:如何启用本地安全机构(LSA)保护功能

  • 2022-12-24 12999 元:华为 Mate 50 RS 保时捷设计开放购买

  • 2022-12-24 极氪 ZEEKR OS 4.0 系统已开启全面推送,带来多种新功能

  • 2022-12-24 让更多索尼微单用户获得“无损压缩 RAW”

  • 2022-12-24 宇宙是模拟的,我们都是 NPC!物理学家称可证明但还差 160 万,网友:急需外挂

  • 2022-12-24 游戏圈嘴最臭的制作人,又双叒被任天堂警告了

  • 2022-12-24 新成昆铁路将于 12 月 26 日投入运行,升级款复兴号 CR200J 同步登场

热点推荐

  • 大话2《宫里的大话》第二话 揭秘国风赋新计划背后的故事大话2《宫里的大话》第二话 揭秘国风赋新计划背后的故事
  • 爱游戏2017Chinajoy大玩情怀  “游戏不灭 天生爱玩”!爱游戏2017Chinajoy大玩情怀 “游戏不灭 天生爱玩”!
  • 映客入局王者荣耀职业联赛,投资过亿开启“一键即播”映客入局王者荣耀职业联赛,投资过亿开启“一键即播”
  • 太极熊猫3:猎龙与好莱坞大片金刚:骷髅岛建立影游合作太极熊猫3:猎龙与好莱坞大片金刚:骷髅岛建立影游合作

热门游戏

  • 时逆

    时逆

    立即下载
  • 剑侠世界

    剑侠世界

    立即下载
  • 铁甲风暴

    铁甲风暴

    立即下载
  • 三国志奇侠传

    三国志奇侠传

    立即下载
  • 蜀山战神

    蜀山战神

    立即下载
  • 人气动漫大乱斗

    人气动漫大乱斗

    立即下载

热点资讯

更多+
  • 啪啪三国2手游枪兵好玩吗?枪兵作战有什么特色
    啪啪三国2手游枪兵好玩吗?枪兵作战有什么特色
  • 轩辕剑之汉之云手游双属性职业阴阳战斗玩法
    轩辕剑之汉之云手游双属性职业阴阳战斗玩法
  • 莽荒纪3D手游新手必备 浩瀚世界里的修仙小伙伴上
    莽荒纪3D手游新手必备 浩瀚世界里的修仙小伙伴上

小编热推

更多+
《有杀气童话2》『蔚骑士·青蛙公主』降临!童话庆典开启!

满分攻略

  • 点灯游戏攻略第一章 点灯第一章图文通关流程

    满分 点灯游戏攻略第一章 点灯第一章图文通关流程

    关
    查看全部
  • 点灯第二章通关攻略 点灯游戏攻略第二章解密流程

    满分 点灯第二章通关攻略 点灯游戏攻略第二章解密流程

    关
    查看全部
  • 点灯第三章通关攻略 点灯游戏攻略第三章图文详解

    满分 点灯第三章通关攻略 点灯游戏攻略第三章图文详解

    关
    查看全部

热门礼包

更多+

三国杀

三国杀 剩余:500/500 有效日期:2017-05-02

领取

三国杀

领取

三国杀愚人节礼包

三国杀愚人节礼包 剩余:500/500 有效日期:2017-05-31

领取

三国杀愚人节礼包

领取

三国杀独家礼包

三国杀独家礼包 剩余:500/500 有效日期:2017-07-26

领取

三国杀独家礼包

领取

三国杀移动版国庆礼包

三国杀移动版国庆礼包 剩余:500/500 有效日期:2017-11-29

领取

三国杀移动版国庆礼包

领取

一步高升新手礼包

一步高升新手礼包 剩余:491/1000 有效日期:2019-09-14

领取

一步高升新手礼包

领取

奶块首发大礼包

奶块首发大礼包 剩余:344/1900 有效日期:1970-01-01

领取

奶块首发大礼包

领取

奶块成长礼包

奶块成长礼包 剩余:297/1167 有效日期:2017-12-31

领取

奶块成长礼包

领取

植物大战僵尸2特权礼包

植物大战僵尸2特权礼包 剩余:232/300 有效日期:2018-05-31

领取

植物大战僵尸2特权礼包

领取

银河战舰代言人公测礼包

银河战舰代言人公测礼包 剩余:232/300 有效日期:2018-10-01

领取

银河战舰代言人公测礼包

领取

植物大战僵尸2豪华福包

植物大战僵尸2豪华福包 剩余:224/500 有效日期:2018-07-31

领取

植物大战僵尸2豪华福包

领取

热门合集

更多+
  • 适合女生玩的HTML5游戏

    查看合集
  • 2017手机游戏排行榜

    查看合集

手游资讯

NEWS
手游行业 手游活动 新游前瞻 综合资讯

最全攻略

RAIDERS
游戏资料 游戏攻略 硬件资讯 游戏问答

视频中心

VIDEO
视频攻略 新游预告 热门游戏 周边视频

游戏中心

GAME
手游合集 游戏分类 发号中心 热门专区

手游排行

TOP 100
安卓榜 苹果榜 单机榜 网游榜

手游巴士

手游巴士

  • 关于我们
  • 商务洽谈
  • 联系我们
  • 友情链接
  • 版权声明

Copyright © 2020-2022 手游巴士 shouyoubus.com, All Rights Reserved.赣ICP备2021011040号