资讯
2022-11-21 22:18 来源:shouyoubus.com 作者:佚名
用手机看
要说 Transformer 的核心亮点,当然是注意力机制了。
但现在,一篇新研究却突然提出了带点火药味的观点:
注意力机制对于预训练 Transformer 有多重要,这事儿得打个问号。
研究人员来自希伯来大学、艾伦人工智能研究所、苹果和华盛顿大学,他们提出了一种新的方法,用来衡量注意力机制在预训练 Transformer 模型中的重要性。
结果表明,即使去掉注意力机制,一些 Transformer 的性能也没太大变化,甚至与原来的模型差异不到十分之一!
这个结论让不少人感到惊讶,有网友调侃:
你亵渎了这个领域的神明!
所以,究竟如何判断注意力机制对于 Transformer 模型的重要性?
这种新测试方法名叫 PAPA,全称“针对预训练语言模型注意力机制的探测分析”(Probing Analysis for PLMs’ Attention)。
PAPA 采用的方法,是将预训练语言模型(PLMs)中依赖于输入的注意力矩阵替换成常数矩阵。
如下图所示,我们熟悉的注意力机制是通过 Q 和 K 矩阵,计算得到注意力权重,再作用于 V 得到整体权重和输出。
现在,Q 和 K 的部分直接被替换成了一个常数矩阵 C:
其中常数矩阵 C 的计算方式如下:
随后,用 6 个下游任务测试这些模型(CoLA、MRPC、SST-2、MNLI、NER、POS),对比采用 PAPA 前后,模型的性能差距。
为了更好地检验注意力机制的重要性,模型的注意力矩阵并非一次性全换成常数矩阵,而是逐次减少注意力头的数量。
如下图,研究先用了 BERT-BASE、RoBERTa-BASE 和 DeBERTa-BASE 做实验,其中 y 轴表示性能,x 轴是注意力头相比原来减少的情况:
随后,研究又用了 BERT-LARGE、RoBERTa-LARGE 和 DeBERTa-LARGE 做实验:
通过比较结果,研究人员发现了一些有意思的现象:
首先,用常数矩阵替换一半的注意矩阵,对模型性能的影响极小,某些情况下甚至可能导致性能的提升(x 值达到 ½ 时,图中有些模型数值不减反增)。
其次,即使注意力头数量降低为 0,平均性能下降也就 8%,与原始模型相比最多不超过 20%。
研究认为,这种现象表明预训练语言模型对注意力机制的依赖没那么大(moderate)。
不过,即使是预训练 Transformer 模型之间,性能表现也不完全一样。
作者们将表现更好的 Transformer 模型和更差的 Transformer 模型进行了对比,发现原本性能更好的模型,在经过 PAPA 的“测试”后,性能反而变得更差了。
如下图,其中 y 轴代表各模型原本的平均性能,x 轴代表将所有注意力矩阵替换为常数矩阵时(经过 PAPA 测试)模型性能的相对降低分值:
可以看出,之前性能越好的模型,将注意力矩阵替换成常数矩阵受到的损失也越高。
这说明如果模型本身性能越好,对注意力机制的利用能力就越好。
对于这项研究,有网友感觉很赞:
听起来很酷,现在不少架构太重视各种计算和性能任务,却忽略了究竟是什么给模型带来的改变。
但也有网友认为,不能单纯从数据来判断架构变化是否重要。
例如在某些情况下,注意力机制给隐空间(latent space)中数据点带来的幅度变化仅有 2-3%:
难道这种情况下它就不够重要了吗?不一定。
对于注意力机制在 Transformer 中的重要性,你怎么看?
论文地址:
https://arxiv.org/abs/2211.03495
参考链接:
https://twitter.com/_akhaliq/status/1589808728538509312
本文来自微信公众号:量子位 (ID:QbitAI),作者:萧箫
以上就是手游巴士为您提供《注意力机制作用被高估了?苹果等机构新研究:把注意力矩阵替换成常数矩阵后,性能差异不大》的详细内容,更多精彩内容请继续阅读上一篇《下一代动力电池走向何处?》2022-11-21 注意力机制作用被高估了?苹果等机构新研究:把注意力矩阵替换成常数矩阵后,性能差异不大
2022-11-21 下一代动力电池走向何处?
2022-11-21 苹果将为中国播客创作者举行说明会,帮助更多人创收
2022-11-21 山石网科加入开放麒麟 openKylin 社区
2022-11-21 晶圆代工厂联电:市场需求明显下滑,2023 年是具有挑战的一年
2022-11-21 Snapseed 创意修图,普通照片秒变大片
2022-11-16 中国电信天翼量子密话 2.0 升级:支持视频通话加密,支持图文 / 语音 / 视频 / 文件等信息类型加密
2022-11-16 科幻纪录片《未来漫游指南》开播,刘慈欣担任线索人物与讲述人
2022-11-16 《上古卷轴 ONLINE:焱歌》修复 PC 端闪退等问题,补偿玩家一只瓜尔宠物
2022-11-16 两名大学生利用 16 片英伟达 Jetson Nano 套装装出一台超算
2022-11-16 离线小爱同学明年发布,支持翻译和语音唤醒
2022-11-16 性能天花板:保时捷 Taycan 推出纽伯格林赛道包,约 9.8 万元
2022-11-12 双 11 返场:京东每满 299 减 50 元、天猫超市 / 国际狂欢继续
2022-11-11 DSCC:MiniLED 显示正稳步增长,苹果三季度占 70% 以上份额
2022-11-11 所有人都能看到韦布天文照片的美,盲人也不例外
2022-11-11 微信发布公告,打击网络赌博类违法行为
2022-11-11 苹果 iPhone 14 / Pro 系列热销,台湾地区 19 大科技厂 10 月营收同比增长超 20%
2022-11-11 【视频】车机畅连移动终端,上汽零束 SOA 平台开发者大会回顾
2022-11-11 70 寸 + MEMC 仅 1596 元:酷开 4K 电视再降新低
2022-11-11 LG OLED Flex 可调节曲率电竞显示器开售:42 英寸 4K 120Hz 屏,内置麦克风 / 扬声器,首发价 19999 元
2022-10-29 《原神》揽金 260 亿后,米哈游如何布局下个时代?
2022-10-29 外媒统计:影驰推出了 187 款 RTX 30 显卡,七彩虹 161 款
2022-10-29 明基推出新款 GH150 投影仪:1080p 分辨率,1500 ISO 流明
手游巴士
手游巴士