资讯
2022-05-08 09:14 来源:松果财经 作者:佚名
用手机看
最近,追一科技发布了RoFormerV2模型,凭借追一独创的旋转位置编码技术(RoPE),全面超越了BERT、RoBERTa、Albert、Electra等当前的主流预训练模型。
在权威的中文NLP(自然语言处理)测试榜单CLUE上,RoFormerV2以仅3亿的参数量,超过了若干10亿+参数量的模型进入榜单前5名(截止2022年3月21日),同时它也是榜上前5名中参数量最少的模型,基本实现了同一尺度下的模型最优解。
RoFormerV2采用了追一独创的旋转位置编码(RoPE)技术,完全不同于主流的BERT、RoBERTa、Albert、Electra所使用的方法,这让RoFormerV2与这些模型在效果上拉开差距。
旋转位置编码(RoPE)技术是追一在2021年提出,利用向量之间的旋转角度来表示特征之间的相对关系,这一思路不同于此前所有的方法,知名的技术极客组织EleutherAI认为RoPE是“革命性”的,具有开创式意义。Google在今年提出的FLASH模型论文中则明确指出RoPE对模型的效果有明显的提升作用,并将其作为模型的默认方法。
同时,RoPE还被用在了许多最新的模型当中,例如EleutherAI新发布的60亿和200亿参数的GPT模型中就用了RoPE位置编码。
而Google最近大火的5400亿参数的PaLM模型中也采用了追一的RoPE技术,PaLM是一个支持多语种、多任务形式的超大型模型,它不仅可以理解人类语言,还可以理解机器代码。PaLM在上百个自然语言理解与自然语言生成任务上测试,并在大多数任务上取得了最优效果。这些最新方法都采用了RoPE的设计,进一步验证了它的优越性,使之有望成为预训练模型的标准方法。
随着“大模型”时代的来临,许多用户希望用优秀的模型来解决实际问题,但这些“庞然大物”所需要的硬件配置、高额投入,让人望而却步。同时, 利用“大模型”进行NLP技术实验研究,所需要的算力与时间成本越来越高。不管是NLP技术研究还是应用实践,追一科技都一直致力于开放、开源生态的参与、建设,助力用户和开发者创新研究。
RoFormerV2作为同体量效果最好的预训练模型,可以在有限的机器资源下进行训练与微调并获得超越体型更大的模型的效果,因此我们将其开源供大家进行研究使用,为推动中文NLP发展继续贡献一份力量。
【来源:松果财经】
以上就是手游巴士为您提供《AI大时代下的创新,追一科技发布RoFormerV2模型》的详细内容,更多精彩内容请继续阅读上一篇《业内:自动化设备生产因芯片短缺遭遇瓶颈,交期延长达一年》2022-05-08 AI大时代下的创新,追一科技发布RoFormerV2模型
2022-05-08 业内:自动化设备生产因芯片短缺遭遇瓶颈,交期延长达一年
2022-05-08 北京冬残奥会金牌奖牌榜:中国队都断层式第一!
2022-05-07 AI大时代下的创新,追一科技发布RoFormerV2模型
2022-05-07 业内:自动化设备生产因芯片短缺遭遇瓶颈,交期延长达一年
2022-05-07 华为Mate Xs 2折叠屏手机今日开售,9999元起
2022-05-07 iPhone 14 Max配置曝光:90Hz刘海屏+6GB RAM
2022-05-07 AMD Zen4 游戏本处理器最新爆料:桌面级规格,预计可达 16 核
2022-05-07 OPPO 新专利,可用相机识别假币
2022-05-07 特斯拉上海工厂拟通过两班倒制度提高汽车产量
2022-05-07 诺亚机器人新品发布会成功举行,算法升级造就困不住的机器人
2022-05-07 消息称吉利收购魅族 官方:暂不做评价
2022-05-07 苹果或被迫大幅调整 App Store、Safari等服务
2022-05-07 夫妻同时接到骚扰电话放在一起:这对话 笑崩了
2022-05-07 特斯拉回应车辆深夜自动播放“我死得好冤”:触摸屏故障,只是个例
2022-05-07 微软自我表扬 Win11 开始菜单设计 网友吐槽:真的没开玩笑?
2022-05-07 iQOO Neo6 SE 官方渲染图曝光:支持 80W 闪充
2022-05-07 iPhone 信号有救了!苹果自研基带有惊喜:信号或比高通还好
2022-05-07 育碧 Ubisoft + 订阅服务有望很快加入微软 XGP
2022-05-07 全新微软商店网页版低调上线:风格适配 Win11、能下 Edge 插件
2022-05-07 过河拆桥?3500 万粉丝吃播网红“浪胃仙”遭前老板声讨
2022-05-06 高通骁龙 8 Gen2 曝光:代工厂换为台积电
2022-05-05 影像旗舰稳了!小米 12 Ultra 全新渲染图出炉:奥利奥镜头太霸气
2022-05-05 仅 8mm 厚!TP-LINK 纸片路由发布:全球最薄路由器
2022-05-05 创中国高端车纪录!比亚迪汉 2 月销量出炉 国内 已有 18 万车主
手游巴士
手游巴士