资讯
2023-12-20 00:00 来源:网易科技 作者:佚名
用手机看
11月8日消息,三名谷歌研究人员在最新提交给预印本文献库(ArXiv)的一篇论文中指出,人工智能领域的底层技术深度神经网络transformer并不擅长归纳概括。
Transformer是ChatGPT等人工智能工具背后大语言模型的基础。在11月1日提交给ArXiv的一篇新论文中,三名作者Steve Yadlowsky、Lyric Doshi和Nilesh Tripuraneni写道:“当任务或功能需要超出预训练数据的范围时,transformer出现了各种故障模式,发现即使是简单的任务外延也会降低它们的归纳能力。”
根据这篇论文的说法,深度神经网络transformer所擅长的是执行与训练数据相关的任务,并不太擅长处理超出这个范围的任务。
对于那些希望实现通用人工智能(AGI)的人来说,这个问题不容忽视。通用人工智能是技术人员用来描述可以完成任何人类所做事情的假想人工智能。就目前而言,人工智能非常擅长执行特定任务,但不像人类那样能跨领域转移技能。
华盛顿大学计算机科学与工程荣誉教授佩德罗·多明戈斯(Pedro Domingos)表示,新研究意味着“在这一点上,我们不应该对即将到来的人工智能过于疯狂。”
人们将AGI吹捧为人工智能领域的终极目标,从理论上讲,其代表着人类创造出与自己一样聪明或比自己更聪明的东西。许多投资者和技术人员都在为此投入大量时间和精力。
本周一,OpenAI首席执行官萨姆·奥尔特曼(Sam Altman)就与微软首席执行官萨蒂亚·纳德拉(Satya Nadella)共同登台,重申了他关于“合作打造AGI”的愿景。
实现这一目标意味着让人工智能完成许多人类大脑可以完成的归纳性任务,包括适应不熟悉的场景、创建类比、处理新信息以及抽象思维等等。
但是,正如研究人员指出的那样,如果这项技术连“简单的任务外延”都难以实现,那么显然我们离目标还很远。
普林斯顿大学计算机科学教授阿尔温德·纳拉亚南(Arvind Narayanan)在社交媒体平台X上写道:“这篇论文甚至与大语言模型无关,但似乎是打破集体信念泡沫的最后一根稻草,让许多人接受了大语言模型的局限性。”“该是清醒的时候了”。
英伟达高级人工智能科学家Jin Fan质疑为什么这篇论文的发现会让人们感到惊讶,因为“transformer本来就不是灵丹妙药”。
多明戈斯表示,这项研究凸显出,对于一项被吹捧为通向AGI之路的技术潜力,“很多人都感到非常困惑”。
他补充说:“这是篇刚刚发表的论文,有趣的是谁会感到惊讶,谁不会感到惊讶。”
虽然多明戈斯承认transformer是一项先进的技术,但他相信很多人认为这种深度神经网络比实际要强大得多。
他说:“问题是神经网络非常不透明,而且这些大语言模型都是在难以想象的大量数据上训练的,这让很多人对它们能做什么和不能做什么感到非常困惑。”“他们开始总认为自己可以创造奇迹。”
更高级的人工智能可能会在归纳概括方面做得更好。谷歌研究人员在研究中使用的是GPT-2比例模型,而不是更主流的GPT-4比例模型。
人工智能初创企业Lamini AI首席执行官莎朗·周(Sharon Zhou)认为,她自己并不觉得transformer很难归纳概括是个问题。
“这就是为什么我创办了一家训练模型的公司,而不仅仅是向它们提问,这样它们就能学到新东西,”她说。“它们仍然非常有用,仍然可以引导和调整。”
【来源:网易科技】
以上就是手游巴士为您提供《谷歌新论文称“AI即将超越人类”还不现实,其有自身局限性》的详细内容,更多精彩内容请继续阅读上一篇《苹果被曝罕见推迟软件更新开发工作 着力排查现有代码的遗留漏洞》2023-12-20 谷歌新论文称“AI即将超越人类”还不现实,其有自身局限性
2023-12-19 苹果被曝罕见推迟软件更新开发工作 着力排查现有代码的遗留漏洞
2023-12-19 谷歌正在测试 2 项生成式 AI 功能,旨在改善 YouTube 观看体验
2023-12-19 外媒确认:苹果不会生产配备Apple Silicon处理器的27英寸iMac
2023-12-19 200多亿债务免除,美国科技巨头WeWork正式申请破产
2023-12-19 Model Y即将涨价,过去5个交易日股价上涨11%,特斯拉重回200美元以上
2023-12-19 特斯拉证实Model Y将再次涨价,但未给出涨价幅度及时间
2023-12-19 马斯克旗下人工智能初创公司xAI宣布推出PromptIDE工具
2023-12-18 特斯拉计划在德生产入门电动车,最新效果图曝光:赛博皮卡变种
2023-12-18 捷豹路虎被曝在华裁员比例超15% 官方辟谣:并未实施裁员
2023-12-18 福特挖角三星SDI副总裁,旨在为电动汽车开发先进电池
2023-12-18 新能源出海不是可选项,是必选项
2023-12-18 返老还童每年得花1500万?这些女性给科技富豪上了一课
2023-12-18 高通公司中国区董事长孟樸:5G和AI融合将加速各行业数字化的转型,成为推动数字经济增长的双引擎,开启数字未来
2023-12-18 美股周一:三大股指均已六连涨,理想汽车涨逾8%
2023-12-18 美国封锁也不可能不卖光刻机!ASML喊话:中国市场明年业务非常乐观
2023-12-17 SpaceX预计今年营收90亿美元 2024年增至150亿美元
2023-12-17 五分钟速览OpenAI发布会:GPT-4 Turbo模型、GPT应用商店等登场
2023-12-17 “小米提货卡”成为新型诈骗形式,雷军转发提醒用户
2023-12-17 特斯拉新功能允许车主关闭远程启动功能,防止他人擅自操作
2023-12-17 共享办公鼻祖WeWork股票停牌:公司最早本周申请破产,软银遭遇重大损失
2023-12-17 这个双十一,店播崛起的底层逻辑
2023-12-17 暴雪重获独立地位
2023-12-16 CEO失联名单上,多了一位80后
2023-12-16 “表外甥女打表舅”?这几家芯片巨头,原来是亲戚
手游巴士
手游巴士