资讯
2023-05-19 17:24 来源:shouyoubus.com 作者:佚名
用手机看
Meta的大语言模型LLaMA 13B,现在用2060就能跑了~
羊驼家族的Alpaca和Vicuna也都能运行,显存最低只需要6G,简直是低VRAM用户的福音有木有。
GitHub上的搭建教程火了之后,网友们纷纷跑来问苹果M2是不是也能跑。
这通操作的大致原理是利用最新版CUDA,可以将Transformer中任意数量的层放在GPU上运行。
与此前llama.cpp项目完全运行在CPU相比,用GPU替代一半的CPU可以将效率提高将近2倍。
而如果纯用GPU,这一数字将变成6倍。
网友实测的结果中,使用CPU每秒能跑2.1个token,而用GPU能跑3.2个。
生成的内容上,开发者成功用它跑出了“尼采文学”。
如何操作在开始搭建之前,我们需要先申请获得LLaMA的访问权限。
传送门:https://ai.facebook.com/blog/large-language-model-llama-meta-ai/
此外还需要有一个Linux环境。(Windows用户可以用WSL2)
准备工作完成之后,第一步是将llama.cpp克隆到本地。
如果没有安装CUDA,可以参考下面的步骤:
然后是建立micromamba环境,安装Python和PyTorch等工具。
接着需要在micromamba环境下安装一些包:
然后运行Python脚本以执行转换过程:
之后将其量化为4bit模式。
接着是新建一个txt文本文档,把提示词输入进去,然后就可以运行了。
这步当中-ngl后面的数字是可以修改的,它代表了转换层的数量。
当该值为18时,运行中消耗的VRAM为5.5GB,根据显存的大小最高可以调至40。
网友:AMD不配吗
这一教程出现之后,网友们的新玩具又增加了。
“苦OpenAI久矣”的网友更是感觉仿佛找到了光。
这位网友就表示自己太期待在自己的设备上运行LLM了,宁愿花5千美元购置设备也不想给OpenAI交一分钱。
但AMD用户可能就不那么兴奋了,甚至透露出了嫉妒之情。
这套方法要用到CUDA(英伟达专用),所以AMD是不配了吗?
那么,你期待用自己的设备跑大语言模型吗?
责任编辑:宪瑞
以上就是手游巴士为您提供《6G显存玩转130亿参数大模型 RTX 2060用户发来贺电 AMD不配吗?》的详细内容,更多精彩内容请继续阅读上一篇《真要来了?法拉第未来:FF 91车型合规认证按计划进行》2023-05-19 北京将遭雷雨大风沙尘轮番袭击:PM10浓度已破千 罪魁祸首是个“涡”
2023-05-19 爸爸提前给30岁单身女儿准备520礼物:浪漫也可以是爸爸给的
2023-05-19 能跑1000公里的磷酸铁锂电池来了!国轩高科:加“锰”了
2023-05-19 28年国产武侠游戏IP凉了?《仙剑奇侠传8》被曝未立项
2023-05-19 《魔域》新神兽炸裂登场!少昊穷奇5.31免费获取免费养成
2023-05-19 《王牌竞速》云南赛季福利抢鲜揭秘:竞速之滇 遇见非遗!
2023-05-19 14英寸机身塞下18英寸屏!华硕灵耀X 双屏Pro 2023图赏
2023-05-19 荒野行动狂欢月二期豪礼加码 婚礼纪甜蜜开启!
2023-05-19 真要来了?法拉第未来:FF 91车型合规认证按计划进行
2023-05-19 《蛋仔派对》新赛季即将来袭!上大神APP开启星际加油站
2023-05-19 6G显存玩转130亿参数大模型 RTX 2060用户发来贺电 AMD不配吗?
2023-05-19 《时序残响》手游序夜揭开时间的谎言 怪异少女为守卫而战
2023-05-19 用了十几年智能机 终于弄懂了手机掉电快原因
2023-05-19 湿厕纸用多了原来会得病 专家提醒:勿频繁使用
2023-05-19 信仰没了!RTX 4060、4060 Ti 16GB没有公版
2023-05-19 38岁“寡姐”斯嘉丽·约翰逊品牌写真 更加成熟有韵味
2023-05-19 爱马仕推出AirPods Pro保护皮套:售价7100元 够买5个耳机
2023-05-19 3699元起!网友不敢相信Redmi Book 14定价:直呼“杀疯了”
2023-05-19 ChatGPT连夜登陆iOS 免费无广告、还支持语音
2023-05-19 DLSS3下放 2000元档出神卡:NVIDIA显卡终于良心了
2023-05-19 深圳一大厦异响振动居民被疏散:官方已启动调查
2023-05-19 沃尔沃ACC自适应巡航高速追尾 官方:下雨了 功能失效
2023-05-19 高颜值87键!影驰Keychron K8 Pro星曜娘联名键盘图赏
2023-05-19 这合理吗?博主曝料有充电站不允许增程/插混车型入场:仅限纯电车
2023-05-19 单风扇就是好看!RTX 40第一次做成ITX迷你卡 5款集中爆发
满分 羊了个羊5月17日攻略 羊了个羊游戏攻略5月17日第二关
满分 羊了个羊今日攻略5.17 羊了个羊5月17日羊羊大世界和第二关怎么过
手游巴士
手游巴士