段子区
今年当地时间2月29日晚,马斯克闹出来一件大事——正式起诉OpenAI和Sam Altman,并要求OpenAI 恢复开源GPT-4等模型。国际流量大师我只付服马斯克和川宝!!
当大家觉得这扯皮的故事就此结束后,马斯克“不负众望”的整了一个大活:在3月18日,他开源Grok大模型!!
3140 亿参数的Grok,这么大的模型,直接开源免费用!!!我滴个乖乖。然后国内沸腾,额,Grok概念股票沸腾了,仿佛这是我们开的源。不愧是缅A~
国内大厂们嘛,也可以开心一下了,毕竟大家都有好东西可以学习了解一下嘛~
现实区
模型github地址
https://github.com/xai-org/grok-1
权重文件下载
magnet:?xt=urn:btih:5f96d43576e3d386c9ba65b883210a393b68210e&tr=https%3A%2F%2Facademictorrents.com%2Fannounce.php&tr=udp%3A%2F%2Ftracker.coppersurfer.tk%3A6969&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce
运行要求
正常人别想这些啦,太烧钱了。
模型3140亿参数,太大咯,就拿显存说,在 FP16 下大约需要 630GB 的显存,不排除接近 700GB的可能性。就是拿满血80G显存的A100,你都至少8块来玩。而这还是只是要求跑起来。至于微调就是别想了。
至于其他?不看了,反正都玩不了~
总而言之,模型性能很强。但是跑不起来都是白搭,只有大厂们能去专研。
还是继续当个吃瓜人,看马斯克和奥特曼这哥俩能再整啥活吧。