听荼蘼逼逼 | 事已至此,先睡觉吧 头像

消息来源频道

听荼蘼逼逼 | 事已至此,先睡觉吧

@TomyJan_Channel

频道3,596 位成员公开可见0 人在线

TomyJan’s Channel! README | 关注必读 👇 https://t.me/TomyJan_Channel/136

成员规模3,596 位成员
在线情况0 人在线
消息总数2,619 条消息
浏览量总数459,776 次浏览

在这个频道里搜索消息……

t.me/TomyJan_Channel

今天凌晨,马斯克旗下大模型公司 xAI 宣布正式开源 3140 亿参数的混合专家(MoE)模型「Grok-1」,以及该模型的权重和网络架构。
这也使得Grok-1成为当前参数量最大的开源大语言模型。
用户可以使用 Torrent 客户端和这个磁力链接来下载权重文件:(296G)
magnet:?xt=urn:btih:5f96d43576e3d386c9ba65b883210a393b68210e&tr=https%3A%2F%2Facademictorrents.com%2Fannounce.php&tr=udp%3A%2F%2Ftracker.coppersurfer.tk%3A6969&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce
看到这,有网友开始好奇 314B 参数的 Grok-1 到底需要怎样的配置才能运行。对此有人给出答案:可能需要一台拥有 628 GB GPU 内存的机器(每个参数 2 字节)。这么算下来,8xH100(每个 80GB)就可以了。
开源地址
https://github.com/xai-org/grok-1
国内大模型要弯道超车了吗?