消息来源频道

橘橘橘子汁 & 🍊

@microblock_pub

频道13,581 位成员公开可见0 人在线

发一些好玩的现在成 mb 的私人频道了 Links t.me/Rosmontis_Daily t.me/PDChinaNews

成员规模13,581 位成员

在线情况0 人在线

消息总数1,042 条消息

浏览量总数1,364,146 次浏览

频道详情频道地址

2024/11/09 07:25

极客湾在骚测啥啊... 拿llama.cpp这b东西测速度，测出来结果72b int4把6000 Ada 48g干满了...这是多长的上下文/kv cache
很明显这oom以后llama.cpp全他妈把东西offload到内存里去算完事果子的ddr5和内存带宽（比上不足比下有余）优势就出来了我都不知道这到底是故意的还是不小心的了
但凡测显存内速度或者用vllm 果子（特别是 M4）那个小显存带宽都是被橄榄的命