V2EX 最热主题 头像

消息来源频道

V2EX 最热主题

@v2ex_hot

频道3,116 位成员公开可见0 人在线

v2ex最热主题 RSS推送 www.V2EX.com V2EX is a community of start-ups, designers, developers and creative people. V2EX 是创意工作者们的社区。V2EX 希望能够成为创意工作者们的生活和事业的一部分。 交流群组: @v2ex_chat

成员规模3,116 位成员
在线情况0 人在线
消息总数14,199 条消息
浏览量总数1,384,570 次浏览

在这个频道里搜索消息……

t.me/v2ex_hot

V2EX-最热主题
这个推理速度也太快了吧! chatjimmy.ai 比查 db 都快啊!
rmrf:
chatjimmy.ai 可以体验 “Taalas 推出首款产品 HC1 ,搭载 Llama 3.1 8B 模型,性能达每用户 17,000 tokens/秒,较现有技术快近 10 倍,制造成本降低 20 倍,功耗减少 10 倍。该模型虽采用自定义 3-bit 数据格式,存在轻微精度损失,但第二代产品将采用标准 4-bit 浮点格式,进一步优化性能。”
source
(author: rmrf)