消息称 Groq 下一代推理芯片将堆叠 DRAM 以弥补 SRAM 容量不足
据行业消息，Groq 计划在下一代推理芯片中堆叠 DRAM，以绕开 SRAM 容量偏小的问题。现有 Groq 3 LPU 的 500MB 片上 SRAM 带宽为 150TB/s，约为 Rubin GPU HBM 带宽的 7 倍，但 256 芯片整机架仅 128GB，低于单块 Rubin GPU 的 288GB，8-bit 万亿参数模型仅权重就需约 2000 颗芯片。
#推理
Rohan Paul (X)AI 评分5858 elvis (X)AI 评分3030 General Compute 携手 Positron 部署异构云
快速推理对智能体正变得越来越重要。 随着主动式、常驻智能体的兴起，以及复杂任务对多智能体系统需求的增长，异构计算变得至关重要。@general_compute 正在解决这一关键问题，而与 @positron_ai 的合作非常合理。