Rohan Paul (X)· rohanpaul_ai·· 1 小时前AI 评分58
消息称 Groq 下一代推理芯片将堆叠 DRAM 以弥补 SRAM 容量不足
Groq plans to stack DRAM in its next inference chip to get around SRAM’s small capacity, industry sources say.
AI 导读
据行业消息，Groq 计划在下一代推理芯片中堆叠 DRAM，以绕开 SRAM 容量偏小的问题。现有 Groq 3 LPU 的 500MB 片上 SRAM 带宽为 150TB/s，约为 Rubin GPU HBM 带宽的 7 倍，但 256 芯片整机架仅 128GB，低于单块 Rubin GPU 的 288GB，8-bit 万亿参数模型仅权重就需约 2000 颗芯片。
来源：Rohan Paul (X) · x.com