联想公布存算融合池化系统测试结果

联想集团首席科学家肖利民介绍了联想研究院智能计算基础设施团队的存算融合池化系统，该系统把内存池化与近存计算结合，用来同时应对 KV Cache 容量不足和 GPU 访存外部存储开销大两个问题。团队称已完成三个核心模块的分项测试和端到端测试。 肖利民公布的对比结果包括：内存池卸载与 NVMe 层池化方案相比，固定输入长度下首 Token 延迟降低 3.5 倍，多轮对话下降低 2.4 倍；借助内存池复用 KV，相比完全重算，首 Token 延迟最高加速 12~28 倍，相比 RDMA 分布式内存架构加速 2~3 倍；把注意力计算下沉到内存池侧后，解码延迟降低 2.5 倍，并腾出显存支持更长上下文。与 RDMA 分布式内存池相比，推理延迟加速 2~3 倍，系统吞吐随上下文变长提升 6~20 倍。 团队目前实现 G2.5 层次，下一步计划借 scale-up 高速互连向 G1.5 演进。上述数据均为联想方面公布的测试结果。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。