Prime Intellect 发布可训练融合 MoE 内核
热点事件持续更新
Prime Intellect 发布可训练融合 MoE 内核
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Prime Intellect 发布 Prime Mega MoE,在 DeepSeek 开源 DeepGEMM 库的 Mega MoE 内核基础上补上了融合且重叠的反向传播,使其可用于训练而非仅推理。报道称前向最高提速 3.11 倍。 该训练内核随 prime-kernels 提供的预构建 DeepGEMM wheel 发布,原版 DeepGEMM 构建不含这些内核。它支持 NVIDIA Hopper(blockwise FP8)和 Blackwell(MXFP8)GPU,两者均支持 BF16;使用时需在 [trainer.model.moe.dispatch] 下设置 type = "mega_moe"。
AI 根据报道生成 · 1 小时前更新
最新进展10月30日 02:28
Prime Intellect 发布 Prime Mega MoE 训练内核,前向最高提速 3.11 倍报道时间线
沿着报道,了解事件的不同侧面。
10月30日
- MarkTechPostPrime Intellect 发布 Prime Mega MoE 训练内核,前向最高提速 3.11 倍
Prime Intellect 发布 Prime Mega MoE,在 DeepSeek 开源 DeepGEMM 库的 Mega MoE 内核基础上补上了融合且重叠的反向传播,使其可用于训练而非仅推理。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。