MiniMax 发布原生多模态模型 MiniMax-M3 及 MXFP8 量化版

MiniMax-M3 是一个原生多模态模型，具有 1M 上下文。它拥有约 428B 参数和约 23B 激活参数。

亮点：

• 原生多模态： M3 从第一步开始就进行混合模态训练，从而实现文本、图像和视频之间更深层的语义融合。
• 通过稀疏注意力扩展上下文： M3 引入 MiniMax Sparse Attention（MSA）以提升长上下文效率。在 1M 上下文下，M3 相比 M2 实现 9 倍预填充和 15 倍解码加速，将每 token 计算量降至 1/20。
• 编码与协作能力： M3 在长时程智能体基准测试中达到前沿水平，在编码和协作方面均表现出色。

MiniMax-M3-MXFP8 是 MiniMax-M3 的 MXFP8 量化变体，后者是一个具有 1M 上下文的原生多模态模型。它拥有约 428B 参数和约 23B 激活参数。

MiniMax Sparse Attention（MSA）

M3 由 MiniMax Sparse Attention（MSA） 驱动，这是一种专为百万 token 上下文设计的高性能稀疏注意力算子。与 GQA 相比，MSA 在保持模型质量的同时大幅降低注意力计算量和内存占用。

📄 阅读技术报告：arXiv:2606.13392 · HF Mirror Papers

如何使用

• MiniMax Agent
• MiniMax API

M3 通过 thinking 参数支持三种推理模式：

• enabled — 始终启用推理。
• adaptive — M3 自动判断何时需要额外推理。
• disabled — 禁用推理以最小化延迟并最大化吞吐量。

本地部署

下载模型：

hf download MiniMaxAI/MiniMax-M3 --local-dir MiniMax-M3

我们推荐使用以下推理框架来部署模型：

• SGLang - 参见 SGLang cookbook。

• vLLM - 参见 vLLM recipes。

• Transformers - 参见 Transformers 文档。

推理参数

我们推荐使用以下参数以获得最佳性能：temperature=1.0、top_p=0.95。

联系我们

请通过 [email protected] 联系我们。