MiniMax 开源全模态生成系统 MiniMax-H3,支持 2K 视频与立体声
MiniMaxAI/MiniMax-H3
MiniMax 发布全模态生成系统 MiniMax-H3,可统一理解文本、图像、视频和音频,并生成带原生立体声的视频,分辨率最高 2K、时长 4–15 秒。
原文完整披露了 H3 的三模块架构、开源范围与本地部署命令,读者可据此判断哪些能力需要走 API 补齐。
新闻
提升提示词写作的官方技巧:GitHub 上的技巧
在线 API
通过 API 直接使用 MiniMax-H3。
在线应用
通过 App 直接使用 MiniMax-H3。
- WebApp 全球:hailuoai.video | 中国:hailuoai.com
- 桌面端 全球:hub.minimax.io | 中国:hub.minimaxi.com
系统概览
MiniMax H3 是一个通用全模态生成系统。它支持对由文本、图像、视频和音频组成的多模态上下文进行统一理解,并能生成带有原生立体声音频的视频,分辨率最高可达 2K,时长最长可达 15 秒。得益于其面向任务泛化的系统设计,H3 在预训练阶段就已具备广泛的多模态上下文理解与生成能力,在遵循复杂多模态指令方面表现出色。
H3 支持以下输入和输出规格:
| 类别 | 规格 |
|---|---|
| 输出时长 | 4–15 秒 |
| 输出宽高比 | 支持多种宽高比,包括但不限于 21:9、16:9、4:3、1:1、3:4 和 9:16 |
| 输出分辨率 | 支持多种分辨率尺寸。短边默认设置为 768 像素。使用 H3-Regenerate-2K 可实现 2K 生成 |
| 输出帧率 | 24 FPS |
| 输出音频 | 32 kHz 立体声 |
| 支持的对话语言 | 稳定支持 11 种语言:阿拉伯语、中文、英语、法语、德语、意大利语、日语、韩语、葡萄牙语、俄语和西班牙语。其他语言也在不同程度上得到支持 |
模型变体与输入规格
| 模型变体 | 输入模式 | 规格 |
|---|---|---|
| H3-Base-FL2VA | 首尾帧模式 | Supports zero, one, or two input images. - 无图像输入:文生视频模式 |
| H3-Base-Ref2VA | 全参考模式 | Supports multi-modal reference inputs: - 图像:≤ 9 张图像 |
完整的 H3 系统由以下三个模块组成:
- H3-Context-IR:随着输入日益复杂,我们构建了一套专用系统来深入理解并优化输入的多模态指令,然后将其转换为 H3 易于理解的形式——上下文中间表示(Context Intermediate Representation)——用于生成。H3-Context-IR 对最终输出质量至关重要,因此我们强烈建议将其纳入你的生成流程,或遵循“提示词指南”构建你自己的上下文处理系统。
- H3-Base:基于 H3-Context-IR 的输出生成音频和视频,产出 768p 分辨率的结果。
- H3-Regenerate-2K:将 768p 结果连同原始上下文一起重新输入 H3,以 2K 分辨率重新生成输出。该过程同时利用 H3 强大的生成能力和原始上下文中蕴含的丰富信息,从而生成细节更准确、视觉保真度更高的高分辨率输出。
模型架构
H3-Context-IR
H3-Context-IR 是一个托管式预处理与编排系统,专为自由形式的多模态输入而设计。
它解析文本、图像、音频和参考视频之间的关系,以及这些材料与预期生成输出之间的关联。其内部工作流包括指令解析、跨模态关联、时序理解和复杂逻辑推理。
H3-Context-IR 将其对上下文的理解序列化为 H3-Base 可接受的结构化表示。在不偏离用户原始意图的前提下,它还可以在适当之处补充缺失或未充分说明的语义细节。
由于 H3-Context-IR 依赖多阶段工作流以及多个托管模型和服务,因此未包含在本次开源发布中。我们提供了一个 API,使用户能够复现官方工作流的行为。我们还提供了详细的教程,开发者可以按照提示词指南构建自己的预处理系统。
详细使用说明请参阅推荐工作流 — 完整 2K 工作流。
安全护栏
用户提交的文本、图像和视频,以及增强后的提示词,均需接受自动化审核。疑似违法、色情或侵犯第三方权利的内容可能会被拦截。我们采用行业标准的过滤措施,但无法消除误报或漏报。这些护栏不影响被许可方在 MiniMax H3 社区许可证下的义务,尤其是与合法使用和使用限制相关的义务。
H3-Base
架构概览
H3-Base 使用各模态对应的编码器或 VAE 对不同的模态进行编码,并将编码后的表示组织为统一的打包多模态序列。在整个序列被送入 H3-Omni-Transformer 之前,使用 RoPE 捕获 token 之间必要的空间和时间关系。
具体而言,文本由 H3-Encoder 编码;视觉输入同时由 H3-Encoder 和 H3-VisualVAE 编码;音频仅由 H3-AudioVAE 编码。
H3-Omni-Transformer 联合预测视频和音频潜变量,随后分别解码为视频和立体声音频。
为降低长多模态序列的计算成本,H3 原生支持稀疏注意力训练和推理。初始开源版本仅提供全注意力推理。我们的稀疏注意力实现将在未来更新中发布。
H3-Encoder
H3-Encoder 使用 Qwen3-VL-32B 的完整预训练权重,并将其第 50 层的隐藏状态提供给 H3-Omni-Transformer。
我们在分词器配置中添加了若干特殊 token,例如
<d>。使用 H3 时,需要使用 H3 仓库中提供的分词器及相关配置文件。
H3-VAE
H3 使用独立的视觉潜变量和音频潜变量来表示各自的模态。
H3-VisualVAE
H3-VisualVAE 是一种时间因果视频自编码器,空间压缩因子为 16×,时间压缩因子为 4×,具有 24 个潜变量通道,记为 f16t4d24。我们应用了多种潜空间优化技术,以共同提升重建质量和潜变量可学习性。
在传入 H3-Omni-Transformer 之前,视觉潜变量会沿
(time, height, width)维度以1 × 2 × 2的 patch 大小进一步切分为 patch。因此,进入 Transformer 的视觉 token 的有效空间下采样倍率为 32×,而时间下采样倍率保持为 4×。H3-VisualVAE 的潜空间针对重建质量和生成模型易于学习两方面进行了优化。在训练其编码器之后,我们额外训练了一个基于 ViT 的解码器,以降低解码成本并进一步提升重建质量。
H3-AudioVAE
- H3-AudioVAE 对左右音频声道使用相同的编码器和解码器,同时独立处理每个声道。解码后的声道随后被重新组合,从而支持立体声音频输入和输出。
- 对于每个声道,H3-AudioVAE 将 32 kHz 音频压缩为时间速率为 40 Hz 的潜 token 序列。
- 受 VA-VAE 启发,我们优化潜空间,以在保持音频重建质量的同时让生成模型更易于学习。
H3-Omni-Transformer
为兼顾可扩展性和泛化能力,我们采用了相对简单的 Transformer 块设计。H3-Omni-Transformer 是一个 33B 参数的稠密单流 Transformer,其中约 13B 参数位于 AdaLN 相关分支中。由于 AdaLN 调制输出可以预先计算并缓存,这些参数在仅推理部署时无需加载。我们发布完整模型权重以支持进一步开发,包括微调。
注意力层和 FFN 层均不包含模态特定结构。模态特定参数仅限于输入/输出层和 AdaLN 分支。特别是,模态特定的 AdaLN 以相对较低的额外训练和推理成本提升了生成质量。
该模型使用三维多模态旋转位置嵌入(MM-RoPE)来表示跨时间维度和两个空间维度的位置关系,
(t, h, w)。在训练的最后阶段,我们引入原生稀疏注意力以降低长序列的计算成本。稀疏注意力的实现未包含在初始开源版本中,将在未来的更新中单独发布。
H3-Regenerate-2K
对于 H3 的 2K 分辨率输出,我们没有使用传统的专用超分辨率模块,而是使用 H3 基础模型以 in-context 方式重新生成其自身的低分辨率结果。
这种方法具有两个优势:(1) 重新生成过程可以最大程度地复用 H3 基础模型的生成能力;(2) in-context 格式在生成高分辨率输出时可以复用原始多模态上下文,从而恢复传统超分辨率方法否则只能“猜测”的信息,例如小号文字和精细细节。
In-context 重新生成也是任务泛化的一个示例。
由于系统复杂性,该模块尚未开源。我们将在准备就绪后发布。我们提供用于验证官方结果的 API;请参阅下方的“完整 2K 工作流”。
推荐工作流
为帮助社区正确部署 MiniMax H3,我们提供两种验证方法。
由于完整的 H3 系统由三个模块组成——H3-Context-IR、H3-Base 和 H3-Regenerate-2K——“Full 2K Workflow”提供了一条端到端的 2K 输出验证流水线,将 Open Platform API 与本地部署的 H3-Base 相结合。“Local Deployment of H3-Base”一节则提供了仅使用本地部署的 H3-Base 来验证 768p 输出的方法。
此外,“Prompting Guidance”一节提供了详细教程,帮助社区开发自己的提示系统。
本地部署 H3-Base
MiniMax H3 以两个任务专用检查点的形式发布。每个检查点包含一个专用的 Omni Transformer 模型,以及所需的 processor、tokenizer、text encoder、Visual VAE 和独立的 Audio VAE 组件。
| 检查点 | 支持的任务 | 输入条件 | 输出 | 精度 |
|---|---|---|---|---|
| MiniMax-H3 Base FL2VA | 文本到音视频(t2va)、首帧/尾帧到音视频(fl2va) |
文本;可选的首帧、尾帧或两者 | 视频和音频 | BF16 |
| MiniMax-H3 Base Ref2VA | 参考到音视频(ref2va) |
带参考图像、视频和/或音频的文本 | 视频和音频 | BF16 |
发布的检查点是 CFG 蒸馏的 Omni Transformer 模型权重。
每个检查点都以自包含的 HF Mirror 风格仓库形式分发,包含以下组件:
<TASK>/
├── model_index.json
├── processor/
├── tokenizer/
├── text_encoder/
├── transformer/
├── visual_vae/
└── audio_vae/
下载模型。该仓库同时托管原始检查点(FL2VA/、Ref2VA/)和 diffusers 格式,因此请按你的框架所需限定下载范围:
model_index.json 是仓库级公共入口。任务族专用的 diffusers 索引仍位于 FL2VA/model_index.json 和 Ref2VA/model_index.json 下。
# Original checkpoint, both task families (SGLang, vLLM):
hf download MiniMaxAI/MiniMax-H3 --include "model_index.json" "FL2VA/*" "Ref2VA/*" --local-dir MiniMax-H3
# Or a single task family:
hf download MiniMaxAI/MiniMax-H3 --include "model_index.json" "FL2VA/*" --local-dir MiniMax-H3
diffusers 用户无需手动下载:ModularPipeline.from_pretrained("MiniMaxAI/MiniMax-H3") 会精确获取其所需的组件。加载方法参见 diffusers 文档。
我们推荐使用以下推理框架来服务该模型:
vLLM - 参见 vllm recipes
diffusers - 参见 diffusers 文档
Sglang 部署
这里我们以 sglang 作为部署示例。更多部署配置参见 MiniMax-H3 部署指南。
FL2VA:
sglang serve \
--model-path MiniMaxAI/MiniMax-H3 \
--num-gpus 4 \
--ulysses-degree 4 \
--performance-mode speed \
--host 0.0.0.0 \
--port 30010 \
--model-variant fl2va
Ref2VA:
sglang serve \
--model-path MiniMaxAI/MiniMax-H3 \
--num-gpus 4 \
--ulysses-degree 4 \
--performance-mode speed \
--host 0.0.0.0 \
--port 30011 \
--model-variant ref2va
可复现的 768p 案例
以下三个用例 T2VA、FL2VA 和 Ref2VA 演示如何复现 MiniMax-H3 的视频-音频生成。
| 用例 | 请求 | 结果 |
|---|---|---|
| T2VA | 查看脚本 | t2va.mp4 |
| FL2VA | 查看脚本 | fl2va.mp4 |
| Ref2VA | 查看脚本 | ref2va.mp4 |
完整 2K 工作流
本节说明如何将本地部署的 SGLang 服务与官方 H3-Context-IR 和 H3-Regenerate-2K API 相结合,以复现由 MiniMax API 直接生成的 2K 视频质量。 开始之前,请配置 SGLang 端点和你的 MiniMax API 凭据:
# URL of your SGLang deployment
SGLANG_DEPLOYMENT_URL="<sglang-deployment-url>"
# MiniMax API endpoint (choose one)
# CN
MINIMAX_API_BASE="https://api.minimaxi.com"
# Global
# MINIMAX_API_BASE="https://api.minimax.io"
# API token obtained from the MiniMax platform
TOKEN="<token>"
MiniMax 平台:
API 文档:
- 创建 H3-2K:使用 /video-generation-v2-create 英文文档、中文文档
- H3-Context-IR:使用 /video-generation-v2-h3-context-ir 英文文档、中文文档
- H3-Regenerate-2K:使用 /video-generation-v2-regeneration 英文文档、中文文档
以下示例将本地 H3-Base 输出文件编码为 Base64 Data URL。生产环境中,建议将视频上传到可公开访问的 URL,并将该 URL 作为 base_video 传入。
对于下面的每个案例,我们提供通过 Open Platform API 直接生成的 2K 和 768p 参考输出,便于验证结果。
case-T2VA
- 类型:文本生成视频
- 时长:10 秒
- 宽高比:16:9
| 阶段 | 请求 | 结果 |
|---|---|---|
| H3-Context-IR | 查看脚本 | |
| H3-Base | 查看脚本 | t2va.mp4 |
| H3-Regenerate-2K | 查看脚本 | t2va_2k.mp4 |
| 通过直接调用 Open Platform API 得到的参考 2K 结果 | 查看脚本 | h3_direct_2k.mp4 |
| 通过直接调用 Open Platform API 得到的参考 768P 结果 | 查看脚本 | h3_direct_768p.mp4 |
case-I2VA
- 类型:首帧图像生成视频
- 时长:8 秒
- 宽高比:自适应
| 阶段 | 请求 | 结果 |
|---|---|---|
| H3-Context-IR | 查看脚本 | |
| H3-Base | 查看脚本 | i2va.mp4 |
| H3-Regenerate-2K | 查看脚本 | i2va_2k.mp4 |
| 通过直接调用 Open Platform API 得到的参考 2K 结果 | 查看脚本 | i2va_direct_2k.mp4 |
| 通过直接调用 Open Platform API 得到的参考 768P 结果 | 查看脚本 | i2va_direct_768p.mp4 |
case-Ref2VA
- 类型:多模态参考生成视频(视频 + 音频)
- 时长:5 秒
- 宽高比:自适应
| 阶段 | 请求 | 结果 |
|---|---|---|
| H3-Context-IR | 查看脚本 | |
| H3-Base | 查看脚本 | r2va.mp4 |
| 通过直接调用 Open Platform API 得到的参考 2K 结果 | 查看脚本 | r2va_2k.mp4 |
| Open Platform 中供参考的 H3 API 2K | 查看脚本 | r2va_direct_2k.mp4 |
| 通过直接调用 Open Platform API 得到的参考 768P 结果 | 查看脚本 | r2va_direct_768p.mp4 |
提示词指南
VIDEO_PROMPT_WRITING_GUIDE_base_en.md
VIDEO_PROMPT_WRITING_GUIDE_ref_en.md
提升提示词的技巧:https://github.com/MiniMax-AI/MiniMax-H3/tree/main/skills
许可证
- MiniMax H3 依据 MiniMax H3 社区许可协议 发布。
- 关于许可证的问答
- 申请表(仅限美国/欧盟/英国/韩国)
联系我们
请通过 [email protected] 联系我们。
- 上月下载量
- 5,011,999
Safetensors
MiniMaxAI/MiniMax-H3 的模型树
使用 MiniMaxAI/MiniMax-H3 的 Spaces 100
包含 MiniMaxAI/MiniMax-H3 的合集
来源:MiniMax 模型发布 · hf-mirror.com

