跳到正文
雷锋网·· 4 小时前精选AI 评分75

Pika 基于 MiniMax H3 开源 H3 Flex,六步实现音视频联合生成

AI 导读

Pika 发布 MiniMax H3 衍生模型 Pika H3 Flex,开放适配器权重与推理代码,通过六步去噪联合生成画面和声音。该模型包含两套 LoRA 适配器,原生支持 480P、768P 输出,可生成约 5 至 15 秒视频及同步立体声音频,并提供 ComfyUI 工作流和 Hugging Face Diffusers 接入方式。

推荐理由

原文交代了从 50 步蒸馏到 6 步的压缩路径与 8 卡 B300 上的推理耗时对比,可看开源视频模型如何做工程加速。

正文

近日,Pika 发布 MiniMax H3 衍生模型 Pika H3 Flex,并开放适配器权重与推理代码。该模型通过六步去噪联合生成画面和声音,支持文本、首尾帧和多模态参考输入,供创作者进行镜头设计、参考生成和视频编辑。

Pika 基于 MiniMax H3 开源 H3 Flex,六步实现音视频联合生成

本次发布包含两套 LoRA 适配器,分别用于文本及首尾帧条件生成、多模态参考生成,同时提供 MiniMax H3 基础组件和本地推理工具。模型原生支持 480P、768P 输出,可生成约 5 至 15 秒的视频及同步立体声音频。Pika 提供 ComfyUI 工作流和 Hugging Face Diffusers 接入方式,方便开发者将其加入现有创作工具。

在本地生成之外,Pika 可通过 API 提供 1080P、2K 和 4K 视频增强,以及音频分轨功能。创作者可以先以较低分辨率生成和筛选草稿,再对选定版本进行高分辨率处理;同步生成的声音则可拆分为对白、配乐、音效、拟音和环境声五类独立音轨,方便在后期分别调整。高分辨率的增强视频和音频分轨则由 Pika API 服务提供。

Pika 在技术博客中介绍,团队先在内部音视频数据集上对 MiniMax H3 进行监督微调,再采用投影分布匹配蒸馏(PDMD),将教师模型的 50 步去噪压缩至 6 步。随后,团队通过奖励反馈学习和直接偏好优化训练 LoRA 适配器,改善美学质量、清晰度和指令遵循。适配器合并用于推理后,无须增加生成步数。

Pika 还对托管推理服务做了加速。在保持模型权重和六步采样方案不变的测试中,使用 8 张 NVIDIA B300 GPU 生成一段 5 秒、768P 音视频,条件编码、去噪和解码的合计耗时从 3.409 秒缩短至 2.129 秒,处理速度约为原来的 1.6 倍。

Pika 基于 MiniMax H3 开源 H3 Flex,六步实现音视频联合生成

在视觉与音频表现上,Pika 公布的对比评测结果显示,H3 Flex 在五项视觉和音频质量指标上均在参评模型中取得最高得分,并在 DesignArena 文生视频榜单上取得第八名成绩,是该榜单下排名最高的开源视频模型。

今年 8 月,MiniMax H3 开源后,MiniMax 与合作企业围绕不同的使用场景,继续训练和优化模型,并在社区中开放,包括与 Running Hub 打造 MiniMax H3 480P;与 fal 选择面向实时生成做后训练和推理优化,推出了 H3 Max 768P、H3 Max 480P;以及 FastVideo 通过稀疏化和硬件适配推出的 FastH3、英伟达与 MIT 联合围绕 H3 的开发 StreamRender-H3、Open-H3-Regenerate-2K 等多款模型等,海外开发者围绕 H3衍生模型搭出了 Twitch 直播、24 小时“AI 电视台”和 AI 短视频直播软件等创新玩法。

H3 开源一个月内下载量已经超过 2400 万次,产生超过 300 个公开衍生模型,成为 2026 年全球下载量最高的模型之一。

来源:雷锋网 · leiphone.com