字节开源 Bernini-Diffusers 完整视频生成与编辑管线

视频扩散的潜在语义规划

Chenchen Liu^*, Junyi Chen^*, Lei Li^*, Lu Chi^*,§, Mingzhen Sun^*, Zhuoying Li^*, Yi Fu, Ruoyu Guo, Yiheng Wu, Ge Bai, Zehuan Yuan^✉

^* 同等贡献  ^✉ 通讯作者  ^§ 项目负责人

🎉 新闻

• [2026-06-10] 我们开源了完整 Bernini（Bernini）的推理代码和模型权重。
• [2026-05-22] 我们发布了论文 Bernini: Latent Semantic Planning for Video Diffusion。

✨ 亮点

Bernini 是一个统一的视频生成与编辑框架，将基于 MLLM 的语义规划器与基于 DiT 的渲染器相结合。

与仅含渲染器的 Bernini-R 版本相比，Bernini-Diffusers 打包了完整的语义规划流水线：Qwen2.5-VL 规划器、Bernini 规划权重以及 Wan2.2 扩散组件，全部置于一个自包含目录中。因此，当你需要更强的指令遵循、多步语义规划以及更好地处理复杂视频编辑请求时，推荐使用此版本。

🧾 模型卡片

基准测试快照

在视频编辑方面，基于盲测人工成对比较的内部竞技场评估中，Bernini 达到领先闭源商业模型的第一梯队。

📦 包布局

此版本是一个自包含的 diffusers 格式目录。将下载的 Bernini-Diffusers 目录直接传给 --config。

Bernini-Diffusers/
  bernini/
  mllm/
  scheduler/
  t5_text_encoder/
  t5_tokenizer/
  vae/
  config.json
  transformer_config.json
  transformer_2_config.json

运行时：

• bernini/ 提供 Bernini 规划检查点。
• mllm/ 提供 Qwen2.5-VL 规划器资源。
• transformer_config.json 和 transformer_2_config.json 定义完整流水线使用的 Wan2.2 扩散解码器组件。
• t5_text_encoder/、t5_tokenizer/、vae/ 和 scheduler/ 提供推理所需的基础扩散模块。

📥 下载

pip install -U "huggingface_hub"
hf download ByteDance/Bernini-Diffusers \
    --local-dir pretrained_models/Bernini-Diffusers

🚀 使用

官方推理代码可在 Bernini 仓库 中获取。

安装

git clone https://github.com/bytedance/Bernini.git bernini && cd bernini
pip install -r requirements.txt

推荐环境：

• Python 3.11.2
• PyTorch 2.5.1+cu124
• CUDA toolkit 12.4
• GPU 推荐使用 Hopper GPU（H100/H800/H200）以获得最佳性能

对于多 GPU 序列并行推理，请安装 VeOmni：

pip install --no-deps git+https://github.com/ByteDance-Seed/[email protected]

加载模型

将下载的目录直接作为 --config 传入：

python infer_single_gpu.py --config pretrained_models/Bernini-Diffusers \
    --case assets/testcases/i2i/i2i.json --num_frames 1

提示词增强器（强烈推荐）

--use_pe 通过 OpenAI 兼容端点增强提示词，推荐使用以获得最佳生成质量。

export BERNINI_PE_API_KEY=...      # or OPENAI_API_KEY
export BERNINI_PE_BASE_URL=...     # or OPENAI_BASE_URL
export BERNINI_PE_MODEL=...        # vision-capable chat model

Gradio 演示

# Single GPU
python gradio_demo.py --config pretrained_models/Bernini-Diffusers --port 7860

# 8 GPUs, 8-way Ulysses sequence parallel
torchrun --nproc-per-node 8 gradio_demo.py --ulysses 8 \
    --config pretrained_models/Bernini-Diffusers \
    --port 7860 --share

运行脚本

Bernini 仓库中的 scripts/bernini/ 目录为完整流水线提供了可直接运行的任务启动器：

• run_t2i.sh
• run_i2i.sh
• run_t2v.sh
• run_v2v.sh
• run_rv2v.sh
• run_r2v.sh
• run_gradio.sh

你可以通过以下方式覆盖模型目录：

export BERNINI_CONFIG=/path/to/Bernini-Diffusers

📑 引用

如果您在研究中使用了 Bernini，请引用：

@article{bernini,
  title   = {Bernini: Latent Semantic Planning for Video Diffusion},
  author  = {Chenchen Liu and Junyi Chen and Lei Li and Lu Chi and Mingzhen Sun and Zhuoying Li and Yi Fu and Ruoyu Guo and Yiheng Wu and Ge Bai and Zehuan Yuan},
  journal = {arXiv preprint arXiv:2605.22344},
  year    = {2026}
}

🙏 致谢

Bernini 建立在多个优秀的开源项目之上：

• Wan2.2-T2V-A14B
• Qwen2.5-VL-7B-Instruct
• VeOmni

📄 许可证

Apache License 2.0。