字节开源 Bernini-Diffusers-v2 视频生成与编辑管线

视频扩散的潜在语义规划

Chenchen Liu^*, Junyi Chen^*, Lei Li^*, Lu Chi^*,§, Mingzhen Sun^*, Zhuoying Li^*, Yi Fu, Ruoyu Guo, Yiheng Wu, Ge Bai, Zehuan Yuan^✉

^* 同等贡献  ^✉ 通讯作者  ^§ 项目负责人

🎉 新闻

• [2026-06-11] 我们开源了完整 Bernini（Bernini）的推理代码和模型权重。
• [2026-05-22] 我们发布了论文 Bernini: Latent Semantic Planning for Video Diffusion。

✨ 亮点

Bernini 是一个统一的视频生成与编辑框架，将基于 MLLM 的语义规划器与基于 DiT 的渲染器相结合。

Bernini-Diffusers-v2 打包了完整的语义规划流程：Qwen2.5-VL 规划器、Bernini 规划权重以及 Wan2.2 扩散组件，全部集成在一个自包含的 diffusers 格式目录中。

与仅含渲染器的 Bernini-R 版本相比，当你需要更强的指令遵循能力、多步语义规划以及对复杂视频生成或编辑请求的更好处理时，推荐使用 Bernini-Diffusers-v2。与首个 Bernini-Diffusers 版本相比，v2 采用的训练方案会先对连接器进行数千步的预热，再进行联合训练，从而提升了参考引导的视频编辑和 OpenS2V 性能。

🧾 模型卡片

基准测试快照

在视频编辑方面，基于盲测人工成对比较的内部竞技场评估中，Bernini 达到了领先闭源商业模型的第一梯队水平。

📦 包结构

此版本是一个自包含的 diffusers 格式目录。将下载的 Bernini-Diffusers-v2 目录直接传给 --config。

Bernini-Diffusers-v2/
  bernini/
  mllm/
  scheduler/
  t5_text_encoder/
  t5_tokenizer/
  vae/
  config.json
  transformer_config.json
  transformer_2_config.json

运行时：

• bernini/ 提供 Bernini 规划检查点。
• mllm/ 提供 Qwen2.5-VL 规划器资源。
• transformer_config.json 和 transformer_2_config.json 定义完整流程所使用的 Wan2.2 扩散解码器组件。
• t5_text_encoder/、t5_tokenizer/、vae/ 和 scheduler/ 提供推理所需的基础扩散模块。

📥 下载

pip install -U "huggingface_hub"
hf download ByteDance/Bernini-Diffusers-v2 \
    --local-dir pretrained_models/Bernini-Diffusers-v2

🚀 使用

官方推理代码可在 Bernini 仓库 中获取。

安装

git clone https://github.com/bytedance/Bernini.git bernini && cd bernini
pip install -r requirements.txt
# Open-VeOmni is required. Install it with --no-deps so it does not pull in a
# different torch build and override the pinned torch==2.7.1+cu126:
pip install --no-deps git+https://github.com/ByteDance-Seed/[email protected]

推荐环境：

• Python 3.11.2
• PyTorch 2.7.1+cu126
• CUDA toolkit 12.6
• GPU 推荐使用 Hopper GPU（H100/H800/H200）以获得最佳性能

加载模型

将下载的目录直接作为 --config 传入：

python infer_single_gpu.py --config pretrained_models/Bernini-Diffusers-v2 \
    --case assets/testcases/i2i/i2i.json --num_frames 1

提示词增强器（强烈推荐）

--use_pe 通过 OpenAI 兼容端点增强提示词，推荐使用以获得最佳生成质量。

export BERNINI_PE_API_KEY=...      # or OPENAI_API_KEY
export BERNINI_PE_BASE_URL=...     # or OPENAI_BASE_URL
export BERNINI_PE_MODEL=...        # vision-capable chat model

Gradio 演示

# Single GPU
python gradio_demo.py --config pretrained_models/Bernini-Diffusers-v2 --port 7860

# 8 GPUs, 8-way Ulysses sequence parallel
torchrun --nproc-per-node 8 gradio_demo.py --ulysses 8 \
    --config pretrained_models/Bernini-Diffusers-v2 \
    --port 7860 --share

运行脚本

Bernini 仓库中的 scripts/bernini_v2/ 目录提供了 Bernini-Diffusers-v2 的即用型任务启动器：

• run_t2i.sh
• run_i2i.sh
• run_t2v.sh
• run_v2v.sh
• run_rv2v.sh
• run_r2v.sh
• run_gradio.sh

你可以通过以下方式覆盖模型目录：

export BERNINI_CONFIG=/path/to/Bernini-Diffusers-v2

📑 引用

如果你在研究中使用了 Bernini，请引用：

@article{bernini,
  title   = {Bernini: Latent Semantic Planning for Video Diffusion},
  author  = {Chenchen Liu and Junyi Chen and Lei Li and Lu Chi and Mingzhen Sun and Zhuoying Li and Yi Fu and Ruoyu Guo and Yiheng Wu and Ge Bai and Zehuan Yuan},
  journal = {arXiv preprint arXiv:2605.22344},
  year    = {2026}
}

🙏 致谢

Bernini 基于多个优秀的开源项目构建：

• Wan2.2-T2V-A14B
• Qwen2.5-VL-7B-Instruct
• VeOmni

📄 许可证

Apache License 2.0。