DeepSeek 发布实验性多模态模型 DeepSeek-V4-Flash-Vision-Exp

简介

我们很高兴推出 DeepSeek-V4-Flash-Vision-Exp，这是 DeepSeek-V4 系列中首个实验性多模态模型。它在 DeepSeek-V4-Flash 架构的基础上引入视觉模块，并经过持续训练以解锁视觉理解能力。

与 DeepSeek-V4-Flash-0731 相比，DeepSeek-V4-Flash-Vision-Exp 在多模态智能体能力上取得显著提升，同时在纯文本智能体任务上保持相当的性能。

说明：

1. 对于上述文本智能体基准测试，DeepSeek 模型以 DeepSeek Harness 的最小模式作为智能体框架进行评估，使用 max 推理强度级别并配合 temperature = 1.0, top_p = 0.95。
2. † 对于 ApexBench 和 Agents' Last Exam，DeepSeek-V4-Flash-0731 忽略输入中的多模态元素。

仓库结构

本仓库包含 tokenizer、提示编码参考，以及 DeepSeek-V4 Flash Vision 的最小 PyTorch 推理实现。参考推理涵盖视觉编码器与对齐器、DFlash 注意力、MoE、Hyper-Connections 以及 DSpark 前向路径。

.
├── encoding/                  # OpenAI-style messages -> model prompt
├── inference/                 # weight conversion and minimal inference
│   └── examples/              # equivalent TXT and JSON vision prompts
├── config.json                # HF Mirror model metadata
├── generation_config.json
├── model.safetensors.index.json
├── tokenizer.json
└── tokenizer_config.json

encoding/ 和 inference/ 有意保持分离：提示格式化不依赖 PyTorch，而推理通过显式 Python 路径导入同级编码模块。无需符号链接。

tokenizer 文件为普通文件，以便仓库可上传至 HF Mirror 而不依赖本地文件系统符号链接。大型模型分片由 model.safetensors.index.json 描述，且不会在用于组装本仓库的源码检出中重复。

提示编码

参见 encoding/README.md。同时支持 OpenAI 风格的 JSON 内容块和紧凑的 <image>path</image> TXT 记法。inference/examples/ 下的两个示例编码为相同的提示和 token ID。

最小推理

参见 inference/README.md 了解依赖安装、检查点转换以及 TXT/JSON 推理命令。

如何使用 vLLM 运行

例如，以下命令在单个 4×GB300 节点上使用 vLLM 部署该模型。 详细说明及其他硬件配置请参见 vLLM recipe。

docker run --gpus all \
  vllm/vllm-openai:deepseekv4-flash-vision deepseek-ai/DeepSeek-V4-Flash-Vision-Exp \
  --kv-cache-dtype fp8 \
  --block-size 256 \
  --tensor-parallel-size 4 \
  --tool-call-parser deepseek_v4 \
  --enable-auto-tool-choice \
  --reasoning-parser deepseek_v4 \
  --reasoning-config '{"reasoning_parser":"deepseek_v4","reasoning_start_str":"","reasoning_end_str":""}' \
  --speculative-config '{"method":"dspark","model":"deepseek-ai/DeepSeek-V4-Flash-Vision-Exp","num_speculative_tokens":3,"draft_sample_method":"probabilistic","enable_adaptive_verification":true}'

如何使用 SGLang 运行

通过 --speculative-algorithm DSPARK 启用 DSpark，且不要单独设置 --speculative-draft-model-path，因为目标权重和草稿权重来自同一检查点。详细说明、基准测试及其他硬件配置请参见 SGLang cookbook。

sglang serve \
  --model-path deepseek-ai/DeepSeek-V4-Flash-Vision-Exp \
  --tp 4 \
  --speculative-algorithm DSPARK \
  --mem-fraction-static 0.85 \
  --host 0.0.0.0 \
  --port 30000

许可证

本仓库基于 MIT License 许可。