DeepSeek 发布 V4.1-Flash 多模态 MoE 模型，KV cache 压至 890 bytes/token

DeepSeek-V4.1-Flash：突破 KV 缓存压缩的极限

技术报告 👁️

引言

我们推出 DeepSeek-V4.1-Flash，这是一个多模态混合专家（MoE）模型，主干参数为 552B，支持最长一百万个 token 的上下文。该模型原生处理图像和文本，并以自回归方式生成文本。

架构。 DeepSeek-V4.1-Flash 采用因果编码器-解码器（CED）架构：一个 40 层 Transformer，组织为 20 层因果编码器后接 20 层解码器。借助 CED，解码器的全局 KV 缓存由最终编码器隐藏状态投影得到，而非来自各解码器层自身的隐藏状态。这使得模型在预填充阶段每个 token 仅激活 8B 参数，在解码阶段激活 16B 参数，大幅提升输入密集型智能体工作负载的成本效率。SWA 有界重放通过仅重放最近的 n_win 个 token 来重建缺失的 SWA KV 状态，避免将 SWA KV 持久化到 SSD，并将持久 KV 缓存占用降至 DeepSeek-V4-Flash 的约 1/8。

压缩稀疏注意力 2（CSA2）。 DeepSeek-V4.1-Flash 使用 CSA2，为每个注意力层分配三种静态模式之一——Full、Reindex 或 Reuse——以跨层共享主 KV 和索引器 K，并复用 Top-K 稀疏注意力索引。在解码器中，分层稀疏索引器进一步将后续索引层限制在由第一个 Full 模式层构建的候选池内，使更深层索引器的开销与上下文长度无关。FP4 主 KV 缓存（E2M1 格式，每 16 个通道一个 E4M3 缩放因子）与上述设计相结合，将全局 KV 缓存占用降至每 token 890 字节——约为 DeepSeek-V4-Flash 的 1/4。

其他架构组件包括 Single-Pass mHC（改进的残差流混合，配有高效的 Mega-mHC 内核）、Engram 条件记忆（196B 参数，通过基于 token 的查找进行稀疏访问）以及 DSpark 推测解码（半自回归草稿生成，配合置信度调度的验证）。该模型每个 MoE 层使用 1 个共享专家和 384 个路由专家，每个 token 激活 6 个路由专家。

多模态架构。 视觉编码器（DeepSeek-ViT，使用 2D-RoPE 和 3×3 像素反洗牌下采样从零训练）和两层 MLP 投影器将图像转换为视觉嵌入，从语言模型预训练开始就与文本嵌入联合处理。

预训练。 DeepSeek-V4.1-Flash 从零开始在一个包含 45T token 的多模态语料库上训练，稀疏注意力在 64K 序列长度下训练，并在 34T token 时将上下文扩展至 1M token。

后训练。后训练流程遵循标准的 SFT → RL → 同策略蒸馏（OPD）范式，未做算法层面的修改。所有实质性改动都在数据流水线中：大规模自动化合成智能体任务与环境，并逐步扩展数据、任务和 rollout 的规模。模型支持连续可控的推理强度设置（整数 1–100），可在推理成本与准确率之间进行权衡。

图 1. (a) DeepSeek-V4.1-Flash 及同类模型在智能体基准上的表现。(b) 历代 DeepSeek 模型每 token 的全局 KV 缓存大小（字节）。DeepSeek-V4.1-Flash 相对 DeepSeek-V4-Flash 和 DeepSeek-V1 分别实现了约 4 倍和 437 倍的降低。

评测结果

基座模型

所有基座模型均在我们内部框架中、在相同评测设置下进行评估。彼此相差在 0.3 以内的分数视为等效。

Instruct 模型

DeepSeek-V4.1-Flash 支持从 1 到 100 的连续可控推理强度。以下所有 instruct 结果均使用最大强度设置（reasoning_effort=100）。评测使用 temperature=1.0, top_p=0.95。

对于代码智能体基准（Terminal-Bench 2.1/3.0/4.0、DeepSWE v1.1、NL2Repo-Bench、ProgramBench），模型使用 DeepSeek Harness 的 Minimal 模式和 1M token 上下文窗口进行评测。为符合官方设置要求，DeepSWE v1.1 使用 mini-SWE harness，SEC-Bench Pro 使用 Claude Code harness。视觉智能体基准（Chartography、BabyVision、ZeroBench）使用 Claude Code harness 和 512k token 上下文窗口。Agent's Last Exam 和 AutomationBench 使用其官方脚手架。所有智能体评测均使用 temperature=1.0, top_p=0.95。

与前沿模型的比较（最大推理强度）

† HLE 的纯文本子集。

不同智能体脚手架下的表现（DeepSWE v1.1 和 Terminal-Bench 2.1，最大推理强度）

所有脚手架在 DeepSWE v1.1 上每个任务使用 N=8 个样本，在 Terminal-Bench 2.1 上使用 N=3 个样本，采用 Linux 容器、temperature=1.0、top_p=0.95、1M token 上下文限制，每个 agent 的 max_steps=500。Terminal-Bench 2.1 在无网络访问条件下评估。

提示编码

此版本不包含 Jinja 格式的聊天模板。encoding 文件夹包含一个自包含的 Python 参考实现（encoding.py），并带有针对多轮对话、工具调用、思考模式、数值推理强度、对话中途系统消息以及交错图像内容的测试用例。

对于生产环境使用，我们还发布了 deepseek-recipe，这是一组带有 Python 绑定的 Rust 库，以经过维护、协议感知的工具包形式提供相同的提示格式。它将 Messages、Chat Completions 和 Responses API 请求转换为 Conversation 格式，将其编码为 DeepSeek V4 和 V4.1 提示或 token ID，并将模型输出解析回完整或流式响应——涵盖思考、工具调用、图像和生成设置。模型推理、工具执行和 HTTP 传输留给调用方处理。

最小推理

请参阅 inference 文件夹，了解权重转换和在本地运行推理的说明。

推荐的采样参数：

复现 DeepSWE 基准测试结果

evaluation 文件夹包含复现 DeepSWE v1.1 基准测试结果的分步说明，涵盖 dsh-minimal agent 和官方 mini-swe-agent。将 dsh-minimal 与 Pier 集成所需的补丁也包含在其中。

许可证

此仓库和模型权重依据 MIT 许可证 授权。

引用

@misc{deepseekai2026deepseekv41flash,
      title={DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression},
      author={DeepSeek-AI},
      year={2026},
}

联系方式

如有任何问题，请提出 issue 或通过 [email protected] 联系我们。