月之暗面开源 Kimi K3：2.8T 参数原生多模态模型，支持 100 万 token 上下文

📰  技术博客 |     📄  完整报告

1. 模型简介

Kimi K3 是一个开放权重的原生多模态智能体模型，也是我们迄今为止能力最强的模型。它是一个 2.8T 参数的模型，基于 Kimi Delta Attention（KDA）和 Attention Residuals（AttnRes）构建，具备原生视觉能力和 100 万 token 的上下文窗口。它是全球首个开放的 3T 级模型，旨在为长程编程、知识工作和推理提供前沿智能。

核心特性

• 全新架构：Kimi K3 基于 Kimi Delta Attention（KDA）和 Attention Residuals（AttnRes）构建，并通过 Stable LatentMoE 框架提升 MoE 稀疏度，在 896 个专家中激活 16 个——相比 Kimi K2，整体扩展效率提升约 2.5 倍。
• 长程编程：在极少人工监督下运行，Kimi K3 能够持续进行长时间工程会话、在大型代码库中导航，并编排终端工具——从 GPU kernel 优化和编译器开发，到视觉在环的游戏开发、CAD，甚至芯片设计。
• 智能体知识工作：Kimi K3 推进端到端知识工作，借助其原生多模态架构，产出带有交互式可视化、小组件和仪表盘的深度研究，以及动态设计和视频编辑。
• 原生多模态与长上下文：Kimi K3 在同一模型内理解文本、图像和视频，并支持 100 万 token 的上下文窗口。
• 开放前沿权重：我们依据 Kimi K3 License 发布完整的 Kimi K3 模型权重，使前沿智能可公开用于研究、部署和进一步创新。

2. 模型概要

3. 评测结果

脚注

所有 Kimi K3 结果均在推理强度设为“max”、temperature = 1.0 的条件下获得。对于单步任务，如 GPQA Diamond、HLE-Full 以及不使用工具的视觉基准，我们设置 top-p = 0.95；对于智能体任务，我们设置 top-p = 1.0。对于 HLE-Full、MMMU-Pro、CharXiv（RQ）、MathVision 和 ZeroBench，每个单元格按顺序报告不使用工具增强与使用工具增强（HLE-Full 使用通用工具，视觉基准使用 Python）的得分。

1. Reasoning & knowledge benchmarks
   • CritPt 与 AA-LCR。 得分引自截至 2026 年 7 月 23 日的 Artificial Analysis。
2. Coding benchmarks
   • DeepSWE。 Kimi K3 使用 Kimi Code harness 进行评估。GLM-5.2 的得分取自 GLM-5.2 发布博客；其余所有得分均来自官方 DeepSWE 排行榜，在该排行榜下 Kimi K3 使用 mini-SWE-agent harness 取得 67.3。我们报告的是 DeepSWE v1.1 任务。
   • Terminal-Bench 2.1。 Kimi K3 使用 Kimi Code harness 进行评估。对于所有其他模型，我们报告各 harness 中的最佳得分：GLM-5.2 使用 Claude Code（GLM-5.2 发布博客）；Claude Opus 4.8 和 Claude Fable 5 使用 Terminus 2（Artificial Analysis）；GPT-5.5 和 GPT-5.6 Sol 使用 Codex（OpenAI）。
   • ProgramBench。 Kimi K3 使用 Kimi Code harness 进行评估。GLM-5.2 的得分来自 GLM-5.2 发布博客；其余所有得分均来自 Vals AI。
   • SWE-Marathon。 Kimi K3、Claude Opus 4.8 和 Claude Fable 5 使用 Claude Code harness 进行评估；GPT-5.6 Sol 使用 Codex harness 进行评估。GLM-5.2 的得分来自 GLM-5.2 发布博客。我们的评估基于截至 2026 年 7 月 9 日、在最终 v1.1 发布之前的 官方任务的 H20 校准分支：GPU 任务的 Docker 镜像、性能门槛和参考 oracle 已针对 H20 重新校准，而正确性和反作弊验证器保持不变。此外，Claude Fable 5 在我们的评估中有 35% 的任务触发了回退，这可能对其测得的性能产生了负面影响。
   • FrontierSWE。 Kimi K3 使用 Kimi Code harness 进行评估，GPT-5.6 Sol 使用 Codex harness 进行评估；其余所有结果均来自 FrontierSWE。Dominance 得分使用官方评估脚本从原始得分重新计算，数据截至 2026 年 7 月 16 日。
   • PostTrainBench。 GLM-5.2、GPT-5.5 和 Claude Opus 4.8 的得分采用官方 PostTrainBench 结果。Kimi K3、Claude Fable 5 和 GPT-5.6 Sol 使用官方 Harbor 实现以最大推理强度进行评估，在 H20 GPU（而非官方设置中的 H100）上取三次运行的平均值——Kimi K3 和 Claude Fable 5 使用 Claude Code harness，GPT-5.6 Sol 使用 Codex harness。
   • MLS-Bench-Lite。 Kimi K3 使用 Kimi Code harness 进行评估；GLM-5.2 和 Claude 系列模型使用 Claude Code harness；GPT-5.5 和 GPT-5.6 Sol 使用 Codex harness。
   • SciCode。分数引自 Artificial Analysis，截至 2026 年 7 月 23 日。
   • Kimi Code Bench 2.0（内部）。Kimi K3 使用 Kimi Code harness 进行评估（在 Claude Code harness 下达到 73.7）；GLM-5.2、Claude Opus 4.8 和 Claude Fable 5 使用 Claude Code harness；GPT-5.5 和 GPT-5.6 Sol 使用 Codex harness。所有模型均在最大推理强度下评估，但 GPT-5.5 使用“xhigh”设置。由于该基准包含网络安全和安全相关任务，我们还披露了拒绝或回退任务的比例：Claude Fable 5 在 80 个任务中出现 13 次回退和 1 次拒绝；GPT-5.6 Sol 的网络安全防护拦截了 80 个任务中的 10 次拒绝；GPT-5.5 在 80 个任务中有 3 次拒绝。
3. Agentic benchmarks
   • OfficeQA Pro。每个测试用例向智能体提供整个 PDF 语料库，所有 PDF 均渲染为图像，不提供机器可读文本。
   • OfficeQA Pro 和 SpreadsheetBench 2。Kimi K3、GLM-5.2、Claude Opus 4.8 和 Claude Fable 5 使用 Claude Code harness 进行评估；GPT-5.5 和 GPT-5.6 Sol 使用 Codex harness 进行评估。
   • MCP-Atlas。所有模型均在 500 个任务的公开子集上评估，限制为 100 轮，使用 Gemini 3.1 Pro 作为评判。
   • AutomationBench。所有模型均在 600 个任务的公开子集上评估，其他方面均遵循官方 GitHub 设置。
   • BrowseComp。我们采用在 300K token 时触发的上下文压缩策略。在完整的 1M token 上下文窗口且无上下文管理的情况下评估时，Kimi K3 得分为 90.4。Claude Fable 5、Claude Opus 4.8、GPT-5.6 Sol 和 GPT-5.5 的结果引自 Anthropic 和 OpenAI。
   • GDPval-AA v2、AA-Briefcase、τ³-Banking、Harvey Lab-AA 和 APEX-Agents。分数引自 Artificial Analysis 和 APEX-Agents 排行榜，截至 2026 年 7 月 23 日。对于 Harvey Lab-AA，我们报告标准通过率。
   • CorpFin v2、Finance Agent v2 和 Legal Research Bench。分数引自 Vals AI。
   • Agents' Last Exam。分数引自 官方排行榜，截至 2026 年 7 月 23 日；我们报告排行榜的主要通过率指标。在排行榜上，每个模型都搭配特定的 harness：Kimi K3 搭配 Kimi Code；GPT-5.6 Sol 和 GPT-5.5 搭配 Codex；Claude Fable 5、Claude Opus 4.8 和 GLM-5.2 搭配 Claude Code。^† Claude Fable 5 条目以 xhigh 强度运行，40% 的任务被标注为降级。
4. Multimodal benchmarks
   • 除 ZeroBench 遵循官方设置并运行五次外，所有多模态分数均为三次运行的平均值。MMMU-Pro 按照官方协议评估，保留原始输入顺序并将图像前置到文本输入。
   • PerceptionBench 是一个内部基准，专注于原子视觉感知能力。

4. 原生 MXFP4 量化

Kimi K3 从 SFT 阶段开始应用量化感知训练，使用 MXFP4 权重和 MXFP8 激活，以实现广泛的硬件兼容性。

5. 部署

你可以通过选择 kimi-k3 在 https://platform.kimi.ai 上访问 Kimi K3 的 API，我们为你提供兼容 OpenAI/Anthropic 的 API。目前，建议在以下推理引擎上运行 Kimi K3：

• vLLM — 参见 recipes
• SGLang — 参见 cookbook
• TokenSpeed — 参见 recipes

6. 模型使用

Kimi K3 始终启用思考，并会返回 reasoning_content。思考强度通过顶层 reasoning_effort 请求字段配置，支持 "low"、"high" 和 "max"（默认 "max"）。

Kimi K3 在保留思考历史模式下训练。对于多轮对话和工具调用，Kimi K3 要求将 API 返回的完整 assistant 消息原样传回 messages——包括 reasoning_content 和 tool_calls，而不仅仅是 content：

import openai

def chat_with_preserved_thinking(client: openai.OpenAI, model_name: str):
    messages = [
        {
            "role": "user",
            "content": "Tell me three random numbers."
        },
        {
            "role": "assistant",
            "reasoning_content": "I'll start by listing five numbers: 473, 921, 235, 215, 222, and I'll tell you the first three.",
            "content": "473, 921, 235"
        },
        {
            "role": "user",
            "content": "What are the other two numbers you have in mind?"
        }
    ]

    response = client.chat.completions.create(
        model=model_name,
        messages=messages,
        stream=False,
        max_tokens=4096,
        reasoning_effort="max",
    )
    # the assistant should mention 215 and 222 that appear in the prior reasoning content
    print(f"response: {response.choices[0].message.reasoning}")
    return response.choices[0].message.content

完整指南和示例（视觉输入、结构化输出、部分模式、工具选择、动态工具加载、上下文缓存），请参见 Kimi K3 快速入门 和 思考强度。

编码智能体框架

Kimi K3 与 Kimi Code CLI 作为其智能体框架配合效果最佳。我们诚挚邀请您试用——在终端中运行 Kimi Code，并使用 /model 命令选择 Kimi K3。希望您享受使用 Kimi K3 构建的乐趣，我们也非常期待听到您的反馈！

7. 许可证

代码仓库和模型权重均依据 Kimi K3 许可证 发布。

8. 联系我们

如有任何问题，请通过 [email protected] 联系我们。

上月下载量

954,778

Safetensors

moonshotai/Kimi-K3 的模型树

使用 moonshotai/Kimi-K3 的 Spaces 86

包含 moonshotai/Kimi-K3 的合集

评测结果

• Idavidrein/gpqa · Diamond 查看评测结果 排行榜
• datacurve/deep-swe · Deep Swe View evaluation results leaderboard

  67.5

• agents-last-exam/agents-last-exam 排行榜
• 总体通过率
• harness=claude_code; harness_variant=thinking-max; attempted=149/152; official leaderboard snapshot=2026-10-01T20:39:17.826877+00:00; values are percentages (0-100); equal-task aggregation; unattempted tasks contribute zero; pass threshold score>=0.999. This is an official leaderboard export, not an HF-verified evaluation. View evaluation results source

  26.97 ^*

• harness=kimi_code; harness_variant=thinking-max; attempted=149/152; official leaderboard snapshot=2026-10-01T20:39:17.826877+00:00; values are percentages (0-100); equal-task aggregation; unattempted tasks contribute zero; pass threshold score>=0.999. 这是官方排行榜导出数据，并非经 HF 验证的评测。 查看评测结果 来源