月之暗面发布 Kimi K2 Instruct 模型

📰  技术博客     |     📄  论文

0. 更新日志

2025.8.11

• 现已支持包含 name 字段的消息。我们还将聊天模板移至独立文件，以便更轻松地查看。

2025.7.18

• 我们进一步修改了聊天模板以提升其稳健性。默认系统提示词也已更新。

2025.7.15

• 我们更新了分词器实现。现在，像 [EOS] 这样的特殊 token 可以被编码为其对应的 token id。
• 我们修复了聊天模板中一个会破坏多轮工具调用的 bug。

1. 模型简介

Kimi K2 是一款最先进的混合专家（MoE）语言模型，激活参数为 320 亿，总参数为 1 万亿。Kimi K2 使用 Muon 优化器训练，在前沿知识、推理和编码任务中均取得卓越表现，同时针对智能体能力进行了精心优化。

关键特性

• 大规模训练：在 15.5T token 上预训练了一个 1T 参数的 MoE 模型，训练过程零不稳定。
• MuonClip 优化器：我们将 Muon 优化器应用于前所未有的规模，并开发了新颖的优化技术，在扩大规模的同时解决不稳定性问题。
• 智能体智能：专为工具使用、推理和自主问题解决而设计。

模型变体

• Kimi-K2-Base：基础模型，为希望完全控制微调和定制解决方案的研究人员和开发者提供了强有力的起点。
• Kimi-K2-Instruct：经过后训练的模型，最适合即插即用的通用聊天和智能体体验。它是一个无需长思考的反射级模型。

2. 模型摘要

3. 评估结果

指令模型评估结果

^{• 粗体表示全球 SOTA，下划线表示开源 SOTA。
• 标有 * 的数据点直接取自模型的技术报告或博客。
• 除 SWE-bench Verified (Agentless) 外，所有指标均以 8k 输出 token 长度进行评估。SWE-bench Verified (Agentless) 限制为 16k 输出 token 长度。
• Kimi K2 在使用 bash/editor 工具的 SWE-bench Verified 测试中达到 65.8% 的 pass@1（单次尝试补丁，无测试时计算）。在相同条件下，它还在 SWE-bench Multilingual 测试中达到 47.3% 的 pass@1。此外，我们报告了 SWE-bench Verified 测试（71.6%）的结果，该结果通过采样多个序列并利用内部评分模型选择单个最佳序列来利用并行测试时计算。
• 为确保评估的稳定性，我们在 AIME、HMMT、CNMO、PolyMath-en、GPQA-Diamond、EvalPlus、Tau2 上采用了 avg@k。
• 由于评估成本过高，部分数据点已被省略。}

基础模型评估结果

^{• 本工作中我们仅评估开源预训练模型。我们报告 Qwen2.5-72B 的结果，因为在我们研究时 Qwen3-235B-A22B 的基础检查点尚未开源。
• 所有模型均使用相同的评估协议进行评估。}

4. 部署

你可以在 https://platform.moonshot.ai 上访问 Kimi K2 的 API，我们为你提供兼容 OpenAI/Anthropic 的 API。

兼容 Anthropic 的 API 通过 real_temperature = request_temperature * 0.6 映射温度，以便更好地兼容现有应用。

我们的模型检查点以 block-fp8 格式存储，你可以在 Huggingface 上找到它。

目前，建议在以下推理引擎上运行 Kimi-K2：

• vLLM
• SGLang
• KTransformers
• TensorRT-LLM

vLLM 和 SGLang 的部署示例可在 模型部署指南 中找到。

5. 模型使用

聊天补全

本地推理服务启动后，你可以通过聊天端点与其交互：

def simple_chat(client: OpenAI, model_name: str):
    messages = [
        {"role": "system", "content": "You are Kimi, an AI assistant created by Moonshot AI."},
        {"role": "user", "content": [{"type": "text", "text": "Please give a brief self-introduction."}]},
    ]
    response = client.chat.completions.create(
        model=model_name,
        messages=messages,
        stream=False,
        temperature=0.6,
        max_tokens=256
    )
    print(response.choices[0].message.content)

Kimi-K2-Instruct 的推荐温度为 temperature = 0.6。 如果不需要特殊说明，上述系统提示是一个不错的默认值。

工具调用

Kimi-K2-Instruct 具有强大的工具调用能力。 要启用它们，你需要在每个请求中传入可用工具列表，然后模型将自主决定何时以及如何调用它们。

以下示例演示了端到端调用天气工具：

# Your tool implementation
def get_weather(city: str) -> dict:
    return {"weather": "Sunny"}

# Tool schema definition
tools = [{
    "type": "function",
    "function": {
        "name": "get_weather",
        "description": "Retrieve current weather information. Call this when the user asks about the weather.",
        "parameters": {
            "type": "object",
            "required": ["city"],
            "properties": {
                "city": {
                    "type": "string",
                    "description": "Name of the city"
                }
            }
        }
    }
}]

# Map tool names to their implementations
tool_map = {
    "get_weather": get_weather
}

def tool_call_with_client(client: OpenAI, model_name: str):
    messages = [
        {"role": "system", "content": "You are Kimi, an AI assistant created by Moonshot AI."},
        {"role": "user", "content": "What's the weather like in Beijing today? Use the tool to check."}
    ]
    finish_reason = None
    while finish_reason is None or finish_reason == "tool_calls":
        completion = client.chat.completions.create(
            model=model_name,
            messages=messages,
            temperature=0.6,
            tools=tools,          # tool list defined above
            tool_choice="auto"
        )
        choice = completion.choices[0]
        finish_reason = choice.finish_reason
        if finish_reason == "tool_calls":
            messages.append(choice.message)
            for tool_call in choice.message.tool_calls:
                tool_call_name = tool_call.function.name
                tool_call_arguments = json.loads(tool_call.function.arguments)
                tool_function = tool_map[tool_call_name]
                tool_result = tool_function(**tool_call_arguments)
                print("tool_result:", tool_result)

                messages.append({
                    "role": "tool",
                    "tool_call_id": tool_call.id,
                    "name": tool_call_name,
                    "content": json.dumps(tool_result)
                })
    print("-" * 100)
    print(choice.message.content)

tool_call_with_client 函数实现了从用户查询到工具执行的流水线。 该流水线要求推理引擎支持 Kimi-K2 的原生工具解析逻辑。 有关流式输出和手动工具解析，请参阅 工具调用指南。

6. 许可证

代码仓库和模型权重均在 Modified MIT License 下发布。

7. 第三方声明

参见 THIRD PARTY NOTICES

7. 联系我们

如有任何问题，请通过 [email protected] 联系我们。