Qwen 开源 Qwen3.8-2.4T-A95B-FP8 模型权重

该仓库包含以 HF Mirror Transformers 格式提供的、针对后训练模型的 FP8 量化模型权重和配置文件。

这些产物与 vLLM、SGLang、TokenSpeed 等兼容。

量化方法为块大小为 128 的细粒度 fp8 量化，其性能指标与原始模型几乎相同。

对于希望获得托管式、可扩展推理且无需维护基础设施的用户，官方 Qwen API 服务由 Qwen Cloud 提供。

特别是，Qwen3.8-Max 是基于 Qwen3.8-2.4T-A95B 的官方版本，具有更多功能，例如视觉输入与免思考支持、默认 1M 上下文长度、官方内置工具等。 更多信息，请参阅 Qwen3.8-Max 概览。

继 Qwen3.5 和 Qwen3.6 系列在社区中被广泛采用之后，我们很高兴推出 Qwen3.8，这是迄今为止 Qwen 开放模型家族中能力最强的一代。

Qwen3.8 首次将 Qwen-Max 级模型开放发布。 Qwen3.8 基于 Qwen3.5 的架构基础构建，在编码、专业工作、研究和长时程智能体任务方面均带来显著提升。除了回答更难的问题，Qwen3.8 还旨在以更高的可靠性将复杂的多步骤任务执行至完成。

Qwen3.8 亮点

Qwen3.8 具有以下增强功能：

• 核心能力：在编码、专业工作、研究和长时程智能体任务方面全面提升。
• 智能体执行：更强的自主规划能力以及对环境反馈的更好处理，从而实现更可靠的端到端任务完成。
• 下游兼容性：更广泛地支持流行的 harness 和开发工具，使其更容易集成到您现有的技术栈中。
• 灵活的思考控制：推理深度可通过 reasoning_effort 调节，历史消息中的推理上下文通过 preserve_thinking 保留。

更多详情，请参阅我们的博客文章 Qwen3.8-Max。

模型概览

• 类型：因果语言模型
• 训练阶段：预训练与后训练
• Language Model
  • 参数量：总计 2.4T，激活 95B
  • 隐藏维度：8192
  • Token 嵌入：248,320（填充）
  • 层数：92
  • 隐藏布局：23 × (3 × (Gated DeltaNet → MoE) → 1 × (Gated Attention → MoE))
  • Gated DeltaNet:
    • 线性注意力头数：V 为 128，QK 为 16
    • 头维度：128
  • Gated Attention:
    • 注意力头数：Q 为 64，KV 为 4
    • 头维度：256
    • 旋转位置嵌入维度：64
  • Mixture of Experts:
    • 专家数量：512
    • 激活专家数量：10 个路由 + 1 个共享
    • 专家中间维度：2048
  • LM 输出：248,320（填充）
  • MTP（多 Token 预测）：使用多个步骤训练
• 上下文长度：原生 262,144，可扩展至 1,010,000 个 token。

基准测试结果

1. Fable5 的结果可能涉及回退。
2. Terminal Bench 2.1：使用 Claude Code（avg@10）评估，超时设为 5 小时，max_tokens=131,072。对于其他所有模型，我们报告各 harness 中已公布的最佳分数：Claude Opus 4.8 和 Claude Fable 5 使用 Artificial Analysis 的 Terminus 2（https://artificialanalysis.ai/evaluations/terminalbench-v2-1）；GPT-5.6 Sol 使用 Codex（https://openai.com/index/previewing-gpt-5-6-sol/）。
3. SWE-bench Pro：使用 Claude Code harness 评估，temp=1.0，top_p=0.95，上下文窗口为 256K。已修正有问题的任务，所有基线均在改进后的基准上评估。
4. DeepSWE 1.1：使用 Claude Code 和 mini-SWE-agent harness 评估，temp=1.0，top_p=0.95，上下文窗口为 256K。我们报告两个 harness 中的最高分；值得注意的是，Qwen3.8-Max 在 Claude Code 上表现最佳。
5. NL2Repo-Bench：使用 Claude Code harness 评估。为防止奖励黑客行为，我们禁用了试图访问特定仓库的 Bash 命令，例如 pip download、pip install 和 git clone。
6. FrontierSWE：使用 Claude Code harness 评估。所有其他可用的 MEAN@5 结果取自截至 2026 年 8 月 3 日的官方 FrontierSWE 排行榜（https://www.frontierswe.com）。Dominance 分数使用官方评估脚本从原始分数重新计算。“--”表示截至该日期没有可用的官方 MEAN@5 结果。
7. MLS-Bench-Lite：使用 Claude Code 评估，超时设为 5 小时，max_tokens=131,072。所有其他模型的分数取自官方排行榜。
8. PaperBench：在 Code-Dev 模式下的 BasicAgent 设置中评估，由 Claude Opus 4.6 评判，取 3 次运行的平均值（每次运行最长 12 小时）。
9. AndroidBench：在 95 个任务的公开子集上评估，报告 avg@3 分数。
10. QwenSWEBench：内部编码基准，用于评估模型的软件工程能力。使用 Claude Code harness 评估。报告 avg@3，超时 8 小时，max_tokens=32,768，temperature=1.0，上下文窗口为 256K token。
11. QwenQoderBench：内部编码基准，用于评估 Qoder 上的用户体验。使用 Claude Code harness 评估。报告 avg@5，超时 6 小时，max_tokens=32,768，temperature=1.0，上下文窗口为 256K token。
12. QwenReactBench：内部 React 项目构建基准，使用 Claude Code 作为 harness，双语（EN/CN），7 个类别；自动渲染 + 多模态评判；BT/Elo 评分。
13. QwenSVGBench：内部 SVG 代码生成基准；双语（EN/CN），自动渲染 + 多模态评判；BT/Elo 评分。
14. CoWorkBench：内部协作基准，用于评估计算机科学、金融、法律、医疗及其他生产力领域的长周期任务。
15. SkillsBench：在公开的 SkillsBench v1.1 基准上评估，涵盖 87 个任务，报告每个任务三次运行的平均分。Opus 4.8 和 Fable 5 在 Claude Code 上评估；GPT-5.6 Sol 在 Codex 上评估；Qwen 系列在 OpenCode 上评估。所有结果均来自我们自己的测试。
16. Automation-Bench：在 600 个任务的公开子集上评估。
17. WideSearch：外部模型使用 Claude Code harness 评估，我们的模型使用 Qwen-Agent harness 评估，报告四次运行的平均 item-F1。
18. $OneMillion-Bench：使用 gemini-3.1-pro-preview 评估。
19. PLawBench：使用 gemini-3.1-pro-preview 评估。
20. 空白单元格（--）：分数尚不可用或不适用。

快速开始

为简化集成，我们建议通过 API 使用 Qwen3.8。

部署 Qwen3.8

不同框架的推理效率和吞吐量差异显著。 我们建议使用最新的框架版本，以确保最佳性能和兼容性。 对于生产工作负载或高吞吐量场景，建议使用 SGLang、vLLM 或 TokenSpeed 等专用服务引擎。

Qwen3.8 可借助主流推理框架进行部署，例如：

• SGLang：Qwen3.8 Cookbook
• vLLM：Qwen3.8 Recipe
• TokenSpeed：Qwen3.8 Recipe

API 用法

Qwen3.8-2.4T-A95B 是纯文本模型，所有交互均需使用思考模式。不支持多模态输入，且无法关闭思考。每次响应都会自动先以 <think>\n...</think>\n\n 包裹的推理内容开头，随后才是最终输出。

我们建议生成时使用以下采样参数：

• temperature=1.0, top_p=0.95, top_k=20, min_p=0.0, presence_penalty=0.0, repetition_penalty=1.0

请注意，对采样参数的支持因推理框架而异。

Qwen3.8 官方支持 reasoning_effort，可用于调整推理深度并控制成本：

• xhigh（默认）：适用于需要全面分析的复杂任务
• medium：兼顾准确性与速度
• low：高效推理，优化速度与成本

此外，所有工作负载默认启用 preserve_thinking，以提供最佳开箱即用体验。

Chat Completions API

Chat Completions API 可用于大多数推理框架，以及 Qwen Cloud。 开始前，请确保已安装 OpenAI Python SDK，并已配置 API key 和 API base URL，例如：

pip install -U openai

# Set the following accordingly
export OPENAI_BASE_URL='your-base-url'
export OPENAI_API_KEY='your-api-key'

纯文本输入

from openai import OpenAI
# Configured by environment variables
client = OpenAI()

messages = [{"role": "user", "content": "Write a Python function to merge two sorted linked lists."}]

completion = client.chat.completions.create(
    model="Qwen/Qwen3.8-2.4T-A95B-FP8",
    messages=messages,
    extra_body={
        "chat_template_kwargs": {
            "enable_thinking": True,  # on by default; should not be turned off
            "preserve_thinking": True, # on by default
        },
    },
    reasoning_effort="xhigh",  # xhigh by default; supported levels are xhigh, medium, and low
    stream=True,
    stream_options={"include_usage": True},
)

reasoning_content = ""
answer_content = ""
is_answering = False
print("\n" + "=" * 20 + "Reasoning" + "=" * 20 + "\n")

for chunk in completion:
    if not chunk.choices:
        print("\nUsage:")
        print(chunk.usage)
        continue

    delta = chunk.choices[0].delta

    if hasattr(delta, "reasoning_content") and delta.reasoning_content is not None:
        if not is_answering:
            print(delta.reasoning_content, end="", flush=True)
        reasoning_content += delta.reasoning_content

    if hasattr(delta, "content") and delta.content:
        if not is_answering:
            print("\n" + "=" * 20 + "Answer" + "=" * 20 + "\n")
            is_answering = True
        print(delta.content, end="", flush=True)
        answer_content += delta.content

如果您使用 Qwen Cloud 的 API，除更改 model 外，请传入 extra_body={"enable_thinking": True, "preserve_thinking": True} 而非 extra_body={"chat_template_kwargs": {"enable_thinking": True, "preserve_thinking": True}}。

最佳实践

为达到最佳性能，我们建议采用以下设置：

1. 采样参数：

   • We suggest using the following set of sampling parameters:
     • temperature=1.0、top_p=0.95、top_k=20、min_p=0.0、presence_penalty=0.0、repetition_penalty=1.0
   • 对于支持的框架，您可以在 0 到 2 之间调整 presence_penalty 参数以减少无休止的重复。不过，使用较高的值有时可能导致语言混杂，并使模型性能略有下降。

2. 充足的输出长度：为优化智能体任务上的性能，我们建议分配足够的输出长度，让模型生成详细而全面的响应。对于支持为内部推理和最终输出分别设置 token 上限的框架，我们建议在 1M 上下文长度内采用以下配置：

   • 推理内容：将最大输出长度设为 262,144 tokens。
   • 最终响应：将最大输出长度设为 131,072 tokens。

   这些设置既为复杂推理提供了必要容量，又确保为高质量的最终交付成果留出充足空间。

引用

如果您觉得我们的工作有帮助，欢迎引用。

@misc{qwen38,
    title = {{Qwen3.8-Max}: A New Bar for Coding and Cowork},
    url = {https://qwen.ai/blog?id=qwen3.8},
    author = {{Qwen Team}},
    month = {August},
    year = {2026}
}