Qwen 发布 Qwen3.5-35B-A3B 开源模型
Qwen/Qwen3.5-35B-A3B
Qwen 发布 Qwen3.5-35B-A3B,总参数 35B、激活 3B,采用 Gated DeltaNet 与稀疏 MoE 混合架构,原生上下文 262,144 tokens 并可扩展至 1,010,000 tokens。
同一件事,精选收录的是《Qwen 发布 Qwen3.5-27B 多模态模型》

此仓库包含以 HF Mirror Transformers 格式发布的后训练模型的权重和配置文件。
这些工件与 HF Mirror Transformers、vLLM、SGLang、KTransformers 等兼容。
对于寻求无需基础设施维护的可管理、可扩展推理的用户,官方 Qwen API 服务由 阿里云百炼 提供。
特别是,Qwen3.5-Flash 是 Qwen3.5-35B-A3B 的托管版本,具备更多生产特性,例如默认支持 1M 上下文长度以及官方内置工具。 如需更多信息,请参阅 用户指南。
在过去几个月里,我们加大了对基础模型开发的投入,旨在提供卓越的功能和性能。Qwen3.5 代表了显著的飞跃,集成了多模态学习、架构效率、强化学习规模以及全球可访问性方面的突破,从而为开发者和企业赋予前所未有的能力和效率。
Qwen3.5 亮点
Qwen3.5 具备以下增强功能:
统一视觉-语言基础模型:对多模态 token 进行早期融合训练,在推理、编码、智能体和视觉理解基准测试中实现了与 Qwen3 的跨代持平,并优于 Qwen3-VL 模型。
高效混合架构:门控 Delta 网络结合稀疏混合专家(MoE)结构,实现高吞吐量推理,同时保持极低的延迟和成本开销。
可扩展的 RL 泛化能力:在百万级智能体环境中扩展强化学习,采用逐步复杂的任务分布,以实现强大的现实世界适应性。
全球语言覆盖:扩展支持 201 种语言和方言, enabling 具有细腻文化和区域理解的包容性全球部署。
下一代训练基础设施:相比纯文本训练,多模态训练效率接近 100%,并支持异步强化学习框架,用于大规模智能体脚手架和环境编排。
更多详情,请参阅我们的博客文章 Qwen3.5。
模型概览
- 类型:带视觉编码器的因果语言模型
- 训练阶段:预训练 & 后训练
- Language Model
- 参数量:总计 35B,激活 3B
- 隐藏层维度:2048
- Token 嵌入:248320(已填充)
- 层数:40
- 隐藏布局:10 × (3 × (门控 DeltaNet → MoE) → 1 × (门控注意力 → MoE))
- Gated DeltaNet:
- 线性注意力头数:V 为 32,QK 为 16
- 头维度:128
- Gated Attention:
- 注意力头数:Q 为 16,KV 为 2
- 头维度:256
- 旋转位置嵌入维度:64
- Mixture Of Experts
- 专家数量:256
- 激活专家数量:8 个路由 + 1 个共享
- 专家中间层维度:512
- LM 输出:248320(已填充)
- MTP:使用多步训练
- 上下文长度:原生支持 262,144,可扩展至 1,010,000 个 token。
基准测试结果
语言
| GPT-5-mini 2025-08-07 | GPT-OSS-120B | Qwen3-235B-A22B | Qwen3.5-122B-A10B | Qwen3.5-27B | Qwen3.5-35B-A3B | |
|---|---|---|---|---|---|---|
| 知识 | ||||||
| MMLU-Pro | 83.7 | 80.8 | 84.4 | 86.7 | 86.1 | 85.3 |
| MMLU-Redux | 93.7 | 91.0 | 93.8 | 94.0 | 93.2 | 93.3 |
| C-Eval | 82.2 | 76.2 | 92.1 | 91.9 | 90.5 | 90.2 |
| SuperGPQA | 58.6 | 54.6 | 64.9 | 67.1 | 65.6 | 63.4 |
| 指令遵循 | ||||||
| IFEval | 93.9 | 88.9 | 87.8 | 93.4 | 95.0 | 91.9 |
| IFBench | 75.4 | 69.0 | 51.7 | 76.1 | 76.5 | 70.2 |
| MultiChallenge | 59.0 | 45.3 | 50.2 | 61.5 | 60.8 | 60.0 |
| 长上下文 | ||||||
| AA-LCR | 68.0 | 50.7 | 60.0 | 66.9 | 66.1 | 58.5 |
| LongBench v2 | 56.8 | 48.2 | 54.8 | 60.2 | 60.6 | 59.0 |
| STEM & 推理 | ||||||
| HLE w/ CoT | 19.4 | 14.9 | 18.2 | 25.3 | 24.3 | 22.4 |
| GPQA Diamond | 82.8 | 80.1 | 81.1 | 86.6 | 85.5 | 84.2 |
| HMMT Feb 25 | 89.2 | 90.0 | 85.1 | 91.4 | 92.0 | 89.0 |
| HMMT Nov 25 | 84.2 | 90.0 | 89.5 | 90.3 | 89.8 | 89.2 |
| 编码 | ||||||
| SWE-bench Verified | 72.0 | 62.0 | -- | 72.0 | 72.4 | 69.2 |
| Terminal Bench 2 | 31.9 | 18.7 | -- | 49.4 | 41.6 | 40.5 |
| LiveCodeBench v6 | 80.5 | 82.7 | 75.1 | 78.9 | 80.7 | 74.6 |
| CodeForces | 2160 | 2157 | 2146 | 2100 | 1899 | 2028 |
| OJBench | 40.4 | 41.5 | 32.7 | 39.5 | 40.1 | 36.0 |
| FullStackBench en | 30.6 | 58.9 | 61.1 | 62.6 | 60.1 | 58.1 |
| FullStackBench zh | 35.2 | 60.4 | 63.1 | 58.7 | 57.4 | 55.0 |
| 通用智能体 | ||||||
| BFCL-V4 | 55.5 | -- | 54.8 | 72.2 | 68.5 | 67.3 |
| TAU2-Bench | 69.8 | -- | 58.5 | 79.5 | 79.0 | 81.2 |
| VITA-Bench | 13.9 | -- | 31.6 | 33.6 | 41.9 | 31.9 |
| DeepPlanning | 17.9 | -- | 17.1 | 24.1 | 22.6 | 22.8 |
| 搜索智能体 | ||||||
| HLE 带工具 | 35.8 | 19.0 | -- | 47.5 | 48.5 | 47.4 |
| Browsecomp | 48.1 | 41.1 | -- | 63.8 | 61.0 | 61.0 |
| Browsecomp-zh | 49.5 | 42.9 | -- | 69.9 | 62.1 | 69.5 |
| WideSearch | 47.2 | 40.4 | -- | 60.5 | 61.1 | 57.1 |
| Seal-0 | 34.2 | 45.1 | -- | 44.1 | 47.2 | 41.4 |
| 多语言能力 | ||||||
| MMMLU | 86.2 | 78.2 | 83.4 | 86.7 | 85.9 | 85.2 |
| MMLU-ProX | 78.5 | 74.5 | 77.9 | 82.2 | 82.2 | 81.0 |
| NOVA-63 | 51.9 | 51.1 | 55.4 | 58.6 | 58.1 | 57.1 |
| INCLUDE | 81.8 | 74.0 | 81.0 | 82.8 | 81.6 | 79.7 |
| Global PIQA | 88.5 | 84.1 | 85.7 | 88.4 | 87.5 | 86.6 |
| PolyMATH | 67.3 | 54.0 | 60.1 | 68.9 | 71.2 | 64.4 |
| WMT24++ | 80.7 | 74.4 | 75.8 | 78.3 | 77.6 | 76.3 |
| MAXIFE | 85.3 | 83.7 | 83.2 | 87.9 | 88.0 | 86.6 |
* CodeForces:基于我们自己的查询集进行评估。
* TAU2-Bench:除航空领域外,我们遵循官方设置;在航空领域中,所有模型均通过应用 Claude Opus 4.5 系统卡片中提出的修复方案进行评估。
* Search Agent:大多数基于我们模型的搜索代理采用简单的上下文折叠策略(256k):当累积的 Tool Response 长度达到预设阈值时,会从历史记录中剪枝早期的 Tool Responses,以保持上下文在限制范围内。
* WideSearch:我们使用 256k 上下文窗口,不进行任何上下文管理。
* MMLU-ProX:我们报告了 29 种语言上的平均准确率。
* WMT24++:经过难度标注和重新平衡后更难的 WMT24 子集;我们使用 XCOMET-XXL 报告了 55 种语言上的平均分数。
* MAXIFE:我们报告了英文 + 多语言原始提示词上的准确率(共 23 个设置)。
* 空单元格(--)表示分数尚不可用或不适用。
视觉语言
| GPT-5-mini 2025-08-07 | Claude-Sonnet-4.5 | Qwen3-VL-235B-A22B | Qwen3.5-122B-A10B | Qwen3.5-27B | Qwen3.5-35B-A3B | |
|---|---|---|---|---|---|---|
| STEM and Puzzle | ||||||
| MMMU | 79.0 | 79.6 | 80.6 | 83.9 | 82.3 | 81.4 |
| MMMU-Pro | 67.3 | 68.4 | 69.3 | 76.9 | 75.0 | 75.1 |
| MathVision | 71.9 | 71.1 | 74.6 | 86.2 | 86.0 | 83.9 |
| Mathvista(mini) | 79.1 | 79.8 | 85.8 | 87.4 | 87.8 | 86.2 |
| DynaMath | 81.4 | 78.8 | 82.8 | 85.9 | 87.7 | 85.0 |
| ZEROBench | 3 | 4 | 4 | 9 | 10 | 8 |
| ZEROBench_sub | 27.3 | 26.3 | 28.4 | 36.2 | 36.2 | 34.1 |
| VlmsAreBlind | 75.8 | 85.5 | 79.5 | 96.7 | 96.9 | 97.0 |
| BabyVision | 20.9 | 18.6 | 22.2 | 40.2 / 34.5 | 44.6 / 34.8 | 38.4 / 29.6 |
| General VQA | ||||||
| RealWorldQA | 79.0 | 70.3 | 81.3 | 85.1 | 83.7 | 84.1 |
| MMStar | 74.1 | 73.8 | 78.7 | 82.9 | 81.0 | 81.9 |
| MMBenchEN-DEV-v1.1 | 86.8 | 88.3 | 89.7 | 92.8 | 92.6 | 91.5 |
| SimpleVQA | 56.8 | 57.6 | 61.3 | 61.7 | 56.0 | 58.3 |
| HallusionBench | 63.2 | 59.9 | 66.7 | 67.6 | 70.0 | 67.9 |
| Text Recognition and Document Understanding | ||||||
| OmniDocBench1.5 | 77.0 | 85.8 | 84.5 | 89.8 | 88.9 | 89.3 |
| CharXiv(RQ) | 68.6 | 67.2 | 66.1 | 77.2 | 79.5 | 77.5 |
| MMLongBench-Doc | 50.3 | -- | 56.2 | 59.0 | 60.2 | 59.5 |
| CC-OCR | 70.8 | 68.1 | 81.5 | 81.8 | 81.0 | 80.7 |
| AI2D_TEST | 88.2 | 87.0 | 89.2 | 93.3 | 92.9 | 92.6 |
| OCRBench | 82.1 | 76.6 | 87.5 | 92.1 | 89.4 | 91.0 |
| 空间智能 | ||||||
| ERQA | 54.0 | 45.0 | 52.5 | 62.0 | 60.5 | 64.8 |
| CountBench | 91.0 | 90.0 | 93.7 | 97.0 | 97.8 | 97.8 |
| RefCOCO(平均) | -- | -- | 91.1 | 91.3 | 90.9 | 89.2 |
| ODInW13 | -- | -- | 43.2 | 44.5 | 41.1 | 42.6 |
| EmbSpatialBench | 80.7 | 71.8 | 84.3 | 83.9 | 84.5 | 83.1 |
| RefSpatialBench | 9.0 | 2.2 | 69.9 | 69.3 | 67.7 | 63.5 |
| LingoQA | 62.4 | 12.8 | 66.8 | 80.8 | 82.0 | 79.2 |
| Hypersim | -- | -- | 11.0 | 12.7 | 13.0 | 13.1 |
| SUNRGBD | -- | -- | 34.9 | 36.2 | 35.4 | 33.4 |
| Nuscene | -- | -- | 13.9 | 15.4 | 15.2 | 14.6 |
| 视频理解 | ||||||
| VideoMME(含字幕) | 83.5 | 81.1 | 83.8 | 87.3 | 87.0 | 86.6 |
| VideoMME(不含字幕) | 78.9 | 75.3 | 79.0 | 83.9 | 82.8 | 82.5 |
| VideoMMMU | 82.5 | 77.6 | 80.0 | 82.0 | 82.3 | 80.4 |
| MLVU | 83.3 | 72.8 | 83.8 | 87.3 | 85.9 | 85.6 |
| MVBench | -- | -- | 75.2 | 76.6 | 74.6 | 74.8 |
| LVBench | -- | -- | 63.6 | 74.4 | 73.6 | 71.4 |
| MMVU | 69.8 | 70.6 | 71.1 | 74.7 | 73.3 | 72.3 |
| 视觉智能体 | ||||||
| ScreenSpot Pro | -- | 36.2 | 62.0 | 70.4 | 70.3 | 68.6 |
| OSWorld-Verified | -- | 61.4 | 38.1 | 58.0 | 56.2 | 54.5 |
| AndroidWorld | -- | -- | 63.7 | 66.4 | 64.2 | 71.1 |
| 工具调用 | ||||||
| TIR-Bench | 24.6 | 27.6 | 29.8 | 53.2 / 42.5 | 59.8 / 42.3 | 55.5 / 38.0 |
| V* | 71.7 | 58.6 | 85.9 | 93.2 / 90.1 | 93.7 / 89.0 | 92.7 / 89.5 |
| 医疗VQA | ||||||
| SLAKE | 70.5 | 73.6 | 54.7 | 81.6 | 80.0 | 78.7 |
| PMC-VQA | 36.3 | 55.9 | 41.2 | 63.3 | 62.4 | 62.0 |
| MedXpertQA-MM | 34.4 | 54.0 | 47.6 | 67.3 | 62.4 | 61.4 |
* MathVision:我们模型的得分采用固定提示词进行评估,例如“请逐步推理,并将最终答案放入 \boxed{} 中。”对于其他模型,我们报告使用与不使用 \boxed{} 格式时较高的那个分数。
* BabyVision:报告的得分为“含置信区间 / 不含置信区间”。
* TIR-Bench 和 V*:报告的得分为“含置信区间 / 不含置信区间”。
* 空白单元格(--)表示分数尚不可用或不适用于该场景。
快速入门
Qwen3.5 模型默认以思考模式运行,在生成最终回复之前会先生成由
<think>\n...</think>\n\n标识的思考内容。 如需禁用思考内容并获取直接回复,请参阅示例 此处。
为简化集成流程,我们建议通过 API 使用 Qwen3.5。以下是通过 OpenAI 兼容 API 使用 Qwen3.5 的指南。
部署 Qwen3.5
Qwen3.5 可通过流行的推理框架以 API 形式提供服务。 在下文中,我们将展示启动 Qwen3.5 模型的 OpenAI 兼容 API 服务器的示例命令。
不同框架在推理效率和吞吐量方面存在显著差异。 我们建议使用最新版本的框架以确保最佳性能和兼容性。 对于生产环境负载或高吞吐场景,强烈推荐使用专用的服务引擎,如 SGLang、KTransformers 或 vLLM。
该模型的默认上下文长度为 262,144 个 token。 如果遇到显存不足(OOM)错误,请考虑减小上下文窗口。 然而,由于 Qwen3.5 利用扩展上下文处理复杂任务,我们建议保持至少 128K 个 token 的上下文长度以保留思考能力。
SGLang
SGLang 是一个用于大语言模型和视觉语言模型的高速推理框架。 Qwen3.5 需要来自开源仓库主分支的 SGLang,可以在新环境中使用以下命令安装:
uv pip install 'git+https://github.com/sgl-project/sglang.git#subdirectory=python&egg=sglang[all]'
有关更多详细信息,请参阅 其文档。
以下内容将在 http://localhost:8000/v1 创建 API 端点:
标准版:可以使用以下命令在 8 张 GPU 上使用张量并行创建最大上下文长度为 262,144 个 token 的 API 端点。
python -m sglang.launch_server --model-path Qwen/Qwen3.5-35B-A3B --port 8000 --tp-size 8 --mem-fraction-static 0.8 --context-length 262144 --reasoning-parser qwen3工具调用:要支持工具调用,您可以使用以下命令。
python -m sglang.launch_server --model-path Qwen/Qwen3.5-35B-A3B --port 8000 --tp-size 8 --mem-fraction-static 0.8 --context-length 262144 --reasoning-parser qwen3 --tool-call-parser qwen3_coder多 Token 预测 (MTP):推荐使用以下命令进行 MTP:
python -m sglang.launch_server --model-path Qwen/Qwen3.5-35B-A3B --port 8000 --tp-size 8 --mem-fraction-static 0.8 --context-length 262144 --reasoning-parser qwen3 --speculative-algo NEXTN --speculative-num-steps 3 --speculative-eagle-topk 1 --speculative-num-draft-tokens 4
vLLM
vLLM 是一个高吞吐量且内存高效的 LLM 推理和服务引擎。 Qwen3.5 需要来自开源仓库主分支的 vLLM,可以在新环境中使用以下命令安装:
uv pip install vllm --torch-backend=auto --extra-index-url https://wheels.vllm.ai/nightly
有关更多详细信息,请参阅 其文档。
有关详细的 Qwen3.5 使用指南,请参阅 vLLM Qwen3.5 食谱。
以下内容将在 http://localhost:8000/v1 创建 API 端点:
标准版:可以使用以下命令在 8 张 GPU 上使用张量并行创建最大上下文长度为 262,144 个 token 的 API 端点。
vllm serve Qwen/Qwen3.5-35B-A3B --port 8000 --tensor-parallel-size 8 --max-model-len 262144 --reasoning-parser qwen3工具调用:要支持工具调用,您可以使用以下命令。
vllm serve Qwen/Qwen3.5-35B-A3B --port 8000 --tensor-parallel-size 8 --max-model-len 262144 --reasoning-parser qwen3 --enable-auto-tool-choice --tool-call-parser qwen3_coder多 Token 预测 (MTP):推荐使用以下命令进行 MTP:
vllm serve Qwen/Qwen3.5-35B-A3B --port 8000 --tensor-parallel-size 8 --max-model-len 262144 --reasoning-parser qwen3 --speculative-config '{"method":"qwen3_next_mtp","num_speculative_tokens":2}'纯文本:以下命令将跳过视觉编码器和多模态配置分析,以释放更多内存用于额外的 KV 缓存:
vllm serve Qwen/Qwen3.5-35B-A3B --port 8000 --tensor-parallel-size 8 --max-model-len 262144 --reasoning-parser qwen3 --language-model-only
KTransformers
KTransformers 是一个灵活的框架,用于体验具有 CPU-GPU 异构计算的前沿 LLM 推理优化。 要在 KTransformers 中运行 Qwen3.5,请参阅 KTransformers 部署指南。
HF Mirror Transformers
HF Mirror Transformers 包含一个 轻量级 服务器,可用于快速测试和中等负载部署。
Qwen3.5 需要最新的 transformers:
pip install "transformers[serving] @ git+https://github.com/huggingface/transformers.git@main"
有关更多详细信息,请参阅 其文档。同时请确保已安装 torchvision 和 pillow。
然后,运行 transformers serve 以启动服务器,API 端点位于 http://localhost:8000/v1;如果可用,它会将模型放置在加速器上:
transformers serve --force-model Qwen/Qwen3.5-35B-A3B --port 8000 --continuous-batching
通过 Chat Completions API 使用 Qwen3.5
聊天补全 API 可通过标准 HTTP 请求或 OpenAI SDK 访问。 在此,我们展示使用 OpenAI Python SDK 的示例。
在开始之前,请确保已安装并配置了 API 密钥和 API 基础 URL,例如:
pip install -U openai
# Set the following accordingly
export OPENAI_BASE_URL="http://localhost:8000/v1"
export OPENAI_API_KEY="EMPTY"
我们建议使用以下一组采样参数进行生成
- 通用任务的思考模式:
temperature=1.0, top_p=0.95, top_k=20, min_p=0.0, presence_penalty=1.5, repetition_penalty=1.0- 精确编码任务(例如 WebDev)的思考模式:
temperature=0.6, top_p=0.95, top_k=20, min_p=0.0, presence_penalty=0.0, repetition_penalty=1.0- 通用任务的指令(或非思考)模式:
temperature=0.7, top_p=0.8, top_k=20, min_p=0.0, presence_penalty=1.5, repetition_penalty=1.0- 推理任务的指令(或非思考)模式:
temperature=1.0, top_p=0.95, top_k=20, min_p=0.0, presence_penalty=1.5, repetition_penalty=1.0请注意,对采样参数的支持因推理框架而异。
纯文本输入
from openai import OpenAI
# Configured by environment variables
client = OpenAI()
messages = [
{"role": "user", "content": "Type \"I love Qwen3.5\" backwards"},
]
chat_response = client.chat.completions.create(
model="Qwen/Qwen3.5-35B-A3B",
messages=messages,
max_tokens=81920,
temperature=1.0,
top_p=0.95,
presence_penalty=1.5,
extra_body={
"top_k": 20,
},
)
print("Chat response:", chat_response)
图像输入
from openai import OpenAI
# Configured by environment variables
client = OpenAI()
messages = [
{
"role": "user",
"content": [
{
"type": "image_url",
"image_url": {
"url": "https://qianwen-res.oss-accelerate.aliyuncs.com/Qwen3.5/demo/CI_Demo/mathv-1327.jpg"
}
},
{
"type": "text",
"text": "The centres of the four illustrated circles are in the corners of the square. The two big circles touch each other and also the two little circles. With which factor do you have to multiply the radii of the little circles to obtain the radius of the big circles?\nChoices:\n(A) $\\frac{2}{9}$\n(B) $\\sqrt{5}$\n(C) $0.8 \\cdot \\pi$\n(D) 2.5\n(E) $1+\\sqrt{2}$"
}
]
}
]
chat_response = client.chat.completions.create(
model="Qwen/Qwen3.5-35B-A3B",
messages=messages,
max_tokens=81920,
temperature=1.0,
top_p=0.95,
presence_penalty=1.5,
extra_body={
"top_k": 20,
},
)
print("Chat response:", chat_response)
视频输入
from openai import OpenAI
# Configured by environment variables
client = OpenAI()
messages = [
{
"role": "user",
"content": [
{
"type": "video_url",
"video_url": {
"url": "https://qianwen-res.oss-accelerate.aliyuncs.com/Qwen3.5/demo/video/N1cdUjctpG8.mp4"
}
},
{
"type": "text",
"text": "How many porcelain jars were discovered in the niches located in the primary chamber of the tomb?"
}
]
}
]
# When vLLM is launched with `--media-io-kwargs '{"video": {"num_frames": -1}}'`,
# video frame sampling can be configured via `extra_body` (e.g., by setting `fps`).
# This feature is currently supported only in vLLM.
#
# By default, `fps=2` and `do_sample_frames=True`.
# With `do_sample_frames=True`, you can customize the `fps` value to set your desired video sampling rate.
chat_response = client.chat.completions.create(
model="Qwen/Qwen3.5-35B-A3B",
messages=messages,
max_tokens=81920,
temperature=1.0,
top_p=0.95,
presence_penalty=1.5,
extra_body={
"top_k": 20,
"mm_processor_kwargs": {"fps": 2, "do_sample_frames": True},
},
)
print("Chat response:", chat_response)
指令(或无思考)模式
Qwen3.5 不支持 Qwen3 的软切换,即
/think和/nothink。
Qwen3.5 默认会在回复前进行思考。 您可以通过配置 API 参数来获取模型不经过思考的直接回复。 例如,
from openai import OpenAI
# Configured by environment variables
client = OpenAI()
messages = [
{
"role": "user",
"content": [
{
"type": "image_url",
"image_url": {
"url": "https://qianwen-res.oss-accelerate.aliyuncs.com/Qwen3.5/demo/RealWorld/RealWorld-04.png"
}
},
{
"type": "text",
"text": "Where is this?"
}
]
}
]
chat_response = client.chat.completions.create(
model="Qwen/Qwen3.5-35B-A3B",
messages=messages,
max_tokens=32768,
temperature=0.7,
top_p=0.8,
presence_penalty=1.5,
extra_body={
"top_k": 20,
"chat_template_kwargs": {"enable_thinking": False},
},
)
print("Chat response:", chat_response)
如果您使用的是阿里云百炼平台的 API,除了更改
model之外,请使用"enable_thinking": False替代"chat_template_kwargs": {"enable_thinking": False}。
智能体使用
Qwen3.5 在工具调用能力方面表现出色。
Qwen-Agent
我们建议使用 Qwen-Agent 快速构建基于 Qwen3.5 的智能体应用。
要定义可用工具,您可以使用 MCP 配置文件、使用 Qwen-Agent 的集成工具,或者自行集成其他工具。
import os
from qwen_agent.agents import Assistant
# Define LLM
# Using Alibaba Cloud Model Studio
llm_cfg = {
# Use the OpenAI-compatible model service provided by DashScope:
'model': 'Qwen3.5-35B-A3B',
'model_type': 'qwenvl_oai',
'model_server': 'https://dashscope.aliyuncs.com/compatible-mode/v1',
'api_key': os.getenv('DASHSCOPE_API_KEY'),
'generate_cfg': {
'use_raw_api': True,
# When using Dash Scope OAI API, pass the parameter of whether to enable thinking mode in this way
'extra_body': {
'enable_thinking': True
},
},
}
# Using OpenAI-compatible API endpoint.
# functionality of the deployment frameworks and let Qwen-Agent automate the related operations.
#
# llm_cfg = {
# # Use your own model service compatible with OpenAI API by vLLM/SGLang:
# 'model': 'Qwen/Qwen3.5-35B-A3B',
# 'model_type': 'qwenvl_oai',
# 'model_server': 'http://localhost:8000/v1', # api_base
# 'api_key': 'EMPTY',
#
# 'generate_cfg': {
# 'use_raw_api': True,
# # When using vLLM/SGLang OAI API, pass the parameter of whether to enable thinking mode in this way
# 'extra_body': {
# 'chat_template_kwargs': {'enable_thinking': True}
# },
# },
# }
# Define Tools
tools = [
{'mcpServers': { # You can specify the MCP configuration file
"filesystem": {
"command": "npx",
"args": ["-y", "@modelcontextprotocol/server-filesystem", "/Users/xxxx/Desktop"]
}
}
}
]
# Define Agent
bot = Assistant(llm=llm_cfg, function_list=tools)
# Streaming generation
messages = [{'role': 'user', 'content': 'Help me organize my desktop.'}]
for responses in bot.run(messages=messages):
pass
print(responses)
# Streaming generation
messages = [{'role': 'user', 'content': 'Develop a dog website and save it on the desktop'}]
for responses in bot.run(messages=messages):
pass
print(responses)
Qwen Code
Qwen Code 是一个面向终端的开源 AI 智能体,针对 Qwen 模型进行了优化。它可以帮助您理解大型代码库、自动化繁琐工作并加快交付速度。
更多信息,请参阅 Qwen Code。
处理超长文本
Qwen3.5 原生支持长达 262,144 tokens 的上下文长度。 对于总长度(包括输入和输出)超过此限制的长周期任务,我们建议使用 RoPE 缩放技术来有效处理长文本,例如 YaRN。
YaRN 目前被多个推理框架支持,例如 transformers、vllm、ktransformers 和 sglang。
一般来说,为支持的框架启用 YaRN 有两种方法:
修改模型配置文件: 在
config.json文件中,将text_config中的rope_parameters字段更改为:{ "mrope_interleaved": true, "mrope_section": [ 11, 11, 10 ], "rope_type": "yarn", "rope_theta": 10000000, "partial_rotary_factor": 0.25, "factor": 4.0, "original_max_position_embeddings": 262144, }传递命令行参数:
对于
vllm,您可以使用VLLM_ALLOW_LONG_MAX_MODEL_LEN=1 vllm serve ... --hf-overrides '{"text_config": {"rope_parameters": {"mrope_interleaved": true, "mrope_section": [11, 11, 10], "rope_type": "yarn", "rope_theta": 10000000, "partial_rotary_factor": 0.25, "factor": 4.0, "original_max_position_embeddings": 262144}}}' --max-model-len 1010000对于
sglang和ktransformers,您可以使用SGLANG_ALLOW_OVERWRITE_LONGER_CONTEXT_LEN=1 python -m sglang.launch_server ... --json-model-override-args '{"text_config": {"rope_parameters": {"mrope_interleaved": true, "mrope_section": [11, 11, 10], "rope_type": "yarn", "rope_theta": 10000000, "partial_rotary_factor": 0.25, "factor": 4.0, "original_max_position_embeddings": 262144}}}' --context-length 1010000
所有主要的开源框架都实现了静态 YaRN,这意味着缩放因子保持不变,无论输入长度如何,这可能会影响短文本的性能。 我们建议仅在需要处理长上下文时才修改
rope_parameters配置。 也建议根据需要修改factor。例如,如果您的应用程序的典型上下文长度为 524,288 tokens,则最好将factor设置为 2.0。
最佳实践
为了实现最佳性能,我们推荐以下设置:
采样参数:
- We suggest using the following sets of sampling parameters depending on the mode and task type:
- 通用任务的思考模式:
temperature=1.0、top_p=0.95、top_k=20、min_p=0.0、presence_penalty=1.5、repetition_penalty=1.0 - 精确编码任务(如 WebDev)的思考模式:
temperature=0.6、top_p=0.95、top_k=20、min_p=0.0、presence_penalty=0.0、repetition_penalty=1.0 - 通用任务的指令(或无思考)模式:
temperature=0.7、top_p=0.8、top_k=20、min_p=0.0、presence_penalty=1.5、repetition_penalty=1.0 - 推理任务的指令(或无思考)模式:
temperature=1.0、top_p=1.0、top_k=40、min_p=0.0、presence_penalty=2.0、repetition_penalty=1.0
- 通用任务的思考模式:
- 对于支持的框架,您可以将
presence_penalty参数在 0 到 2 之间调整以减少无限重复。但是,使用较高的值有时可能导致语言混合以及模型性能的轻微下降。
- We suggest using the following sets of sampling parameters depending on the mode and task type:
充足的输出长度: 我们建议大多数查询使用 32,768 tokens 的输出长度。对于高度复杂问题的基准测试(如数学和编程竞赛中的问题),我们建议将最大输出长度设置为 81,920 tokens。这为模型提供了足够的空间来生成详细且全面的回复,从而提升其整体性能。
标准化输出格式: 我们建议在基准测试时使用提示词来标准化模型输出。
- 数学问题:在提示词中包含“请逐步推理,并将最终答案放在 \boxed{} 中。”
- 多项选择题:在提示词中添加以下 JSON 结构以标准化响应:“请在
answer字段中仅显示选项字母,例如"answer": "C"。”
历史中不包含思考内容:在多轮对话中,模型的历史输出应仅包含最终输出部分,无需包含思考内容。这通过提供的 Jinja2 聊天模板实现。然而,对于不直接使用 Jinja2 聊天模板的框架,由开发者确保遵循最佳实践。
长视频理解:为优化纯文本和图像的推理效率,发布的
video_preprocessor_config.json中的size参数配置较为保守。建议将 video_preprocessor_config 文件中的longest_edge参数设置为 469,762,048(对应 224k 视频 token),以启用针对小时级视频的高帧率采样,从而获得更优性能。例如,{"longest_edge": 469762048, "shortest_edge": 4096}
引用
如果您觉得我们的工作有帮助,欢迎引用我们。
@misc{qwen3.5,
title = {{Qwen3.5}: Towards Native Multimodal Agents},
author = {{Qwen Team}},
month = {February},
year = {2026},
url = {https://qwen.ai/blog?id=qwen3.5}
}
来源:Qwen 模型发布 · hf-mirror.com
