跳到正文
MarkTechPost· Asif Razzaq·· 5 天前同事件AI 评分83

阿里发布 Qwen4-Max:2.4T MoE、71B 激活、1M 上下文

Alibaba Releases Qwen4-Max: 2.4T MoE, 71B Active, 1M Context

AI 导读

阿里 Qwen 团队发布 Qwen4 系列首款模型 Qwen4-Max,采用 2.4T 参数稀疏 MoE 骨干、每 token 激活 71B,支持文本、图像、视频输入和 1M token 上下文窗口。

同一件事,精选收录的是《阿里发布Qwen4-Max基座模型,智能体与编程能力进阶》

正文 · AI 翻译

阿里巴巴的 Qwen 团队发布了 Qwen4-Max,这是其 Qwen4 系列的首个模型。Qwen4-Max 是一个专有的稀疏 MoE 模型,拥有 2.4T 参数的骨干网络,每个 token 激活 71B 参数。它支持文本、图像和视频输入,并支持 1M-token 上下文窗口。阿里巴巴还降低了 API 价格,并报告称平均任务成本下降了 62%。

TL;DR

  • 规模:2.4T 骨干参数,每 token 激活 71B,另加 328B N-gram 嵌入参数。1M 上下文,最大输出 393K token。
  • 运行方式:仅限托管:QwenCloud API、Token Plan、Qwen Studio、QwenWork 和 Qoder。无开源权重,因此无法自托管或构建量化版本。
  • 性能:相比 Qwen3.8-Max 有大幅提升。在代理工作方面与前沿模型竞争,但在硬编码和视觉任务上稍逊一筹。
  • 最佳表现:HLAB-Vals-1.1(法律代理工作):21.3 分,而次优模型 Kimi K3.1 为 11.7 分。

什么是 Qwen4-Max?

Qwen4-Max 是阿里巴巴推出的一款多模态 MoE 语言模型,专为长周期专业工作设计。本月仅通过 Token Plan 预览版开放。

Qwen4-Max 的架构是如何工作的?

Qwen4 在三个方面升级了稀疏 MoE 设计:注意力机制、残差连接和嵌入层。

  • GDN + Qwen 稀疏注意力 (QSA):每个 QSA 层与 3 个门控 DeltaNet 层配对。这些层将历史信息压缩为固定大小的状态。QSA 随后使用轻量级索引器以微块粒度选择相关上下文。这降低了长序列上的注意力和索引成本。
  • 门控残差 (GR):4 个并行残差分支使用动态读写门。旨在增强信息流动并提高训练稳定性。
  • N-gram 嵌入:额外的 328B 参数在第 2 层提供局部 token 模式的查找。这在不增加太多计算量的情况下增加了容量。

阿里巴巴报告称,在 2.4T 规模的预训练过程中没有出现损失尖峰。在内部测试中,Qwen4-Max-Base 比 Qwen3.8-Max-Base 的比特率降低 5% 至 13%。这是在激活参数减少 25% 的情况下实现的。

Qwen4-Max 在基准测试中的表现如何?

阿里巴巴的 对比图表涵盖了 16 项基准测试。竞争对手包括 Qwen3.8-Max-0902、Claude Opus 5.5、GPT-6.1 Sol、GPT-6 Astra 和 Kimi K3.1。部分分数引用自第三方排行榜。发布时均未进行独立复现。

Qwen4-Max 在 16 项基准测试中的 4 项排名第一:

  • HLAB-Vals-1.1(法律代理):21.3 分,而 Kimi K3.1 为 11.7 分,Opus 5.5 为 9.2 分。
  • Agents’ Last Exam v1.1:46.7 分,而 Opus 5.5 和 Kimi K3.1 均为 43.4 分。
  • BioMysteryBench:85.0 分,而 GPT-6.1 Sol 为 84.4 分。
  • DeepSWE v1.1:75.7 分,而 Kimi K3.1 为 75.5 分。

Claude Opus 5.5 在 16 张图表中的 7 张领先。Qwen4-Max 在编码和视觉方面明显落后:

  • ProgramBench:31.5 分,而 Opus 5.5 为 65.0 分。
  • Terminal-Bench 4.0:48.5 分,而 Kimi K3.1 为 67.2 分。
  • Chartography:54.2 分,而 GPT-6 Astra 为 71.1 分。
  • Humanity’s Last Exam:51.7 分,而 Opus 5.5 为 59.8 分。

在阿里巴巴自己的 Work360 基准测试中,Qwen4-Max 得分为 52.69,高于 Qwen3.8-Max 的 47.74。Work360 涵盖 26 个顶级领域和 721 个专业领域。

为什么 Qwen4-Max 的运行成本更低?

两件事叠加:令牌用量更少,价格更低。在 Work360 上,高努力程度下令牌使用量下降约 24%,极高努力程度下下降 35%。在 Terminal-Bench 4.0 上,降幅分别约为 48% 和 49%。Work360 每任务平均成本从 4.43 美元降至 1.67 美元,削减了 62%。

标价也下降了。输入价格为 每百万令牌 1.50 美元,低于 Qwen3.8-Max 的 2 美元。输出价格为 4.50 美元,低于 6 美元。隐式缓存读取减少 70%,从 0.25 美元降至 0.075 美元。

Qwen4-Max 与竞争对手对比

指标Qwen4-MaxQwen3.8-MaxClaude Opus 5.5GPT-6.1 SolKimi K3.1 Pro
总参数量2.4T 主干 + 328B N-gram 嵌入2.4T未披露未披露2.8T
激活参数量71B未披露(博客暗示约 95B)未披露未披露104B
上下文窗口1M1M1M1,050,0001,048,576
最大输出长度393K131K128K128K未披露
输入模态文本、图像、视频未披露文本、图像文本、图像文本、图像
权重专有,仅限 API未披露专有专有开源(Kimi K3.1 Pro 许可证)
输入/输出价格(每百万令牌)$1.50 / $4.50$2 / $6$4 / $20$2 / $10$2 / $10
缓存输入(每百万令牌)$0.075$0.25$0.20$0.10$0.20
DeepSWE v1.1*75.769.374.275.275.5
Terminal-Bench 4.0*48.538.959.656.167.2
Humanity’s Last Exam*51.743.959.854.051.1
ProgramBench*31.528.065.052.525.0
HLAB-Vals-1.1*21.315.49.26.311.7

*分数来自阿里巴巴的 Qwen4-Max 图表。Qwen3.8 列是 Qwen3.8-Max-0902。图表将 Kimi 标记为“Kimi K3.1”。Moonshot 自己的卡片报告 Kimi K3.1 Pro 在 Terminal-Bench 4.0 上的得分为 65.7,Opus 5.5 为 66.4。

开发者如何使用 Qwen4-Max?

模型 ID 为 QwenCloud 上的 qwen4-max。API 兼容 OpenAI 和 Anthropic 客户端。支持的功能包括函数调用、结构化输出、上下文缓存、批处理、网络搜索和微调。默认速率限制为每分钟 5,000,000 个令牌。思考模式通过 enable_thinking 切换。

订阅访问通过 Token Plan 进行。

关键要点

  • 2.4T MoE 主干,每个令牌仅 71B 激活。
  • 新的 QSA 注意力机制、门控残差和 328B N-gram 嵌入。
  • 在 16 项基准测试中的 4 项上排名第一,以 HLAB-Vals-1.1 的 21.3 分为领先。
  • 每百万令牌 1.50 美元/4.50 美元,缓存输入降低 70%。
  • 弱点:ProgramBench(31.5)和 Terminal-Bench 4.0(48.5)。

查看 官方 Qwen4-Max 博客、 QwenCloud 模型页面 以及 Token Plan 定价页面。您可以通过我们的 GPULeaderboard.com Chrome 扩展程序 在此处查看部署选项和规格。

此外,欢迎在 Twitter 上关注我们,并别忘了加入我们的 150k+ML SubReddit 以及订阅 我们的通讯。等等!你在 Telegram 上吗?现在你也可以在 Telegram 上加入我们。

需要与我们合作推广你的 GitHub 仓库或 Hugging Face 页面或产品发布或网络研讨会等吗?联系我们

文章 Alibaba Releases Qwen4-Max: 2.4T MoE, 71B Active, 1M Context 首发于 MarkTechPost。

来源:MarkTechPost · marktechpost.com