跳到正文
The Decoder· Maximilian Schreiner·· 10 小时前精选AI 评分80

前 OpenAI 研究员称在六个中国 AI 模型中检出 Nvidia Blackwell 硬件特征

Former OpenAI researcher says he found Nvidia Blackwell fingerprints hidden inside six Chinese AI models

AI 导读

前 OpenAI 研究员 Will DePue 称,他从公开模型权重中检出 Nvidia Blackwell 的初始化特征,涉及 DeepSeek-V4-Flash、DeepSeek-V4-Pro、Kimi K3、Kimi K3.1-Pro、MiniMax-M3 和蚂蚁 Ling-3.1-flash 六个模型。

推荐理由

从公开模型权重反推训练所用 GPU 型号,为芯片出口管制的讨论提供了一种可复现的技术取证思路。

正文 · AI 翻译

他说,他的分析提供了这种使用的首个技术证据。美国官员和新闻媒体此前曾怀疑 DeepSeek 和 Moonshot AI 在使用 Blackwell 芯片,但从未公布证据。DePue 在 X 上写道,OpenAI 和 Anthropic 的资深研究人员已经独立核查并确认了他的发现。据 DePue 称,自 2026 年 4 月以来发布的六个中国模型带有英伟达 Blackwell 世代的独特特征,而 DeepSeek-V3 和 Kimi K2.5 等更早的模型则显示出英伟达较旧的 Hopper 世代的痕迹。

证据直接来自已发布的语言模型。一个 AI 模型由数十亿个称为权重的数值组成。在训练开始前,标准软件框架 PyTorch 会用从一个称为种子的起始值生成的随机数填充这些空位。为了快速分发如此海量的数据,GPU 会将工作拆分到各个计算核心上。据该报告称,由于不同芯片型号的核心数不同,填充过程会产生一种特征性模式。H100 和 H800 等较旧的 Hopper 芯片使用 132 个计算核心,而较新的 Blackwell 芯片则根据型号(B200/B300 或 GB200/GB300)恰好使用 148 或 152 个核心。

随后训练会将这些数值调整数百万次,但一些未使用的词或符号对应的空位会保留其初始随机值。据 DePue 称,即使在模型训练充分的部位,初始分布的微弱统计回声依然存在。他说他逆向推导出了这一模式,并在真实的 Blackwell 芯片上精确复现了 DeepSeek-V4-Flash 和 Kimi K3 的结果。他已在 GitHub 上发布了验证代码。

训练成本超过 5 亿美元

分析将 DeepSeek-V4-Flash 和 MiniMax-M3 对应到 B200 或 B300 芯片(148 核)。根据分析,DeepSeek-V4-Pro、Kimi K3、Kimi K3.1-Pro 以及蚂蚁集团的 Ling-3.1-flash 显示出英伟达液冷 GB200 或 GB300 旗舰机架系统的 152 核模式。DePue 表示,从统计上可以排除偶然性,并且该方法正确识别了全部 24 个已知硬件的对照模型,包括 Meta 的 Llama 3.1(H100)。

图片:Will DePue / Unemployment Labs

DePue 的报告估计,他研究的五次训练运行合计需要约 12,000 块 Blackwell GPU,算力大致相当于约 30,000 块较旧的 H100 芯片。仅 Kimi K3 一项,估计就需要约 4,500 块 Blackwell 处理器,耗时约 70 天,而 DeepSeek-V4-Pro 约需 3,000 块。按约 70,000 美元的单价计算,每个这样的集群将耗资 2 亿至 3 亿美元,五个系统合计超过 5 亿美元。

这些发现也与 SemiAnalysis 首席分析师 Dylan Patel 的分析一致。在接受红杉资本采访时,Patel 表示 DeepSeek-V3 的模型架构仍专门针对英伟达的 Hopper 芯片定制,而 DeepSeek-V4 的架构则是为 Blackwell GPU 和华为的昇腾芯片构建的。根据 DePue 的报告,其他中国实验室的模型,包括阿里巴巴的 Qwen3.8 以及智谱、腾讯、小米和阶跃星辰的模型,仍只显示出 Hopper 特征,而美团的 LongCat-2.0 则指向华为硬件。

该指纹并不能证明存在违法行为

严格来说,该方法只能显示是哪种硬件初始化了权重,不过训练本身很可能也在同一批系统上运行。唯一其他的技术解释是 AMD MI300X,而它同样受到限制,被人为降频,从而产生相同的特征模式。DePue 表示,他利用芯片之间微小的舍入差异,排除了 AMD 用于 DeepSeek-V4-Flash 的可能性。

根据这项调查,这些数据并未揭示 GPU 所在的位置或所有者。报告称,由于中国企业可以在中国境外的数据中心租用算力,其技术证据显示相关方能够获得 Nvidia 的顶级硬件,但这本身并不能证明存在实体走私或违反美国出口法的行为。

来源:The Decoder · the-decoder.com