跳到正文
机器之心· Pro会员通讯·· 10 小时前AI 评分38

AI服务商焦虑算力时,手里的GPU用好了吗?

AI 导读

生成式AI热潮下企业陷入“囤积悖论”,大量采购的GPU长期闲置且低效运转。研究显示79%的企业显卡至少一半时间空闲,在线推理服务中显卡常处于高功耗的执行空闲状态。学术界与工业界正从芯片指令折损、显存读写等待及长对话缓存挤占等底层机制入手排查制约因素。

正文

本文来自PRO会员通讯内容,文末关注「机器之心PRO会员」,查看更多专题解读。

在 GenAI 席卷全球的技术浪潮中,对算力短缺的极度恐慌驱使 AI 的供应商和企业采用方均在大量采购 GPU,又同时将不惜重金囤积的 GPU 闲置。在财务核算层面,有分析认为企业将 GPU 视为长效资产的做法正在聚积巨大泡沫。与此同时,近期研究发现未曾被闲置的 GPU 在运作中同样未能发挥应有的效率,长期低效运转。这种「囤积悖论」为 AI 社区带来了一种思潮,即「在将预算投入未来的算力采购之前,是否应该先用好手里的 GPU?」

目录

01.

为什么企业在大量采购 GPU 的同时又将其闲置?

企业花了多少钱买 GPU?狂热囤卡为什么会形成泡沫?

...

02

.

GPU 的潜力被上了哪些「锁」?

LLM 的运行机制如何限制 GPU 发挥?GPU 还有多少潜力能够挖掘?

...

03

.

把 GPU 尽量跑满,对实际业务一定划算吗?

完全释放 GPU 算力不一定是好事?什么情况下让 GPU 跑满队业务更划算?

...

为什么企业在大量采购 GPU 的同时又将其闲置?

1、在生成式 AI 走向规模应用的浪潮中,从训练前沿基座模型、提供持续在线推理到企业产线部署 AI 工具,各类业务都在密集消耗计算资源,推动全球进入一场算力军备竞赛与「囤卡热潮」。[1-1] [1-2]

① 模型上线后的持续推理正占据越来越大的算力开销。尤其在编程 Agent 等多步任务中,单次请求常需反复调用外部工具并将返回结果拼回上下文,连续触发多轮长序列推理。[1-2] [1-3]

② 底层硬件采购规模也在持续扩大,IDC 统计显示,2026 年第一季度全球涵盖服务器与存储的广义 AI 基础设施支出达 897 亿美元,同比增长约 33%。[1-1]

2、有行业调查发现,不少企业出于对算力供应趋紧的焦虑而不断囤积 GPU,但大多数企业的显卡至少有一半时间处于闲置状态。高额投入与低效使用并存的反差,被业界观察称为隐藏在企业内部的「AI 泡沫」。[1-4] [1-5]

① VentureBeat Intelligence 在 2026 年 7 至 9 月调查了百人以上已上线 AI 的组织,218 名披露使用情况的受访者中,79% 自报显卡至少一半时间空闲;自报空闲的 172 人里,仍有 70% 计划未来一年引入、增配或更换平台。[1-5]

② 超前囤卡的心态很大程度上源于早前的硬件紧缺记忆。2023 年至 2024 年初,NVIDIA H100 等核心加速卡的订单交付等待期一度长达 8 至 11 个月,促使不少机构在业务尚未跑通前便提前锁卡储备算力。[1-4] [1-5]

③ VentureBeat 指出,不少组织在缺少经财务审核的回报指标时便像「办健身卡」一样购置算力硬件,日常实际工作却依赖外部前沿模型的云端 API,导致自有算力长期空置。[1-5]

3、企业内部的算力闲置并不只是超前采购或缺乏业务规划所致。对于已将大语言模型投入日常服务的模型供应商与自建团队,实际运行任务的 GPU 也常受底层软硬件机制限制,未能发挥出应有的服务产能。[1-2] [1-6]

① 卡内基梅隆大学与伊利诺伊大学研究者 2026 年 4 月发现,在线服务需让模型常驻显存以保障实时响应;请求到达不均时,显卡常处于计算接近零却仍维持约 110W 功耗的「执行空闲」状态(深度休眠仅约 35W),可占推理服务总能耗的 7%—65%。[1-6]

4、针对运行中算力未能跑满的现状,学术界与工业界正从芯片计算单元、模型显存读写与集群任务调度等多个角度展开排查,尝试解开制约现有显卡性能发挥的底层限制。[1-7] [1-8] [1-9]

GPU 的潜力被上了哪些「锁」?

1、围绕运行中单张 GPU 算力难以跑满的现象,近期多项实测与机制分析从三个并行角度拆解了底层制约,分别涉及芯片内部单项指令向矩阵运算传导时的折损、逐词生成回答时计算核心对显存读取的等待,以及长对话历史缓存对显存并发空间的挤占。[1-7] [1-2] [1-8]

2、在芯片计算单元内部,单项指令跑得更快,传导至模型常用的矩阵运算时仍会出现明显折损。针对消费级显卡部分高精度指令出厂按半速运行的限制,近期有开发者将其解锁至全速使单项指令吞吐接近翻倍,但实测矩阵乘法提速最多仅约 34%,部分规模甚至基本持平。[1-10] [1-7]

① 2026 年 10 月,gpu-unlock-ada 在官方驱动与 450W 同功耗下放宽 RTX 4090 半速限制(FP16/BF16 输入、FP32 累加);矩阵乘法中三组 FP16 升约 12%—34%、两组 BF16 升约 16%—20%,另一组 4096³ BF16 基本持平...

关注👇🏻

「机器之心PRO会员」,前往「收件箱」查看完整解读

更多往期专题解读内容,关注「机器之心PRO会员」服务号,点击菜单栏「收件箱」查看。

来源:机器之心 · mp.weixin.qq.com