跳到正文
NVIDIA Blog· Warren Barkley·· 3 小时前精选AI 评分62

NVIDIA 将 OpenShell 捐给 CNCF,并发布 DSX AI Factory 新组件

NVIDIA Expands Open Source Commitment With OpenShell Donation and New AI Infrastructure

AI 导读

NVIDIA 在 KubeCon + CloudNativeCon 上宣布把用于智能体安全与治理的开源运行时 OpenShell 捐给 CNCF,成为 Sandbox 项目,同时参与 Google 主导的 Agent Substrate 框架。

推荐理由

NVIDIA 把智能体安全运行时捐给 CNCF,并给出 Snapshot 在两家设计伙伴处的启动耗时数据,可观察开源治理与推理弹性如何结合。

正文 · AI 翻译

Kubernetes 这一开源系统负责管理应用如何在数千个 AI 工厂中运行,如今已成为 AI 的基础,而对它的需求只会不断增长。

为了帮助满足这些需求,NVIDIA 在 KubeCon + CloudNativeCon 上深化其对开源的承诺,该大会是 Kubernetes 和云原生社区的旗舰会议。

NVIDIA 正在将 NVIDIA OpenShell 贡献给云原生计算基金会(CNCF),这是一个用于保护和治理自主智能体的开源运行时。CNCF 是一家非营利组织,隶属于 Linux 基金会,也是 KubeCon 的主办方。作为 CNCF 沙箱项目,OpenShell 将由将其集成到产品中的组织共同治理,并借助全球安全专业人士的专业知识得到强化。

NVIDIA 还正在为 Agent Substrate 做出贡献,这是一个由 Google 主导的开源框架,用于在 Kubernetes 上大规模运行长时间运行的智能体工作负载,该框架已被 CNCF 沙箱接纳。

此外,NVIDIA 还宣布了 NVIDIA DSX AI Factory Platform 的新组件:NVIDIA Kubernetes Engine、NVIDIA Kubernetes Recipes 和 NVIDIA Snapshot。这些工具帮助团队在 Kubernetes 上为 AI 工厂部署、管理和扩展 GPU 基础设施。

这些进展共同标志着 Kubernetes 在成为大规模 AI 工作负载领先基础方面迈出了一步——赋能开发者构建更安全、更高效的未来 AI 基础设施。

在开放环境中保护 AI 智能体

NVIDIA 将 OpenShell 贡献给 CNCF,将自主智能体的安全基础设施交到社区手中,供其构建、审查和改进——从而加速开发并强化其防护措施。 

“云原生社区面临一项新的基础设施挑战:为智能体提供安全的运行环境,”Linux 基金会 CEO Jim Zemlin 表示。“NVIDIA 将 OpenShell 贡献给 CNCF,为开发者提供了可共同构建的共享基础,也提供了塑造智能体安全演进方式的机会。将这项工作带入社区,能够围绕对下一代云原生应用至关重要的基础设施展开更广泛的协作。”

OpenShell 让组织能够控制 AI 智能体可以做什么。它对智能体活动施加确定性控制,使团队能够在智能体使用工具、访问推理服务和执行工作负载时强制执行策略。其可扩展架构让团队能够接入自己的计算资源、推理提供商、凭据存储和监控工具。这使组织能够在不同部署环境中实施治理,同时将 OpenShell 与现有企业系统集成。

已有数百家组织使用 OpenShell,自发布以来不到一年,该项目已收到数万项贡献。 

在 Kubernetes 上扩展智能体执行

治理智能体只是挑战的一部分。组织还需要大规模部署它们。

NVIDIA 正在为 Agent Substrate 贡献力量,这是一个源自 Google、现处于 CNCF Sandbox 的项目,并确保其与用于模型推理的 NVIDIA Dynamo 以及用于共享集群资源分配的 KAI Scheduler 协同工作。这项工作将智能体执行、推理服务和资源调度统一到 Kubernetes 上。

Agent Substrate 在任务之间保留智能体环境,同时在智能体空闲时释放计算资源。通过在共享的智能体池中挂起和恢复这些环境,它让团队能够扩展智能体工作负载,而无需为每个会话保持专用计算资源运行。 

NVIDIA 和 Google 还在合作推进 OpenShell 与 Agent Substrate 的集成,使企业能够跨云和本地系统保护和治理智能体。

为 AI 工厂构建开放基础

AI 工厂需要为客户提供托管 Kubernetes 服务,同时保持对其基础设施、软件和客户体验的控制。三个新的开源项目扩展了 DSX AI Factory Platform,使 Kubernetes 更易于运行,推理扩展更快速。

The NVIDIA DSX AI Factory Platform software stack, from GPU infrastructure and Kubernetes management to workload orchestration and model serving.
NVIDIA DSX AI Factory Platform 软件栈,涵盖从 GPU 基础设施和 Kubernetes 管理到工作负载编排和模型服务。

NVIDIA Kubernetes Engine(NVKE)和 NVIDIA Kubernetes Recipes(NVKR)——现已开放公开预览——提供了在 GPU 基础设施上交付托管 Kubernetes 服务的开源构建模块。它们可自动化集群生命周期管理,并提供经过签名、版本固定的镜像。

NVKE 和 NVKR 发布时即获得生态支持,将其覆盖范围扩展至 AI 基础设施平台和云服务。 Mirantis、Netris、OpenNebula Systems、Rafay、Spectro Cloud 和 vCluster,以及 Firmus 和 SK Telecom,已与 NVIDIA 就集成计划达成一致,将 NVKE 和 NVKR 能力引入其产品中。

NVIDIA Snapshot 解决了快速上线额外推理容量这一难题。加载模型和预热工作负载可能会延迟扩展和恢复。这一开源模块化组件可在数秒内恢复已检查点的副本,无需重新加载模型或预热,从而为 Kubernetes 上的推理和智能体工作负载提供更快的启动、恢复和弹性。 

设计合作伙伴 Crusoe 和 Saturn Cloud 已使用 NVIDIA HGX B300 系统在各自的工作负载上评估了 Snapshot。 Crusoe 是 Snapshot 的上游贡献者,在 Crusoe Cloud 上测试了 GLM-5.3,将工作负载就绪时间从约八分钟缩短至 31 秒。 Saturn Cloud 是一个 token 工厂平台,针对从零扩展推理对 Snapshot 进行了基准测试,将 vLLM 启动时间从 2 至 8.5 分钟缩短至 6 至 34 秒。

加入 KubeCon 上的 NVIDIA 了解更多。

来源:NVIDIA Blog · blogs.nvidia.com