在 Amazon EKS 上使用 NVIDIA Run:ai GPU Fractioning 实现 GPU 显存共享
AWS 发布指南演示如何在 Amazon EKS 上利用 NVIDIA Run:ai GPU Fractioning Operator 实现单卡多 Pod 显存隔离。该方案通过 Kubernetes 调度集成与强制显存限制,使两个各申请 8 GiB 显存的 Pod 能在单张 A10G GPU 上并发运行。

AWS 发布指南演示如何在 Amazon EKS 上利用 NVIDIA Run:ai GPU Fractioning Operator 实现单卡多 Pod 显存隔离。该方案通过 Kubernetes 调度集成与强制显存限制,使两个各申请 8 GiB 显存的 Pod 能在单张 A10G GPU 上并发运行。

硬件研究者 Kate 通过电压故障注入技术突破英伟达 CMP 170HX 矿卡的出厂限制,把原本仅开放的 8GB 显存解锁至 80GB 并启用更多计算单元。该卡采用与 A100 同源的 GA100 芯片,物理装有约 80GB HBM 显存,实验的 10 张卡中 9 张可解锁到完整 80GB,1 张只有 64GB 完好。

NVIDIA NeMo Switchyard 是一个开源库,可让 AI 智能体为每个请求选择由哪个模型处理,其 LiteLLM 集成支持 Stage 和 Random 两种路由策略。

MarkTechPost 发布教程,演示如何编译 NVIDIA 指定的 llama.cpp 分支并运行 Dory 1.0 4B,逐档测试 1 至 4 次循环下的显存、解码速度与 GSM8K 准确率。
NVIDIA 详解其全栈协同设计思路:从 Blackwell Ultra 到 Vera Rubin 平台,每 GPU 的 HBM 容量仅增约 3%,但 SemiAnalysis AgentX 上的智能体吞吐每美元最高提升 30x。

NVIDIA 技术博客展示了在单台 DGX Spark 上加速 MoE 推理的三种优化,使蚂蚁 inclusionAI 的 Ling-3.0-flash(124B 总参数、5.1B 激活参数)在全部 1。
NVIDIA Nemotron 3.5 Super VL 加入 AWS 上已有的 Nemotron 3 系列,是 120B 参数 MoE 多模态模型,每 token 激活 12B 参数,支持文本、图像、文档和视频输入,上下文长度最高 1M tokens。

NVIDIA 展示开发者结合 GPT-6 Astra、GPT-6 Sol 和 Claude Code 等前沿模型与 Omniverse 库,将创意转化为物理仿真应用。Falkor 平台利用该方案构建设施级数字孪生,NVIDIA 开发者使用 Isaac Sim 搭建机器人抓取模拟,社区成员通过语音控制 VR 场景并测试 Microduck 机器人在 ICU 中的行走稳定性。

推荐理由:这份手册把 vLLM 的并发估算、延迟指标和调优开关落到具体卡型与实测数字上,可作为排障索引。
GitHub 用户 Zagitta 开发的开源项目 GPU Unlock 可解除英伟达 RTX 30 系列(安培架构)显卡在 FP16/BF16 张量核心运算中的指令发射速率限制,无需修改驱动或刷写 VBIOS。

推荐理由:原文给出了不同显卡、不同精度下的实测提升与失效案例,可据此判断该解锁方案在本地 AI 负载中的适用边界。
NVIDIA 开源 Python 接口 Nsight Python 的教程演示了如何用 nsight.annotate 标注代码、以 nsight.analyze.kernel 装饰基准函数,直接取回每个标注区域的 pandas DataFrame 硬件指标。
Deepgram 与 AWS 合作将 Nova-3 语音转文本模型移植到 Trainium2,用于联络中心分析、医疗转写等离线批处理场景。最终配置在单台 Amazon EC2 trn2.3xlarge 实例上运行 8 个模型副本,按评估时实例价格计算,每美元处理的音频量比原有算力方案高 11%–70%。
