NVIDIA 介绍在 DGX Spark 上加速 MoE 推理的三种方法,Ling-3.0-flash 吞吐提升 42.5%
NVIDIA 技术博客展示了在单台 DGX Spark 上加速 MoE 推理的三种优化,使蚂蚁 inclusionAI 的 Ling-3.0-flash(124B 总参数、5.1B 激活参数)在全部 1。
NVIDIA 技术博客展示了在单台 DGX Spark 上加速 MoE 推理的三种优化,使蚂蚁 inclusionAI 的 Ling-3.0-flash(124B 总参数、5.1B 激活参数)在全部 1。
MarkTechPost 发布教程,演示如何编译 NVIDIA 指定的 llama.cpp 分支并运行 Dory 1.0 4B,逐档测试 1 至 4 次循环下的显存、解码速度与 GSM8K 准确率。
NVIDIA 展示开发者结合 GPT-6 Astra、GPT-6 Sol 和 Claude Code 等前沿模型与 Omniverse 库,将创意转化为物理仿真应用。Falkor 平台利用该方案构建设施级数字孪生,NVIDIA 开发者使用 Isaac Sim 搭建机器人抓取模拟,社区成员通过语音控制 VR 场景并测试 Microduck 机器人在 ICU 中的行走稳定性。

NVIDIA Nemotron 3.5 Super VL 加入 AWS 上已有的 Nemotron 3 系列,是 120B 参数 MoE 多模态模型,每 token 激活 12B 参数,支持文本、图像、文档和视频输入,上下文长度最高 1M tokens。

AWS 发布指南演示如何在 Amazon EKS 上利用 NVIDIA Run:ai GPU Fractioning Operator 实现单卡多 Pod 显存隔离。该方案通过 Kubernetes 调度集成与强制显存限制,使两个各申请 8 GiB 显存的 Pod 能在单张 A10G GPU 上并发运行。

NVIDIA NeMo Switchyard 是一个开源库,可让 AI 智能体为每个请求选择由哪个模型处理,其 LiteLLM 集成支持 Stage 和 Random 两种路由策略。

NVIDIA 详解其全栈协同设计思路:从 Blackwell Ultra 到 Vera Rubin 平台,每 GPU 的 HBM 容量仅增约 3%,但 SemiAnalysis AgentX 上的智能体吞吐每美元最高提升 30x。

NVIDIA 开源 Python 接口 Nsight Python 的教程演示了如何用 nsight.annotate 标注代码、以 nsight.analyze.kernel 装饰基准函数,直接取回每个标注区域的 pandas DataFrame 硬件指标。
硬件研究者 Kate 通过电压故障注入技术突破英伟达 CMP 170HX 矿卡的出厂限制,把原本仅开放的 8GB 显存解锁至 80GB 并启用更多计算单元。该卡采用与 A100 同源的 GA100 芯片,物理装有约 80GB HBM 显存,实验的 10 张卡中 9 张可解锁到完整 80GB,1 张只有 64GB 完好。

GitHub 用户 Zagitta 开发的开源项目 GPU Unlock 可解除英伟达 RTX 30 系列(安培架构)显卡在 FP16/BF16 张量核心运算中的指令发射速率限制,无需修改驱动或刷写 VBIOS。

推荐理由:原文给出了不同显卡、不同精度下的实测提升与失效案例,可据此判断该解锁方案在本地 AI 负载中的适用边界。
Deepgram 与 AWS 合作将 Nova-3 语音转文本模型移植到 Trainium2,用于联络中心分析、医疗转写等离线批处理场景。最终配置在单台 Amazon EC2 trn2.3xlarge 实例上运行 8 个模型副本,按评估时实例价格计算,每美元处理的音频量比原有算力方案高 11%–70%。

推荐理由:这份手册把 vLLM 的并发估算、延迟指标和调优开关落到具体卡型与实测数字上,可作为排障索引。
Turing Post 发布指南,梳理 DeepSeek 从模型权重到 Agent 工具的开源栈,并分析哪些部分能自行拼装、哪些仍依赖其托管服务或私有基础设施。
AWS 团队介绍在 SageMaker HyperPod 的 PyTorch DDP 训练循环中加入三项检查来检测静默数据损坏:all-reduce 前后的 NaN/Inf 梯度检查、环形重放审计和权重指纹比对,报警后把可疑 rank 映射到节点并交由 HyperPod 替换。

AWS 在 vLLM 中实现双向 KV 传输,让 decode 节点在后续轮次把已计算的 KV 块回传给 prefill 节点,避免重复计算对话历史。在 Amazon EC2 P5en 实例的 1P1D 部署上,该功能使 Qwen3-32B 的 TTFT 最多降低 1.6 倍、zai-org/GLM-5-FP8 最多降低 3.3 倍。

AWS 介绍 SageMaker HyperPod 新增的 Data Capture 能力,可在端点、负载均衡器和模型 Pod 三个层级记录线上推理的输入输出并写入 S3。

律师 u/TumbleweedNew6515 斥资 9,450 美元使用 12 张二手英伟达 V100 显卡搭建本地 AI 集群,运行 DeepSeek-V4.1-Flash 模型。该集群采用 3×PP4 并行结构及 4-bit NVFP4 量化,单请求代码生成吞吐量最高达每秒 184 个词元,优于已公开的 4 台 DGX Spark 组合。

Aionic Labs 开发的开源时间序列语言模型 OpenTSLM 现已在 Amazon SageMaker JumpStart 上线,支持用户部署至 AWS 环境。该模型结合数值测量与文本上下文,可识别系统异常并生成状态摘要、推荐操作及预期结果。Nexthink 利用此能力增强其 IT 智能体 Spark,实现主动式设备故障排查与维护。

vLLM 新增 push 模式的 NIXL connector,把 prefill 后的传输协调与建立过程移出首 token 关键路径。在 AWS EC2 P5en 1P1D 部署、EFA 互联的测试中,Qwen3-32B 的 TTFT 最高改善 3 倍,TPOT 最高改善 30%。该功能先在 AWS Trainium 集群验证,再作为与加速器无关的特性贡献给 vLLM。

AssemblyAI 在 AWS 上以 Amazon ECS 搭配 EC2 Spot 与 On-Demand 混合的 GPU 集群运行语音转文字推理,通过跨 g4dn、g5、g6 三类实例家族分散 Spot 容量并结合 SQS 队列重试机制吸收中断。该架构在维持 SLA 的同时实现显著成本节省,并部署于 us-west-2 与 eu-west-2 以满足数据驻留合规要求。

UCSD CSE 291A 第 13 讲聚焦分布式 LLM 推理中的 Prefix Caching 与 Prefill–Decode 解耦,主阅读为 Preble(ICLR 2025)。
AWS 博客介绍用 Strands Agents 构建的自适应智能体智能框架 AAIF,以 llama3.2:1b 作为编排层对请求分类,常规任务交给 Ollama 本地 SLM 处理,复杂分析经 boto3 路由到 Amazon Bedrock。框架分智能编排、本地处理、云端处理三层,可在 8 GB 内存的 Raspberry Pi 等边缘设备、纯云或混合部署中运行。

AWS 发布 Ray Train 深度学习容器(DLC),预集成 Ray 2.58.0、PyTorch 2.13.0、CUDA 13.0.2、NCCL 2.29.7 与 EFA 网络栈,镜像公开托管在 Amazon ECR Public,无需自行构建。

教程演示在 llama.cpp 中运行 7.9 GB 的 Underdog Saluki 27B——Qwen3.8-27B 的 2-bit 量化版本,据称约每权重两位仍保持工具调用能力,并在其自建 120 任务基准上略胜 54 GB 全量模型。
Cartesia 基于自研 State Space Model(SSM)架构的 Sonic 文本转语音与 Ink 语音转文字模型,在 AWS 上实现低于 100ms 的首字节延迟。Sonic 约 90ms 输出首个音频字节,支持 44 种以上语言和 10 秒音频样本的声音克隆;Ink 原生支持对话轮次检测与流式转写。两者面向实时语音智能体,可在 AWS 上部署以满足数据主权与合规需求。
