AWS 介绍 HyperPod 训练中检测静默数据损坏方法

AWS 团队发布技术博客，介绍在 SageMaker HyperPod 的 PyTorch DDP 训练循环中加入三项检查来检测静默数据损坏：all-reduce 前后的 NaN/Inf 梯度检查、环形重放审计和权重指纹比对；报警后把可疑 rank 映射到节点，交由 HyperPod 替换。 该方法要求集群由 Amazon EKS 编排且至少有 3 个 GPU 节点；环形审计每次比对需 3 个不同节点，权重比对需每份权重有 3 个副本才能找出异常者。替换节点会销毁其根卷和辅助卷，包括本地 NVMe 上的数据。AWS 建议在生产环境中对每次替换保留人工审批，直到在自己的工作负载上验证了这些检查的精度。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。