AssemblyAI用EC2 Spot降语音推理成本70%

AssemblyAI 在 AWS 上运行语音转文字推理，采用 Amazon ECS 搭配 EC2 Spot 与 On-Demand 混合的 GPU 集群，通过跨 g4dn、g5、g6 三类实例家族分散 Spot 容量，并用 SQS 队列重试机制吸收中断。AWS 称，在生产中使用带 GPU 的 EC2 Spot 实例后，其推理计算成本较 On-Demand 定价节省 70%。 架构上，每个 GPU 只运行一个推理模型，集群规模达数千实例；Spot 实例收到 2 分钟中断通知后触发重试流程。每个 AWS 区域运行完全独立的推理架构，各自拥有 SQS 队列、ECS 集群、容量提供者和 GPU 集群。 该架构部署在 us-west-2 与 eu-west-2，以满足数据驻留合规要求，AWS 称其在维持 SLA 的同时实现上述成本节省。

AI 根据报道生成 · 6 小时前更新