Deepgram将Nova-3移植至AWS Trainium2并公布成本优化结果

Deepgram与AWS合作，将Nova-3语音转文本模型移植到AWS Trainium2芯片上运行，并公布了推理优化实践与成本结果。在单台Amazon EC2 trn2.3xlarge实例上运行8个模型副本，按评估时的实例价格计算，在Deepgram面向吞吐量的离线批处理场景中，每美元处理的音频量比其原有算力方案高11%–70%。 该结果仅适用于Deepgram的离线批处理工作负载，成本对比基于评估时的实例价格。Deepgram称，这些收益也可能惠及在自有VPC中通过Amazon SageMaker AI自托管其模型的客户。 优化工作包括将Nova-3移植到AWS Neuron软件栈、进行内核级调优，以及构建数据并行Rust运行时，使Deepgram自有模型服务器能够调用Trainium。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。