Deepgram 如何用 AWS Trainium2 优化大规模语音 AI 推理
Deepgram 与 AWS 合作将 Nova-3 语音转文本模型移植到 Trainium2,用于联络中心分析、医疗转写等离线批处理场景。最终配置在单台 Amazon EC2 trn2.3xlarge 实例上运行 8 个模型副本,按评估时实例价格计算,每美元处理的音频量比原有算力方案高 11%–70%。
Deepgram 与 AWS 合作将 Nova-3 语音转文本模型移植到 Trainium2,用于联络中心分析、医疗转写等离线批处理场景。最终配置在单台 Amazon EC2 trn2.3xlarge 实例上运行 8 个模型副本,按评估时实例价格计算,每美元处理的音频量比原有算力方案高 11%–70%。
会议记录工具 Otter.ai 宣布从 General Catalyst 的 Customer Value Fund 获得 3.2 亿美元,资金将用于企业增长、市场策略、国际扩张和产品创新。该公司累计融资 5000 万美元,去年 ARR 突破 1 亿美元,迄今已有 4000 万用户使用其产品。Otter 正在测试会前简报和会中 Live Assist 提问功能。
Yelp 在餐厅页面推出 Check for Me 功能,用户输入用餐人数和手机号后,AI 智能体会代为致电餐厅查询等位时间,并以短信回传结果。Yelp 同时为 AI 助手接入 OpenTable 支持应用内订位,可记住历史对话偏好并查看过去 30 天聊天记录。面向商家,Yelp 推出每月 30 美元的 Smart Lead Reply,用于自动回复并筛选客户线索。
HeyGen 的 Professional Voice Clone 用 30 分钟到 2 小时的录音音频训练,保留呼吸、停顿、笑声、口音和元音发音等细节。HeyGen 称其生成的语音与本人无法区分,关键在于长音频包含数百处犹豫、停顿和语速变化,短参考片段无法体现这些特征。
ElevenLabs 发布两款语音到语音模型 Eleven Realtime,其中 Max 版本在 Big Bench Audio 基准上得分 98.8%,响应时间 0.57 秒。
Mistral AI 发布 Voxtral 3,一套面向实时语音智能体的模型家族,包含语音转写模型 Voxtral Small Transcribe 3、文本转语音模型 Voxtral Mini TTS 3,以及基于 LiveKit 的语音智能体 SDK。
用 GPT-Live-1 构建应用?给它们配一副合适的嗓音。 以下是用提示词塑造音色,或从全新国际预设音色中选择的方法:
Meta Omnilingual ASR 入选《时代》2026 年度最佳发明。这套模型支持超过 1600 种语言的语音识别,其中 500 种低资源语言此前从未被任何 ASR 系统覆盖。多数 ASR 系统只聚焦互联网语料充足的语言,该模型是迈向通用转写系统的重要一步。
全新声音。更自然的口音。更少的“正在检查……” GPT-Live-1.1 为 ChatGPT、Codex 和 dots 中的语音功能带来这些更新,新增法语、德语、印地语、墨西哥西班牙语、韩语和日语声音。 今日起向所有用户推送。即将登陆 API。
MiniMax 转发 FastVideo 与 nuvalab 基于 MiniMax 实时 H3 后训练的 FastH3-Omni,称其在 Reactor 上可凭单条提示词生成音画同步视频。引用内容称这是实时 H3 最快且质量最高的开源版本,支持首尾帧条件、音频输入与对话、最多 3 张参考图,并在 Reactor API 独家预览至 2026 年 10 月 20 日。
Google 本周发布 Gemini 3.8 Flash TTS 与 Gemini 3.8 Flash-Lite TTS 两款音频生成模型,并推出带 Live Avatar 的 Gemini 3.8 Live,为对话式 AI 带来近实时视觉呈现。
@finkd 刚刚揭晓了 Muse Realtime Avatar,这是我们能将 Muse Realtime Voice 转化为富有表现力、可交互虚拟形象的实时具身技术。 Muse Realtime Avatar 在 @Muse 中开启了一系列全新的交互方式,首先是实时对话。 🧵👇 #MetaConnect
Google 发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款语音模型,支持 100 多种语言的自定义音色和 2000 多种现成音色。
Google DeepMind 发布两款文本转语音模型。Gemini 3.8 Flash TTS 可设计带不同口音和特征的自定义音色;Gemini 3.8 Flash-Lite TTS 面向效率与规模化,可从自建风格或官方生产级音色库中选择。
阿里发布 Qwen-Audio-3.1,ASR、TTS 与 Realtime 全面升级,并新增 TTS-Next 和 ASR-Next 两款模型,共五款模型覆盖理解、生成、交互与创作。
推荐理由:官方一次性给出五款音频模型的能力分工与降价幅度,可据此判断语音链路的选型与成本变化。
阿里千问发布新一代实时同声传译模型 Qwen3.8-LiveTranslate,基于 Interleave 架构,在 60 种语言上把平均延迟(LAAL)从 2.8s 降至 2.3s,并提升忠实度、流畅度和简洁度。新能力包括实时说话人分离与更稳定的声音克隆、原文与译文同步双语显示,以及利用对话历史消歧人名和术语的长上下文能力。模型已在 QwenCloud 上线,博客同步发布。
推荐理由:官方给出延迟从 2.8s 降到 2.3s 和三项新能力,可据此判断实时同传的可用边界。
Google 发布本周更新汇总,推出迄今最先进的实时对话音频模型 Gemini 3.8 Live 与 3.8 Live Extended Thinking。Google Labs 的个性化故事合集实验 Dreambeans 与 Workspace 图像生成工具 Google Pics 均已 GA,CC 则从个人效率工具扩展为协助家庭协调日程与日常事务的共享智能体。
Google 发布两款 Gemini 音频模型 Gemini 3.8 Live 和 Gemini 3.8 Live Extended Thinking。Gemini 3.8 Live 侧重规模、速度和成本效率,支持句中打断、在 97 种语言间即时切换并理解视觉上下文;3.8 Live Extended Thinking 则边推理边说话,可处理规划活动等多步骤任务。
推荐理由:两款音频模型分别面向低延迟对话与复杂任务推理,读者可据此判断语音交互的适用边界。
Google DeepMind 推出 Gemini 3.8 Live 和 3.8 Live Extended Thinking 两款对话模型,称其为目前最好的对话式 AI。官方表示这两款模型可以对话、思考并在后台处理任务,而不打断用户当前流程。
推荐理由:官方给出两款对话模型在后台持续处理任务的能力定位,可据此判断实时语音交互的边界。
Meta Superintelligence Labs 发布首个实时音频感知模型 Muse Voice Transcribe,支持实时流式 ASR、20 人以上说话人分离和端点检测。该模型支持多语言并无缝切换语种,可通过语言、关键词和上下文偏置提升准确率,在 Artificial Analysis 流式语音转文字和公开说话人分离基准上排名第一。
推荐理由:Meta 公布实时语音感知模型的能力清单与榜单排名,可据此判断流式 ASR 的当前水平。
Andrej Karpathy 分享了一个与 LLM 协作的技巧:切换到 /voice 模式连续口述约 10 分钟,不必组织语言,让 LLM 从杂乱的长语音中还原你的真实意图。他表示 LLM 很擅长重构这种不连贯的长篇口述,回述出的思路往往比原始表达更清晰,从而减少后续纠正、加深“心灵融合”。
Mira Murati 表示团队正在分享其在交互模型上的工作,这是一类从零训练、原生处理实时交互的新模型,而非在回合制模型上外挂交互能力。推文附有一段视频链接。