Amazon Polly 正式推出语音克隆功能
Amazon Polly launches voice cloning: A unique voice for your brand
Amazon Polly 的语音克隆功能正式可用,但采用申请制开放。用户提供某位说话人几分钟的录音,Polly 即可用生成式引擎构建该说话人的克隆语音,支持英语、西班牙语、德语、法语、意大利语、葡萄牙语和印地语七种语言,每种克隆语音只能说录制时所用的语言。
原文给出克隆语音的完整生命周期、配额与权限设计,可据此评估接入自有业务流程的成本。
Amazon Polly 的声音克隆功能现已以受限发布形式全面上线。只需提供一段已同意被克隆声音的说话者的几分钟音频录音,Amazon Polly 即可构建出该说话者音色的克隆声音。这些克隆声音运行在 Amazon Polly 生成式引擎上,其自然度和准确度与其他生成式声音相当。Amazon Polly 声音克隆首批支持七种语言:英语、西班牙语、德语、法语、意大利语、葡萄牙语和印地语。每个克隆声音均以其录制时的语言进行播报。克隆声音会自动加密并实施访问控制:只有您本人可以访问您的克隆声音。
Amazon Polly 声音克隆功能可在 Amazon Polly 生成式引擎支持的所有 AWS 区域中使用,包括 AWS GovCloud(美国)区域。部分 Amazon Polly 客户已启用访问权限。其他客户可联系其 AWS 客户经理或 申请访问 以获取使用权限。
借助这一新功能,您可以将克隆生命周期集成到 AWS 应用程序中。为 Amazon Polly 客户创建克隆声音免费,Amazon Polly 按用量付费的方式对克隆声音的使用进行计费,详情请参阅 Amazon Polly 定价页面。
亲自体验
点击播放:前几秒是说话者的真实录音,随后由他们的克隆声音接管,朗读他们从未录制过的文字。
- From recordings to TTS voice. A few minutes of our science lead Trevor’s source audio, and the resulting generative voice.
- 录音:“你好,我是来自 Science 的 Trevor。”克隆声音:“第一句是我的真实声音。这是我的克隆声音,基于我几分钟的录音创建而成。它可以朗读你提供的任何文本。”
- Supports seven languages. Hear Jonas, one of the authors, speaking German in his recording and then in his cloned voice:
- 录音:“Hallo, ich bin Jonas. Das ist meine echte Stimme.”(嗨,我是 Jonas。这是我的真实声音。)克隆声音:“Und das ist meine geklonte Stimme! Gleiche Stimme, neue Worte: Diesen Satz habe ich geschrieben, aber nie aufgenommen.”(而这是我的克隆声音!同样的声音,新的话语:这句话是我写的,但我从未录制过。)
- Use in a variety of applications. Here’s Trevor in a new job he hasn’t had: a non-player character in a game.
- “谁在过我的桥?哦,又是你。跟上次一样:回答我的谜语,或者交出三明治。”
- Expand your voice library with voice cloning. Hear this audio sample from AWS Chief Evangelist Jeff Barr: a real recording, then his cloned voice.
- 录音:“嗨,我是 Jeff,这就是我真实的声音。”克隆声音:“而这就是我的克隆声音,正在朗读一句我从未录制过的话。”
- Hannah: a real recording, then her cloned voice on a support line.
- 录音:“你好,我是 Hannah。这是我的真实声音。”克隆声音:“感谢您致电 AnyCompany。您的订单 4471 9902 今日发货,预计周四上午 9 点至下午 1 点之间送达。您的确认码是 K-7-Q-2-X-9。”
- Joely: a real recording, then her cloned voice narrating a lesson.
- 录音:“嗨,我是 Joely,这就是我真实的声音。”克隆声音:“在本模块中,我们将探讨神经网络如何学习。首先,它做出一个猜测。然后,它衡量该猜测的偏差程度,并逐步进行调整。”
您可以构建的应用场景
跨渠道保持一致的品牌声音
确立一种可识别的声音,并将其应用于交互式语音响应(IVR)系统、级联语音代理、移动应用、店内广播、广告以及联网设备中。无需依赖通用的库存声音或在每次脚本变更时重新安排录音会话,您可以按需生成符合品牌调性的音频,确保在所有渠道中声音一致。
呼叫中心
在自助服务流程中提供独特且符合品牌调性的语音,并在优惠和策略变更时更新提示词,无需重新进行录音棚录制。您可以从源文本创建提示词,在部署前进行测试,并在问候、路由和通知体验中使用相同的语音。
大规模媒体与内容
创作者、出版商和工作室可以创建多种自定义语音的有声书、课程、播客、游戏角色和视频,以增强聆听体验,并快速制作后续章节或更新内容。
保持一致人设的本地化
在整个内容库中保持可识别的语音身份,使旁白在不同标题和更新中保持一致。每个克隆语音仅使用其录制时的语言进行播报。对于多语言体验,请为每种支持的语言创建并审核已批准的语音。
无障碍访问与个性化
为阅读体验、辅助工具和个性化交互提供自然、类人的语音。每次创建语音时,您需确认发言者的同意。
语音克隆的工作原理
通过语音克隆,您可以基于单个发言者的录音构建自定义 Amazon Polly 语音,然后通过 Amazon Polly 生成式引擎使用该语音合成语音。该语音经历四个步骤,从录制发言者到使用完成的语音:
图 1:语音克隆生命周期,从录制发言者到使用完成的语音
克隆语音经历四个步骤:
- 录制。 您录制一位发言者(请参阅以下录制技巧)。您可以将录音直接发送至
CreateVoice请求,或在控制台上上传。您也可以将它们存储在 AWS Region 中的 Amazon Simple Storage Service (Amazon S3) 存储桶中,并将 Amazon Polly 指向这些文件,该 Region 是您希望语音所在的区域。 - 创建。 您调用
CreateVoice,传入 1-10 条录音、它们所使用的语言以及TermsAccepted=True,即您已获得发言者同意的确认。Amazon Polly 会立即返回一个语音 ID(vc-…),并在后台构建语音。 - 等待。 创建是异步进行的,通常需要 5-10 分钟。在此期间,Amazon Polly 还会检查您的文本转语音 (TTS) 语音的发言者相似度质量。您调用
GetVoice,直到状态从pending变为active或failed。 - 使用。 您将语音 ID 传递给
SynthesizeSpeech以获取实时音频,或传递给StartSpeechSynthesisTask以获取写入 S3 的长格式音频,同时传入Engine="generative",这与您在 Amazon Polly 中调用其他生成式语音的方式相同。当您不再需要该语音时,请调用DeleteVoice。
同意与控制
克隆语音由一个人的录音制成。您确认拥有所有录音的发言者同意权,并控制谁可以使用该语音以及何时删除它。
- 您为创建的每个语音确认同意。当您在控制台上或通过 API 中的
TermsAccepted=True创建语音时,您确认已获得创建和使用克隆语音所需的所有权利和同意。您对语音克隆的使用受 AWS 服务条款、生物识别通知与同意条款、AWS 负责任 AI 政策 和 AWS 可接受使用政策 的约束。 - 生成的语音带有水印。Amazon Polly 会为使用克隆语音生成的文本转语音音频添加水印。
- 只有您的账户可以使用它。克隆语音的范围限定于创建它的 AWS 账户,您可以使用 AWS Identity and Access Management (IAM) 控制访问权限。您可以使用自己的 AWS Key Management Service (AWS KMS) 密钥对语音进行加密并添加标签。
- 由您决定何时删除。一旦语音处于活动状态或其创建失败,您可以通过一次
DeleteVoice调用或在控制台中删除该语音。 - Amazon Polly 在语音创建后不会保留您的语音录音副本,也不会将其用于训练 Amazon Polly 模型。它仅保留合成语音所需的数据,并以加密方式存储。您可以使用自己的 AWS KMS 密钥进行加密,并且
DeleteVoice会立即删除数据。
我们建议您:
- 保留每位说话者的同意记录。
- 如果说话者撤回同意,请删除该语音。
- 在适当的情况下,告知听众他们正在听到的是合成语音。
- 仅向需要的人或系统授予语音权限。
有关预期用途和限制的详细信息,请参阅 Amazon Polly AI Service Card 以及 AWS Responsible Use of AI 指南。
录音的最佳实践
您的克隆语音会从录音中学习,包括您不希望它学习的内容:笔记本电脑风扇声、房间混响、会议应用程序的降噪处理。
- 录制两到十分钟的自然语音,分成每次最多一分钟的片段。每个语音最多可发送 10 段录音,总计音频时长不超过 15 分钟。质量比长度更重要:更多的音频可能不会改变语音的听感。
- 一位说话者、安静的房间、与麦克风的距离保持一致。使用 USB 麦克风,或使用可以录制 WAV 格式的手机应用程序。从开始就录制单声道 WAV、16 位、24 kHz 格式的音频,以便后续无需转换。Amazon Polly 接受其他音频格式,但我们推荐使用 WAV。支持的格式和限制请参阅 Amazon Polly Developer Guide。
- 避免使用会议应用程序和浏览器录音工具。它们的回声消除和噪声抑制会改变语音,克隆语音也会学习到这些变化。
- 以您希望语音具备的风格录制每一次片段。克隆语音的风格来源于录音,无法混合多种风格,因此欢快、悲伤和愤怒的片段无法生成能同时表现这三种情绪的语音。
- 用目标语音应使用的语言进行录制。语音克隆已针对美国英语、德语、美国西班牙语、法语、意大利语、巴西葡萄牙语和印地语的录音进行了测试。这些语言的其他口音(如英国英语或加拿大法语)的录音也可以使用,但测试较少,因此请使用您自己的内容检查语音效果。
入门指南
在控制台中:一旦您的账户启用了语音克隆功能(请参阅可用性),展开左侧面板并选择 Voice cloning,上传最多 10 段录音或从 Amazon S3 中选择它们,确认条款,然后选择 Create。每次上传的文件大小可达 5 MB。当语音准备就绪时,可在其详情页面上试用。
在代码中,您需要:
- 最新版本的 boto3(
pip install --upgrade boto3)。 polly:CreateVoice、polly:GetVoice、polly:DescribeVoices、polly:SynthesizeSpeech和polly:DeleteVoice的 IAM 权限。对于长音频,还需要输出桶上的polly:StartSpeechSynthesisTask、polly:GetSpeechSynthesisTask和s3:PutObject权限。- 以下 Amazon S3 示例:您的录音位于与您创建语音相同的区域中的桶内,且调用
CreateVoice的 IAM 角色或用户具有s3:GetObject权限。
import time
import boto3
# Use the Region of your S3 recordings.
polly = boto3.client("polly", region_name="us-east-1")
# 1. Create a voice from recordings of a speaker who has given consent.
# Use 1-10 clean WAV takes of up to a minute each.
takes = [
"s3://amzn-s3-demo-bucket/brand-voice/take-1.wav",
"s3://amzn-s3-demo-bucket/brand-voice/take-2.wav",
"s3://amzn-s3-demo-bucket/brand-voice/take-3.wav",
]
voice = polly.create_voice(
Name="MyBrandVoice", # letters, digits, - and _, up to 64 characters
LanguageCode="en-US", # the language spoken in the recordings
TermsAccepted=True, # you confirm the speaker's consent and the terms of use
VoiceCreationData={
"Recordings": [{"Format": "wav", "Data": {"S3Url": url}} for url in takes],
},
Tags={"consent-record": "speaker-0042"}, # optional: the ID of your own consent record, e.g. a signed release
# Optional: encrypt the voice with your own KMS key (symmetric, same Region).
# Callers who create or use the voice need kms:DescribeKey,
# kms:GenerateDataKey and kms:Decrypt on the key.
# CustomerManagedEncryption={
# "KmsKeyArn": "arn:aws:kms:us-east-1:111122223333:key/EXAMPLE"
# },
)["Voice"]
voice_id = voice["Id"] # for example "vc-0123456789"
# 2. Check the status every 30 seconds until the voice is active or failed
# (usually a few minutes). Stop with an error after 20 minutes.
deadline = time.monotonic() + 20 * 60
while voice["Status"] not in ("active", "failed"):
if time.monotonic() > deadline:
raise TimeoutError(f"{voice_id} is still {voice['Status']}")
time.sleep(30)
voice = polly.get_voice(VoiceId=voice_id)["Voice"]
if voice["Status"] == "failed":
# Check the recordings, delete this voice and create a new one.
raise RuntimeError(f"{voice_id}: {voice.get('StatusReason', 'creation failed')}")
# 3. Synthesize speech with your new voice.
speech = polly.synthesize_speech(
VoiceId=voice_id,
Engine="generative",
LanguageCode="en-US",
OutputFormat="mp3",
Text="Hello! This is my very own Amazon Polly voice.",
)
with open("my-voice.mp3", "wb") as f:
f.write(speech["AudioStream"].read())
# When you no longer need the voice:
# polly.delete_voice(VoiceId=voice_id)如果 Python 报告 Polly 对象没有属性 create_voice,请升级 boto3。
对于长文本(如有声书章节或课程模块),请使用异步合成任务,将音频写入 S3:
from pathlib import Path
task = polly.start_speech_synthesis_task(
VoiceId=voice_id,
Engine="generative",
LanguageCode="en-US",
OutputFormat="mp3",
OutputS3BucketName="amzn-s3-demo-bucket",
OutputS3KeyPrefix="narration/chapter-01",
Text=Path("chapter-01.txt").read_text(encoding="utf-8"),
# SnsTopicArn="arn:aws:sns:us-east-1:111122223333:polly-tasks", # notify instead of polling
)["SynthesisTask"]
print(task["TaskId"], task["OutputUri"]) # poll get_speech_synthesis_task until "completed" or "failed"如需构建更多端到端语音 AI 应用(包括 Amazon Polly 的语音克隆功能,例如级联语音代理和实时语音翻译器),请访问 Amazon Polly GitHub 仓库。
生产注意事项
提前创建语音
语音创建需要几分钟时间,因此应将其视为预配置步骤,而非用户请求的一部分。小型工作流(例如 AWS Step Functions 或作业队列)可调用 CreateVoice,每 30 秒检查一次 GetVoice,直到语音处于活动状态,然后将语音 ID 存储到配置中。CreateVoice 和 DeleteVoice 共享每秒 1 次请求的限制,因此请对批量创建和删除操作进行排队。
维护库存清单
DescribeVoices 会将您的克隆语音与 Amazon Polly 内置语音并列列出。克隆语音的 Origin 设置为 customer。为每个语音存储语音 ID、区域、语言、同意引用和所有者,并为每个语音分配唯一的 Name。如果 CreateVoice 调用超时或返回服务器错误,则该语音可能已存在,而 SDK 的自动重试可能会创建第二个语音。在重试之前,请先检查该名称对应的 DescribeVoices。
规划错误处理
当您超过与 DeleteVoice 共享的每秒 1 次请求限制时,CreateVoice 会返回 ThrottlingException;当账户在该区域的克隆语音配额已满时,ServiceQuotaExceededException 会返回相应错误。对仍在创建中的语音进行合成或删除会返回 ConflictException。如果语音使用您自己的 KMS 密钥,没有密钥访问权限的调用者将获得访问被拒错误。创建失败时,StatusReason 仅提供一般性消息,因此请对照前述录音最佳实践检查录音,然后删除失败的语音并重新创建。
按语音范围限定权限
克隆语音是 IAM 资源,因此您可以授予负责服务流量的角色仅使用特定语音进行合成的权限。如果语音使用您自己的 KMS 密钥,该角色还需要有权访问该密钥。为单独的预配置角色保留 polly:CreateVoice 和 polly:DeleteVoice。以下是服务角色的示例策略:
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": "polly:SynthesizeSpeech",
"Resource": "arn:aws:polly:us-east-1:111122223333:voice/vc-0123456789"
}
]
}借助标签,您可以使用 aws:ResourceTag 条件为整个语音组编写一次规则。同时审查现有策略:允许对所有资源执行 polly:SynthesizeSpeech 的策略语句("Resource": "*")也涵盖账户中的所有克隆语音。
规划配额和区域
每个账户在每个区域初始配额为 10 个克隆语音。如需增加配额,请联系您的账户团队或 AWS Support。语音仅存在于您创建它的账户和区域中。如需服务于其他区域或账户,请从相同的录音中在该区域重新创建语音,并确保说话者的同意覆盖所有副本。
使用真实脚本进行测试
在语音上线前,请聆听其朗读您自己的内容:产品名称、数字、地址以及最长的句子。同一文本在不同请求中可能会有细微差异。对于固定提示语(如电话线问候语),请一次性生成音频,经说话者和品牌团队批准后,提供存储的文件。如果某个名称或术语发音错误,请在文本中使用不同拼写,或使用语音合成标记语言 (SSML) <phoneme> 标签。音素标签适用于英语、法语、意大利语、德语和西班牙语中的克隆语音。请参阅 支持的 SSML 标签。
须知事项
| 可用性 | 访问权限按 AWS 账户启用。如果您在 Amazon Polly 控制台中看到“语音克隆”(展开左侧面板,查看是否列出了“语音克隆”),则说明您的账户已启用该功能。如果没有,您可以联系您的 AWS 账户团队或 申请访问 以请求访问权限。支持的 AWS 区域与生成式引擎相同:美国东部(弗吉尼亚北部)、美国西部(俄勒冈)、欧洲(法兰克福)、欧洲(苏黎世)、欧洲(伦敦)、亚太地区(悉尼)、亚太地区(首尔)、亚太地区(新加坡)、亚太地区(东京)、加拿大(中部)以及 AWS GovCloud(美国西部)。克隆的语音存在于您创建它的 AWS 区域中。 |
| 语言 | 英语、德语、西班牙语、法语、意大利语、葡萄牙语和印地语。已测试的录音方言:美式英语(en-US)、德语(de-DE)、美式西班牙语(es-US)、法语(fr-FR)、意大利语(it-IT)、巴西葡萄牙语(pt-BR)和印地语(hi-IN)。这些语言的其他口音也能使用,但经过测试的程度较低。每种语音都使用其录制时的语言进行发音。 |
| 录音要求 | 每个语音 1-10 段录音,总计不超过 15 分钟。推荐使用 WAV 格式:单声道,16 位,采样率为 24 kHz 或 44.1/48 kHz。Amazon Polly 也接受其他音频格式。控制台上传限制为每文件 5 MB。对于更大的文件,请使用 Amazon S3。 |
| 数据处理 | Amazon Polly 在语音创建后会删除其复制的录音副本,并且不会将其用于训练 Amazon Polly 模型。它仅保留合成所需的语音数据,并以加密方式存储(您可以使用自己的 AWS KMS 密钥),直到您调用 DeleteVoice。 |
| 创建时间 | 构建 TTS 语音通常需要 5-10 分钟,属于异步操作。 |
| 合成延迟 | 与 Amazon Polly 中的生成式语音相同。 |
| 配额 | 每个 AWS 区域每个账户初始配额为 10 个克隆语音。如需增加配额,请联系 AWS 支持。CreateVoice 和 DeleteVoice 共享每秒 1 次请求的限制。 |
| 合成 | 克隆语音遵循 Amazon Polly 对生成式语音的配额规定,包括每次请求和每次合成任务的文本限制。请参阅 Amazon Polly 配额。 |
| 定价 | 创建克隆语音是免费的。Amazon Polly 按用量付费的方式收取克隆语音的使用费用。请参阅 Amazon Polly 定价。 |
| APIs | 使用 CreateVoice、GetVoice、DeleteVoice 和 DescribeVoices 管理语音。使用 SynthesizeSpeech 和 StartSpeechSynthesisTask 配合 Engine="generative" 来调用它们。请参阅 Amazon Polly API 参考。 |
结论
Amazon Polly 中的语音克隆为您的应用程序提供了一种人们熟悉的语音:只需录制一次,并获得说话者的同意,即可通过 Amazon Polly APIs 直接使用。要在控制台上开始使用,请确保您的账户已启用语音克隆功能,准备一段录音及所需的同意声明,打开 Amazon Polly 控制台,并创建您的第一个克隆语音。如果您是新客户并希望启用语音克隆,请联系您的 AWS 账户团队或 申请访问 以获取访问权限。
有关开发者指南,请参阅 Amazon Polly 文档。有关定价信息,请参阅 Amazon Polly 定价页面。有关您可以使用 Amazon Polly 构建的其他语音 AI 用例(包括语音克隆),请访问 GitHub 仓库。
我们迫不及待想听到您构建的作品。
感谢 Trevor Wood、Jonas Rohnke、Suyin Wang、Hannah Barrett、Nikie Xiong、Jeff Barr 和 Joely Huang 借给我们他们的声音。
关于作者
Suyin Wang
Suyin 是 AWS 的高级生成式 AI 解决方案架构师。她拥有多年构建数据驱动和机器学习应用程序的经验,致力于解决现实世界的问题。她热衷于帮助客户识别值得解决的关键问题,并构建能够创造商业价值的生成式 AI 解决方案。在业余时间,她喜欢唱歌,或者在厨房里尝试新的食谱。
Jonas Rohnke
Jonas 是 Amazon Polly 的高级技术项目经理。他将科学、工程和产品结合起来,将研究中的新声音(包括本文提到的克隆声音)带给客户。他喜欢保持计划简单,并确保发布的声音真正能被用户听到。工作之余,他会驾驶无人机在英国乡村上空拍摄短片,并制作辣度远超其自述的辣椒油。
Nikie Xiong
Nikie 是 Amazon Polly 的高级技术产品经理。她在人工智能、语音技术领域拥有超过 10 年的经验,擅长将创新产品从概念推向市场,覆盖消费者和企业领域。凭借产品设计和媒体娱乐制作的背景,她擅长打造令客户愉悦的产品和体验。在工作之外,她创作互动艺术,并喜爱科技音乐。
来源:AWS Machine Learning Blog · aws.amazon.com
