在 Amazon SageMaker AI 上用 Kokoro TTS 为 AI 智能体流式输出低延迟语音
该方案把 AI 智能体生成的每个句子即时送入部署在 Amazon SageMaker AI 实时端点上的 Kokoro-82M 语音合成模型,让音频在第一句生成后就开始播放,而不必等整段回复完成。Kokoro-82M 仅 8200 万参数,可跑在单台 ml.g5.xlarge GPU 实例上,容器同时提供 POST /invocations 与 WebSocket 双向流两条路径。
该方案把 AI 智能体生成的每个句子即时送入部署在 Amazon SageMaker AI 实时端点上的 Kokoro-82M 语音合成模型,让音频在第一句生成后就开始播放,而不必等整段回复完成。Kokoro-82M 仅 8200 万参数,可跑在单台 ml.g5.xlarge GPU 实例上,容器同时提供 POST /invocations 与 WebSocket 双向流两条路径。
Rescale 基于 AWS 的 AI-DLC 框架,用 Strands Agents 构建了自动分类和路由夜间端到端测试失败的 AI 分诊智能体,从问题定义到预发部署仅用五天,数周内进入生产。
本文演示如何用 Denodo Platform 作为语义层,通过 Denodo MCP Server 向托管在 Amazon Bedrock AgentCore 上的智能体暴露受治理视图,并联合查询 Amazon Aurora、Amazon Redshift 与本地 PostgreSQL 构建 Customer 360 视图。
该教程演示如何用 Strategy Mosaic 作为语义层,在 Amazon Redshift 与 Amazon Aurora 上以两个链接模型建模 C360 域,无需 ETL。
AWS 在 vLLM 中实现双向 KV 传输,让 decode 节点在后续轮次把已计算的 KV 块回传给 prefill 节点,避免重复计算对话历史。在 Amazon EC2 P5en 实例的 1P1D 部署上,该功能使 Qwen3-32B 的 TTFT 最多降低 1.6 倍、zai-org/GLM-5-FP8 最多降低 3.3 倍。
vLLM 新增 push 模式的 NIXL connector,把 prefill 后的传输协调与建立过程移出首 token 关键路径。在 AWS EC2 P5en 1P1D 部署、EFA 互联的测试中,Qwen3-32B 的 TTFT 最高改善 3 倍,TPOT 最高改善 30%。该功能先在 AWS Trainium 集群验证,再作为与加速器无关的特性贡献给 vLLM。
作者用 Claude Mods 定制 Claude Code 的工作流,并解释 mod 是运行在 Claude Code 内的 TypeScript 或 JavaScript 插件,可响应提示词、工具调用和界面渲染等事件,修改渲染或接管默认行为。
AWS 解决方案架构团队开源了多智能体系统 Deep Insight,并撰文拆解生产环境中的五个核心挑战及对应技术栈。
AWS 介绍如何通过 AWS PrivateLink 让 Amazon Quick 在不经过公网的情况下访问企业防火墙后的数据源。方案基于已有的 Direct Connect 或 Site-to-Site VPN,配置 VPC 端点与 VPC 连接,分别承载用户访问流量和数据拉取流量,并叠加安全组与端点策略。
U.S. Hunger 借助 Amazon Quick 让领导层直接探索组织数据,并通过 Quick Spaces 共享 KPI 定义、财务文档与分析,目前已有 17 名同事获得访问权限。其数据由 Impact Manager 经 SQL Server 每晚 2 点(美东时间)刷新至 SPICE 内存引擎。这家报告送达超 2.5 亿份餐食的非营利组织,正用该工具支撑四年约 500% 的增长。