AWS 介绍 Bedrock 上 OpenAI 模型提示缓存用法

AWS Machine Learning Blog 发布教程，介绍在 Amazon Bedrock 上调用 OpenAI 模型时，如何用隐式与显式提示词缓存，减少 AI 智能体每轮重复发送工具定义、指令和历史带来的输入成本。 据该教程，可复用的前缀需达到 1,024 个 token 才符合条件；缓存前缀的最短存活时间为 30 分钟，成功复用会刷新该时间，也可能保留更久；复用已有缓存内容要求模型、AWS 账户和区域相同，且存在匹配的前缀。缓存写入按正常输入费率的 1.25 倍计费。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。