跳到正文
热点事件历史事件

Amazon SageMaker AI推出KV缓存感知路由功能

2 篇报道1 个报道来源4 天前更新

先了解这件事

AI 综述

Amazon SageMaker AI 为实时端点推出 KV 缓存感知路由(KV-aware routing)策略,依据模型容器上报的缓存状态,将请求分配给已缓存其提示词最长匹配且未过载的实例。 该功能旨在通过利用已有的键值(KV)缓存来优化推理性能。系统会检查各实例的缓存命中情况,优先选择能最大化缓存复用率的节点处理请求,同时避免向负载过高的实例发送流量。

AI 根据报道生成 · 4 天前更新

事件进展

2 个进展

  1. 11月18日 07:33 · 1 篇报道
    AWS发布SageMaker HyperPod Inference对NVIDIA Dynamo的托管支持
    AWS Machine Learning Blog:Amazon SageMaker HyperPod Inference 支持托管 NVIDIA Dynamo
  2. 11月18日 05:11 · 1 篇报道
    Amazon SageMaker AI推出KV感知路由功能
    AWS Machine Learning Blog:Amazon SageMaker AI 实时端点支持 KV cache 感知路由

报道时间线

沿着报道,了解事件的不同侧面。

11月18日
  1. AWS Machine Learning Blog
    Amazon SageMaker HyperPod Inference 支持托管 NVIDIA Dynamo

    Amazon SageMaker HyperPod Inference 现已支持 NVIDIA Dynamo,把 Dynamo 的多节点部署、prefill 与 decode 分离和 KV-aware 路由与 HyperPod 的基础设施管理结合起来。

  2. AWS Machine Learning Blog
    Amazon SageMaker AI 实时端点支持 KV cache 感知路由

    Amazon SageMaker AI 为实时端点推出 KV cache 感知路由(KV-aware routing),依据模型容器上报的缓存状态,把请求发给已缓存其提示词最长匹配且不过载的实例。

本事件热度走势

可比范围当前
3
可比范围峰值
1011月18日 08:00
近 24 小时变化
-51%

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。

关联事件