AWS 详解 vLLM 双向 KV 传输如何降低多轮智能体负载的 TTFT
AWS 在 vLLM 中实现双向 KV 传输，让 decode 节点在后续轮次把已计算的 KV 块回传给 prefill 节点，避免重复计算对话历史。在 Amazon EC2 P5en 实例的 1P1D 部署上，该功能使 Qwen3-32B 的 TTFT 最多降低 1.6 倍、zai-org/GLM-5-FP8 最多降低 3.3 倍。
#开源生态
AWS Machine Learning BlogAI 评分5858 AWS Machine Learning BlogAI 评分4040 vLLM 推出基于 push 的 KV 传输，分拆推理 TTFT 最高提升 3 倍
vLLM 新增 push 模式的 NIXL connector，把 prefill 后的传输协调与建立过程移出首 token 关键路径。在 AWS EC2 P5en 1P1D 部署、EFA 互联的测试中，Qwen3-32B 的 TTFT 最高改善 3 倍，TPOT 最高改善 30%。该功能先在 AWS Trainium 集群验证，再作为与加速器无关的特性贡献给 vLLM。
AWS Machine Learning BlogAI 评分3636 Amazon SageMaker JumpStart 2026 年至今回顾：新增 100+ 模型
Amazon SageMaker JumpStart 在 2026 年 1 月至 9 月新增超 100 个模型，覆盖 30 家提供商。阿里 Qwen 贡献 29 个模型，NVIDIA 17 个，Mistral 7 个，Google 6 个 Gemma 4 变体，IBM 和 Cohere 各 4 个。新增模型重点覆盖多模态、量化与紧凑模型以及图像视频生成能力。
AWS Machine Learning BlogAI 评分3636 Eon 如何用 Amazon Bedrock AgentCore 上的 MCP Gateway 构建多云调查能力
Eon 基于 Amazon Bedrock AgentCore 的 MCP Gateway 搭建了统一的多云调查入口，用单一认证网关替代逐工具凭证和本地 MCP 进程，让开发者和自主智能体统一访问 AWS、GCP、Azure 三朵云上的调查工具。
AWS Machine Learning BlogAI 评分5252 i14 与 AWS 详解 Laplace 3B 线性注意力模型在 Trainium2 上的训练与推理
i14 与 AWS 团队用 TorchNeuron Native 原生 PyTorch 将线性注意力模型 Laplace 3B 移植到 AWS Trainium2，保留 GLA 架构与 Muon 优化器。
Rohan Paul (X)AI 评分6868 Google 开源 TorchTPU，替换 PyTorch/XLA 支持逐步调试 TPU 模型
Google 开源 TorchTPU，用来替换 PyTorch/XLA，让开发者可以逐步调试 TPU 模型。作者称 TorchTPU 在训练 Qwen 3 8B 时用到了最高 52% 的 TPU 峰值算力。
The DecoderAI 评分7272 DeepSeek 开源推理引擎 DeepInfer，支撑 V4.1-Flash 高速低成本服务
DeepSeek 以 Apache License 2.0 开源内部推理框架 DeepInfer，该框架是支撑 V4.1-Flash 模型大规模快速出答案的服务软件。
TechCrunch · AIAI 评分7575 Google 开源 TorchTPU，可将 PyTorch 应用迁移至 TPU
Google 周二宣布开源 TorchTPU，这是其 PyTorch 版本，可让 AI 应用运行在 Google 的 TPU 上，开发者只需修改配置、无需重写代码即可把现有 PyTorch 应用迁移到 TPU 和 Google Cloud。
AWS Machine Learning BlogAI 评分4040 在 Amazon SageMaker HyperPod 上微调 GPT-OSS-20B 实现多语言推理
在 Amazon SageMaker HyperPod 上对 GPT-OSS-20B 做多语言推理微调，基座模型在 50 例测试中仅 22% 用目标语言推理（法语、西班牙语、意大利语均为 0%）。
DeepSeek (X)精选AI 评分7272 DeepSeek 开源推理框架 DeepInfer
DeepSeek 宣布将自研推理框架 DeepInfer 完全开源，代码已发布在 GitHub。该框架用于支撑 DeepSeek-V4.1-Flash 的大规模服务，主打高吞吐与低延迟，DeepSeek 称分享生产栈意在帮助社区降低算力成本与能耗。
推荐理由：DeepSeek 公开了支撑自家模型规模化服务的推理框架，读者可据此了解其生产栈的吞吐与延迟取舍。
AI at Meta (X)精选AI 评分7070 Meta 发布 Muse Glimmer 技术报告：30B 开源权重模型面向消费级硬件智能体任务
Meta 发布 Muse Glimmer 技术报告，这是一个 30B 开源权重模型，面向消费级硬件上的智能体任务。该模型在单张消费级 GPU 的 Mac 或 PC 上以 4-bit 精度运行可达实用速度，并在工具调用和多步规划上领先同规模开源模型。报告涵盖模型架构、蒸馏配方和量化等内容。
推荐理由：技术报告公开了 30B 开源权重模型的架构、蒸馏配方与量化方案，可供关注端侧智能体的读者参考。
elvis (X)AI 评分2222 Nebius AI Builder 计划扩展至欧洲
学习如何用智能体和开放模型构建应用，现在正是最好的时机。 我鼓励学生们应用上下文工程技术，然后构建自己的领域专用 harness。别忘了在这个过程中构建 evals。 如果你想找一个起点，Nebius AI Builder Program 正在扩展到欧洲，提供 1000 万美元的计算资助、资金和社区支持。
NVIDIA (X)AI 评分2222 黄仁勋谈开放模型为何重要
整个行业都将建立在开放模型之上。 开发者需要构建它们的自由。 @JensenHuang 谈为何保持这些模型的开放与可及至关重要。
Latent SpaceAI 评分5050 Latent Space 推出新节目 High Taste Testers，首期聊 Dev Day 与最新模型
Latent Space 正在试播新节目 High Taste Testers，把旧金山的午餐闲聊搬上节目，首期话题从 Dev Day 延伸到最新模型与助手。同期 AI 新闻汇总中，Meta 发布 816B 总参数、42B 激活的 MoE 开源模型 Muse Spark Open，Artificial Analysis 智能指数得分 39，为美国开源模型最高。
Hugging Face (X)AI 评分5555 Hugging Face 直播发布新开放权重模型
Hugging Face 以直播形式发布一款新的开放权重模型，并给出直播链接 https://x.com/i/broadcasts/1DxleVaPLagKL。原文未披露模型名称、参数规模或能力细节。
Hugging Face (X)精选AI 评分7878 Reflection 开源 Beam 模型权重并直播讲解构建过程
Reflection 宣布 Beam 已在多平台上线，以 Apache 2.0 协议开放权重，并与 40 多家生态伙伴合作。此次发布包含权重、tokenizer 和参考实现，BF16、FP8、NVFP4 权重及 DFlash2 drafter，以及训练 Beam 所用的开源工具 Mirror CLI。Hugging Face 转发该消息并预告 Reflection 团队直播讲解 Beam 的构建过程。
推荐理由：Reflection 公开 Beam 的权重、量化版本与训练工具 Mirror CLI，可据此了解其开放程度与复现路径。
Latent SpaceAI 评分6262 Goodfire 提出神经网络已足够清晰，可解释性争论再起
Goodfire 的 Nick Cammarata 发布文章提出“神经网络已经足够清晰”，认为许多被视为多义性和叠加的案例经进一步智能体分析后可以解读，并称 2023 年 OpenAI 自动化可解释性工作只找到约 2% 可读神经元，很多著名多义性案例被误读。
MiniMax (X)AI 评分1818 MiniMax 将亮相开源 AI 周启动派对
明天将在 The Midway 与 @huggingface 一起拉开开源 AI 周的序幕 🪩 来舞池找 MiniMax 团队，我们准备了一些可爱的周边。 最新日程：https://opensourceaiweek.com @open_intel_fdn #OpenSourceAIWeek #OpenIntelligence
Turing Post (X)AI 评分2525 2026年14款LLM监控开源工具盘点
2026年Top 14 LLM监控开源工具 ▪️ Langfuse ▪️ Opik ▪️ Overmind ▪️ MLflow ▪️ LangWatch ▪️ AgentOps ▪️ Helicone ▪️ OpenLIT ▪️ OpenLLMetry ▪️ Evidently ▪️ Weave ▪️ OpenTelemetry Collector ▪️ Grafana OSS stack ▪️ Laminar 收藏这份清单，随时备用！ 这里还有一份实用指南，详解所有这些可观测性工具——各自的功能以及最适合的场景 → https://www.turingpost.com/p/llm-observability
NVIDIA BlogAI 评分3838 NVIDIA 通过开放学习资源、合作与算力扩展欧洲科研界先进技术获取
NVIDIA 在都柏林 AI in Science Summit 上加入欧盟委员会发起的 AI in Science Enablers Initiative，为欧洲科研社区提供加速工具、算力与培训支持。
Aran Komatsuzaki (X)AI 评分5858 VideoJev 发布 System One 视频理解与交互模型
VideoJev 发布 System One 视频理解与交互模型，问答速度相比 Thinking 模式提升超过 100 倍。其 mIoU 相比 4B 和 MoE 骨干分别提升 6.7 和 10.8 个点，并开源 4B 与 35B 两个版本。
Turing Post (X)AI 评分2525 本周新模型盘点：机器人世界模型与Kandinsky 6.0
本周值得关注的新模型包括 RoboJEPA、Long-WAM、VioLA、UNITAS、DreamTrue 等机器人世界与动作模型，以及 Kandinsky 6.0 Video 和 MiMo-V2.6。
MIT Technology Review · AIAI 评分4040 开放模型利与弊：Anthropic 称 GLM-5.3 构成重大网络攻击风险，开放与闭源之争何去何从
Anthropic 发布报告称，Z.ai 于 8 月发布的开放权重模型 GLM-5.3 可被任何人自由下载和修改，构成重大网络攻击风险。开放模型支持者认为其可本地运行、成本更低、便于学术研究并防止权力集中，而 Artificial Analysis LLM 排行榜前八名目前仍均为闭源模型。
MiniMax (X)AI 评分4040 MiniMax M3 登陆 NVIDIA Vera Rubin
MiniMax M3 现已在 NVIDIA Vera Rubin NVL72 上通过 vLLM 运行！🙌 感谢 @vllm_project、@inferact、@NVIDIAAI、@RedHat_AI 将 MiniMax M3 带到 Rubin 上。
Qwen (X)精选AI 评分7070 Qwen 发布 Qwen-Image-2.1-Turbo，8 步去噪生成与编辑图像并开放权重
Qwen 发布 Qwen-Image-2.1-Turbo，在同样的 7B 视觉生成架构上做加速，仅需 8 步去噪即可生成和编辑图像，权重已在 ModelScope 和 Hugging Face 开放。
推荐理由：官方给出 Turbo 加速版在 8 步去噪下仍能生成 2K 图像，并同步开放权重与 API，便于判断落地成本。
Hugging Face (X)AI 评分4242 Hugging Face 呼吁保持科学开放
帮助保持科学开放，来 Paper Pages 上试试：https://hf.co/papers
MiniMax (X)AI 评分4040 MiniMax H3 热度不减
两个月后，MiniMax H3 的热度依然🔥。 更多内容即将到来👀
Google DeepMind精选AI 评分7272 Google DeepMind 发布 EmbeddingGemma 2 端侧多模态嵌入模型
Google DeepMind 发布 EmbeddingGemma 2，这是基于 Gemma 4 架构、采用 Apache 2.0 许可的 740M 参数嵌入模型，可将文本、代码、图像、音频和视频映射到统一嵌入空间。
推荐理由：原文给出参数量、内存占用和基准提升，可据此判断端侧多模态检索的落地条件。
MiniMax (X)AI 评分1212 MiniMax 公布 SF Tech Week 四场活动安排
MiniMax 将在 SF Tech Week 期间举办四场活动：10 月 6 日与 friendliai、anacondainc、kilocode 讨论前沿模型、高速推理与大规模智能体。
Qwen (X)AI 评分3333 Qwen-Image-2.1 获 OpenVINO Day-0 支持
来自 @inteldevs 的 Day-0 OpenVINO 支持！🥳 Qwen-Image-2.1 已可在 Intel 硬件上优化运行。一个开放权重 checkpoint，同时支持生成与编辑。👇
Qwen (X)AI 评分4242 SGLang-Diffusion 支持 Qwen-Image-2.1
感谢 @sgl_project 的 day-0 支持！🙌 SGLang-Diffusion 现已支持 Qwen-Image-2.1：文生图、多图编辑和透明 RGBA 输出。快来试试！🎨
Qwen (X)AI 评分4242 Qwen-Image-2.1 支持 ComfyUI
Qwen-Image-2.1 现已在 ComfyUI 中支持！立即试用并分享你的创作！🖼️
Qwen (X)AI 评分5858 Qwen-Image-2.1 获 vLLM-Omni day-0 支持
Qwen 宣布 Qwen-Image-2.1 在 vLLM-Omni 获得 day-0 支持，可在一个模型中完成图像生成、编辑与透明图输出。据 vLLM 项目介绍，该模型由 7.1B 的 DiT 与 Qwen3-VL-8B 组成，配置与支持的组合见 recipes.vllm.ai/Qwen/Qwen-Image-2.1。
Qwen (X)精选AI 评分7575 阿里 Qwen 发布开源图像模型 Qwen-Image-2.1
阿里 Qwen 发布 Qwen-Image-2.1 并开放权重，这是 Qwen-Image 系列中兼顾效果与成本的图像生成模型，统一支持生成与编辑。该模型采用 7B 轻量架构，官方称其性能超过多数闭源模型，并大幅加速多图输入推理。它可原生生成和编辑 RGBA 透明图层，支持最多 10 张参考图与局部精确控制，覆盖全景图、信息图和虚拟试穿等场景。
推荐理由：官方给出 7B 轻量架构、原生 RGBA 透明图层与最多 10 张参考图编辑等能力，可据此判断开源图像模型的实际可用边界。
Hugging Face (X)AI 评分2020 Hugging Face 模型数突破 300 万
我们 Hub 上的模型数量刚刚突破 300 万 🤗 社区正加速迈向一个开放、分布式的未来——开放 AI 无处不在，人人可用 🚀
Hugging Face (X)AI 评分4242 Hugging Face 发布 2026 夏季开源模型报告
2026 夏季开源模型现状 ☀️ 前沿模型规模越来越大，但小模型仍主导实际使用。Qwen 在本地推理中领先，Gemma 紧随其后。AI 智能体正成为 Hub 上的重要力量 完整内容见博客 🤗 https://huggingface.co/blog/state-of-open-models-summer-2026
Hugging Face (X)AI 评分4040 Hugging Face 携手 Open Secure Alliance 制定安全事件指南
我们正与 Open Secure Alliance 合作制定安全事件学习指南，共同为安全事件建立更好的审查、披露与控制机制。
Mira Murati (X)AI 评分4242 Thinking Machines 谈开放权重安全路径
我们分享了对开放权重发布的思路、我们如何评估 Inkling、为什么安全取决于模型及其所进入的生态系统、以及测试、分阶段访问和更强的防御如何能开辟一条通往更大开放度的道路。
Hugging Face (X)AI 评分3838 Hugging Face 教你训练本地智能体
训练智能体 3：学习如何通过强化学习训练一个本地/开放权重智能体 https://x.com/i/broadcasts/1PKqrrbanaZGb
Mira Murati (X)AI 评分2222 Mira Murati 谈 AI 分布式知识
让 AI 变得有用的知识是分散的。它存在于科学家、工程师、临床医生和企业之中。要让 AI 从分布式知识中受益，它自身也必须是分布式的。同意 Jensen 的观点，这是一个值得建设的未来。