AWS 详解 vLLM 双向 KV 传输如何降低多轮智能体负载的 TTFT
AWS 在 vLLM 中实现双向 KV 传输，让 decode 节点在后续轮次把已计算的 KV 块回传给 prefill 节点，避免重复计算对话历史。在 Amazon EC2 P5en 实例的 1P1D 部署上，该功能使 Qwen3-32B 的 TTFT 最多降低 1.6 倍、zai-org/GLM-5-FP8 最多降低 3.3 倍。
#教程/实践
AWS Machine Learning BlogAI 评分5858 AWS Machine Learning BlogAI 评分4040 vLLM 推出基于 push 的 KV 传输，分拆推理 TTFT 最高提升 3 倍
vLLM 新增 push 模式的 NIXL connector，把 prefill 后的传输协调与建立过程移出首 token 关键路径。在 AWS EC2 P5en 1P1D 部署、EFA 互联的测试中，Qwen3-32B 的 TTFT 最高改善 3 倍，TPOT 最高改善 30%。该功能先在 AWS Trainium 集群验证，再作为与加速器无关的特性贡献给 vLLM。
AWS Machine Learning BlogAI 评分3838 Deepgram 如何用 AWS Trainium2 优化大规模语音 AI 推理
Deepgram 与 AWS 合作将 Nova-3 语音转文本模型移植到 Trainium2，用于联络中心分析、医疗转写等离线批处理场景。最终配置在单台 Amazon EC2 trn2.3xlarge 实例上运行 8 个模型副本，按评估时实例价格计算，每美元处理的音频量比原有算力方案高 11%–70%。
AWS Machine Learning BlogAI 评分3434 用 AtScale 和 Amazon Bedrock AgentCore 在 AWS 上为智能体 AI 构建语义层
AWS 博客演示用 AtScale 作为语义层、配合 Amazon Bedrock AgentCore 托管 Strands 智能体，构建 Customer 360 分析模式。
AWS Machine Learning BlogAI 评分3434 用 Strategy Mosaic 和 Amazon Bedrock AgentCore 在 AWS 上为智能体 AI 构建语义层
该教程演示如何用 Strategy Mosaic 作为语义层，在 Amazon Redshift 与 Amazon Aurora 上以两个链接模型建模 C360 域，无需 ETL。
AWS Machine Learning BlogAI 评分3636 用 Denodo 和 Amazon Bedrock AgentCore 在 AWS 上为智能体 AI 构建语义层
本文演示如何用 Denodo Platform 作为语义层，通过 Denodo MCP Server 向托管在 Amazon Bedrock AgentCore 上的智能体暴露受治理视图，并联合查询 Amazon Aurora、Amazon Redshift 与本地 PostgreSQL 构建 Customer 360 视图。
AWS Machine Learning BlogAI 评分3636 Eon 如何用 Amazon Bedrock AgentCore 上的 MCP Gateway 构建多云调查能力
Eon 基于 Amazon Bedrock AgentCore 的 MCP Gateway 搭建了统一的多云调查入口，用单一认证网关替代逐工具凭证和本地 MCP 进程，让开发者和自主智能体统一访问 AWS、GCP、Azure 三朵云上的调查工具。
AWS Machine Learning BlogAI 评分5252 i14 与 AWS 详解 Laplace 3B 线性注意力模型在 Trainium2 上的训练与推理
i14 与 AWS 团队用 TorchNeuron Native 原生 PyTorch 将线性注意力模型 Laplace 3B 移植到 AWS Trainium2，保留 GLA 架构与 Muon 优化器。
elvis (X)AI 评分3838 用决策模型做 LLM 评测：Jev 适合当 Judge
推文推荐用决策模型构建 LLM 评测，并称内部评测显示 Jev 这类 System One 模型很适合做 LLM Judge。作者在 Hamel Husain 关于决策模型评测的文章之外，补充了 Jev-as-a-Judge 智能体评测资源与 arXiv 论文，介绍如何结合 System One 与 System Two 模型。
Simon WillisonAI 评分3434 Simon Willison 用 Claude Code 打造 RTS 游戏 Battle Drones，支持音频同步多人对战
Simon Willison 发布 vibe coded 即时战略游戏 Battle Drones，经 12 个大版本迭代、321 次由 Claude Code 等编码智能体提交的 commit，可在手机和桌面浏览器运行。游戏含 9 种建筑、7 种地面载具、6 种空中载具和 3 种步兵单位，并支持两台邻近设备通过麦克风范围内的音频消息同步游戏状态实现多人对战。
AWS Machine Learning BlogAI 评分3838 用 Amazon Quick 和 Amazon Bedrock AgentCore 构建对话式供应链智能
AWS 展示用 Amazon Quick 作为交互界面、Amazon Bedrock AgentCore 作为智能层，通过 MCP 服务器把 ERP、监控、采购等系统串成可组合工具层，让供应链管理者用自然语言跨系统提问。
AWS Machine Learning BlogAI 评分4040 在 Amazon SageMaker HyperPod 上微调 GPT-OSS-20B 实现多语言推理
在 Amazon SageMaker HyperPod 上对 GPT-OSS-20B 做多语言推理微调，基座模型在 50 例测试中仅 22% 用目标语言推理（法语、西班牙语、意大利语均为 0%）。
AWS Machine Learning BlogAI 评分3434 Octave 如何在 Amazon Bedrock 上构建安全多租户 AI 基础平台
Octave 在 Amazon Bedrock 上为质量管理平台 Reliance 构建了多租户 AI 基础平台，用 Cohere Embed v4 完成 20 亿份文档的嵌入，并将单用例部署时间缩短 50%。该平台以每租户独立向量存储、AgentCore Gateway 隔离执行和 Guardrails 双向过滤三层架构，确保客户数据不跨租户边界。首个落地应用为投诉摘要与分诊助手。
AWS Machine Learning BlogAI 评分5858 AWS 详解 Agent Registry 运行时工具发现：发现、实例化、执行三步循环
AWS 介绍 Agent Registry 的运行时工具发现方案，让编排器不再把工具硬编码进智能体，而是按请求检索已批准的 MCP 服务器和 A2A 智能体记录。
GitHub Blog · AI & MLAI 评分2222 三位 Java Champion 如何用 GitHub Copilot 提升生产力
GitHub 博客采访了 Vlad Mihalcea、Patrick Baumgartner 和 Frank Delporte 三位 Java Champion，分享他们在生产与开源项目中使用 GitHub Copilot 的具体做法。
AWS Machine Learning BlogAI 评分3636 在 AWS 上用 X.509 PKI 保障 AI 智能体身份安全
AWS 与 Keyfactor 联合发布参考架构，用 Keyfactor EJBCA 的 X.509 PKI 为 AI 智能体建立可验证、可撤销的加密身份。
elvis (X)AI 评分1818 持久化智能体的构建与研究
我一直在研究和撰写大量关于持久化智能体的内容，包括如何构建它们，以及我一直在使用的工具。 这是最新的一篇。后续还会有更多。
elvis (X)AI 评分2222 用 Fulcra 共享记忆层构建持久化智能体
作者实测用 Fulcra 的共享上下文层完成 Claude Code 到 Codex 的编码任务交接：Claude Code 完成第一步并把进度、决策和后续步骤写入共享工作区，全新的 Codex 会话仅凭工作区名称读取状态，直接完成剩余两步且测试全部通过，全程未手动粘贴任何内容。
GitHub Blog · AI & MLAI 评分3434 如何在 VS Code 中继续 GitHub Copilot 应用会话
GitHub Copilot 应用中的会话可直接在 VS Code 中打开并继续，对话、代码改动和工作上下文均保持不变。VS Code 会以该会话关联的 worktree 打开项目，并在 Copilot 侧边栏显示原会话，便于逐行审查 diff、手动编辑、本地运行测试，最后提交并推送到会话对应的 pull request。
Hugging Face (X)AI 评分4040 Hugging Face 讲投机解码加速本地 AI
本地 AI 202：用投机解码获得大幅加速 https://x.com/i/broadcasts/1NGaroZveLVJj
Turing Post (X)AI 评分3838 AI 智能体记忆的三种目标与设计取舍
微软企业 AI 的 Lewis Liu 将 AI 智能体记忆拆成三种目标：个性化让智能体适配特定用户，自我改进让过往经验改变任务执行方式，组织记忆让公司积累的知识触达需要的人。他指出“记忆”背后隐藏着关键设计决策：什么能跨会话保留、何时重新浮现、如何影响下一次决策。Turing Post 据此发布了一份智能体记忆完整指南，从 7 个视角探讨如何把经历转化为更好的工作成果。
OpenAI Developers (X)AI 评分4242 OpenAI 工程师如何用 Codex 维护代码库
以下是我们 OpenAI 的工程师如何使用 Codex 深入我们的代码库、找出需要关注的地方，并逐步清理维护积压：
Turing Post (X)AI 评分2525 2026年14款LLM监控开源工具盘点
2026年Top 14 LLM监控开源工具 ▪️ Langfuse ▪️ Opik ▪️ Overmind ▪️ MLflow ▪️ LangWatch ▪️ AgentOps ▪️ Helicone ▪️ OpenLIT ▪️ OpenLLMetry ▪️ Evidently ▪️ Weave ▪️ OpenTelemetry Collector ▪️ Grafana OSS stack ▪️ Laminar 收藏这份清单，随时备用！ 这里还有一份实用指南，详解所有这些可观测性工具——各自的功能以及最适合的场景 → https://www.turingpost.com/p/llm-observability
OpenAI NewsAI 评分2020 Benefit Street Partners 用 Codex 更快回答客户问题
Benefit Street Partners 的 Anant Kumar 借助 Codex 进行代码审查并加快后续跟进，从而更快回答客户问题。他用 Codex 构建了用于比较贷款估值和分析信贷协议的工具。
Turing Post (X)AI 评分3838 3D Gaussian Splatting 如何为机器人构建空间记忆
这篇指南讲解 3D Gaussian Splatting（3DGS）如何把拍摄场景转为机器人的空间记忆，并介绍机器人如何检索、更新该记忆，以及从“记住世界”走向“理解物理”所需的条件。
Hugging Face (X)AI 评分2525 Hugging Face 直播讲解投机解码加速本地 LLM
在这场直播中，与 @mervenoyann、@MaartenGr 和 @_EldarKurtic 一起了解如何通过投机解码在本地 LLM 上获得成倍的加速。 https://www.youtube.com/watch?v=H4azmWcqO5g
GitHub Blog · AI & MLAI 评分4242 GitHub 详解密钥检测模型：用更少噪音发现更多密钥
GitHub 用微调的 ModernBERT 分类器替换原有 LLM 流水线来识别通用密钥，用户接受率提升 11.5%，推送后扫描中位执行时间缩短 86%，服务成本降低超 98%。该方案先用正则高召回生成候选，再由分类器结合文件路径、变量名和上下文判断是否为真实凭据，并已把通用密钥检测扩展到推送保护阶段。
Anthropic (X)AI 评分5858 Anthropic 工程博客介绍自研版本控制系统
Anthropic 在工程博客中介绍其自研版本控制系统，并在五个月内把单体仓库从 git 完整迁移过去。合并的代码变更从 5 月的每天约 2,500 次增至 9 月的每天超过 30,000 次，原有面向人类规模构建的开发基础设施因此成为瓶颈。
GitHub Blog · AI & MLAI 评分3838 GitHub Copilot 新手指南：如何让 Copilot 了解你的代码库
GitHub Copilot 新手指南介绍了四种让 Copilot 适配项目的方式：用 .github/copilot-instructions.md 定义仓库级约定。
GitHub Blog · AI & MLAI 评分2222 GitHub 博客：AI 正在改变开发者工作，值得强化的三项技能
GitHub 博客提出开发者应对 AI 工作流的三项技能：学会指挥 AI 智能体而非只使用工具，用第二个模型审查 AI 输出，并把省下的实现时间投入判断与决策。文中以 GitHub Copilot 内置的 Rubber Duck agent 为例，说明其用第二个模型审查计划、代码和测试。
Andrej Karpathy (X)AI 评分5858 Karpathy 分享让 LLM 输出更易读的提示词技巧
Andrej Karpathy 分享理解大语言模型输出的技巧，建议让 LLM 用 ASD-STE100 受控语言规范写作，或要求输出图表、HTML 交互网页和定制讲解视频。他提到可用 ElevenLabs API key 生成 3b1b 风格讲解视频，并认为随着模型变强，人的工作会更多转向监督与理解，可以要求生成以往不划算的大型一次性软件产物。
GitHub Blog · AI & MLAI 评分5858 GitHub Copilot 如何用 canvases 构建自定义工作流
GitHub Copilot 应用中的 canvas 是一种用户与智能体共享的可定制界面，可以是看板、问题分诊板、发布清单或仪表盘，双方都能实时修改。创建时只需打开智能体会话，输入 /create-canvas 技能并用自然语言描述要支持的工作流、用户可做的操作和智能体可做的操作，智能体就会生成界面并显示在右侧面板。
Hugging Face (X)AI 评分2020 Hugging Face 智能体训练：从奖励函数到环境
训练智能体 4：从奖励函数到环境。https://x.com/i/broadcasts/1OxwbngOoXEJB
Hugging Face (X)AI 评分2222 Hugging Face OAuth 登录按钮接入指南
小技巧：在你的网站/应用中添加“Sign-In with Hugging Face”OAuth 按钮，社区成员就能轻松分享邮箱、创建模型/数据集仓库、将数据存入 Buckets，甚至启动 GPU 支持的 Jobs！ https://huggingface.co/docs/hub/en/oauth
Hugging Face (X)AI 评分3838 Hugging Face 教你训练本地智能体
训练智能体 3：学习如何通过强化学习训练一个本地/开放权重智能体 https://x.com/i/broadcasts/1PKqrrbanaZGb
Andrej Karpathy (X)AI 评分2222 Karpathy 分享用 /voice 长语音与 LLM 对齐思路
Andrej Karpathy 分享了一个与 LLM 协作的技巧：切换到 /voice 模式连续口述约 10 分钟，不必组织语言，让 LLM 从杂乱的长语音中还原你的真实意图。他表示 LLM 很擅长重构这种不连贯的长篇口述，回述出的思路往往比原始表达更清晰，从而减少后续纠正、加深“心灵融合”。
Andrej Karpathy (X)AI 评分6262 Karpathy 分享用 LLM 搭建个人知识库的 idea file
Andrej Karpathy 在推文走红后，把用 LLM 构建个人知识库的方法整理成一份 gist 格式的 idea file，可直接交给智能体按需搭建。该流程把文章、论文、仓库等原始资料索引到 raw/ 目录，由 LLM 增量编译成 .md 维基，包含摘要、反向链接和概念文章，并在 Obsidian 中查看与提问。
Andrej Karpathy (X)AI 评分6060 Andrej Karpathy 分享用 LLM 构建个人知识库的实践流程
Andrej Karpathy 分享了他近期用 LLM 构建个人研究知识库的做法：把文章、论文、仓库、数据集和图片索引到 raw/ 目录，再由 LLM 增量编译成由 .md 文件组成的 wiki，包含摘要、反向链接和按概念分类的文章。