跳到正文

技术方向

部署工程 最新动态

怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。

164 条精选近 30 天 123 条共收录 1,219 条

更新

精选归档 · 第 8 页

10月19日周一第 141–160 条
  1. Meta Engineering72

    Meta 详解薄编排器架构:用 1300 行路由层调度 14 个专用智能体

    Meta 工程团队分享了其数据管道智能体的薄编排器架构,用 1300 行编排器把 20 多个工作流路由到 14 个专用子智能体,编排层本身不做任何领域推理。此前单智能体方案在生产中频繁出现概念串扰和幻觉,改为确定性路由加隔离上下文的专用智能体后,新增数据列的配置准备时间从手工的三到四天缩短到一小时以内,约三分之二的变更无需大量人工修改即可落地。

    推荐理由:Meta 公开了数据管道智能体的分层架构与量化收益,可作为生产级 Agent 设计的参考样本。

  2. Meta Engineering60

    Meta 详解千兆瓦级超算 Prometheus:首阶段建成,目标约 100 万块 GPU

    Meta 工程博客介绍其千兆瓦级超算 Prometheus,第一阶段已完成并用于训练 Muse 系列基础模型,满规模目标约 100 万块 GPU。集群目前部署 Catalina(GB200 NVL72)和 Clemente(GB300 NVL72)两代 NVIDIA 平台,后续将引入 Vera Rubin NVL72 的 San Miguel 平台。

    推荐理由:Meta 公开千兆瓦级超算 Prometheus 的硬件代际、网络与可靠性工程细节,可看到万卡训练集群如何把中断率压低 99%。

10月16日周五
  1. Microsoft Research60

    微软研究院发布 Magnetar:基于标准哈希函数的通用零知识证明系统

    微软研究院发布零知识虚拟机 Magnetar,可直接证明用 Rust、Go 或 C 编写的程序执行过程,并输出可在约 12 毫秒内验证的简短证明。在 15 个基准程序上,它比同类最快的 zkVM 平均快 10 到 39 倍,在笔记本上每秒可证明 7.2 至 8.7 百万条 RISC-V 指令。

    推荐理由:微软研究院梳理十余年零知识证明研究脉络,说明 Magnetar 如何在通用性、速度与密码学假设之间同时取得进展。

10月15日周四
  1. 智谱 GLM 模型发布80

    智谱发布 GLM-5.3-Flash:GLM-5 系列首个原生多模态模型

    智谱发布 GLM-5.3-Flash,这是 GLM-5 系列首个原生多模态模型,总参数 320B、激活参数仅 18B,在基准测试和真实负载上超过 GLM-5.2,价格为其十分之一,编码与智能体基准接近 Claude Opus 4.8。

    推荐理由:GLM-5 系列首个原生多模态模型,320B 总参数仅激活 18B,价格降至十分之一,可据此判断开源多模态模型的效率路线。

10月13日周二
10月12日周一
10月8日周四
  1. Microsoft Research66

    微软研究院开源 Agent Lightning v1.0:约 3500 行的轻量 Agentic RL 框架

    微软研究院开源 Agent Lightning v1.0,这是一个约 3500 行代码的轻量 Agentic RL 框架,提出 Harnessed Agentic RL 范式,让部署时使用的 agent harness 直接参与强化学习,无需在训练框架内重写 agent。

    推荐理由:微软研究院开源约 3500 行的 Agent RL 框架,用真实 harness 参与训练,并给出 6000 样本提升 14.6 个点的完整流程。

9月29日周二
9月25日周五
9月11日周五
  1. 智谱 GLM 模型发布60

    智谱开源 GLM-OCR 多模态文档理解模型

    智谱发布并开源 GLM-OCR 多模态 OCR 模型,基于 GLM-V 编码器-解码器架构,采用多 Token 预测(MTP)损失和全任务强化学习,在 OmniDocBench V1.5 上得分 94.62,排名第一。

    推荐理由:官方给出 0.9B 参数、OmniDocBench V1.5 得分与多框架部署方式,可据此判断轻量 OCR 的落地成本。

9月2日周三
  1. 宝玉的博客74

    Anthropic 博客:高效电商 AI 智能体的架构、延迟成本优化与评估实践

    Anthropic 在 Claude 博客中总结其与零售、电商平台、旅游、娱乐和电信客户合作构建电商 AI 智能体的经验,给出架构设计、延迟与成本优化、生产环境运行三部分指南。

    推荐理由:Anthropic 基于企业部署经验,拆解电商智能体的架构、延迟成本优化与生产评估方法。

8月28日周五
  1. 宝玉的博客60

    Warp 如何让 Agent 自我进化:用人类反馈改进代码审查 Skill

    宝玉解读 Claude 博文《How Warp builds self-improving agents on Claude》中 Warp 的做法:一个基础 Skill 负责代码审查,另一个改进 Skill 定期收集工程师在 PR 中对 Agent 审查结果的评论,据此更新审查 Skill,人只需照常写评论。

    推荐理由:Warp 用人类 PR 评论驱动 Skill 迭代的做法,给出了让 Agent 记住团队规范的一套可迁移机制。

8月24日周一
  1. 宝玉的博客60

    宝玉复盘 AI 原生开发流程:给 BaoCut 加远程转录功能的完整案例

    宝玉以给字幕转录翻译 App BaoCut 增加远程转录功能为例,复盘了自己的 AI 原生开发流程:可行性分析、设计文档、高精度原型、编码实现、黑盒测试五个环节,执行主体由人变为 Agent,人只在关键节点确认和决策。

    推荐理由:作者以自己 App 加远程转录功能为例,完整复盘从可行性分析到黑盒测试的 AI 原生开发流程,并给出瓶颈已移到代码两侧的判断。

8月14日周五
  1. DeepSeek 模型发布88

    DeepSeek 发布正式版 DeepSeek-V4-Pro-0813 模型

    DeepSeek 发布 DeepSeek-V4-Pro-0813 正式版,取代此前的预览版本,官方称其智能体能力大幅增强,在生产环境中提升尤为明显。该模型沿用 DeepSeek-V4-Pro (Preview) 的结构,并附加 DSpark 投机解码模块,在 HLE、Terminal Bench 2.1、NL2Repo、DeepSWE 等基准上均高于预览版。

    推荐理由:官方技术报告列出正式版与预览版在多项智能体基准上的对比,可据此判断其生产环境能力变化。

8月1日周六
  1. DeepSeek 模型发布88

    DeepSeek 发布 DeepSeek-V4-Flash-0731 正式版

    DeepSeek 发布 DeepSeek-V4-Flash-0731 正式版,取代此前的预览版本,智能体能力大幅增强。该模型与 DeepSeek-V4-Flash-DSpark 结构相同,附带投机解码模块,在 Terminal Bench 2.1、NL2Repo、DeepSWE 等基准上超过 DeepSeek-V4-Pro (Preview),激活参数量则小得多。

    推荐理由:官方技术报告列出多项基准对比,读者可据此判断小激活参数模型在智能体任务上的位置。

7月27日周一
  1. Kimi.ai78

    Kimi K3 已在 Nebius Token Factory 上线,Nebius 是 Kimi 的 Day 0 发布合作伙伴。据 Nebius 介绍,K3 面向长程编码、知识工作与推理,原生支持视觉、上下文最高 1M tokens,Artificial Analysis 智能指数得分为 57,开发者可通过兼容 OpenAI 的 API 和 console 接入。

    引用Nebius Token Factory@nebiustf

    Kimi K3 is now available on Token Factory. We’re excited to announce that Nebius Token Factory is an official Day 0 partner for @Kimi_Moonshot's Kimi K3. Kimi K3 is the first open-weight model to reach frontier-level performance, a major step forward for open models. It is built for long-horizon coding, knowledge work and reasoning, with native vision and up to 1M tokens of context. Artificial Analysis scores it at 57 on its Intelligence Index, just two points behind GPT-5.6 Sol (max). That puts Kimi K3 at the top of the open-weight field and firmly among today’s frontier models. Developers can access K3 through Token Factory’s OpenAI-compatible API and console today. Give K3 the hard problem. Build with Kimi K3: https://tokenfactory.nebius.com/?modals=endpoint-details&model-id=moonshotai/Kimi-K3

    推荐理由:Kimi K3 通过 Nebius Token Factory 上线,开发者可据此了解接入方式与模型定位。

  2. Kimi.ai80

    月之暗面宣布 Fireworks 成为 Kimi K3 的 day0 发布合作伙伴,开发者可在 Fireworks 上通过几次点击部署和微调 2.8T 的 Kimi K3。被引用的 Fireworks 内容称该模型已在其平台上线,覆盖推理与训练,托管于美国并支持零数据保留。

    引用Fireworks@FireworksAI_HQ

    Kimi K3 is live on Fireworks. Day 0, inference and training. US-hosted, and zero data retention. This is the first frontier open model in the 3 trillion parameter class. It sports 1M context, native vision, and reasoning that rivals the top closed models. Boom.

    推荐理由:官方给出 Kimi K3 在 Fireworks 上的部署与微调入口,读者可据此判断接入方式。

6月27日周六
  1. Ahead of AI60

    如何用 Ollama 和 Qwen3.6 搭建本地编码智能体

    Sebastian Raschka 发布教程,介绍如何用 Ollama 本地部署 Qwen3.6 35B-A3B 等开放权重模型,并接入 Qwen Code、Codex 和 Claude Code 三个编码智能体框架。

    推荐理由:作者用开源工具和开放权重模型搭出完整本地编码智能体,并给出速度、任务成功率与 token 消耗的实测对比。