Together AI 发布 Together Compiler，智能体持续编译让推理最高提速 2.6 倍
Together AI Releases Together Compiler: Agents Make Inference Up to 2.6x Faster
Together AI 发布 Together Compiler（TKCC），一套由编码智能体持续重写模型前向计算的推理优化系统，已在自家多个 serverless 端点上运行。
原文给出多硬件多模型的自报数据与最差场景，读者可据此判断持续编译在真实流量下的收益边界。
Together AI 推出了 Together Compiler（TKCC），这是一个由智能体驱动的系统，可在生产流量变化时持续重新优化推理。Together Compiler 已在 Together 的多个无服务器端点上运行。对开发者的核心主张是：一次调优的引擎会过时，因此调优不应停止。
TL;DR
- 系统：这是一个优化系统，在 Kimi K3、GLM 5.3、MiniMax M3.1 Flash、DeepSeek v4.1 Flash 和 Llama 1B 上进行了测试。
- 运行于：NVIDIA B200、B300、GB300、H100、AMD MI355X 和 AWS Trainium2。每次运行每个模型最多使用 2 个节点。
- 性能：在每种设置下不到 24 小时内，TPS 比已发布的最佳 InferenceX 配置高出最多 2.6 倍。
- 最佳：在 MiniMax M3.1 Flash（B200，批大小 1）上，每用户 P90 TPS 达到 1,111，比 633 TPS 的基线高出 1.8 倍。
- 最差：MI355X 上的 GLM 5.3 仅从 463 TPS 提升到 480 TPS（约 4%）。
什么是 Together Compiler？
Together Compiler 是 Together AI 的一个持续编译循环，使用编码智能体重写模型的前向传播。它接收服务器启动命令、流量配置和硬件配置。智能体提出更快的前向传播方案，一个持久化引擎对每个方案进行测量。胜出的代码会进入服务引擎。当流量发生变化时，循环会再次运行。
为什么推理需要持续编译？
Together AI 团队报告称，其流量形态从不停滞。一个国家的提示长度约为 97K token，而其他地方为 70K。一位客户的 P90 输入长度在 3 天内从 18K 增长到 33K token。
在随机数据上调优的内核也可能产生误导。随机输入激活的 MoE 专家比真实流量多 13% 到 38%。一个由智能体编写的 top-k 内核在随机数据上耗时 20 µs。在 70K 上下文的真实数据上，它耗时高达 62 ms。
持久化引擎如何工作？
大多数智能体循环会为每个实验重启 vLLM、SGLang 或 TensorRT-LLM。研究团队测得，MiniMax M3.1 Flash 在 TensorRT-LLM 上的冷启动时间为 761 秒。Together Compiler 只启动一次引擎。智能体通过 RPC 提交候选前向传播。服务器交换前向函数指针并重新捕获 CUDA 图。
两个测量层级平衡了速度与保真度。快速层级服务 12 层以进行快速筛选。慢速层级服务 60 层以在真实分布上确认收益。两个层级测试的候选方案比单个慢速层级多 8.1 倍（1,354 对 168）。它们还找到了一个快 7.2% 的解决方案。Together AI 团队报告称，智能体实验吞吐量比引擎重启基线高 252 倍。
它如何选择并行布局？
在智能体开始之前，一个成本模型会对张量、专家、数据和上下文并行布局进行排序。它混合使用规格表数字、微基准测试和实测前向传播。它还使用实测的 MoE 专家不均衡和请求长度不均。在 Kimi K3 上，它找到了一种生产布局，TPS 高出最多 24%。
智能体需要人类专家提供什么？
一个由专家精心整理的知识库在 12 小时后产生的加速比低了 25% 到 31%。被要求让前向传播“尽可能快”的朴素智能体击败了专家策略。10 次试验后的集成得分分别为 6.2 倍对 4.9 倍。自定义日志结构占用了高达 43% 的工具调用。Together AI 现在向智能体提供原始引擎源代码，而不是中间表示。
基准测试：Together Compiler 有多快？
在 SemiAnalysis InferenceX 的 AgentX 工作负载上，Together Compiler 比最佳开放配置最高快 2.6 倍 TPS。每项设置运行时间不超过 24 小时，最多使用 2 个节点。
批大小为 1，每用户 P90 TPS（Together Compiler 对比 InferenceX 最佳，自报数据）：
- MiniMax M3.1 Flash（B200）：1,111 对比 633
- DeepSeek v4.1 Flash（GB300）：1,205 对比 943
- GLM 5.3（B200）：417 对比 329
- Kimi K3（GB300）：450 对比 423
- GLM 5.3（MI355X）：480 对比 463
对于 MiniMax，成本模型选择了 TP8，而非基线的 TP4。在内存受限的解码阶段，这使每块 GPU 的权重流量减半。
在批大小为 1 的 Llama 1B 上，它比 Hazy Research megakernels、Mirage 和 CUDA-graph 基线最高快 1.7 倍。除 LLM 之外，它还将 8 个科学模型加速了 1.5 倍至 6.4 倍，且输出逐位一致。使用 /goal 的 Claude Code 达到 1.2 倍至 4.4 倍，但在 AIFS-ENS 2.0 上失败。
它与其他智能体优化系统相比如何？
| 指标 | Together Compiler | Cursor + NVIDIA 多智能体 | AMD GEAK | Apple RSI-Inference Bench |
|---|---|---|---|---|
| 类型 | 生产优化循环 | 多智能体内核优化器 | Triton 内核智能体框架 | 编码智能体基准 |
| 范围 | 服务引擎内的完整前向传播 | 235 个独立 CUDA 内核（SOL-ExecBench） | 单个 Triton 内核 | 37 个编辑 vLLM 或 SGLang 的任务 |
| 测量方式 | 持久化引擎、热重载、2 个层级、真实流量 | 在 27 块 B200 GPU 上运行 SOL-ExecBench | TritonBench-revised 和 ROCm 基准 | 验证器构建引擎并服务模型 |
| 硬件 | B200、B300、GB300、H100、MI355X、Trainium2 | B200 | AMD Instinct MI300X | H100、B200 |
| 主要结果 | 对比 InferenceX 最佳最高 2.6 倍 TPS | 几何平均 1.38 倍，在 235 项中 149 项胜出 | 最高 2.59 倍加速，最高 63.33% 正确率 | 对智能体评分；无单一系统结果 |
| 时间预算 | 每项设置不超过 24 小时 | 3 周 | 未披露 | 每个任务最多 8 小时 |
| 可用性 | 面向 Together 客户的有限测试版 | 结果在公开仓库中 | 开源 | Apple Sample Code License |
关键要点
- Together Compiler 随着流量变化持续重新优化推理。
- 带热重载的持久化引擎带来 252 倍的智能体实验量。
- 在 24 小时内比最佳 InferenceX 配置最高快 2.6 倍 TPS。
- 朴素智能体胜过专家知识库和精选策略。
- 自报数据；各项设置的提升幅度约为 4% 至 2.6 倍。
查看 论文、Together Compiler 博客 和 Polymorphic Inference 文章。另外，欢迎在 Twitter 上关注我们，别忘了加入我们的 150k+ ML SubReddit 并订阅我们的新闻通讯。等等！你在 Telegram 上吗？现在你也可以在 Telegram 上加入我们。
需要与我们合作推广你的 GitHub 仓库、Hugging Face 页面、产品发布或网络研讨会等？联系我们
文章 Together AI Releases Together Compiler: Agents Make Inference Up to 2.6x Faster 首次发表于 MarkTechPost。
来源：MarkTechPost · marktechpost.com