至知创新研究院开源IQuest-Q1专用推理引擎IQuestRT

至知创新研究院发布并开源了面向 IQuest-Q1 的专用推理优化引擎 IQuestRT，代码已在 GitHub 公开，采用 Apache-2.0 许可证，并提供安装、运行和性能测试说明。 据其公开数据，在 8 卡 GPU、8 路张量并行、单请求条件下，IQuestRT 实测解码吞吐为 910.70 tokens/s，是 vLLM 参考配置 309.83 tokens/s 的 2.94 倍。 项目文档称，该引擎针对 IQuest-Q1 及特定 GPU 计算架构和互连环境设计，需要 8 路张量并行和单个活动请求，暂不支持其他模型、GPU 架构及并行配置。

AI 根据报道生成 · 53 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。