原点星辉开源决策模型推理引擎Prism

StartLux原点星辉开源了自研推理引擎Prism，称其为首款专门面向决策模型打造并对外开源的推理引擎。该引擎围绕决策任务收敛输出层计算范围、构建森林式计算结构、采用int8整数运算并设计混排调度。 据该公司称，在单张H200上处理单个短问题，Prism比原vLLM方案快2.8倍；同一材料连问三题最快提速5.3倍。单块32GB显存的RTX 5090消费级显卡即可运行，具体测试配置与结果已在GitHub公开。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。