教程演示用 llama.cpp 运行 NVIDIA Dory 4B

MarkTechPost 发布教程，演示如何编译 NVIDIA 模型卡指定的 llama.cpp 分支，并运行 Dory 1.0 4B，逐档测试 1 至 4 次循环下的显存、解码速度与 GSM8K 准确率。 教程称，llama.cpp 对 Dory 的支持仍是未合并的草稿 PR，没有已发布二进制能加载该模型，因此需按模型卡锁定的提交自行编译 llama-server；模型卡写的文件名 dory-q5_k_m.gguf 与仓库实际名称不符，照抄命令会失败，需核对真实文件名、大小和 SHA-256。 教程还指出，模型文件头内置的循环数为 4，而模型卡建议 2，不覆盖该设置启动服务会默认跑最贵的档位。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。