← 返回项目导航
推理部署ggml-org/llama.cpp
llama.cpp
纯 C++ 推理,普通电脑甚至手机都能跑大模型
- Star
- 136k
- 主要语言
- C++
- 许可证
- MIT
- 最近提交
- 2026-11-21
这是什么
GGUF 量化格式的源头,没有独立显卡也能跑。Ollama 底层就是它。
快速上手
brew install llama.cpp官方入口
本站相关报道
- 本地推理引擎 llama.cpp 1.0.0 史诗级更新:支持超 150 种模型架构,断网也能满血跑大模型IT之家 · 2026-11-14
- How to Run NVIDIA Dory 4B with llama.cpp: Loop by Loop GuideMarkTechPost · 2026-11-08
- The weights are available on Hugging Face as a 27 GB Q8_0 file that can run on a Mac through Nace's versions of llama.cpp and Ollama.X:AI News | TestingCatalog (@testingcatalog) · 2026-11-02
- 1250 亿参数的模型,12GB 显存只动得了其中 2%。一个 token 在 24576 个专家里只用 10 个,没上操作台的交给 CPU 在内存里算。一个人用 Claude 和 Codex 写了十天,llama.cpp 求了一年的专家缓存,他两周就做出来了。 https...X:Saito (@SaitoWu) · 2026-10-21
数据同步于 2026-11-21,来源 GitHub 公开接口。