Dongxi 东锡 NLP· @dongxi_nlp · X·· 6 天前精选AI 评分80
AI 导读
Meta 发布 Muse Glimmer 30B 开放权重模型的技术报告，该模型面向消费级硬件上的智能体任务，在 Mac 或 PC 单张消费级 GPU 上以 4-bit 精度即可达到实用速度，并在工具调用和多步规划上领先同规模开放模型。
推荐理由
Meta 公开了 30B 端侧智能体模型的技术报告，量化体积与推理速度数据可供评估本地部署可行性。
正文 · 原文
Meta 正在把具备较强自主执行能力的 AI Agent，从云端大模型压缩到可以在个人电脑上持续运行的 Muse Glimmer 30B。
部分指标超过 Qwen3.6-27B 和 Gemma4-31B。
通过 4-bit 量化，将模型压缩到约 17GB，目标是在 24GB 显存设备上运行。
采用 DFlash 推测解码，在 RTX 5090 上实现约 233 tokens/s，相比普通解码提速约 3.1 倍。
Meta 最近牛逼克拉斯！
Today we published a technical report on Muse Glimmer, our 30B open-weight model built for agentic tasks on consumer hardware. It runs at practical speeds on a Mac or PC with a single consumer GPU at 4-bit precision, and leads comparably-sized open models on tool use and multi-step planning. Read about the model architecture, distillation recipe, quantization and more: https://go.meta.me/4Bcvxol在 X 查看被引用的帖子
来源：Dongxi 东锡 NLP · x.com