Underdog Saluki 27B 工具调用实测教程发布

MarkTechPost 发布教程，演示在 llama.cpp 中运行 Underdog Saluki 27B。这是 Qwen3.8-27B 的 2-bit 量化版本，体积 7.9 GB；其制作者称，该版本在约每权重两位的精度下仍保持工具调用能力，并在自建的 120 任务基准上略胜 54 GB 全量模型。 由于 Underdog Bench 的 120 个任务未公开，教程按 BFCL v4 的五个类别自建了 120 个任务，每类 24 个，并使用固定随机种子。教程下载的文件均按大小和 SHA-256 校验，Hugging Face 下载支持断点续传。 教程同时指出，样本量小、采用贪心解码且只运行一次，会限制单个 notebook 能得出的结论，因此置信区间与分数同样重要。上述“略胜全量模型”是制作者在其自建基准上的说法，并非独立验证的结果。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。