跳到正文
热点事件持续更新

网友用傲腾内存无显卡跑通Kimi K3

1 篇报道1 个报道来源18 小时前更新

先了解这件事

AI 综述

Reddit 网友 u/IndividualSurvival 在家庭实验室中不配显卡,仅用已停产的英特尔傲腾持久内存 200 系列,通过 llama.cpp 成功运行 2.8 万亿参数的月之暗面 Kimi K3 模型。 据其 11 月 2 日的发帖,采用 1 比特量化压缩模型数据后,初始生成速度约每秒 0.85 个词元;关闭直接访问功能 DAX、让常用数据受益于 DRAM 缓存后,速度提升至每秒 1.50 个词元。另一项 3 比特量化测试仅达每秒 0.75 个词元,生成 5 万个词元约需 18.5 小时。 这是个人家庭实验室的尝试,所用傲腾内存已停产,速度远低于常规显卡推理,但展示了在无显卡条件下运行超大参数模型的一种路径。

AI 根据报道生成 · 18 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月13日
  1. IT之家
    不用显卡:玩家用停产英特尔傲腾内存跑通 2.8 万亿参数 Kimi K3,每秒输出 1.5 词元

    网友 u/IndividualSurvival 在 Reddit 分享家庭实验室尝试,不配显卡、仅用已停产的英特尔傲腾持久内存 200 系列,通过 llama.cpp 成功运行 2.8 万亿参数的月之暗面 Kimi K3 模型。

本事件热度走势

可比范围当前
6
可比范围峰值
1011月13日 16:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。