Sam 称本地推理浪费稀缺资源

morgan: sam：本地推理是对稀缺资源的糟糕分配 “很多人想要本地推理，不知怎么就以为问题已经解决了，因为我们有了开源模型，就能在自己的电脑上跑，于是不再需要数据中心里的那些东西 但从全球资源分配的角度看，让每个人都把世界上有限的 DRAM 供应囤在自己电脑里、只用到 5% 的时间，其实相当糟糕 如果你要应对这种供给极度受限的环境，你需要的是云端利用率最大化 不知为何，很多人的直觉恰恰相反”