斯坦福开源Memorilla：为冻结LLM注入16个记忆token

斯坦福研究团队开源了Memorilla，一个194M参数的可训练记忆模块，可将整个文档集合压缩成16个记忆token并注入冻结的Qwen3-8B。团队称，在FactKG上它取得84.33%准确率，高于全上下文方案的80.43%，文档token用量少108倍；8个基准平均分49.68，为报告中的最高值。 代码、训练配方和检查点以Apache 2.0公开。运行环境为Linux、CUDA GPU和Python 3.11，快速上手需单张80GB显存GPU（配方在H100 80GB上运行），未披露量化版本。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。