跳到正文
Aran Komatsuzaki (X)· arankomatsuzaki·· 15 天前AI 评分38

基础模型可借训练数据线索推理

Base Models Can Reason By Taking a Cue From Training Data

AI 导读

基础模型能通过借鉴训练数据中的线索进行推理 在开头加上“.\n\n Okay”,可将 Olmo-3-7B 在 MATH-500 上的 pass@1 准确率从 42% 提升到 78%;而加上“ Alright ,”则可将 Qwen3-14B 的准确率从 72% 提升到 87% RL 会让这些线索更可能出现,而修正这些线索则能恢复其相对于基础模型的大部分性能提升。

来源:Aran Komatsuzaki (X) · x.com