Perplexity 与 NVIDIA 提出 JOLT:联合师生强化学习后训练方法
Perplexity 与 NVIDIA 提出 JOLT 后训练方法,让同一个模型同时扮演教师和学生,且教师也参与训练。在 MATH 上,JOLT 以 6.5 倍更少的训练 token 达到 GRPO 的准确率;JOLT+ 在 AppWorld 上 pass 率达 72.09%,比 GRPO 高 9.9 个百分点。
Perplexity 与 NVIDIA 提出 JOLT 后训练方法,让同一个模型同时扮演教师和学生,且教师也参与训练。在 MATH 上,JOLT 以 6.5 倍更少的训练 token 达到 GRPO 的准确率;JOLT+ 在 AppWorld 上 pass 率达 72.09%,比 GRPO 高 9.9 个百分点。