论文提出智能体强化学习数据的缩放定律与合成策略

一篇论文为智能体强化学习数据拟合缩放定律，沿任务、环境、轨迹三个维度展开。在不同模型规模、模型家族、领域以及 PPO 和 GRPO 下，三个维度的指数排序一致，环境高于任务、任务高于轨迹；环境的优势主要来自世界多样性，改变同一世界的结构带来的收益与增加任务大致相当。定律还给出各合成方法的折扣因子和训练开始崩溃的合成与真实数据比例，按该配方分配预算相比常见做法可提升至多 1.7 倍计算效率。