东锡NLP发布Post Training第五篇讲Reward Model
热点事件持续更新
东锡NLP发布Post Training第五篇讲Reward Model
2 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
东锡 NLP 发布 Post Training 系列第五篇文章，讲解 RLHF 中的 reward model 如何从二选一偏好数据训练出分数。 文章称，标注者只需在 A、B 两个回答中选择一个，数据存为 chosen/rejected；Bradley-Terry 模型用 σ(s_A−s_B) 把两个回答的分数差转成胜率概率，训练损失为 −log σ(r_chosen−r_rejected)。
AI 根据报道生成 · 1 小时前更新
最新进展10月31日 16:25
Bradley-Terry 如何把选择变成 reward model 分数报道时间线
沿着报道，了解事件的不同侧面。
10月31日
- 东锡 NLP东锡NLP系列第五篇：Reward Model 是 Bradley-Terry 的倒影
东锡NLP 发布 Post Training 系列第五篇，主题为 Reward Model，提出 RM 是 Bradley-Terry 的倒影。文章围绕选择如何变成损失、损失如何改变网络、网络结构长什么样，以及 RM 在训练中还学到了什么展开。
- 东锡 NLPBradley-Terry 如何把选择变成 reward model 分数
文章讲解 RLHF 中 reward model 如何从二选一偏好数据训练出分数：标注者只选 A/B，数据存为 chosen/rejected，Bradley-Terry 模型用 σ(s_A−s_B) 把分差转成胜率概率，损失为 −log σ(r_chosen−r_rejected)。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。