东锡NLP 发布 Post Training 系列第五篇，主题为 Reward Model，提出 RM 是 Bradley-Terry 的倒影。文章围绕选择如何变成损失、损失如何改变网络、网络结构长什么样，以及 RM 在训练中还学到了什么展开。