近期研究者通过奖励模型增强通用奖励模型在推理阶段的可扩展性，同时使用强化学习提升LLM性能。然而，当前强化学习算法仍有改进空间，奖励稀疏性是主要难点之一。