更改

GRPO与PPO算法之间的对比可以用下图进行清晰地表示：

GRPO与PPO算法之间的对比可以用下图进行清晰地表示：

[[文件:Grpo.png|GRPO算法与PPO算法的对比|居左|610x217像素]]

[[文件:Grpo.png|GRPO算法与PPO算法的对比|居左|750x310像素]]

由该图可以清楚地看出，GRPO放弃了价值模型，转而从组分数中估计基线，显著减少了训练资源。

由该图可以清楚地看出，GRPO放弃了价值模型，转而从组分数中估计基线，显著减少了训练资源。