腾讯混元RL研究｜临界批大小理论，解锁GRPO提效新解法

现在大家越来越依赖大模型强化学习, 这就导致GPU集群规模越弄越大。与此同时, 训练效率的问题变成了一个经常被忽略的瓶颈所在。腾讯混元团队的最新研究给出了一个比较实际的解决办法。这个办法告诉我们, 批大小并不是越大越好。只要我们把调和学习率这个问题处理好, 就大约能省下接近三成多的时间。

临界批大小理论走进强化学习

腾讯混元团队把这经典的关于临界批大小理论的, 又给重新推演了一遍, 直接放到了在线的大语言模型强化学习场景里面去, 传统的理论都是针对静态数据集来搞的, 可是呢在在线的强化学习里, 模型自己是生成训练资料的, 它生成的这个过程和训练的节奏, 是天然的不同步的, 所以啊原来的一些假设就不成立了。

本研究的聚焦点落在了GRPO和PPO这两类被广泛采用的主流算法上面, 研究的结果表明, 当把批大小这个数值扩大的时候, 学习率就必须跟着进行同步的重新调整, 如果不这么做的化, 那么每一条生成的响应里面的有效学习量就会被稀释掉, 这也就是在给读者传达一个意思, 那就是批大小这个事情并不是单调递增然后越大就越好, 而是存在着一个可以通过计算得出具体数值的甜蜜区间。

生成与训练两条流水线错位

在在线强化学习场景里, 那个模型既充当学生的角色也充当出题人的角色。这就导致了生成阶段的速度和训练阶段的速度天然存在不一致的情况。这种情况下, 效率黑洞就出现了。生成开销占到了强化学习总成本的最大比例。任何一点浪费都会直接体现在算力账单上。

腾讯混元指出, 批量大小与学习率之间的耦合关系, 正是用来填补这道缝隙的关键旋钮, 在不改变硬件配置的情况下, 仅通过参数调优的方式, 就能够释放出那些被锁死的吞吐潜力。

PPO吞吐量最高提升2.29倍

在保持硬件的配置处于固定状态的情况之下, 通过实验我们发现, 只要把PPO算法之中的那个批大小的这个设置给调整到一个它最合适的、也就是最佳的那个范围里头去之后, 那么它在进行那个生成的时候, 其吞吐量的最高水平的一个提升幅度, 达到了就是2.29倍之多。

而在同样是那一些GPU卡的情况下, 也就是说单位的时间之内所能处理的数据量差不多就已经将近翻了一番还多了那么一点点。

对于日常进行训练的团队来说, 这就意味着他们可以在不增加集群容量的情况下, 把完整一轮强化学习迭代所需的等待时间缩短掉, 这样一来, 就实实在在地减少了需要用来反复试错的算力成本。

GRPO省29%时间达标

根据测量结果, 采用那个最合适的GRPO配置方案, 所花费的时间比以前的方法减少了29%, 却同样达到了之前的验证目标。经过计算可以发现, 原来需要三天才能完成的训练周期, 现在被压缩到了两天多一点的时间就实现了。

这一数据, 对于需要经常性地对实验的参数进行调整的团队来说, 显得特别重要。因为节省下来的时间, 大家可以用来多运行一组消融性质的对照试验, 而不是一直在那里干等着那个表示进度的条条框框走完为止。

行业比大模型时它先磨刀

当大多数团队还在那是比拼参数数量还有集群规模的时候, 腾讯混元是把注意力重新给放回单位算力的产出效率上面了。这项研究它是不去追求架构创新的, 而是给现有的训练流程加上一个是可以直接去操作的调参维度。

它的意义在于提供了一种标准化的方法, 以便让在线强化学习实现规模应用。这个方法的操作步骤是先计算出临界批的大小, 然后再去重新调整学习的速率。只要把这两个步骤走完, 就可以确定最合适的配置参数, 从而不需要进行盲目的尝试和错误。

对训练团队的实操价值

对于每天都要进行烧卡操作的团队来讲, 这项研究把应该设定多大的批大小从一个依赖个人经验的问题变成了可以通过计算来解决的问题。在硬件条件和目标任务都保持不变的情况之下, 调整参数的路径是非常清晰的, 所带来的收益也是能够被精确量化的, 做决策所凭借的依据是非常充分的。

当你的团队正在运行在线强化学习任务的时候, 你应该把调整批大小当作优先事项, 还是说直接增加显卡资源更合适, 欢迎大家来到评论区里面分享自己在实战过程当中积累的经验, 如果你觉得这些内容对你有用的话, 就请点赞并分享出去。