标签: 强化学习 (9 篇)

vLLM 推出原生强化学习 API，通过标准化权重同步和异步训练支持，解决了大模型在线强化学习中框架碎片化和部署脆弱的核心痛点。

Hugging Face TRL 库引入差量权重同步技术，通过仅传输模型微小变化（约1-2%），将异步强化学习中的模型同步开销降低两个数量级，使万亿参数模型训练成本大幅下降。

VeRL-Omni 是一个专为多模态生成模型设计的强化学习训练框架，它解决了在扩散模型和全模态模型上进行高效、稳定RL训练的工程难题，将LLM的RL训练范式扩展到了图像、视频、音频生成领域。

ServiceNow AI团队在将强化学习训练从vLLM V0迁移到V1时，发现推理引擎的微小差异会导致训练崩溃，通过修复四个关键后端问题恢复了训练稳定性。

该研究将强化学习环境从逻辑谜题扩展到电商对话，通过8个可算法验证的场景，训练AI代理从“会聊天”到“会办事”。

Simon Willison 指出一个反直觉的事实：ChatGPT 的语音模式并非最强模型，而是一个 GPT-4o 时代的老旧模型，这与用户的直觉预期形成巨大落差。

系统分析RL中奖励黑客的成因和案例，重点讨论RLHF训练大模型时的奖励黑客问题及缓解方案。

奖励黑客在强化学习中由于奖励函数的缺陷而引发的挑战，特别是在语言模型中的影响，亟需更多的研究和应对策略。

Lilian Weng 的新文章深入探讨了 Transformer 的演变与新特性，揭示了这一重要架构在自然语言处理中的持续影响力。