ChatGPT后训练方法被OpenAI前高管公开，PPT全网传播

近日，OpenAI的两位前高管John Schulman和Barret Zoph在离开公司后，将ChatGPT的后训练方法整理成PPT并公开发布。这两位曾在OpenAI担任后训练研究的重要角色，因此他们对这一领域的见解备受关注。

背景介绍

John Schulman是OpenAI的联合创始人之一，曾负责后训练工作；Barret Zoph则曾任后训练研究副总裁。他们在斯坦福大学进行了一场关于后训练及ChatGPT开发经验的演讲，并通过社交媒体分享了PPT。遗憾的是，演讲视频未能录制下来，但观众们纷纷点赞收藏，证明了其的高质量。

后训练阶段详解

后训练是模型开发的最后一环，旨在使模型更像一个得力助手，遵循特定格式，并确保其适应实际生产环境。该阶段通常与产品团队紧密合作。具体来说，后训练包括三个主要组成部分：

1. 监督微调（SFT）：通过标注数据对模型进行微调。
2. 奖励模型（RM）训练：基于人类反馈的强化学习，调整模型行为。
3. 强化学习（RL）：通过不断迭代优化模型性能。

早期发展历程回顾

从GPT-3到GPT-4，再到ChatGPT的发布，OpenAI经历了多次迭代。ChatGPT最初版本发布时曾因用户过多导致系统崩溃，但随着功能扩展和优化，它逐渐变得稳定且多样化。例如，2022年12月的版本与2025年1月的版本相比，增加了许多新功能。

挑战与解决方案

在后训练过程中，模型遇到了一些问题，如拼写错误率上升、过度拒绝行为等。为了解决这些问题，团队采用了多种策略，如对比改进文本、引入配对数据等。此外，处理模型偏见和生成虚假也是重要课题，通过与人类专家协作进行标注，逐步提高了模型的可靠性和准确性。

未来展望

两人还探讨了如何保持模型多样性和趣味性的问题。他们认为，通过后训练迭代和模型蒸馏，可以在优化性能的同时保持基础模型中的多样性和独特性。此外，他们还推荐了一些相关的论文和博客，供感兴趣的研究者参考。

最新动向

John Schulman和Barret Zoph目前加入了由OpenAI前CTO Mira Murati创立的新公司Thinking Machines Lab。Mira Murati自去年9月离职后，迅速组建了一支强大的团队，吸引了多位来自OpenAI、谷歌等公司的顶尖人才。

本文来源： 量子位【阅读原文】