前OpenAI高管发布ChatGPT后训练PPT，揭秘模型优化之道

最近，一对曾在OpenAI肩负重要职责的高管共同发布了一份关于ChatGPT后训练方法的PPT，引起了广泛关注。作为一位OpenAI的联合创始人，曾负责后训练工作的核心人物，以及另一位曾任后训练研究副总裁的专家，他们的见解给行业带来了深刻的洞察。

两位高管在社交媒体上透露，他们在斯坦福大学进行了一场关于后训练的演讲，虽然演讲没有录制下来，但他们将其精华整理成了PPT，与公众分享了ChatGPT的开发经验和后训练阶段的深入分析。在他们的介绍中，后训练（Post-Training）被定义为模型开发的一步，其主要目标是使模型更合理地作为助手，通过与产品团队的紧密合作，确保模型在实际应用中能够符合需求。

在PPT中，二位高管详细讲解了后训练和预训练的不同之处。相较于基础模型，后训练阶段的计算资源需求显著降低，迭代周期加快，并通过基于人类反馈的强化学习（RLHF）进行模型的优化。在后训练中还涉及教模型使用工具、塑造其个性以及强化拒绝和安全行为等重要策略，而这对模型的表现依赖于预训练阶段的泛化能力。

后训练包含三个核心组成部分，分别为监督微调（SFT）、奖励模型（RM）训练和强化学习（RL）。他们通过这些策略不断提升ChatGPT的表现，确保其在多样化任务中应对自如。的部分中，二位高管回顾了ChatGPT的早期发展历程，从GPT-3和GPT-3.5的发布，到RL团队的努力，再到GPT-4的准备过程，以及决定何时发布ChatGPT等重要节点。更为有趣的是，ChatGPT在发布后迎来了前所未有的用户涌入，一度导致系统崩溃，展现出了极高的市场需求。

随着时间的推移，ChatGPT的功能不断丰富，最初版本与后来的更新之间，添加了不少新功能。讲解中，两位高管提到在功能扩展和团队规模增长的背景下，如何通过建立主线模型（mainline model）来有效整合变化，降低风险，确保模型稳定性。他们提到，进行小规模测试以及频繁的更新迭代，可以在发现问题时迅速回滚到之前的版本，这是保护产品质量的有效策略。

开发过程并非一帆风顺，二位高管也坦诚分享了所遇到的一些挑战。例如，模型在文本生成中出现的拼写错误和早期的拒绝行为冗长等问题。通过对比和反馈优化，他们逐渐解决了这些问题。他们还深入探讨了模型偏见、生成虚假信息以及涉及主观判断的高风险任务中获取高质量人类反馈的挑战。对于这些问题，他们提出了人类与AI团队协作进行标注作为一种解决方案。

在对后训练过程的深入探讨后，两位高管强调了明确规范的重要性，并分享了OpenAI即将发布的模型规范，指出这是确保模型按照人类意图行动的关键。他们提出了如何在模型训练中保持多样性和趣味性的开放性问题，认为通过后训练的迭代和模型蒸馏可以有效实现这一目标。

，他们了以InstructGPT、Llama 3.1等为代表的两个时代的模型训练流程，探讨了从基础模型到对齐模型的训练步骤，最终生成一个经过多次优化的对齐模型。同时，他们推荐了一些关于后训练的研究论文和博客，帮助更多研究者和开发者理解这一领域的前沿动态。

值得一提的是，离开OpenAI后，这两位高管纷纷加入了前OpenAI CTO Mira Murati所创办的新公司Thinking Machines Lab，继续他们的AI研究与开发工作。Mira Murati于去年9月官宣离职后，迅速筹备新公司并获得了超过1亿美元的投资，吸引了众多顶尖研究员和工程师加盟。此次PPT的发布不仅是对ChatGPT后训练阶段的深刻也是对未来AI研究发展方向的初步探索，值得业界关注。