上交大发布首个OpenAI O1模型复现项目进展报告：深入解析AIxiv专栏中的旅程学习与捷径学习经验洞察

一、AIxiv专栏介绍

机器之心的AIxiv专栏自成立以来，一直致力于报道学术和技术。过去几年里，该专栏已收录了2000多篇文章，涵盖了全球众多高校和顶级实验室的研究成果，极大地促进了学术交流。如有优秀的工作希望分享，欢迎通过以下邮箱投稿：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com。

二、团队背景

本项目的核心开发团队主要由上海交通大学GAIR研究组的学生组成，包括本科三年级、四年级学生以及直博一年级研究生。项目得到了来自纽约大学（NYU）等一线大型语言模型领域顶尖科学家的指导。详细作者介绍见：https：//github.com/GAIR-NLP/O1-Journey#about-the-team。

三、最新研究报告

在OpenAI发布O1模型三周后，一支由高校年轻研究者组成的团队发布了题为“o1 Replication Journey： A Strategic Progress Report”的研究进展报告。这份报告的独特之处在于：

1. 技术潜力：通过327条训练样本，鼓励模型学会反思、纠错、回溯，其在复杂数学题目上的表现绝对性能超过了传统监督学习8%以上，相对性能提升超过20%。
2. 透明度：详细记录了团队在复现过程中的发现、挑战、试错和创新方法，倡导了一种全新的AI研究范式。

研究团队负责人表示：“我们的主要目标不是达到与OpenAI的O1相当的性能——考虑到资源有限，这是一个极具挑战性的任务。相反，我们的使命是透明地记录和分享我们的探索过程，聚焦于遇到的根本问题，发现新的科学问题，并识别导致O1成功的关键因素。”

四、技术细节

团队提出的模型在同一道数学题上，与OpenAI的o1-preview（答对）及GPT-4o（答错）的比较实例，证明了旅程学习不断试错、反思、自我纠正的能力在复杂推理任务场景上非常关键。

五、从“捷径学习”到“旅程学习”

团队提出了一种名为“旅程学习”的新范式，旨在使AI系统能够通过学习、反思、回溯和适应不断进步，从而展现出更高水平的智能。旅程学习鼓励模型不仅学习捷径，还要学习完整的探索过程，包括试错、反思和回溯。仅使用327个训练样本，旅程学习在MATH数据集上的表现就超过了传统监督学习8%以上。

六、探索过程

团队对O1技术进行了系统化、多阶段的探索。研究过程包括决策分析、挑战识别以及创新解决方案的开发。最终，这项研究不仅是对O1技术的探索，更是对先进AI系统研究方法的一次实践和验证。

七、科学进展报告的重要性

团队的进展报告方法旨在通过增强透明度、促进实时反馈和认可，以及鼓励对长期研究计划的持续承诺来解决新兴挑战。通过全面记录探索过程，包括成功和失败，团队正在培育一个独特而宝贵的数据集。

八、未来探索方向

团队确定了几个未来探索和发展的关键方向：扩展长思维的合成、长思维扩展定律实验、细粒度评估、人机协作、持续改进奖励和批评模型、推理树的合成优化、扩展训练方法、持续的透明度和资源共享、探索多代理方法、完善分析工具等。

九、“核桃计划”

核桃计划旨在成为人工智能复杂推理和深度思考能力研究的开放先锋，推动AI从简单的信息处理工具演变为具备“牛顿”和“爱因斯坦”级别深度思考能力的智能系统。最终的伟大愿景是让未来可以呈现AI驱动的科研范式，即AI完全具备参与人类科研的水准，从而更好地服务人类、改变世界。

本文来源： 机器之心【阅读原文】