当前位置:AIGC资讯 > AIGC > 正文

o1研发团队首次集体访谈:教AI数r用了一年半

笑死,原来o1也像人类一样喜欢赶ddl。

这是在o1团队的“大型见面会”上,OpenAI创始成员Wojciech Zaremba揭开的o1“黑历史”。

包括Zaremba在内的18名团队成员,在首席研究官Bob McGrew的带领之下围坐一团。

o1核心贡献者Hyung Won Chung、Noam Brown等关键人物,也都在此列。

随着成员们的踊跃发言,o1的发展历程也逐渐被揭开——受AlphaGo和早期GPT模型的启发,想到了将两张背后的范式结合。

后来,团队训练出了第一个可以生成连贯思维链的模型,标志着研究方向开始逐渐明朗和聚焦……

在充满松弛感的气氛当中,众人还分享了有关o1研发的许多趣事:

在OpenAI内部,也喜欢用“数r”来测试大模型能力

为了解决“数r”的问题,OpenAI花费了一年半

技术人员会把代码报错信息直接丢给o1去debug

o1曾经说过,生命的意义是“42”,还试图用代数来定义“love”

同时在研究过程中他们还发现,o1不仅比人类更善于发现新的CoT推理步骤,并且还涌现出了自我批评能力。

有网友称赞说,这的确是一个出色的团队,非常喜欢听他们的发言,并且模型的推理能力也确实比以前强。

量子位整理了这次访谈的实录,下面就一起来看~

o1是什么?推理又是啥?

Bob McGrew:我是OpenAI研究团队的负责人,我们刚刚发布了o1和o1-mini模型。

对此我们感到非常激动,今天我们的整个团队聚集在此,来介绍这两个模型。

什么是o1?

Bob McGrew:所以,(第一个问题),到底什么是o1?

Hyung Won Chung:我们开启了新的模型系列,并且起了一个新的名字叫o1。

这是为了强调,与GPT-4o等之前的模型相比,o1有很大的不同,稍后会有人详细解释。

o1是一个推理模式,所以它在回答问题之前思考的会更多。

我们发布了两个模型——(满血)o1的o1-preview,以及更小、更快的o1-mini,它和(满血)o1采用的是相同的训练框架。

我们希望大家喜欢我们的新命名方式。

推理又是什么?

Bob McGrew:那么推理又是什么意思?

Giambattista Parascandolo:对于简单问题来说,我们希望提问之后立刻就能得到答案。

比如你问意大利的首都在哪,你不用思考很多也知道答案是罗马。

但如果你想知道一个复杂问题的答案,或者写出一份好的商业计划,或者写一部小说,你可能就要思考一段时间了,并且你思考的越多,最后得到结果也就越好。

而推理就是把思考时间化为更好的成果的能力。

研发过程的那些事

你们在o1上工作多长时间了?

Bob McGrew:你们在o1上工作多长时间了?

Jakub Pachocki:在OpenAI早期,我们深受AlphaGo的成绩的启发,看到了深度强化学习的潜力,因此我们对其进行了深入研究,并看到了数据和机器人技术的大规模扩展。

我们也开始思考如何才能在通用领域进行强化学习,从而实现非常强大的人工智能。

然后我们看到了GPT范式中扩展和监督学习带来的惊人成果,从那时起,我们就一直在思考如何将这两种不同的范式合二为一。

Mark Chen:项目开始的确切时间很难确定,但已经与Yaku和Shimon进行了早期探索,与Lukash、Ilya进行了早期探索。

一个重要的时刻是Jerry的加入,他推动了这个大型项目的进展。

研究过程中的“Aha moment”

Bob McGrew:我认为在研究过程中最精彩的就是哪些“Aha moment”,你们的工作当中有哪些高光时刻呢?

Jerry Tworek:我们训练了 GPT-2、GPT-3和 GPT-4,每一次都成为了媒体上的热点。

但第一次有这种感觉是当模型出来的时刻,所有人都称赞很棒。

对于我而言,这样的时刻是当我们投入了更多计算资源,并第一次生成了连贯的思维链时。

当时我们心想,这和以前的模型看起来真的很不一样。

Trapit Bansal:当我们考虑训练一个推理模型时,我立即想到的一件事是,用人类的思维过程进行训练。

但我发现,使用RL训练模型来生成己的思维链,结果可以做得比人类写的思维链更好。

在我看来这就是一个“Aha moment”,它告诉我们可以通过这种训练方式,让扩展模型的推理能力得到扩展。

Hunter Lightman:我们花了很长的时间,一直尝试让模型更好地解决数学问题。

为此我们付出了很多努力,我们想出了很多不同的方法,但有一件事让我一直很沮丧,

每次我读到这些模型的输出时,发现模型似乎永远不会质疑自己哪里出了问题,什么时候犯了错误。

但当我们训练早期的o1模型并与之对话时,发现它在数学测试中得分更高了。

通过观察它的推理方式,我们发现它开始质疑自己,并进行了非常有趣的反思。

那一刻我感觉哇,我们发现了一些不同的东西。

感觉模型像人还是像机器?

Bob McGrew:你们在看模型的思考过程时,觉得他们是更像真人还是更像机器人?

Liam Fedus:这更像是一种“精神体验”。

你可以看到模型也会犯很多人类经常犯的错误,又能看到它对一些常识提出质疑。

很奇怪,模型会带有人类的行为。

Wojciech Zaremba:在模型被设定了ddl的情况下,往往会在快due的时候迅速得出结论。

好像大模型也知道自己必须立刻给出答案。

Karl Cobbe:我年轻的时候花了很多时间参加数学竞赛,而我进入人工智能领域的原因,就是试图实现这个过程的自动化。

所以对我来说,这是一个非常重要的转折点,因为我看到这个模型实际上能够遵循我解决这些问题时使用的步骤

虽然这不是完全相同的思路,但非常非常可靠。

Wojciech Zaremba:可以相信,这些模型正在成为真正推动工程和科学发展的因素。

如果它们似乎能解决即使专家也难以解决的问题,那么将能够推动科学进步。

研发过程中的困难

Bob McGrew:我们谈了很多令人兴奋的时刻,那么在工作过程中又遇到了什么障碍?

Jerry Tworek:训练大型模型从根本上来说就是一件非常非常困难的事情。

有成千上万的事情可能出错,而且在每个领域都有事情确实出错了。

所以几乎这里的每个人都像你们知道的一样,在训练这些事情上付出了很多心血和汗水,并想出了如何让模型继续学习和进步的方法。

实际上,成功的道路非常狭窄,而失败的方式却有很多。

Wojciech Zaremba:就像发射火箭一样,如果你偏离了一个角度,你就无法到达目的地,而这就是我们的工作。

Ilge Akkaya:这个模型非常好,通常比人类好几倍,能达到博士的水平。

但是这有时是一个挑战,因为我们必须经常去验证模型没有偏离轨道。

但我们已经饱和了所有行业级的评估,我们不知道下一步该研究什么。

Mark Chen:这也是一种成就感,就像每次遇到难题一样。

这就像这个团队要克服的另一个障碍,我真的很高兴我们克服了所有这些小障碍。

OpenAI内部这样用o1

如何测试模型表现

Bob McGrew:你们测试模型的方法有哪些,有没有什么喜欢的问题,并发现模型在这些问题上变得越来越好?

Shengjia Zhao:Strawberry里有几个r?

Wojciech Zaremba:不管是什么原因,ChatGPT无法可靠地解决这些问题。

我们花了一年半的时间,现在我们可以计算出strawberry中的“r”的数量。

Hunter Lightman:我有一个习惯,我想其他人也有。

每当上推特时,都会看到一些帖子说大模型无法解决这类问题。

我就把它复制粘贴进去,然后发现我们的模型可以做到。

内部o1使用方法

Bob McGrew:为了让人们了解他们可以使用这个模型做什么,我很想听听你们使用o1的一些方法。

Hyung Won Chung:我使用o1的方式主要是用来写代码。

我的很多工作都是关于代码的,我越来越关注问题定义,并使用TDD(测试驱动开发)。

因此,我不再编写实现功能的代码,而是专注于编写单元测试。

因为o1可以实现东西,所以我可以专注于重要的、需要解决的高级问题,这真的是一种转移我注意力的重要方式。

另一个领域是debug,现在当我收到一些错误消息时,我只需传递给o1,有时它会立即解决。

即使没有,它至少会给出一些更好的问题,提供一些更好地思考这个问题的方法。

所以对我来说,这是一个非常重要的工作变化,我希望这也能帮助其他人。

o1-mini的诞生过程

Bob McGrew:o1-mini的故事是怎样的?它是如何诞生的?

Hongyu Ren:我们想把o1系列带给更多人,它有更低的成本,所以做了o1mini。它是o1框架的最小演示,是“推理专家”。它不一定能知道你喜欢的名人的生日,但是它能有效地推理,并且很智能。

实际上它真的很聪明,比我们之前最好的模型都要聪明很多,几乎与o1相当,但是成本和时延比它低很多。

不过也确实有局限性,可能不知道很多外部世界知识。这与技术本身无关,我们试图让它达到和此前最好模型最小版本差不多的水平,并且仍旧在努力进一步改进它。

用户尝试了o1mini会很兴奋,因为它推理和思考的速度真的很快。

是什么激励你做这些研究?

Łukasz Kaiser:我只是觉得在这个世界上,有一些可以做推理、有智能的东西,比想象中小很多。它们可以以不同方式做到这一点,这就非常迷人了。

Giambattista Parascandolo:我觉得这是向模型范式转变的第一步。以前花很长时间才能解决的问题,现在做到了分钟级,这只是漫长道路的第一步。我们希望能在几个月或几年后,迈出第二步。

Wojciech Zaremba:我觉得这很有意义,我们可以对世界产生一些实质性的积极影响。

而且这很有趣,我喜欢对着电脑“说话”,喜欢在集群上开始一项工作,也非常喜欢合作。

Jerry Tworek:我认为科技可以改善人类生活,我喜欢我们的模型能为人工作,帮助我们解决日常问题,赋予它推理能力让它做事。

Liam Fedus:我认为这一范式解决了一些模型无法解决的问题,所以不仅仅是回答变好一点,而是通过规划、通过错误纠正,它解锁了全新能力,在世界上创造新知识的能力,比如科学发现,我认为这是最令人兴奋的部分。

短时间内,它的自身进化会越来越快,这真的很棒。

Mark Chen:我们团队中一些成员有数学等方面的背景,这驱动我们自己想去创造一个最好的系统。

Hyung Won Chung:我认为推理比人们想象中的还要强大。当人类想要完成某项任务时,最基本的方法就是推理,你会遇到困难,你必须要找到解决方法。

我觉得AI研究员的工作好像是要找到一种方法来投入更多的计算。硬件方面的研究者在这方面做的很好,很长一段时间硬件成本都在指数级下降。

需要的计算量越来越多,就好像肩膀上的重量越来越重。这个新模式找到了一种方法,来帮我们卸下一些重量。

在这项研究中,你们还观察到什么吗?

Jason Wei:我们发现一个有趣的现象是,每个模型都有自己的“怪癖”。

训练的每个模型在每个任务上的表现都不完全相同。所以模型可能有些任务表现得更好,有些表现得更差。每个模型都有它自己的个性和优点。

最后,原视频在这里奉上~

原视频地址:

https://www.youtube.com/watch?v=tEzs3VHyBDM

总结

**总结文章:OpenAI o1团队的“思考”革命与研发历程**
在本次OpenAI团队成员的大型见面会上,OpenAI公布并详细介绍了其最新模型o1及o1-mini。这个模型系列以其卓越的推理能力引起了广泛关注,标志着AI技术的发展迈向新的高峰。
### 核心内容概述
**o1模型的背景与特点**:
- **起源与命名**:o1模型系列受到AlphaGo和早期GPT模型的启发,旨在将强化学习和监督学习的范式结合,以生成具有更强推理能力的模型。
- **推理能力**:o1在回答问题前能够进行更深入的思考,适用于需要复杂思维和逻辑判断的任务。
- **模型分类**:发布了o1的全量版本(o1-preview)以及更小、更快的o1-mini,适应不同场景和需求。
**研发过程与趣事**:
- **研发灵感**:团队成员从AlphaGo的成功中汲取灵感,探索深度强化学习在通用AI中的应用。随后,结合GPT的扩展性和监督学习的结果,逐渐明确研究方向。
- **关键突破**:经过长时间的研究,团队首次训练出能够生成连贯思维链的模型,标志着推理模型研发的重大突破。
- **研发趣事**:OpenAI内部常用“数r”等问题测试模型,一年半后成功解决。团队还尝试将代码报错信息交由o1模型调试,甚至发现模型曾尝试用代数定义“love”。
**o1的能力展现**:
- **自我批评能力**:o1不仅擅长发现新的推理步骤,还能进行自我批评,修正错误,在数学测试中的表现尤为突出。
- **推理泛化**:团队发现,模型在推理过程中展现出的流畅性和连贯性,使其在某些任务上的表现超越了人类。
**团队成员心声与愿景**:
- **工作体验**:团队成员表示,o1的开发过程充满挑战,但模型的出色表现让所有的努力都值得。他们认为o1的推理能力将对未来的科学研究和工程应用产生深远影响。
- **应用展望**:o1和o1-mini被广泛应用于代码编写、问题调试等实际场景中,提高了工作效率和准确性。团队成员期待通过o1,为科技发展贡献更多力量。
### 访谈亮点
- **“Aha moment”**:模型生成连贯思维链、展现出自我批评能力等关键进展,团队成员分享了这些令人激动的瞬间。
- **有趣发现**:o1模型在设定DDL(最后截止日期)时表现出明显的“赶工”行为,与人类颇为相似。
- **实际应用**:团队成员分享了他们如何利用o1进行代码编写、问题调试等日常工作,展示了o1模型的实用价值。
总的来说,本次OpenAI o1团队的见面会不仅揭示了o1模型的卓越推理能力和研发历程中的趣闻轶事,更展现了团队对于未来科技发展的美好愿景和坚定信心。随着o1及o1-mini的发布和应用推广,我们有理由相信AI技术将在更多领域展现出其巨大的潜力和价值。

更新时间 2024-09-23