间隔OpenAI发布o1模型已经由去一周，其口碑涌现了明显的两极分解。
一种声音认为o1的涌现意味着人类间隔AGI只有咫尺之遥，另一种声音认为o1又贵又不好使，其能力表现乃至不如GPT-4。
沉淀一周后，我们结合熵简AI团队的研究成果，对o1的技能事理及家当影响进行详细磋商，形成了以下判断，与各位分享。
原始报告的获取链接放在文末，欢迎感兴趣的朋友下载。
（1）直不雅观认识o1模型强大的推理能力
OpenAI于9月13日推出o1模型，在逻辑推理能力上大幅提升。
在AIME 2024数学竞赛中，o1模型的准确率达到惊人的83.3%，比较之下GPT-4o的准确率只有13.4%，提升6倍。
在CodeForces代码竞赛中，o1的准确率乃至达到了89%，GPT-4o的准确率是11.0%，呈现大幅提升。
用柱状图来解释逻辑推理能力的提升，还不足直不雅观。下面我用OpenAI官方的一个详细案例，来解释o1目前的逻辑推理能力到底达到了若何的水平。
这是一个“密码破译”的例子，给定一串密文“oyfjdnisdr rtqwainr acxz mynzbhhx”，它该当翻译成明文“Think step by step”，请你根据以上规则，翻译以下密文：oyekaijzdf aaptcg suaokybhai ouow aqht mynznvaatzacdfoulxxz
下图是GPT-4o的回答，回答很工致，先“break this down step by step”，然后进行分词，但末了无法破译密码，认为只给出一个案例是不足的，希望我们给予更多提示。
接着让我们来看o1的回答：
首先，o1对给出的问题进行剖析，认为可以先检讨一下每个单词的长度。
它敏锐的创造，密文中每个单词的长度，和明文中每个单词的长度之间，有着2倍的关系。
oyfjdnisdr（10个字符）-> Think（5个字符）
rtqwainr（8个字符）-> step（4个字符）
在这个根本上，o1推测该当存在一种映射关系，使得密文中相邻的2个字符能够映射为明文中的1个字符，即：
oy -> T
fj -> h
那么怎么才能把'oy'映射到'T'呢？
针对这个问题，o1进行了多种考试测验。首先，按字母在字母表中的顺序位置，可以假设o即是15，y即是25，T即是20。
o1考试测验了加法，考试测验了减法，创造都不对。
随后o1考试测验把o和y相加，并对26求模，创造也不对。
然后o1创造，把o和y相加再除以2，恰好即是T。
创造规律的时候，o1说：Wait a minute, that seems promising.
随后，o1把这个规则用在了其他字符组上进行验证，都成功了。
因此，o1找到了密码破译的规则，那便是把密文中相邻2个字符在字母表中的位数相加并除以2，就得到了明笔墨符在字母表中的位置。
通过这个规则，o1把“oyekaijzdf aaptcg suaokybhai ouow aqht mynznvaatzacdfoulxxz”这串密码成功翻译了出来，答案是：
There are three R's in Strawberry.
通过这个例子，我们能够更直不雅观的感想熏染o1模型强大的逻辑推理能力。
尤其值得把稳的是，这种推理能力不是纯挚纵深式的推理，而是类似决策树的层层递进。碰着困难的时候，o1会做出假设，并对假设进行验证。如果假设被证伪，它会选择其他思路进行打破，终极得到精确答案。
比较CoT（思维链）而言，它更像是ToT（思维树）的构造。
（2）o1事理猜想：RL+MCTS，将CoT能力内化
目前OpenAI官方对付o1的事理是讳莫如深的，只有一篇官方的技能报告，标题为《Learning to Reason with LLMs》。
全文不长，但个中关于o1事理的磋商更少，只有一句话：Through reinforcement learning, o1 learns to hone its chain of thought and refine the strategies it uses.
先说结论，我们认为o1模型的核心在于：通过RL及MCTS，将CoT能力内化进LLM中。
在o1涌现之前，CoT能力更多是一种Prompting技巧，是独立于LLM之外存在的，而o1的代价在于将思维链的能力内化到了LLM中。
那么详细而言，o1是如何做到这点的呢？为了回答这个问题，我们得参考去年关于Q的磋商。
要知道，Q、Strawberry、o1实质上是相通的，因此去年底对Q的解读和剖析，对付我们理解o1的事情事理是相称有帮助的。
在去年12月的时候，我们对Q的事理做了详细的磋商和推测，详细可以参考这篇文章：
【重磅】解码OpenAI Q：迈向AGI的崇奉之跃
在对其技能事理进行剖析之前，我们先讲讲大模型演习的第一性事理。
（3）大模型演习的第一性事理
大模型演习的第一性事理：实质上大模型的能力都来自于演习数据，表示某方面能力的演习数据密度越高，演习出的大模型这方面的能力就越强。
粗略的分类，大模型的能力表示为三块：措辞表达能力、知识影象能力、逻辑推理能力。
可以说，大模型的这三项能力的获取和节制，与上述的第一性事理是密不可分的。
首先来看措辞表达能力。大模型的措辞表达能力很强，各国措辞来回翻译很少出错，也鲜有用户反馈说大模型的回答存在语法缺点，这是为什么呢？
这是由于，随便找一份演习数据，里面的每一句话都包含着语法信息。以是演习数据中表示措辞表达能力的数据密度是非常高的，这也是为何大模型的措辞能力很强的缘故原由。
再来看知识影象能力。这是大模型的另一项主要能力，但偶尔会涌现影象缺点，表示为幻觉征象。比如我们问大模型水浒传108将分别有谁，大模型可能会说有武大郎。
这是由于天下知识的覆盖面非常广泛，虽然演习数据体量很大，但是分散到任何专项知识的数据集就很少了。演习数据密度低了，自然演习出的大模型这方面的能力就弱，对专项知识的节制就不足踏实，表示为幻觉。
然后再来看逻辑推理能力。这次o1模型在逻辑推理能力上产生了巨大打破，那么为什么此前的大模型在逻辑推理能力上比较弱呢？
这是由于演习集中包含推理过程的数据太稀疏了。
就比如现在您在看的这篇文章，实质上是我的思考结果，不是我的思考过程。
可能在未来的某一天，这篇文章会被演习进某个大模型中，但是大模型学到的是思考的结果而已，由于我们人类并不习气于把大脑中发生的思考过程写成笔墨，一股脑都放到互联网上。
这就导致互联网上的海量数据中，包含推理过程的数据集非常稀疏。当我们把这样的演习集喂给大模型的时候，又怎么能够指望大模型学到强大的逻辑推理能力呢？
反过来思考，为了让大模型得到更强的逻辑推理能力，我们须要做的，正好是供应更多包含推理过程数据的演习集。
有了这个大条件，对付Q（也便是o1）的理解就迎刃而解了。
（4）23年底关于Q的理解：阐明微调、思维树、过程监督
去年下半年的时候，微软发布了Orca系列模型。Orca模型采取了高质量合成数据进行演习，取得了不错的效果。
值得把稳的是，在演习Orca模型时，微软采取了Explanation Tuning的方法，实质上是用包含推理过程的数据集对模型进行演习。
通过在演习集中加入推理过程数据，Orca 2这样一个小模型，在性能上追平乃至打败了那些比它大5-10倍体量的大模型，解释阐明微调是有效的。
去年另一项关键研究是ToT，即思维树，Tree of Thought。
卡尼曼在其著作《思考，快与慢》中提到一个著名的模型，即人类的思考活动可以分为系统1的快思考和系统2的慢思考。
当被问到“2+3=？”时，人类的推理过程和LLM很相似，根据上文直接推出下文，不带迟疑，这是系统1的快思考。
当被问到“23×68=？”时，我们无法直接得出答案，而须要在大脑中列出算式，进行乘法求解，得出答案后再填在纸上，这里面实在隐蔽了100个token旁边的思考推理，这是系统2的慢思考。
绝大部分存在经济代价的思维活动，都来源于人类的慢思考，因此如何给大模型加上慢思考的能力，是大家一贯以来的追求。
慢思考有好几种框架，有纯挚的CoT，有CoT+SC，也有ToT思维树，个中ToT这种办法的普适性更强，可以和树搜索算法相结合。
ToT这篇文章中，作者将慢思考能力用在了24点游戏上，给出4个数字，让大模型找到一种加减乘除的办法，让结果即是24。
通过ToT，大模型的成功率从7.3%直接提升10倍，到了74%，取得了非常显著的效果。
当时就有朋友质疑说，ToT这个方法对付卡牌类游戏可能有用，但是对现实生活中的繁芜任务而言，可能是没用的。
但是别忘了，这次o1背后的核心作者之一Noam Brown之前便是专门研究扑克AI的专家，有时候智力游戏背后的AI履历是有着普适代价的。
去年另一篇关键的论文是OpenAI在5月发布的《Let's verify step by step》，这篇文章提出了“过程监督”的演习方法，大幅提升了大模型的数学推理能力。
由于这是OpenAI自己发布的文章，而且数学推理能力也是这次o1表示出来的核心能力之一，以是过程监督（PRM）大概率被用到了o1模型的演习中。
实在PRM的事理并不难明得。如果把人类标注员类比为数学老师的话，那便是从只给结果分，变成给过程分了。
首先让大模型对问题进行分步解答，然后标注员对回答结果按步骤给分。就算末了答案错了，只要过程对了，还是能得到过程分的。
OpenAI创造，通过这种“给过程分”的演习办法能够显著提升大模型对数学问题的推理能力。
综合以上剖析，我们判断Q（也便是现在的o1）实在质是通过自博弈强化学习，以及蒙特卡洛树搜索等技能，将思维树的推理能力，通过合成数据的形式演习给大模型，从而大幅增加大模型逻辑推理能力。
（5）24年以来的几篇主要论文
以上是23年底的判断，韶光转眼来到了24年9月。
今年以来，有几篇关键论文，对付我们理解o1很有帮助。
第一篇是今年5月OpenAI揭橥的《LLM Critics Help Catch LLM Bugs》。OpenAI基于GPT-4，演习出了CriticGPT，一个专门给大模型找茬的模型。
人类用户让GPT-4写一段python代码，GPT-4写出来后，让CriticGPT对这段代码进行反思、查错，从而让天生结果更加准确。
这里面的核心思想，有点类似AlphaGo引入的自博弈强化学习。
众所周知，AlphaGo的演习分为两个阶段。第一阶段是模拟学习，即模拟海量顶尖人类棋手的棋谱。通过这个阶段的演习，AlphaGo发展得很快，但依然无法超过人类最强者。
随后DeepMind团队引入了第二阶段的演习，即自博弈强化学习。在AlphaGo根本模型之上，分解出两个孪生模型相互博弈。
通过引入自博弈强化学习，AlphaGo只通过短短40天的演习，就超过了人类最强棋手，进入无人能够企及的领域。
第二篇主要论文是由Google团队于今年6月揭橥的，题为《Chain of Thought Empowers Transformers to Solve Inherently Serial Problems》。
这篇文章从理论角度，解释了Transformer善于并行打算，但并不善于串行推理。而通过把CoT能力加入到模型中，能够有效增加Transformer模型处理串行繁芜任务的能力。
进一步来看，通过Circuit Complexity Theory，作者证明只要CoT的步骤足够多，GPT模型就能够仿照任意大小的布尔电路。
布尔电路，便是由与或非门构成的逻辑电路。如果一个模型能够仿照任意大小的布尔电路，那么就能在多项式繁芜度内办理所有决策类问题。这对把CoT能力内化到LLM中来说，是一个很强的理论支撑。
第三篇主要论文，是由Google DeepMind团队于今年8月揭橥的，题为《Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters》。
这篇文章通过实验证明，为了增加大模型的性能，与其去scaling up演习算力，不如scaling up推理算力。通过增加推理算力，能够让小模型赛过比它大14倍体量的大模型。
今年的这些主要研究，实质上和OpenAI o1模型的技能路径是高度吻合的。
在OpenAI官方表露的材料中，提到有两种办法能有效提升o1模型的推理性能，一种是增加强化学习时的演习算力，另一种则是增加推理时用的测试算力。
o1模型的主创之一Jason Wei（他也是CoT的发明人）就提出，在历史上人们只聚焦于scaling up演习算力，现在通过把CoT能力内化进大模型，我们可以有抓手来scaling up推理算力了。这意味着存在一个全新的维度，能够有效提升大模型的推理能力。
（6）o1模型的不敷之处
o1模型的推出，带来的是两极分解的口碑。
一种声音认为o1的涌现意味着人类间隔AGI只有咫尺之遥，多见于自媒体。
另一种声音认为o1又贵又不好使，其能力表现乃至不如GPT-4。
这里给出我们的判断：o1代表着一个新的提升大模型推理能力的维度，有着较高的代价，但目前间隔AGI依然有较大间隔。
首先来看这个例子，Jifan Zhang构建了一个数据集叫做《Funny Caption Ranking》，便是从纽约时报中把漫画图拿出来，让AI来取搞笑标题，交由人类进行评分。
结果显示，o1取出的标题，每每没那么有趣，评分乃至不如GPT-4，因此作者认为o1的性能并没有大家说得这么好。
我认为这个论断有失落偏颇。就像我们人类也有不同的性情特色，稽核一个数学博士的诙谐感，未必合理。
OpenAI在官方文档中也提到了这点。o1模型在“reasoning-heavy”类问题中，表现得更加出色，比如数据剖析、写代码、做数学题。
但是如果在普通的文本类问题中，o1的表现结果在人类看来，和GPT-4差不多。因此，这个案例中o1表现不佳，是可以理解的。
但是下一个案例中o1的表现，就值得我们重视了。
ARC-AGI是由Google的AI学者François Chollet构建的，他认为目前市情上对AGI的定义是模糊不清的，而真正的AGI该当是：一个能够有效节制新技能，并办理开放域问题的系统。
根据这一定义，他创造了ARC-AGI测试集，专门测试各种AI模型是否真正意义上达到了AGI。
其测试题如下，给出几个图例，让AI从中探求规则，然后在右边的图中给出答案。对付我们人类而言，从中探求出规则并不困难。比如在左边的图中，该当在赤色的色块边上长出4个黄色色块，在蓝色色块的高下旁边长出4个橙色色块，而对付浅蓝色和紫色色块而言，不做变革；再比如右边的图中，该当对输入色块施加向下的重力，得到输出结果。
但是对AI来说，要总结出这样的规则，并且推理出准确的答案，并非易事。
根据测评结果，o1模型的一次通过率为21%，比较GPT-4的9%确实有了明显的提升，但是只和Claude Sonnet 3.5打平，并且间隔AGI 85%的门槛，还有不短的间隔。
这也解释，o1目前虽然在逻辑推理能力长进步了一大步，但是人类还须要经由更加深入的探索，才能不断逼近AGI的目标。
（7）o1带来的影响与启迪
末了来磋商一下OpenAI o1模型给全体行业带来的影响与启迪。
首先，逻辑推理能力一贯以来都是AI的皇冠，也是目前制约Agent落地的核心障碍。
经由一年多韶光的发展，AI Agent一贯处于喝采不叫座的状态，由于落地效果不足好。
一个Agent每每涉及多个大模型推理的串并联，如果每次推理的准确率是90%，那么连续10次推理后，成功率是0.9^10 = 34.8%，惨不忍睹。
因此，Agent要想落地，关键在于把每次推理的准确率从90%提升到99%以上，这就涉及到大模型的逻辑推理能力。
o1模型最大的代价在于，它证明了通过RL+MCTS，是可以有效增加LLM逻辑推理能力的。OpenAI就像是一站行业明灯，为家当指明了一条新的方向，这条方向的潜力尚未被充分挖掘，值得投入资源探索。
与此同时，o1实质上是算法及数据的创新，对演习算力的依赖度较低，因此对海内AI公司而言是一个利好。
o1带来的第二个影响在于，提示词工程的主要性在未来可能会快速低落。
在过去一年中，呈现出了大量提示词工程技巧，比如让大模型进行角色扮演，或者对大模型说“你如果回答得好，就给你小费，回答得不好，就给你惩罚”。
通过这些提示词技巧，能够有效增加大模型回答的效果。
但是在未来，我们只须要给大模型提出“准确、清晰、简短有力”的问题，让大模型进行慢思考即可。
过去一年中，不少海内的企业在提示词工程方面下了不少功夫，培植系统，这方面的投入在未来可能是没有太大意义的。
随着提示词工程变得越来越不主要，未来智能体会发挥越来越大的代价，值得重视。
o1带来的第三个影响，也是目前市场并未形成共识的一点，便是：o1模型的背后存在真正意义上的数据飞轮。
OpenAI目前公开的o1模型，在利用的时候，把原始的CoT思维过程隐蔽起来了。
根据官方的说法，这么做的缘故原由是为了提升用户体验。但我们认为更紧张的缘故原由，是为了保护o1模型产生的数据飞轮。
说到数据飞轮，上一代以ChatGPT为代表的GPT系列模型实在并没有产生数据飞轮效应。
海量用户的利用，并没有让OpenAI积累到足以演习出下一代模型的优质数据，从而扩大竞争上风。相反，一年之后Anthropic、Cohere、Mistral都已经开始靠近乃至追平了OpenAI的模型性能。
但是o1模型不太一样。假设一个用户利用o1模型来编写代码或者做数学题。无论代码还是数学，都有一个共性特点，那便是“对便是对，错便是错”，是一个0-1问题。
如果o1模型回答的结果是精确的，那么其推理过程大概率也是精确的。
而一个能够推导出精确结果的推理过程数据，正好是目前AI行业最稀缺的优质资源。
如果OpenAI能够善用o1所带来的数据飞轮，将会对其演习下一代o2、o3模型带来巨大帮助。
末了，给出OpenAI o1模型的主创团队清单，除了大名鼎鼎的Ilya之外，还有不少新面孔。
如果大家对付o1模型的技能事理，以及其未来的发展感兴趣的话，非常建议大家去关注他们的账号，这才是真正高质量的一手研究资源。