北大年夜AI奥数评测o1mini比o1preview分数还高

量子位 | "大众号 QbitAI

OpenAI的o1系列一发布，传统数学评测基准都显得不足用了。

MATH-500，满血版o1模型直接拿下94.8分。

更难的奥数约请赛AIME 2024，o1也得到83.3%的准确率。

随着现有的数学评测集逐渐被占领，大家不禁开始好奇：大模型能否胜任更具寻衅性的数学竞赛，乃至是奥林匹克数学竞赛？

为此，北京大学与阿里巴巴的研究团队联合打造了一个专门用于数学竞赛的奥林匹克评测基准——Omni-MATH。

Omni-MATH专门用于评估大型措辞模型在奥林匹克水平的数学推理能力。
评测集共收录了 4428 道竞赛级别的问题。
这些问题经由精心分类，涵盖了 33 个（及更多）子领域，并且分为 10 个不同的难度级别，使得我们能够对模型在各种数学学科和繁芜程度上的表现进行细致剖析。

最新排行榜，竞争非常激烈：

撤除o1满血版暂时还没有放出API，作为小模型的o1-mini的表现最好，均匀分比o1-preview还要高8%旁边。

开源模型最好的是Qwen2-MATH-72b，乃至超过了GPT-4o的表现。

总的来说，o1-mini这种只关注少部分能力、放弃存储广泛天下知识路线的上风，再次得到验证。

Omni-MATH作为一个数学奥林匹克评测基准，它的特点有三个维度：

人工验证答案的可靠性：4428道评测问题来自不同的数学竞赛和论坛数据，人工参与验证答案准确性；并且考虑到奥赛难度问题答案的多样性供应了基于GPT4o和评测模型的评价办法，方便一键启动评测。

清晰合理的难度分类：评测集整体比较有寻衅性，并且难度超过非常大。
从奥林匹克预备级别（T4）竞赛CEMC到最顶级的奥林匹克数学竞赛（T0）如IMO、IMC、普特南等等。
这些比赛不仅须要选手具备踏实的数学根本，还须要超高的逻辑推理能力和创造力。
数据显示，只有极少数智商靠近顶尖的人才能在这些比赛中取得精良成绩。

题目类型非常广：共有多于33个子领域的数学问题。
根据数学领域的特性，团队打造了树状的领域分类，每个题目涉及一到多个领域，也便是多条树的路径，使得我们能够对模型在各种数学学科和困难程度上的表现进行细致的剖析。
”

评测集Omni-MATH的布局数据布局

研究团队首先对海内国外基本的奥林匹克数学竞赛进行了细致的调研。
从中理解到，一个学生从竞赛预备到顶级竞赛，中间要经由层层选拔的。

比如对付英国体系，要经由JMC → IMC → SMC → BMO 1 → BMO 2 → IMO全体一层链路的选拔（这个IMC(Intermediate Mathematical Challenge)和上述IMC(international mathematical competition for university students)并不是一个比赛）；

然而在美国体系中，要经由AMC 8 → AMC 10 → AMC 12 → AIME→ USA(J)MO → IMO全体一层体系的选拔。

这启示了团队能否给模型评测同样也设置一个这种难度层级的表示。
因此研究团队调研了天下范围内不同难度层级的比赛，使得Omni-MATH在奥林匹克级别的数学测试中，难度上仍旧多元化。

其余在奥林匹克级别的数学测试中，实际上涉及的数学领域是非常多的。
研究团队考虑到在模型演习时，不同领域之间的数据是否有会有化学反应，比如领域A的数据能否让模型泛化到领域B的提升，这种方向的数据工程是非常故意义的。

为了给这个方向的研究打下根本，研究职员参考了干系竞赛教辅书，在这个评测集中给数据的领域进行了非常细致的划分，从数学大类上比如数论、代数、若干好多么等开始，一贯到领域下面详细的小领域或者知识点。

评测集数据的来源紧张有两个，一个是各种比赛的题目和题解，其余一个是著名数学网站Art of Problem Solving。
对付想要的比赛，优先从题解中探求答案。

如果想要的比赛并未公开题解，团队从AoPS网站的论坛上爬取回答。
考虑到回答都是真实用户书写，有一定概率是有问题的，须要进行严格的筛选。

研究团队选取了AoPS网站上候选的并且答案规整的数目大于3的题目，并且选取了3个答案全部同等的题目作为终极标准。
团队在筛选问题时采取人工筛选，进一步担保了准确性。

数据本身的处理：

在爬取到PDF格式的题解后，开拓者们利用了Mathpix将其转换成Latex格式作为题解。
在爬取到论坛答案之后，首先用GPT-4o重新format成规整的回答，之夹帐动检讨是否和原来问题的答案同等。

对付这两类来源的数据，团队职员末了都是用了人工检讨是否和数据源的信息是同等的。

难度分类：

参考了AoPS网站中关于题目难度分类的情形。

详细而言，不同级别的比赛题目难度有着实质的不同，比如CEMC和IMO之间的题目相差别常大，然而，每个比赛的不同题目也有着不同，比如一次IMO比赛中既有大略题也有难题。
因此评测集的难度分类严格按照AoPS网站上给出的不同比赛的每一道题的难度系数（从1到10之间，大多是整数，少数有.5、.25这种难度）。

对付网站上未覆盖的内容，团队职员将网页上的内容整理成了few-shot prompt，并利用了GPT4o给题目难度进行了标注。
整体难度的分布和不同比赛题目的分布如下：

领域分类：

和传统的数学测试基准的分类不同，在奥数这个难度上的题目涉及的领域更多，知识面更广。

为了更好地组织统一起奥数这些题目以及后续的对付数学领域之间数据的关系的探究，团队构建了一个更为全面的树状分类体系。
研究团队参考了干系竞赛教辅书，将奥数干系的领域分为了几何、代数、数论、运用数学等等领域，之后从这些领域出发，连续细分成各个领域的小领域，细微的知识点。

这种树状分类体系更有助于帮助理解不同题目之间的关系，以及模型在不同领域上的表现。
团队将这一树状分类体系作为模板，并结合竞赛辅导书中的实例，构建了few-shot的提示（详细的树状构造和提示内容可参考文章末端的代码仓库）。

随后，团队利用GPT-4o给每道题目分类到一到多个种别当中。

开源的答案验证器

Omni-Judge是微调Llama3-Instruct得到的验证器，用于验证待测的答案和给定的答案是否同等。
由于数学奥赛级别的题目回答的种类非常丰富，用规则评测实际上非常困难。
在得到模型的预测之后，须要判断模型的输出是否和标准答案是同等的。
在利用GPT-4o评测之外，我们还供应了一种更简便的评测方法，利用了GPT4o评测模型时产生的COT数据微调Llama3-Instruct得到了一个开源的验证器，评测同等率和GPT-4o高达95%。

参考链接：

Project Page：https://omni-math.github.io/Github：https://github.com/KbsdJames/Omni-MATH/Dataset：https://huggingface.co/datasets/KbsdJames/Omni-MATH/Omni-Judge：https://huggingface.co/KbsdJames/Omni-Judge/

— 完 —

量子位 QbitAI · 头条号

关注我们，第一韶光获知前沿科技动态