法国AI创业公司Mistral AI周二(7/16)发布了两个新模型Codestral Mamba 7B与Mathstral 7B,前者为程序代码天生模型,后者则是数学推论模型,皆采取Apache 2.0开源授权,并通过Hugging Face访问。
根据Mistral AI的解释,有别于Transformer模型强调自把稳机制与支持繁芜时空的运算能力,Codestral Mamba采取新型架构,支持线性韶光推论,因此得以更有效地处理长串行,理论上可支持无限长的串行,可与用户进行广泛互动且快速得到回应,对付产生程序代码特殊有效率,Mistral AI并以高等的程序代码及推论能力来演习该模型,使其可媲美最前辈的Transformer模型。
Mistral AI比较了同属7B规格的CodeGemma-1.1、CodeLlama、DeepSeek v1.5,创造Codestral Mamba在多数的基准测试上皆胜出,对付更大的Codestral 22B及CodeLlama 34B等模型,Codestral Mamba 7B也与其不相上下。
图片来源/Mistral AI
此外,Mistral AI也已测试多达256K Token的Codestral Mamba脉络检索能力,预期它可成为出色确当地端程序代码助手。
至于Mathstral 7B则是个基于Mistral 7B的数学推论模型,专攻科学、技能、工程及数学(STEM)干系领域的主题,将它与DeepSeek Math 7B、Llama 3 8B、GLM4 9B、QWen2 7B、Gemma2 9B进行比较,Mathstral 7B不管是在MATH、GSM8K、Odyssey Math、GRE Math、AMC 2023或AIME 2024等基准测试上都有出色的表现,而且若能拥有更多的打算资源与韶光,就会有更好的推论表现。
图片来源/Mistral AI
Mathstral 7B是个预演习模型,已可直接用来推论,也可根据需求来微调它。