编辑 | 陈彩娴
11月6日,李开复带队创办的 AI 2.0 公司零一万物,开源发布了Yi系列模型,包含 34B 和 6B 两个版本。
令人惊艳的是,从参数量和性能上来看,Yi-34B 相称于只用了不及 LLaMA2-70B一半、Falcon-180B五分之一的参数量,碾压 了LLaMA2-70B 和 Falcon-180B 等浩瀚大尺寸模型。凭借这一表现,跻身目前天下范围内开源最强根本模型之列。
根据 Hugging Face 英文开源社区平台和 C-Eval 中文评测的最新榜单,Yi-34B 预演习模取得了多项 SOTA 国际最佳性能指标认可,成为环球开源大模型「双料冠军」。这也是迄今为止唯一成功登顶 Hugging Face 环球开源模型排行榜的国产模型。
AI 科技评论获悉,「Yi 」系列大模型,命名来自「一」的拼音。「Yi 」中的「Y」高下颠倒,奥妙形同汉字的「人」,结合 AI 里的 i ,代表Human + AI ,强调以人为本的精神,为人类创造巨大的代价。
零一万物创始人及CEO李开复博士表示:「零一万物武断进军环球第一梯队目标,从招的第一个人,写的第一行kl代码,设计的第一个模型开始,就一贯抱着成为‘World's No.1’的初衷和决心。」
从「AI 1.0」迈向「AI 2.0」,李开复说话算数,一步步向目前迈进。
作为国产大模型, Yi-34B 不得不说的的上风之一便是更「懂」中文。比拟大模型标杆GPT-4,在CMMLU、E-Eval、Gaokao 三个紧张的中文指标上,Yi-34B 也具有绝对上风,能够更好地适配海内市场需求。
从更为全面的评估看,在环球大模型各项评测中最关键的 「MMLU」(Massive Multitask Language Understanding 大规模多任务措辞理解)、BBH等反响模型综合能力的评测集上,Yi-34B 同样表现突出,在通用能力、知识推理、阅读理解等多项指标评比中全部胜出,与 Hugging Face 评测高度同等。
各评测集得分:Yi 模型 v.s. 其他开源模型
在措辞模型中,高下文窗口是大模型综合运算能力的关键指标之一,对付理解和天生与特定高下文干系的文本至关主要,拥有更长窗口的措辞模型可以处理更丰富的知识库信息,天生更连贯、准确的文本。
这次开源的 Yi-34B 模型,将发布环球最长、可支持 200K 超长高下文窗口(context window)版本,可以处理约40万汉字超长文本输入。理解超过 1000 页的 PDF 文档,让很多依赖于向量数据库构建外部知识库的场景,都可以用高下文窗口来进行替代。
比较之下,OpenAI 的 GPT-4 高下文窗口只有 32K,笔墨处理量约 2.5 万字。今年三月,硅谷有名 AI 2.0 创业公司Anthropic 的 Claude2-100K 将高下文窗口扩展到了 100K 规模,零一万物直接更加,并且是第一家将超长高下文窗口在开源社区开放的大模型公司。
高下文窗口规模扩充从打算、内存和通信的角度存在各种寻衅,零一万物能做到这个程度也并非一挥而就。受限于打算繁芜度、数据完备度等问题,大多数发布的大型措辞模型仅支持几千 tokens 的高下文长度。
为理解决这个限定,零一万物技能团队履行了一系列优化,包括:打算通信重叠、序列并行、通信压缩等。通过这些能力增强,实现了在大规模模型演习中近 100 倍的能力提升。
实在,Yi 系列模型之以是能取得如此亮眼的成绩,背后的 AI Infra 是功不可没的,其通过「高精度」系统、弹性训和接力训等全栈式办理方案,确保演习高效、安全地进行。
凭借强大的 AI Infra 支撑,零一万物团队能实现超越行业水平的演习效果,Yi-34B 模型演习本钱实测低落40%,实际演习完成达标韶光与预测的韶光偏差不到一小时,进一步仿照上到千亿规模演习本钱可低落多达 50%。
截至目前,零一万物 Infra 能力实现故障预测准确率超过90%,故障提前创造率达到 99.9%,不须要人工参与的故障自愈率超过 95%,
无论是人前刺目耀眼的成绩还是背后根本能力的攻坚,也都离不开零一万物潜心数月练就的大模型 「科学训模」方法论。
大模型效果依赖于更多、更高质量的数据,零一万物在数据处理管线上可谓「不惜本钱」。
数据处理管线和加大规模预测的演习能力培植,把以往的大模型演习尝尝看的「炼丹」过程变得极度细致和科学化,不仅担保了目前发布 Yi-34B、Yi-6B 模型的高性能,也为未来更大规模模型的演习压缩了韶光和本钱,
经由几个月大量的建模和实验,零一万物自研出一套「规模化演习实验平台」,用来辅导模型的设计和优化。数据配比、超参搜索、模型构造实验都可以在小规模实验平台上进行,对 34B 模型每个节点的预测偏差都可以掌握在0.5%以内。
在 Yi 开源模型的环球首发日,零一万物 CEO 李开复也宣告,在完成 Yi-34B 预演习的同时,已经旋即启动下一个千亿参数模型的演习。「零一万物的数据处理管线、算法研究、实验平台、GPU 资源和 AI Infra 都已经准备好,我们的动作会越来越快」。
零一万物的首次成果公布,表示的不仅是技能的进步,还有商业的可能性。
今年 3 月,李开复作了一场关于 AI 从 1.0 时期跨到 2.0 时期的演讲。随后,零一万物在李开复所设想的 AI 2.0 框架下成立,招揽了前百度安全副总裁马杰、前微软副总裁祁瑞峰等等技能大咖,阵容豪华,引起业内的广泛关注。
过去十年,深度学习催生了一批精良的 AI 公司,随后经由多年的发展,在过去两年曾进入短暂的低谷期,一度传出 AI 泡沫、AI 寒冬的说法。个中的根源就在于:上一代 AI 公司只管基于崭新的技能立足,但在商业化上的步伐却比预期慢。
而从去年 8 月 Stable Diffusion 掀起 AIGC 热潮以来,加上去年11月尾 ChatGPT 发布,环球 AI 溘然看到了新的机会。这个新的机遇,被李开复称为「AI 2.0」。
ChatGPT 之后,AI 时期的进步在技能上表示为通用人工智能(AGI)雏形初显,在商业运用上则被李开复形容为平台级的趋势爆发。
所谓「平台」,包含一个大的目标,即要大幅降落开拓 AI 运用的本钱。犹如电与电网的差异,电是一项伟大的发明,但如果没有电网,就不会涌现微波炉、电烤箱、电动车等新的发明。换言之,AI 2.0 之于 AI 1.0 的差异,就在于将 AI 技能变成平台,将定制变成通用,将点变成面。
过去十年的商业实践验证了 AI 1.0 时期的瓶颈。在 AI 1.0 时期,数据越多、结果越好,但同时也由于须要大量的标注数据,本钱巨大。此外,AI 1.0 时期的运用在各个领域是相互割裂的,出身了持续串的「孤岛运用」,无法形成有效的平台。
但 AI 2.0 时期的技能基石是自监督,可以让 AI 模型不进行数据标注也能学习。虽然同样须要将大量的、跨领域的数据拿来学习,但学习后形成一个根本模型(即大模型)后再去做知识的迁移,AI 即相称于一个天下模型。经由多年的演习与积累,根本模型更成熟,基于根本模型再做平台运用,即可冲破 AI 运用的孤岛征象,边际效益进步神速。
换言之,AI 2.0 时期有三大上风:一是减少人工标注;二是模型规模大,具备天下知识;三是能够以极低的本钱对根本模型进行微调演习,即可适应不同领域的任务。以是,在 AI 2.0 时期,每个领域都有机会将原有的运用重构一遍,用更短的韶光生产出更高质量的数字内容,而且千人千面、精准优化信息流,做出更伟大的商业模式。
一方面,降落演习本钱是减少 AI 运用开拓本钱、催生一系列爆款运用的条件;另一方面,长文本处理是商业运用的一道拦路虎。如果长文本处理的技能瓶颈能打破,许多更高难度的运用也会被逐一破解,如处理超长篇幅的法务条约、交叉比拟多篇学术论文、基于长篇剧本进行角色扮演、通过多篇财报进行市场剖析等等。
因此,「长文本处理」不才半年景为大模型赛道的兵家必争之地。从 Anthropic AI 对 OpenAI 发起寻衅后,海内多家大模型厂商也陆续推出长文本处理里程碑。如月之暗面的 Kimi Chat 支持 20 万字输入,百川智能的 Baichuan2-192k 支持 35 万字输入,零一万物的 Yi-34B 迅速扩展到 40 万字。
这次零一万物团队开源大模型 Yi-34B 与 Yi-6B,在长文本领域可以做到最长 200k 高下文窗口、40 万字的文本处理,也与李开复此前谈的 AI 2.0 思想相同等。同时,据零一万物先容,他们还依托根本的打算举动步伐与算法优化等 Infra 能力,将演习本钱低落了 40%。
上传到 Hugging Face 不过两天后,Yi-34B 的下载量就超过了 1000 次,得到了靠近 150 个点赞。
长文本处理的技能打破,不仅是表面上关于 Token 数的数据变更,更主要的是其表示了人工智能领域整体对 AI 2.0 时期所蕴含的商业潜力的认同与乐不雅观。正是由于对大模型为代表的新一代 AI 技能的信心,才有如此多精良的技能人才涌入该赛道,在极短的韶光内快速打破了长文本等技能问题的局限。
据 AI 科技评论理解,如今长文本处理已逐渐被激情亲切的 AI 技能人才攻破,目前业内盛行的技能方法包括:最大略粗暴的堆显存,或滑动窗口、降采样等,或在 Attention-mask 中做动态内插。这些方法的效果很好,缺陷是打算开销大。但在各大云打算厂商的加持下,算力壁垒也被逐渐打了下来。
可以瞥见,AI 进入一个新的时期毫无疑问已是行业共识。AI 2.0 代表一个新的商业愿景,道阻路长,玩家浩瀚,但后来者零一万物也已成为个中最有潜力的团队之一,期待零一万物接下来的表现。
OpenAI 首届开拓者大会召开在即,AI 科技评论持续关注,欢迎同样关注的朋友添加作者微信 s1060788086 一起互换。
未经「AI科技评论」授权,严禁以任何办法在网页、论坛、社区进行转载!
"大众号转载请先在「AI科技评论」后台留言取得授权,转载时需标注来源并插入本公众年夜众号名片。