李开复措辞算数零一万物大年夜模型首次宣告AI 20 正在路上

编辑 | 陈彩娴

11月6日，李开复带队创办的 AI 2.0 公司零一万物，开源发布了Yi系列模型，包含 34B 和 6B 两个版本。

令人惊艳的是，从参数量和性能上来看，Yi-34B 相称于只用了不及 LLaMA2-70B一半、Falcon-180B五分之一的参数量，碾压 了LLaMA2-70B 和 Falcon-180B 等浩瀚大尺寸模型。
凭借这一表现，跻身目前天下范围内开源最强根本模型之列。

根据 Hugging Face 英文开源社区平台和 C-Eval 中文评测的最新榜单，Yi-34B 预演习模取得了多项 SOTA 国际最佳性能指标认可，成为环球开源大模型「双料冠军」。
这也是迄今为止唯一成功登顶 Hugging Face 环球开源模型排行榜的国产模型。

AI 科技评论获悉，「Yi 」系列大模型，命名来自「一」的拼音。
「Yi 」中的「Y」高下颠倒，奥妙形同汉字的「人」，结合 AI 里的 i ，代表Human + AI ，强调以人为本的精神，为人类创造巨大的代价。

零一万物创始人及CEO李开复博士表示：「零一万物武断进军环球第一梯队目标，从招的第一个人，写的第一行kl代码，设计的第一个模型开始，就一贯抱着成为‘World's No.1’的初衷和决心。
」

从「AI 1.0」迈向「AI 2.0」，李开复说话算数，一步步向目前迈进。

作为国产大模型， Yi-34B 不得不说的的上风之一便是更「懂」中文。
比拟大模型标杆GPT-4，在CMMLU、E-Eval、Gaokao 三个紧张的中文指标上，Yi-34B 也具有绝对上风，能够更好地适配海内市场需求。

从更为全面的评估看，在环球大模型各项评测中最关键的 「MMLU」（Massive Multitask Language Understanding 大规模多任务措辞理解）、BBH等反响模型综合能力的评测集上，Yi-34B 同样表现突出，在通用能力、知识推理、阅读理解等多项指标评比中全部胜出，与 Hugging Face 评测高度同等。

各评测集得分：Yi 模型 v.s. 其他开源模型

在措辞模型中，高下文窗口是大模型综合运算能力的关键指标之一，对付理解和天生与特定高下文干系的文本至关主要，拥有更长窗口的措辞模型可以处理更丰富的知识库信息，天生更连贯、准确的文本。

这次开源的 Yi-34B 模型，将发布环球最长、可支持 200K 超长高下文窗口（context window）版本，可以处理约40万汉字超长文本输入。
理解超过 1000 页的 PDF 文档，让很多依赖于向量数据库构建外部知识库的场景，都可以用高下文窗口来进行替代。

比较之下，OpenAI 的 GPT-4 高下文窗口只有 32K，笔墨处理量约 2.5 万字。
今年三月，硅谷有名 AI 2.0 创业公司Anthropic 的 Claude2-100K 将高下文窗口扩展到了 100K 规模，零一万物直接更加，并且是第一家将超长高下文窗口在开源社区开放的大模型公司。

高下文窗口规模扩充从打算、内存和通信的角度存在各种寻衅，零一万物能做到这个程度也并非一挥而就。
受限于打算繁芜度、数据完备度等问题，大多数发布的大型措辞模型仅支持几千 tokens 的高下文长度。

为理解决这个限定，零一万物技能团队履行了一系列优化，包括：打算通信重叠、序列并行、通信压缩等。
通过这些能力增强，实现了在大规模模型演习中近 100 倍的能力提升。

实在，Yi 系列模型之以是能取得如此亮眼的成绩，背后的 AI Infra 是功不可没的，其通过「高精度」系统、弹性训和接力训等全栈式办理方案，确保演习高效、安全地进行。

凭借强大的 AI Infra 支撑，零一万物团队能实现超越行业水平的演习效果，Yi-34B 模型演习本钱实测低落40%，实际演习完成达标韶光与预测的韶光偏差不到一小时，进一步仿照上到千亿规模演习本钱可低落多达 50%。

截至目前，零一万物 Infra 能力实现故障预测准确率超过90%，故障提前创造率达到 99.9%，不须要人工参与的故障自愈率超过 95%，

无论是人前刺目耀眼的成绩还是背后根本能力的攻坚，也都离不开零一万物潜心数月练就的大模型 「科学训模」方法论。

大模型效果依赖于更多、更高质量的数据，零一万物在数据处理管线上可谓「不惜本钱」。

数据处理管线和加大规模预测的演习能力培植，把以往的大模型演习尝尝看的「炼丹」过程变得极度细致和科学化，不仅担保了目前发布 Yi-34B、Yi-6B 模型的高性能，也为未来更大规模模型的演习压缩了韶光和本钱，

经由几个月大量的建模和实验，零一万物自研出一套「规模化演习实验平台」，用来辅导模型的设计和优化。
数据配比、超参搜索、模型构造实验都可以在小规模实验平台上进行，对 34B 模型每个节点的预测偏差都可以掌握在0.5%以内。

在 Yi 开源模型的环球首发日，零一万物 CEO 李开复也宣告，在完成 Yi-34B 预演习的同时，已经旋即启动下一个千亿参数模型的演习。
「零一万物的数据处理管线、算法研究、实验平台、GPU 资源和 AI Infra 都已经准备好，我们的动作会越来越快」。

零一万物的首次成果公布，表示的不仅是技能的进步，还有商业的可能性。

今年 3 月，李开复作了一场关于 AI 从 1.0 时期跨到 2.0 时期的演讲。
随后，零一万物在李开复所设想的 AI 2.0 框架下成立，招揽了前百度安全副总裁马杰、前微软副总裁祁瑞峰等等技能大咖，阵容豪华，引起业内的广泛关注。

过去十年，深度学习催生了一批精良的 AI 公司，随后经由多年的发展，在过去两年曾进入短暂的低谷期，一度传出 AI 泡沫、AI 寒冬的说法。
个中的根源就在于：上一代 AI 公司只管基于崭新的技能立足，但在商业化上的步伐却比预期慢。

而从去年 8 月 Stable Diffusion 掀起 AIGC 热潮以来，加上去年11月尾 ChatGPT 发布，环球 AI 溘然看到了新的机会。
这个新的机遇，被李开复称为「AI 2.0」。

ChatGPT 之后，AI 时期的进步在技能上表示为通用人工智能（AGI）雏形初显，在商业运用上则被李开复形容为平台级的趋势爆发。

所谓「平台」，包含一个大的目标，即要大幅降落开拓 AI 运用的本钱。
犹如电与电网的差异，电是一项伟大的发明，但如果没有电网，就不会涌现微波炉、电烤箱、电动车等新的发明。
换言之，AI 2.0 之于 AI 1.0 的差异，就在于将 AI 技能变成平台，将定制变成通用，将点变成面。

过去十年的商业实践验证了 AI 1.0 时期的瓶颈。
在 AI 1.0 时期，数据越多、结果越好，但同时也由于须要大量的标注数据，本钱巨大。
此外，AI 1.0 时期的运用在各个领域是相互割裂的，出身了持续串的「孤岛运用」，无法形成有效的平台。

但 AI 2.0 时期的技能基石是自监督，可以让 AI 模型不进行数据标注也能学习。
虽然同样须要将大量的、跨领域的数据拿来学习，但学习后形成一个根本模型（即大模型）后再去做知识的迁移，AI 即相称于一个天下模型。
经由多年的演习与积累，根本模型更成熟，基于根本模型再做平台运用，即可冲破 AI 运用的孤岛征象，边际效益进步神速。

换言之，AI 2.0 时期有三大上风：一是减少人工标注；二是模型规模大，具备天下知识；三是能够以极低的本钱对根本模型进行微调演习，即可适应不同领域的任务。
以是，在 AI 2.0 时期，每个领域都有机会将原有的运用重构一遍，用更短的韶光生产出更高质量的数字内容，而且千人千面、精准优化信息流，做出更伟大的商业模式。

一方面，降落演习本钱是减少 AI 运用开拓本钱、催生一系列爆款运用的条件；另一方面，长文本处理是商业运用的一道拦路虎。
如果长文本处理的技能瓶颈能打破，许多更高难度的运用也会被逐一破解，如处理超长篇幅的法务条约、交叉比拟多篇学术论文、基于长篇剧本进行角色扮演、通过多篇财报进行市场剖析等等。

因此，「长文本处理」不才半年景为大模型赛道的兵家必争之地。
从 Anthropic AI 对 OpenAI 发起寻衅后，海内多家大模型厂商也陆续推出长文本处理里程碑。
如月之暗面的 Kimi Chat 支持 20 万字输入，百川智能的 Baichuan2-192k 支持 35 万字输入，零一万物的 Yi-34B 迅速扩展到 40 万字。

这次零一万物团队开源大模型 Yi-34B 与 Yi-6B，在长文本领域可以做到最长 200k 高下文窗口、40 万字的文本处理，也与李开复此前谈的 AI 2.0 思想相同等。
同时，据零一万物先容，他们还依托根本的打算举动步伐与算法优化等 Infra 能力，将演习本钱低落了 40%。

上传到 Hugging Face 不过两天后，Yi-34B 的下载量就超过了 1000 次，得到了靠近 150 个点赞。

长文本处理的技能打破，不仅是表面上关于 Token 数的数据变更，更主要的是其表示了人工智能领域整体对 AI 2.0 时期所蕴含的商业潜力的认同与乐不雅观。
正是由于对大模型为代表的新一代 AI 技能的信心，才有如此多精良的技能人才涌入该赛道，在极短的韶光内快速打破了长文本等技能问题的局限。

据 AI 科技评论理解，如今长文本处理已逐渐被激情亲切的 AI 技能人才攻破，目前业内盛行的技能方法包括：最大略粗暴的堆显存，或滑动窗口、降采样等，或在 Attention-mask 中做动态内插。
这些方法的效果很好，缺陷是打算开销大。
但在各大云打算厂商的加持下，算力壁垒也被逐渐打了下来。

可以瞥见，AI 进入一个新的时期毫无疑问已是行业共识。
AI 2.0 代表一个新的商业愿景，道阻路长，玩家浩瀚，但后来者零一万物也已成为个中最有潜力的团队之一，期待零一万物接下来的表现。

OpenAI 首届开拓者大会召开在即，AI 科技评论持续关注，欢迎同样关注的朋友添加作者微信 s1060788086 一起互换。