「Interested in working at OpenAI ?」
喷鼻香港大学物理系毕业的彭博，在今年 2 月 3 日收到了一封来自 OpenAI 的邀约邮件。吸引这家 AI 巨子的，是他作为独立开拓者发布的一个开源模型：RWKV。信中并没有包含详细薪资。不过，此前有称 OpenAI 为软件工程师供应的年薪中位数为 92.5 万美元。
Open AI 来信
当时海内还少有人关注到这个创新的模型设计。
彭博回答了邮件：「OpenAI is great, but I like building Open AI :) Let me know if OpenAI plans to build a community project one day.」（OpenAI 很好，但我喜好培植 Open 的 AI :) 如果 OpenAI 哪天操持做一个社区驱动的项目，欢迎见告我）。
如今，他是元智能 OS 的创始人。这是一个基于 RWKV 模型的创业公司。他更希望培植真正 Open 的 AI，这须要更多商业和资金的支持。这就像 Linux 是免费的，基于 Linux 开源生态，会形成 Redhat 这样的商业公司。
为了降落模型的推理本钱，RWKV 创新性地将大模型最常用的 Transformer 架构改写成了 RNN，这展现出的实用代价受到了业内的关注。让团队引以为傲，反复强调的是：在开放研究组织 LMSYS 每周更新排行榜中，真实用户测评的模型对抗Elo排名中，RWKV 系的对话模型 Raven-14B 的排在 Alpaca-13B、OpenAssistant-Pythia-12B、ChatGLM-6B 等有名项目前。
而 RWKV 和 Raven，从设计，到优化，到大规模演习，全部由彭博一人完成。
在实行推理任务时，RWKV 的性能优胜。如果 Transfomer 架构的算力本钱是 T（序列长度）的平方，RWKV 推理的算力本钱只有 T 分之一，并且显存的占用是恒定的。「我们是市情上真正能够在手机的芯片上长期跑的模型。由于其他的模型跑着跑着显存就会爆掉。」元智能的另一位联创罗璇先容。
随Token增加，不同 LLMs 在文本天生上的韶光｜来源：RWKV 论文
独特的性能，让 RWKV 在开源社区中得到了一定的关注，得到了来自 Stability AI 的算力支持。RWKV 也积累起了自己的开拓者社群，并成立了 RWKV 基金会。5 月尾，来自全天下 27 个研究机构、开源社区、高校的 RWKV 开拓者们合著的论文才在 arxiv 上揭橥，外界得以更详细理解模型设计的细节。
大模型的热潮让黑客松复兴。在今年 4 月份深圳一场黑客松上，经历三组初赛后，「第一个国产开源措辞模型 RWKV」在进入决赛的 17 个军队中脱颖而出，得到了第一名。罗璇便是这场黑客松的发起人。他表示，这场开启于 3 月的比赛「可能是中国最早的 AIGC 黑客松」。他是 AI-Transformer 社群的创始人，曾在腾讯担当高等产品经理、猎豹移动担当高等产品总监；2016 年 all in AI，先后在阿里巴巴机器人部门和 AI Lab 担当产品总监，2018 年创业做了 AMR 机器人公司，担当 Syrius 矩星的联合创始人。
夺冠之后，RWKV 团队想考试测验商业化，须要一个产品和市场履历丰富的人，于是约请罗璇加入。此后，基于 RWKV 的商业团队组成了 4 人创始团队：RWKV 原作彭博、CTO 刘潇、COO 孔晴、罗璇。这便是「元智能 OS」的起源。
罗璇先容，目前元智能 OS 团队有 7 人，紧张精力依旧放在演习更好的根本模型上。目前公司正在进行第一轮融资，也已经接到一些微调行业模型的商单。而元智能 OS 终极的目标是成为大模型时期的 Android。这意味着开拓者基于 RWKV 开拓运用，形成生态，与模型适配的芯片会进入终端。
01 出身于个人 开拓者的创新模型RWKV 这一模型读作「Ra Ku」，最初的作者只有一个人，来自于毕业于喷鼻香港大学物理系的彭博。RWKV 模型的出身，一部分源自彭博自己用 AI 天生小说的兴趣。
小说是一种须要连贯逻辑、内在天下不雅观的长文本。三年前，GPT 系列模型已经引起了学界的关注，但是长文本天生依旧是不小的寻衅。
在 2017 年的谷歌论文中，为了实现 Attention 机制，研究者提出了如今被 LLM 广泛采取的 Transformer 架构。这一架构的特点是具有可扩展性。并行的 Transformer 组件提升了模型演习数据的效率，从而让 LLM 的参数规模持续增加，终极涌现了「智能呈现」的特点。
但是这一架构也有缺点，在实行推理任务，也便是天生内容的时候，打算繁芜度会随着序列长度（T）成 2 次方 O(T2）增加，这意味着推理时打算本钱的也会成 2 次方增加。这种打算繁芜度的增加是由 Attention 机制带来的，因此，一部分研究者在思考如何能够简化 Attention 机制。
2021 年，苹果发布了一篇论文《An Attention Free Transformer》，提出了种不须要 Attention 机制的 Transformer 模型。这给了彭博很大的启示，他将这篇论文中的公式进行改写，成功将 Attention 公式改写成了 RNN（循环神经网络）形式。循环神经网络是之前 NLP 里最常用的深度学习模型。
公式的改写，将推理的打算繁芜度降为了线性增长。于是，RWKV 被形容为成兼具 Transformer 与 RNN 优点的模型架构：可并行高效演习、推理性能优胜。
RWKV 模型演习完成后，彭博将其在国外的 GitHub、以及海内的魔搭社区上线。他开拓了更适宜对话的 ChatRWKV，并建立了 Discord 社区、QQ 群，欢迎开拓者们一起做「大规模措辞模型的 Stable Diffusion」、「开源 ChatGPT」。这样一个出自独立开拓者的模型，在 5 月初，RWKV 一度在开放研究组织 LMSYS 的模型对抗排名中取得了第六名，无疑令人惊喜。
对付小型创业团队、个人开拓者而言，RWKV 是没有算力门槛，是可以快速考试测验的模型。在最近一次不到二十人的小范围聚会中，我碰着四五个基于大模型做运用的创业者。个中就有两个利用了 RWKV。
这样创业小团队的画像很常见：基于已有的开源模型，结合私有数据做 Finetune，帮助一些须要提升效率的企业，做模型定制或内部的 AI Agent 开拓。
他们常常在开源社区选用最得当的模型，也熟习各个开源模型的特点。一位创业者则在朋友圈展示出 RWKV 的安卓端版的页面，这是一个可以在手机端进行推理的模型版本。
个中一位创业者表示，RWKV 模型的上风是处理长文本的信息，并给出回应，因此在格外须要这一能力的用例上会优先考虑，不过模型的缺陷也很明显，发散性太强，交互过程中会随意马虎偏离话题。「它实际上的竞争对手是 GLM」他说。
ChatGLM 是清华智谱团队开拓的模型。个中的 6B 版本在海内开源模型中表现出色，颇有口碑。前不久团队刚刚宣告了此前开源的 ChatGLM-6B 和 ChatGLM2-6B 许可商用。
02 RWKV 保持开源，元智能 OS 想成为大模型时期的安卓
在开源模型层出不穷确当下，如何评测模型无疑是关键任务。各家也每每搬出其自研模型在 MMLU、AGIEval、C-Eval 等评测基准上的表现，以自证模型能力。但不止一位行业人士指出，模型可以根据评测基准做特定的数据优化，由此终极得到比较好的打分结果。这一征象难免令外界无所适从。
要真正理解 RWKV 在排行榜上取得的排名的含义，就须要理解排名产生的规则。开放研究组织 LMSYS 则创新地考试测验一种综合的测评策略，每周更新排行榜。最新的结果显示，RWKV 系列 14B 的对话模型 Raven 排在第 15 位，综合排位在 ChatGLM-6B（清华-智谱）之前，后者是在海内颇具口碑的开源模型。在 5 月 8 日的排行中，RWKV 一度排在第六。
LMSYS 的测评策略中一共利用三种办法为模型打分，RWKV 彷佛在第一种 Chatbot Arena（对话模型竞技场）的表现上更加优胜；而在 MT-bench、MMLU 这样的基于任务集的测试上得分偏低。
LMSYS 模型测评排名（截止7.25）
Chatbot Arena（对话机器人竞技场）是随机匿名的人类打分机制。在网页上，访客同时跟两个匿名模型进行交互，并投票给更认为体验更佳的一方。这样网络浩瀚模型间 1V1 的比拼结果之后，LMSYS 终极统计模型的排名。在每周的排名公布时，也会公布任意两个模型在竞技场上「狭路相逢」时的表现。最近一周，当 RWKV-4-Raven-14B 与 ChatGLM-6B 被人类比较时，59% 的概率下，人类会以为 Raven 表现更精良，这或许解释了在对话的场景下，Raven 略胜一筹。
而在 MT-bench、MMLU 这样的基于任务集的测试上得分偏低，这表明 RWKV 在能力泛化、知识迁移、多轮有寻衅的任务上能力较弱。
罗璇曾形容 RWKV 是「最佳开源可商用」LLM。不过，在百川智能 Baichuan-13B、智谱 ChatGLM2-6B 先后宣告开源可商用之后，海内开源可商用的模型格局一定发生新的变革。5 月，RWKV 在 Hugging face 模型平台上线，但目前已经不在 Open LLM Leaderboard 榜单上，ChatGLM2-6B 和 Baichuan-7B 榜单中排位附近。
在 5 月接管 36Kr 采访时，彭博表示「RWKV 中文 7B 模型和 ChatGLM 6B 中文模型也是互有胜负，不过，RWKV 还没开始真正炼中文模型，利用的是英文词表，还没有加入大规模中文语料。」
彭博目前的紧张精力都集中在演习模型上，RWKV-4-world 系列模型也在不断上线中，个中就包括了针对中文的特化模型，重点提升了中文能力，降落了其它措辞的能力。目前 Demo 也已经开放在魔搭社区供人考试测验。在 AI 作曲上，彭博也发布了最新的开源成果，基于 RWKV 天生 MIDI 形式音乐的模型。（注：MIDI 一种数字音频格式，用于掌握电子音乐设备之间的通信）
RWKV-4-world 中文模型续写小说 Demo
RWKV 模型本身会一贯保持开源和非盈利，目标是成为大模型时期的 Linux，而元智能 OS 则希望能够成为大模型时期安卓。
罗璇表示，安卓是 Linux 在手机垂直领域的版本。对应而言，元智能 OS 就会成为大模型时期某一领域最通用的模型。「大模型时期的安卓」包含了两层含义，「会有一个大的生态，在这个根本上，供应多样的能力给第三方运用；其余一方面，硬件会是 RWKV 的主要生态。」他先容，目前终端和做事器上的 GPU、CPU 都可以用来做模型推理，而在模型演习方面，Nvidia、AMD、Intel 等芯片都已能够很好支持，国产芯片中不少也移植了 RWKV 的算子。
03「做 ChatGPT现在不能做的」:未来的模型会在端侧运行元智能 OS 已经接到了帮助一些微调行业垂直领域的商单，客户紧张来自金融、律所、智能硬件等行业，以 license 的形式收年费。RWKV 模型吸引它们的紧张是两点：全自研，算力本钱低。
元智能 OS 会结合特定领域的公开数据，在根本模型上微调一个更具备行业知识的垂直模型，再交由客户结合自己的私有业务数据，进行本地化支配。支配环节每每由第三方技能供应方实现，这是由于公司希望私有数据不外泄。本地化支配所面临的是业务上的门槛，而非技能上的门槛，「数据不能出来，不能进模型。」
这也是为什么以 API 形式供应 B 端做事商业模型的前景开始受到疑惑。只管 OpenAI 已经在 3 月分更新了做事条款，明确表示不再利用任何 API 的数据进行演习，依旧难以打消企业们对付数据外泄的担忧。因此，API 商业模式的前景也开始受到疑惑。
元智能 OS 的不雅观点是明确的：API 不是一个好的商业模式。
延迟问题难以办理。在智能汽车、智能音箱，以及未来的 XR 眼镜、头显等场景，通过 API 调用云端算力资源的延迟性较高。「现在 Open AI 的 API 调用体验非常差，实际上是不可用的」
本钱问题，调用 API 按照花费 Token 的数量来计费，如果在终端设备上利用功能，还要为云真个 Token 付费，也是不合理的。罗璇表示，如果接入 OpenAI 的 API，打算下来，一个智能音箱须要 10 美金的订阅费抵消本钱。数据安全问题。除了企业不愿意外泄数据，在个人助理领域，个人用户也不肯望自己的私人数据被传入云端。在端侧运行大模型，也已经是行业内的共识，高通前不久展示针对 Stable Diffusion 而做的优化，实现了在安卓手机上运行模型。陆奇在深圳的公开演讲中也曾表示，可能须要三到五年的韶光，大模型会在手机端上运行。
由于 RWKV 模型的性能上风，元智能 OS 将「终端支配大模型」视为自己的最大沙场。彭博表示「AI 大模型的决斗沙场是在硬件上面，也便是芯片。无论是端侧和云测都须要专用芯片。」陆奇在深圳的公开演讲中就曾表示，可能须要三到五年的韶光，大模型会在手机端上运行。
目前 RWKV 已经供应了在 Windows 和 Mac、Linux 电脑上可以安装的版本 RWKV Runner。除了已经放出的安卓版本，IOS 版本在开拓中。罗璇见告极客公园：元智能 OS 正在进行第一轮融资。团队未来半年的核心还是模型，提升模型能力是一方面，其余也正在和一些芯片公司和算力平台洽谈，打造标杆客户。
个中，标杆客户包括有终端支配的形式，也包括跟云平台互助供应 API 调用。「现在的精力实在是更多在模型演习、开拓者生态和融资，接下来会逐渐调度到产品和生态」。
04「硬件的迭代周期，是天然的门槛」基于大模型的 Killer app 尚未涌现确当下，基于大模型的运用代价，引起了人们的诸多谈论。
Notion AI、Office 365 Copilot 这样商业代价确定的运用，共同之处是在成熟的软件产品上新增 AIGC 功能。罗璇形容，这样的新功能，是「在原来定义好的场景下，提升效率，帮助人节省了劳动力。」
但是他认为，这样产品思路并没有带来增量代价；而且，只做效率提升，带来的商业代价很快就会见顶。他认为，如何用大模型带来的生产力创造增量代价，比如「让人们得到更多、更好的数字化内容」，该当是创业者思考的方向。
其余一个征象是，调用模型能力，从单点代价出发的创业团队彷佛难以形成商业壁垒。「创业公司基于 ChatGPT 能够创造的代价非常软弱」的不雅观点便是代表。
比如 Jasper.AI 这样调用模型能力运用的营销写作产品，在 ChatGPT 推出之后，反而迎来了流量低落。这意味着根本模型能力更强、更易用之后，具备覆盖一部分运用的能力。其余一个例子是 Gammaly，这个已经存在了十几年的写作赞助软件，在 ChatGPT 表现出精良的措辞能之后，也面临着自证「Gammaly 能够供应更好的写作赞助」的新课题。
组织过十几场黑客松，作为经历过互联网时期产品老人，罗璇也表示目前的初创产品每每存在问题：
对付技能边界理解不深入。或者不知道现在的模型能做什么，或者不知道随着模型发展，未来能够做什么；这表现在，做出来的运用，是模型已经能实现的功能；或者想实现的效果，未来三到五年，通过模型能力也无法实现。对市场竞争格局、现有市场供需关系理解不深入，这随意马虎带来两种结果：做出来的产品很随意马虎被有渠道的大厂直复制；或者做出来的东西没有市场需求，没有人用。在大模型技能快速发展确当下，理解技能边界，思考技能会如何演化，对付产品经理而言变得更加主要，这样才能避免思考产品时刻舟求剑。
RWKV 模型在进入终端硬件上有上风，罗璇本人也看好模型进入在机器人、XR 等手机、PC 之外的终端硬件之后所带来的可能性。首先，这些终端硬件带来激活新的运用处景，从而衍生出其上搭载的软件做事和数字化内容；其次，硬件的迭代周期很长，是天然的门槛。
「谁先做，就很有可能就有一些上风。」在黑客松中，为了鼓励硬件项目，他还专门设立了硬件奖项。深圳拥有的硬件家当链上风，也寄托了他「让 AI 发生在中国大湾区」的欲望。