复旦邱锡鹏教授讲述 MOSS 2 研发进展若何实现世界模型

策划 | 褚杏娟

6 月 14 - 15 日 ArchSummit 环球架构师峰会·深圳，深度探索大模型时期软件架构最佳设计。

去年 ChatGPT 爆火后，海内迅速迎来了“百模大战”。
个中，复旦大学自然措辞处理实验室在去年 2 月率先发布了海内首个类 ChatGPT 的对话式大措辞模型 MOSS，开放不到 24 个小时，由于瞬时访问压力过大，MOSS 做事器显示流量过载而无法访问。

当时，平台官网发布阐明称，MOSS 还是一个非常不成熟的模型，打算资源不敷以支持如此大的访问量，间隔 ChatGPT 还有很长一段路要走。
MOSS 的发布是一个主要的里程碑，打通了大措辞模型研发的完全技能路径，展示了在资源受限的情形下构建高效大措辞模型的可能性，还为环球研究者和开拓者供应了主要的技能参考和实践履历，也提升了国人研发大措辞模型的信心。

至今一年多的韶光过去，在 6 月 6 日举行的 CCF 大模型论坛上，复旦大学打算机学院教授邱锡鹏教授坦诚道，当时发布的 MOSS 技能框架是 GPT-2 时期的架构，比较与后面涌现的 LLaMA 等模型架构比较，相对过期，并且演习数据量和参数量也不足，导致能力有限。

邱锡鹏教授表示，MOSS 之前的路线，基本上和 OpenAI 差不多，但由于学术界的数据有限，以是团队更多利用了“AI Feedback”的方法，而非后面大家普遍采取的蒸馏方法。
团队布局了很多自指令，通过宪法 AI 的办法天生的大量数据去演习模型，以及与真实的人类需求对齐。

在本次论坛上，邱锡鹏教授详细先容了 MOSS 最新的研发进展。
AI 前哨基于邱锡鹏教授演讲内容整理了本文，经由不改变原意的编辑，以飨读者。

AlphaGo 虽然取得了非常大的打破，但是它还是属于上一代的人工智能（弱人工智能），即一个模型办理一个任务。
现在，以 ChatGPT 为代表的通用人工智能，是用一个模型来办理非常多的任务，即多任务通用性，这是通向 AGI 的模型。

邱锡鹏教授表示，自然措辞处理这十年，一贯在进行缓慢的范式迁移。
原来自然措辞处理的任务非常多，比如分类任务、匹配任务、序列标注任务、阅读理解任务、句号剖析等构造化学习任务。
这些任务已经逐渐收敛到了措辞模型任务，措辞模型任务逐渐统一了自然措辞处理的所有任务。

为什么现在通用模型是从 ChatGPT 或者大措辞模型开始？邱锡鹏认为，关键的一点是，现在措辞某种程度上是人对外界的一种认知，是在自己大脑中的反应。
这里的措辞并不是语法本身，而因此措辞为载体的人类知识。

人类总结的知识必须要用措辞来总结，措辞代表了人类智能对天下的压缩。
现在人工智能领域 有“压缩即智能”的说法，压缩率越高，智能程度就越高。
某种程度上，措辞便是对天下的极致压缩，只不过这个压缩是由人类智能完成的。

构建天下知识可以不经由措辞，直接让模型通过不雅观察这个天下自己创造天下的规律，但这每每非常困难。

现在的大措辞模型具有天下知识，第一步是由人类来完成的。
人类不雅观察天下、总结知识，用措辞写下来。
大模型通过模拟学习的办法，把知识学到模型里面，并且通过措辞的办法与天下进行交互。
把稳的是，与天下交互时不一定限于自然措辞。

“我们终极希望达到所谓的‘天下模型’，即让模型本身和天下进行交互，不雅观察天下、理解天下，并进行相应的决策。
”邱锡鹏教授说道。
这也是继去年第一代 MOSS 发布之后，团队设想中的第二代 MOSS。

天下模型的观点提得非常早，它可以回避掉措辞模型的缺陷，但它本身到底怎么实现的路径并不清晰。
邱锡鹏团队的意见是，纵然天下模型，也须要依赖到大措辞模型这种根本模型上。
因此，实验室的努力方向之一便是如何将现有的大措辞模型改造成空想中的天下模型。

这一想法也有实践支持。
有很多研究者通过对 GPT-4 做各种实验，创造 GPT-4 已经具有非常强的韶光和空间观点、对现实天下的物体有理解，只不过须要在符号空间把它映射到现实天下，做一个比较好的对齐。

邱锡鹏教授提到，这也是现在比较热的观点：具身智能 + 天下模型。

“我们要授予大措辞模型感知能力、增强它的决策方案能力，以及让它拥有更好的影象、更好地利用工具等等，须要其通过不断和现实天下进行交互来学习。
MOSS 2 希望环绕着这方面去做研究。
”邱锡鹏教授表示。

“如果一个模型常常和天下进行交互，现在的模型肯定是弗成的。
”邱锡鹏教授举例称，如何让交互数据和模型迭代起来，如何更好地利用工具、跨模态和智能体等都须要办理。

在高效架构搭建方面，团队在 KV-Cache 上做了很多改进，让第二代模型具有更好的稀疏性，大幅降落本钱，比如长文档的打算速率可以提升 70% 旁边，同时保持能力不太低落。

对付底层架构的改进，团队用 Triton 重写了 Attention Kernel，让模型更好地利用硬件加速自身能力。
团队发回布了一个工具 CoLLiE （牧羊犬）：一个高效的 LlaMA（羊驼）等大模型微调工具。

CoLLiE 集成了现有的并行策略、高效参数微调方法和高效优化器，来加快演习速率，提高演习质量，降落演习开销。
除 MOSS 外， CoLLiE 还支持 InternLM， LLaMA， ChatGLM 等模型。

在 A100 和 RTX-3090 上测试不同批量下利用 Adam 优化的吞吐量结果

在 MOSS 2 中，团队还开拓了很多的中文能力。
邱锡鹏教授强调，“这个中文能力并反面刷榜同等。
现在的榜单和用户实际需求差异比较大，以是我们组建了上千种的能力点，按照不同能力体系去梳理强化，对用户的利用感想熏染会非常好。
”而这些数据未来可能作为演习集和评测集公开。

“多模态的能力对付下一代的架构非常主要。
”邱锡鹏教授表示。
但是目前所谓的多模态，都是多模态进、大模型出，即输入端是多模态、输出端是多模态的文本。
这并不符合哀求具身智能多模态输出能力的哀求。

那要怎么做模态之间的领悟？团队提出了“以措辞模型为中央，具有任意模态组合的输入输出能力”的思路。

实现这样的架构并不随意马虎，特殊是模态之间的任意组合是非常困难的。
团队在去年 5 月份就做这方面的事情，发布了 SpeechGPT。
当时，想到的一个方法是离散化。
操纵续的声音、图像、音频等离散化，好处是可以和文本任意打乱，也可以支持图像等输出。

以语音为例，语音是一个连续的旗子暗记，通过 Tokenizer 把语音信息离散化。
研发职员可以把语音当成一个新措辞，它有自己的词表，只要把词表并上去就可以去演习了。
这种办法便是把语音当成一个新措辞去演习。

语音当中，除了 Speech 信息之外，还具有非常丰富的情绪信息须要保留。
团队提出了语音离散化的工具 Speech Tokenizer，用大量语音信息来演习，做了措辞信息和非措辞信息之间的自动化分离，可以只提取措辞信息，也可以提取非措辞信息或者富措辞信息。
这样就可以让大措辞模型直接接管语音进行交互，不须要经由 TTS，也不经由 ASR。
大模型如此就具有跨模态的语音交互能力，指令可以跨模态、回答也可以跨模态，相称灵巧。

“最近 GPT-4o 展示了这方面路线的前景。
我们没有做到那么极致，但是 GPT-4o 展示出来的这种交互能力非常好。
它便是语音进、语音出，和 SpeechGPT 大概相似。
端到真个办法会让大措辞模型具有很强的交互能力。
”邱锡鹏教授说道。

邱锡鹏教授表示，这种想法扩展到多模态，所有的连续旗子暗记都可以 Token 化，实现任意 Token 的组合。
所有的模态在 Token 后，都可以用自回归的形式天生，天生的词符通过还原器，还原本钱来的模态。
这便是多模态的扩展。

邱锡鹏教授透露，MOSS 2 模型演习阶段没有做过多的代价对齐，由于人类代价是非常多样化的。
团队选择的是推断时对齐。
推断时对齐的实现方法非常多，可以利用宪法 AI，见告它一些准则让它遵照，也可以用一些对齐好的模型来做。

跨模态对齐现在也有非常多的方法，但邱锡鹏教授强调，现在跨模态对齐只是跨模态任务，对齐还是单模态对齐。

“一些从单模态上可以看出来，它的安全性不好。
还有一些所谓的跨模态对齐，从单模态看都没什么问题，但是合在一起就有问题。
比如自拍一张照片、在高楼上拍一张照片、发一些心情的内容，分开来看没有问题，但合在一起看就有问题。
这便是大家须要关注的，真正要办理的是跨模态安全对齐。
”

邱锡鹏团队还在模型内部做了很多可阐明性方面的事情。
可阐明性非常难，团队就先从小任务上开始，从合成任务，比如下围棋每一步的实行，去剖析 Transformer 内部的特色。
最近，团队也在小规模措辞模型上做了考试测验，创造非常多的特色能够预测大模型，比如什么时候产生幻觉。
邱锡鹏教授也举例道，有些特色和韶光干系，当回答已有韶光的问题时，这些特色不会激活，但是问它关于未来的问题，这些特色就激活了。

此外，复旦大学 NLP 实验室还希望增加 MOSS 的自我调控能力。
现在大模型没有自我调控，都是人为的。
“之前 MOSS 支配的时候问题，希望有些场景下它的回答多样性一点，有些场景不要，当时是人为调一些比较好的参数，达到比较好的平衡。
”邱锡鹏教授举例道。

而人在很多时候都是能够自我调节的，以是可以让大模型像人一样，通过心率、血压、荷尔蒙开释等调度它的行为。
为此，团队就提出了一种名为 Hyperparameter Aware Generation（HAG）的范式。
让大模型能够感知到自己超参的存在，然后调节这些超参，从而适应各种不同的场景。

正如 MOSS 团队当初所言，“中国版 ChatGPT 的出身还须要中国全体 AI 从业者的努力，也更须要不断和人交互以提高能力。
”很明显，团队正在努力实现自己的目标，我们期待 MOSS 2 的正式发布。

原文链接：复旦邱锡鹏教授讲述MOSS 2 研发进展：如何实现天下模型？_AI&大模型_邱锡鹏_InfoQ精选文章