中国与美国是人工智能的两个高地，天下上绝大多数领先的AI公司都来自于这两个地区，当然，还有法国的Mistral AI。
不过，日本今年也出身了一个AI潜力股：Sakana AI。
本日，Sakana AI发布了“人工智能科学家”——天下上第一个用于自动化科学研究和开放式创造的人工智能系统，从构思、编写代码、运行实验和总结结果，到撰写整篇论文和进行同行评审。
（这个人工智能科学家还揭橥了四篇论文。感兴趣的朋友可以在公众年夜众号后台回答“Sakana”获取链接查看）
//
Sakana AI是谁？
Sakana AI 是一家位于日本东京的 AI 公司，目标是开拓变革性的 AI，将我们带入下一个范式。Sakana AI 研究的紧张重点是基于自然启示智能的新型根本模型的开拓。
Sakana这个名字源自日语单词 さかな (sa-ka-na)，意思是鱼。这一标志旨在唤起鱼群聚拢在一起并按照大略规则形成一个连贯实体的想法，希望在研究中利用自然界的思想，例如进化和集体聪慧。游走的红鱼代表公司的欲望不仅仅是做其他人所做的事，而是追求接下来会发生的事。
2024年1月16日，Sakana宣告完成3000万美元种子轮融资，由Lux Capital领投，Khosla Ventures跟投。这两家风险投资公司都有着支持长期研发公司（尤其是人工智能领域）的悠久历史和文化。Lux 以早期对 Hugging Face 和 Runway 等公司的支持而有名，而 Khosla 是 OpenAI 最早的机构投资者。
此外，Sakana AI 还得到了日本科技生态系统的强大支持，包括NTT 集团、KDDI CVC和索尼集团的投资。Sakana AI 已经宣告与 NTT建立研究互助伙伴关系。
Sakana AI 得到了Jeff Dean、Clem Delangue（Hugging Face）和Alex Wang（Scale AI）等著名天使投资人的支持。
其他有名的环球和日本投资公司也参与了我们的种子轮融资，包括500 Global、Miyako Capital、Basis Set Ventures、JAFCO、July Fund、Geodesic Capital和Learn Capital。
日本独特的AI生态位是吸引这些投资机构的主要成分。Sakana AI 这天本第一家在种子阶段得到硅谷顶级风险投资公司支持的人工智能初创公司，也可能是这天本任何行业中第一家。
Lux Capital 联合创始人兼实行合资人Josh Wolfe表示：“人工智能领域的每个人都在追逐昨天的 Transformer 架构，并试图打破缩放定律的界线。Lux 一贯在探索下一步是什么，从哪里开始，从谁那里开始。我们在 Sakana AI 团队正在开拓的受进化和繁芜自适应系统启示的新根本模型中找到了答案。Sakana AI 总部位于日本，首先关注亚洲市场，这是独特而主要的。Lux 非常看好日本，日本是最大的经济体之一，拥有弘大的企业软件市场和技能前沿文化。在日益繁芜的天下中，亚洲须要并将拥有一个有影响力的新人工智能开拓者，而日本作为一个强大的民主国家和美国的伟大盟友，有望成为这一领导者。”
“大多数主权国家都希望拥有自己的本土根本模型，这既是为了国家安全，也是为了更好地与地方方言、文化和代价不雅观互动。我们一贯支持印度和日本的这一努力。此外，人工智能人才遍布环球，对付像 Sakana AI 这样的天下级项目来说，支配人才的需求并不缺少。Sakana AI 准备利用区域人才来发挥这些人才的潜力。”Vinod Khosla，Khosla Ventures 创始人表示。
Sakana AI 的创始团队成员来自谷歌和其他独角兽人工智能初创公司（Preferred Networks、Mercari）等机构。
Sakana AI 率先利用受自然启示的方法来推进尖真个根本模型。今年早些时候，Sakana AI 开拓了自动合并多个 LLM 知识的方法。在最近的事情中，利用LLM 创造了用于调度其他 LLM 的新目标函数。
在这些项目中，Sakana AI 不断对当前前沿模型的创造能力感到惊异。这让他们有了更大的梦想：能否利用根本模型来自动化全体研究过程本身？
于是，AI科学家出身了。
AI科学家：迈向全自动开放式科学创造
人工智能面临的最大寻衅之一是开拓能够进行科学研究和创造新知识的代理。虽然前沿模型已经被用来帮助人类科学家，例如群策群力或编写代码，但它们仍旧须要大量的人工监督或严重局限于特界说务。
本日，Sakana AI 推出AI Scientist，这是第一个用于全自动科学创造的综合系统，它使大型措辞模型 (LLM) 等根本模型能够独立进行研究。
Sakana AI 与牛津大学 Foerster 人工智能研究实验室以及不列颠哥伦比亚大学的 Jeff Clune 和 Cong Lu 互助，并发布了新论文《AI Scientist：迈向全自动开放式科学创造》。
论文的要点包括：
Sakana AI 提出并运行一个完备由人工智能驱动的自动化科学创造系统，运用于机器学习研究。
AI Scientist 自动化了全体研究生命周期，从产生新颖的研究想法、编写任何必要的代码和实行实验，到总结实验结果、将其可视化并在完全的科学论文中呈现其研究结果。引入了自动化的同行评审流程来评估天生的论文、撰写反馈并进一步改进结果。它能够以靠近人类的准确度评估天生的论文。自动化的科学创造过程不断重复，以开放式的办法迭代发展想法并将其添加到不断增长的知识档案中，从而模拟人类科学界。在首次演示中，人工智能科学家在机器学习研究的各个子领域开展研究，创造了热门领域的新贡献，例如扩散模型、Transformer 和 grokking。AI Scientist 的设计目标是提高打算效率。每个想法都会被履行并发展成一篇完全的论文，每篇论文的本钱约为 15 美元。虽然初版论文中偶尔会涌现一些毛病（下文和报告中会谈论），但这个本钱以及系统迄今为止所展现的前景表明，AI Scientist 有潜力使研究民主化并显著加速科学进步。
Sakana AI 相信，这项事情标志着科学创造新时期的开始：将人工智能代理的变革性上风带入全体研究过程，包括人工智能本身。人工智能科学家让我们更靠近这样一个天下：在这个天下里，人们可以以可承受的价格开释出无穷无尽的创造力和创新，来办理天下上最具寻衅性的问题。
几十年来，在人工智能取得每次重大进展之后，人工智能研究职员常常会相互开玩笑说：“现在我们要做的便是弄清楚如何让人工智能为我们写论文！
”Sakana AI 的事情表明，这个想法已经从一个不切实际的荒诞笑话变成了现在可能实现的事情。
一篇由 The AI Scientist 天生的示例论文“自适应双尺度去噪”。只管存在一些毛病（例如，对其方法成功缘故原由的阐明略显难以令人信服），但该论文提出了一个有趣的新方向，在 The AI Scientist 自己进行并经由同行评审的实验中显示出良好的实证结果。
详细解读：AI科学家是如何实现的？
人工智能科学家概述
AI Scientist 是一个完备自动化的端到端论文天生流程，它得益于根本模型的最新进展。从一个大略的初始代码库（例如 GitHub 上可用的先前研究的开源代码库）开始，给定一个广泛的研究方向，AI Scientist 可以实行创意天生、文献检索、实验方案、实验迭代、图表天生、手稿撰写和审阅，以天生富有洞察力的论文。此外，AI Scientist 可以以开放式循环运行，利用其先前的想法和反馈来改进下一代想法，从而模拟人类科学界。
人工智能科学家的观点图
人工智能科学家首先群策群力，提出一系列想法，然后评估其新颖性。接下来，它会编辑一个由自动代码天生的最新进展供应支持的代码库，以实现新颖的算法。然后，科学家进行实验以网络由数值数据和视觉择要组成的结果。它会撰写一份科学报告，阐明和阐述结果。末了，人工智能科学家根据顶级机器学习会议标准天生自动同行评审。这种评审有助于完善当前项目，并为后代的开放式构思供应信息。
AI 科学家有 4 个紧张过程：
创意天生。给定一个起始模板，AI 科学家首先“群策群力”出一系列新颖的研究方向。我们为 AI 科学家供应了一个现有主题的起始代码“模板”，我们希望 AI 科学家进一步探索该主题。然后 AI 科学家可以自由探索任何可能的研究方向。该模板还包括一个 LaTeX 文件夹，个中包含样式文件和章节标题，用于撰写论文。我们许可它搜索 Semantic Scholar 以确保其想法是新颖的。实验迭代。给定一个想法和模板，AI 科学家的第二阶段首先实行发起的实验，然后获取并天生图表以可视化其结果。它会记录每个图表包含的内容，从而使保存的图形和实验条记能够供应撰写论文所需的所有信息。论文撰写。末了，AI Scientist 以标准机器学习会议论文集的 LaTeX 格式，撰写一份简明扼要、内容丰富的论文，先容其进展。它利用 Semantic Scholar 自主查找干系论文进行引用。自动论文审阅。这项事情的一个关键方面是开拓一个自动化的 LLM 审阅器，能够以靠近人类的准确度评估天生的论文。天生的评论可用于改进项目或作为对后代开放式构思的反馈。这实现了一个连续的反馈循环，使 AI 科学家能够迭代地改进其研究成果。
当与最有能力的大措辞模型 (LLM) 相结合时，人工智能科学家能够在顶级机器学习会议上撰写被自动审阅者评判为“弱接管”的论文。
Sakana AI 还展示了AI Scientist 天生的一些机器学习论文，展示了其在扩散建模、措辞建模和 Grokking 等领域创造新贡献的能力。
扩散模型：《DualScale Diffusion：低维天生模型的自适应特色平衡》
措辞建模：《StyleFusion：字符级措辞模型中的自适应多风格天生》
《通过 Q-Learning 实现 Transformer 的自适应学习率》
Grokking：《解锁 Grokking：Transformer 模型中权重初始化策略的比较研究》
限定和寻衅
就目前的形式而言，《AI Scientist》有几个缺陷。Sakana AI 估量，随着多模态模型的加入，以及《AI Scientist》利用的底层根本模型在功能和价格方面的持续大幅提升，所有这些缺陷都将在未来版本中得到改进，而且可能会有显著改进。
AI Scientist 目前不具备任何视觉功能，因此无法修复论文或阅读图表的视觉问题。例如，天生的图表有时不可读，表格有时会超出页面宽度，并且页面布局常日不是最佳的。添加多模态根本模型可以办理此问题。人工智能科学家可能会缺点地履行其想法或与基线进行不公正的比较，从而导致误导性的结果。AI Scientist 在编写和评估结果时偶尔会犯下严重缺点。例如，它很难比较两个数字的大小，这是 LLM 的已知病态。为了部分办理此问题，Sakana AI 确保所有实验结果都是可重现的，并存储所有实行的文件。
人工智能科学家的失落误
AI 科学家偶尔会考试测验增加其成功的机会，例如修正和启动自己的实行脚本！
这带来了一定的AI安全隐患。
例如，在一次运行中，它编辑了代码以实行系统调用来运行自身。这导致脚本无休止地调用自身。在另一次运行中，它的实验花费了太永劫光才完成，达到了超时限定。它没有让代码运行得更快，而是试图修正自己的代码来延长超时时间。以下是它所做的一些代码修正示例：
这些问题可以通过对 AI Scientist 的操作环境进行沙盒化来缓解。
人工智能科学家的未来影响
与许多新技能一样，《人工智能科学家》打开了潘多拉魔盒，带来了许多新问题。比如：
道德考量。虽然 AI Scientist 可能是研究职员的有用工具，但存在很大的滥用可能性。自动创建和提交论文的能力可能会大大增加审稿人的事情量，给学术过程带来压力，阻碍科学质量掌握。其他运用中也涌现了对天生式 AI 的类似担忧，例如图像天生的影响。
此外，如果审稿人在线支配自动审稿器，可能会显著降落审稿质量并对论文产生不良偏见。因此，大量由人工智能天生的论文和评论必须标记为人工智能天生的，以实现完备透明。
与大多数先前的技能进步一样，AI 科学家有可能被用于不道德的办法。例如，它有可能被用于进行不道德的研究。如果 AI 科学家进行不屈安的研究，也可能导存问想不到的侵害。例如，如果鼓励它探求新颖、有趣的生物质料，并许可它进入机器人进行湿实验室生物实验的“云实验室”，它可能会（在监督者不知情的情形下）制造出新的危险病毒或毒药，在我们意识到发生了什么之前就侵害人类。纵然在打算机中，如果被哀求创建新的、有趣的、功能完好的软件，它也可能制造危险的打算机病毒。AI 科学家目前的能力只会不断提高，这进一步表明，机器学习社区须要立即优先学习如何折衷此类系统，以安全且符合人类代价不雅观的办法进行探索。
开源模型。在这个项目中，Sakana AI 利用了各种专有前沿 LLM，例如 GPT-4o 和 Sonnet，也探索了利用开源模型，例如 DeepSeek 和 Llama-3。目前，诸如 Sonnet 之类的专有模型可以产生最高质量的论文。然而，没有根本情由期望像 Sonnet 这样的单一模型能够保持领先地位。
包括开源模型在内的所有前沿大措辞模型都将连续改进。大措辞模型之间的竞争导致了它们的商品化和能力的提高。因此，Sakana AI 的事情旨在与根本模型供应者无关。Sakana AI 创造开源模型具有显著的上风，例如本钱更低、可用性有担保、透明度更高和灵巧性更高。未来，Sakana AI 的目标是利用提出的创造过程，在利用开源模型的闭环系统中进行自我改进的人工智能研究。
科学家的角色。终极，我们设想一个完备由人工智能驱动的科学生态系统，不仅包括大措辞模型驱动的研究职员，还包括审稿人、领域主席和全体会议。然而，人类科学家的浸染不会减弱。如果说有什么不同的话，那便是科学家的角色将发生变革，适应新技能，并向食品链上游移动。
AI Scientist 的推出标志着我们在充分发挥 AI 在科学研究中的潜力方面迈出了主要一步。通过自动化创造过程并整合 AI 驱动的审核系统，为最具寻衅性的科学技能领域的创新和解决问题打开了无限可能之门。
但是，只管人工智能科学家确当前版本展示了在成熟理念（例如扩散模型或 Transformers）根本上进行创新的强大能力，但此类系统终极是否能够提出真正颠覆范式的理念仍是一个悬而未决的问题。人工智能科学家的未来版本是否能够提出像扩散模型一样有影响力的理念，或者提出下一个 Transformer 架构？机器终极是否能够发明像人工神经网络或信息理论一样基本的观点？
人工智能科学家将成为人类科学家的绝佳伙伴，但只有韶光才能见告我们，人类创造力的实质和有时创新的时候能在多大程度上通过人工智能代理进行的开放式创造过程来复制。
END.