就在本日凌晨，Meta和OpenAI打响了硅谷 AI 大模型保卫战。
钛媒体App 7月24日宣布，美国科技巨子Meta今晨推出迄今为止性能最强大的开源大模型——Llama 3.1 405B（4050亿参数），同时发布了全新升级的Llama 3.1 70B和8B模型版本。
Llama 3.1 405B支持高下文长度为128K Tokens，在基于15万亿个Tokens、超1.6万个H100 GPU上进行演习，这也是Meta有史以来第一个以这种规模进行演习的Llama模型。研究职员基于超150个基准测试集的评测结果显示，Llama 3.1 405B可与GPT-4o、Claude 3.5 Sonnet和Gemini Ultra等业界头部模型比较较。
Meta创始人、首席实行官马克·扎克伯格 (Mark Zuckerberg) 称Llama 3.1为“最前辈的”模型，他认为Meta正在建造的 Llama 模型是天下上最前辈的，且表示Meta 已经在开拓 Llama 4。乃至扎克伯格还亲自写了篇长文《Open Source AI Is the Path Forward》，发出了“开源引领 AI 行业、新时期”的声音。
但与此同时，OpenAI坐不住了。就在今晨，OpenAI宣告，今年9月23日之前，性能最强的小模型GPT-4o mini微调版全面免费，GPT-4o mini的输入Tokens用度比GPT-3.5 Turbo低90%，输出Tokens用度低80%。
一场在美国硅谷的 AI 大模型武备竞赛已经进入白热化。
环球性能最强4050亿开源大模型Llama 3.1来了，算力本钱高达数亿美金
详细来说，Meta Llama 3.1 405B，是环球迄今为止性能最强大、参数规模最大的开源模型，在基于15万亿个Tokens、超1.6万个H100 GPU上进行演习。
Meta表示，为了能够以这种规模进行演习并在合理的韶光内取得成果，团队显著优化了全体演习堆栈，并将模型演习推向超过 16,000 个 H100 GPU，使 405B 成为第一个以这种规模演习的 Llama 模型。
同时，与之前的 Llama 版本相比，Llama 3.1提高了用于演习前和演习后的数据的数量和质量。这些改进包括为演习前数据开拓更仔细的预处理和管理流程、开拓更严格的质量担保以及演习后数据的过滤方法。
其余，为了支持 405B 规模模型的大规模生产推理，团队还将模型从 16 位 (BF16) 量化为 8 位 (FP8) 数字，有效降落了所需的打算哀求并许可模型在单个做事器节点内运行。
而且，Meta评估了超150个基准数据集的性能，Llama 3.1 405B在知识、可操作性、数学、工具利用和多措辞翻译等一系列任务中，可与GPT-4o、Claude 3.5 Sonnet和Gemini Ultra相媲美。
在其他场景中，Llama 3.1 405B进行了与人工评估的比较，其总体表现优于GPT-4o和Claude 3.5 Sonnet。其余，升级后的Llama 3.1 8B和70B模型，比较于同样参数大小的模型性能表现也更好。
Meta透露，其更新了容许证，许可开拓职员首次利用包括405B参数规模的Llama模型的输出来改进其他模型。截至目前，已经有超过25个企业推出了基于Llama 3.1开源版本的新模型。个中，亚马逊AWS、Databricks和英伟达正在推出全套做事，AI芯片创企Groq等为Meta这次发布的所有新模型构建了低延迟、低本钱的推理做事，而Scale AI、戴尔等公司已准备好帮助企业采取Llama模型并利用自己的数据演习定制模型。
扎克伯格认为，Llama 会成为开源 AI 的行业标杆，就像当年的 Linux 一样。Llama 3.1 405B不仅是最强开源模型，还有望实现开源和闭源间隔大大缩短的模型技能。
算力层面，Meta 在 AI 方面的投资一贯很大。扎克伯格表示，Meta 的 Llama 3 模型的演习打算能力花费了“数亿美元”，但他估量未来的模型本钱会更高。他说，“展望未来，打算能力将达到数十亿美元”。
2023 年，Meta 试图掌握其在未来技能和管理层上的部分支出，在扎克伯格称之为“效率年”的一年中减少了数千个事情岗位。但扎克伯格仍旧乐意在 AI 武备竞赛上费钱。
Meta 在 4 月份见告投资者，今年操持花费比最初预期多数十亿美元的资金，个中一个核心缘故原由是对 AI 的投资。据公司博客文章称，估量到今年年底，该公司将拥有约 350,000 个英伟达H100 GPU。而H100 芯片已成为用于演习 Llama、GPT-4等大模型的根本技能本钱，每个芯片的本钱可能高达数万美元。
值得一提的是，Meta还宣告利用其 Llama 模型作为Meta AI供应支持，该机器人将在其运用（包括 Instagram 和 WhatsApp）内也作为独立产品支持运行。
而且，Meta AI也适用于雷朋Meta智能眼镜，并将于下个月在美国和加拿大的Meta Quest上以实验模式推出。Meta AI将取代Quest上当前的语音命令，让用户可以免提掌握耳机、获取问题的答案、随时理解实时信息、查看景象等。用户还可以将Meta AI与在头显中看到的视图结合利用，比如讯问其在物理环境中看到的事物干系情形。
扎克伯格表示，Meta AI拥有“数亿”用户，并估量到今年年底它将成为天下上利用最广泛的谈天机器人。其余，他认为，Meta 之外的其他人将利用 Llama 来演习他们自己的 AI 模型。
扎克伯格还公布公开信，直言开源对开拓者、Meta、天下都更有利，使得与OpenAI之间的开源、闭源大模型之间的炸药味更浓了。
扎克伯格提到，开源与闭源模型之间的差距正在逐渐缩小。他估量，从明年开始，Llama模型将成为业内最前辈的模型。并且当下Llama系列模型已经在开放性、可修正性和本钱效益方面处于领先地位。
在博客中，他还回答了为什么开源AI对开拓者有利、为什么开源AI对Meta有利、为什么开源AI对天下有利这三大问题。
为什么开源AI对开拓者有利？开拓者须要演习、微调自己的模型，以知足各自的特定需求；开拓者须要掌控自己的命运，而不是被一家封闭的供应商所束缚；开拓者须要保护自己的数据；开拓者须要高效且运行本钱低廉的模型；开拓者希望投资于将成为长期标准的生态系统。开源AI对Meta的好处在于，Meta的商业模式是为人们打造最佳体验和做事，要做到这一点，他认为必须确保其始终能够利用最佳技能，并且不会陷入竞争对手的封闭生态系统。其余，出售AI模型访问权限不是Meta的商业模式，这意味着开源不会减少其收入、可持续性发展或连续投资研究的能力。开源 AI 对天下有利。开源AI会匆匆使Meta将Llama发展为一个完全的生态系统，并有成为行业标准的潜力。我认为，开源对付 AI 的美好未来必不可少。与任何其他当代技能比较，AI 更具有潜力提高人类的生产力、创造力和生活质量，并加速经济增长，同时推动医学和科学研究的进步。关于开源AI模型安全性的辩论，我认为是开源AI将比其他选择更安全。开源将确保全天下更多的人能够享受 AI 带来的好处和机会，权力不汇合中在少数公司手中，并且该技能可以更均匀、更安全地运用于全体社会。然而，只管承诺开放 Llama，但扎克伯格和其他公司高管仍对用于演习 Llama 3.1 的数据集保密。
“只管它是开放的，但我们也是为自己设计的，”他阐明道。扎克伯格表示，Meta 正在利用来自 Facebook 和 Instagram 的公开用户帖子，以及该公司从其他公司得到容许的其他“专有”数据集，但没有透露详细细节。
对付中国大模型与美国 AI 之间的竞争，扎克伯格强调，美国在 AI 发展方面永久领先中国数年是不现实的。但他也指出，纵然是几个月的眇小领先也会随着韶光的推移而“集腋成裘”，从而使美国得到“明显上风”。
“美国的上风是去中央化和开放式创新。有些人认为，我们必须封闭我们的模式，以防止中国得到这些模式，但我认为这行不通，只会让美国及其盟友处于不利地位。一个只有封闭模式的天下，会导致少数大公司和我们的地缘政治对手能够得到领先的模式，而初创公司、大学和小企业则错失落机会。此外，将美国创新限定在封闭开拓中，增加了我们完备无法领先的可能性。相反，我认为我们最好的策略是建立一个强大的开放生态系统，让我们的领先公司与我们确当局和盟友密切互助，以确保他们能够最好地利用最新进展，并在长期内实现可持续的先发上风。”扎克伯格表示。
OpenAI抢断Meta，直言要把 AI 模型价格打到0
在Meta公布Llama 3.1两个多小时之后，OpenAI也开释了一则主要：刚刚发布的GPT-4o mini微调版免费了。
OpenAI表示，本日，公司推出了GPT-4o mini微调功能，让其新的小模型在特定用例中的表现更加出色。同时，从现在起直到9月23日，GPT-4o mini每天可以免费微调，最高可达200万演习Tokens。超过200万演习Tokens的部分将按每百万Tokens 3.00美元收费。而从9月24日开始，微调演习将按每百万Tokens 3.00美元收费。
OpenAI指出，如果你目前正在微调GPT-3.5 Turbo，GPT-4o mini则更加实惠，拥有更长的高下文，以及更强的技能能力。
更实惠：GPT-4o mini的输入Tokens用度比GPT-3.5 Turbo低90%，输出Tokens用度低80%。纵然在免费期结束后，GPT-4o mini的演习本钱也比GPT-3.5 Turbo低一半。更长的高下文：GPT-4o mini的演习高下文长度为65k Tokens，是GPT-3.5 Turbo的四倍，推理高下文长度为128k Tokens，是GPT-3.5 Turbo的八倍。更聪明且更有能力：GPT-4o mini比GPT-3.5 Turbo更聪明，并且支持视觉功能（只管目前微调仅限于文本）。GPT-4o mini微调功能向企业客户和Tier 4及Tier 5利用等级的其他开拓者开放。你可以访问微调仪表板，点击“创建”，并从基模型下拉菜单中选择“gpt-4o-mini-2024-07-18”来开始免费微调GPT-4o mini。奥尔特曼发推文表示，GPT-4o mini 以 1/20 的价格在 lmsys 上实现了与 GPT-4o靠近的性能表现。他还希望大家能够多多利用GPT-4o mini微调版本。
当前，一场关于开源和闭源大模型的硅谷 AI 价格战持续延烧。
从Meta Llama 3.1系列模型的发布，可以看出开、闭源大模型之间的差距正在缩小，而且，比较于此前的Llama模型，这次新模型还让尽可能多的开拓职员和互助伙伴利用Llama系列，这意味着更多的问题将随着不断更新得到办理。但是，到场景和运用中，开源模型的详细能力、适用的商业化落地等还须要韶光来证明。
不过，有剖析认为，Llama 3.1 405B的价格远远低于GPT-4同一模型能力的版本。因此，OpenAI正在面临一系列的寻衅。
Llama 3.1 405B 在不同平台的价格: Fireworks: $3 input / $3 output / 1M tokens Together: $5 in / $15 out Replicate: $9.5 in / $9.5 out Groq: 仅支持企业用户比拟一下： GPT-4o: $5 in / $15 out Claude 3.5 sonnet: $3 in / $15 out调研机构FutureSearch日前发布一份关于OpenAI收入的报告文件称，OpenAI现在的年度常常性收入（ARR）达到34亿美金，但个中，一半以上的收入来自ChatGPT会员付费，而倾向企业和开拓者真个API收入仅为5.1亿美元，占比仅为15%旁边。
对付GPT-5，奥尔特曼表示，开拓“GPT-5”还须要一些韶光，这个模型可能仍处于早期开拓阶段。但相较于GPT-4 而言，GPT-5将是“巨大飞跃”。
“我们目前持乐不雅观态度，但还有很多事情要做。”奥尔特曼进一步阐明称，GPT-5有繁芜的算法事情须要处理。“我希望它能取得重大飞跃。GPT-4常常犯很多缺点，比如在推理方面表现不佳，有时还会完备跑偏，犯下低级缺点，就像连一个六岁孩子都不会犯的一样。”
（本文首发于钛媒体App，作者｜林志佳，编辑｜胡润峰）