除了令人难以置信的性能之外,这款新型推理解决方案的定价也比盛行的 GPU 云低得多,起价仅为每百万个 token 10 美分,从而为 AI 事情负载供应 100 倍更高的性价比。

该方案将许可 AI 运用程序开拓职员构建下一代 AI 运用程序,而不会影响速率或本钱。
该方案利用了 Cerebras CS-3 系统及其 Wafer Scale Engine 3(WSE-3)AI 处理器,个中 CS-3 的内存带宽是 Nvidia H100 的 7000 倍,办理了天生式 AI 的内存带宽技能寻衅。

据IT之家理解,Cerebras Inference 供应以下三个层级:

免费层为登录的任何人供应免费的 API 访问和年夜方的利用限定。

Cerebras推出全球最快AI推理解决筹划速度是英伟达筹划的20倍

开拓者层专为灵巧的无做事器支配而设计,为用户供应一个 API 端点,其本钱只是市场上替代方案的一小部分,Llama 3.1 8B 和 70B 模型的定价分别为每百万 token 10 美分和 60 美分。

企业层供应微调模型、定制服务级别协议和专门支持。
企业可以通过 Cerebras 管理的私有云或客户场所访问 Cerebras Inference,非常适宜持续的事情负载。

Cerebras 团队称:“凭借创记录的性能、业界领先的定价和开放的 API 访问,Cerebras Inference 为开放的 LLM 开拓和支配设定了新标准。
作为唯一能够同时供应高速演习和推理的办理方案,Cerebras 为 AI 开辟了全新的可能性。

AI 领域正在迅速发展,虽然英伟达目前在 AI 市场霸占主导地位,但 Cerebras 和 Groq 等公司的涌现预示着行业动态可能发生变革。
随着对更快、更具本钱效益的 AI 推理解决方案需求的不断增加,这些寻衅者在颠覆英伟达的霸主地位,尤其是在推理领域方面。