在 AI 陪聊这个赛道,C.AI 跑得最快、最早,今年 7 月份最新日活数据是 600 万,均匀用户时长在 2 个小时。
即便是放在全体社交陪伴赛道,有这么长用户时长的运用,也不多,放在 AI 运用里,更是寥寥。

意外的是,8 月 3 日,Character.AI 在官方博客文章中,宣告与 Google 达成协议,包括两位创始人在内的 30 位员工加入 Google,剩余大部分团队留在 C.AI,连续打造产品。
作为条件,Google 以 C.AI 此前 10 亿美元估值的 2.5 倍,向 C.AI 投资方兑现投资回报。

近日,极客公园视频号「今夜科技谈」直播栏目,约请硅基流动联合创始人&CEO 袁进辉、创新工场联合首席实行官&管理合资人汪华,与极客公园创始人&总裁张鹏对这一话题进行了磋商,细致拆解了从 C.AI 到近一年来 AI 创业圈的热点案例与未来走向。

以下为本次直播沉淀,由极客公园整理:

CAI 卖身原形好技能好倾向坏产品

01| 25 亿美金买一个「Jeff Dean」回来,不贵

张鹏:进辉是最早投身 AGI 浪潮的创业者,不管是之前的「光年之外」,还是现在的创业项目「硅基流动」。
我相信 Character.AI(下称 C.AI)推出时,你肯定研究过。
那时,你对 C.AI 这家公司、对创始人,有哪些不雅观察和理解?

袁进辉:我关注 Character.AI 确实比较早,由于创始人 Noam Shazeer 既是学界大咖,在 Google 的声誉也很厚,以是一贯有研究这个公司的走向。

最早关注到,引起 Transformer 革命的这样一个科学家,为什么不在大厂里追寻科学的制高点,而是要出去创业做产品,做一个通用人工智能(AGI)的公司。
一定程度上,他的出发点是对 Google 的产品动作、节奏的不满,希望有更好的自主性、灵巧性。

Noam 团队做出的 Character.AI,该当是最早有比较大流量的 To C 产品,非常接地气。
我们做光年之外的那个阶段(2023 年),很多人在研究「怎么做 AI 时期的 Super App」,当时相称多人看好、相信、研究 Character.AI 的方向,它的确是一个标杆。

张鹏:一个这么有影响力的创始人,做出给创投界很多信心和希望的标杆型 AI 运用。
溘然,就被「并购」了。
你当时听到后的「内心戏」是若何的?

袁进辉:我确实懵了一下子。
实在今年 3 月去参加英伟达 GTC 大会的时候,就听到 C.AI 有寻求被收购的想法,但是靴子一贯没落地,当真正发生的时候,是有点意外。
由于这对我们这个行业的从业者肯定会有所影响,比如,我以为会影响「行业大景象」,像融资、大家的创业方向之类的。

后来琢磨了一会,我以为它确实反响了一些比较底层的逻辑变革。
比如更早的时候,很多公司在讲模型和运用的双轮驱动、产模一体等等。
这个变革是,同时想搞好模型和运用是有一些寻衅的。
其余,C.AI 公开信里面也认为开源模型已经可用了,能知足他们未来的产品需求,这也会对很多运用从业者有所启示。

但是从长期来说,我还是以为全体行业处在非常早期的阶段。
从很长的周期来看的话,这件事也是一个正常的颠簸。

张鹏:汪华怎么看 Character.AI 被「并购」?最早 C.AI 给你们留下什么印象和启示?汪华:我相对熟习 C.AI,由于我跟开复之前都在 Google 事情,很多朋友也都认识 Noam Shazeer。

Noam 当时选择出来做 C.AI,是当时 Google 不让他发布大模型产品——LaMDA。

实在 Google 做出 LaMDA 要比 ChatGPT 早很多,至少一年。
当时 Noam 就想发布 LaMDA,由于他想到真实用户里看这个东西的反馈,由于没有人类反馈,永久做不好。
但是 Google 不让,以是有了 Noam 出走创业。

C.AI 处于非常拧巴的状态已经有一段韶光了,Character.AI 做出了一个很好的产品,但实在是由于它的模型很强。
去年 4 月份,我跟 C.AI 的同学有很多互换。
那时候我就以为有一些比较神奇的地方。
比如去年 4 月,C.AI 一共有 21 个人,个中 20 个都是算法和工程,没有产品经理、没有运营,剩下的一名员工相称于是行政之类的角色。

张鹏 :彷佛C.AI 在今年4 月份之前,都没有真正做产品的团队。

汪华:对,他们当时做产品,是由工程和算法来做。
你会创造这个产品的迭代基本上是靠模型驱动的,并没有在产品的交互层面迭代,包括用户新的社交模式、用户需求等,实在没有做太多。
即便有一些升级也是常规动作,比如加各种语音、做商业化。
以是它虽然是一个产品公司,但实际上并没有像一个产品公司那样运作。

第二,Noam 实在对 AGI 很有兴趣,但他当时并没有趁去年的 AI 热潮、以模型公司的身份去融足够多的钱。

在 C.AI 这波变动之前,我有一些预感,这样做下去不对。
如果做一个产品公司,C.AI 没有按照,比如当年字节那样正儿八经的产品公司来做推举算法。
同时,Noam 有非常强的意愿做 AGI,手里又没有足够资源去做。

当地韶光 2022 年 10 月 6 日,美国加州,Noam Shazeer 与前谷歌工程师 Daniel De Freitas 共同创立 Character.AI。
|图片来源:视觉中国

张鹏:很少能看到一个创业者,做了一个让天下惊艳的产品,但实在他并不是要做这个产品,C.AI 是他通向 AGI 的一个实验品,Noam 真正的兴趣点在 AGI。
以是 Noam 是个什么样的人?

汪华:C.AI 有两个创始人,但实话说,我以为 Google 收购只是为了 Noam Shazeer 一个人,虽然 Daniel De Freitas 也很厉害。
当年 Transformer 论文的作者有 8 个人,但在我看来,实际上真正主要的就两位,一个是最原始提 self-attention(自把稳力机制)的 Jakob Uszkoreit,另一个便是 Noam,如果没有 Noam 进来,Transformer 后来根本就做不出来。

他是超级工程师,既懂 research(研究)又懂 engineering(工程)。
纯粹从他的实力来讲,他完备可以是 AI 时期的 Jeff Dean。
以是 Google 花 25 亿美金买一个「Jeff Dean」回来,你以为贵吗?

(备注:Jeff Dean,Google 首席科学家,领导了 Google 多项关键技能的研发)张鹏:贫穷限定了我的想象(哈哈)。
汪华:我个人以为这里最大的疑问是,Noam 回到 Google 后到底有没有空间?Google 到底有没有把之前让 Noam 走,或者让 Noam 没法发挥空间的问题办理掉?如果没有,就算 Noam 回来了,他在 Google 体系里面做不了什么事,也是白搭。

实在他也是一个很有远见的人。
当时做完 Transformer 之后,他就提出要把搜索、把全体互联网全部向量化、模型化。
当时被认为过于极度,但现在大家再看这个问题,是不是以为这是一定的?

张鹏:Google 里边确实就有能看到未来的人,但是看起来,一个弘大的组织却让这些人没能充分发挥,终极还是要出走,再请回来。
你以为 Google 能改变吗?给 Noam 一个充分的发挥的空间。

汪华:实在你跟 Google 一线的同学聊,哪怕到现在为止,每个人都是「槽多无口」的状态。

在我看来,这个问题只有创始人能办理,但是实话说,我不是特殊确认 Larry Page 和 Sergey Brin(Google 两位联合创始人)处在这样的人生状态。
如果能有 Elon Musk 当年的那种,卷着铺盖直接睡到 Tesla 的流水线上,完备从底层、第一性事理,去再造公司,我以为是有可能的。

张鹏:前段韶光我在硅谷期间听到的是马斯克要买 C.AI,律所已经开始参与交易会谈了,但是回来没两天,马斯克在 X.com 上辟谣了,大概率是真谈过,但没谈拢。
进辉,你怎么看这笔交易,如果马斯克想买,它会用来干嘛?

袁进辉:对,我也听闻 Elon Musk 要买 C.AI,但末了为什么 Google 达成交易,我赞许刚才汪华的不雅观点,Noam 毕竟在那边事情过、声誉卓著,而 Google 在眼下这个阶段也须要一个有威望的人,来鼓舞士气。

我听 Google 的朋友说,Google 创始人在内部表达过,一贯在想办法让 Noam 再回来,在做技能的人眼里,还是比较钦佩 Noam,以是如果 Noam 回来,全体团队的士气可能会不一样。
从这个角度来看,Google 是乐意支付溢价的。
但是其他潜在买家 Meta 或者是 X.ai,可能给不了这么好的 offer。
可能他们因此抄底的想法来谈的,Google 的姿态会更尊重一些。

张鹏:一个叫回家,一个叫抄底。
单就 Google25 亿美元带走 C.AI30 位员工,这笔交易对各方的利益是什么样的?

汪华:我没有仔细看这个交易的构造,但整体上,投资人该当都被溢价买回来了。
对投资人来讲,一个一年多的投资项目,哪怕你是在 10 亿美金估值的时候投的,ROI 和回报都相称不错,更不用说更早投的 VC 了。
对投资人来讲无论如何都是一个胜利。

员工里有两部分,一部分加入 Google,Google 的股票也相称于现金了;另一部分留在 C.AI 连续做,但是员工勉励也得到了现金兑换。

以是 Google 真的是把各方的回报都知足了,非常体面。
我更好奇的是,里面一些纸面下的东西。
Noam 拿到了一些什么样的承诺?他回到 Google,到底有多大的权限?能干多少事情?

张鹏:Google 当年收购 DeepMind 也就花了 5.4 亿美金,现在花 25 亿美金请回 Noam。
对 Google 来说,值吗?

汪华:实在我个人以为 Google 未必亏损了,一是要看将来怎么实行这笔交易,另一个,我个人以为 Google 这么做可不但是为了做 AGI。

在几家大公司里,我以为 Google 的搜索和广告业务根本是最危险的。
当年移动互联网时期,搜索和广告实在已经被大大削弱一次了。
你看本日的百度就知道了,很多搜索推举引擎把搜索在手机上、移动设备上淡化了。
但 Google 当时很有远见,一开始就收购、掌握了 Android,以是在移动互联网时期,它没有受影响,乃至还增强了。

但 AI 时期会更进一步地削弱搜索,由于搜索是为了用户做下一步任务,但将来 AI 是直奔结果、直接帮用户完成任务了,以是 AI 对搜索的削弱比移动互联网还狠,广告也是一样。
在新一代的商业模式上,广告是不是还会像以前一样长得这么大?

以是 Google 这笔交易可不但是为了做 AGI。
在我看来,Google 出这个非常体面的价格,一定也是要花大决心重构它的搜索和广告,乃至重构全体业务根本。
这便是我刚为什么把 Noam 比成 Jeff Dean,Google 花 25 亿美金,万一又买回来一个「Jeff Dean」,这个角度来看未必就贵了。
袁进辉:对,我也非常赞许,这个人才值这个价。
况且这里面可能要再细分一点,25 亿美金是 C.AI 这个公司的估价,里面根据投资人股权,给投资人兑现的现金可能也不超过 10 亿美元。
其余一部分就彷佛雇佣一批人才,通过 Google 的 package(权柄组合)——现金加股票。

以是对 Google 来说,实际上是可控的,让投资人赚一笔,对团队来说,该当紧张是用未来的薪资来支付。
汪华:实在要雇这样一批人,本来就要支付股份、期权。
张鹏:归根结底并不是由于 Google 缺 C.AI 这么一个产品,真正有代价的是人。

02|OpenAI 人才流失落背后,Sam Altman 实在挺难的

张鹏:前两天 OpenAI 又有核心团队离开去创业了。
过去一年,OpenAI 当年那个黄金团队也被瓦解得挺多,走了不少人。
你怎么看 OpenAI 不断流失落人才这件事?

汪华:我以为该当还是 OpenAI 去年 11 月份(Sam Altman 被开除又召回)的余波,这事还没完。

实在抛开是不是安全、与人类代价不雅观对齐之类,OpenAI 还有另一条线——想做 AGI 的人跟做商业化的人之间的抵牾冲突,实话说 Sam Altman 也挺难的。
在 OpenAI 做研究和想做 AGI 的人眼里,商业化团队做的那些事纯粹是摧残浪费蹂躏卡、摧残浪费蹂躏资源,「你们在那里搞什么?摧残浪费蹂躏宝贵的研究韶光」。

以是实在 OpenAI 最原始的这波人离开,无论是出于「对齐」、安全,还是想实现 AGI,对 Sam Altman 的商业化、产品化路线都挺有想法的。

但是问题是,原来的 OpenAI、原来最核心的人都是在第一种思想下,做到现在这个状态的。
对他们来说,OpenAI 现在不说 180 度大转弯,也至少是 90 度。

OpenAI 首席实行官 Sam Altman|图片来源:视觉中国

张鹏:现在业界也在积累压力——「GPT 5 怎么还不出来」,既担心 GPT-5 出来,现在做的事情就没意义了,又担心 GPT-5 出来不及预期。

袁进辉:你说的这两种抵牾心态很真实。
但站在从业者角度来说,还是希望 GPT-5 有打破,由于它关系到全体行业、全体社会对 AI 的信心。

但是客不雅观来说肯定是,从 90 分再往上提难度越大,越今后难度越大。

同时,技能打破有一定的有时性,前面全体行业的进展我以为彷佛太高歌年夜进、太空想化了,实际上该当有一个客不雅观复苏的认识,在这个过程中肯定有反复、有颠簸,会碰着困难。

03|把 Character.AI 交给张小龙,可能就没有本日的困境了

张鹏:回到 Character.AI 产品本身,已经做到赛道头部,但创始人无奈把它放弃。
除了创始人志不在此,还该当怎么理解这件事?汪华:C.AI 实在「生」得有点早,账算不过来。
如果到了明年,全体推理优化得更好、本钱更低,账可能会算得过来。

实话说,现在推出 C.AI 还不如 AI 搜索。
AI 搜索,一天撑去世搜十次;当年我在 Google 的时候,一个用户均匀搜索不超过 7 次。
以是 AI 搜索花费的 token 数是有限的,哪怕你加堆一大堆 RAG(检索增强)。
但是社交娱乐产品的逻辑是,一个产品的用户时长越长,产品越好。
可是 C.AI 这个产品动不动便是两个小时的用户时长、上百轮的对话,如果再加上语音等其他东西,一个日活用户轻轻松松就须要花费掉几十万、上百万 token。

以是用户增长对 C.AI 来说是一把双刃剑。
要想产品好,用户时长要越长越好,但是对付算账来说,用户时长越长,越算不过帐。
C.AI 最近为了降本钱,已经在跟用户体验做博弈了,比如把模型冒死往小压缩,以是前段韶光有很多用户反馈「模型怎么变笨了」,「我的体验不好了」。

以是从推理、多模态等各方面的发展来说,实在都有点早。
当然这只是韶光问题,他如果融到足够多的钱,捱到推理本钱降落,比如明年又降落到 1/ 10 了。

张鹏:如果去年他再拿 10 亿美金,按照本日的现状即便算不过账,也可以连续往前跑。
汪华:对。
C.AI 在没有仔细做产品的情形下,都能吸引那么多日活,而且均匀用户时长那么长,反而更解释了这个领域的用户需求很强。
要知道,C.AI 的用户时长是超过一个小时的。
超过一个小时用户时长的运用实在不多。

除了推理本钱,C.AI 的第二个问题,是产品。
即便不考虑算力本钱、大规模做用户增长,C.AI 的产品在我看来也是一个非常重度的、非常核心向的一个产品。

一小部分重度用户的虔诚度特殊高、时长特殊长,但轻度用户实在不太玩得进去。
缘故原由实在很大略,抛开荷尔蒙需求的玩家不说,C.AI 里面的一些核心玩法,比如角色扮演、名人对话,或者互动小说,实在是须要用户大量输入笔墨。
用户要想在角色扮演的过程中有很好的体验,对他/她自己的哀求首先很高,由于跟 bot 聊便是这样,你聊得越好,bot 才能跟你聊得越好。

Character.AI 运用程序|图片来源:视觉中国

张鹏:如果用户你很无聊,bot 那边也很难跟你一起演出很好的戏。
这是个「双人舞」。
汪华:对。
但你要知道,现在的普通人的娱乐是什么,我举个极度例子,抖音。
你只要划一划就行了。

实在为什么现在 C.AI 很多的核心用户是二次元?他们真的是重度用户,有点像当年互联网的天涯用户,他们有很好的表达能力,能输出、能接管非常深度和繁芜的设定,也能享受到很多乐趣。

他们也很像当年玩魔兽天下的那波玩家,公会、上班式地玩,重度地玩,但现在大部分普通的轻度玩家,实在更像原神的用户,看看剧情、刷刷任务就行了,你要让他们回去像当年魔兽天下一样,重社交、公会式地,一天几个小时像上班一样玩游戏,他们根本承受不了。

更不用说现在由于模态的限定,还只因此笔墨为主。

以是从产品形态的角度来讲,它没有真正花很多韶光打磨产品,把产品去做扩圈下沉。
在这一点上,我对 C.AI 也有点失落望,由于 C.AI 实在挺好的,把重度用户群都占了,但是作为领袖产品,却没有好好打磨产品。

作为领袖,该当为全体同类产品开辟前路,否则,当一个领域里面排名第一的产品,在产品角度、用户扩展角度、体验扩展角度不思进取的时候,你明白我的意思,全体领域都会受损。

而且这个情形不只是 C.AI,所有类似产品都有这个问题,局限于重度用户,重度用户之外的轻度用户效果不好,而且对普通用户来讲,长留存很差。
其他的类似产品也是如此,哪怕是比较著名的产品像 Talkie,根据外部的可跟踪到的数据,它的长留存也很低。
C.AI 的留存好一点,由于 C.AI 第一个推出产品,把那些最核心的重度用户全都聚拢过去了,以是 C.AI 整体的长留存还可以,但是这个赛道所有其他产品的长留存都不太好。

由于这实质上是一个社交产品,核心的模型只是一小块要素。
感情代价、包括人的社交模式有很多种,一对多、多对多,人和 bot,bot 跟 bot 等等。

张鹏:让 Transformer 的大神来琢磨人性和人间的逻辑,太难为 Noam 了,这事可能还是,比如张小龙这样的产品人比较得当。
进辉,你怎么看 C.AI 产品的困境?袁进辉:我听到的是,C.AI 重度用户基数可能有几千万,但是再扩展的话比较困难。
C.AI 有一个分外的群体,比如说爱玩游戏的,还有爱和虚拟角色互换的,而且有个专门的术语叫「乙女」,二次元等等,这个群体她特殊享受 C.AI 这个产品,但是问题是有更多人不是这个群体。

按理说做好这个群体,让这部分群体有几千万人喜好,也非常难得。
但是最紧张的还是,创始人志不在此。

C.AI 这个用户底子,如果让中国的创业者去做,无论从产品还是商业化,可能会做得更好。
海内的创业者去做类似的东西,可以想出让玩家氪金、抽卡什么的各种玩法。

张鹏:Noam 缺一个中国合资人,一个中国产品合资人。
汪华:如果把 Character.AI 交给米哈游,把 Character.AI 交给张小龙,这个肯定会有不同的故事了。

04|AI 陪伴,比 AI 搜索市场大多了

张鹏:反过来说,从 C.AI 身上,我们看到了哪些故意义的东西?感情代价这个赛道,以前是用什么样的产品在被知足,C.AI 到底带来了什么样新的改变?

袁进辉:大模型出来之后,创造措辞对话能力比以前更加自然、流畅,还有对知识的理解,这些都是过去做谈天机器人,想尽各种办法冲破头都无法占领的。
但现在用大模型办理了措辞的流畅问题,办理了一部分知识问题,过程中还有 Fine-Tune(微调)机器人说话的风格,能更好地知足感情代价。

而且不一定是在纯挚办理感情代价、陪聊的场景,但凡须要措辞能力、知识、对话能力的场景,一定程度上都被解锁了,这是对行业的启示。

Character.AI 许可儿们创建自己的定制谈天机器人,模拟任何有生命、去世亡或无生命的人或物。
|图片来源:C.AI 官网

汪华:实在 Character.AI 证明的事情还挺多。
一是证明了广义的社交和感情,这部分代价能被模型办理和知足。
第二,它还证明了新一代的内容消费办法。

Character.AI 里面,很多人在做角色扮演、互动小说,它是新时期里感情代价的内容消费的一个雏形。
很多人在里面扮演角色、玩虚拟游戏,但这个游戏的天下或者虚拟的天下实际上完备为「他/她」定制。

过去无论是 TikTok 这样的推举引擎,还是玩游戏,它只是把做好的内容,千人千面地推举给你而已。

比如玩原神的人很多也只是为了内容消费,原神实质上是一个内容供应商,而不是传统的游戏厂商,它供应的是带感情代价的内容消费。
哪怕在原神里,理论上你可以在里面互动,但这种互动实在是基于固定脚本的。

张鹏:真正的沙盒并不是一个预设好的空间,它是为你而实时渲染、天生的一个天下。

汪华:对,Character.AI 最少证明了基于笔墨的,一个新时期的、完备互动的内容消费和娱乐形态的赛道。

以是现在看似乙女或者二次元玩家彷佛比较集中,但实际上,无论是感情代价的可能性,还是新时期的全新内容形态、带感情代价的互动内容形态,可比乙女和二次元要大得多得多。

现在的 Character.AI 实在有点像 2012 年我们刚刚开始做移动视频的时期,把 YouTube 直接往手机上搬。
C.AI 把 AI 直接搬到谈天机器人的形态,但实际上可能要到两三年之后,终极的产品形态才会展现出来,而且可能还不止一个方向。
我以为 Character.AI 将来可以分叉出两三个不同的方向。

张鹏:C.AI 给我一个很主要的启示是智能的供给,由于感情代价背后须要一些智能的能力来实现,这种智能能力的供给在本日准备好,并且可以批量供应的时候,这种智能供给的终点便是支持我们这么多年在商业体系里一贯要追求的——大规模个性化。

就像刚才汪华说的,天下为你而创造、为你而闪耀,在这一个时空里跟你的对话,只为你,不是为任何人,不是被设定好有无数人来消费的东西,它只由于你存在,且由于你在此刻时空切面的这句话而去天生新东西。

这是历史上不管游戏、内容消费等等所有东西里,从未涌现过的东西,这是它真正的变革。
而它背后的缘故原由,是智能的供给得到了打破。

汪华:对,之前的推举引擎实在已经改变了很多东西,比如抖音、头条,电商里的阿里、京东、拼多多。
以是移动互联网的辉煌,一半是由于移动互联网,另一半是由于推举引擎。
否则,几千个小二,几千个新浪

但是你刚说的这一点,我以为比当年的推举引擎还要大的多得多。

张鹏:没错,我特殊认同,从全体经济学的角度来看,供给、需求、连接这三者之间是关联的。

刚才你说的,本日我们看到二次元、乙女这样的人群,对这事很喜好。
但如果这种供给的本钱不断地低落,也有打磨得很好的产品,末了实质办理的,是「感情代价上的大规模个性化做事」。
而充分的供给涌现之后,需求就会改变,需求如果变了,连接就会改变,这几个东西实在是一种连锁反应。

以是 C.AI 虽然没有完成这个闭环,但是开启了对这一点的思考。
未来不同的产品形态,不同的场景,游戏、内容消费、生理、康健等很多领域,都会有一样的主旋律——智能的供给,在这个过程中可能会改变需求——把原来的窄需求变成广泛的需求。
但 Noam 他们还没有把这个窄需求拓宽,末了勾留在这个点上了,再加上本日智能供给的本钱还是太高,算不过账。

汪华:实在张一鸣做到了这一点,他把推举算法无限扩展。

张鹏:我以为那个时期的智能也是不敷的,但是他通过交互的设计,单列、划一下,填补了这件事。
我可以划三下都不满意,我还能接管。
那个时候的智能有限,内容也有限,但我通过交互仍旧能够有更大的用户兼容性,看起来也蛮个性化的。

汪华:最早他的推举算法只是用在今日头条上,后来扩充到视频、广告算法、电商等等其他业务上。
现在的 Noam 有点像止步于第一个产品,而且是还没有做完今日头条,就放弃了,而没有后面的抖音、直播,也没有后面的实现商业化。

但张一鸣打造了乃至比百度更厉害的广告引擎,实质上都是基于同一套算法,搜广推这套算法,当年张一鸣把搜广推这套算法一贯延伸到现在,完成了全体闭环。

张鹏:这个类比我以为挺到位。
但这一次我以为是真的改变了供给,在供给这一侧,它为你而天生,针对的是真正的个性化。

汪华:对,如果能把这件事做对,坚持往下做,肯定比当年的字节会更大。
搜广推我只是类比它的发展进程,但是这次智能的革命性是比当年的搜广推要大得多得多。

05|推理本钱再降两个数量级,C.AI 就会生逢其时

张鹏:刚才我们还聊到一个话题,「C.AI 算不过账」,以是这个账要怎么算?袁进辉:以前互联网产品边际本钱趋于零,只要获客本钱能算得过账,可以放心大胆地做增长。
但现在一方面要算获客本钱,另一方面每增加一个用户、日活,每天花费的打算资源本钱也在持续增长,GPU 比较贵。
如果做事单个客户的本钱不变,本钱是线性增长的。

以是对付 AI 产品,必须算两个账,一个是获客本钱、一个叫运营本钱。
当运营本钱或者打算本钱进一步降落,比如 10 倍、100 倍时,可能会像移动互联网产品的本钱那样,用户增长的边际本钱为零。

详细到 Character.AI,它除了在预演习模型上持续投入,每增加一个用户,推理本钱也有比较高的支出。
数据显示,它每天日活是几百万,付费是几万订阅用户,每个月收入大几十万、上百万美元。
每个月的算力支出、光推理本钱可能就四五百万美元,确实入不敷出。

如果推理本钱再降 10 倍到 100 倍的话,Character.AI 的运营本钱就和过去移动互联网的产品非常靠近了。

2024 年 6 月 20 日,C.AI 创始人 Noam 在社交平台分享了 C.AI 近期在优化推理本钱上的进展|截图来源:X.com

张鹏:听他们团队说,过去一段韶光非常努力地在优化产品的推理本钱,降了不少了。

汪华:但纵然降了那么多,还是要连续降。
由于要提高用户体验,可能得用更好的模型,只是笔墨不足,得上多模态。
空想状况,要能给用户 GPT-4o 一样的语音体验。

实在这有点像当年的英特尔和微软,须要像硅基流动这样的公司把推理本钱不断地降落,然后 AI 产品这边再把用户体验做起来,又把降下来的本钱再升上去的过程。

张鹏:智能密度提升,同时单位智能的本钱低落。
算得过账未来有什么好的解法?未来一段韶光该当关注哪些要点?

袁进辉:我以为本钱低落是一个一定趋势,可以作为 AI 创业的一个基本假设,比如未来一段韶光本钱会低落 10 倍到 100 倍,基于此来做产品和商业的设计。

降落本钱,实在有很多种办法,基本上可以分成几类:

从模型角度,现在有办法把模型变得更小,比如小 10 倍,同时它的能力和原来模型的能力差不多。
模型上也有投契采样、大小模型的合营这种方法。

Infra 层,比如我们常听到的量化、调度,基于 MOE 的构造等方法。

芯片角度现在也有一些办法,除了通用芯片,国内外一些创业公司瞄准了 Transformer 的专有芯片,比如基于类似 Llama 这种构造去设计芯片,这种芯片有望带来一个数量级的提升。

从云打算规模效应的角度也有很多办法,比如说潮汐征象,怎么把白天和晚上的流量能够都用满,比如把打算放在电价更便宜的地方,急速就能降落一倍等办法。

以是推理本钱低落是一个确定性的事情,而且是不用担心的一个问题。

张鹏:一边是 Scaling Up 模型能力要往上走,一边是边际本钱要无限向下,由于追求无限供给的智能,才能解锁新的时期。

在本钱优化的目标上,要降几个数量级,就到了「让 C.AI 生逢实在」的状态?

汪华:我当时做过一个大略的打算,如果是大用户量的工具类产品,我个人以为基本只要降 10 倍就能算得过帐。
张鹏:类似于 AI 搜索这样的产品,降 10 倍就可以。
汪华:对,工具类不但是搜索了,写作或者其他的东西也是。

但如果是永劫长,乃至是要加上多模态,基本上要两个数量级。
由于永劫长本身(本钱增加)就将近 10 倍,而且多模态都不说视频,像语音和图片的 token 都挺耗本钱的。

当然还有刚才说的模型调度,如果端侧模型再能承载一些压力的话,我以为云侧只要提升两个数量级就可以。
由于很多编码、解码和一些前真个事情可以在端侧挖一层。
以是我的假定是,如果要实现完全的两个数量级的云侧推理本钱降落,基本上可以开启这个新时期(智能供给自由)了。

张鹏:推理本钱降落两个数量级,靠本日在工程上的努力,是否便是确定可以实现的?还是仍旧须要一些技能上的创新,有新的方法才有可能实现?

袁进辉:未来肯定还有创新,但如果把现在的手段都用上,该当是可以实现的。
比如说,100 万 token 本日是几块钱,但是优化往后能做到几毛钱或者是一毛钱的这种价格。

刚才说的那些模型手段,把模型变得更小、把 MOE 做得更好,大、小模型的路由做得更好,比如说 Apple Intelligence 那样,有在端侧推理的、有云侧推理的,这种把模型任务之间的路由做得好的话,也能办理非常多问题。

软件根本举动步伐这层还在往前推进,用更低精度、更好地调度。
芯片的潜力还没出来,由于芯片设计生产的周期长,现在都还在用之前设计的芯片架构去做。

汪华:我再补充一个,如果产品本身是确定的,除了通用本钱降落的方法以外,针对产品去额外做优化,无论是在模型推理阶段对产品和硬件架构去做专门的相互设计,还是可以在里面加很多 kv cache,乃至是结果 cache 的缓存层之类的特定产品场景的优化,又可以再降落好几倍。

06|先把运用做好,有钱了再抓大模型

张鹏:这么一看,Noam 确实压力大,刚剖析的是降推理本钱的空间,还没说演习模型的本钱。
由于 C.AI 就拿了 2 亿美金,手里彷佛有 8000 张卡,万卡都到不了。

同时,这也带来另一个话题,创业公司要不要去做大模型,走双轮驱动、产模一体的路线?袁进辉:如果能够像 OpenAI 和 Anthropic 融那么多钱的话,可以做。

如果没有那么雄厚资金的话,更现实、更理性的做法是,不把钱花在训模型上,由于现在有很多,比如 Meta 开源的 Llama405B 模型是可用的,海内也有一些开源模型靠近 GPT-4 水平。

对付一些 AI 运用,比如说像 C.AI 这种运用,目前开源模型的能力该当够做产品初期的 PMF 等等需求,这也是更理性的做法。
张鹏:从创业者的角度,手里有多少钱会让你乐意选择用双轮驱动的办法走?袁进辉:我以为几亿美元到 10 亿美元肯定都够,不一定像 OpenAI 要追求 10 万卡或者是几十万卡这种级别。

由于现在训模型的技能更加成熟了,同样的数据,有技能手段能够训出水平更高的模型。

实际上本日有很多靠近 GPT-4 水平的模型在预演习时没有用那么多卡,可能 2000 张卡就交付了靠近 GPT-4,或者在某些方面比 GPT 4 还好的模型。

以是从算账角度来说,按照每 1000 台 H100,租金 1 亿美元一年,有几亿美金可以选择双轮驱动。
汪华:我首先说,如果做双轮驱动的运用公司,指的是要做大用户体量的运用公司,如果去做一个中小用户体量的运用,根本不须要。
张鹏:至少目标得瞄着千万日活的运用。
汪华:对,瞄准这种量级的运用去,才值得双轮驱动。

第二,产品的 PMF 阶段不用自己的模型都没紧要,用市情上最好的模型就可以。
但是如果产品想要上量的话,一定要用自己的模型。

这么做一是由于本钱,二是由于要跟竞争对手之间产生差异化上风。
真的要把一个产品做得便宜,做出差异化上风,实在是要按产品需求去做一系列模型的,哪怕看上去比较大略的 AI 搜索,如果想降落本钱、效果又特殊好的话,实在须要做一堆模型。
比如用户的意图侦测、分类的模型、re-rank 的模型,包括 summary 的模型也要专门定制,这样效果才能做得好。
由于如果都用通用的模型、参数量大的模型,哪怕是开源的,实在效率也并不高。

图片来源:视觉中国

就像 Google 做搜索,要支撑这么大规模用户量的搜索,里面的很多技能栈都不能用开源的现有技能产品,就得自己来做。
这些模型也不一定是特殊大,反而都做得特殊小,或者说是针对产品特界说务的模型。

其余,跟竞争对手做出差异化,肯定要做出自己的特色功能,依赖开源模型做特色功能不一定行,至少也得基于开源模型进行大体量地魔改 config 串。
但实际上,一个开源模型如果加足够多的数据 config 串,实在花费的算力也跟训一个新模型差不多量级,大概相称于训新模型 1/3 的打算量了。

以是在我看来,验证产品要多快好省,但如果一旦产品验证了,而且你是要做大用户量的运用,往上 scaling(规模化)跟竞争对手打出差异,既能做大体量又能算得过来账,就得双轮驱动。

实在哪怕移动互联网时期也是这样的,一开始大家都用开源的东西随便搭个东西。
但一旦做大了,你成了一个大互联网公司开始有大运用了,都在搭自己的技能栈。

张鹏:终极如果用户量做起来了,铁定须要双轮驱动,如果瞄准的用户体量不大或者终极没做成大体量的运用,玩双轮驱动只能「去世」得更快。

07|AI 投资依旧火热,但是逻辑变了

张鹏:最近半年,硅谷几家最被看好的几家 AI 运用都以某种形式并入大厂,你们以为这反应了什么趋势?

袁进辉:从 Adept 加入亚马逊、Inflection 加入微软、还有 C.AI 加入 Google 这几个例子来看,我个人以为是创业者高位套现的阶段胜利。
他们可能在行业发展冲动期、泡沫期涌现,但并不一定真正有耐心。

后面的阶段实在更磨练耐心,这里有一个短期的颠簸,比如原来的判断失落误、行业模型或者开源模型的进步、融资的节奏,该当说,还是会有更长期主义、更有耐心、更热爱的人连续往前跑,办理行业更细节的问题。

图片来源:视觉中国

汪华:这段韶光的收购合并我以为是一定的。

去年 AI 领域投了很多钱,但实际上大部分钱并没有投在运用上,而是投在 Infra、模型、底层架构、技能上,而且投得蛮多,以是这波投成本身到了要开始收敛的阶段,由于不须要那么多底层模型、算力平台。

像 Coreweave 之类的算力平台,包括做推理的公司、做中间件的公司,本来在经由那么多投资之后,也到了要收敛的时候,以是会看到各种收敛的形式,无论是并购、相互合并、消逝,或者是一些头部公司的确立。

另一方面,你会创造今年拿到钱的公司,实际上是广义的运用公司。
最近根本模型拿到钱的公司少了,由于大家以为根本模型差不多了,但你会看到像做音乐的模型,像 Eleven Labs 做语音的模型,各种各样运用模型的公司,还在持续不断地融到钱,融到越来越多钱。

包括 To B 领域各种各样的运用,像 DevOPS,或者各种垂直商业运用,最近几个月的融资事宜实际上越来越多,以是实际上是投资的趋向和阶段变了。

以是之前阶段的项目现在到了该整合清算、清盘的阶段,同时现在转移到了第二个阶段。

其余,现在的投资,哪怕是投运用,外洋投 To B 的项目比 To C 还要多一点,即便投 To C 大家也会投一些确定性比较高的项目。
比如 C.AI 今年没有拿到融资,但 Perplexity 拿到了,由于 Perplexity 的创始人不做 AGI,正儿八经要一贯要做产品,商业模式和用户增长也比较踏实。

但是投资人,的确也是要等你产品跑出来才给钱。
像海内出海的 HeyGen 拿到了不少钱,它是属于收入已经被验证了。

张鹏:全体投资的心态跟移动互联网时候不同。

汪华:对,移动互联网时期毕竟是量化宽松,钱太多了,而且全体天下处于经济上行期,资金本钱又特殊低,钱没地方走,以是那个时期里,投资人全体的风险偏好非常强,投资主题基本上是愿景和增长。

这个时期,投资人依然还是乐意投,但实际上要更多的确定性。
这便是为什么去年大家一股脑地投算力、投底层大模型,由于去年这些底层根本举动步伐是确定性更高的。

今年大家看 To B 运用多、看 To C 运用少,也是这个缘故原由。
To B 的商业模式一开始便是定下来的,东西做对了收入总是有的。
To C 实在有点 hit-driven(热门产品驱动的),像电影一样,不一定能爆。

以是投资人的心态,本来就跟之前移动互联网不一样,更追求确定性,偏谨慎。

投资人还有一个心态,便是等待。
千万不要听投资人说,「我是投资未来」,我自己也是投资人,我自黑一下,投资人说投资未来、创业周期、投资代价,这是崇送上的,但是身体很老实。
身体是随着当前的方向、趋势,实质上是跟风的。
投资人都认为 To C 如果能跑出来会比 To B 大得多。
但大家在等一个、两个、乃至是一批成功的案例和模式出来,我再开始。

你说最近明星公司加入大厂会不会影响 AI 投资,实在现在的问题是,对投资民气态影响的东西太多了,我说实话,这件事的影响不一定有美联储降息或者美股科技股暴跌这事,对投资民气态的影响大。

张鹏:最近一段韶光,两位看到什么以为故意思、有启示的 AI 运用?

袁进辉:随着 AI 根本举动步伐,比如大模型开源、 Infra 云做事的完善,我最近关注到一些「超级个体」,全栈工程师一个人能搞定一个很故意思的运用。
比如说「艾逗比」,一个个人开拓者做了一个 AI 搜索——「thinkany」。
还有像之前做哄哄仿照器的王登科,也是个人开拓者,现在也在创业。
还有像胡修涵他们做的「捏 Ta」,AI 驱动的角色抱负创作平台等等。

汪华:故意思的东西实在挺多,包括硅谷那边一些技能性的进展。

我分享一些接地气的方向,第一个是做出海工具,我看到有不少公司已经实现正循环了,比如大家之前都知道的 HeyGen。
外洋的竞争对手实在不是特殊强。
并且,很多出海工具可以同时做 To B 和 To C。
一开始先从中小业主、专业用户起步,做到一定规模再向 ToB 客户扩展。

第二,对规模小的新创业公司来说,我个人以为就别在海内做 AI 搜索了,太卷了。
如果出海能找到自己的独特定位,还可以考虑。

第三,现在多模态技能发展很快,无论是开源模型还是闭源模型的 API。
如果你能成为第一波尝鲜者,比如把一些美国多模态公司新出的 AI API,第一波产品化、工具化,也可能会取得很好的增长红利。

我还有一个觉得,有时候大家去做 AI 运用,把关注点都放在 AI 上了,忘了运用是主语,AI 只是定语。
不要为了 AI 做 AI,还是要想办法发挥自己原来积累多年的专长,看 AI 如何在里面起浸染。

其余,由于现在 AI 技能栈还没有收敛,大家彷佛太关注 AI 本身的变革,追是追不过来的,还是想办法找一些不变的东西,和自己特殊善于的东西,比如特殊善于做社交、做狼人杀,特殊善于有渠道、有资源、有理解的东西,乞助于内,再去找 AI 的结合点,不契合可以算了。