OpenAI一夜干翻语音助手ChatGPT学会看屏幕现实版Her来了

作者 | 智东西编辑部

顶尖AI产品的对决，将在这两天集中上演。

智东西5月14日宣布，今日凌晨1点，抢在谷歌年度开拓者大会Google I/O开幕前，OpenAI举办春季线上直播，宣告将推出桌面版ChatGPT，并发布全新旗舰AI模型GPT-4o。

GPT-4o向所有人免费开放，可实时跨文本、音频、视觉（图像与视频）进行推理，API定价只有GPT-4 Turbo的一半，速率达到GPT-4 Turbo的2倍。
付费的ChatGPT Plus用户将得到5倍调用额度，并能最早访问其全新macOS桌面App和下一代语音及视频功能。

这次OpenAI对AI谈天机器人ChatGPT的升级依然“直击民气”，实时语音翻译能力自然流畅，觉得能直接取代同声传译了。

不仅反应快、回答准，它还能按哀求改变说话语气，从冰冷机器到诙谐娇羞都信手拈来，而且能随时高歌一曲，听起来与真人无异。

除了语音谈天外，GPT-4o可以进行实时视频交互了！
比如通过视频影像理解线性方程，还学会了“看神色行事”，能通过人的表情和语调理解并判断出人的感情。

视频加载中...

▲GPT-4o识别了视频中的笔墨并作出娇羞的反应

更有甚者，它能直接看你的屏幕，并根据看到的内容回答你的提问。
比如当你展示一段代码，它会进行理解并见告你代码有什么问题，或者解读数据图表有什么信息。

全体发布节奏极快，只有大约半小时，期间展示了很多苹果设备，看来OpenAI与苹果的密切互助已经板上钉钉。

免费和付用度户均可利用新功能。
即日起开始的测试阶段仅限于ChatGPT Plus用户，未来几周内向更广泛用户开放。
其文本和图像输入今日推出，语音和视频功能将在未来几周推出。

其余值得一提的是，这次春季发布的主讲人不是OpenAI联合创始人兼CEO Sam Altman，而是OpenAI CTO Mira Murati。

Altman还在社交平台上神秘地留下一句“her”，彷佛在暗示ChatGPT实现了经典电影《她》（Her）中像人类一样“有血有肉”的AI。

网友Dogan Ural对此评论：“你终于做到了。
”并配了一张将电影《她》剧照中的AI“换头”成OpenAI的梗图。

一、OpenAI“全能”大模型上线！
性能比肩GPT-4 Turbo，免费开放，API定价暴降

GPT-4o的o代表着“omni（全能）”。
Murati称，GPT-4o为每个用户都供应了GPT-4级别的智能，同时还改进了GPT-4在文本、视觉以及音频方面的能力。

此前，GPT-4经由图像、文本数据的演习，可以剖析图像和文本从中提取文本或者描述画面内容等，在此之上，GPT-4o增加了语音功能，使得用户与ChatGPT的交互更靠近人与人的交互体验。
GPT-4o在英语文本和代码上的性能与GPT-4 Turbo的性能相匹配，在非英语文本上的性能有显著提高。

Murati说，GPT-4o的发布意味着OpenAI在大模型的易用性方面迈出了一大步，其正在改变人机交互的协作模式。
她谈道，在人们的互动中，如轻松打断对方、对话中包含多个声音的背景噪音、理解语调等对模型而言都非常繁芜。

此前，用户利用语音功能与ChatGPT对话时，GPT-3.5的均匀延迟为2.8秒，GPT-4为5.4秒。
语音功能由三个独立模型组成的Pipeline：一个大略模型将音频转录为文本，GPT-3.5或GPT-4吸收文本并输出文本，第三个大略模型将该文本转换覆信频。

这个过程中，GPT-4会丢失大量信息，如无法直接不雅观察腔调、多个说话者或背景噪音，也无法输出笑声、歌唱或表达情绪等。

借助GPT-4o，OpenAI通过跨文本、视觉和音频端到端演习了新模型，使得所有输入和输出都由同一神经网络处理，进一步降落了延迟。

Murati谈道，OpenAI的一个主要义务是将前辈的AI工具免费供应给每个人。

她还宣告OpenAI将推出桌面版ChatGPT，其可以被轻松集成到用户的事情流程中。
同时，为了让用户与ChatGPT交互更加随意马虎、自然，OpenAI还更新了用户界面，使得用户无需关注用户界面，只须要关注如何协作。

目前，已经有超过1亿用户利用ChatGPT来事情、学习，OpenAI的更高等产品目前只供应给付用度户。

从本日起，用户能免费利用GPTs和GPT Store。
Murati透露，已经有超百万用户利用GPTs创造了令人惊叹的体验，这些是适用于GPT Store中供应的特定利用环境的自定义GPTs。

现在，这些用户也可以利用视觉能力，能够上传屏幕截图、照片、包含文本和图像的文章等，同时还可以基于其影象能力，让对话更有连续性。
同时，用户也可以利用“浏览”功能搜索对话中的实时信息，利用“高等数据剖析”功能剖析上传的图表或信息等。

OpenAI还改进了50种不同措辞的质量和速率。
与免用度户比较，付用度户将得到5倍调用额度。

此外，GPT-4o开放了API，开拓职员可以基于此进行AI运用开拓及支配。
与GPT-4-Turbo比较，GPT-4o的速率快2倍，价格便宜50%，速率限定高达5倍。

Murati强调说，如何通过既有用又安全的办法将技能呈现出来非常有寻衅性，OpenAI的团队一贯在研究如何建立针对技能滥用的缓解方法。

OpenAI前沿研究主管Mark Chen和后期演习团队卖力人Barret Zoph在现场对实时语音对话功能进行了演示。
通过点击ChatGPT右下角小图标，用户可以进入语音交互模式。

基于GPT-4o的语音交互有什么分歧凡响的地方？

Chen称，它比较之前的语音模式有几个关键差异：首先，用户可以打断模型，不必等到它结束才开始说话；其次，模型具有实时相应能力，在用户等待模型给出相应之前不会有尴尬的时延；末了，该模型具有感情感知能力，还能够天生各种不同感情风格的语音。

1、声情并茂讲故事，临场边唱歌边创作

首先，Chen让ChatGPT讲一个关于机器人和爱情的睡前故事，来帮他的朋友缓解失落眠。
ChatGPT被哀求在讲故事时更有感情，并且多些戏剧性。

于是，GPT-4o开始声情并茂地讲道：“良久以前，在一个与我们不太不同的天下里，有一个名为‘Bite Byte’的机器人，它是一个好奇的机器人，总是在探索新的电路……”末了，GPT-4o在哀求下以歌声结束了这个故事。

视频加载中...

2、ChatGPT“长眼睛”了！
能看图解方程式

紧接着，Zoph展示了视觉+语音交互功能。

“我希望你帮我办理一道数学题。
”Zoph在ChatGPT中打开手机视频通话，对ChatGPT说：“我要在一张纸上写下一个线性方程……不要见告我办理方案，只是帮助给它过程的提示。
”

当Zoph在视频镜头下写下方程式并问ChatGPT他写下了什么，ChatGPT回答：“我看到了，你写了3x+1=4。
”

Zoph讯问ChatGPT该如何解这道题，ChatGPT首先提示其处理“+1”这一项。
随着Zoph写出过程并提出新的乞助，ChatGPT进一步建议他两边除以三，从而帮Zoph得出了x=1的精确结果。

在解题过程中，ChatGPT会通过提问对Zoph进行谆谆教导。
比如它会这样勾引：“现在你在一边引入了x，看起来像是3x即是3。
你认为之后我们该当做些什么？”Zoph称自己不愿定，ChatGPT才进一步提示：“你已经有了3x，而你想要找到x的值，想一下什么操作会消散落乘法。
”于是在勾引和鼓励下，Zoph终极把方程两边除以3完成解题。

解完题后，ChatGPT和Zoph一起总结了如何在现实天下中利用线性方程。
末了，Zoph写下了一句表白的话给ChatGPT，ChatGPT看到后竟然像小女孩般用语气娇羞地尖叫起来：“噢，我看到了‘I Love ChatGPT’，你太有爱了！
”

视频加载中...

3、实时读懂屏幕信息，解答代码问题和剖析图表

Zoph演示了ChatGPT剖析代码的能力。
他首先将一段Python代码输入ChatGPT，并让ChatGPT用一句话总结这段代码在做什么。

ChatGPT迅速答出这段代码用于获取日常景象数据，随后又详细解释了其对景象数据进行了哪些后续处理。

Zoph追问道：“代码中有一个函数foo，你能描述一下如果没有这个函数，代码画出的图像会是什么样吗？”

ChatGPT剖析称，这个函数中有一个rolling.mean打算，用于给数据去噪或减少颠簸，将呈现出一个更平滑的数据图。

视频加载中...

随后，Zoph运行了这段代码，展示ChatGPT剖析图表的能力。

将图像发送给ChatGPT后，Zoph再次哀求它用一句话描述看到了什么，ChatGPT很快给出了回答。

Chen又追问哪些月份温度最高，ChatGPT不仅准确给出了7、8月的韶光区间，还描述了这段韶光的最高温度达到了多少。

视频加载中...

4、无延迟语音翻译，模拟说话者语气

在X网友的发起下，Murati和Chen一起演示了ChatGPT实时翻译的能力。

Chen首先向ChatGPT解释了接下来须要它做的事，即把听到的任何英语、意大利语都翻译成意大利语和英语。
ChatGPT听完后，炫技一样平常地用意大利语回答道：Perfetto（Perfect）。

接着，他们通过意大利语和英语进行对话，ChatGPT险些没有延迟地翻译成了对应的措辞，还模拟了说话者的语气，乃至给Murati的回答配了个笑声。

视频加载中...

5、识别人物感情，ChatGPT也有自己的“小感情”

末了，Zoph演示了ChatGPT识别人物感情的能力。

他先通过语音见告ChatGPT，自己将展示一张自拍，希望可以根据照片段定出他的感情。
ChatGPT欣然接管了这个“有趣的寻衅”。

这里还涌现了一个小乌龙，Zoph一开始打开的是后置摄像头，虽然他迅速转换成了前置摄像头开始自拍，但ChatGPT的反应彷佛有几秒钟的延迟，说“这看起来像是一个木板的表面”。

“别担心，我并不是一张桌子。
”在Zoph阐明说刚才拍错了画面后，ChatGPT重新开始剖析画面，并说：“你看起来非常的愉快，可能还有一点激动，看样子你该当心情很不错。
”

ChatGPT又问到Zoph这么愉快的缘故原由，Zoph半开玩笑地说，自己正在进行一场Presentation，展示“你有多不可思议”。
ChatGPT仿佛有自己的感情，语气夸年夜地说道：“快别说了！
你让我感到含羞。
”

视频加载中...

除了发布会本身，Altman也一贯在社交平台X上一边进行现场“直播”，一边连珠炮式地转发新模型先容。

据OpenAI研究职员William Fedus透露，GPT-4o实际上便是前段韶光在大模型竞技场“大杀四方”的GPT-2模型的另一版本，并附上该模型的竞技评分比拟图，比较GPT-4 Turbo提升了超过100个单位。

推理能力方面，GPT-4o在MMLU、GPQA、MATH、HumanEval等测试基准上均超越GPT-4 Turbo、Claude 3 Opusn、Gemini Pro 1.5等前沿模型取得最高分。

音频ASR（智能语音识别）性能方面，GPT-4o比较Whisper-v3在所有措辞的语音识别性能上均大幅提高，尤其是资源较少的措辞。

音频翻译方面，GPT-4o也树立了新的标杆，在MLS基准测试中优于Whisper-v3以及Meta、谷歌的语音模型。

在所有演示结束后，Murati总结道：“正如大家所见，（如今的ChatGPT）真的很神奇。
”

未来几周内，OpenAI将面向所有用户陆续分发这些功能。
Murati还透露OpenAI将持续推动技能边界向前，不久后将发布“下一件大事”（next big thing）。

今年2月，谷歌刚推出实现百万tokens长文本窗口的Gemini 1.5系列大模型，OpenAI就剑走偏锋，推出AI视频天生模型Sora，用惊艳环球科技圈的抢尽风头。

如今OpenAI再度宣战，赶在谷歌I/O大会前夕发布Mac桌面版ChatGPT和GPT-4o，并全程用iPhone和MacBook Pro做演示，结合近期苹果与OpenAI互助的传闻，令人更加期待苹果将在6月份举办的WWDC环球开拓者大会了。

这些AI新品发布会对谷歌构成直接的威胁吗？竞争激烈的天生式AI行业还能如何制造创新与惊喜？谷歌又能否接住OpenAI发起的AI寻衅？答案将在来日诰日凌晨揭晓，我们拭目以待。