在天生式AI的浪潮下，今年的苹果开拓者大会WWDC 2024，AI绝不料外的成为了大会绝对的主角。
从iPhone、iPad到Mac，无不被天生式AI覆盖。大家早已期待的新 Siri 只是苹果 AI 能力的一小部分，横空出世的Apple Intelligence才是这次的重头戏，从图像到文本，从iPhone、iPad到Mac，Apple Intelligence让苹果全系产品有了史诗级升级。
相较于安卓厂商对付大模型的小打小闹，只是大略将大模型作为Copilot塞进手机里，除了更新语音助手外，便是找几个还算能唬人的场景加上大模型的能力，末了还堂堂皇皇将其定义为AI手机，这次苹果用他们的做法见告了大家，什么才是LLMs+OS的精确打开办法。
苹果，重新定义了AI：Apple Intelligence！
01. Apple Intelligence是什么？
Apple Intelligence定义为iPhone、iPad和Mac的个人智能系统，利用苹果芯片的能力来理解和创建措辞和图像，以及跨运用采纳行动。
苹果 CEO 蒂姆・库克说：苹果的目标一贯是构建以人为本，最为易用方便的个人设备，提升人们的生活效率。
在这个目标下，苹果提出了他们的AI产品理念：体验足够强大、直不雅观易用、完备整合到系统体验中、个性化且保护隐私，于是他们基于苹果自研的A 和 M系列芯片，走了一条自研本地大模型加三方云端大模型的策略。
在其他厂商猖獗砸钱买GPU演习模型的时候，在费尽心机将大模型塞进手机存储的时候，苹果却换了种做法，不卷大模型，不卷本地化，还能给用户供应更好的利用体验！
这点就能看出来，苹果的出发点一贯是为了提升用户的生活体验，他们明白自己做的是产品，而不是拿着锤子找钉子，去世卷大模型。
库克表示，Apple Intelligence 是苹果创新的新篇章，将改变用户利用产品的办法。苹果独特的方法结合了天生式人工智能和用户的个人信息，能供应真正有用的智能做事。此外，Apple Intelligence 能够以完备私密和安全的办法访问信息，帮助用户完成对他们最主要的事情。这是苹果独占的 AI 体验。
先详细看看Apple Intelligence能做什么？
大略来说，跟录音、GPS等一样，苹果将AI融入IOS系统，为用户和开拓者系统供应一系列原生AI能力。可以说，这些都是原生的人类 API。
文本工具writing tool
在苹果的自带的文本运用如邮件、备忘录、Safari浏览器、Pages、Keynote和三方运用如微信、小红书等中，供应文本润色、重写，校正，改写（如语气变革）、总结和文本转表格等能力。
在它的帮助下，无论是写文章、发帖，为用户解锁了提升写作和更有效沟通的新办法。
图像工具
Image Playground，只需几秒钟即可天生素描、插图、动画三种风格。这些功能在系统中所有app都可用，包括Notes，Freeform，Keynote，Pages等等。
Image Wand可以将你的素描草图转换为 Notes 运用中的干系图像。利用手指或 Apple Pencil 在你的草图周围画一个圆圈，Image Wand 会剖析其周围的内容以产生互补的视觉效果。
还可以天生emoj表情等等。
Siri新升级
在Apple Intelligence的加持下，Siri变得更自然、更能理解我们了！
除了更好的自然措辞理解和多轮交互外，Apple Intelligence还会为Siri带来屏幕内容感知功能，这样，它就能理解屏幕上的内容，实行相应的操作。
比如朋友发见告你ta的新地址，你可以直接在信息对话中说，「把这个地址加入ta的联系人名片中」。
最牛的来了，Siri也可以完成跨app操作。
例如“将我起草的电子邮件发送给 April 和 Lilly”，Siri 知道您引用的是哪封电子邮件以及它在哪个运用程序中。当然这些增强功能，也并不限于苹果开拓的APP。
那如果繁芜任务Siri无法用本地模型实行，则会主动讯问是否可以叫ChatGPT处理，同时ChatGPT也被集成到了系统的writing tool中，可以改写润色等。
隐私保障
苹果出了一个“私有云打算”的观点：“不得不上云运作”的AI功能，将在利用苹果芯片的专用做事器上启用云打算模式，确保用户数据的私密性和安全性。
02. Apple Intelligence背后的大模型
Apple Intelligence 由多个功能强大的大模型组成，这些模型专门用于赞助完成用户的日常任务，并可以根据用户确当前活动进行动态调度。
这些模型可以分为三类：
本地模型（On-Device Language Model）
这部分包含3B的措辞模型、扩散模型DIffusion Model和用于Xcode的编程模型，其余还有用来做 RAG 的 Semantic Index (语义索引)和 App Intents Toolbox（运用意图工具箱）。
这些模型都针对日常的任务进行了一系列的微调，帮助用户完成各种系统级的任务。
比如前面提到的文本工具的择要、润色、改写、回答邮件、图像天生、关照进行优先级的排序、跨运用的交互等。
此外在这些微调模型之上有个适配器（Adapters），适配器是覆盖在通用根本模型上的一小批模型权重。它们可以动态加载和交流，使根本模型能够针对手头的任务即时进行专门化。
大略来说便是根据任务来给模型选择得当的权重，让模型轻松适应不同领域专家的角色。
私有云打算（Server-Based language Model）
这个基于做事器的大措辞模型，对付本地模型知足不了哀求的任务，苹果会传到云端运算。
为了确保数据的安全性，苹果采取了私人云打算技能。每当用户的设备发起要求时，它会通过一个端对端加密的通道与特定的私有云打算集群进行连接。仅限于被指定的集群有权限解开这些加密的要求数据。应答数据发送回用户后，干系信息不会被存储，且苹果公司也不具备访问这些数据的能力。
第三方 LLMs
如果苹果自己的大模型搞不定的任务怎么办？
那就交给现在专门的模型厂商处理，专业的人做专业的事情嘛！
目前已经接入了 OpenAI 的 GPT-4o，但按照苹果的说法，后续还会有更多家的模型接入，比如Gemini 等。
其余，考虑到国家政策，苹果在不同国家地区的接入的大模型厂商可能不同，那Open AI和Meta的大模型肯定在海内无法利用，没有通过工信部备案，根据之前的传闻，海内首先接入的该当便是百度的文心一言了！
03. App Intents：给开拓者的Framework
刚才讲了，苹果希望可以跨运用完成用户的需求，比如利用Siri就能直接完成邮件发送，图像修正等，不须要进入 app 里面，这个体验很丝滑流畅。
苹果许可操作系统和运用程序的所有部分通过「函数调用」进行互操作；内核进程 LLM 可根据用户查询安排和折衷它们之间的事情无摩擦。苹果以一种高度流畅、快速、always on 和高下文的办法全面集成这些功能。无需四处复制粘贴信息、提示工程等。还对用户界面进行了相应调度。但详细要怎么实现呢？那就得用到给开拓者供应的App intents工具，这又是一次操作系统厂商和开拓者的博弈战。
App Intents 框架供应的功能可将三方的 app 操作、内容与跨平台的系统体验（包括 Siri、Spotlight、小部件、控件等）深度集成。借助 Apple Intelligence 和 App Intents 增强功能，Siri 会得到在 app 内和跨 app 实行操作的能力。
如此，开拓者们可以许可用户通过以下办法利用自己的产品：
与Siri互动，也可以利用Apple Intelligence的个人环境感知和行动能力通过Spotlight建媾和搜索进入产品，比如微信。等等。。举个例子，比如邮件运用，他们通过App Intents框架向苹果供应一个操作来表示某个意图，比如发邮件或者删除邮件。然后，用户可以随时哀求Siri代表他们实行这些意图，无论此时有没有打开邮件运用。
大略来说，苹果一方面让开发者将意图理解能力引入App中，方便Siri等调用App的功能，一方面又可以将Apple供应的文本、图像等功能集成到App中。
这才该当是AI OS真正干的事情！
本文由 @小布Bruce 原创发布于大家都是产品经理。未经作者容许，禁止转载
题图来自Unsplash，基于CC0协议
该文不雅观点仅代表作者本人，大家都是产品经理平台仅供应信息存储空间做事