一文看懂 Apple Intelligence 是什么:苹果生成式 AI 的 19 个用法与支援机型
iphone资讯 2024年8月10日 13:45:23 搬砖哥
苹果在 WWDC 2024 发表会上花了将近 40 分钟介绍 Apple Intelligence,是苹果的生成式 AI 功能,那么到底 Apple Intelligence 是什么?有哪些用法?又有哪些机型可以使用?今天这篇文章帮大家一次整理。
Apple Intelligence 是什么?
Apple Intelligence 是苹果的生成式 AI,自带在 iPhone、iPad、Mac 中,帮助使用者快速生成文字或图像、搜索内容、安排行程、整理重点、执行各种 AI 相关功能,你可以想像是 iPhone 自带了一个 ChatGPT 助理一样。
苹果的生成式 AI 会理解、搜索设备内所有 App 的内容与资讯,再通过机器学习、语义索引、情境分析等算法以及系统内的本机 LLM 模型,生成适合特定对象、特定情境的内容。
苹果生成式 AI(Apple Intelligence)可以怎么用?
苹果在 2024 WWDC 发表会上花了将近 40 分钟介绍 Apple Intelligence,并且实际展示了一些苹果生成式 AI 的用法。
写作工具 Writing Tools
很多人想到生成式 AI 就会觉得应该是可以生成文章,但是苹果在整场发表会上几乎没有什么提到文章「从无到有」生成这件事,反而对于 Apple Intelligence 是直接从「改写」这部分切入。
修改语气
当你使用 Writing Tools 的时候,可以通过预设的「友善」、「专业」以及「简单明瞭」这三种选项,让 Apple Intelligence 用不同的语气来重新改写原本的内容。
例如写给老闆的信就可以用「简单明瞭的」口气,因为老闆可能不想看太冗长的内容;写给之前在旅游时认识的国外朋友就可以用「友善的」口气改写,维持彼此的友谊。
校正语法与用字
Apple Intelligence 还可以帮助修改用字、语法结构上的错误,通过「Proofread」功能,AI 就会告诉你哪些用字需要调整,还会让你知道原因以及正确的用法。这个在写一些不能犯错的专业内容、职场商用文件的时候会很实用。
生成重点摘要
Apple Intelligence 可以帮忙把落落长的文章用不同的方式简化,达到好阅读的效果,通过 Writing Tools 自带的「总结 Summery」 、「重点 Key Points」、「表格化 Table」以及「条列式 List」就可以达成。
例如选择了「Key Points」功能,就可以把选取的范围用「重点」的方式改写并且并呈现预览,如果觉得 OK 就可以直接取代原本的内容,这样对方看起来也不会这么冗长。
在邮件上方也加入了摘要重点的按钮,对于冗长内容的信件可以生成简短的摘要,节省浏览内容的时间。
提供回覆建议
如果你收到了一个需要回覆的邮件,AI 会给你一些回覆的选项,并且从你选择的结果中,再延伸出更完整的回覆内容,让你可以不需要花太多时间在输入文字上。
图像处理工具
Apple Intelligence 的图像处理工具让你可以创建和编辑图片,包括 Genmoji、Image Playground 和 ImageWand 这三种功能。
Gemoji 表情符号
Gemoji 是 Apple Intelligence 而产生的新功能,输入相关的描述就可以生成一组 4 个的全新 emoji 表情符号;甚至你可以把照片图库中识别到的人物头像搭配指令做成表情符号。
Image Playground 影像游乐场
在包含 Keynotes、无边记、信息…等多个 App 中,可以使用 Image Playground 功能通过文字生成图片。在一堆系列选项中,选择一个你要的主题,选好以后就可以看到预览的效果,并提供「动画」、「素描」或「插图」这三种风格可以选择。甚至你突然有自己的灵感了也可以加指令进去,Apple Intelligence 就会依照这些指令生成有趣的图片。
ImageWand 影像魔杖
如果你喜欢画速写、素描,或是你喜欢画但觉得画得不好看,ImageWand 可以都将你的粗略草图转换成精美的图片。使用 Apple Pencil 圈出你的草图,ImageWand 会自动分析并依照你的原图创建一个更精緻的图像。
甚至你什么都不要画,在一片空白中也可以依照旁边描述的内容帮你生成相关的图片,如果希望文件图问并茂但是并不会画图的人来说相当方便。
理解文字的重要程度
AI 还可以依照你的状况,学习判断邮件、通知的重要程度,并且帮你做分类,甚至是整合摘要节整你浏览的时间。
依据重要程度分类内容
Apple Intelligence 通过机器学习与演算法功能,可以判断你接收到的哪些通知、信件是重要的,然后依照重要程度、内容类别来自动分类,让你可以自行选择要先看哪些内容。
邮件摘要预览
而且信件的预览功能中,也不仅仅是提供前几行的文字,而是通过 AI 整理出整封信件的重点并显示在预览上。
进化版 Siri + Apple Intelligence
Apple Intelligence 中,Siri 扮演了相当重要的角色,而且也换上了新的风貌,可以做的事情变得超多。
全新改版的 Siri 与界面
利用侧边按键呼叫 Siri 后,看到的不再是一个圆圈的符号,而是直接变成渐层外框围绕在 iPhone 屏幕周围,接收指令时外框会有扰动的效果。
自然语言理解能力
Siri 现在能理解更自然的语言交流,即使你说话不连贯,Siri 也能理解。例如,你可以问「Siri,明天早上在 Muir Beach 的天气怎样?」,即使你发现你说错了要改口说「我刚刚是说 Muir Woods」,Siri 也能理解并回答。
此外,当你中断了一下,然后再说「帮我建立一个到那里的路线与时间安排」,Siri 也会理解你所说的「那里」是刚才提到的「Meer Woods」。
搜索各 App 内的资讯并整合
现在你可以问 Siri 任何更私人的问题,例如你问「Siri,我妈妈的飞机什么时候会到?」,这时 Siri 就会找到你和妈妈的邮件中有提到这个部分,并显示给你看。
然后也可以顺便请 Siri 告诉你接机后的晚餐计画,Siri 就会从你们过去的对话中找到你安排的晚餐行程,你甚至不用设置日历 Siri 就可以找得到这个行程。
或是你也可以请 Siri 帮你找出朋友之前向你推荐的书单、之前拍起来的证件照,这些 Siri 都可以在各种不同的 App 之间找出来,甚至你不知道他在哪个 App 里面都没有关係,反正 Siri 会去找。
直接解读屏幕上的内容
简单来说就是 Siri 可以看得动你现在画面长怎样,例如有人传了一个地址给你,你可以直接跟 Siri 说,把这个地址夹到这个人的联络资料中,而你都不用跟他说地址是哪个,他就可以找到地址,然后将图像转成文字加入到对方的联络资料里。
操作 App 内的功能
通过增强版的 Siri 搭配 Apple Intelligence 功能,就可以直接让 Siri 执行 App 内的功能,例如原本我要在照片 App 内寻找穿着粉红色衣服的朋友,我可以通过搜索搭配「粉红色」这个关键字来达成,现在可以直接呼叫 Siri「找出 XXX 穿着粉色衣服的照片」。
或者是跟 Siri 说「把它加入到备忘录中关于这位朋友的描述」,Siri 就会在备忘录里面找到相关的段落,然后加入刚才的照片,这大概也意味着之后可能就可以通过呼叫 Siri 来传照片。
在照片里的 AI 功能
Apple Intelligence 在照片 App 中也可以发挥不少的功能,包含把不想要出现的背景 P 掉、搜索照片或视频、打造专属的回忆精选集…等功能。
Clean Up 修图功能
通过 Apple Intelligence 功能,只要点击一下照片中的背景物件,就可以把不想要出现的元素 P 掉,这样就不用上网求人帮忙 P 图了。
准确的照片与视频搜索
前面有提到通过 Siri 就可以用自然语言的方式来搜索照片,而且不只是 Siri,通过照片 App 内的搜索功能用文字的方式也可以搜索,这个功能甚至是可以搜索视频的片段;例如下图就是在照片 App 中搜索在草地上单手侧翻的内容,其中就包含了视频的部分。
精选辑
只要输入描述,像是人、事、时、地、物这些线索,Apple Intelligence 就可以找出符合条件的照片,然后按照片的类别、时间…等资讯编排,搭配情境给予合适的背景音乐,这样很快就可以完成一部有故事感的精选辑,例如旅游的回忆精选、家庭庆生的精选…等,俨然是一部微电影。
整合 ChatGPT
Apple Intelligence 这次也整合了 ChatGPT 提供部分功能,如果你提供的要求是包含在 ChatGPT 可以执行的范围内,那么 Apple Intelligence 就会询问你是否要用 ChatGPT 执行。而且目前使用的是最新的 GPT-4o 模型,可以提供快速又准确地回答。
生成文字与图片
虽然 Apple Intelligence 并没有直接表明可以生成文字内容,但是你可以通过 ChatGPT 来生成整片文章、段落或是文桉。
除了文字内容以外,通过 ChatGPT 的 Dall-E3 模型,也可以直接生成图片,这和 Apple Intelligence 的 ImageWand 影像魔杖有点类似。
语音问问题
在 Siri 中询问问题时,有时候 Siri 甚至会建议你听听看 ChatGPT 的意见,就会问你要不用使用 ChatGPT。至于 Apple Intelligence 和 ChatGPT 在回答上会不会有什么不同?Siri 的判断标准是什么?这个之后如果有机会再帮大家做测试。
以上介绍的这些都只是目前已知通过 Apple Intelligence 可以完成的几个主要的用法,从这些用法当然还可以延伸更多的用途,例如用在 iMessage 上修饰要回覆的内容、在 Keynotes 上补齐缺少的图片、在彼此有争议的时候找出对话中有共识的部分、按照条件安排行程….等,就看大家如何发挥创意去使用 Apple Intelligence。
Apple Intelligence 支持机型
Apple Intelligence 因为需要强大的 NPU 神经引擎支持,而且运行内存要求 8GB 以上,因为需要保留足够的运行内存给本机上的 LLM 模型使用,但又不能压缩到正常系统运作的需要,所以在机型的要求上比较严格,基本上只有 M 系列晶片的产品或是相等规格的产品可以使用。
iPhone 15 Pro
iPhone 15 Pro Max
iPad Pro M 系列晶片版
iPad Air M 系列晶片版
iPad mini M 系列晶片版
iMac M 系列晶片版
Mac mini M 系列晶片版
MacBook Air M 系列晶片版
MacBook Pro M 系列晶片版
Mac Studio M 系列晶片版
Mac Pro M 系列晶片版
Apple Intelligence 隐私保护有办法相信吗?
对于强调隐私保护的苹果苹果来说,Apple Intelligence 绝大部分的运算都是在设备本机上的模型来执行,不需要连网,并且通过设备上的安全晶片做隐私保护的控管,所以不用担心资料会有外洩的疑虑,这也是为什么 Apple Intelligence 对硬件规格要求较高、必须要 M 系列晶片以上原因。
而如果有需要连网的操作,苹果则是通过 Private Cloud Compute 这个模型来处理,并在由 Apple Silicon 晶片打造的服务器上运作,所以不仅可以达到高速运算的效果,同时也可以确保资料在云端的隐私。苹果甚至特地写了一篇文章来介绍 Private Claud Compute(PCC)是如何保障 Apple Intelligence 的安全性,但文章很长,有兴趣的可以点这里去了解,我帮大家节录重点:
数据加密
使用者通过 Apple Intelligence 的请求资料在发送过程中是加密的,只有 PCC 节点能解密,这确保了资料在传输过程中的安全性。
硬件安全
PCC 节点使用 Apple 自家的硬件,这些硬件有很高的安全性,例如 Secure Enclave 确保只有授权的软件可以执行,而且在过去用于 Mac 也没有被破解的经验上来说算是有一定可靠程度。
无状态计算
PCC 保证使用者资料在处理完成后立即删除,不会在系统中留下任何痕迹,这降低了资料被未经授权存取的风险。
高度透明性
PCC 允许外部第三方独立的安全研究人员检查和验证系统的安全性机制(不是验证资料),确保它随时符合 Apple 公开的安全和隐私承诺。
尽管没有任何系统能够宣称 100% 完全无法被攻击,但 Apple 所採取的多层次安全措施和透明的操作方式,使 PCC 成为目前市场上最安全的云端 AI 计算系统之一。苹果希望通过这些措施和承诺, 让使用者可以安心的相信 PCC 的安全性和隐私保护能力是非常高的。
Apple Intelligence 推出时间
苹果在 WWDC 上面只有说在今年夏天会开放美国英语系的使用者测试,并且会作为 iOS 18、iPadOS 18 与 macOS 15 自带的功能在秋天的时候推出,但推出的时候将会标示为「Beta」版,有一种免责声明的概念,就像 ChatGPT 也有好一阵子都是以 Beta 版开放给大家使用一样;至于其他语言、部分功能则要等到明年才会逐渐开放。
而根据报导指出,Apple Intelligence 在美国以外的国家要使用可能也会有 Waitlist 的机制,而且即便开放了,初期的执行效果可能会蛮慢的。
我自己预计 Apple 口中的「夏天」最快大概在 iOS 18 Developer Beta 3 到 Beta 5 之间,差不多是七月左右,也是公开测试 Public Beta 推出后的时间,Apple Intelligence 就会开放符合条件的机型使用,到时候我们也会带大家实际来体验看看 Apple Intelligence + Siri 2.0 的威力。