【我教 Apple 做 Agent】Qwen3 与 iPhone17 的 AI 新功能以及智慧识屏 iOS 版

【我教 Apple 做 Agent】Qwen3 与 iPhone17 的 AI 新功能以及智慧识屏 iOS 版【我教 Apple 做 Agent】Qwen3 与 iPhone17 的 AI 新功能以及智慧识屏 iOS 版 Modified May 14, 2025 如果判断你的界面内可能有日程需要，则会帮你创建待办或者日程。如果这个日程很特殊，是你买的出去游玩或者出差的飞机火车票，甚至会联动后续的提醒、值机、天气预告、导航打车等诸多服务。在负一屏或者通知栏对你进行场景化的服务。比如，可以将你在各个电商平台内，大促时候购买的商品的快递信息收集到一起，在负一屏的卡片内提醒你的所有的快递进展，而无需进入每个 APP 内反复查找。比如，你也可以将手机上的任意文本收藏进笔记。等等，不一而足，并且2.0 版本可以在后台感知，进行服务（未曾实现）。很遗憾，iOS 用户这么多年应该都没体会到如此智能化的服务 : ) 所以，我们就以此来验证 Qwen3 的任务规划、工具编排和工具使用好了。只不过，此刻 iPhone 新版并未发布，所以我们手动来实现就可以。其实也可以直接用 AI 编程工具，借助 Xcode 直接编程实现，但对这种简单的任务，并无必要。实现过程 “做一个 iOS 快捷指令，可以敲击手机背面，提取屏幕上的内容，并给出快捷操作，比如有地址就弹出地图导航、有日期就创建日程、并且每次都将截图和识别到的内容追加到备忘录。” 将该指令，发给了 Qwen3，并进行了几轮对话，进行了完善。对，当前需要辅助它做规划，但 Apple 这么强的交互设计能力，微调之后肯定能自动化解决。只不过它还做不到自己动，即场景触发，这需要 iOS 底层的能力支持。 Qwen3 回复： Code block Markdown 要创建一个快捷指令，实现敲击手机背面提取屏幕内容，并根据内容执行相应操作（如导航、创建日程），同时保存截图和识别结果到备忘录，您可以按照以下完整步骤操作：步骤1：更新系统与安装应用更新iOS系统：确保您的iPhone运行的是iOS 14或更高版本，以支持“轻点背面”功能。安装快捷指令应用：如果尚未安装，请从App Store下载并安装“快捷指令”应用。步骤2：创建快捷指令 1. 打开快捷指令应用在主屏幕上找到并点击“快捷指令”图标。 2. 创建新快捷指令点击右上角的“+”号，开始创建新的快捷指令。 3. 添加屏幕截图动作点击“添加动作”。搜索并选择“屏幕快照”动作。 4. 添加OCR文字识别动作搜索并选择“从图像中获取文本”动作。将“屏幕快照”的输出连接到“从图像中获取文本”的输入。 5. 添加条件判断动作点击“添加动作”，搜索并选择“如果”动作。在“如果”条件中，设置判断文本是否包含特定关键词或格式，如地址、日期等。判断地址：使用“包含”条件，输入关键词如“街”、“路”、“号”等。判断日期：使用正则表达式匹配日期格式，如。步骤3：根据条件执行操作如果识别到地址添加动作：在“如果”动作内部，搜索并选择“打开App”动作。选择应用：选择“地图”应用。输入地址：将识别的地址文本作为输入。如果识别到日期添加动作：在“如果”动作内部，搜索并选择“创建日程”动作。设置日期和时间：将识别的日期文本作为日期输入，根据需要设置开始和结束时间。添加标题和备注：可根据需要添加日程标题和备注。步骤4：保存截图和识别结果到备忘录添加动作：在“如果”动作外部（无论条件是否满足，都执行），搜索并选择“添加到备忘录”动作。设置备忘录内容：文本输入：使用“文本”动作，输入“屏幕内容识别结果：”。连接变量：将识别的文本变量连接到“文本”动作后面。添加截图：使用“添加图像”动作，选择“屏幕快照”作为图像来源。选择备忘录：指定保存的备忘录名称，如“屏幕识别记录”。步骤5：设置轻点背面触发 1. 打开设置应用点击主屏幕上的“设置”图标。 2. 进入辅助功能选择“辅助功能”。 3. 选择触控点击“触控”。 4. 轻点背面设置向下滑动，找到并点击“轻点背面”。选择“轻点两下”或“轻点三下”。选择您创建的快捷指令。步骤6：测试与调试测试功能：轻点手机背面，触发快捷指令，检查是否按预期执行操作。调整优化：根据测试结果，调整条件判断、动作设置，确保功能正常。注意事项权限设置：确保快捷指令应用和备忘录应用具有必要的权限，如访问照片、备忘录等。系统限制：部分功能可能受限于iPhone型号和iOS版本，请确保您的设备支持所有功能。 OCR识别率：文字识别结果可能受图像质量、字体、语言等因素影响，尽量在清晰的环境下使用。通过以上步骤，您即可创建一个完整的快捷指令，实现敲击手机背面提取屏幕内容，并根据内容执行相应操作，同时保存记录到备忘录。功能截图如下，创建提醒打开创建日历自动带入日期保存识别的内容和原图识别到日期和地点弹出相关操作体验链接访问链接体验或查看完整的配置：https://www.icloud.com/shortcuts/5bb39c44ff9247df98e008892e405b1b，或识别二维码。 1、需要加入双击或者三击手机打开该快捷指令，这样手持 iPhone 的时候点几下手机就能唤醒功能。设置路径为“设置辅助功能触控（滑到最底部）轻点背面轻点两下/三下智慧识屏 iOS 版本”，如下 2、如果不想每次在保存笔记的时候选择备忘录，可以在快捷指令内编辑，划到最底部，选择一个固定的备忘录即可，点击追加到后边的备忘录选中，点击完成。如上第四张图。 3、打车用的滴滴，需要安装且登录。题外话其实 ChatGPT3.5 发布之后，进行了基础的尝试，对一些常见的用户需求，3.5 其实已经能表现得不错了。以至于让我以为在 23 年秋，苹果就会发布上述这一能力，因为它的生态土壤实在是太强大了。但即便去年在 iOS 内接入了 ChatGPT，也没实现，而是一些零散的功能点和导流置换，没有激起任何波澜。作为上古移动互联网时代产品教父乔布斯的拥趸，这些年苹果的表现，实在是令人扶额。所以，若有雷同，也算欣慰吧。玩得愉快！这是《AI 产品的交互设计第五篇》，更多 AI 产品交互设计系列文章：一、《浅谈 AI 产品的交互设计以及 Agent 演进路线》二、《【预见 UI】AI 产品交互设计理念的提出以及分级》三、《【与万物对话】通往 AI 交互 L3 之路——Chat‑as‑OS 的产品设计探索》四、《Fellou 不是 AI 浏览器！Fellou 更不是 Manus。》五、《对生成式人工智能的一些思考[其一]》写作与交流，是 AI 时代一种有效的进化方式。如果希望和我交流讨论，或参与相关的讨论群，请加微信，联系方式请点击【联系方式 2025】。 <全文完一、《浅谈 AI 产品的交互设计以及 Agent 演进路线》二、《【预见 UI】AI 产品交互设计理念的提出以及分级》三、《【与万物对话】通往 AI 交互 L3 之路——Chat‑as‑OS 的产品设计探索》四、《Fellou 不是 AI 浏览器！Fellou 更不是 Manus。》 [五、《对生成式人工智能的一些思考[其一]》](https://mp.weixin.qq.com/s? biz=MjM5Nzc1OTIyMA==&mid=2649164529&idx=1&sn=8d173d5337fc82446eee48fabada7d61&scene=21 wechat redirect) 【联系方式 2025 如果判断你的界面内可能有日程需要，则会帮你创建待办或者日程。如果这个日程很特殊，是你买的出去游玩或者出差的飞机火车票，甚至会联动后续的提醒、值机、天气预告、导航打车等诸多服务。在负一屏或者通知栏对你进行场景化的服务。比如，可以将你在各个电商平台内，大促时候购买的商品的快递信息收集到一起，在负一屏的卡片内提醒你的所有的快递进展，而无需进入每个 APP 内反复查找。比如，你也可以将手机上的任意文本收藏进笔记。如果判断你的界面内可能有日程需要，则会帮你创建待办或者日程。如果这个日程很特殊，是你买的出去游玩或者出差的飞机火车票，甚至会联动后续的提醒、值机、天气预告、导航打车等诸多服务。在负一屏或者通知栏对你进行场景化的服务。比如，可以将你在各个电商平台内，大促时候购买的商品的快递信息收集到一起，在负一屏的卡片内提醒你的所有的快递进展，而无需进入每个 APP 内反复查找。比如，你也可以将手机上的任意文本收藏进笔记。等等，不一而足，并且2.0 版本可以在后台感知，进行服务（未曾实现）。很遗憾，iOS 用户这么多年应该都没体会到如此智能化的服务 : ) 所以，我们就以此来验证 Qwen3 的任务规划、工具编排和工具使用好了。只不过，此刻 iPhone 新版并未发布，所以我们手动来实现就可以。其实也可以直接用 AI 编程工具，借助 Xcode 直接编程实现，但对这种简单的任务，并无必要。实现过程 “做一个 iOS 快捷指令，可以敲击手机背面，提取屏幕上的内容，并给出快捷操作，比如有地址就弹出地图导航、有日期就创建日程、并且每次都将截图和识别到的内容追加到备忘录。” 将该指令，发给了 Qwen3，并进行了几轮对话，进行了完善。对，当前需要辅助它做规划，但 Apple 这么强的交互设计能力，微调之后肯定能自动化解决。只不过它还做不到自己动，即场景触发，这需要 iOS 底层的能力支持。 Qwen3 回复：功能截图如下，创建提醒打开创建日历自动带入日期保存识别的内容和原图识别到日期和地点弹出相关操作创建提醒创建提醒打开创建日历自动带入日期打开创建日历自动带入日期保存识别的内容和原图保存识别的内容和原图识别到日期和地点弹出相关操作识别到日期和地点弹出相关操作体验链接访问链接体验或查看完整的配置：https://www.icloud.com/shortcuts/5bb39c44ff9247df98e008892e405b1b，或识别二维码。 1、需要加入双击或者三击手机打开该快捷指令，这样手持 iPhone 的时候点几下手机就能唤醒功能。设置路径为“设置辅助功能触控（滑到最底部）轻点背面轻点两下/三下智慧识屏 iOS 版本”，如下 2、如果不想每次在保存笔记的时候选择备忘录，可以在快捷指令内编辑，划到最底部，选择一个固定的备忘录即可，点击追加到后边的备忘录选中，点击完成。如上第四张图。 3、打车用的滴滴，需要安装且登录。题外话其实 ChatGPT3.5 发布之后，进行了基础的尝试，对一些常见的用户需求，3.5 其实已经能表现得不错了。以至于让我以为在 23 年秋，苹果就会发布上述这一能力，因为它的生态土壤实在是太强大了。但即便去年在 iOS 内接入了 ChatGPT，也没实现，而是一些零散的功能点和导流置换，没有激起任何波澜。作为上古移动互联网时代产品教父乔布斯的拥趸，这些年苹果的表现，实在是令人扶额。所以，若有雷同，也算欣慰吧。玩得愉快！这是《AI 产品的交互设计第五篇》，更多 AI 产品交互设计系列文章：一、《浅谈 AI 产品的交互设计以及 Agent 演进路线》一、《浅谈 AI 产品的交互设计以及 Agent 演进路线》二、《【预见 UI】AI 产品交互设计理念的提出以及分级》二、《【预见 UI】AI 产品交互设计理念的提出以及分级》三、《【与万物对话】通往 AI 交互 L3 之路——Chat‑as‑OS 的产品设计探索》三、《【与万物对话】通往 AI 交互 L3 之路——Chat‑as‑OS 的产品设计探索》四、《Fellou 不是 AI 浏览器！Fellou 更不是 Manus。》四、《Fellou 不是 AI 浏览器！Fellou 更不是 Manus。》五、《对生成式人工智能的一些思考[其一]》 [五、《对生成式人工智能的一些思考[其一]》](https://mp.weixin.qq.com/s? biz=MjM5Nzc1OTIyMA==&mid=2649164529&idx=1&sn=8d173d5337fc82446eee48fabada7d61&scene=21 wechat redirect) 写作与交流，是 AI 时代一种有效的进化方式。如果希望和我交流讨论，或参与相关的讨论群，请加微信，联系方式请点击【联系方式 2025】。【联系方式 2025 <全文完 via 公众号：谭少卿原创 2025年05月06日 18:42 北京原链接 https://mp.weixin.qq.com/s/vB88PBC0nY3hS7UeU3KTDA 引言 🏖️ “You can't connect the dots looking forward; you can only connect them looking backwards.” — Steve Jobs “You can't connect the dots looking forward; you can only connect them looking backwards.” — Steve Jobs 众所周知，Apple 在海外版与 ChatGPT 合作，除了发布之初的一点讨论，过去了这么久，一个水花都看不到，就像中国跳水运动员一样。而苹果与阿里在中国市场达成合作，将采用千问系列模型，而今年他们将发布 iPhone17 。以防他们整不出新东西，我们先设计一个[手动狗头]。然后就在 Qwen3 的模型基础上结合 iOS 现有能力，拆解实现，在最后给你看一个例子，识别二维码进去，现在就可以体验一下核心能力。一句话 PRD 用户在手机上通过 Siri 下达任意的任务。Qwen3 进行需求理解、任务规划，然后调用系统快捷指令的编程能力和 APP 开放的协议，实现多 APP 多 API 的联动，完成任务。也可以更进一步自己动。 Connect the dots，以 iPhone 为例首先对当前基本形成共识的 AI Agent 的实现逻辑，进行一个公式化的阐释： 💡 Agent = LLM + 任务规划 + 工具编排 + 工具调用 + 长期记忆 + 情境触发 + 目标评估 + 安全治理 Agent = LLM + 任务规划 + 工具编排 + 工具调用 + 长期记忆 + 情境触发 + 目标评估 + 安全治理如果是多 Agent 架构，还需要增加一个协同的协议，例如 A2A 。 Apple 的实现逻辑，以 iPhone 为例，对应过来， 💡 Apple 本地原生 Agent 能力 = Qwen3 （任务规划 + 工具编排） + 工具使用（快捷指令的生态 + APP 开放的 scheme） + AI 产品三要素（Profile + Preference + Context）[注释] + 目标评估 + 安全治理 Apple 本地原生 Agent 能力 = Qwen3 （任务规划 + 工具编排） + 工具使用（快捷指令的生态 + APP 开放的 scheme） + AI 产品三要素（Profile + Preference + Context）[注释] + 目标评估 + 安全治理 [注释] 详见 AI 产品三要素，首次提出于《浅谈 AI 产品的交互设计以及 Agent 演进路线》第五节。《浅谈 AI 产品的交互设计以及 Agent 演进路线》 [注释] 详见 AI 产品三要素，首次提出于《浅谈 AI 产品的交互设计以及 Agent 演进路线》第五节。《浅谈 AI 产品的交互设计以及 Agent 演进路线》对每个要素进行简单的拆解： 1、Qwen 系列的模型，能力实际非常强大，完全可以在双方的合作下实现较好的任务规划、工具编排。 2、工具使用，iOS 的快捷指令本身就具备较为强大的编程能力，可以实现非常多的能力，只是因为过于“专业”而没有被普及。此外，苹果对生态能力的掌控是毋庸置疑的，很多 APP 都支持了快捷指令的协议。比如： 3、AI 产品三要素，这是我在之前专栏文章提出的，对用户数据进行结构化，从而实现较好的隐私管理和协作。苹果应该也可以很好地实现这一点。用户的基本属性、用户偏好、用户当前情境。回顾一下 iOS 这么多年来的生态拥有多少数据，手机、电脑、健康、家居等等，包括产品上的 Siri 建议探索等等。苹果可以做好这一点。详见文末几篇文章。 4、目标评估，more intelligence, less structure 基本成为共识了，不过在更为主观的任务上，理解人的偏好，苹果有这么多用户、这么多年的反馈数据，相信也可以做到更好。 5、安全治理，好吧，安全治理和隐私，一直是苹果的强项。按更可实现的做法，苹果可以给每个人一个在线沙盒，端到端加密等等，然后实现每个人的云端 AI Agent 服务，也是可以的。也可以支持各种在线服务，比如 Apple 的 MCP 商店或者自己定义的更可控的协议。甚至可以作为高级服务进行订阅。我们把全本地化改成端云结合的能力，得到一个新的公式，实现更好的用户体验： 🥇 Apple 原生 Agent 能力 = 端云结合的 Qwen3 （任务规划 + 工具编排） + 端云结合的工具使用（快捷指令的生态 + APP 开放的 scheme + MCP 等） + AI 产品三要素（Profile + Preference + Context） + 目标评估（AI + 人类行为数据反馈） + 安全治理（沙盒 + 权限管理 + 端到端加密） Apple 原生 Agent 能力 = 端云结合的 Qwen3 （任务规划 + 工具编排） + 端云结合的工具使用（快捷指令的生态 + APP 开放的 scheme + MCP 等） + AI 产品三要素（Profile + Preference + Context） + 目标评估（AI + 人类行为数据反馈） + 安全治理（沙盒 + 权限管理 + 端到端加密）显然 Apple 也能实现强大的多 Agent 协作。 Apple 的一些强大之处： • Tools 的原生支持（快捷指令、iOS 原生能力） • 大量 App 已经有了（除开原生 app 支持和内建的可视化编程能力，滴滴打车、支付宝等等等等） • 多 Tools 的原生选择（Fellou 本地化的优势之一，iOS 系统级理应做得更好，详见《Fellou 不是 AI 浏览器！Fellou 更不是 Manus。》），并且 AI 决定用哪些 APP 其实是有难度的，但调用你已经装了在用的 APP，就很简单了 • Tools 的偏好设置（相册、旅行游记的照片、历史修图的偏好、音乐的偏好、健康偏好等） • 强大的跨平台能力（操作系统级别的互通，iPhone、Mac、iPad、iWatch 等） • 兼顾 app 生态与新的原子能力生态（开发者的利益） • 强大的开发者生态和工具（Xcode 支持 AI+API）《Fellou 不是 AI 浏览器！Fellou 更不是 Manus。》 • Tools 的原生支持（快捷指令、iOS 原生能力） • 大量 App 已经有了（除开原生 app 支持和内建的可视化编程能力，滴滴打车、支付宝等等等等） • 多 Tools 的原生选择（Fellou 本地化的优势之一，iOS 系统级理应做得更好，详见《Fellou 不是 AI 浏览器！Fellou 更不是 Manus。》），并且 AI 决定用哪些 APP 其实是有难度的，但调用你已经装了在用的 APP，就很简单了《Fellou 不是 AI 浏览器！Fellou 更不是 Manus。》 • Tools 的偏好设置（相册、旅行游记的照片、历史修图的偏好、音乐的偏好、健康偏好等） • 强大的跨平台能力（操作系统级别的互通，iPhone、Mac、iPad、iWatch 等） • 兼顾 app 生态与新的原子能力生态（开发者的利益） • 强大的开发者生态和工具（Xcode 支持 AI+API）一个示例先睹为快那 Qwen3 能不能作为最核心的 LLM 组件，实现这一能力呢？如前几篇文章一样，上一个例子，模拟一下。结尾有二维码可以访问，iPhone 可以导入使用（版本要求大概是 iOS16 以上）。我以一个曾经在 2016 年设计，并被几家 Android 厂商采纳的 AI 功能设计为例，在 iOS 上用 Qwen3 结合快捷指令来实现一遍核心交互。这一功能被命名为智慧识屏。其核心逻辑是识别用户当前手机界面上的所有文本、图像等信息，判别用户的意图，抽取关键实体，匹配互联网服务，把结果以卡片化的方式直接呈现给用户。比如，你跟朋友聚会，朋友发了个地址，你不需要复制、回到桌面、打开地图软件、粘贴到输入框，点击导航。你可以双击手机，在几十毫秒内，系统自动判断你可能有查看路线、导航或者打车的需求，并直接把路线卡片、导航卡片（包括各种交通工具的通勤时长）、和一键交车卡片给你展示出来。