Blue：想用 Codex 的 Record & Replay 替代 RPA ，简直是做梦

Blue：想用 Codex 的 Record & Replay 替代 RPA ，简直是做梦 Blue：想用 Codex 的 Record & Replay 替代 RPA ，简直是做梦 Modified June 22 测试完之后我发现，这个功能跟RPA其实没有半毛钱关系。 Record & Replay录下来的不是你点了哪个按钮的坐标，而是你操作时屏幕上长什么样、加上你的动作。 回放的时候，它也不是像录像一样精确重放，而是重新看一眼现在的屏幕，靠视觉理解去判断这一步该点哪。 底层干这事的，是 OpenAI 的 Computer Use 那套看屏幕操作的能力。 和传统 RPA，到底有什么区别？ 比如下广告报表这事，我们用两种方式各做一遍，差别就清楚了。 先说 传统 RPA ，包括卖家常碰到的影刀、八爪鱼、Axiom，还有国外的 UiPath、Power Automate。 它们的录制器，记的是你点了页面的哪个按钮、控件的身份证号（业内叫 selector）、坐标位置，比如打开哪个网页、如何筛选维度，点哪里导出等等。 RPA 目的是生成一份能被机器精确重放的脚本。下次回放，机器人照着脚本把同样的动作再来一遍，一步都不会错。 可一旦按钮挪了位置，整个流程就会崩掉，得人工去修。 RPA 项目最大的长期成本，就是养人修这些 selector。 Codex 的 Record & Replay 记录的是我们操作的意图和边界，然后由Agent 总结成工作能力。 就像你跟一个新来的实习生说帮我下个广告报表，操作演示一遍后，它每次自己去看界面，再决定怎么筛选和导出。 页面和报表可能会微调，但不会大变动。"实习生"能根据变化调整自己的操作。 不同的业务场景，应该用哪类方案？ Record & Replay的本质，就是一个通过【视觉理解+提示词】的双重增强，生成Skill的工具。 如果你用Record & Replay写出来的Skill配合 Computer Use 调用，确实可以执行地像RPA。 但你有没有觉得你的Token在燃烧？哈哈哈 Record & Replay的价值不在机械重放，而在把人的判断标准和异常处理学下来。 传统 RPA 同样的输入、同样的结果，适合跑十万次不能出错的活，现在已经大量的应用在POD（Print on Demand）模式里面。 像各种物流订单、财务报表的下载导出，就很适合。 Record & Replay 每次回放都是模型重新决策，同一件事跑两次结果可能不一样， 更适合半结构化、需要判断的运营经验型流程 。 比如，竞品 ASIN 详情页拆解，广告搜索结果人工巡检，店铺/品牌页分析，客服差评归因整理等等。 即使这些事情需要重复做，也可以 结合Codex的自动化功能 ，挂机定时跑任务。 最后一句话总结，RPA是教机器复刻动作，Record & Replay是教 AI 理解任务。 写在最后 虽然说Record & Replay本身并不能取代RPA，但录屏的内容， 却很适合给Agent用于理解任务后，生成RPA脚本代码。 以往想把业务流程做成RPA自动化，需要专门招聘RPA工程师来开发。 现在懂业务的人演示一遍，然后把录屏丟给Agent自己去跑就行了，甚至可以泛化到相似的业务流程里。 从Codex这一波的更新，可以明显窥见： 自动化的能力，正在从懂技术的人，往懂业务的人手里挪。 以及Agent与人的协作，正在从单纯的文字沟通，深化到视觉理解。 你用了这个功能吗，欢迎交流你的使用体验和看法。 如果这篇文章对你有启发，不妨点个赞，或者分享给身边的朋友，也欢迎给我留言，聊聊你的想法。 测试完之后我发现，这个功能跟RPA其实没有半毛钱关系。 Record & Replay录下来的不是你点了哪个按钮的坐标，而是你操作时屏幕上长什么样、加上你的动作。 回放的时候，它也不是像录像一样精确重放，而是重新看一眼现在的屏幕，靠视觉理解去判断这一步该点哪。 底层干这事的，是 OpenAI 的 Computer Use 那套看屏幕操作的能力。 和传统 RPA，到底有什么区别？ 比如下广告报表这事，我们用两种方式各做一遍，差别就清楚了。 先说 传统 RPA ，包括卖家常碰到的影刀、八爪鱼、Axiom，还有国外的 UiPath、Power Automate。 它们的录制器，记的是你点了页面的哪个按钮、控件的身份证号（业内叫 selector）、坐标位置，比如打开哪个网页、如何筛选维度，点哪里导出等等。 RPA 目的是生成一份能被机器精确重放的脚本。下次回放，机器人照着脚本把同样的动作再来一遍，一步都不会错。 可一旦按钮挪了位置，整个流程就会崩掉，得人工去修。 RPA 项目最大的长期成本，就是养人修这些 selector。 Codex 的 Record & Replay 记录的是我们操作的意图和边界，然后由Agent 总结成工作能力。 就像你跟一个新来的实习生说帮我下个广告报表，操作演示一遍后，它每次自己去看界面，再决定怎么筛选和导出。 页面和报表可能会微调，但不会大变动。"实习生"能根据变化调整自己的操作。 不同的业务场景，应该用哪类方案？ Record & Replay的本质，就是一个通过【视觉理解+提示词】的双重增强，生成Skill的工具。 如果你用Record & Replay写出来的Skill配合 Computer Use 调用，确实可以执行地像RPA。 但你有没有觉得你的Token在燃烧？哈哈哈 Record & Replay的价值不在机械重放，而在把人的判断标准和异常处理学下来。 传统 RPA 同样的输入、同样的结果，适合跑十万次不能出错的活，现在已经大量的应用在POD（Print on Demand）模式里面。 像各种物流订单、财务报表的下载导出，就很适合。 Record & Replay 每次回放都是模型重新决策，同一件事跑两次结果可能不一样， 更适合半结构化、需要判断的运营经验型流程 。 比如，竞品 ASIN 详情页拆解，广告搜索结果人工巡检，店铺/品牌页分析，客服差评归因整理等等。 即使这些事情需要重复做，也可以 结合Codex的自动化功能 ，挂机定时跑任务。 最后一句话总结，RPA是教机器复刻动作，Record & Replay是教 AI 理解任务。 写在最后 虽然说Record & Replay本身并不能取代RPA，但录屏的内容， 却很适合给Agent用于理解任务后，生成RPA脚本代码。 以往想把业务流程做成RPA自动化，需要专门招聘RPA工程师来开发。 现在懂业务的人演示一遍，然后把录屏丟给Agent自己去跑就行了，甚至可以泛化到相似的业务流程里。 从Codex这一波的更新，可以明显窥见： 自动化的能力，正在从懂技术的人，往懂业务的人手里挪。 以及Agent与人的协作，正在从单纯的文字沟通，深化到视觉理解。 你用了这个功能吗，欢迎交流你的使用体验和看法。 如果这篇文章对你有启发，不妨点个赞，或者分享给身边的朋友，也欢迎给我留言，聊聊你的想法。 🔗 原文链接： https://mp.weixin.qq.com/s/V9Kt2Pgc... https://mp.weixin.qq.com/s/V9Kt2Pgc... 原创 Buluu Buluu 新西楼.AI2026年6月22日 19:57 广东 Hello，大家节后上班愉快，我是Blue。 前几天，OpenAI 给 Codex 来了一次不小的更新，最值得关注的是 Record & Replay 这个录制回放的插件功能。 简单来说，你在电脑上先手动把一个工作流程走一遍，Codex会观察并记录你的操作，随后转成一份可复用、可迭代的Agent Skill。 下次你要再跑这个流程的时候，就可以直接调用这个Skill了，完全解放双手！ 你有没有发现，这个功能的逻辑看起来很像 RPA？甚至这几天很多媒体直接就写"Codex上了个RPA的工具"。 Record & Replay到底怎么用、和传统 RPA 是不是一回事、不同的跨境电商场景又应该用哪类方案？ 今天一篇文章给你拆清楚。 Record & Replay 是什么，怎么用？ Record & Replay 是Codex客户端里基于 Computer Use 的插件工具，需要Plus、Pro、Business等订阅可用。 目前仅在Mac端发布，Windows一边哭去吧...... 首先，需要在客户端左边插件面板里添加 Record & Replay 功能。 接下来在会话框里，点击＋号，下拉到插件部分，选择 Record & Replay 功能，同时会写入系统默认的提示词。 随后，强烈建议围绕自己要实现的流程，重新写提示词，这样后续生成Skill的时候，质量会更高。 个人建议最好包括以下内容：业务背景，目标，核心流程描述，完成条件，验证规则，约束和边界。 这一套看下来是不是有点似曾相识？ 其实我是照搬了写 /goal 指令的规范。 其实我是照搬了写 /goal 指令的规范。 然后我这里简单测试了一个亚马逊商品ASIN分析的流程。 点击启动后，我们就可以正常走一遍流程了，比如我的流程是打开亚马逊网站，在搜索框输入 Asin，进入商品详情页，分步浏览标题、图片、五点描述、A+、产品视频和下面的评论。 最后结束录制，Codex 就会自动分析我的录制视频，并进行 Skill 的编写，保存到根目录下。 然后我换了一个新的Asin,并调用刚刚做的这个Skill，可以看到Codex能够按照我的流程读取到商品页面的相关信息。 但他并不是用computer use复刻我的操作流程，而是直接使用网页浏览进去读取了Asin。