ManusAI核心技术解读 | 2025-03-22

ManusAI核心技术解读 | 2025 03 22 ManusAI核心技术解读 | 2025 03 22 Modified March 22, 2025 • 现场：https://gist.github.com/jlia0/db0a9695b3ca7609c9b1a08dcbf872c9，大致结论： ◦ 此时可能性有三： ▪ Manus智能体链路当中的某一个环节有这些tool list，但是不一定是29个，29个是模型幻觉。 3 关于MCP协议，Manus开发者的回复 • 本论文是关于CodeAct的基础论文。 「实际上，Manus 并没有使用 MCP。我们更多地受到了我的朋友王星尧（@xingyaow ）的研究工作的启发。」名为《Executable Code Actions Elicit Better LLM Agents》的研究论文，引入可执行 Python 代码（CodeAct），提出了一种新的方法来增强大型语言模型（LLM）agent 的能力。该方法使得 LLM agent 能够直接执行代码行为，从而将多种行为统一到一个更加灵活和强大的动作空间中。附上论文链接： https://openreview.net/forum?id=jJ9BoXAfFa Executable Code Actions Elicit Better LLM Agents translated.pdf 9.19MB • 基本论点： ◦ 大部分的LLM接受了大量的python代码，所以他们写python代码的基础能力是充足的；同时python代码的工具库是非常非常多的，使用python可以完成非常多的任务 ◦ 可以写python代码（CodeAct）来代替传统的rpa动作（例如你可以用python + matlab画图，而不是你封装matlab变成matlabTool，让大模型去调用这个tool） ◦ 代码描述任务是图灵完备的，相对于使用ymal、xml、json的文本描述 ◦ 大部分开源大模型的codeact表现不佳，需要后训练 • 我的观点： ◦ 很聪明，利用了大模型自身的能力，但是给到智能体来利用了 ◦ 这一波等于是智能体在能力上的偷鸡，智慧上的胜利 ◦ Next：CodeAgent？ Manus的核心能力 推测与拆解 1 主要观点：Manus核心优势在Controller层，在agent flow能力（observe，plan和tool decide的大模型环节），大概率这些是使用自己调优训练的大模型的，并且基础模型大概率是qwen • 从我们多天测试下来的情况看，Manus比较亮眼的能力： ◦ Plan较为充分，有条理 ◦ 决定使用什么tool的能力很强（例如可以玩2048，用yahoo api下载布伦特原油价格数据） ◦ 浏览器上的观察能力不弱（例如可以展开日历控件并且尝试翻页） ◦ 与用户的交互能力不弱（可以理解到弹出了小红书登录框并且交互要求登录） • 初步判断agent flow中应该是使用了自己调优的模型 • 单步的tool或者agent调用可能没有调优，例如codeact模型未必需要在论文基础上调优（目前看官方爆料，大概率用的是Claude Sonnet 3.7） 2 主要观点：Manus的核心壁垒是数据 • 很简单，如果得知核心优势是调优的模型，那么核心壁垒就一定是调优数据 • Manus团队之前是做AI浏览器的，浏览器交互数据可能很充分（这也说明了为什么他们浏览器操作很多，并且只能程度很高）；这里可以贡献了plan和observe部分的数据。 • 其他agent flow的数据未知，尤其是tool decide的数据情况未知 3 Manus的AgentFlow有没有可能使用了其他黑科技？ • 我之前觉得有黑科技，或者说实际上之后可以发展为CodeAgent（就是整个plan和tasks都是code描述的，包括方法调用，状态码，任务复杂结构，try catch容错等） • 但目前看Manus的模式不是，他还是本地起todo.md，里面是task 》subtask模式 • 不能排除其他黑科技 4 Manus不用MCP协议的原因？ • 本质上Manus只使用了3个工具调用：vscode python, Linux sandbox computer use, chrome browser use。并且开发人员否认了MCP的使用，hidecloud也在群里表示完全不理解为什么要用MCP。 • MCP其实提供了一个更大范围的可调用tool list，但是它没有解决排行问题和检索问题 • MCP对于Manus模式的贡献可能会有2个，一个是更好的搜索源，一个是官方的长尾rpa（例如操作美团或者12306），除此之外没有什么帮助 额外参考：转一个智谱同学结合源码写的 Manus 技术小洞察（这里是拆解了OpenManus的源码，但这不代表拆解了Manus的源码） Manus 里都有什么 Preview 驳斥一下流行的自媒体发言 1 Manus就是恶意炒作，饥饿营销 2 Manus沙箱里面自爆提示词，底裤都被爆没了 3 Manus就是套壳，Manus的上限就是大模型上限，能强过deepseek吗 4 OpenManus光速开源，贴脸开大；本地部署可媲美Manus能力 5 Manus又没有自己的大模型，有什么好炫的？ Manus开源以及后Manus时代的影响 1 人类行为模式的进化：手动 》RPA自动化 》模型 • RPA/自动化可以理解成人类在手动经验下，进行了人工编排的抽象 • 而模型学习了更加复杂的数据之后，行为模式会更加复杂（不具备固定pattern，模型行为也不能被人类简单解读） • Genimi 2.0 Experiment 多模态实现了“用嘴文出图，图生图”，一夜之间comfyui（图像流人工编排）就没了。 • 所以当Manus模式普及并且开源之后，会挤压人工编排的智能体平台的空间，也就是coze 和 dify。 2 目前关于Manus和monica团队的舆论和其他方向的反应 • 央媒：表扬。省媒：抢功劳。 • 自媒体：观望，不看好，涉嫌炒作，嘲讽。 • 北美：申请的waitlist已经几百万人了，不少大佬给于了证明评价。 • 阿里：资源互补，深度合作，正在建立国内站。 • 闲鱼：一开始邀请码涨到了10w，目前跌到了100。 • 腾讯：已经开始投资。 • 其他竞品开源框架和平台：metagpt光速开源了openmanus（蹭热度嫌疑），flowith跟进了热点，gemini发布了deep research 3 Manus开源的话，会开源什么？ • level1：开源框架only • level2：开源提示词（openhands，openmanus） • level3：开源核心环节的调优模型 • level4：开源模型调优的方案 • level5：开源调优数据 4 直线竞品Flowith • Flowith Oracle模式 • Flowith为什么邀请码随便发？但Manus抠抠搜搜？ 5 产品形态 toC or toB • toC方向：通用智能体能力会提升到一个较高的水平 ◦ 各大厂商都可能会跟进。 ◦ 目前已有的开源框架、Manus竞品都会继续迭代，热度上升。 ◦ 这里会卷智能体编排，也会卷编排模型。 • toB方向： ◦ 理想的情况是，用嘴完成业务流 ◦ 对通用智能体最大的挑战：1 安全性 2 企业内独有rpa或者tool调用 ◦ 如果有调优训练方案的开源，那么未必不可行 ◦ 一个看得见的场景：真正的AI ops，比如用嘴来做部署运维 6 对AI行业以及其他行业的影响？ • 最坏的情况是coze上的手动编排市场被大幅度压缩。 ◦ 传统智能体从业者（手工编排）大面积失业。 ◦ coze和dify会没落。 ◦ MCP路径和通用rpa路径应该两边都有发展。 • 行业经验，行业数据将会被用于训练智能体驱动模型；如果这真的会变成一种模式，那么利好调优训练。 • 更多的人类的部分工作，会被AI平替 ◦ 人类可能正在经历全面的被AI替代的过程，但是人类不自知。 群二维码 Waytoagi 飞书群 一支烟花AI社区 Manus专区 Manus 里都有什么 Preview • 现场：https://gist.github.com/jlia0/db0a9695b3ca7609c9b1a08dcbf872c9，大致结论： ◦ 此时可能性有三： ▪ Manus智能体链路当中的某一个环节有这些tool list，但是不一定是29个，29个是模型幻觉。 ◦ 此时可能性有三： ▪ Manus智能体链路当中的某一个环节有这些tool list，但是不一定是29个，29个是模型幻觉。 ▪ Manus智能体链路当中的某一个环节有这些tool list，但是不一定是29个，29个是模型幻觉。 3 关于MCP协议，Manus开发者的回复 • 本论文是关于CodeAct的基础论文。 「实际上，Manus 并没有使用 MCP。我们更多地受到了我的朋友王星尧（@xingyaow ）的研究工作的启发。」名为《Executable Code Actions Elicit Better LLM Agents》的研究论文，引入可执行 Python 代码（CodeAct），提出了一种新的方法来增强大型语言模型（LLM）agent 的能力。该方法使得 LLM agent 能够直接执行代码行为，从而将多种行为统一到一个更加灵活和强大的动作空间中。附上论文链接： https://openreview.net/forum?id=jJ9BoXAfFa Executable Code Actions Elicit Better LLM Agents translated.pdf 9.19MB Executable Code Actions Elicit Better LLM Agents translated.pdf 9.19MB • 基本论点： ◦ 大部分的LLM接受了大量的python代码，所以他们写python代码的基础能力是充足的；同时python代码的工具库是非常非常多的，使用python可以完成非常多的任务 ◦ 可以写python代码（CodeAct）来代替传统的rpa动作（例如你可以用python + matlab画图，而不是你封装matlab变成matlabTool，让大模型去调用这个tool） ◦ 代码描述任务是图灵完备的，相对于使用ymal、xml、json的文本描述 ◦ 大部分开源大模型的codeact表现不佳，需要后训练 ◦ 大部分的LLM接受了大量的python代码，所以他们写python代码的基础能力是充足的；同时python代码的工具库是非常非常多的，使用python可以完成非常多的任务 ◦ 可以写python代码（CodeAct）来代替传统的rpa动作（例如你可以用python + matlab画图，而不是你封装matlab变成matlabTool，让大模型去调用这个tool） ◦ 代码描述任务是图灵完备的，相对于使用ymal、xml、json的文本描述 ◦ 大部分开源大模型的codeact表现不佳，需要后训练 • 我的观点： ◦ 很聪明，利用了大模型自身的能力，但是给到智能体来利用了 ◦ 这一波等于是智能体在能力上的偷鸡，智慧上的胜利 ◦ Next：CodeAgent？ ◦ 很聪明，利用了大模型自身的能力，但是给到智能体来利用了 ◦ 这一波等于是智能体在能力上的偷鸡，智慧上的胜利 ◦ Next：CodeAgent？ Manus的核心能力 推测与拆解 1 主要观点：Manus核心优势在Controller层，在agent flow能力（observe，plan和tool decide的大模型环节），大概率这些是使用自己调优训练的大模型的，并且基础模型大概率是qwen • 从我们多天测试下来的情况看，Manus比较亮眼的能力： ◦ Plan较为充分，有条理 ◦ 决定使用什么tool的能力很强（例如可以玩2048，用yahoo api下载布伦特原油价格数据） ◦ 浏览器上的观察能力不弱（例如可以展开日历控件并且尝试翻页） ◦ 与用户的交互能力不弱（可以理解到弹出了小红书登录框并且交互要求登录） ◦ Plan较为充分，有条理 ◦ 决定使用什么tool的能力很强（例如可以玩2048，用yahoo api下载布伦特原油价格数据） ◦ 浏览器上的观察能力不弱（例如可以展开日历控件并且尝试翻页） ◦ 与用户的交互能力不弱（可以理解到弹出了小红书登录框并且交互要求登录） • 初步判断agent flow中应该是使用了自己调优的模型 • 单步的tool或者agent调用可能没有调优，例如codeact模型未必需要在论文基础上调优（目前看官方爆料，大概率用的是Claude Sonnet 3.7） 2 主要观点：Manus的核心壁垒是数据 • 很简单，如果得知核心优势是调优的模型，那么核心壁垒就一定是调优数据 • Manus团队之前是做AI浏览器的，浏览器交互数据可能很充分（这也说明了为什么他们浏览器操作很多，并且只能程度很高）；这里可以贡献了plan和observe部分的数据。 • 其他agent flow的数据未知，尤其是tool decide的数据情况未知 3 Manus的AgentFlow有没有可能使用了其他黑科技？ • 我之前觉得有黑科技，或者说实际上之后可以发展为CodeAgent（就是整个plan和tasks都是code描述的，包括方法调用，状态码，任务复杂结构，try catch容错等） • 但目前看Manus的模式不是，他还是本地起todo.md，里面是task 》subtask模式 • 不能排除其他黑科技 4 Manus不用MCP协议的原因？ • 本质上Manus只使用了3个工具调用：vscode python, Linux sandbox computer use, chrome browser use。并且开发人员否认了MCP的使用，hidecloud也在群里表示完全不理解为什么要用MCP。 • MCP其实提供了一个更大范围的可调用tool list，但是它没有解决排行问题和检索问题 • MCP对于Manus模式的贡献可能会有2个，一个是更好的搜索源，一个是官方的长尾rpa（例如操作美团或者12306），除此之外没有什么帮助 额外参考：转一个智谱同学结合源码写的 Manus 技术小洞察（这里是拆解了OpenManus的源码，但这不代表拆解了Manus的源码） Manus 里都有什么 Preview Manus 里都有什么 Preview 驳斥一下流行的自媒体发言 1 Manus就是恶意炒作，饥饿营销 2 Manus沙箱里面自爆提示词，底裤都被爆没了 3 Manus就是套壳，Manus的上限就是大模型上限，能强过deepseek吗 4 OpenManus光速开源，贴脸开大；本地部署可媲美Manus能力 5 Manus又没有自己的大模型，有什么好炫的？ Manus开源以及后Manus时代的影响 1 人类行为模式的进化：手动 》RPA自动化 》模型 • RPA/自动化可以理解成人类在手动经验下，进行了人工编排的抽象 • 而模型学习了更加复杂的数据之后，行为模式会更加复杂（不具备固定pattern，模型行为也不能被人类简单解读） • Genimi 2.0 Experiment 多模态实现了“用嘴文出图，图生图”，一夜之间comfyui（图像流人工编排）就没了。 • 所以当Manus模式普及并且开源之后，会挤压人工编排的智能体平台的空间，也就是coze 和 dify。 2 目前关于Manus和monica团队的舆论和其他方向的反应 • 央媒：表扬。省媒：抢功劳。 • 自媒体：观望，不看好，涉嫌炒作，嘲讽。 • 北美：申请的waitlist已经几百万人了，不少大佬给于了证明评价。 • 阿里：资源互补，深度合作，正在建立国内站。 • 闲鱼：一开始邀请码涨到了10w，目前跌到了100。 • 腾讯：已经开始投资。 • 其他竞品开源框架和平台：metagpt光速开源了openmanus（蹭热度嫌疑），flowith跟进了热点，gemini发布了deep research 3 Manus开源的话，会开源什么？ • level1：开源框架only • level2：开源提示词（openhands，openmanus） • level3：开源核心环节的调优模型 • level4：开源模型调优的方案 • level5：开源调优数据 4 直线竞品Flowith • Flowith Oracle模式 • Flowith为什么邀请码随便发？但Manus抠抠搜搜？ 5 产品形态 toC or toB • toC方向：通用智能体能力会提升到一个较高的水平 ◦ 各大厂商都可能会跟进。 ◦ 目前已有的开源框架、Manus竞品都会继续迭代，热度上升。 ◦ 这里会卷智能体编排，也会卷编排模型。 ◦ 各大厂商都可能会跟进。 ◦ 目前已有的开源框架、Manus竞品都会继续迭代，热度上升。 ◦ 这里会卷智能体编排，也会卷编排模型。 • toB方向： ◦ 理想的情况是，用嘴完成业务流 ◦ 对通用智能体最大的挑战：1 安全性 2 企业内独有rpa或者tool调用 ◦ 如果有调优训练方案的开源，那么未必不可行 ◦ 一个看得见的场景：真正的AI ops，比如用嘴来做部署运维 ◦ 理想的情况是，用嘴完成业务流 ◦ 对通用智能体最大的挑战：1 安全性 2 企业内独有rpa或者tool调用 ◦ 如果有调优训练方案的开源，那么未必不可行 ◦ 一个看得见的场景：真正的AI ops，比如用嘴来做部署运维 6 对AI行业以及其他行业的影响？ • 最坏的情况是coze上的手动编排市场被大幅度压缩。 ◦ 传统智能体从业者（手工编排）大面积失业。 ◦ coze和dify会没落。 ◦ MCP路径和通用rpa路径应该两边都有发展。 ◦ 传统智能体从业者（手工编排）大面积失业。 ◦ coze和dify会没落。 ◦ MCP路径和通用rpa路径应该两边都有发展。 • 行业经验，行业数据将会被用于训练智能体驱动模型；如果这真的会变成一种模式，那么利好调优训练。 • 更多的人类的部分工作，会被AI平替 ◦ 人类可能正在经历全面的被AI替代的过程，但是人类不自知。 ◦ 人类可能正在经历全面的被AI替代的过程，但是人类不自知。 群二维码 Waytoagi 飞书群 一支烟花AI社区 Manus专区 Waytoagi 飞书群 Waytoagi 飞书群 一支烟花AI社区 Manus专区 一支烟花AI社区 Manus专区 🏝️ 直播预告：ManusAI核心技术解读 by 不辣的皮皮 2025年3月22日（周六） 18:00 20:00 (GMT+8) 【直播公开文档】 ManusAI核心技术解读 | 2025 03 22 ManusAI核心技术解读 | 2025 03 22 直播预告：ManusAI核心技术解读 by 不辣的皮皮 2025年3月22日（周六） 18:00 20:00 (GMT+8) 【直播公开文档】 ManusAI核心技术解读 | 2025 03 22 ManusAI核心技术解读 | 2025 03 22 【飞书 Waytoagi】 加入飞书日程: https://www.feishu.cn/calendar/share?token=e73fc25e65272e9e2c53f2ec2fa44746 日程主题: ManusAI核心技术解读（by 不辣的皮皮） 时间: 2025年3月22日（周六） 18:00 20:00 (GMT+8) 组织者: 不辣的皮皮 【B站】 http://live.bilibili.com/30963133 【视频号 via Waytoagi】 Manus实测案例 此处稍微感受一下Manus的能力，以及与其他长任务智能体的差异。 更多的实测案例，可看我之前的在线实测文档。 案例库： 烟花的MANUS共创狂欢 ​ 烟花的MANUS共创狂欢 NBA得分手效率4象限图 https://manus.im/share/gsehnGPo5AyhGy6xpi4iR3?replay=1 安装宝可梦黑并且捕捉一只宝可梦 https://manus.im/share/pCPVNmrejPknbTy5GBuzAy?replay=1 模仿用户风格，生成小红书图文并发布 https://manus.im/share/q5JLy5WcXuqyw4lecdfjqn?replay=1 出品： https://www.xiaohongshu.com/explore/67cd9281000000000e006125?note flow source=wechat&xsec token=CBTGFCbvLnwaxD3Fsn4gQAVX7XAIXQCYlwayUK7XLcPpw= 布伦特原油价格情感预测模型与向量回归 https://manus.im/share/81X2LeGuf4NmqyMupyFhkT?replay=1 Agent的发展历史 裸大模型调用 Unable to load the board. Please refresh and try again.Copy ErrorRefresh Nothing on the board yet 最简单的智能体：简易Chatbot • 在裸大模型调用上进行了简易的封装，变成了对话机制的chatbot • 要注意的是每一轮对话，都会包括 系统提示词 + 历史对话 + 最新一轮用户输入 Unable to load the board. Please refresh and try again.Copy ErrorRefresh Nothing on the board yet 智能体概念初期（Langchain） • Langchain是一个非常古老的智能体项目 • 主要提出了智能体的概念和组成部分，对后世影响巨大 • 设计时概念： ◦ 智能体Agent。表示了一个可能包含AI步骤，能够自动完成多步任务的程序。Agent由以下部分组成。 ◦ 步骤/链条Chain。表示一个有输入有输出，会进行处理的步骤。 ▪ 常见的Chain是LLMChain，也就是大模型步骤。 ▪ 实际上也可以包括任何其他形式的处理。 ◦ 路由Router。用于判断接下来该进行哪个Chain。 ▪ 可能通过某些数值或者条件来进行判断。 ▪ 但实际上LLMRouter也很常见，也就是你问大模型接下来是应该走哪个Chain。 ◦ 工具Tool。类似于搜索，计算器，日期这样的工具调用。与Chain的主要区别在于，tool是在Chain上的一次调用还会返回Chain。 ◦ 智能体Agent。表示了一个可能包含AI步骤，能够自动完成多步任务的程序。Agent由以下部分组成。 ◦ 步骤/链条Chain。表示一个有输入有输出，会进行处理的步骤。 ▪ 常见的Chain是LLMChain，也就是大模型步骤。 ▪ 实际上也可以包括任何其他形式的处理。 ▪ 常见的Chain是LLMChain，也就是大模型步骤。 ▪ 实际上也可以包括任何其他形式的处理。 ◦ 路由Router。用于判断接下来该进行哪个Chain。 ▪ 可能通过某些数值或者条件来进行判断。 ▪ 但实际上LLMRouter也很常见，也就是你问大模型接下来是应该走哪个Chain。 ▪ 可能通过某些数值或者条件来进行判断。 ▪ 但实际上LLMRouter也很常见，也就是你问大模型接下来是应该走哪个Chain。 ◦ 工具Tool。类似于搜索，计算器，日期这样的工具调用。与Chain的主要区别在于，tool是在Chain上的一次调用还会返回Chain。 • 运行时概念：context上下文，status状态。 【金融场景：搜索+知识库rag】 Unable to load the board. Please refresh and try again.Copy ErrorRefresh Nothing on the board yet 多智能体Multi agent • 大致可以理解成多个Agent进程/线程会并行工作，相互之间通过某些机制进行沟通（例如消息队列） • 典型案例：metagpt的多角色协同（产品、后端、前端、测试），斯坦福小镇 • 不出现并行工作的，不是Multi agent；coze上所谓的“Multi agent”就是典型的错误概念，因为它只是不同的agent之间串行流转。 长任务智能体 • 通常需要较长的步骤或者较多的时间才能完成，需要进行agentflow编排。 • Copilot类。 ◦ 希望有人工进行干预，有可能允许人工修改参数，选择参考资料，甚至决定路由。 ◦ 典型：Flowith（oracle模式） ◦ 希望有人工进行干预，有可能允许人工修改参数，选择参考资料，甚至决定路由。 ◦ 典型：Flowith（oracle模式） • Agentic类。 ◦ 追求更高的自动化程度，极少需要人工干预。 ◦ 典型：autogpt，Manus，metagpt，gemini deep research ◦ 追求更高的自动化程度，极少需要人工干预。 ◦ 典型：autogpt，Manus，metagpt，gemini deep research 【autogpt】 短任务智能体 • 通常追求的是更快的响应时间，因为人类对这类场景的响应时间有要求。 • 虚拟人。 • AI游戏。 • 硬件相关，例如：智能家居、车载、智能音箱。 概念澄清 • Agent 与 LLM 是典型的上下游概念；换句话来说，Manus（Agent）和deepseek大模型（LLM）没有任何竞争或者对立关系，而与deepseek应用（chatbot）都是智能体，有竞争关系。 • 长任务、短任务都可能是Multiagent，也可能不是 • 长任务、短任务都可能使用agent或者Langchain概念，以及rag手段 关于Manus核心能力的一些线索 1 关于Manus的竞品和参考对比 • GAIA测试 https://metaso.cn/s/FPbjIyM：Manus在发布前刚刚击败gpt4 deep research拿到sota。 • 最有可能的灵感来源 https://github.com/All Hands AI/OpenHands/tree/main/openhands 2 Manus就是提示词套壳（谣言与发酵） • 本人就是现场当事人 ◦ 被爬出的有agent flow提示词，tool list提示词，但是他们不是sandbox里面爬出来的，而是那个用户直接问manus得到的。他反复问了几次都能拿到稳定的29个tool list。 ▪ 按照manus开发者的回答，这里给出的提示词是大模型幻觉 ▪ Manus就是用这29个tool list套壳 ▪ Manus智能体链路当中的某一个环节有这29个tool list