彬子: 基于ComfyUI做油管封面Agent

彬子: 基于ComfyUI做油管封面Agent 彬子: 基于ComfyUI做油管封面Agent Modified December 29, 2024 开发者需要关注的分层结构： Unable to load the board. Please refresh and try again.Copy ErrorRefresh Nothing on the board yet ShellAgent的安装： 下载地址：https://github.com/myshell ai/ShellAgent/releases（Windows/Linux/Mac） 选择自己电脑对应的版本下载安装即可，我后面以本地是Mac上演示。 以ThumbMaker这个 Agent 来举例 ThumbMaker目前是 Myshell上工具类里流量比较大的一个： https://app.myshell.ai/bot/u6ve63?utm channel=referral&utm source=share 其实这个需求的出发点观察到 Glif上一个高频的bot： https://glif.app/@saqib/glifs/cm0zceq2a00023f114o6hti7w 目标用户可能都是油管上希望快速做封面的达人，这类封面有个特点是需要比较精细的图文混排。可以对比看下： Glif里的 Thumbnail Maker：只提供了通过纯文字描述的方式来绘制封面。 我做的 ThumbMaker：提供了类似Glif这种自由输入的方式，同时也提供了结构化输入的方式，同时给了参考图分析的功能，另外一点是可以跟 Agent 去 chat 方式来提修改建议，而这块的修改又比较好的融合进结构化输入里面。 那这样能更快更精细的画一个跟自己想象中或看到的封面相似的出来，提高了画一幅适合自己内容的封面的效率。 在ShellAgent中的演示 通过一个Demo理解Shellagent的状态机（Tips：视频最后的地方有点操作错误，正确是打开Messages中的Image来关联ComfyUI的输出图片进行展示） 大家可以在部署好环境的后跟着做一遍 demo.mov 648.47MB 配套的配置Prompt的 JSON文件 The damaged or encrypted file cannot be previewed. Please download it to local device. input prompt style.json · 4.99KB Processing... Please wait input prompt style.json 配套的Flux的模版ComfyUI流 The damaged or encrypted file cannot be previewed. Please download it to local device. flux test.json · 24.98KB Processing... Please wait flux test.json ThumbMaker的操作见直播里的讲解会更清楚些：👉【告别Coze限制：基于ComfyUI+MyShell的全新Agent开发思路 】 https://b23.tv/1JR5Iyc 直播中提到的黑神话悟空的PRG小游戏体验地址:https://app.myshell.ai/bot/Y7FVJv?utm channel=referral&utm source=share，里面有上百个状态来保证游戏过程中与20多个Boss的互动是稳定独立的。这可能也反映出状态机和工作流各自优势的Agent场景。 说在最后，本次分享的初衷是希望我们社区的Agent开发者看到Agent平台的多样性，不给自己设限，在新老Agent平台喷涌之中，抓住早期创作红利。 我在MyShell上的HomePage，欢迎大家体验下我做的一些Bot，共同探讨学习：https://app.myshell.ai/explore/profile/Binzi?nametag=%238550&invite=02b9cc 开发者需要关注的分层结构： Unable to load the board. Please refresh and try again.Copy ErrorRefresh Nothing on the board yet ShellAgent的安装： 下载地址：https://github.com/myshell ai/ShellAgent/releases（Windows/Linux/Mac） 选择自己电脑对应的版本下载安装即可，我后面以本地是Mac上演示。 以ThumbMaker这个 Agent 来举例 ThumbMaker目前是 Myshell上工具类里流量比较大的一个： https://app.myshell.ai/bot/u6ve63?utm channel=referral&utm source=share 其实这个需求的出发点观察到 Glif上一个高频的bot： https://glif.app/@saqib/glifs/cm0zceq2a00023f114o6hti7w 目标用户可能都是油管上希望快速做封面的达人，这类封面有个特点是需要比较精细的图文混排。可以对比看下： Glif里的 Thumbnail Maker：只提供了通过纯文字描述的方式来绘制封面。 我做的 ThumbMaker：提供了类似Glif这种自由输入的方式，同时也提供了结构化输入的方式，同时给了参考图分析的功能，另外一点是可以跟 Agent 去 chat 方式来提修改建议，而这块的修改又比较好的融合进结构化输入里面。 那这样能更快更精细的画一个跟自己想象中或看到的封面相似的出来，提高了画一幅适合自己内容的封面的效率。 在ShellAgent中的演示 通过一个Demo理解Shellagent的状态机（Tips：视频最后的地方有点操作错误，正确是打开Messages中的Image来关联ComfyUI的输出图片进行展示） 大家可以在部署好环境的后跟着做一遍 demo.mov 648.47MB demo.mov 648.47MB 配套的配置Prompt的 JSON文件 The damaged or encrypted file cannot be previewed. Please download it to local device. input prompt style.json · 4.99KB Processing... Please wait input prompt style.json The damaged or encrypted file cannot be previewed. Please download it to local device. input prompt style.json · 4.99KB Processing... Please wait input prompt style.json 配套的Flux的模版ComfyUI流 The damaged or encrypted file cannot be previewed. Please download it to local device. flux test.json · 24.98KB Processing... Please wait flux test.json The damaged or encrypted file cannot be previewed. Please download it to local device. flux test.json · 24.98KB Processing... Please wait flux test.json ThumbMaker的操作见直播里的讲解会更清楚些：👉【告别Coze限制：基于ComfyUI+MyShell的全新Agent开发思路 】 https://b23.tv/1JR5Iyc 直播中提到的黑神话悟空的PRG小游戏体验地址:https://app.myshell.ai/bot/Y7FVJv?utm channel=referral&utm source=share，里面有上百个状态来保证游戏过程中与20多个Boss的互动是稳定独立的。这可能也反映出状态机和工作流各自优势的Agent场景。 说在最后，本次分享的初衷是希望我们社区的Agent开发者看到Agent平台的多样性，不给自己设限，在新老Agent平台喷涌之中，抓住早期创作红利。 我在MyShell上的HomePage，欢迎大家体验下我做的一些Bot，共同探讨学习：https://app.myshell.ai/explore/profile/Binzi?nametag=%238550&invite=02b9cc 说在前面 我是个ComfyUI新人。在此之前更多的是使用Coze来做Agent，涉及到绘图的功能也是调用Coze的图像流来完成。 但当时的图像流还挺弱的，我曾为了优化这个问题在Glif上做了若干个Bot，以插件调用API的方式来完成绘图功能的调用。 Glif提供了一个有限节点集合的云端ComfyUI，带来了更多图像的玩法。这个过程让我也有些新的体会 Coze的工作流和ComfyUI的图像流代表了在Agent内部这两个子领域最领先水平。但大多数同学是专注在其中一个领域中持续的精进。好处是在扎的够深才能做出真正落地的Agent。短期的短板另一块非常依赖平台或社区来建设弥补。 举两个相对的例子： 1. 从熟悉Coze的同学视角，在Coze上有非常丰富的工作流节点和配套能力，开发助理类Bot非常便捷，但在流程中如果想出图自由度是不高的，几乎依赖平台的封装，或一些三方的插件。 2. 从熟悉ComfyUI的同学视角，ComfyUI有非常繁荣开源的节点和图像模型来完成高水平的图像，视频流。但流程本身的Agent含量不高，可能在反推图像信息会使用到Ollama等一些本地大模型。 那其实我们只要从自己擅长的阵地向另一块阵地多迈出一步，就能揉合更整体的把控住在一个Agent中如何设计和运用各种节点来实现最终想要的，多掌握一些，限制就少一些。 题外话：现在Coze将图像流的概念弱化拆解掉，可能也是认为优秀的Agent开发者，在一个Agent中使用工程节点和图像节点应该是灵活相通的，不需要过多设限。 后来就是Coze专业版和普通版分家，体验和效果不生反退。就短期太想用了。也感觉，绑定在一个平台上玩一方面平台的上限就可能是你能发挥的上限，更主要是现在Agent没有一个标准范式，Coze只是交了自己觉得对的答案。还是要多看看多试试。 • 国内其他Agent平台几乎还在对齐Coze，没啥好说的。 • Glif算是站在Coze的另一个极端上，专注图处理的节点和玩法。做玩图的Bot非常方便，一个流从输入走到输出，默认带用户界面，发布就能扔出去用，贼快。问题就是太单薄，存储，状态什么都不存在，就没有多轮交互的可能性。据说他们在内测加了ChatUI的版本了。 而最近Coze新版拆出一个带用户界面的应用概念，哈哈哈，这就有点意思了。Agent 的范式是什么？ • Myshell是我最近高频在用的Agent平台。 用的理由很简单，有一些创作者收入，Myshell给出的Agent 范式阶段性解决了上面Coze和Glif面临的问题。 对比国内被Coze大一统的工作流模式，状态机的架构设计也给我们带来一些耳目一新的体验。 我不是说大家一定要在MyShell上开发Agent，而是拿Myshell来举例，面向未来的Agent开发者可能面临的多样性选择。 未来一定会涌现出较多的AI Agent平台，那具备更强综合能力的开发者可以很快的将之前平台上的作品迁移到新平台上，抢到最早期的开发红利。 MyShell：一句话：基于Web3经济资源在埋头搞AI的Agent平台。 MyShell的官网： https://myshell.ai/ MyShell的生态图：