提示词自动生成 ComfyUI 工作流来了！ （英伟达整花活， 把 ComfyUI 的门槛打下来！

提示词自动生成 ComfyUI 工作流来了！ （英伟达整花活， 把 ComfyUI 的门槛打下来！ 提示词自动生成 ComfyUI 工作流来了！ （英伟达整花活， 把 ComfyUI 的门槛打下来！ Modified October 22, 2024 🐵 在多次社区的 ComfyUI 共学中发现， ComfyUI 工作流的门槛确实过高。 让很多人理解“潜空间”， “Vae”， “LoRA”， “controlnet”等一系列概念非常困难， 更别说基于理解做一个工作流了。 这次英伟达整了个花活， 让大家看到了打破这个门槛的可能性： 🌈 通过画图提示词， 自动生成匹配的 ComfyUI 工作流！ 英伟达将其命名为 ComfyGen （comfy 生成器）！ 当然目前仅支持文生图模型。 在英伟达发布的内容中， 他们称： “ComfyGen 可以生成高质量的图并泛化到其他领域 （如下图）。 ” 并且他们很自豪的宣称：“下图这么优秀的图， 完全是 ComfyGen 基于 SDXL 规模的模型画的， 还没有用 flux 呢！” 当然， 作为学术性研究论文， 肯定不会很草率的下结论。 英伟达团队做了对比测试： 下图中分别为 1） SDXL 原生 2） 两个微调模型 （用过的同学会很熟悉 3） 两个人搭的工作流 4） 两个不同的 comfyGen 制作的图 （后文原理部分中会说明这两者的区别） 可以看到效果基本一致， 甚至确实更符合人类对提示词的判断和理解。 同时他们还做了和 C 站上人类写的提示词作对比： 很显然， ComfyGen 的效果略胜一筹。 不过由于项目未开源， 无法体验实际效果。 但是如果真的效果如英伟达发布所说， 那是相当惊艳了。 原理 ComfyGen 基于大型语言模型（LLM），为用户输入的特定提示词自动定制和优化生成 ComfyUI 工作流。 工作流中会组合多个专门的组件，如改进的输入处理、精细的解码器和超分辨率模块，显著提高生成图像的质量和细节。 ComfyGen 的核心在于其能够根据用户的具体需求，选择最适合的工作流组件，从而实现更高质量和更精确对齐的图像输出。 ComfyGen IC 对比 ComfyGen FT • IC 的意思： in context learning， 顾名思义是通过上下文的方式来做。 ◦ 这里英伟达制作了一个表格， 表格里记录了工作流画图的分类， 并基于美学和人类偏好的预测给他们的结果打分。 让他们让 LLM 选择最能匹配新提示词并且得分最高的工作流。 • FT 的意思： Finetune。 微调。 ◦ 训练时， 同样把表格中的得分， 提示词和工作流作为训练内容。 推理时， 依旧让 LLM 通过提示词和高得分来预测一个最合适的工作流。 这份研究为很多 agent 的开发带来了新的思路， 不仅局限于 ComfyUI， 同时对 LLM 本身的工作流的自动生成也将产生深远的影响。 文章链接： https://comfygen paper.github.io/ （英文） 论文链接： https://arxiv.org/abs/2410.01731 🐵 在多次社区的 ComfyUI 共学中发现， ComfyUI 工作流的门槛确实过高。 让很多人理解“潜空间”， “Vae”， “LoRA”， “controlnet”等一系列概念非常困难， 更别说基于理解做一个工作流了。 在多次社区的 ComfyUI 共学中发现， ComfyUI 工作流的门槛确实过高。 让很多人理解“潜空间”， “Vae”， “LoRA”， “controlnet”等一系列概念非常困难， 更别说基于理解做一个工作流了。 这次英伟达整了个花活， 让大家看到了打破这个门槛的可能性： 🌈 通过画图提示词， 自动生成匹配的 ComfyUI 工作流！ 英伟达将其命名为 ComfyGen （comfy 生成器）！ 当然目前仅支持文生图模型。 在英伟达发布的内容中， 他们称： “ComfyGen 可以生成高质量的图并泛化到其他领域 （如下图）。 ” 并且他们很自豪的宣称：“下图这么优秀的图， 完全是 ComfyGen 基于 SDXL 规模的模型画的， 还没有用 flux 呢！” 当然， 作为学术性研究论文， 肯定不会很草率的下结论。 英伟达团队做了对比测试： 下图中分别为 1） SDXL 原生 2） 两个微调模型 （用过的同学会很熟悉 3） 两个人搭的工作流 4） 两个不同的 comfyGen 制作的图 （后文原理部分中会说明这两者的区别） 可以看到效果基本一致， 甚至确实更符合人类对提示词的判断和理解。 同时他们还做了和 C 站上人类写的提示词作对比： 很显然， ComfyGen 的效果略胜一筹。 不过由于项目未开源， 无法体验实际效果。 但是如果真的效果如英伟达发布所说， 那是相当惊艳了。 原理 ComfyGen 基于大型语言模型（LLM），为用户输入的特定提示词自动定制和优化生成 ComfyUI 工作流。 工作流中会组合多个专门的组件，如改进的输入处理、精细的解码器和超分辨率模块，显著提高生成图像的质量和细节。 ComfyGen 的核心在于其能够根据用户的具体需求，选择最适合的工作流组件，从而实现更高质量和更精确对齐的图像输出。 ComfyGen IC 对比 ComfyGen FT • IC 的意思： in context learning， 顾名思义是通过上下文的方式来做。 ◦ 这里英伟达制作了一个表格， 表格里记录了工作流画图的分类， 并基于美学和人类偏好的预测给他们的结果打分。 让他们让 LLM 选择最能匹配新提示词并且得分最高的工作流。 ◦ 这里英伟达制作了一个表格， 表格里记录了工作流画图的分类， 并基于美学和人类偏好的预测给他们的结果打分。 让他们让 LLM 选择最能匹配新提示词并且得分最高的工作流。 • FT 的意思： Finetune。 微调。 ◦ 训练时， 同样把表格中的得分， 提示词和工作流作为训练内容。 推理时， 依旧让 LLM 通过提示词和高得分来预测一个最合适的工作流。 ◦ 训练时， 同样把表格中的得分， 提示词和工作流作为训练内容。 推理时， 依旧让 LLM 通过提示词和高得分来预测一个最合适的工作流。 这份研究为很多 agent 的开发带来了新的思路， 不仅局限于 ComfyUI， 同时对 LLM 本身的工作流的自动生成也将产生深远的影响。 文章链接： https://comfygen paper.github.io/ （英文） 论文链接： https://arxiv.org/abs/2410.01731