ComfyUI JoyCaption提示词反推太强了结合MiniCPM和ollama直接上墙的强还和Flux特别的搭ComfyUI里用起来

ComfyUI JoyCaption提示词反推太强了结合MiniCPM和ollama直接上墙的强还和Flux特别的搭ComfyUI里用起来 ComfyUI JoyCaption提示词反推太强了结合MiniCPM和ollama直接上墙的强还和Flux特别的搭ComfyUI里用起来 Modified December 14, 2024 模型的安装配置 模型的下载如果因为环境问题，可以在网盘中下载 siglip so400m patch14 384（视觉模型） siglip由Google开发的视觉特征提取模型，负责理解和编码图像内容。 工作流程： a. 接收输入图像 b. 分析图像的视觉内容（如物体、场景、颜色、纹理等） c. 将这些视觉信息编码成一组特征向量 打开ComfyUI\models\clip， 在地址栏输入CMD回车，打开命令行 输入下面的命令，拉取模型（需要环境，也可以在网盘里下载） Code block YAML git clone https://huggingface.co/google/siglip so400m patch14 384 下载好之后，目录的文件 image adapter.pt（适配器） 连接视觉模型和语言模型，优化数据转换。 工作流程： a. 接收来自视觉模型的特征向量 b. 转换和调整这些特征，使其适合语言模型处理 c. 一些特定任务的优化或微调（如图片到文字） 通过https://huggingface.co/spaces/fancyfeast/joy caption pre alpha/tree/main/wpkklhc6下载 放到models的Joy caption文件夹里 如果Joy caption文件夹不存在，就新建一个 Meta Llama 3.1 8B bnb 4bit（语言模型） 大型语言模型，负责生成文本描述。 工作流程： a. 接收经过适配器处理的特征 b. 基于这些特征生成相应的文本描述 c. 应用语言知识来确保描述的连贯性和准确性 打开ComfyUI\models\LLM，地址栏输入CMD回车 在命令行里面输入下面命令 Code block YAML git clone https://huggingface.co/unsloth/Meta Llama 3.1 8B bnb 4bit 下载后的完整目录文件 整体工作流程 1. 用户输入一张图片 2. 视觉模型提取图片的关键特征 3. 适配器将视觉特征转换为语言模型可以理解的形式 4. 语言模型基于这些特征生成文本描述 5. 系统输出最终的图像描述文本 工作流 工作流里面分别使用了JoyCaption、MiniCPM、ollama， 大家可以也可以只使用一个， 同时使用需要较高的显存。 相关问题 JoyCaption出来的提示词有截断 https://huggingface.co/spaces/fancyfeast/joy caption pre alpha/blob/main/app.py 打开发现它的prompt是 A descriptive caption for this image:\n 一定要加一个冒号和空格，就可以了，它的原理用了llama的续写功能，所以开头一般都有截断 相关链接 Comfyui CXH joy caption https://github.com/StartHua/Comfyui CXH joy caption image adapter.pt https://huggingface.co/spaces/fancyfeast/joy caption pre alpha/tree/main/wpkklhc6 google/siglip so400m patch14 384 https://huggingface.co/google/siglip so400m patch14 384/tree/main unsloth/Meta Llama 3.1 8B bnb 4bit https://huggingface.co/unsloth/Meta Llama 3.1 8B bnb 4bit/tree/main MiniCPM模型网盘 https://pan.quark.cn/s/23f9b57f3830 comfyui ollama https://github.com/stavsap/comfyui ollama?tab=readme ov file Ollama https://ollama.com/ 模型的安装配置 模型的下载如果因为环境问题，可以在网盘中下载 siglip so400m patch14 384（视觉模型） siglip由Google开发的视觉特征提取模型，负责理解和编码图像内容。 工作流程： a. 接收输入图像 b. 分析图像的视觉内容（如物体、场景、颜色、纹理等） c. 将这些视觉信息编码成一组特征向量 打开ComfyUI\models\clip， 在地址栏输入CMD回车，打开命令行 输入下面的命令，拉取模型（需要环境，也可以在网盘里下载） 下载好之后，目录的文件 image adapter.pt（适配器） 连接视觉模型和语言模型，优化数据转换。 工作流程： a. 接收来自视觉模型的特征向量 b. 转换和调整这些特征，使其适合语言模型处理 c. 一些特定任务的优化或微调（如图片到文字） 通过https://huggingface.co/spaces/fancyfeast/joy caption pre alpha/tree/main/wpkklhc6下载 放到models的Joy caption文件夹里 如果Joy caption文件夹不存在，就新建一个 Meta Llama 3.1 8B bnb 4bit（语言模型） 大型语言模型，负责生成文本描述。 工作流程： a. 接收经过适配器处理的特征 b. 基于这些特征生成相应的文本描述 c. 应用语言知识来确保描述的连贯性和准确性 打开ComfyUI\models\LLM，地址栏输入CMD回车 在命令行里面输入下面命令 下载后的完整目录文件 整体工作流程 1. 用户输入一张图片 2. 视觉模型提取图片的关键特征 3. 适配器将视觉特征转换为语言模型可以理解的形式 4. 语言模型基于这些特征生成文本描述 5. 系统输出最终的图像描述文本 工作流 工作流里面分别使用了JoyCaption、MiniCPM、ollama， 大家可以也可以只使用一个， 同时使用需要较高的显存。 相关问题 JoyCaption出来的提示词有截断 https://huggingface.co/spaces/fancyfeast/joy caption pre alpha/blob/main/app.py 打开发现它的prompt是 A descriptive caption for this image:\n 一定要加一个冒号和空格，就可以了，它的原理用了llama的续写功能，所以开头一般都有截断 相关链接 Comfyui CXH joy caption https://github.com/StartHua/Comfyui CXH joy caption image adapter.pt https://huggingface.co/spaces/fancyfeast/joy caption pre alpha/tree/main/wpkklhc6 google/siglip so400m patch14 384 https://huggingface.co/google/siglip so400m patch14 384/tree/main unsloth/Meta Llama 3.1 8B bnb 4bit https://huggingface.co/unsloth/Meta Llama 3.1 8B bnb 4bit/tree/main MiniCPM模型网盘 https://pan.quark.cn/s/23f9b57f3830 comfyui ollama https://github.com/stavsap/comfyui ollama?tab=readme ov file Ollama https://ollama.com/ 最近在炼丹时候，给图片打标，发现的这个joy caption。 实测下来，在图片的内容描述上确实出彩。 用来做提示词反推是个不错的选择。 视频教程 https://www.bilibili.com/video/BV1RXHGerESR/?vd source=ecb7194379e23ea8b1cb52e3bd5d97ef reply113048169810914 JoyCaption提示词反推太强了结合MiniCPM和ollama直接上墙的强还和Flux特别的搭ComfyUI里用起来 哔哩哔哩 bilibili 说明文档https://xiaobot.net/post/132da50c 44e0 4460 8f21 2d443443a4fb由于AI技术更新迭代，请以文档更新为准(更多内容收录在⬇️)https://xiaobot.net/p/GoToComfyUI网盘https://pan.quark.cn/s/3f90f096e561黑悟空lorahttps://www.liblib.art/model 网盘地址 https://pan.baidu.com/s/1OSgdEyz4w5farq9JKKYayg?pwd=cycy https://pan.baidu.com/s/1OSgdEyz4w5farq9JKKYayg?pwd=cycy 说明文档 https://xiaobot.net/post/132da50c 44e0 4460 8f21 2d443443a4fb 由于AI技术更新迭代，请以文档更新为准（更多内容收录在⬇️） https://xiaobot.net/p/GoToComfyUI 网盘 https://pan.quark.cn/s/3f90f096e561 黑悟空lora https://www.liblib.art/modelinfo/e9bf927e918b4ce4a0dbd09d2fe9f4b6?from=personal page 说明文档 https://xiaobot.net/post/132da50c 44e0 4460 8f21 2d443443a4fb 由于AI技术更新迭代，请以文档更新为准（更多内容收录在⬇️） https://xiaobot.net/p/GoToComfyUI 网盘 https://pan.quark.cn/s/3f90f096e561 黑悟空lora https://www.liblib.art/modelinfo/e9bf927e918b4ce4a0dbd09d2fe9f4b6?from=personal page 节点安装 先安装节点，在管理器的节点管理输入 安装后重启，找到节点目录中的install req.bat 点击运行