ComfyUI Janus-Pro

ComfyUI Janus Pro ComfyUI Janus Pro Modified February 17, 2025 架构特点： • 基于DeepSeek LLM (1.5B/7B)开发 • 采用解耦的视觉编码路径，统一transformer架构 • 视觉理解使用SigLIP L编码器(384x384输入) • 图像生成使用16倍下采样的分词器 主要功能： • 多模态理解：可以理解图像内容 • 图像生成：能够生成图像 • 统一框架：单一模型同时支持理解和生成任务 优势： • 灵活性高：解耦设计提升了模型适应性 • 性能强：匹配或超越专用模型表现 • 架构简单：易于部署和使用 限制：目前主要在图像分辨率(384x384)和细节表现方面仍有提升空间。 Janus Pro的意义主要体现在三个方面： 1. 实用性：单个模型就能完成图像理解和生成任务，减少了部署多个模型的复杂性和成本 2. 性能突破：在多个基准测试中超越了专用模型，证明统一框架既简化又高效 3. 技术创新：提出解耦视觉编码的方法，解决了传统模型在处理不同任务时的冲突问题 这些进展为多模态AI的发展提供了新思路，让AI系统更高效、更实用。 方法一：通过 ComfyUI Manager 安装（推荐） 1. 安装 ComfyUI Manager 2. 在管理器中搜索 "Janus Pro" 3. 点击安装 方法二：手动安装 1. 将此仓库克隆到你的 ComfyUI 的 custom nodes 文件夹中： cd ComfyUI/custom nodes Code block JavaScript git clone https://github.com/CY CHENYUE/ComfyUI Janus Pro 2. 安装所需依赖： Windows系统： 如果你使用ComfyUI便携版cd ComfyUI Janus Pro Code block JavaScript ..\..\..\python embeded\python.exe m pip install r requirements.txt 如果你使用自己的Python环境cd ComfyUI Janus Pro Code block JavaScript path\to\your\python.exe m pip install r requirements.txt Linux/Mac系统： 使用ComfyUI的Python环境cd ComfyUI Janus Pro Code block JavaScript ../../python embeded/bin/python m pip install r requirements.txt 或者使用你的环境 cd ComfyUI Janus Pro Code block JavaScript python m pip install r requirements.txt 注意：如果你遇到安装问题： • 确保已安装 git • 尝试更新 pip：python m pip install upgrade pip • 如果你使用代理，确保 git 可以访问 GitHub • 确保使用的是与 ComfyUI 相同的 Python 环境 • 如果是使用启动器，遇到环境问题，可以在高级环境管理切换。 安装依赖 模型下载 将模型文件放在 ComfyUI/models/Janus Pro 文件夹中： 1. 在你的 ComfyUI 的 models 目录下创建 Janus Pro 文件夹 2. 从 Hugging Face 下载模型： ◦ Janus Pro 1B ◦ Janus Pro 7B 3. 将模型解压到各自的文件夹中： Code block Plain Text ComfyUI/models/Janus Pro/Janus Pro 1B/ ComfyUI/models/Janus Pro/Janus Pro 7B/ 论文 No access janus pro tech report.pdf 资料链接 百度网盘 通过网盘分享的文件：ComfyUI Janus Pro 链接: https://pan.baidu.com/s/1ximdjq9kpER8Fom15R92FA?pwd=cycy 提取码: cycy 来自百度网盘超级会员v5的分享 说明文档 https://www.xiaobot.net/post/7da136df fe83 4385 99b8 a0f8a3cdd7ec 由于AI技术更新迭代，请以文档更新为准 更多内容收录在⬇️ https://xiaobot.net/p/GoToComfyUI 网盘 https://pan.quark.cn/s/6b49d1ebf4ff 视频 https://www.bilibili.com/video/BV1seFJeHEKS/ 工作流 https://www.liblib.art/modelinfo/ad2045928d0d4e7e817d1f3fa4ff74c4 video https://youtu.be/y tuRJDgt8g Workflow https://openart.ai/workflows/cychenyue/deepseek janus pro in comfyui/hD8TFhNrciI2yVuQbG2H 相关链接 ComfyUI节点 https://github.com/CY CHENYUE/ComfyUI Janus Pro 官方文档模型地址 https://github.com/deepseek ai/Janus?tab=readme ov file https://huggingface.co/deepseek ai/Janus Pro 1B https://huggingface.co/deepseek ai/Janus Pro 7B 官方demo https://huggingface.co/spaces/deepseek ai/Janus Pro 7B ComfyUI Manager 架构特点： • 基于DeepSeek LLM (1.5B/7B)开发 • 采用解耦的视觉编码路径，统一transformer架构 • 视觉理解使用SigLIP L编码器(384x384输入) • 图像生成使用16倍下采样的分词器 主要功能： • 多模态理解：可以理解图像内容 • 图像生成：能够生成图像 • 统一框架：单一模型同时支持理解和生成任务 优势： • 灵活性高：解耦设计提升了模型适应性 • 性能强：匹配或超越专用模型表现 • 架构简单：易于部署和使用 限制：目前主要在图像分辨率(384x384)和细节表现方面仍有提升空间。 Janus Pro的意义主要体现在三个方面： 1. 实用性：单个模型就能完成图像理解和生成任务，减少了部署多个模型的复杂性和成本 2. 性能突破：在多个基准测试中超越了专用模型，证明统一框架既简化又高效 3. 技术创新：提出解耦视觉编码的方法，解决了传统模型在处理不同任务时的冲突问题 这些进展为多模态AI的发展提供了新思路，让AI系统更高效、更实用。 方法一：通过 ComfyUI Manager 安装（推荐） 1. 安装 ComfyUI Manager ComfyUI Manager 2. 在管理器中搜索 "Janus Pro" 3. 点击安装 方法二：手动安装 1. 将此仓库克隆到你的 ComfyUI 的 custom nodes 文件夹中： cd ComfyUI/custom nodes 2. 安装所需依赖： Windows系统： 如果你使用ComfyUI便携版cd ComfyUI Janus Pro 如果你使用自己的Python环境cd ComfyUI Janus Pro Linux/Mac系统： 使用ComfyUI的Python环境cd ComfyUI Janus Pro 或者使用你的环境 cd ComfyUI Janus Pro 注意：如果你遇到安装问题： • 确保已安装 git • 尝试更新 pip：python m pip install upgrade pip • 如果你使用代理，确保 git 可以访问 GitHub • 确保使用的是与 ComfyUI 相同的 Python 环境 • 如果是使用启动器，遇到环境问题，可以在高级环境管理切换。 安装依赖 模型下载 将模型文件放在 ComfyUI/models/Janus Pro 文件夹中： 1. 在你的 ComfyUI 的 models 目录下创建 Janus Pro 文件夹 2. 从 Hugging Face 下载模型： ◦ Janus Pro 1B ◦ Janus Pro 7B Janus Pro 1B Janus Pro 7B ◦ Janus Pro 1B Janus Pro 1B ◦ Janus Pro 7B Janus Pro 7B 3. 将模型解压到各自的文件夹中： 论文 No access janus pro tech report.pdf No access janus pro tech report.pdf 资料链接 百度网盘 通过网盘分享的文件：ComfyUI Janus Pro 链接: https://pan.baidu.com/s/1ximdjq9kpER8Fom15R92FA?pwd=cycy 提取码: cycy 来自百度网盘超级会员v5的分享 说明文档 https://www.xiaobot.net/post/7da136df fe83 4385 99b8 a0f8a3cdd7ec 由于AI技术更新迭代，请以文档更新为准 更多内容收录在⬇️ https://xiaobot.net/p/GoToComfyUI 网盘 https://pan.quark.cn/s/6b49d1ebf4ff 视频 https://www.bilibili.com/video/BV1seFJeHEKS/ 工作流 https://www.liblib.art/modelinfo/ad2045928d0d4e7e817d1f3fa4ff74c4 video https://youtu.be/y tuRJDgt8g Workflow https://openart.ai/workflows/cychenyue/deepseek janus pro in comfyui/hD8TFhNrciI2yVuQbG2H 相关链接 ComfyUI节点 https://github.com/CY CHENYUE/ComfyUI Janus Pro 官方文档模型地址 https://github.com/deepseek ai/Janus?tab=readme ov file https://huggingface.co/deepseek ai/Janus Pro 1B https://huggingface.co/deepseek ai/Janus Pro 7B 官方demo https://huggingface.co/spaces/deepseek ai/Janus Pro 7B Reddit上相关的讨论 https://www.reddit.com/r/comfyui/comments/1ibj9z0/januspro in comfyui/ 工作流 Janus Pro是一个统一的多模态理解和生成框架 核心特点