ComfyUI MiniCPM多模态模型加入工作流中的多种玩法

ComfyUI MiniCPM多模态模型加入工作流中的多种玩法 ComfyUI MiniCPM多模态模型加入工作流中的多种玩法 Modified December 14, 2024 输入部分 在 "MiniCPM VQA" 下方添加说明： • source video path: 输入视频文件路径 • source image path 1st/2nd/3rd: 输入图像文件路径（最多3个） 模型参数说明 为每个参数添加简短说明： 1. model: MiniCPM V2 6 int4 选择使用的模型版本 2. keep model loaded: false 使用后是否保持模型加载 3. top p: 0.8 控制采样概率阈值，影响输出多样性 4. top k: 100 限制每步选择的最可能token数量 5. temperature: 0.7 控制输出随机性，越低越确定 6. repetition penalty: 1.1 减少重复词语出现 7. max new tokens: 2048 限制生成的最大token数量 8. video max num frames: 64 处理视频时的最大帧数 9. video max slice nums: 2 视频处理中的切片数量 10. seed: 79 随机种子，用于结果重现 11. control after generate: fixed 随机种子生成后的控制方式 top k top p temperature 🏝️ top k 和 top p 的作用： top k：在每一步生成时，只考虑概率最高的 k 个词。这可以防止模型选择非常不可能的词，但可能会限制模型的创造性。 top p（核采样）：选择累积概率达到 p 的最小词集。这比 top k 更灵活，因为它允许模型在必要时考虑更多或更少的词。 这里对这两个参数做一下引申介绍： top k 的作用是这样的： 1. 在模型生成文本的每一步，它会为词汇表中的所有词计算出现的概率。 2. top k 参数告诉模型只考虑概率最高的 k 个词。 模型然后从这 k 个词中随机选择一个作为下一个词，选择的概率与这些词的原始概率成正比。 所以，top k 不是直接选择概率最高的那一个词，而是将选择范围缩小到前 k 个最可能的词，然后从这个较小的集合中进行选择。 这种方法的优点是： 它可以防止模型选择非常不可能（可能不合适或不相关）的词。 同时，它仍然保留了一定的随机性和多样性，因为它不总是选择最高概率的词。 例如，如果 top k = 5，模型会： 找出概率最高的 5 个词。 只考虑这 5 个词。 根据这 5 个词各自的概率，随机选择其中一个作为输出。 这样既保证了输出的质量（因为只考虑了最可能的词），又保留了一定的创造性和多样性（因为不总是选择最高概率的词）。 调整 top k 的值可以影响输出的多样性：较小的 k 值会使输出更加保守和可预测，而较大的 k 值会允许更多的变化和潜在的创造性。 top p 核采样的工作原理如下： 1. 首先，模型为词汇表中的所有词计算出现的概率。 2. 然后，这些词按概率从高到低排序。 3. top p 参数定义了一个概率阈值（通常是 0 到 1 之间的值）。 4. 模型会从最高概率的词开始累加概率，直到累加和达到或超过 top p 值。 5. 只有在这个累加过程中被包含的词才会被考虑作为下一个可能的词。 6. 最后，模型从这个被选中的词集合中随机选择一个词，选择的概率与这些词的原始概率成正比。 举个例子： 假设 top p = 0.9，词的概率分布如下： 词A：0.5 词B：0.3 词C：0.1 词D：0.05 词E：0.03 其他词：0.02 在这种情况下： 累加概率：0.5 (A) + 0.3 (B) + 0.1 (C) = 0.9 达到了 top p 阈值 0.9 因此，模型只会考虑词A、词B和词C 从这三个词中随机选择一个，选择概率与它们的原始概率成正比 top p 的优点是： 它比 top k 更灵活，因为考虑的词的数量可以根据概率分布动态变化。 在不同情况下，它可能考虑更多或更少的词，取决于概率分布的形状。 它可以在保持输出质量的同时，提供更多的多样性。 调整 top p 值： 较低的 top p 值（如 0.5）会使输出更加保守和可预测。 较高的 top p 值（如 0.9 或更高）会允许更多的变化和潜在的创造性。 总的来说，top p 不是简单地选择概率最高的词，而是创建一个动态的候选词集合，然后从中进行选择。这种方法在保持输出质量和允许一定创造性之间取得了很好的平衡。 这两种方法都属于所谓的"截断采样"技术，因为它们都在某种程度上截断了完整的概率分布，只考虑部分可能性最高的选项。 温度（Temperature） 是另一个在文本生成中常用的重要参数。这个术语来源于统计物理学，但在自然语言处理中有特殊的含义。 1. 定义： 在文本生成中，温度是用来控制输出随机性的一个参数。它通过缩放模型输出的 logits（未归一化的预测分数）来影响最终的概率分布。 工作原理： 温度值通常在 0 到正无穷之间，但实际使用中常常限制在 0.1 到 2.0 之间。 数学上，它是通过将 logits 除以温度值来实现的。 3. 效果： 低温度（如 0.1 到 0.5）：使概率分布更加"尖锐"。这意味着高概率的词会变得更高概率，低概率的词会变得更低概率。结果是输出变得更加确定和可预测。 中等温度（0.5 0.9）：输出会比低温更有变化性，但不如高温那么随机。它在保持一定连贯性的同时，允许一些创造性。这个范围常常被用于需要平衡准确性和创造性的任务。 高温度（如 1.0 以上）：使概率分布更加"平坦"。这意味着不同词之间的概率差异减小。结果是输出变得更加随机和多样化。 温度为 1.0：保持原始的概率分布不变。 4. 使用场景： 低温度适合需要准确、一致或保守输出的场景，如事实性问答。 高温度适合需要创造性或多样性的场景，如创意写作或头脑风暴。 5. 与 top k 和 top p 的关系： 温度通常与 top k 或 top p 一起使用。先应用温度调整，然后再进行 top k 或 top p 采样。 6. 比喻理解： 可以将温度想象成调节"创造力"的旋钮。低温度让模型更"谨慎"，高温度让模型更"大胆"。 在实际应用中，找到合适的温度值通常需要一些实验和调整，以平衡输出的质量和多样性。不同的任务可能需要不同的温度设置来获得最佳结果。 选择温度的建议： 对于需要准确、事实性回答的任务，可以使用较低的温度（0.1 0.5）。 对于一般的对话或需要一些创造性的任务，中等温度（0.5 0.9）通常效果不错。 对于需要高度创造性的任务，可以尝试 1.0 或更高的温度。 图片转提示词prompt 网盘地址 说明文档 由于AI技术更新迭代，请以文档更新为准 https://xiaobot.net/post/92919444 ecc1 4664 9aa4 b4df9999ccba 由于AI技术更新迭代，请以文档更新为准（更多内容收录在⬇️） https://xiaobot.net/p/GoToComfyUI 网盘 输入部分 在 "MiniCPM VQA" 下方添加说明： • source video path: 输入视频文件路径 • source image path 1st/2nd/3rd: 输入图像文件路径（最多3个） 模型参数说明 为每个参数添加简短说明： 1. model: MiniCPM V2 6 int4 选择使用的模型版本 2. keep model loaded: false 使用后是否保持模型加载 3. top p: 0.8 控制采样概率阈值，影响输出多样性 4. top k: 100 限制每步选择的最可能token数量 5. temperature: 0.7 控制输出随机性，越低越确定 6. repetition penalty: 1.1 减少重复词语出现 7. max new tokens: 2048 限制生成的最大token数量 8. video max num frames: 64 处理视频时的最大帧数 9. video max slice nums: 2 视频处理中的切片数量 10. seed: 79 随机种子，用于结果重现 11. control after generate: fixed 随机种子生成后的控制方式 top k top p temperature 🏝️ top k 和 top p 的作用： top k：在每一步生成时，只考虑概率最高的 k 个词。这可以防止模型选择非常不可能的词，但可能会限制模型的创造性。 top p（核采样）：选择累积概率达到 p 的最小词集。这比 top k 更灵活，因为它允许模型在必要时考虑更多或更少的词。 这里对这两个参数做一下引申介绍： top k 的作用是这样的： 1. 在模型生成文本的每一步，它会为词汇表中的所有词计算出现的概率。 2. top k 参数告诉模型只考虑概率最高的 k 个词。 模型然后从这 k 个词中随机选择一个作为下一个词，选择的概率与这些词的原始概率成正比。 所以，top k 不是直接选择概率最高的那一个词，而是将选择范围缩小到前 k 个最可能的词，然后从这个较小的集合中进行选择。 这种方法的优点是： 它可以防止模型选择非常不可能（可能不合适或不相关）的词。 同时，它仍然保留了一定的随机性和多样性，因为它不总是选择最高概率的词。 例如，如果 top k = 5，模型会： 找出概率最高的 5 个词。 只考虑这 5 个词。 根据这 5 个词各自的概率，随机选择其中一个作为输出。 这样既保证了输出的质量（因为只考虑了最可能的词），又保留了一定的创造性和多样性（因为不总是选择最高概率的词）。 调整 top k 的值可以影响输出的多样性：较小的 k 值会使输出更加保守和可预测，而较大的 k 值会允许更多的变化和潜在的创造性。 top p 核采样的工作原理如下： 1. 首先，模型为词汇表中的所有词计算出现的概率。 2. 然后，这些词按概率从高到低排序。 3. top p 参数定义了一个概率阈值（通常是 0 到 1 之间的值）。 4. 模型会从最高概率的词开始累加概率，直到累加和达到或超过 top p 值。 5. 只有在这个累加过程中被包含的词才会被考虑作为下一个可能的词。 6. 最后，模型从这个被选中的词集合中随机选择一个词，选择的概率与这些词的原始概率成正比。 举个例子： 假设 top p = 0.9，词的概率分布如下： 词A：0.5 词B：0.3 词C：0.1 词D：0.05 词E：0.03 其他词：0.02 在这种情况下： 累加概率：0.5 (A) + 0.3 (B) + 0.1 (C) = 0.9 达到了 top p 阈值 0.9 因此，模型只会考虑词A、词B和词C 从这三个词中随机选择一个，选择概率与它们的原始概率成正比 top p 的优点是： 它比 top k 更灵活，因为考虑的词的数量可以根据概率分布动态变化。 在不同情况下，它可能考虑更多或更少的词，取决于概率分布的形状。 它可以在保持输出质量的同时，提供更多的多样性。 调整 top p 值： 较低的 top p 值（如 0.5）会使输出更加保守和可预测。 较高的 top p 值（如 0.9 或更高）会允许更多的变化和潜在的创造性。 总的来说，top p 不是简单地选择概率最高的词，而是创建一个动态的候选词集合，然后从中进行选择。这种方法在保持输出质量和允许一定创造性之间取得了很好的平衡。 这两种方法都属于所谓的"截断采样"技术，因为它们都在某种程度上截断了完整的概率分布，只考虑部分可能性最高的选项。 温度（Temperature） 是另一个在文本生成中常用的重要参数。这个术语来源于统计物理学，但在自然语言处理中有特殊的含义。 1. 定义： 在文本生成中，温度是用来控制输出随机性的一个参数。它通过缩放模型输出的 logits（未归一化的预测分数）来影响最终的概率分布。 工作原理： 温度值通常在 0 到正无穷之间，但实际使用中常常限制在 0.1 到 2.0 之间。 数学上，它是通过将 logits 除以温度值来实现的。 3. 效果： 低温度（如 0.1 到 0.5）：使概率分布更加"尖锐"。这意味着高概率的词会变得更高概率，低概率的词会变得更低概率。结果是输出变得更加确定和可预测。 中等温度（0.5 0.9）：输出会比低温更有变化性，但不如高温那么随机。它在保持一定连贯性的同时，允许一些创造性。这个范围常常被用于需要平衡准确性和创造性的任务。 高温度（如 1.0 以上）：使概率分布更加"平坦"。这意味着不同词之间的概率差异减小。结果是输出变得更加随机和多样化。 温度为 1.0：保持原始的概率分布不变。 4. 使用场景： 低温度适合需要准确、一致或保守输出的场景，如事实性问答。 高温度适合需要创造性或多样性的场景，如创意写作或头脑风暴。 5. 与 top k 和 top p 的关系： 温度通常与 top k 或 top p 一起使用。先应用温度调整，然后再进行 top k 或 top p 采样。 6. 比喻理解： 可以将温度想象成调节"创造力"的旋钮。低温度让模型更"谨慎"，高温度让模型更"大胆"。 在实际应用中，找到合适的温度值通常需要一些实验和调整，以平衡输出的质量和多样性。不同的任务可能需要不同的温度设置来获得最佳结果。 选择温度的建议： 对于需要准确、事实性回答的任务，可以使用较低的温度（0.1 0.5）。 对于一般的对话或需要一些创造性的任务，中等温度（0.5 0.9）通常效果不错。 对于需要高度创造性的任务，可以尝试 1.0 或更高的温度。 top k 和 top p 的作用： top k：在每一步生成时，只考虑概率最高的 k 个词。这可以防止模型选择非常不可能的词，但可能会限制模型的创造性。 top p（核采样）：选择累积概率达到 p 的最小词集。这比 top k 更灵活，因为它允许模型在必要时考虑更多或更少的词。 这里对这两个参数做一下引申介绍： top k 的作用是这样的： 1. 在模型生成文本的每一步，它会为词汇表中的所有词计算出现的概率。 2. top k 参数告诉模型只考虑概率最高的 k 个词。 模型然后从这 k 个词中随机选择一个作为下一个词，选择的概率与这些词的原始概率成正比。 所以，top k 不是直接选择概率最高的那一个词，而是将选择范围缩小到前 k 个最可能的词，然后从这个较小的集合中进行选择。 这种方法的优点是： 它可以防止模型选择非常不可能（可能不合适或不相关）的词。 同时，它仍然保留了一定的随机性和多样性，因为它不总是选择最高概率的词。 例如，如果 top k = 5，模型会： 找出概率最高的 5 个词。 只考虑这 5 个词。 根据这 5 个词各自的概率，随机选择其中一个作为输出。 这样既保证了输出的质量（因为只考虑了最可能的词），又保留了一定的创造性和多样性（因为不总是选择最高概率的词）。 调整 top k 的值可以影响输出的多样性：较小的 k 值会使输出更加保守和可预测，而较大的 k 值会允许更多的变化和潜在的创造性。 top p 核采样的工作原理如下： 1. 首先，模型为词汇表中的所有词计算出现的概率。 2. 然后，这些词按概率从高到低排序。 3. top p 参数定义了一个概率阈值（通常是 0 到 1 之间的值）。 4. 模型会从最高概率的词开始累加概率，直到累加和达到或超过 top p 值。 5. 只有在这个累加过程中被包含的词才会被考虑作为下一个可能的词。 6. 最后，模型从这个被选中的词集合中随机选择一个词，选择的概率与这些词的原始概率成正比。 举个例子： 假设 top p = 0.9，词的概率分布如下： 词A：0.5 词B：0.3 词C：0.1 词D：0.05 词E：0.03 其他词：0.02 在这种情况下： 累加概率：0.5 (A) + 0.3 (B) + 0.1 (C) = 0.9 达到了 top p 阈值 0.9 因此，模型只会考虑词A、词B和词C 从这三个词中随机选择一个，选择概率与它们的原始概率成正比 top p 的优点是： 它比 top k 更灵活，因为考虑的词的数量可以根据概率分布动态变化。 在不同情况下，它可能考虑更多或更少的词，取决于概率分布的形状。 它可以在保持输出质量的同时，提供更多的多样性。 调整 top p 值： 较低的 top p 值（如 0.5）会使输出更加保守和可预测。 较高的 top p 值（如 0.9 或更高）会允许更多的变化和潜在的创造性。 总的来说，top p 不是简单地选择概率最高的词，而是创建一个动态的候选词集合，然后从中进行选择。这种方法在保持输出质量和允许一定创造性之间取得了很好的平衡。 这两种方法都属于所谓的"截断采样"技术，因为它们都在某种程度上截断了完整的概率分布，只考虑部分可能性最高的选项。 温度（Temperature） 是另一个在文本生成中常用的重要参数。这个术语来源于统计物理学，但在自然语言处理中有特殊的含义。 1. 定义： 在文本生成中，温度是用来控制输出随机性的一个参数。它通过缩放模型输出的 logits（未归一化的预测分数）来影响最终的概率分布。 工作原理： 温度值通常在 0 到正无穷之间，但实际使用中常常限制在 0.1 到 2.0 之间。 数学上，它是通过将 logits 除以温度值来实现的。 3. 效果： 低温度（如 0.1 到 0.5）：使概率分布更加"尖锐"。这意味着高概率的词会变得更高概率，低概率的词会变得更低概率。结果是输出变得更加确定和可预测。 中等温度（0.5 0.9）：输出会比低温更有变化性，但不如高温那么随机。它在保持一定连贯性的同时，允许一些创造性。这个范围常常被用于需要平衡准确性和创造性的任务。 高温度（如 1.0 以上）：使概率分布更加"平坦"。这意味着不同词之间的概率差异减小。结果是输出变得更加随机和多样化。 温度为 1.0：保持原始的概率分布不变。 4. 使用场景： 低温度适合需要准确、一致或保守输出的场景，如事实性问答。 高温度适合需要创造性或多样性的场景，如创意写作或头脑风暴。 5. 与 top k 和 top p 的关系： 温度通常与 top k 或 top p 一起使用。先应用温度调整，然后再进行 top k 或 top p 采样。 6. 比喻理解： 可以将温度想象成调节"创造力"的旋钮。低温度让模型更"谨慎"，高温度让模型更"大胆"。 在实际应用中，找到合适的温度值通常需要一些实验和调整，以平衡输出的质量和多样性。不同的任务可能需要不同的温度设置来获得最佳结果。 选择温度的建议： 对于需要准确、事实性回答的任务，可以使用较低的温度（0.1 0.5）。 对于一般的对话或需要一些创造性的任务，中等温度（0.5 0.9）通常效果不错。 对于需要高度创造性的任务，可以尝试 1.0 或更高的温度。 图片转提示词prompt 网盘地址 说明文档 由于AI技术更新迭代，请以文档更新为准 https://xiaobot.net/post/92919444 ecc1 4664 9aa4 b4df9999ccba 由于AI技术更新迭代，请以文档更新为准（更多内容收录在⬇️） https://xiaobot.net/p/GoToComfyUI 网盘 https://pan.quark.cn/s/23f9b57f3830 https://pan.baidu.com/s/1kgjutD6XpxkVuN yKU8qKg?pwd=cycy 相关资料 ComfyUI MiniCPM V 2 6 int4 节点 https://github.com/IuvenisSapiens/ComfyUI MiniCPM V 2 6 int4 openbmb/MiniCPM V 2 6 https://huggingface.co/openbmb/MiniCPM V 2 6 openbmb/MiniCPM V 2 6 int4 https://huggingface.co/openbmb/MiniCPM V 2 6 int4 https://github.com/OpenBMB/MiniCPM?tab=readme ov file 👋 你好！面壁小钢炮MiniCPM 👋 你好！面壁小钢炮MiniCPM MiniCPM V 2 6是一个由OpenBMB开发的多模态大语言模型，它能够处理文本和图像输入。int4版本是一个量化版本，旨在减少模型大小和提高推理速度，同时保持较高的性能。 节点ComfyUI MiniCPM V 2 6 int4 在管理器里，找到节点管理 搜索minicpm 如果节点安装不上， 可以在网盘里下载ComfyUI MiniCPM V 2 6 int4.zip， 解压到ComfyUI\custom nodes目录 安装好之后，记得重启，都关闭后再开启ComfyUI，因为这个节点需要加载一些配置。 MiniCPM V 2 6 int4模型 所有模型将在运行工作流时自动下载，如果它们未在ComfyUI\models\prompt generator\目录中找到。 如果不能下载，也可以通过网盘下载 节点参数说明