ComfyUI 图片提示词反推 提示词生成 MiniCPM节点与FLUX配合使用 再也不怕想不出提示词了

ComfyUI 图片提示词反推 提示词生成 MiniCPM节点与FLUX配合使用 再也不怕想不出提示词了 ComfyUI 图片提示词反推 提示词生成 MiniCPM节点与FLUX配合使用 再也不怕想不出提示词了 Modified December 14, 2024 模型 网盘 https://pan.quark.cn/s/00b3b6fcd6ca 下载后放入ComfyUI的models文件夹下MiniCPM文件夹中， 没有就新建一个。 top k top p temperature 🏝️ top k 和 top p 的作用： top k：在每一步生成时，只考虑概率最高的 k 个词。这可以防止模型选择非常不可能的词，但可能会限制模型的创造性。 top p（核采样）：选择累积概率达到 p 的最小词集。这比 top k 更灵活，因为它允许模型在必要时考虑更多或更少的词。 这里对这两个参数做一下引申介绍： top k 的作用是这样的： 1. 在模型生成文本的每一步，它会为词汇表中的所有词计算出现的概率。 2. top k 参数告诉模型只考虑概率最高的 k 个词。 模型然后从这 k 个词中随机选择一个作为下一个词，选择的概率与这些词的原始概率成正比。 所以，top k 不是直接选择概率最高的那一个词，而是将选择范围缩小到前 k 个最可能的词，然后从这个较小的集合中进行选择。 这种方法的优点是： 它可以防止模型选择非常不可能（可能不合适或不相关）的词。 同时，它仍然保留了一定的随机性和多样性，因为它不总是选择最高概率的词。 例如，如果 top k = 5，模型会： 找出概率最高的 5 个词。 只考虑这 5 个词。 根据这 5 个词各自的概率，随机选择其中一个作为输出。 这样既保证了输出的质量（因为只考虑了最可能的词），又保留了一定的创造性和多样性（因为不总是选择最高概率的词）。 调整 top k 的值可以影响输出的多样性：较小的 k 值会使输出更加保守和可预测，而较大的 k 值会允许更多的变化和潜在的创造性。 top p 核采样的工作原理如下： 1. 首先，模型为词汇表中的所有词计算出现的概率。 2. 然后，这些词按概率从高到低排序。 3. top p 参数定义了一个概率阈值（通常是 0 到 1 之间的值）。 4. 模型会从最高概率的词开始累加概率，直到累加和达到或超过 top p 值。 5. 只有在这个累加过程中被包含的词才会被考虑作为下一个可能的词。 6. 最后，模型从这个被选中的词集合中随机选择一个词，选择的概率与这些词的原始概率成正比。 举个例子： 假设 top p = 0.9，词的概率分布如下： 词A：0.5 词B：0.3 词C：0.1 词D：0.05 词E：0.03 其他词：0.02 在这种情况下： 累加概率：0.5 (A) + 0.3 (B) + 0.1 (C) = 0.9 达到了 top p 阈值 0.9 因此，模型只会考虑词A、词B和词C 从这三个词中随机选择一个，选择概率与它们的原始概率成正比 top p 的优点是： 它比 top k 更灵活，因为考虑的词的数量可以根据概率分布动态变化。 在不同情况下，它可能考虑更多或更少的词，取决于概率分布的形状。 它可以在保持输出质量的同时，提供更多的多样性。 调整 top p 值： 较低的 top p 值（如 0.5）会使输出更加保守和可预测。 较高的 top p 值（如 0.9 或更高）会允许更多的变化和潜在的创造性。 总的来说，top p 不是简单地选择概率最高的词，而是创建一个动态的候选词集合，然后从中进行选择。这种方法在保持输出质量和允许一定创造性之间取得了很好的平衡。 这两种方法都属于所谓的"截断采样"技术，因为它们都在某种程度上截断了完整的概率分布，只考虑部分可能性最高的选项。 温度（Temperature） 是另一个在文本生成中常用的重要参数。这个术语来源于统计物理学，但在自然语言处理中有特殊的含义。 1. 定义： 在文本生成中，温度是用来控制输出随机性的一个参数。它通过缩放模型输出的 logits（未归一化的预测分数）来影响最终的概率分布。 工作原理： 温度值通常在 0 到正无穷之间，但实际使用中常常限制在 0.1 到 2.0 之间。 数学上，它是通过将 logits 除以温度值来实现的。 3. 效果： 低温度（如 0.1 到 0.5）：使概率分布更加"尖锐"。这意味着高概率的词会变得更高概率，低概率的词会变得更低概率。结果是输出变得更加确定和可预测。 中等温度（0.5 0.9）：输出会比低温更有变化性，但不如高温那么随机。它在保持一定连贯性的同时，允许一些创造性。这个范围常常被用于需要平衡准确性和创造性的任务。 高温度（如 1.0 以上）：使概率分布更加"平坦"。这意味着不同词之间的概率差异减小。结果是输出变得更加随机和多样化。 温度为 1.0：保持原始的概率分布不变。 4. 使用场景： 低温度适合需要准确、一致或保守输出的场景，如事实性问答。 高温度适合需要创造性或多样性的场景，如创意写作或头脑风暴。 5. 与 top k 和 top p 的关系： 温度通常与 top k 或 top p 一起使用。先应用温度调整，然后再进行 top k 或 top p 采样。 6. 比喻理解： 可以将温度想象成调节"创造力"的旋钮。低温度让模型更"谨慎"，高温度让模型更"大胆"。 在实际应用中，找到合适的温度值通常需要一些实验和调整，以平衡输出的质量和多样性。不同的任务可能需要不同的温度设置来获得最佳结果。 选择温度的建议： 对于需要准确、事实性回答的任务，可以使用较低的温度（0.1 0.5）。 对于一般的对话或需要一些创造性的任务，中等温度（0.5 0.9）通常效果不错。 对于需要高度创造性的任务，可以尝试 1.0 或更高的温度。 资料链接 百度网盘 https://pan.baidu.com/s/13Mgb en7Ct8M FrLClyl1g?pwd=cycy 说明文档 https://xiaobot.net/post/a4f089b5 d74b 4182 947a 3932eb73b822 由于AI技术更新迭代，请以文档更新为准 更多内容收录在⬇️ https://xiaobot.net/p/GoToComfyUI 网盘 https://pan.quark.cn/s/00b3b6fcd6ca 工作流 https://www.liblib.art/modelinfo/ea4544034d174f5f8291a4ea692d1418?from=personal page ComfyUI MiniCPM Plus节点 https://github.com/CY CHENYUE/ComfyUI MiniCPM Plus 视频 https://www.bilibili.com/video/BV1Y5t4exEbL/?vd source=ecb7194379e23ea8b1cb52e3bd5d97ef workflow https://openart.ai/workflows/7Fasj1VVC8GyjTzLEzL0 https://www.shakker.ai/modelinfo/ea4544034d174f5f8291a4ea692d1418 video https://youtu.be/JJ8u8WnYidY 相关链接 ComfyUI MiniCPM Plus https://github.com/CY CHENYUE/ComfyUI MiniCPM Plus openbmb/MiniCPM3 4B https://huggingface.co/openbmb/MiniCPM3 4B/tree/main openbmb/MiniCPM V 2 6 https://huggingface.co/openbmb/MiniCPM V 2 6 openbmb/MiniCPM V 2 6 int4 https://huggingface.co/openbmb/MiniCPM V 2 6 int4 openbmb/MiniCPM3 4B GPTQ Int4 https://huggingface.co/openbmb/MiniCPM3 4B GPTQ Int4 模型 网盘 https://pan.quark.cn/s/00b3b6fcd6ca 下载后放入ComfyUI的models文件夹下MiniCPM文件夹中， 没有就新建一个。 top k top p temperature 🏝️ top k 和 top p 的作用： top k：在每一步生成时，只考虑概率最高的 k 个词。这可以防止模型选择非常不可能的词，但可能会限制模型的创造性。 top p（核采样）：选择累积概率达到 p 的最小词集。这比 top k 更灵活，因为它允许模型在必要时考虑更多或更少的词。 这里对这两个参数做一下引申介绍： top k 的作用是这样的： 1. 在模型生成文本的每一步，它会为词汇表中的所有词计算出现的概率。 2. top k 参数告诉模型只考虑概率最高的 k 个词。 模型然后从这 k 个词中随机选择一个作为下一个词，选择的概率与这些词的原始概率成正比。 所以，top k 不是直接选择概率最高的那一个词，而是将选择范围缩小到前 k 个最可能的词，然后从这个较小的集合中进行选择。 这种方法的优点是： 它可以防止模型选择非常不可能（可能不合适或不相关）的词。 同时，它仍然保留了一定的随机性和多样性，因为它不总是选择最高概率的词。 例如，如果 top k = 5，模型会： 找出概率最高的 5 个词。 只考虑这 5 个词。 根据这 5 个词各自的概率，随机选择其中一个作为输出。 这样既保证了输出的质量（因为只考虑了最可能的词），又保留了一定的创造性和多样性（因为不总是选择最高概率的词）。 调整 top k 的值可以影响输出的多样性：较小的 k 值会使输出更加保守和可预测，而较大的 k 值会允许更多的变化和潜在的创造性。 top p 核采样的工作原理如下： 1. 首先，模型为词汇表中的所有词计算出现的概率。 2. 然后，这些词按概率从高到低排序。 3. top p 参数定义了一个概率阈值（通常是 0 到 1 之间的值）。 4. 模型会从最高概率的词开始累加概率，直到累加和达到或超过 top p 值。 5. 只有在这个累加过程中被包含的词才会被考虑作为下一个可能的词。 6. 最后，模型从这个被选中的词集合中随机选择一个词，选择的概率与这些词的原始概率成正比。 举个例子： 假设 top p = 0.9，词的概率分布如下： 词A：0.5 词B：0.3 词C：0.1 词D：0.05 词E：0.03 其他词：0.02 在这种情况下： 累加概率：0.5 (A) + 0.3 (B) + 0.1 (C) = 0.9 达到了 top p 阈值 0.9 因此，模型只会考虑词A、词B和词C 从这三个词中随机选择一个，选择概率与它们的原始概率成正比 top p 的优点是： 它比 top k 更灵活，因为考虑的词的数量可以根据概率分布动态变化。 在不同情况下，它可能考虑更多或更少的词，取决于概率分布的形状。 它可以在保持输出质量的同时，提供更多的多样性。 调整 top p 值： 较低的 top p 值（如 0.5）会使输出更加保守和可预测。 较高的 top p 值（如 0.9 或更高）会允许更多的变化和潜在的创造性。 总的来说，top p 不是简单地选择概率最高的词，而是创建一个动态的候选词集合，然后从中进行选择。这种方法在保持输出质量和允许一定创造性之间取得了很好的平衡。 这两种方法都属于所谓的"截断采样"技术，因为它们都在某种程度上截断了完整的概率分布，只考虑部分可能性最高的选项。 温度（Temperature） 是另一个在文本生成中常用的重要参数。这个术语来源于统计物理学，但在自然语言处理中有特殊的含义。 1. 定义： 在文本生成中，温度是用来控制输出随机性的一个参数。它通过缩放模型输出的 logits（未归一化的预测分数）来影响最终的概率分布。 工作原理： 温度值通常在 0 到正无穷之间，但实际使用中常常限制在 0.1 到 2.0 之间。 数学上，它是通过将 logits 除以温度值来实现的。 3. 效果： 低温度（如 0.1 到 0.5）：使概率分布更加"尖锐"。这意味着高概率的词会变得更高概率，低概率的词会变得更低概率。结果是输出变得更加确定和可预测。 中等温度（0.5 0.9）：输出会比低温更有变化性，但不如高温那么随机。它在保持一定连贯性的同时，允许一些创造性。这个范围常常被用于需要平衡准确性和创造性的任务。 高温度（如 1.0 以上）：使概率分布更加"平坦"。这意味着不同词之间的概率差异减小。结果是输出变得更加随机和多样化。 温度为 1.0：保持原始的概率分布不变。 4. 使用场景： 低温度适合需要准确、一致或保守输出的场景，如事实性问答。 高温度适合需要创造性或多样性的场景，如创意写作或头脑风暴。 5. 与 top k 和 top p 的关系： 温度通常与 top k 或 top p 一起使用。先应用温度调整，然后再进行 top k 或 top p 采样。 6. 比喻理解： 可以将温度想象成调节"创造力"的旋钮。低温度让模型更"谨慎"，高温度让模型更"大胆"。 在实际应用中，找到合适的温度值通常需要一些实验和调整，以平衡输出的质量和多样性。不同的任务可能需要不同的温度设置来获得最佳结果。 选择温度的建议： 对于需要准确、事实性回答的任务，可以使用较低的温度（0.1 0.5）。 对于一般的对话或需要一些创造性的任务，中等温度（0.5 0.9）通常效果不错。 对于需要高度创造性的任务，可以尝试 1.0 或更高的温度。 top k 和 top p 的作用： top k：在每一步生成时，只考虑概率最高的 k 个词。这可以防止模型选择非常不可能的词，但可能会限制模型的创造性。 top p（核采样）：选择累积概率达到 p 的最小词集。这比 top k 更灵活，因为它允许模型在必要时考虑更多或更少的词。 这里对这两个参数做一下引申介绍： top k 的作用是这样的： 1. 在模型生成文本的每一步，它会为词汇表中的所有词计算出现的概率。 2. top k 参数告诉模型只考虑概率最高的 k 个词。 模型然后从这 k 个词中随机选择一个作为下一个词，选择的概率与这些词的原始概率成正比。 所以，top k 不是直接选择概率最高的那一个词，而是将选择范围缩小到前 k 个最可能的词，然后从这个较小的集合中进行选择。 这种方法的优点是： 它可以防止模型选择非常不可能（可能不合适或不相关）的词。 同时，它仍然保留了一定的随机性和多样性，因为它不总是选择最高概率的词。 例如，如果 top k = 5，模型会： 找出概率最高的 5 个词。 只考虑这 5 个词。 根据这 5 个词各自的概率，随机选择其中一个作为输出。 这样既保证了输出的质量（因为只考虑了最可能的词），又保留了一定的创造性和多样性（因为不总是选择最高概率的词）。 调整 top k 的值可以影响输出的多样性：较小的 k 值会使输出更加保守和可预测，而较大的 k 值会允许更多的变化和潜在的创造性。 top p 核采样的工作原理如下： 1. 首先，模型为词汇表中的所有词计算出现的概率。 2. 然后，这些词按概率从高到低排序。 3. top p 参数定义了一个概率阈值（通常是 0 到 1 之间的值）。 4. 模型会从最高概率的词开始累加概率，直到累加和达到或超过 top p 值。 5. 只有在这个累加过程中被包含的词才会被考虑作为下一个可能的词。 6. 最后，模型从这个被选中的词集合中随机选择一个词，选择的概率与这些词的原始概率成正比。 举个例子： 假设 top p = 0.9，词的概率分布如下： 词A：0.5 词B：0.3 词C：0.1 词D：0.05 词E：0.03 其他词：0.02 在这种情况下： 累加概率：0.5 (A) + 0.3 (B) + 0.1 (C) = 0.9 达到了 top p 阈值 0.9 因此，模型只会考虑词A、词B和词C 从这三个词中随机选择一个，选择概率与它们的原始概率成正比 top p 的优点是： 它比 top k 更灵活，因为考虑的词的数量可以根据概率分布动态变化。 在不同情况下，它可能考虑更多或更少的词，取决于概率分布的形状。 它可以在保持输出质量的同时，提供更多的多样性。 调整 top p 值： 较低的 top p 值（如 0.5）会使输出更加保守和可预测。 较高的 top p 值（如 0.9 或更高）会允许更多的变化和潜在的创造性。 总的来说，top p 不是简单地选择概率最高的词，而是创建一个动态的候选词集合，然后从中进行选择。这种方法在保持输出质量和允许一定创造性之间取得了很好的平衡。 这两种方法都属于所谓的"截断采样"技术，因为它们都在某种程度上截断了完整的概率分布，只考虑部分可能性最高的选项。 温度（Temperature） 是另一个在文本生成中常用的重要参数。这个术语来源于统计物理学，但在自然语言处理中有特殊的含义。 1. 定义： 在文本生成中，温度是用来控制输出随机性的一个参数。它通过缩放模型输出的 logits（未归一化的预测分数）来影响最终的概率分布。 工作原理： 温度值通常在 0 到正无穷之间，但实际使用中常常限制在 0.1 到 2.0 之间。 数学上，它是通过将 logits 除以温度值来实现的。 3. 效果： 低温度（如 0.1 到 0.5）：使概率分布更加"尖锐"。这意味着高概率的词会变得更高概率，低概率的词会变得更低概率。结果是输出变得更加确定和可预测。 中等温度（0.5 0.9）：输出会比低温更有变化性，但不如高温那么随机。它在保持一定连贯性的同时，允许一些创造性。这个范围常常被用于需要平衡准确性和创造性的任务。 高温度（如 1.0 以上）：使概率分布更加"平坦"。这意味着不同词之间的概率差异减小。结果是输出变得更加随机和多样化。 温度为 1.0：保持原始的概率分布不变。 4. 使用场景： 低温度适合需要准确、一致或保守输出的场景，如事实性问答。 高温度适合需要创造性或多样性的场景，如创意写作或头脑风暴。 5. 与 top k 和 top p 的关系： 温度通常与 top k 或 top p 一起使用。先应用温度调整，然后再进行 top k 或 top p 采样。 6. 比喻理解： 可以将温度想象成调节"创造力"的旋钮。低温度让模型更"谨慎"，高温度让模型更"大胆"。 在实际应用中，找到合适的温度值通常需要一些实验和调整，以平衡输出的质量和多样性。不同的任务可能需要不同的温度设置来获得最佳结果。 选择温度的建议： 对于需要准确、事实性回答的任务，可以使用较低的温度（0.1 0.5）。 对于一般的对话或需要一些创造性的任务，中等温度（0.5 0.9）通常效果不错。 对于需要高度创造性的任务，可以尝试 1.0 或更高的温度。 资料链接 百度网盘 https://pan.baidu.com/s/13Mgb en7Ct8M FrLClyl1g?pwd=cycy 说明文档 https://xiaobot.net/post/a4f089b5 d74b 4182 947a 3932eb73b822 由于AI技术更新迭代，请以文档更新为准 更多内容收录在⬇️ https://xiaobot.net/p/GoToComfyUI 网盘 https://pan.quark.cn/s/00b3b6fcd6ca 工作流 https://www.liblib.art/modelinfo/ea4544034d174f5f8291a4ea692d1418?from=personal page ComfyUI MiniCPM Plus节点 https://github.com/CY CHENYUE/ComfyUI MiniCPM Plus 视频 https://www.bilibili.com/video/BV1Y5t4exEbL/?vd source=ecb7194379e23ea8b1cb52e3bd5d97ef workflow https://openart.ai/workflows/7Fasj1VVC8GyjTzLEzL0 https://www.shakker.ai/modelinfo/ea4544034d174f5f8291a4ea692d1418 video https://youtu.be/JJ8u8WnYidY 相关链接 ComfyUI MiniCPM Plus https://github.com/CY CHENYUE/ComfyUI MiniCPM Plus openbmb/MiniCPM3 4B https://huggingface.co/openbmb/MiniCPM3 4B/tree/main openbmb/MiniCPM V 2 6 https://huggingface.co/openbmb/MiniCPM V 2 6 openbmb/MiniCPM V 2 6 int4 https://huggingface.co/openbmb/MiniCPM V 2 6 int4 openbmb/MiniCPM3 4B GPTQ Int4 https://huggingface.co/openbmb/MiniCPM3 4B GPTQ Int4 在ComfyUI里使用MiniCPM做图片提示词反推与文本提示词生成。 可以和flux模型配合生成图片。 建议使用量化版本的模型（int4结尾） 可以节省显存。 ComfyUI MiniCPM Plus 安装方法 1. 进入 ComfyUI 自定义节点目录: 1. 克隆此仓库: 1. 重启 ComfyUI。 图片提示词反推长文本描述+短标签 图片提示词反推用于Flux出图 提示词生成 生成提示词用于Flux出图