EP.3 - IP Adapter 对话阿文：一图定风格，我和 AI 的契约

EP.3 IP Adapter 对话阿文：一图定风格，我和 AI 的契约 EP.3 IP Adapter 对话阿文：一图定风格，我和 AI 的契约 Modified April 18, 2024 Karen 的剪纸风格转换视频截图，社区经典复刻案例 https://twitter.com/i/status/1760353191538172133 开发团队和训练成本 Jojo：那我想追问下，这个项目开发以及后续的更新，IPA 开发团队有多大呢？ 叶虎：前期也会和公司的合作者讨论，前期主要是设计方案和收集数据，这些可能会有其他人参与。但一旦开始训练，实际上是交给机器去做的。所以跑实验，一两个人就够了，但最终训练可能就我自己负责。 Jojo：牛！那你们有多少张卡？大概需要什么样的资源？ 叶虎：训练 IPA 并不特别耗资源，和 ControlNet 类似。我们当时用了 8 张 V100 卡训练 SD1.5 版本，大概一周时间就有初步结果。最终版本训练得更久一些。SDXL 版本大概也需要 A100 机器，也是一周左右。实验还需要很多机器去跑并行实验和选择参数。 阿文：我想问下，SDXL 效果不太好，是不是因为资源问题？ 叶虎：对，资源和效果都有影响，SDXL 确实比较难训练。另外我们的资源有限，所有模型都是先在 SD 1.5 上测试成功后，才会尝试在 XL 上进行。因为资源问题，我自己也没特别多在 SDXL 上投入精力。我们注意到，包括 ControlNet 在内，SDXL 版本的稳定性没有 SD 1.5 那么好。 阿文：我很好奇为什么 ControlNet 的作者没有发布 SDXL 版本。 叶虎：所有 Adapter 的训练结果有时候不稳定，可能是因为底层模型越来越强大，训练可控的 Adapter 难度越大。 AIGC 的组件化 vs. 端到端 Jojo：还有一个话题，就是随着 IPA 的使用范围越来越广，我发现社区目前的共识是，直接从文本到视频的转换其实能做的不多，这种组件式的、可控的工作流现在应用范围更广。我认为像 ControlNet 这样的东西会越来越受欢迎，IPA 也会水涨船高。不知道你们同不同意，或者觉得会有更多端到端的工具出现？ 叶虎：我来说说我的看法。作为一个 AI 工程师，我认为这种组件式的方案只是临时的解决方案。像 ControlNet 和 IPA 提高了模型的可控性，但本质上是因为原始的生成模型不够可控。未来的模型能力会更强，能够更好地理解和区分布局，甚至处理不同类型的输入。 我已经听说 2024 年可能会有一些令人惊艳的工作，它们能够将图像和文本同时作为输入，融合得很好，实现风格转换和场景一致性。未来的模型不仅生成能力更强，而且支持的输入类型更多。 Jojo：所以你更支持端到端的模型。 叶虎：对，但目前端到端的方案做得不是很好。因此，社区里会有复杂的工作流，将各种组件打包在一起。但从研究者角度，我们不太认可这种大杂烩的方法。就是感觉有些取巧。我认为 IPA 的影响力会逐渐减弱，因为会有新的东西出现。开源就是希望后人能改进和超越。虽然被超越时会有点小伤心，但这是必然趋势。 阿文：我觉得短期内 IPA 的使用会增加。像 Karen 的案例展示了 IPA 与 SDXL 结合的潜力。我之前也试过类似的连接方法，但他的工作流添加了一个步骤，利用 ControlNet 插件的一个功能，将视频分解成关键帧，对每个关键帧进行风格控制。我完全没想到还能这么用，发现 IPA 还有很大的潜力。 Jojo：所以有可能这种多模态输入和输出的模型，要达到既成本效益又好用，效果又好的状态，还需要时间。 叶虎：需要时间。关键是训练数据的质量决定了结果的质量。例如，风格转换最好的方式是有成对的数据，即相同风格但内容不同的图像。有了这样的数据，训练出来的模型能做到很好的风格迁移。多模态数据较少，是因为这类数据不易收集。所以，谁能收集到好的训练数据，谁就能做出好的模型。 Jojo：所以数据收集是一个大挑战，但这也意味着不会很快有人能轻易替代你们的工作，因为好的数据不易来。 过去一年 Diffusion 领域的重点 Jojo：好，接下来想跟大家讨论一下，过去一年你们觉得这个领域最大的事件是什么？你们自己在这个生态里面觉得最重要的问题是什么？ 叶虎：个人而言，作为一个算法工程师的角度来看，2023 年确实有很多重要的工作，如果要说真正里程碑式的影响，我会选 Dall E 3。它对图像生成领域，甚至视频生成领域都非常重要。 Jojo：有点出乎意料，为什么？ 叶虎：Dall E 3 之所以重要，是因为它通过对训练集图像大量重新标注，标注到一个变态的量级，大幅提高了图像生成与文本一致性的问题，这是 SD 的一个大痛点，包括 Midjourney 在内，其实他的 V4 版本虽然说图像质量非常好，但是我们发现其实他有也不是那么听话。这改变了研究的风向，从图像质量的提升转向了 Scaling，文本可控性的增强。这种思路也被 Sora 采用。 我觉得当它证明了文本可控性问题可以通过 Scaling 解决，加上图像质量的提高，生成模型基本就很完美了。未来可能是多模态输入的模型，甚至和大语言模型直接融合，这将是真正的大一统，很可能是把图像也变成 token 离散化后自回归架构生成，一个模型直接可以输入图像、输入文本，生成图像、生成文本。但我觉得这条路可能还挺长的，因为目前图像生成领域基本上是由扩散模型所主导的。 Jojo：对，有迁移成本。 叶虎：对，可能需要一些像 OpenAI 这样的创新型公司，他们能够承担起这个重担，引领一些新的变革。我真的认为 OpenAI，尽管有人说它变成了"CloseAI"，但实际上，AI 生成方向的大进步，无论是图像还是文本最终都是由 OpenAI 推动的。没有他们最初的 Dall E 和 GPT 系列工作，现在的 AI 生成技术可能不会这么发达。他们追求的不仅仅是学术成就，而是要将技术推向极致。 Jojo：那对于阿文，从使用者和创作者的角度来看，过去一年你认为这个领域最大的事件是什么？你最关心的问题是什么？ 阿文：实际上，当我第一次看到这个问题时，我还以为 ControlNet 是好几年前的事了。我会说 ControlNet 对我影响最大，它是第一次让我觉得扩散模型可以这样来控制，对于平面设计师来说非常友好。以前，我们使用 Stable Diffusion 或更早的 Disco Diffusion 生成图片，但需要额外的步骤来整合和编辑。ControlNet 的出现大大简化了这个过程，再加上它在视频生成上的表现，我觉得它的潜力巨大。ControlNet 加上 SVD 激发了我学习 AI 视频的兴趣，加之社区中像海辛这样有经验的人的帮助，我学到了很多。 叶虎：啊，我忘了 ControlNet 是在 23 年发布的（笑）。 对未来 6 12 个月的期待 Jojo：未来的 6 到 12 个月内，你们最期待看到什么？ 叶虎：我第一个想到的可能还是希望能看到开源版的 Sora。因为我是算法工程师，我对直接能接触到的模型更感兴趣。 Jojo：所以，你更感兴趣于能拆开研究的东西？ 叶虎：对，我对 Sora 的结果确实很震撼。尽管社区里，像阿文提到的使用 Diffusion 加上 ControlNet 做一些炫酷的视频，虽然工作流复杂，效果也不错。但 Sora 提供了端到端直接生成顺滑视频的能力，这让我很期待。我觉得 Sora 的技术基本上已经公开了。按我的预测，六个月内可能会有类似效果的复现版本出现，最迟一年。 我之所以这么判断，是因为我把 Sora 看作是一个工程问题。从工程角度来看，只要证明了某事是可行的，后续步骤相对容易一些，这在技术上是一种暴力求解的问题。 阿文：6 到 12 个月内，我本来也想说希望看到开源的 Sora（笑），除此之外我想看到基于 SD 3.0 的生态系统，SD 1.5 的生态尽管还有潜力未开发，但我们需要向前看，当前社区的组件继续向 SDXL 的过渡似乎有点困难，所以是否可以直接跳到 3.0？我们创作者的需求很简单，就是需要更好用的工具。 Jojo：我认为比较乐观的一点是，很多组件我们已经知道是谁在开发，中国团队的开源精神其实很强。在大家对基础模型有足够信心的情况下，会有更多力量帮助推动向这个方向发展。 开源社区的后续发展 Jojo：不过，话说回来，你们觉得 SD/Stability AI 团队的变动对社区有影响吗？尤其当你知道这个系列可能已经结束时，这会影响积极性吗？我目前个人认为，直到 SD 3 发布为止，整个生态还是会在 SD 基础模型上发展的。因为目前其他的基础模型，尤其是就社区的上下游组件的完善度来说，可以和它相比。 社区常见的工作流分享 叶虎：我觉得大家确实还是会期待 SD 3，因为 SD 3 带来的提升会更上一个台阶。现有我们看到的其他系列模型，我觉得还是在 SDXL 的能力范围之内，走的没那么远。不过 SD 3 的挑战在于，社区真的能有效利用它吗？8B 模型对于资源和难度可能还行，但商用 license 也会渐渐成为大问题。 Jojo：你们会继续适配吗？ 叶虎：我们可能会适配 SD 3，但考虑到它不能商用，我们公司内部可能不会基于它进行开发。 Jojo：所以，大家的意愿还在，但取决于资源消耗和商用许可。在大公司里面，违反协议的风险和资源消耗会影响投入。 叶虎：对，大公司一定不会违反协议。所以可能会选择自研，但自研的模型达不到 SD 或其他顶级模型的效果，很难形成闭环的生态。 Jojo：了解，我们也在关心，如果 SD 不能继续领头，会不会有其他公司，无论是中国的还是其他国家的，能承担起这个角色。 叶虎：这是个矛盾的话题。开源对于企业来说最大的问题是如何盈利。SD 几乎把所有核心部分开源了。对于互联网和 AI 发展来说，开源是必要的，但这对大公司而言是个巨大问题。如果 SD 3 不开源，人们真的愿意为它付费吗？社区里可能愿意为类似 Midjourney 的服务付费，但对于 SD 3，不一定。 Jojo：这是个有趣的实验。社区可能会捐款，但这不符合传统的商业逻辑。我曾建议 Stability AI 采取投资路线，支持下游公司，而不是直接通过开源模型赚钱。但他们最后没有走这个路线。 叶虎：在国内，通过 license 销售模型很难成功，尽管国外可能稍微容易一些。 希望听到社区什么样的交流 Karen 的剪纸风格转换视频截图，社区经典复刻案例 https://twitter.com/i/status/1760353191538172133 开发团队和训练成本 Jojo：那我想追问下，这个项目开发以及后续的更新，IPA 开发团队有多大呢？ 叶虎：前期也会和公司的合作者讨论，前期主要是设计方案和收集数据，这些可能会有其他人参与。但一旦开始训练，实际上是交给机器去做的。所以跑实验，一两个人就够了，但最终训练可能就我自己负责。 Jojo：牛！那你们有多少张卡？大概需要什么样的资源？ 叶虎：训练 IPA 并不特别耗资源，和 ControlNet 类似。我们当时用了 8 张 V100 卡训练 SD1.5 版本，大概一周时间就有初步结果。最终版本训练得更久一些。SDXL 版本大概也需要 A100 机器，也是一周左右。实验还需要很多机器去跑并行实验和选择参数。 阿文：我想问下，SDXL 效果不太好，是不是因为资源问题？ 叶虎：对，资源和效果都有影响，SDXL 确实比较难训练。另外我们的资源有限，所有模型都是先在 SD 1.5 上测试成功后，才会尝试在 XL 上进行。因为资源问题，我自己也没特别多在 SDXL 上投入精力。我们注意到，包括 ControlNet 在内，SDXL 版本的稳定性没有 SD 1.5 那么好。 阿文：我很好奇为什么 ControlNet 的作者没有发布 SDXL 版本。 叶虎：所有 Adapter 的训练结果有时候不稳定，可能是因为底层模型越来越强大，训练可控的 Adapter 难度越大。 AIGC 的组件化 vs. 端到端 Jojo：还有一个话题，就是随着 IPA 的使用范围越来越广，我发现社区目前的共识是，直接从文本到视频的转换其实能做的不多，这种组件式的、可控的工作流现在应用范围更广。我认为像 ControlNet 这样的东西会越来越受欢迎，IPA 也会水涨船高。不知道你们同不同意，或者觉得会有更多端到端的工具出现？ 叶虎：我来说说我的看法。作为一个 AI 工程师，我认为这种组件式的方案只是临时的解决方案。像 ControlNet 和 IPA 提高了模型的可控性，但本质上是因为原始的生成模型不够可控。未来的模型能力会更强，能够更好地理解和区分布局，甚至处理不同类型的输入。 我已经听说 2024 年可能会有一些令人惊艳的工作，它们能够将图像和文本同时作为输入，融合得很好，实现风格转换和场景一致性。未来的模型不仅生成能力更强，而且支持的输入类型更多。 Jojo：所以你更支持端到端的模型。 叶虎：对，但目前端到端的方案做得不是很好。因此，社区里会有复杂的工作流，将各种组件打包在一起。但从研究者角度，我们不太认可这种大杂烩的方法。就是感觉有些取巧。我认为 IPA 的影响力会逐渐减弱，因为会有新的东西出现。开源就是希望后人能改进和超越。虽然被超越时会有点小伤心，但这是必然趋势。 阿文：我觉得短期内 IPA 的使用会增加。像 Karen 的案例展示了 IPA 与 SDXL 结合的潜力。我之前也试过类似的连接方法，但他的工作流添加了一个步骤，利用 ControlNet 插件的一个功能，将视频分解成关键帧，对每个关键帧进行风格控制。我完全没想到还能这么用，发现 IPA 还有很大的潜力。 Jojo：所以有可能这种多模态输入和输出的模型，要达到既成本效益又好用，效果又好的状态，还需要时间。 叶虎：需要时间。关键是训练数据的质量决定了结果的质量。例如，风格转换最好的方式是有成对的数据，即相同风格但内容不同的图像。有了这样的数据，训练出来的模型能做到很好的风格迁移。多模态数据较少，是因为这类数据不易收集。所以，谁能收集到好的训练数据，谁就能做出好的模型。 Jojo：所以数据收集是一个大挑战，但这也意味着不会很快有人能轻易替代你们的工作，因为好的数据不易来。 过去一年 Diffusion 领域的重点 Jojo：好，接下来想跟大家讨论一下，过去一年你们觉得这个领域最大的事件是什么？你们自己在这个生态里面觉得最重要的问题是什么？ 叶虎：个人而言，作为一个算法工程师的角度来看，2023 年确实有很多重要的工作，如果要说真正里程碑式的影响，我会选 Dall E 3。它对图像生成领域，甚至视频生成领域都非常重要。 Jojo：有点出乎意料，为什么？ 叶虎：Dall E 3 之所以重要，是因为它通过对训练集图像大量重新标注，标注到一个变态的量级，大幅提高了图像生成与文本一致性的问题，这是 SD 的一个大痛点，包括 Midjourney 在内，其实他的 V4 版本虽然说图像质量非常好，但是我们发现其实他有也不是那么听话。这改变了研究的风向，从图像质量的提升转向了 Scaling，文本可控性的增强。这种思路也被 Sora 采用。 我觉得当它证明了文本可控性问题可以通过 Scaling 解决，加上图像质量的提高，生成模型基本就很完美了。未来可能是多模态输入的模型，甚至和大语言模型直接融合，这将是真正的大一统，很可能是把图像也变成 token 离散化后自回归架构生成，一个模型直接可以输入图像、输入文本，生成图像、生成文本。但我觉得这条路可能还挺长的，因为目前图像生成领域基本上是由扩散模型所主导的。 Jojo：对，有迁移成本。 叶虎：对，可能需要一些像 OpenAI 这样的创新型公司，他们能够承担起这个重担，引领一些新的变革。我真的认为 OpenAI，尽管有人说它变成了"CloseAI"，但实际上，AI 生成方向的大进步，无论是图像还是文本最终都是由 OpenAI 推动的。没有他们最初的 Dall E 和 GPT 系列工作，现在的 AI 生成技术可能不会这么发达。他们追求的不仅仅是学术成就，而是要将技术推向极致。 Jojo：那对于阿文，从使用者和创作者的角度来看，过去一年你认为这个领域最大的事件是什么？你最关心的问题是什么？ 阿文：实际上，当我第一次看到这个问题时，我还以为 ControlNet 是好几年前的事了。我会说 ControlNet 对我影响最大，它是第一次让我觉得扩散模型可以这样来控制，对于平面设计师来说非常友好。以前，我们使用 Stable Diffusion 或更早的 Disco Diffusion 生成图片，但需要额外的步骤来整合和编辑。ControlNet 的出现大大简化了这个过程，再加上它在视频生成上的表现，我觉得它的潜力巨大。ControlNet 加上 SVD 激发了我学习 AI 视频的兴趣，加之社区中像海辛这样有经验的人的帮助，我学到了很多。 叶虎：啊，我忘了 ControlNet 是在 23 年发布的（笑）。 对未来 6 12 个月的期待 Jojo：未来的 6 到 12 个月内，你们最期待看到什么？ 叶虎：我第一个想到的可能还是希望能看到开源版的 Sora。因为我是算法工程师，我对直接能接触到的模型更感兴趣。 Jojo：所以，你更感兴趣于能拆开研究的东西？ 叶虎：对，我对 Sora 的结果确实很震撼。尽管社区里，像阿文提到的使用 Diffusion 加上 ControlNet 做一些炫酷的视频，虽然工作流复杂，效果也不错。但 Sora 提供了端到端直接生成顺滑视频的能力，这让我很期待。我觉得 Sora 的技术基本上已经公开了。按我的预测，六个月内可能会有类似效果的复现版本出现，最迟一年。 我之所以这么判断，是因为我把 Sora 看作是一个工程问题。从工程角度来看，只要证明了某事是可行的，后续步骤相对容易一些，这在技术上是一种暴力求解的问题。 阿文：6 到 12 个月内，我本来也想说希望看到开源的 Sora（笑），除此之外我想看到基于 SD 3.0 的生态系统，SD 1.5 的生态尽管还有潜力未开发，但我们需要向前看，当前社区的组件继续向 SDXL 的过渡似乎有点困难，所以是否可以直接跳到 3.0？我们创作者的需求很简单，就是需要更好用的工具。 Jojo：我认为比较乐观的一点是，很多组件我们已经知道是谁在开发，中国团队的开源精神其实很强。在大家对基础模型有足够信心的情况下，会有更多力量帮助推动向这个方向发展。 开源社区的后续发展 Jojo：不过，话说回来，你们觉得 SD/Stability AI 团队的变动对社区有影响吗？尤其当你知道这个系列可能已经结束时，这会影响积极性吗？我目前个人认为，直到 SD 3 发布为止，整个生态还是会在 SD 基础模型上发展的。因为目前其他的基础模型，尤其是就社区的上下游组件的完善度来说，可以和它相比。 社区常见的工作流分享 叶虎：我觉得大家确实还是会期待 SD 3，因为 SD 3 带来的提升会更上一个台阶。现有我们看到的其他系列模型，我觉得还是在 SDXL 的能力范围之内，走的没那么远。不过 SD 3 的挑战在于，社区真的能有效利用它吗？8B 模型对于资源和难度可能还行，但商用 license 也会渐渐成为大问题。 Jojo：你们会继续适配吗？ 叶虎：我们可能会适配 SD 3，但考虑到它不能商用，我们公司内部可能不会基于它进行开发。 Jojo：所以，大家的意愿还在，但取决于资源消耗和商用许可。在大公司里面，违反协议的风险和资源消耗会影响投入。 叶虎：对，大公司一定不会违反协议。所以可能会选择自研，但自研的模型达不到 SD 或其他顶级模型的效果，很难形成闭环的生态。 Jojo：了解，我们也在关心，如果 SD 不能继续领头，会不会有其他公司，无论是中国的还是其他国家的，能承担起这个角色。 叶虎：这是个矛盾的话题。开源对于企业来说最大的问题是如何盈利。SD 几乎把所有核心部分开源了。对于互联网和 AI 发展来说，开源是必要的，但这对大公司而言是个巨大问题。如果 SD 3 不开源，人们真的愿意为它付费吗？社区里可能愿意为类似 Midjourney 的服务付费，但对于 SD 3，不一定。 Jojo：这是个有趣的实验。社区可能会捐款，但这不符合传统的商业逻辑。我曾建议 Stability AI 采取投资路线，支持下游公司，而不是直接通过开源模型赚钱。但他们最后没有走这个路线。 叶虎：在国内，通过 license 销售模型很难成功，尽管国外可能稍微容易一些。 希望听到社区什么样的交流 以下是调整后的逐字稿，旨在使内容语义通顺且保留原意 以下是调整后的逐字稿，旨在使内容语义通顺且保留原意 Jojo：最后一个问题，关于我们这种播客节目，你们有没有想推荐的嘉宾人选？或者你们想听到的某些话题？ 叶虎：我最期待的嘉宾肯定是 ControlNet 的作者。这个人的能力非常强，不仅学术研究做得好，而且他还开发了很多工程化项目，比如 fooocus。我想听听他对图像 AIGC 领域的看法，包括他可能设想的一些场景，我认为这很重要。 算法工程师的视角有其局限性。我们算法工程师可能不一定能展现得那么好，差距在于社区里那些既懂 AI 又有审美、懂艺术的人。邀请社区里做得非常好的一些人来讲述他们有意思的事情，可能会吸引更多受众。即使我是 IPA 的作者，我可能使用起来也不如阿文那么好。大家听我讲可能更多的只是从技术上的一些东西，但实际使用上的东西无法给大家太多的见解。 Jojo：不用担心，我们的听众中有很多是美术背景，他们不懂技术，但希望了解技术人员的意见，技术发展的方向和哪些工作流即将被突破，是他们非常关心的。对于现有的新产品，他们想知道什么工具很快会被颠覆，什么是量变到质变的变化，进而理解现在应该学习哪些技能。而且源头的开发者的观点，对他们来说是比较有说服力的。 叶虎：我理解了。而且有时候学术界的不良风气，有些项目是假开源，或者 demo 图非常惊艳，但实际上可能达不到相同的效果，让人怀疑模型是否有问题，会让创作者不知道如何辨别。 阿文：实际上，像我们这样的设计师是最不焦虑的，因为我们总是跟随技术的最新发展。但在这个过程中，确实有时候会对某些模型或技术感到失望。我们期待的是灵活性和兼容性。我对 ControlNet 的作者也很好奇，想知道他是怎样的人，就像粉丝对偶像的憧憬一样。此外，我也对写插件的开发者群体感兴趣，想了解他们为何如此热衷于追踪新技术。 相关链接 • IP Adapter https://github.com/tencent ailab/IP Adapter • Simon 阿文 https://weibo.com/n/Simon 阿文 https://weibo.com/n/Simon 阿文 • Disco Diffusion https://github.com/alembics/disco diffusion • MidJourney Image Prompts https://docs.midjourney.com/docs/image prompts • IP Adapter ComfyUI 插件和新节点的知名开发者 Matteo Spinellie（cubiq） https://github.com/cubiq • 创作者 Karen 用 IP Adapter 制作的折纸动画 https://twitter.com/karenxcheng/status/1760353191538172133 • 社区大神 Inner Reflections https://twitter.com/InnerRefle11312 • 阿文和海辛的春晚视频案例 https://mp.weixin.qq.com/s/uU3W8wA0AtoazJTgxmcNmg • X 上最新的 IP Adapter 案例 https://twitter.com/search?q=IPadapter 栏目介绍 & 联系方式：Diffuseum 播客 生成式模型研究 Diffuseum 播客 生成式模型研究 公众号链接：https://mp.weixin.qq.com/s/2mW69M8p8aorRuPDeYwS6Q 小宇宙播客链接：https://www.xiaoyuzhoufm.com/episodes/661f67fe5dae7932c609a0da 这是一期录完就打脸的播客？！ IP Adatper 是一份送给 AI 造梦者的礼物——一张参考图让 AI 听懂”我想要的风格“。 IP Adapter 也是开源社区带着爱的礼物——全球贡献者太活跃，连作者想沉寂都被打脸，总被社区的更新折服。刚在播客里讨论完开源组件不明朗的未来，我们就在这个月迎来了又一次意料之外的社区更新。 IP Adapter 真的是一个人肝出来的吗？它为什么是艺术家阿文的心头好，甚至带它上了春晚？本期继续延续技术 + 创作的双视角对话，讲述了这个开源走向全世界的故事。 本期人物 叶虎 IP Adapter 作者，腾讯 AI 算法工程师 阿文 AbleSlide 创始人、PPT 设计师， AIGC/Blender 知名 KOL 宙宙 Jo 美元基金 AI 投资，热爱开源和视觉生成， Diffuseum 社区及播客主理人 访谈内容的分论点总结如下: 1. 个人背景与研究兴趣： ◦ 叶虎：拥有计算机视觉背景的算法工程师，对 diffusion 模型在图像生成领域的潜力充满兴趣。 ◦ 阿文：专注于设计领域的 PPT 设计师，对将 diffusion 模型应用于设计工作充满热情。 2. IP Adapter 的作用与意义： ◦ IPA 是一个工具，能够复刻图像的风格和语义，为设计师提供风格一致性的解决方案。 ◦ IPA 的开发经历了从基础功能实现到完全兼容其他模型的多个阶段。 3. 开源社区的贡献与互动： ◦ 开源社区对 IPA 的成功起到了关键作用，社区成员的贡献促进了技术的广泛应用。 ◦ 社区中的教程和案例分享对于非技术背景用户的学习和应用至关重要。 4. 技术发展的趋势与挑战： ◦ 叶虎认为，尽管组件化工具目前受欢迎，未来将出现更强大的端到端模型。 ◦ 阿文期待看到更多基于新模型的工具和应用，以及它们在设计领域的潜力。 5. 对未来的期待与展望： ◦ 两位嘉宾都对未来的技术发展表示期待，尤其是对开源模型的进一步发展和社区的创新。 ◦ 叶虎特别关注 Sora 模型的开源版本，而阿文则希望看到基于 SD 3.0 的生态系统的发展。 6. 开源与商业的平衡： ◦ 访谈中讨论了开源社区在面对商业化压力时的挑战，以及如何维持开源精神的同时实现可持续发展。 ◦ 叶虎和阿文都认为，社区的开源精神对于推动技术进步至关重要，但也面临着资源消耗和商用许可的挑战。 7. 社区交流的重要性： ◦ 两位嘉宾强调了社区交流的价值，期待听到更多实践者的经验分享和对未来技术趋势的见解。 ◦ 叶虎希望听到 ControlNet 作者的观点，阿文则对开发者群体追踪新技术的热情表示好奇。 访谈内容的分论点总结如下: 1. 个人背景与研究兴趣： ◦ 叶虎：拥有计算机视觉背景的算法工程师，对 diffusion 模型在图像生成领域的潜力充满兴趣。 ◦ 阿文：专注于设计领域的 PPT 设计师，对将 diffusion 模型应用于设计工作充满热情。 ◦ 叶虎：拥有计算机视觉背景的算法工程师，对 diffusion 模型在图像生成领域的潜力充满兴趣。 ◦ 阿文：专注于设计领域的 PPT 设计师，对将 diffusion 模型应用于设计工作充满热情。 2. IP Adapter 的作用与意义： ◦ IPA 是一个工具，能够复刻图像的风格和语义，为设计师提供风格一致性的解决方案。 ◦ IPA 的开发经历了从基础功能实现到完全兼容其他模型的多个阶段。 ◦ IPA 是一个工具，能够复刻图像的风格和语义，为设计师提供风格一致性的解决方案。 ◦ IPA 的开发经历了从基础功能实现到完全兼容其他模型的多个阶段。 3. 开源社区的贡献与互动： ◦ 开源社区对 IPA 的成功起到了关键作用，社区成员的贡献促进了技术的广泛应用。 ◦ 社区中的教程和案例分享对于非技术背景用户的学习和应用至关重要。 ◦ 开源社区对 IPA 的成功起到了关键作用，社区成员的贡献促进了技术的广泛应用。 ◦ 社区中的教程和案例分享对于非技术背景用户的学习和应用至关重要。 4. 技术发展的趋势与挑战： ◦ 叶虎认为，尽管组件化工具目前受欢迎，未来将出现更强大的端到端模型。 ◦ 阿文期待看到更多基于新模型的工具和应用，以及它们在设计领域的潜力。 ◦ 叶虎认为，尽管组件化工具目前受欢迎，未来将出现更强大的端到端模型。 ◦ 阿文期待看到更多基于新模型的工具和应用，以及它们在设计领域的潜力。