ControlNet作者张吕敏再出新项目LuminaBrush！

ControlNet作者张吕敏再出新项目LuminaBrush！ ControlNet作者张吕敏再出新项目LuminaBrush！ Modified December 25, 2024 第二阶段，会从数百万张高质量的自然场景图像中提取 均匀光照 外观图像，以构建成对数据集，用于训练最终的交互式光照绘制模型。 下面是实测的一个例子，首先用第一阶段模型提取均匀光照图像： 然后用第二阶段模型，以涂鸦的方式给图像主体上新的光照： 整体感觉，图像打光效果还可以，但是人物的ID变化得有点多。 第二阶段，会从数百万张高质量的自然场景图像中提取 均匀光照 外观图像，以构建成对数据集，用于训练最终的交互式光照绘制模型。 下面是实测的一个例子，首先用第一阶段模型提取均匀光照图像： 然后用第二阶段模型，以涂鸦的方式给图像主体上新的光照： 整体感觉，图像打光效果还可以，但是人物的ID变化得有点多。 🔗 原文链接： https://mp.weixin.qq.com/s/nfk2TVrR... https://mp.weixin.qq.com/s/nfk2TVrR... 原创 AI小将 AI小小将 2024年12月25日 ⇧ 点 蓝色 字关注 “AI小小将” 刚刚，ControlNet作者张吕敏又发布了一个的图像打光新项目 LuminaBrush ， LuminaBrush 是一个构建交互式工具的项目，用于在图像上绘制光照效果。该框架采用两阶段方法：首先将图像转换为 均匀光照 的外观；然后通过用户的涂鸦生成光照效果。 • 项目地址： https://github.com/lllyasviel/LuminaBrush • 在线demo： https://huggingface.co/spaces/lllyasviel/LuminaBrush LuminaBrush也是基于最新的开源SOTA文生图模型Flux构建，下面是一些图像打光的效果图： LuminaBrush和之前的IC Light的区别，你可以通过交互式地涂鸦来改变图像主体的光照，IC Light只是依靠文本描述或者背景图，而LuminaBrush可以通过区域涂鸦更精细地控制光照。 LuminaBrush 的架构图如下所示，它是一个两阶段算法。 • 第一阶段 • （左侧）：将图像转换为 均匀光照 的外观（例如，由均匀分布的白色环境光源照亮的场景）。 • 第二阶段 • （右侧）：为这些 均匀光照 的外观生成光照效果，并通过用户的涂鸦进行引导。 将光照绘制问题分解为两个阶段，使学习过程更加简单和直接——否则（例如，仅使用单阶段），可能需要考虑外部约束或规则（如光传输一致性等）来稳定模型的行为。 为了训练 LuminaBrush ，这里首先收集一组相对较小的、具有 均匀光照 外观的图像集，例如以下这些： 然后，基于这一数据集上在 Flux上训练LoRA ，并用LoRA生成的图像来扩展这个图像数据集。 使用这些 均匀光照 图像作为中间表示具有一些优势，比如避免来自 3D 反照率（albedo）的过于锐利的网格边界或过于平坦的表面。而这些图像在细节层面也足够细腻，可以处理皮肤纹理、头发、毛发等细节。 接下来，通过合成随机法线，将这些 均匀光照 图像进行随机再光照，以训练一个可以从任何输入图像中提取 均匀光照 外观的模型。第一阶段的这个模型目前也提供了在线demo： https://huggingface.co/spaces/lllyasviel/lumina brush uniform lit