当前位置:AIGC资讯 > AIGC > 正文

无需抠图!AI绘画直接文本生成透明底图层,设计师必看的ComfyUI透明图层生成工作流教程!(附插件模型)

大家好,我是画画的小强

AI 绘画自出现以来一直都在不断发展完善,实现了很多我们在实际应用中迫切需要的功能,比如生成正确的手指、指定的姿势、准确的文本内容等。上周,又一个重磅新功能在开源的 SD 生态内实现了——直接通过文本直接生成透明底图像和图层!这将为 AI 绘画和设计领域带来了新的可能性,使图像形式更多样,也能给设计师带来更多便利。

今天我们就一起来了解实现这一新功能的技术 LayerDiffusion,以及如何在 ComfyUI 中利用 LayerDiffusion 生成透明底图片。

一、 LayerDiffusion 简介

LayerDiffusion 是由 @ lllyasviel (没错就是那个开发出 Controlnet、Fooocus 和 SD WebUI Forge 的大神)最新推出的一种透明图像生成技术,它的核心所在是“潜在透明度”,即将 Alpha 通道整合到预训练模型的潜在结构中,使模型能够生成带有透明度的图。

官方给出的演示案例效果非常好,不仅可以生成一般物体,而且对于玻璃、发光这种透明/半透明的对象,以及头发丝这种精细的内容,生成的效果依旧完美。本文章封面图的卷发女生就是我直接用 LayerDiffusion 生成的,极大提升了出图效率,而且真正做到了“毫无抠图痕迹”,再也不用担心有白边了。

除了直接生成透明底图像,LayerDiffusion 还支持生成分层图像。包括根据一个透明底图像生成完美融合的背景,并将该背景提取为完整独立的图层;以及根据背景图像+提示词生成前景主体,并将该主体提取为透明底图层。

目前 SD WebUI Forge 和 ComfyUI 已经支持 LayerDiffusion 的透明底功能,并且在未来还将支持通过图像生成透明底图像,下面为大家介绍如何在这 2 款工具中实现对应的功能。

在 ComfyUI 中使用 LayerDiffusion

① 安装插件

ComfyUI-layerdiffuse 插件 git 网址: https://github.com/huchenlei/ComfyUI-layerdiffuse.git
(如无法下载,请扫描免费获取 Layerdiffuse 插件安装包哦)

首先将 ComfyUI 更新到最新版本。然后安装 layerdiffuse 插件,可以用过 manager 安装,也可以进入根目录的 custom_nodes 文件夹中,通过 git clone 命令安装;安装成功后,进入 ComfyUI-layerdiffuse 根目录,打开终端命令,运行 pip install -r requirements.txt 命令,安装 python 依赖项。

② 安装模型

LayerDiffusion 处理模型下载: https://huggingface.co/LayerDiffusion/layerdiffusion-v1/tree/main (如无法下载,请看上方扫描免费获取 LayerDiffusion 的处理模型)

ComfyUI-layerdiffuse 插件目前仅支持 SDXL 模型,选择大模型时需要注意;此外还需要下载 LayerDiffusion 处理模型,安装到根目录的 models\layer_model 文件夹中。

③ 加载工作流

插件官方提供了 7 种工作流,全部存放在 custom_nodes\ComfyUI-layerdiffuse\examples 文件夹中,可以实现生成透明底图像、通过背景图像生成透明底前景、通过透明底前景生成完整背景等操作;我也进一步整理了这些文件,打包资源在网盘内(请扫描免费获取哦)。

启动 ComfyUI 界面后,可以用 workspace 插件一次性将整个工作流文件夹导入 ComfyUI 中。

④ 直接生成透明底图像

layer_diffusion_fg_example_rgba 和 layer_diffusion_fg_example 两个工作流都可以生成透明底图像,且第二个工作流可以额外生成一个 Alpha 通道蒙版。


⑤ 生成前景&生成背景

layer_diffusion_cond_example 工作流可以同时实现 “根据透明底前景生成背景” 和 “根据背景透明底前景” ,使用时注意在 Layer Diffuse Cond Apply 节点中对应地将 layer_type 调节成 foreground 或者 background。

⑥ 提取完整背景

在根据一个透明底图像生成背景后,可以通过 layer_diffusion_diff_bg 工作流提取一个完整的背景图层。主体在提示词中完整描述背景内容,采样器需要选择 Euler A 或者 Uni_pc。

⑦ 提取前景图层

在一个背景图中生成一个新的主体后,可以再通过 layer_diffusion_diff_fg 工作流将主体提取为透明底图层。注意修改提示词,采样器依旧选择 Euler A 或者 Uni_pc。

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

若有侵权,请联系删除

总结

### 文章总结:AI绘画新突破——LayerDiffusion技术与ComfyUI应用
#### 引言
- **作者**:画画的小强
- **主题**:介绍AI绘画的最新进展——LayerDiffusion技术,以及如何在ComfyUI中使用该技术生成透明底图像和图层。
#### LayerDiffusion技术简介
- **开发者**:@lllyasviel(Controlnet、Fooocus、SD WebUI Forge的开发者)
- **核心技术**:潜在透明度,将Alpha通道整合到预训练模型中,实现透明图像生成。
- **特点与优势**:
- 完美生成透明/半透明对象(如玻璃、发光体、头发丝)
- 支持生成带透明度的分层图像和背景
- 出图效率高,无抠图痕迹
#### 实现功能及应用
- **支持工具**:目前已在SD WebUI Forge和ComfyUI中实现
- **核心应用场景**:
- 直接生成透明底图像
- 根据背景图像+提示词生成前景主体并提取为透明底图层
- 通过透明底图像生成完美融合的背景,并独立提取为图层
#### 在ComfyUI中使用LayerDiffusion步骤
1. **安装插件**:
- 从GitHub(https://github.com/huchenlei/ComfyUI-layerdiffuse.git)下载并安装ComfyUI-layerdiffuse插件。
- 更新至ComfyUI最新版本,安装依赖项。
2. **安装模型**:
- 下载SDXL模型及LayerDiffusion处理模型,并存放到指定文件夹。
3. **加载工作流**:
- 利用workspace插件导入工作流文件夹,官方提供多种工作流程。
4. **操作实例**:
- **生成透明底图像**:使用layer_diffusion_fg_example_rgba和layer_diffusion_fg_example工作流,后者可额外生成Alpha通道蒙版。
- **前景与背景生成**:layer_diffusion_cond_example工作流支持根据前景或背景生成对应图像。
- **提取图层**:利用layer_diffusion_diff_bg和layer_diffusion_diff_fg工作流分别提取完整背景图层和前景图层。
#### AIGC技术前景与资料分享
- **发展前景**:随着AI技术的发展,AIGC将在游戏和计算领域广泛应用,推动系统高效、智能、灵活发展。
- **学习资源**:
- 提供AIGC所有方向的学习路线,覆盖各领域知识点。
- 必备工具整理,安装即可使用。
- 最新AIGC学习笔记与视频教程合集,供初学者和进阶者学习。
- 实战案例,帮助学习者将所学应用于实际。
#### 结语
LayerDiffusion技术的推出为AI绘画和设计领域带来了新的可能,提升了创作效率与便利性。随着技术的不断发展,AIGC技术的应用前景将更加广阔,影响和改变多个行业领域。

更新时间 2024-08-25