当前位置:AIGC资讯 > AIGC > 正文

AI绘画Stable Diffusion神级插件!sd-forge-layerdiffuse

大家好,我是程序员晓晓

今天给大家介绍一个插件,全名是 sd-forge-layerdiffuse。它的功能很简单,就是可以让 Stable Diffusion 生成带透明通道的PNG图片。

比如一个水瓶。

一只猫。

二次元。

简而言之,这个插件就是可以实现透明图像的生成和编辑。我想设计师同学们应该明白有多么好用了吧。

详细的说明可以查看项目网站:
https://github.com/layerdiffusion/sd-forge-layerdiffuse

以往 AI 绘图工具生成的图像,都是没有分层的,如果要做二次加工,或者作为设计素材,难免觉得碍手碍脚。

现在,layerdiffuse 直接给你生一个带透明通道的素材图。那可真是太方便了。

sd-forge-layerdiffusion 插件的强大之处在于其对透明度的原生处理能力。不仅可以处理透明玻璃、半透明光效等效果,还可以生成细节丰富的毛发、绒毛等元素,这些是传统背景移除技术无法达到的。

这个插件刚发布没几天,后面肯定还会有很大的升级。不过老实说,就目前的效果已经很能提升效率。

插件目前支持 Stable Diffusion WebUI Forge 和 ComfyUI。

不过遗憾的是,目前这个插件只适用于 SDXL 模型,适合 SD1.5 模型的版本还在开发中。

安装指南

在开始安装之前,请确保你已经安装了SD WebUI的Forge版本。以下是安装 sd-forge-layerdiffusion 插件的步骤:

在Forge界面点击"Extensions",选中"layerdiffusion"插件,点击安装。

等待插件安装完成。

使用指南

1.安装好插件后,在生成图片时勾选"layerdiffusion enabled"。

2.在“layerdiffusion method"中选择生成透明图像的模式:“Only Generate Transparent Image"。

3.提示中可以输入透明物体的描述,例如“玻璃杯”。点击生成后可以得到透明背景的玻璃杯图像。

4.也可以上传背景图像,在"layerdiffusion method"中选择"From Background to Blending",然后生成透明图像。

5.反之,也可以先生成透明的前景,然后选择"From Foreground to Blending"模式,生成背景。

作者在huggingface上发布了以下模型:(模型下载请看文末扫描获取文件)

layer_xl_transparent_attn: 用于将Stable Diffusion XL模型转化为透明图像生成器的模型。通过在XL模型中注入这个模型,可以让其生成透明背景的图像。

layer_xl_transparent_conv: 与layer_xl_transparent_attn类似,也是用于将XL模型转化为透明图像生成器,但方法不同,是通过修改conv层的offset实现的。

layer_xl_fg2ble: 用于将XL模型转化为前景图像到混合图像的生成模型。

layer_xl_fgble2bg: 用于基于前景和混合图像生成背景的模型。

layer_xl_bg2ble: 将XL模型转化为根据背景图像生成混合图像的模型。

layer_xl_bgble2fg: 将XL模型转化为根据背景和混合图像生成前景的模型。

vae_transparent_encoder: 图像编码器,用于从像素空间中提取潜在偏移,帮助透明图像的生成。

vae_transparent_decoder: 图像解码器,输出真实的PNG图像。

这些模型经过特殊设计和训练,可以更好地生成透明背景的图像。普通图像生成模型生成的结果中,透明背景区域往往会有一些噪声或残留的颜色。

特定模型可以将普通XL模型转化为透明图像生成器。如果直接使用普通XL模型,可能无法生成透明背景的结果。

一些模型,如layer_xl_fg2ble,可以实现条件性的图层生成,即根据输入的前景图层生成背景层。使用普通模型难以实现这种结构化的生成过程。

编码器和解码器模型(vae_transparent_encoder等)在实现透明图像生成流程中发挥关键作用,普通模型不含这些组件。

作者特意设计了不同的模型变体,以适应不同的采样器要求。这可以避免因采样器差异而出现的伪影等问题。

写在最后

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

若有侵权,请联系删除

更新时间 2024-06-07