当前位置:AIGC资讯 > AIGC > 正文

AI绘画Stable Diffusion 自制素材工具: layerdiffusion插件—你的透明背景图片生成工具

大家好,我是灵魂画师向阳

今天给大家分享一款AI绘画的神级插件—LayerDiffusion。

Layerdiffusion是一个用于stable-diffusion-webui 的透明背景生成(不是生成图再工具扣图,是直接生成透明背景透明图像)插件扩展,它可以生成透明背景的图像和图层。目前已经实现了图像生成和基本的图层功能。它的主要特点如下:

• 透明图像生成:它可以处理透明的玻璃,半透明的发光效果等,这些都是简单的背景移除工具无法实现的。同时还可以保留细节的毛发,胡须,和复杂的结构,如骨架等。

• 图层生成:利用已发布的不同功能的safetensors模型,它可以将SDXL模型转换为一个图层生成模型,例如:可以根据前景,背景,或混合图像生成相应的图层。这样都可以实现更灵活的编辑和组合,比如将一个人物从一个场景移动到另一个场景,或者改变图像的风格和氛围等。

• 轻量化和高效:使用了一些轻量化的模型结构,如VAE(Variational Autoencoder)和Conv(Convolutional)层,来减少VRAM资源的需求,提高图像生成的速度和质量。它还可以与不同的采样器(如DPM++,Euler A,UniPC等)配合使用,以达到最佳的效果。

插件安装

stable-diffusion-webui 的插件下载请扫描免费获取哦

插件使用

首先设置绘图模型、绘图提示词、反向提示词、采样器、迭代步数等。然后在插件tab栏目找到LayerDiffusion,启用layerdiffusion,并设置使用方法。

LayerDiffusion插件目前共支持有6种方式,对应的模型都会在运行时自动下载:

Only Generate Transparent Image(attn|conv 2种) : 这种方法只会生成透明的图像,不会生成任何层。它需要使用layer_xl_transparent_attn.safetensors或layer_xl_transparent_conv.safetensors来改变SDXL的潜在分布,以及vae_transparent_encoder.safetensors和vae_transparent_decoder.safetensors来进行VAE编码和解码。

From Background to Blending: 这种方法会根据背景图像生成一个与之融合的图像,不会生成前景图像。它需要使用layer_xl_bg2ble.safetensors来改变SDXL的潜在分布。

From Foreground to Blending: 这种方法会根据前景图像生成一个与之融合的图像,不会生成背景图像。它需要使用layer_xl_fg2ble.safetensors来改变SDXL的潜在分布。

From Foreground and Blending to Background: 这种方法会根据前景图像和融合图像生成一个与之匹配的背景图像。它需要使用layer_xl_fgble2bg.safetensors来改变SDXL的潜在分布。

From Background and Blending to Foreground: 这种方法会根据背景图像和融合图像生成一个与之匹配的前景图像。它需要使用layer_xl_bgble2fg.safetensors来改变SDXL的潜在分布。

sd-forge-layerdiffusion插件体验

本文所使用的绘图模型为:samaritan3dCartoon_v40SDXL模型,它主要用于绘制撒玛利亚人3d卡通模型。

注:如果想一次生成多张图像抽卡选择,设置生成批次数量,而不是每个批次的Bath Size数量。

01. 可爱猫咪

cutie-pie cat wearing mittens, contrapposto, strong polar filter, evening light, hyper realistic ,foreshortening

02. 皮克斯风格男孩

3d animation of HawkJim, pixar style, 15 years old, male, gold earring, short pirate tail, brown jacket, black shirt, looking at viewer, neutral expression, high quality, stars in sky background

03. 情侣自拍照

3D cinematic film.(caricature:0.2), 4k, highly detailed, Smiling woman taking selfie with boyfriend through smart phone, ackpackers,nose ring, nature background

04. 旅行

3D cinematic film.(caricature:0.2). 4k, highly detailed, young smiling woman and her dog sitting the trunk of a car during roadtrip

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

若有侵权,请联系删除

总结

# LayerDiffusion:AI绘画的透明背景神级插件
## 前言
大家好,我是灵魂画师向阳,今天我非常兴奋地向大家介绍一款AI绘画的神奇插件——LayerDiffusion。这款插件专为stable-diffusion-webui设计,能够生成令人惊叹的透明背景图像和灵活的图层,为你的创作带来无限可能。
## LayerDiffusion主要特点
### 透明图像生成
- **强大功能**:LayerDiffusion不仅可以生成普通的图像,更能直接输出透明背景的图像。这意味着你可以轻松处理如透明玻璃、半透明发光效果等高难度元素,同时还能保留细节丰富的毛发、胡须及复杂结构如骨架等。
- **独特优势**:不同于传统背景移除工具,LayerDiffusion直接生成透明图像,无需后期处理,极大提升工作效率与画面质量。
### 图层生成
- **图层分离**:利用已发布的safetensors模型,LayerDiffusion能够将SDXL模型转化为图层生成模型。这意味着你可以前景、背景或混合图像为基础,生成对应的图层,实现更灵活的编辑和组合。
- **创意无限**:借助图层功能,你可以将一个人物轻松移动到另一个场景,或者改变整个图像的风格和氛围,创作过程更加随心所欲。
### 轻量高效
- **轻量化设计**:LayerDiffusion采用VAE(Variational Autoencoder)和Conv(Convolutional)层等轻量化模型结构,有效减少VRAM资源占用,同时提升图像生成速度与质量。
- **广泛兼容性**:该插件支持多种采样器(如DPM++, Euler A, UniPC等),确保用户可以根据自己的需求选择最佳配置,达到最佳效果。
## 插件安装与使用
### 插件安装
- **免费下载**:LayerDiffusion插件可通过扫描专用二维码进行下载安装,方便快捷。
- **适用环境**:确保你已经拥有stable-diffusion-webui环境,这是安装与使用LayerDiffusion的前提条件。
### 插件使用
1. **基本参数设置**:首先设置绘图模型、提示词、反向提示词、采样器及迭代步数等基础参数。
2. **启用插件**:在stable-diffusion-webui中找到插件tab栏目下的LayerDiffusion,并启用它。根据需求选择合适的使用方法。
3. **多种模式选择**:LayerDiffusion提供六种不同生成模式,每种模式对应不同的生成需求,如透明图像生成、背景融合、前景融合等。使用时将根据所选模式自动下载相应模型。
## 应用实例
### 绘图模型示例
- 使用了samaritan3dCartoon_v40SDXL模型绘制了多个示例图像,包括可爱猫咪、皮克斯风格男孩、情侣自拍照及旅行场景等,展示了LayerDiffusion在多样场景中的强大表现力。
## AIGC学习资料与未来展望
### 学习资料
- 提供全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,助力你快速成长。
- 包含学习路线、必备工具、最新学习笔记、视频教程合集及实战案例等多种学习资源。
### 未来展望
- 随着AI技术的不断发展,AIGC技术将在游戏和计算领域得到更广泛应用,带来更高效、更智能、更灵活的系统特性。
- AIGC技术与人工智能技术的紧密结合将推动其在更多领域的应用,对程序员而言具有重大影响。
希望今天的分享能让大家对LayerDiffusion这款神级插件有更深入的了解。如果你对AI绘画感兴趣,不妨尝试一下LayerDiffusion,相信你会爱上它带来的创作体验!

更新时间 2024-09-27