一个刚学AI绘画的小菜鸟怎么快速成为Stable Diffusionde的高手?答案就是SD插件,只要学会使用SD的各种插件,帮你写正向和负向提示词,修复人脸/身体/手指,高清放大图片,指定人物pose,图片微调等等都可以轻松搞定,善用插件是成为高手必经之路。(文末可获取插件及相关资源)
目录
1 插件安装方法
2 基础插件介绍
3 高级插件介绍
一、插件安装方法
1 启动器上安装
setp1 打开绘世启动器,双击“A启动器.exe”
setp2 点击版本管理,点击内核,一键更新。
setp3 点击安装新扩展,搜索插件名词,回车。如:prompt
setp4 滚动找到,你需要安装的插件,点击“安装”按钮即可。如果已经安装过了展示“已装”。
setp5 如果搜索找不到你要的插件,也可以直接输入插件安装的URL地址,点击右侧的“安装”即可。
2、在线安装
如果你已经“一键启动”了webUI,也可以在webUI安装,只不过需要重新启动下才能生效。
Setp1 启动SD web UI, 一键启动,会自动打开浏览器。
Setp2 启动成功后,切换到“扩展”-“可用”,点击“加载自:”,右侧的地址本来就有,如果没有按下图输入即可。
Setp3 搜索插件名词回车,找到目标插件,点击安装即可。如:prompt
Setp4 搜不到插件,从网址安装即可。下面我会提供插件地址。
3、离线安装
不会科学上网的,网络有问题的,私信我“插件”给你百度网盘,你下载离线安装包,直接拷贝到指定目录,也可以进行安装。
目录:D:\Program Files\novelai-webui-aki-v3\extensions
(D:\Program Files 换成你电脑的安装路劲)
补充一个知识点,Web UI的这些文件夹分别干嘛?
embeddings:存放美术风格文件的目录,美术风格文件一般以.pt结尾,大小在几十K左右;
extensions:存放扩展插件的目录,我们下载的WebUI的插件就放在这个目录里,WebUI启动时会自动读取插件,插件目录都是git库,可以直接通过git更新;
extensions-builtin:存放WebUI内置的扩展;
models/hypernetworks:存放风格化文件的目录,风格化文件是配合Prompt使用的,以使AI会出对应风格的图片,风格化文件也以.pt结尾,大小在几百MB左右;
models/Lora:存放Lora的文件的目录,Lora文件是用来调整模型的,可以重映射模型文件的Prompt映射,使AI在相应的提示词下按照Lora的样式绘制,Lora文件一般以.safetensors结尾,大小在几百MB左右;
models/Stable-diffusion:存放模型的文件的目录,AI绘画时的采样基本从这个文件里采,影响图片的整体样式与画风,一般以.ckpt或.safetensors结尾,大小在几个G左右;
models/VAE:存放VAE文件的目录,VAE文件会影响图片整体的色调,如在刚开始玩WebUI时画出的图都比较灰,就是因为WebUI默认没有为我们设置VAE导致的,VAE文件一般以.ckpt或.vae.pt结尾,大小在几百MB或几个G不等;
outputs/extras-images:AI放大的原图的默认保存路径;
outputs/img2img-grids:批量图生图时的缩略图原图的默认保存路径;
outputs/img2img-images:图生图的原图的默认保存路径;
outputs/txt2img-grids:批量文生图时的缩略图原图的默认保存路径;
outputs/txt2img-images:文生图的原图的默认保存路径;
这些路径我们是可以在WebUI的设置界面修改成自定义路径的。
scripts:存放第三方脚本的目录;
venv:这个文件夹是WebUI首次运行时配置运行环境自己创建的,出现运行环境的问题时,可以删掉它让WebUI重新生成。
4、勾选或取消插件后,需要“应用并重启”才能生效哦。
二、基础插件介绍
自带插件
在安装最新版@秋叶的SD webUI安装包,已经内置了必要的插件如下:
它们分别都是用来干嘛的??(东奔西跑查了很多资源)
LDSR(图片放大算法)
Latent Diffusion Super Resolution(潜在扩散超分辨率模型)的缩写。一种放大图片的算法,耗时最长,也是效果最好的,尤其擅长对照片写实图放大。
Lora(这里指小模型插件)
Low-Rank Adaptation of Large Language Models 低秩的适应大语言模型,上一篇咱们详细讲过,这里指已自带安装了这个插件,你可以下载很多lora模型,来使用。
ScuNET(图片放大算法)
(Swin-Conv-UNet)是一种图像去噪深度学习网络,采用Swin-Conv块作为UNet骨干。ScuNET还采用了新的数据合成管线,用于实际图像去噪,包括高斯去噪和实际图像的盲去噪。
SwinIR (图片放大算法)
是一种基于Swin Transformer的图像恢复方法,称为“Image Restoration Using Shifted Window Transformer”。SwinIR在图像超分辨率、图像去噪和JPEG压缩伪影减少等方面达到了最先进的性能。SwinIR包括三个部分:浅层特征提取、深层特征提取和高质量图像重建。特别是深层特征提取模块由几个残差Swin Transformer块组成。SwinIR通过实验展示了其在不同任务上的优越性能,参数数量可减少高达67%。
canvas-zoom-and-pan(局部重绘缩放平移图片插件)
这个扩展允许用户在图形界面上缩放和平移图像。可以在使用局部重绘、涂鸦重绘等功能时快捷的缩放图片大小,方便对图片区域进行精准的绘制.
extra-options-section(没搞懂在哪儿)
额外选项,这个扩展提供了额外的图像处理选项,允许用户定制特定的处理效果。与通用的设置菜单不同,它可能包括一些专门为高级用户设计的复杂选项。
hypertile(一种算法)
Tiled-optimizations for Stable-Diffusion稳定扩散的平铺优化,HyperTile 优化了 Stable-Diffusion U-Net 和 VAE 模型中的自注意力层,导致计算时间减少 1 到 4 倍,具体取决于初始分辨率和图块大小。实施过程非常简单。
mobile(手机)
我猜是适配手机访问webUI? 网上无资料暂不知道干嘛的。
prompt-bracket-checker
提示词括号语法检查器,"(()"左右括号不对称时,提示你的小玩意。
soft-inpainting(柔和重绘)
图生图涂抹重绘无缝处理的插件,允许您根据蒙版不透明度无缝地将原始内容与内涂内容混合。建议使用高蒙版模糊值!
三、高级插件介绍
1 简体中文翻译扩展
插件用途:翻译页面上的按钮为中文
插件地址:https://gitcode.net/ranting8323/stable-diffusion-webui-localization-zh_CN
2 ControlNet 插件
插件用途:SD最强插件之一,用于微调图片,里面有很多丰富的微调类型,如:canny、openpose、lineart 等等,你先安装后面我们详细逐一介绍和实战。
插件地址:https://gitcode.net/ranting8323/sd-webui-controlnet.git
3 adetailer
插件用途:图片修复插件(包括:身体 脸 手),支持同时修复所有人的脸,所有人的手灯多个地方。里面包含很多算法,挨个使用的时候会自动下载安装,如果你网络不行请直接下载算法模型,放在文件夹里面“.\novelai-webui-aki-v3\models\adetailer”
插件地址:https://gitcode.net/ranting8323/adetailer.git
算法地址:https://huggingface.co/Bingsu/adetailer/tree/main
4 OneButtonPrompt
插件用途:新手找灵感,提示词都不用写,完全随机或指定风格生成提示词,一支点“生成”可以无限抽卡,懒人专用\(o)/~
插件地址:https://github.com/Airjen/OneButtonPrompt
5 Tag自动补全
插件用途:能在输入Tag时提供booru风格(如Danbooru)的TAG自动补全。因为有一些模型是基于这种TAG风格训练的(例如Waifu Diffusion),因此使用这些Tag能获得较为精确的效果。
插件地址:https://gitcode.net/ranting8323/a1111-sd-webui-tagcomplete
6 sd-webui-prompt-all-in-one
插件用途:旨在提高提示词/反向提示词输入框的使用体验。它拥有更直观、强大的输入界面功能,它提供了自动翻译、历史记录和收藏等功能,它支持多种语言,满足不同用户的需求。非常好用,必装插件之一,有了5和6轻松写提示词无压力。
插件地址:https://gitcode.net/ranting8323/sd-webui-prompt-all-in-one
由于Stable Diffusion 是开源的,有很多开发者都为开源社区做了无私贡献,插件会越来越多,用法也不尽相同,我也会需要慢慢挖掘,探索新世界!
AI绘画SD整合包、各种模型插件、提示词、GPT人工智能学习资料都已经打包好放在网盘中了,有需要的小伙伴文末扫码自行获取。
写在最后
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程,模型插件,具体看下方。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。