当前位置:AIGC资讯 > AIGC > 正文

提升你的 AI 绘画技能:Stable Diffusion 进阶攻略

本文主要介绍的各种模型类型:模型底模、VAE 美化模型、Lora 模型和 hypernetwork

文末扫码可咨询!

使用模型

两个模型分享站,自备梯子哦。

C站:https://civitai.com/

huggingface:https://huggingface.co/models?pipeline_tag=text-to-image

大模型(底模型)

stable_diffusion_webui 部署完成后,checkpoint 是放在底模的 home\webui\models 目录下。常见的模式包括后缀为 ckpt 和 safetensors 的文件。常见的大小范围是 2G 到 7G。

Realistic Vision:这种风格可以生成逼真的照片效果。

Anything v5:这种风格具有动漫的特点。

Dreamshaper:这种风格可以产生写实的绘画效果。

VAE效果美化模型,也叫滤镜模型

选择VAE就像给图片套上了一层滤镜,会改变图片原有的颜色风格;一般默认是无,而且有些大模型中会自带VAE

常见模式:后缀ckpt/pt

名字中带有vae

stable-diffusion-webui 默认页面并没有显示 VAE 设置部分,所以需要先设置一下。首先点击「Settings」,然后点左侧菜单的「User interface」这个 Tab,拉到下面有个选项叫做Quicksettings list,在输入框里面添加,sd_vae,CLIP_stop_at_last_layers:

最后点击上面的「Apply settings」,再点「Reload UI」就会重新刷新页面,即可看到头部的 VAE 区域:

可以去C站和huggingface下载 我们把这些 VAE 模型下载并把它放入到models/VAE目录下:

https://huggingface.co/stabilityai/sd-vae-ft-mse-original/resolve/main/vae-ft-mse-840000-ema-pruned.ckpthttps://huggingface.co/AIARTCHAN/aichan_blend/resolve/main/vae/Anything-V3.0.vae.safetensorshttps://huggingface.co/AIARTCHAN/aichan_blend/resolve/main/vae/Berry's%20Mix.vae.safetensors

可以使用下载工具或者直接用浏览器下载。

通过对比可以明显感受到,不加 VAE 的图片优点是灰蒙蒙的,不够鲜艳,同时细节也不够丰富。而加入不同的 VAE 后,图片的颜色效果更好,细节更全了(微调后)。

最后需要注意的是,不同的 VAE 适用于不同的模型,不能将某个 VAE 用于任何模型,否则可能会生成非常奇怪的图像。

Lora模型

LoRA模型是通过截取大模型的某一特定部分生成的小模型,虽然不如大模型的能力完整,但短小精悍。因为训练方向明确,所以在生成特定内容的情况下,效果会更多。

常见模式:后缀ckpt/safetensors/pt

常见大小:100MB

模型下载并把它放入到models/Lora目录下

可以去C站下载搜索Lora模型

Embeddings

通过角色训练产出,能够让你的主模型识别某个指定的角色,因为你的主模型不可能每个角色都认识,通过文件名触发。

常见模式:后缀pt

常见大小:几十KB

模型下载放到webui\embeddings

可以去C站下载搜索Embeddings模型

Hypernetworks

通过画风训练产出,能够指定特定的画风,比如国风,欧美风等等!

常见模式:后缀pt

常见大小:几十KB

模型下载放到webui\models\hypernetworks

可以去C站下载搜索hypernetworks模型

功能类型选择

在使用文生图功能之外,你还可以根据自己的需求选择其他选项卡进行操作。以下是正常流程中可能会用到的选项卡简介:

图生图(img2img):这个选项卡可以将文生图的结果继续生成图片,或者你也可以上传一张自己的图片。它常用于调整和优化图片,或者修改图片的风格、背景、人物形象等场景。

附加功能(Extras):这个选项卡可以对单张或批量图片进行缩放操作。

图片信息(PNG Info):将本地图片上传后,你可以在其他选项卡中使用这些图片。

模型合并(Checkpoint Merger):这个选项卡可以将多个模型按照不同的权重进行合并,从而获得一个新的模型。

扩展:SD 的扩展插件配置区,你可以在这里查看已安装的插件内容,并控制它们的开启和禁用状态。此外,它还支持通过 URL 的方式获取其他插件。

写在最后

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程,模型插件,具体看下方。

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

若有侵权,请联系删除

更新时间 2024-03-25