本文主要介绍的各种模型类型:模型底模、VAE 美化模型、Lora 模型和 hypernetwork
文末扫码可咨询!
使用模型
两个模型分享站,自备梯子哦。
C站:https://civitai.com/
huggingface:https://huggingface.co/models?pipeline_tag=text-to-image
大模型(底模型)
stable_diffusion_webui 部署完成后,checkpoint 是放在底模的 home\webui\models 目录下。常见的模式包括后缀为 ckpt 和 safetensors 的文件。常见的大小范围是 2G 到 7G。
Realistic Vision:这种风格可以生成逼真的照片效果。
Anything v5:这种风格具有动漫的特点。
Dreamshaper:这种风格可以产生写实的绘画效果。
VAE效果美化模型,也叫滤镜模型
选择VAE就像给图片套上了一层滤镜,会改变图片原有的颜色风格;一般默认是无,而且有些大模型中会自带VAE
常见模式:后缀ckpt/pt
名字中带有vae
stable-diffusion-webui 默认页面并没有显示 VAE 设置部分,所以需要先设置一下。首先点击「Settings」,然后点左侧菜单的「User interface」这个 Tab,拉到下面有个选项叫做Quicksettings list,在输入框里面添加,sd_vae,CLIP_stop_at_last_layers:
最后点击上面的「Apply settings」,再点「Reload UI」就会重新刷新页面,即可看到头部的 VAE 区域:
可以去C站和huggingface下载 我们把这些 VAE 模型下载并把它放入到models/VAE目录下:
https://huggingface.co/stabilityai/sd-vae-ft-mse-original/resolve/main/vae-ft-mse-840000-ema-pruned.ckpthttps://huggingface.co/AIARTCHAN/aichan_blend/resolve/main/vae/Anything-V3.0.vae.safetensorshttps://huggingface.co/AIARTCHAN/aichan_blend/resolve/main/vae/Berry's%20Mix.vae.safetensors
可以使用下载工具或者直接用浏览器下载。
通过对比可以明显感受到,不加 VAE 的图片优点是灰蒙蒙的,不够鲜艳,同时细节也不够丰富。而加入不同的 VAE 后,图片的颜色效果更好,细节更全了(微调后)。
最后需要注意的是,不同的 VAE 适用于不同的模型,不能将某个 VAE 用于任何模型,否则可能会生成非常奇怪的图像。
Lora模型
LoRA模型是通过截取大模型的某一特定部分生成的小模型,虽然不如大模型的能力完整,但短小精悍。因为训练方向明确,所以在生成特定内容的情况下,效果会更多。
常见模式:后缀ckpt/safetensors/pt
常见大小:100MB
模型下载并把它放入到models/Lora目录下
可以去C站下载搜索Lora模型
Embeddings
通过角色训练产出,能够让你的主模型识别某个指定的角色,因为你的主模型不可能每个角色都认识,通过文件名触发。
常见模式:后缀pt
常见大小:几十KB
模型下载放到webui\embeddings
可以去C站下载搜索Embeddings模型
Hypernetworks
通过画风训练产出,能够指定特定的画风,比如国风,欧美风等等!
常见模式:后缀pt
常见大小:几十KB
模型下载放到webui\models\hypernetworks
可以去C站下载搜索hypernetworks模型
功能类型选择
在使用文生图功能之外,你还可以根据自己的需求选择其他选项卡进行操作。以下是正常流程中可能会用到的选项卡简介:
图生图(img2img):这个选项卡可以将文生图的结果继续生成图片,或者你也可以上传一张自己的图片。它常用于调整和优化图片,或者修改图片的风格、背景、人物形象等场景。
附加功能(Extras):这个选项卡可以对单张或批量图片进行缩放操作。
图片信息(PNG Info):将本地图片上传后,你可以在其他选项卡中使用这些图片。
模型合并(Checkpoint Merger):这个选项卡可以将多个模型按照不同的权重进行合并,从而获得一个新的模型。
扩展:SD 的扩展插件配置区,你可以在这里查看已安装的插件内容,并控制它们的开启和禁用状态。此外,它还支持通过 URL 的方式获取其他插件。
写在最后
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程,模型插件,具体看下方。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。