当前位置:AIGC资讯 > AIGC > 正文

Stable Diffusion: Lora篇

前面提到,在提示词中可以使用LoRA并设置权重。LoRA是Low-Rank Adaptation的简写,直译为轻量级微调,是一种通用的AI大模型微调技术,通过LoRA使用可以对Stable Diffusion模型输出进行微调型,更加随心所欲地实现定制华输出。LoRA模型无法单独使用,需要选择一个Stable Diffusion模型作为基础,再使用LoRA调整基础模型,从而生成微调后的图片。同时,如果Stable Diffusion模型是XL版本的,相应的LoRA也需要选择XL版本。

在前面的模型篇中,推荐著名的模型下载的地址LiblibAI·哩布哩布AI - 中国领先的AI创作平台。注意点击最右方“全部类型”下拉选择框,筛选类型为LORA的模型文件。

模型文件一般不大(100-200MB为主),下载后,将模型文件放在Stable Diffusion(或绘世启动器)安装目录的models\Lora文件夹下(如果使用Easy Diffusion,则是在安装目录的models\lora文件夹下,其他也差不多),即完成安装。

在Stable Diffusion主页面,先点击Lora,再点击右边的刷新按钮,即可完成LoRA模型的引入。

使用提示词woman,moyou, solo, on side, dress, lying, black hair, blue dress, snow, blue eyes, blue theme, looking at viewer, bare shoulders, lips, hair ornament, bare arms, A Beautiful Chinese Woman, <lora:DetailedEyes_XL_v3.0:1>, 

LoRA模型文件通常不大,但结尾也是.safetensors。有时候可能会与主模型文件混淆。这里提供一个网站。Stable Diffusion 法术解析 (novelai.dev) 打开以后可以将模型文件拖上去,就可看出是主模型文件,还是LoRA模型文件。

总结

### 文章总结
本文介绍了LoRA(Low-Rank Adaptation,轻量级微调)在Stable Diffusion模型定制输出中的应用。LoRA是一种适用于AI大模型的通用微调技术,能够更有针对性地调整Stable Diffusion模型的输出,实现高度定制化的图像生成效果。使用LoRA时,需选择一个Stable Diffusion基础模型,并依据需要选择相应版本的LoRA模型进行匹配调整。
文章还推荐了LiblibAI平台作为获取LoRA模型的资源,并指导了如何从该平台筛选并下载LoRA模型。下载后,简单地将模型文件放置于Stable Diffusion或相关软件的指定目录内即可完成安装。随后,在Stable Diffusion主页面通过点击LoRA标签及刷新按钮,即可引入并使用新的LoRA模型。
此外,文章分享了一个具体的提示词例子,展示了如何在生成图像时通过指定LoRA模型与权重(如``)来提升图像特定部分的细节和效果。
最后,针对可能混淆的模型文件,提供了一个实用网站(Stable Diffusion 法术解析,novelai.dev),用户可以将文件拖上该平台进行识别,准确区分主模型文件与LoRA模型文件,便于管理和使用。

更新时间 2024-09-18