当前位置:AIGC资讯 > AIGC > 正文

[Stable Diffusion进阶篇]LCM提示SD文生图效率,Lcm_lora使用体验

  LCM 官方以此训练了一个新的模型 Dreamshaper-V7,仅通过 2-4 步就能生成一张 768*768 分辨率的清晰图像。 以往我们用 SD 生成图片起码需要20步的步数,现在使用 LCM 只需要4步就行,实现所见即所得。

1.LCM官方介绍

?LCM官网:https://latent-consistency-models.github.io/

LCM 全称 Latent Consistency Models(潜在一致性模型),是清华大学交叉信息科学研究院研发的一款生成模型。

它的特点是可以通过少量步骤推理合成高分辨率图像,使图像生成速度提升 2-5 倍,需要的算力也更少。

官方称 LCMs 是继 LDMs(Latent Diffusion Models 潜在扩散模型)之后的新一代生成模型。

2.LCM优点分析

Stable Diffusion 和 SDXL 的快速推理为新应用和新工作流打开了大门,

在 M1 Mac 上用 SDXL (base) 生成一张 1024x1024 图像大约需要一分钟。而用 LCM LoRA,我们只需约 6 秒 (4 步) 即可获得出色的结果。速度快了一个数量级,我们再也无需等待结果,这带来了颠覆性的体验。

SDXL LCM LoRA 在各种硬件上的生成速度(官方)

3.官方生图样例

4步效果图:

2步效果图:

1步效果图:

从图片生成效果来看,看得出使用LCM LORA 微调后的 SDXL 模型用 4 步生成的图像质量已经蛮不错的。

4.ComFYui LCM使用

在 ComfyUI 中使用 lcm-lora 需要先安装 ComfyUI-LCM 插件;

采样步数 Steps 数值在 2 - 8 之间,CFG 参数在 1.0 - 2.5 之间。 

以下是我使用SDXL模型,使用LCM-LORA的测试(12G显存),生成768X1024的图片:

第一组使用XL模型,只用了4.94S的时间。

第二组使用XL模型,只用了2.47S的时间。

从2张图片的质量来说,效果还是可以的。(没有做高清放大+面部修复的节点)

4.WEIUI本地LCM使用

WEBUI的使用方法:

1.将LCM-lora放到lora文件夹中

2.顶部菜单栏打开SD-LORA,现在LCM-LORA

在界面设置--添加sd_lora

保存设置=重启WEBUI

文生图中加载LCM_LORA(如果是XL模型,选择SDXLlora)

     CFG引导系数,在2.5上下即可。采样步数 Steps在10以内即可。

从效果对比,生成图片的时间效率来说,ComFYui的SDXL模型使用效果和生成时间提升更佳。

5.LCM模型下载地址

 LCM WebUI 插件:


 https://github.com/0xbitches/sd-webui-lcm

 LCM ComfyUI 插件:


 https://github.com/0xbitches/ComfyUI-LCM 

LCM huggingface地址:

https://huggingface.co/blog/lcm_lora

LoRAs模型官方下载地址:

https://huggingface.co/collections/latent-consistency/latent-consistency-models-loras-654cdd24e111e16f0865fba6

Dreamshaper_v7模型下载地址:

https://huggingface.co/SimianLuo/LCM_Dreamshaper_v7/tree/main

lcm-sdxl: https://huggingface.co/latent-consistency/lcm-sdxl

更新时间 2023-12-23