LCM 官方以此训练了一个新的模型 Dreamshaper-V7,仅通过 2-4 步就能生成一张 768*768 分辨率的清晰图像。 以往我们用 SD 生成图片起码需要20步的步数,现在使用 LCM 只需要4步就行,实现所见即所得。
1.LCM官方介绍
?LCM官网:https://latent-consistency-models.github.io/
LCM 全称 Latent Consistency Models(潜在一致性模型),是清华大学交叉信息科学研究院研发的一款生成模型。
它的特点是可以通过少量步骤推理合成高分辨率图像,使图像生成速度提升 2-5 倍,需要的算力也更少。
官方称 LCMs 是继 LDMs(Latent Diffusion Models 潜在扩散模型)之后的新一代生成模型。
2.LCM优点分析
Stable Diffusion 和 SDXL 的快速推理为新应用和新工作流打开了大门,
在 M1 Mac 上用 SDXL (base) 生成一张 1024x1024 图像大约需要一分钟。而用 LCM LoRA,我们只需约 6 秒 (4 步) 即可获得出色的结果。速度快了一个数量级,我们再也无需等待结果,这带来了颠覆性的体验。
SDXL LCM LoRA 在各种硬件上的生成速度(官方)
3.官方生图样例
4步效果图:
2步效果图:
1步效果图:
从图片生成效果来看,看得出使用LCM LORA 微调后的 SDXL 模型用 4 步生成的图像质量已经蛮不错的。
4.ComFYui LCM使用
在 ComfyUI 中使用 lcm-lora 需要先安装 ComfyUI-LCM 插件;
采样步数 Steps 数值在 2 - 8 之间,CFG 参数在 1.0 - 2.5 之间。
以下是我使用SDXL模型,使用LCM-LORA的测试(12G显存),生成768X1024的图片:
第一组使用XL模型,只用了4.94S的时间。
第二组使用XL模型,只用了2.47S的时间。
从2张图片的质量来说,效果还是可以的。(没有做高清放大+面部修复的节点)
4.WEIUI本地LCM使用
WEBUI的使用方法:
1.将LCM-lora放到lora文件夹中
2.顶部菜单栏打开SD-LORA,现在LCM-LORA
在界面设置--添加sd_lora
保存设置=重启WEBUI
文生图中加载LCM_LORA(如果是XL模型,选择SDXLlora)
CFG引导系数,在2.5上下即可。采样步数 Steps在10以内即可。
从效果对比,生成图片的时间效率来说,ComFYui的SDXL模型使用效果和生成时间提升更佳。
5.LCM模型下载地址
LCM WebUI 插件:
https://github.com/0xbitches/sd-webui-lcm
LCM ComfyUI 插件:
https://github.com/0xbitches/ComfyUI-LCM
LCM huggingface地址:
https://huggingface.co/blog/lcm_lora
LoRAs模型官方下载地址:
https://huggingface.co/collections/latent-consistency/latent-consistency-models-loras-654cdd24e111e16f0865fba6
Dreamshaper_v7模型下载地址:
https://huggingface.co/SimianLuo/LCM_Dreamshaper_v7/tree/main
lcm-sdxl: https://huggingface.co/latent-consistency/lcm-sdxl