当前位置:AIGC资讯 > AIGC > 正文

Comfyui之Lora的使用

上一篇我们学会了图片高清放大,这一篇我们掌握下一个重要的节点,就是Lora,我们知道大模型是通过非常多的图片训练出来的,而Lora就是通过一部分特定样式的图片训练出来的,LORA节点是为了补充大模型的,也可以说Lora就是大模型的一个外挂,想象一下,假如某10个G大小的大模型文件,里面包含了各种风格的训练数据,比如二次元,写实,水墨等等通通包含,这个大模型,后面再接入一个汉服风格的Lora,那么这样出来的图片就会是偏汉服的。废话不多说,下面就一步步看看Comfyui中怎么使用Lora。

一、起手式基础文生图先搭建起来
二、修改大模型加载器为带说明的大模型加载器

今天使用的大模型为ForRealXl系列0.5版本,出的图非常的真实惊艳

模型地址是:https://civitai.com/models/432244/forrealxl?modelVersionId=518881

三、输入正面提示词,和负面提示词

今天创造一个火车从山水之间穿梭的图片

正面:futuristic and cinematic scene, an advanced train with a sleek transparent glass exterior, traveling through a breathtaking landscape, with mountains on distant, the train's interior is filled with vibrant green plants, creating a miniature greenhouse effect, The surrounding environment is bathed in soft ethereal light filtering through gaps in the dense foliage, casting a glow on the reflective water below, the atmosphere is serene and otherworldly, combining elements of nature and futuristic technology

负面:blurry, low quality, deformed, disfigured, anime, drawing, painting, illustration, cartoon

四、设置空潜的宽高为1344x768,奔着桌面壁纸的尺寸比例去的
五、设置采样器的参数,按照大模型的推荐参数来

步数:16步

CFG:1.5

采样器:ddpm

调度器:随便选一个karras

六、将保存图像节点,改为预览图像节点,先不保存,先跑起来看看效果

第一张图就被惊艳到了,,,

七、添加第一个Lora

第一个Lora选择MJ52,增加真实感
模型下载地址:https://civitai.com/models/251417/midjourney-mimic?modelVersionId=283697

八、将这个Lora融入工作流,注意看连接的位置

然后跑个图继续看看效果

能看出来加入了MJ52这个Lora之后,出的图颜色变深了,看起来更明亮惊艳了

九、继续串联几个真实感的Lora,看下Lora是怎么联合串联的,也看看串起来后,出图有没有什么变化

直接串连就行,选择了几个Lora分别是:

LORA模型1:MJ52,下载地址:https://civitai.com/models/251417/midjourney-mimic?modelVersionId=283697

LORA模型2:CinematicStyle_v1,下载地址:https://civitai.com/models/432586/stylexl-cinematic-shot?modelVersionId=481917

LORA模型3:SDXLFaeTastic2400,下载地址:https://civitai.com/models/134338/sdxl-faetastic-details?modelVersionId=293991

LORA模型4:zavy-cntrst-sdxl,下载地址:https://civitai.com/models/295530/zavys-dark-atmospheric-contrast-sdxl?modelVersionId=332071

在跑一个图看看效果

看起来更真实了,当然我们这里只是为了教大家怎么把多个Lora串起来,实际使用时,按照出图需要酌情串联,肯定不是说串的越多就越好

十、大模型作者还建议使用时,串联一个SDXL的VAE模型,不要使用大模型自带的VAE,我们连一个试试看

将从大模型哪里接入VAE解码器的线断开,添加一个独立的VAE加载器

这个sdxl_vae模型的下载地址是:下载地址

添加了这个VAE后,再跑一张图看看效果

草木,水,远处的山,近景,远景都非常惊艳

十一、将上篇我们用到的图片放大节点串联进来,然后生成一个4k的壁纸留作纪念

这里用到了一个放大堆节点,比较好用,就是可以一次性选择多个放大模型,一次运行多次放大,比如我这里就是线放大1倍,再放大2倍

总结:本篇学习的是Lora节点的使用,除了单独使用一个Lora外,还可以多个Lora串连使用,Lora一般都是为了加强出图是在某单方面的功能,比如我上面用到的就是增加真实感的,其他各种各样的Lora,可以在C站慢慢挨个下载体验,这几天国内出了一个kcolors的大模型,初步体验后,非常惊艳,号称国产之光,下一篇我们就来体验体验

总结

### 文章总结:掌握Comfyui中的Lora节点使用
在本文中,我们深入学习了如何在Comfyui环境中有效使用Lora节点,以增强图像生成的特定风格和效果。Lora作为一种通过特定样式图片训练而来的模型扩展,能够精细化调整大模型的输出,提供丰富的视觉体验。以下是关键步骤和总结:
#### 一、基础设置与图片生成
- 开始前需搭建基本的文生图流程。
- 加载高质量的大模型ForRealXl系列0.5版本,强调生成图片的真实和惊艳效果。
#### 二、调整与优化提示词
- 设置正面和负面提示词,明确图像主题(如火车穿梭于山水之间)。
- 特别注意避免模糊、低质量等不良因素。
#### 三、图像尺寸与采样器配置
- 设定适当的图像分辨率(如1344x768),适合桌面壁纸。
- 调整采样器参数(步数、CFG值等)至大模型推荐设置,确保图像质量。
#### 四、预览与初次生成
- 首先使用预览功能查看初步效果,满意后再进行保存。
#### 五、Lora的应用与串联
- 引入第一个Lora(MJ52),增强图像的真实感。
- 串联多个Lora(如CinematicStyle_v1、SDXLFaeTastic2400等),观察并体验不同风格的融合效果。
- 强调Lora正确使用的重要性,非越多越好,而是根据需求合理串联。
#### 六、VAE模型的替换与优化
- 替换大模型自带的VAE,使用SDXL的VAE模型,进一步提升图像细节表现力。
#### 七、图片放大处理
- 利用图片放大节点,将生成的图片放大至更高分辨率(如4K),提升图像质量,适合用作精美壁纸。
#### 八、总结与展望
- 通过本文,我们学会了如何在Comfyui中灵活使用Lora及串联多个Lora来增强图像效果。
- 提示未来可以探索更多Lora模型和新型大模型(如kcolors),不断拓展图像生成的创意空间。
### 结语
掌握Lora节点是提升AI绘画质量和创意性的关键一步。随着技术的不断进步和更多模型的推出,未来将在图像创作领域展现出无限可能。

更新时间 2024-08-26