当前位置:AIGC资讯 > AIGC > 正文

stable diffusion 的controlNet 安装和使用

stable diffusion 安装controlNet需要先下载扩展

扩展地址
下载了扩展以后,需要下载相应的模型,每个模型大约1.45G,可以按需下载。
模型地址

如果下载速度太慢,可以考虑去liblib下载,但是是全量模型
liblib

模型下载完后,把模型放到/models/ControlNet

重新刷新webUI,就可以看到相应的模型了

controlNet耗内存应该挺高,我本地跑不起来,所以我直接在liblib里试验,liblib每天送300能量,大约能出100张图,随便用下足够了。

随便找了个涂鸦图

放了两个controlNet,其中一个选了涂鸦,第二个选了openPose
最后出的图和涂鸦里的姿势还算匹配

总结

**Stable Diffusion与ControlNet的安装与使用**
**安装前准备**:
为了能在Stable Diffusion中使用ControlNet,首先需要从提供的地址下载必要的扩展。该扩展是ControlNet功能集成的基础组件。
**下载模型**:
成功安装扩展后,下一步是下载所需的ControlNet模型。每个模型大约1.45G,用户可以根据个人需求选择下载。如果标准下载速度较慢,建议选择liblib作为下载源,虽然它提供的是全量模型,但能够加速下载过程。
**模型部署**:
下载完成后,要将模型文件放置在指定的`/models/ControlNet`目录下。然后,重新刷新Stable Diffusion的webUI界面,加载新增的ControlNet模型。
**内存及性能考虑**:
ControlNet功能相对耗费内存,因此如果在本地机器上运行有困难,可以考虑使用liblib这样的外部服务进行试验。liblib每天提供300能量的免费额度,大约能生成100张图片,满足一般使用需求。
**使用示例**:
在一个简单的测试中,用户选择了一张涂鸦图片,并利用ControlNet说明了涂鸦中的姿势。通过放置两个ControlNet模型,一个负责识别涂鸦,一个使用openPose技术解析姿势,最终生成的图片与涂鸦中的姿势保持了较好的匹配度。这表明ControlNet功能能够精确地识别图片内容并根据用户需求进行调整。

更新时间 2024-07-15