当前位置:AIGC资讯 > AIGC > 正文

stable diffusion 插件篇(1)

前言:

首先要讲解的第一个超强插件是controlnet,跟着一起学习的小伙伴应该知道,如果仅是仅凭文生图或者是图生图的功能,想要生成的图片如自己所愿是比较有困难的,但是在sd里面,插件controlnet是可以做到帮助我们控制生图的,并且掌握controlnet也是我们用sd实现商业项目的第一步。

如果是用绘世启动器的最新版,controlnet是已经内置好了。

一、Controlnet

1.Controlnet是什么

它的底层逻辑和基本原理我就不赘述了,因为不是资深技术大佬看了也会发昏,简单总结一下就是,

ControlNet主要是在保持原有扩散模型生成能力的基础上,增加对生成过程的控制。它通过在扩散模型的架构中增加一些控制模块,使得模型不仅可以根据输入的数据生成结果,还可以根据我们指定的条件进行调整。

这种方法可以应用在各种生成任务中,比如图像生成、图像修复、图像编辑等,特别适合需要高精度和高控制度的应用场景。

ControlNet需要结合不同大模型使用,插件本身的模型用于控制单元计算。
ControlNet可以多单元组合应用,增强出图控制。
ControlNet可以控制人物姿势、线稿生图(多种风格可选)、老照片上色、光影艺术字、固定照片物体生图、固定景深生图等等。

2.Controlnet有什么用

ControlNet可以控制人物姿势、线稿生图(多种风格可选)、老照片上色、光影艺术字、固定照片物体生图、固定景深生图等等。

3.controlnet怎么用

1.第一部分就是Controlnet的单元,在这里可以打开几个Controlnet,一般打开点击下面的启用,就可以直接应用了。

2.第二是图片上传区域,是我们的参考图

3.第三部分是右下角的四个数字编码

1是创建一个画布

2-3是打开摄像头和调整

4.把上传的图片宽高同步到sd 的宽高参数(常用)

一般情况下启用框这里勾选启用、完美像素模式、允许预览。如果电脑显存不够,可以点击低显存模式。

控制类似和参数会放到下面来讲下面。

二、Controlnet-openpose

1.openpose是什么

OpenPose是一种用于人体姿态估计的工具,它可以从图像或视频中检测并提取人体的关键点,如头部、躯干、四肢等,从而了解人物的姿态信息。通过将OpenPose与ControlNet结合,可以实现对图像中人物姿态的精确控制和生成。

点击启用、完美像素模式、允许预览

控制类型选择openpose(姿态)

预处理模型点击小爆炸按钮,就可以显示出openpose提取到的预览图,头部、躯干、四肢等等。我们可以以此骨骼图,生成一个动作几乎一样的模特。

2.openpose怎么用

1.预处理器

在我们启用点击预览之后,系统会默认选择预处理器+模型,我们点开预处理器之后可以看到有很多个不同的选择。其实主要是分为以下几类:

可以看到不同的预处理是有不同的结果的,一般情况下 我们主要是选用最后一个,具体案例要根据自己实际需求来使用。

2.控制模式

1.均衡:生成模型会在提示词和ControlNet条件输入之间找到一个平衡点,使二者对生成结果的影响力大致相等。

2.更偏向提示词:生成模型会更倾向于根据提示词来生成图像,提示词的影响力较大,ControlNet条件输入的影响力相对较小。

3.更偏向controlnet:生成模型会更倾向于根据ControlNet的条件输入来生成图像,条件输入的影响力较大,而提示词的影响力相对较小。

3.缩放模式

1.仅调整大小:将输入条件的尺寸调整为目标图像的尺寸,不进行其他处理

2.裁剪后缩放:根据目标尺寸对输入条件进行裁剪,然后再将裁剪后的条件调整为目标尺寸。

3.缩放后填充空白:将输入条件按比例缩放到目标尺寸的一边,然后对另一边进行填充,以适应目标尺寸。

跟前面介绍过的缩放模式是一样的

4.权重&时机

控制权重:权重越高,ControlNet条件对生成结果的影响力就越大。

引导介入时机:引导介入时机决定了在生成图像的过程中,ControlNet条件输入开始生效的时间点(步骤)。生成图像过程通常是一个逐步优化的过程,这个参数决定了从哪一步开始应用ControlNet的条件。

早期介入(较早的步骤)通常意味着ControlNet条件会对图像的整体结构有更强的影响,晚期介入(较晚的步骤)可能只对图像的细节进行调整。

引导终止时机:引导终止时机决定了在生成图像的过程中,ControlNet条件输入停止生效的时间点(步骤)。这意味着在生成图像到达这个步骤后,模型将不再参考ControlNet的条件输入。

总结

### 总结:ControlNet插件在图像生成中的强大应用
**前言**
ControlNet是一款强大的插件,它为SQ扩散模型提供了前所未有的图像生成控制能力。区别于传统的文生图或图生图工具,ControlNet通过增加控制模块,使得用户不仅能基于输入数据生成图像,还能根据特定条件进行调整,极大地提升了图像生成的精度和控制度。对于希望利用SQ模型实现商业应用的用户来说,掌握ControlNet是至关重要的一步。
**一、ControlNet介绍**
- **是什么**:ControlNet建立在扩散模型的基础上,通过嵌入额外的控制模块,实现了对生成过程的细致调控。这种设计使得它能在图像生成、修复、编辑等多个领域发挥作用,特别适用于需要高精度控制的应用场景。

- **功能用途**:ControlNet支持多种图像生成和编辑功能,包括但不限于控制人物姿势、基于线稿生成多种风格的图片、老照片上色、光影艺术字创建、固定物体位置和景深生成等。
- **使用方法**:
1. **启用ControlNet单元**:在工具中开启并启用相应的ControlNet单元。
2. **上传参考图**:在指定区域上传用于指导生成的参考图片。
3. **调整参数**:通过调整底部的数字编码和启用选项,如完美像素、预览等,以及根据需要设置缩放模式和控制权重等参数。
**二、ControlNet与OpenPose结合**
- **OpenPose介绍**:作为一种人体姿态估计工具,OpenPose能够检测图像或视频中的人体关键点,从而精确提取和分析人物的姿态信息。与ControlNet结合后,用户能够基于提取的人体姿态信息,生成具有相同或类似姿态的图像。

- **使用方法**:
1. **启用OpenPose预处理**:在选择ControlType为姿态后,启用OpenPose预处理器,并预览关键点信息。
2. **调整控制模式和缩放模式**:根据需要选择合适的控制模式(均衡、偏向提示词或ControlNet)和缩放模式(调整大小、裁剪后缩放或缩放后填充空白)。
3. **设置权重和时机**:调整ControlNet的权重和引导介入/终止时机,以获得期望的图像生成效果。
通过以上步骤,用户可以灵活地利用ControlNet及其配套工具(如OpenPose),实现更加精细和符合需求的图像生成与控制。无论是商业项目还是个人创作,ControlNet都将成为不可或缺的强大助力。

更新时间 2024-07-26