当前位置:AIGC资讯 > AIGC > 正文

AI绘画Stable Diffusion:超强InstantID插件—面部特征一致性风格保持与迁移,轻松搞定私人写真摄影,SDWebUI使用指南

大家好,我是设计师阿威

最近经常有同学问到AI绘画Stable Diffusion 关于风格迁移IPAInstant ID等安装和使用方法,内容虽基础但也属常用工具。因此,本文将核心介绍Instant ID 使用和墨幽人造人XL体验(这是一款可出图商用的写实摄影模型)。

Instant ID 是一个创新的无需调整的风格保持和迁移方法,能够结合了 ControlNetIP-Adapter 来控制扩散过程中的面部特征的风格迁移。Instant ID 的一个独特设计在于将IP-Adapter中投影的面部嵌入作为交叉注意力输入传递给 ControlNet unet,而非使用常规方法:ControlNet unet的交叉注意力输入是提示的文本嵌入。如下图所示:

Instant ID插件安装

Instant ID安装需要升级对应的sd-webui-controlnet插件,对应版本不低于v1.1.438。(插件下载请看下方扫描获取插件安装包哦)

模型下载

然后下载对应模型,并将其放置在 stable-diffusion-webui/models/ControlNet 目录下。同时需要将模型重命名为 ip-adapter_instant_id_sdxl.bin 和 control_instant_id_sdxl.safetensors,以便插件能够正确识别这两个模型

• IP-Adapter模型:https://huggingface.co/InstantX/InstantID/resolve/main/ip-adapter.bin?download=true

• ControlNet 模型:https://huggingface.co/InstantX/InstantID/resolve/main/ControlNetModel/diffusion_pytorch_model.safetensors?download=true

注意:该链接需科学上网,如无法下载安装,请扫描即可免费获取哦

Instant ID使用

在SD-WebUI 中使用InstantID插件需要设置两个模型。并且,需要牢记:应该始终将 ipadapter 模型始终设置为第一个模型,因为 ControlNet 模型需要接收 ipadapter 模型的输出作为后续输入。

Unit 0 设置

在 ControlNet 单元之前,必须设置 ip-adapter单元。IP-Adapter 单元输出的面部嵌入将作为下一个 ControlNet 单元的输入之一。

Unit 1 设置

ControlNet 单元接受包含面部5个关键点的关键点图,因此需要在Unit 1中使用keypoints选项。在这里可以使用与Unit 0中相同的人物的面部关键点,也可以不使用同一张面部图像作为输入。

另外,在官方文档中建议:将 CFG 设置为 4~5 以获得最佳结果。同时也提到,根据采样方法和基础模型这个数字可能会有所不同,但通常需要使用的 CFG 比例略低于正常的 CFG。同时还提到,如果将宽度x高度设置为1024*1024,那么生成水印、徽标的几率更高。这不能通过在负面提示中添加徽标水印关键词来纠正。可以通过设置其他宽度 x 高度值来避免这个问题。

Instant ID 体验

本小节中使用绘图配置为:

绘图模型:墨幽人造人XL

迭代步数:30

CFG:5

分辨率:888*1280

01. 蓝色写真

绘图模型:墨幽人造人XL模型

woman,moyou, solo, on side, dress, lying, black hair, blue dress, snow, blue eyes, blue theme, looking at viewer, bare shoulders, lips, hair ornament, bare arms, A Beautiful Chinese Woman, lora:DetailedEyes_XL_v3.0:1, lora:add-detail-xl:1,

02. 光影写真

绘图模型:墨幽人造人XL模型

chinese women,tan lines,deep photo,depth of field,Superia 400,shadows,messy hair,perfect face and body,dark,nighttime,dark photo,grainy,seductive smirk,((eyes closed)), lora:DetailedEyes_XL_v3.0:1, lora:add-detail-xl:1,

03. 水中写真

绘图模型:墨幽人造人XL模型

(masterpiece,best quality, ultra realistic,32k,RAW photo,detail skin, 8k uhd, dslr,high quality, film grain:1.5),close up portrait of a cute woman bathing in a river,(backlighting),lens flare,shade,bloom,[[chromatic aberration]],by Jeremy Lipking,by Antonio J. Manzanedo,digital painting, lora:DetailedEyes_XL_v3.0:1, lora:add-detail-xl:1, <lora:HK film style XL:1>

04. 动漫香港风

绘图模型:Dream Anime XL | 筑梦动漫XL模型

HK film style, close-up shot back view of an attractive woman wearing pink dress standing in front of a neon sign, neon orange lighting, in the style of Wong Kar Wai film, award-winning picture, highly detailed, ultra-high resolutions, 32K UHD, best quality, masterpiece, lora:DetailedEyes_XL_v3.0:1, lora:add-detail-xl:1, <lora:HK film style XL:1>

05. 霓虹动漫

绘图模型:Dream Anime XL | 筑梦动漫XL模型

HK film style,close-up shot side view of an attractive woman with glasses wearing black knitted crewneck leaning against the wall standing in front of a neon sign,neon red lighting,in the style of Wong Kar Wai film,award-winning picture,highly detailed,ultra-high resolutions,32K UHD,best quality,masterpiece, lora:DetailedEyes_XL_v3.0:1, lora:add-detail-xl:1, <lora:HK film style XL:1>

06. 香港风动漫-酒吧

绘图模型:Dream Anime XL | 筑梦动漫XL模型

HK film style, an attractive woman wearing fashion outfit sitting at a table inside a bar, her head leaning against her arm, gradient red-orange and blue neon lighting, dark environment, in the style of Wong Kar Wai film, award-winning picture, highly detailed, ultra-high resolutions, 32K UHD, best quality, masterpiece,  <lora:ip-adapter-faceid-plusv2_sdxl_lora:0.8>, <lora:DetailedEyes_XL_v3.0:1>, <lora:add-detail-xl:1>, <lora:HK film style XL:1>

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

若有侵权,请联系删除

总结

### 文章总结
本文由设计师阿威撰写,旨在解答关于AI绘画Stable Diffusion中风格迁移工具`Instant ID`及其配套插件、模型(墨幽人造人XL)的安装与使用方法。以下是主要内容的总结:
#### `Instant ID` 介绍
- **定义与特点**:`Instant ID` 是一个创新的风格迁移方法,结合了`ControlNet`和`IP-Adapter`,能够在保持面部特征的基础上实现风格迁移。
- **独特设计**:将`IP-Adapter`中投影的面部嵌入作为交叉注意力输入传递给`ControlNet unet`,以替代传统的文本嵌入方式。
#### Installation
- **插件安装**:需要升级`sd-webui-controlnet`插件至v1.1.438或更高版本。
- **模型下载**:
- IP-Adapter模型:[下载链接](https://huggingface.co/InstantX/InstantID/resolve/main/ip-adapter.bin?download=true)
- ControlNet模型:[下载链接](https://huggingface.co/InstantX/InstantID/resolve/main/ControlNetModel/diffusion_pytorch_model.safetensors?download=true)
- 模型放置路径为`stable-diffusion-webui/models/ControlNet`,并重命名以符合插件识别。
#### 使用方法
- **Unit 0设置**:前置设置IP-Adapter模型,输出面部嵌入作为后续输入。
- **Unit 1设置**:ControlNet模型接收面部关键点图,建议使用同一人的关键点或不同面部图。
- **参数建议**:
- CFG设为4~5以获得理想效果。
- 分辨率设置为避免水印和徽标生成,必要时调整尺寸。
#### 体验案例
展示了使用`墨幽人造人XL`绘图模型的多个风格例子,包括蓝色写真、光影写真、水中写真等,并给出了相应的配置参数和输入提示。
#### 未来展望与学习资源
- **AIGC技术的发展**:未来AIGC技术将在游戏和计算领域更加广泛应用,与人工智能技术结合,提升系统和应用的智能与灵活性。
- **学习资源**:
- 提供AIGC技术的学习路线整理。
- 必备工具的下载与使用方法。
- 详细的学习笔记和视频教程合集。
- 实战案例,鼓励动手操作。
文章不仅详述了`Instant ID`工具的使用,还展望了AIGC技术的发展前景,并提供了丰富的学习资源,旨在帮助读者从零基础到深入学习AIGC技术。

更新时间 2024-08-11