当前位置:AIGC资讯 > AIGC > 正文

Stable Diffusion使用ControlNet:IP-Adapter实现图片风格迁移

IP-Adapter 全称是 Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models(文本到图像扩散模型的文本兼容图像提示适配器),是腾讯研究院出品的一个新的ControlNet模型,旨在使预训练的文本到图像扩散模型能够生成具有图像提示的图像。

IP-Adapter是一种有效的轻量级适配器,用于实现预训练文本到图像扩散模型的图像提示能力。

IP-Adapter实现图片风格迁移示例

1、选择文生图

2、设置ControlNet unit 0的参数

添加一张图片作为参考风格。

Control Type:选择IP-Adapter Preprocessor:选择ip-adapter_clip_sd15 Model:选择ip-adapter_sd15_plus Control Weight:设置为1。

3、设置ControlNet unit 1的参数

这里选择Depth控制图片的结构,也可以使用lineart、canny、softedge等线条类模型。

Control Type:选择Depth Preprocessor:选择depth_midas Model:选择control_v11f1p_sd15_depth Control Weight:设置为1。

4、文生图参数设置

采样方式:选择DPM++ 2M Karras 迭代步数:设置为20 高度和宽度与ControlNet unit 1上传的图片保持一致

效果展示

Depth​​​​​ Lineart Canny SoftEdge

更新时间 2024-06-08