IP-Adapter 全称是 Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models(文本到图像扩散模型的文本兼容图像提示适配器),是腾讯研究院出品的一个新的ControlNet模型,旨在使预训练的文本到图像扩散模型能够生成具有图像提示的图像。
IP-Adapter是一种有效的轻量级适配器,用于实现预训练文本到图像扩散模型的图像提示能力。
IP-Adapter实现图片风格迁移示例
1、选择文生图
2、设置ControlNet unit 0的参数
添加一张图片作为参考风格。
Control Type:选择IP-Adapter Preprocessor:选择ip-adapter_clip_sd15 Model:选择ip-adapter_sd15_plus Control Weight:设置为1。3、设置ControlNet unit 1的参数
这里选择Depth控制图片的结构,也可以使用lineart、canny、softedge等线条类模型。
Control Type:选择Depth Preprocessor:选择depth_midas Model:选择control_v11f1p_sd15_depth Control Weight:设置为1。