原文链接: ControlNet教程:无敌的Instant-ID换脸 使用方法(纯干货) (chinaz.com)
Instant ID 是 controlnet 比较新的一个模型,主要作用也是固定人物的面部特征。它可以仅通过一张图片进行完美换脸,可能是目前最强的脸部迁移模型。
Instant ID 技术在多个领域展现了其独特的优势,主要表现在以下几个方面:
1. 作为一种创新的ID保留方法,Instant ID 有效地解决了训练效率与ID保真度之间的矛盾。
2. 它具有可插拔性,与目前社区内的文生图基础模型、LoRAs、ControlNets等完全兼容,可以在推理过程中零成本地保持人物ID属性。同时,Instant ID 还保持了良好的文本编辑能力,使得ID可以平滑地嵌入到各种风格中。无论是添加装饰、改变发色还是更换套装,都能轻松应对。
3. 实验结果证明,Instant ID 不仅超越了目前基于单张图片特征进行嵌入的方法(如IP-Adapter-FaceID),而且在特定场景下与ROOP、LoRAs等方法相比也毫不逊色,且成本更低。
更详细的原理可以阅读Instant ID团队在 github 的解析:https://github.com/InstantID/InstantID
步骤一:使用前准备
如果你的 controlnet 没有 Instant ID 你需要到秋叶启动包更新一下扩展
此外,你还需要下载controlnet模型到本地的controlnet模型文件夹中
模型下载地址:
ipadapter model ControlNet model如果网络不好的话可以扫描右边的二维码加群获取,或者在esheep这个在线SD网站上体验
下载完还要改名字分别修改成 ip-adapter_instant_id_sdxl 和control_instant_id_sdxl,然后再放入这个文件夹中
步骤二:图生图设置
【大模型】必须上 SDXL 模型,因为目前 Instant ID 只支持 SDXL
我这里使用的是 DreamShaper XL V2.1 Turbo
该模型可以在 C 站上下载,访问不了的可以扫描右边二维码加入群聊获取
【采样方法】 DreamShaper XL V2.1 Turbo 模型必须使用 DPM++ SDE Karras
【采样步数】8
【尺寸】768*1024
【CFG 提示词相关性】大模型作者建议将CFG设置为 2,以获得最佳效果。
【重绘幅度】0.6
具体参数可以参考下图
步骤三:ControlNet 设置
你的第一个单元必须是 embedding 和 ip-adapter 的组合
第一个单元是获取人脸特征的模型
你的第二个单元必须是 keypoints 和 control-instant-id-sdxl 的组合
这个单元是作为替换模版,在图生图中你可以不上传图像,sd 会自动使用你上面图生图上传的图像作为模板
步骤三:点击生成
以上参数设置好后点击生成。效果非常的逼真,除了边缘有一些瑕疵,可以调整蒙版边缘模糊度改善
注意事项
参数不是固定的,需要参考你的大模型提示,在我使用的DreamShaper XL V2.1 Turbo大模型是按照以上参数设置 尽量选择高清的面部素材可以达到更好的换脸效果站长素材AI教程是站长之家旗下AI绘图教程平台
海量AI免费教程,每日更新干货内容
想要深入学习更多AI绘图教程,请访问站长素材AI教程网:
AI教程_深度学习入门指南 - 站长素材 (chinaz.com)
总结
**ControlNet教程:Instant-ID换脸使用指南(总结版)**---
### Instant-ID 概述
**Instant-ID** 作为controlnet的一项最新模型技术,在人物面部特征固定和完美换脸领域表现突出。它不仅能在保证高效率训练的同时保持高度的人物面部识别(ID)保真度,还具有高度的兼容性、灵活性与编辑性。Instant-ID 能够超越目前市面上诸多基于单图嵌入的技术(如IP-Adapter-FaceID),成本更低,性能更佳。
### 应用领域优势
1. **高效的ID保留技术**:平衡训练效率和ID保真的挑战。
2. **灵活的插件模式**:兼容各种基础模型和ControlNet系统,无需额外成本即可保留ID特征,同时保持对文本描述、发型颜色及服装更改的良好编辑响应性。
3. **卓越的实验成果**:与多个方法对比展现出其在多个场景下优越的成本效益比和性能表现。
### 使用前准备
1. **软件更新**:确保你的controlnet中包含最新的Instant-ID模块。若无,可通过秋叶启动包更新。
2. **模型下载与设置**:
- 前往指定下载地址或使用备选资源如加群或esheep网站,获取Instant-ID的模型和IPAdapter模型。
- 本地安装后,确保模型名称规范并放置到指定文件夹内(例如修改模型名称为ip-adapter_instant_id_sdxl 和 control_instant_id_sdxl)。
### 图生图与ControlNet 设置步骤
**步骤一:大模型选择及参数调整**
- 选择**DreamShaper XL V2.1 Turbo** 或兼容SDXL版本的大模型。
- 配置**采样方法**(如DPM++ SDE Karras),调整**采样步数**、**画布尺寸**及**CFG**参数以达到最优效果(参考值如:采样步数8、尺寸768x1024、CFG设为2等)。
**步骤二:ControlNet精细化设置**
- 第一控制单元选用**embedding和ip-adapter结合**模式以捕获目标人物的脸部特征。
- 第二单元利用**keypoints**搭配**control-instant-id-sdxl**,以实现无需重新上传模板图片的实时面部特征替换功能。
### 操作生成及调整
- 参数确认无误后,执行生成指令,观看成果。边缘微小瑕疵可借助调整蒙版模糊度改善。
- **注**:鉴于具体模型和图片特性的不同,建议适当灵活调整各类参数。
### 注意事项
- 实验过程中的最佳参数可随具体模型和用户需求不同有所差异。
- 确保面部素材源具有较高分辨率以获得最细腻的换脸效果。
- 想要学习更多深入知识和操作技巧,不妨访问**站长素材AI教程平台**等学习平台。
通过精心配置的Instant-ID技术,你能够实现几近无缝的自然换脸,感受技术赋能艺术的无尽可能。