前言
最近发现一个很不错的sdwebui的插件,不仅能完成图片换脸,还能进行视频换脸,而且效果比之前的 faceid和reactor要好很多,更像更高清,哈哈,废话不多说,直接上干货~
插件是 easyPhoto,实测效果很不错,
插件介绍
EasyPhoto生成采用基于开源模型StableDiffusion + 人物定制Lora的方式 + ControlNet 的方式完成艺术照生成
1、使用人脸检测模型对输入的指定模板进行人脸检测(crop & warp)并结合数字分 身进行模板替换。 2、采用FaceID模型挑选用户输入的最佳ID Photo和模板照片进行人脸融 合(face fusion)。 3、使用融合后的图片作为基底图片,使用替换后的人脸作为control条件,加上数 字分身对应的Lora,进行图到图局部重绘生成。 4、采用基于StableDiffusion + 超分的方式进一步在保持ID的前提下生成高清 结果图。想了解具体技术细节的可以去git上看一下,这里主要是实战,哈哈~
插件安装
我用的 秋叶大神的 sd 集成包,安装直接如下 ,速度很快,哈哈
如图在版本管理中,选择【安装新扩展】,然后最下边输入 easyPhoto的git链接,然后点击安装,很快就会安装完成,安装完成会在列表中 有 easyPhoto,然后启动sdwebui可以看到如下
这就说明安装成功了,哈哈
好了接下来是使用
**训练lora人脸模型
**
简单说,easyPhoto是基于lora来固定人脸的,具体技术细节可以去看 文末的git地址,通过5-8张同一个人的不同脸部图片即可训练,如下图
点击 【upload photos】选择提前准备好的图片,我这选了8张,点击【start training】会弹出 userid ,需要写一个uerid,但是不能为中文,切记,否则报错,点击确定就开始训练了,第一启动会下载很多依赖模型,需要的等一会,不过不需要梯子,很快,哈哈
这边的参数,简单说一下,我一般使用模型,除了模型,哈哈
训练完成 会存储模型在 sd-webui-aki-v4.5\outputs\easyphoto-user-id-infos 文件夹下,文件名字就是你上边写的 userid,
使用模型
模型的使用场景很丰富,
1、Photo2Photo可以理解图生图换脸
给莫妮卡来张证件照
它还可以同时给两个人换脸,从左到右分别是user0id,user1id的脸
这就是换完的,哈哈
2、text2Photo,文生图,这部分大家自己试试吧
3、video2video这个是给视频换脸,最近我一直用这个做 抖音视频,哈哈
这个要注意 选择mp4,还有你的视频的长度,8真1s,如果你视频是10s,那就【Video Max num of frames】输入80,选择对应人脸lora开始 合成,看看我的效果
原视频
,时长00:13
换脸视频
,时长00:09
获取方式
我都给大家整理好了,有需要可以扫描下方二维码,免费获取
总结
### 文章总结#### 插件介绍
- **插件名称**:easyPhoto
- **核心功能**:支持图片和视频的人脸替换,效果高清且自然,优于传统的faceid和reactor。
- **技术原理**:
- 基于StableDiffusion模型和人物定制Lora技术。
- 结合ControlNet进行艺术照生成。
- 使用人脸检测模型进行模板人脸识别和替换。
- 利用FaceID模型实现人脸融合。
- 图到图局部重绘,结合超分技术生成高清结果。
#### 安装步骤
- **推荐安装包**:秋叶大神的sd集成包。
- **安装流程**:
1. 版本管理中选择“安装新扩展”,输入easyPhoto的Git链接进行安装。
2. 安装成功后,重启sdwebui,列表中出现easyPhoto即表示安装成功。
#### 使用方法
- **训练Lora人脸模型**:
- 准备5-8张同一人的不同脸部图片。
- 点击“upload photos”上传图片,点击“start training”启动训练。
- 输入非中文的userid作为模型标识符,模型训练完成后将存储在指定文件夹下。
- **应用场景**:
1. **Photo2Photo(图生图换脸)**:实现单人或多人图片的换脸功能。
2. **Text2Photo(文生图)**:支持文字描述生成图片(具体使用效果需自行尝试)。
3. **Video2Video(视频换脸)**:支持将训练好的Lora人脸模型应用到视频上,特别适用于制作抖音视频等。
- 需注意视频格式(mp4)和帧数(如10秒视频需设定80帧)。
#### 获取方式
- 提供了扫描二维码免费获取的方式,便于用户快速获取插件和相关资源。
### 结语
这篇文章详细介绍了easyPhoto插件的安装、使用方法及其在图片和视频换脸方面的强大功能。通过简单的操作步骤,用户可以轻松实现高清自然的换脸效果,并将其应用于多种场景。同时,文章也提供了扫描二维码的免费获取方式,方便用户进一步探索和使用这款强大的插件。