1、下载安装使用
官方网站https://github.com/AUTOMATIC1111/stable-diffusion-webui
跟着一步步安装就行(英文版的)
2、真人转二次元
下载控制插件Contro lnetGitHub - Mikubill/sd-webui-controlnet: WebUI extension for ControlNet
按照官方的安装方式安装
1、打开“扩展”选项卡。在选项卡中打开“从 URL 安装”选项卡。
2、输入“扩展的 git 存储库的 URL”https://github.com/mikubill/sd-webui-controlnet.git。
3、按“安装”按钮。等待5秒钟,
4、您将看到消息“ Installated into stable- 扩散-webui 扩展 sd-webui-control”。
5、使用“已安装”选项卡重新启动。
6、转到“安装”选项卡,点击“检查更新”,然后点击“应用并重新启动 UI”。
下载插件模型 https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main“control_vllfle_sd15_tile”https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main
放到stable-diffusion-webui\extensions\sd-webui-controlnet\models这个目录下
下载SD模型“全网首发│SHMILY古典炫彩_v1.0.safetensors”LiblibAI·哩布哩布AI-中国领先的AI创作平台
放到Stable_Diffusion\webui\models\Stable-diffusion文件夹里
开始绘制
首先上传图片,选择刚刚下载好的模型,点击反推关键词
设置采样方式,更改输出图片尺寸为原图尺寸,修改重回幅度为0.2-0.45
设置Control插件。打开Upload independent control image,并上传原图。启用并打开完美像素,控制类型选择Tile,选择我们刚刚下好的模型
最后点击生成,绘图就完成了
3、视频转换
3.1 参考视频安装软件和库,运行stage1,遇到报错暂NameError: name 'Loader' is not defined且'ffmpeg' 不是内部或外部命令,也不是可运行的程序
【Stable Diffusion】AI 动画 | Stable diffusion + EbSynth + ControlNet | 无闪烁AI动画_哔哩哔哩_bilibili
解决方法:将ffmpeg的bin文件夹下的这两文件放到SD的webui文件下,再次运行,生成帧成功(困扰了我好几天都没有解决办法,同时Temporal-Kit插件也能启用并显示UI)。模型参数细节还要调一下,大致步骤就是这样了
3.2 运行stage2抽取关键帧
修改为5和100
3.3 运行stage3,会告诉你接下来的操作
到img2img模块,上传一张清晰度比较好的原视频图,反推关键词,将Denoising strength调到0.35以下,打开controlnet选择模型,一个softedge,一个deepth,生成一张图看下效果
当你觉得生成的图片可以了,打开脚本选择ebsyth,项目目录为总目录,批量图转图
3.4 直接跳到stage5
点击生成会有.ebs文件
3.5 ebsynth 插帧
打开每个。ebs文件,点击runall
3.6 组合视频
最后stage7生成视频
4、 使用Temporal-Kit插件进行视频转换
4.1 在Temporal-kit的UI里导入视频
根据需要设置参数,这样会生成序列帧
4.2 批量处理帧
先跟上边一样生成一张,看下效果好不好,满意后批量处理。填上路径点击生成
需要把多余的文件夹删除 ,也可以在controlnet设置中关闭这个选项
4.3 预处理+重组视频
首先导入目录,放入main视频,接着设置参数,预处理
完成后打开ebsynth软件,将数字开头的文件夹里的frames和keys拖入计算,完成后点击上边的recombine ebsynth就能得到修改后的视频
5、AI换脸Roop插件
chttps://github.com/s0md3v/sd-webui-roop
【AI绘画】免费AI换脸神器,一键轻松换脸!Stable Diffusion超强插件Roop,教你安装与使用!_哔哩哔哩_bilibili
按官网教程安装还是报错,缺少很多东西。都是直接在pip里安装从E:\Anaconda\Lib\site-packages,在复制到E:\Python-file\Stable_Diffusion\system\python\Lib\site-packages里边,但是这个无法解决
下载inswapper_128.onnx模型放入webui/model/roop后,上边问题解决,出现新的问题
模型下载地址链接:https://pan.baidu.com/s/1mB4a4ob9Jon4q2FJ-zZdTQ
提取码:lbma