在这个时代,我们习惯于拥有高清、色彩丰富的照片,然而,那些古老的黑白色老照片由于年代的久远,往往会出现模糊、破损等现象。
那么今天要给大家介绍的是,用 Stable Diffusion 来修复老照片。
前段时间 ControlNet 的除了上线了“IP-Adapter”模型以外还增加另一个叫“Recolor”的模型,它的作用就是给图片重新上色。通过“Recolor”,我们能够让那些古老的黑白色老照片重现生机,展现出它们原本应有的色彩和细节。
一、插件以及模型下载
本文需要用到的插件、脚本以及模型如下:
1. 在使用“Recolor”之前,需要将自己的 ControlNet 更新到最新版本并且需要下载相关模型:
模型下载链接: https://huggingface.co/lllyasviel/sd_control_collection/tree/main
2. 放大脚本“StableSR“安装。(可下可不下)
“StableSR”可以在“扩展”-“可下载”-搜索关键词“StableSR”直接安装。
脚本 Github 链接: https://github.com/pkuliyi2015/sd-webui-stablesr
使用“StableSR”脚本需要下载三个模型:
①“StabilityAI”的官方大模型,使用“StableSR”脚本必须要用的模型。(5.21GB)
(模型放入“sd-webui\models\Stable-diffusion”文件夹中)
模型链接: https://huggingface.co/stabilityai/stable-diffusion-2-1/tree/main
②需要用到的“VAE”模型。(745MB)
模型链接: https://drive.google.com/file/d/1ARtDMia3_CbwNsGxxGcZ5UP75W4PeIEI/view
③ “StableSR”脚本模型。(400MB)
(模型放入:“sd-webui\extensions\sd-webui-stablesr\models”文件夹中)
模型链接: https://huggingface.co/Iceclear/StableSR/blob/main/webui_768v_139.ckpt
3. “Multidiffusion”插件安装。(可下可不下)
同样可通过“扩展”-“可下载”-搜索关键词“Tiled diffusion”直接安装。
二、照片修复
1. 首先打开“Stable Diffusion”,在“ControlNet Unit 0”上传一张黑白老照片,然后“启用”ControlNet 并且勾选“完美像素模式”
2. 控制类型选择“Recolor”,预处理器选择“recolor_luminance”,然后模型会默认选上
3. 点击“ControlNet Unit 1”再把刚刚那张黑白照片上传上去,然后“启用”ControlNet 并且勾选“完美像素模式”
4. 控制类型选择“Depth”,预处理器选择“depth_zoe”,然后模型会自动选上
5. 设置好 ControlNet 之后,选择一个人物写实模型,然后在正向提示词里面可以写一些关于照片里面的内容,比如黑色西装、黑色头发、白色帽子等等,然后反向提示词放个通用的就可以,其实不写也行
6. 设置生成参数,生成参数可以根据自己的需求设置,尺寸这里建议设为跟照片同样的比例
7. 设置完以上参数之后,点击“生成”即可
我们可以看到从原来的黑白照片,变成了彩色照片,但是我们发现照片还是会有一些模糊。不过没事,可以尝试以下方法:
三、细节优化
1. 点击“后期处理”上传刚刚生成的彩色照片
2. 将“缩放比例”调为“1”,然后将“GFPGAN 可见程度”调为“1”
3. 设置完以上参数之后,点击“生成”即可
(如果觉得这样就 OK 了,那到这里就结束了,想让画面更清晰的,可以接着往下看)
我们可以看到脸部变清晰了,但是其他的地方还是会有一些模糊,不过没事,接下来我们可以使用“StablSR”脚本和“Multidiffusion”插件来让整张照片都变得更高清。
(下面的部分需要安装“StablSR”脚本和“Multidiffusion”插件和下载“StablSR”脚本的模型)
1. 将刚刚的图片发送到“图生图”
2. 选择“v2-1_768-ema-pruned.ckpt”大模型和“vqgan_cfw_00011_vae_only.ckpt”VAE 模型。(正向提示词和反向提示词可以不用写)
3. 设置生成参数,跟文生图参数保持一致就行
4. 启用“Tiled Diffusion”以及“Tiled VAE”,将“放大倍数”改为“1”,然后勾选“启用噪声反转”,其他的参数保持默认即可
5. 选择“StableSR”脚本,在“SR 模型”选择“webui_768v_139.ckpt”模型,然后“放大倍数”为“2”,勾选“纯噪声”
6. 设置好以上参数之后,点击“生成”即可
我们可以看到经过放大之后,照片变得更清晰更高清了。