利用Lama Cleaner本地实现AIGC试玩：擦除对象、替换对象、更换风格等等

目录

Lama Cleaner是一个免费的、开源的、完全自托管的修复工具，里面提供了很多最前沿的AIGC模型。可以使用它从图片中删除任何不需要的物体、缺陷、人物，或删除和替换图片上的任何内容。本文章详细介绍了该工具的所有功能，并体验了下每个功能的实际效果。

github：https://github.com/Sanster/lama-cleaner

官方使用文档：https://lama-cleaner-docs.vercel.app/

一、安装

# 如果电脑带GPU，为了使用GPU首先安装与cuda版本相对应的pytorch，比如cuda11.7的
pip install torch==1.13.1+cu117 torchvision==0.14.1 --extra-index-url https://download.pytorch.org/whl/cu117

# pip直接安装
pip install lama-cleaner

本文安装时版本更新到1.2.4

二、擦除功能

下方擦除功能所需要的模型全部上传至夸克网盘（链接：https://pan.quark.cn/s/370b455924ab，提取码：SNrE），在github下载失败时可手动网盘下载至规定路径。

找到lama-cleaner.exe的路径：C:\Users\zhouying\AppData\Roaming\Python\Python39\Scripts（不同电脑路径不同）

cd C:\Users\zhouying\AppData\Roaming\Python\Python39\Scripts

lama-cleaner --model=lama --device=cuda --port=8080

device如果没有gpu：--device=cpu。

该命令会自动下载AI模型到本地（也可手动下载big-lama.pt到下图红框中的路径），然后浏览器打开http://localhost:8080/就可以使用了。

1. LaMa模型

github：https://github.com/saic-mdal/lama

paper：Resolution-robust Large Mask Inpainting with Fourier Convolutions

lama是默认模型，模型196MB，性能已经挺不错了。

实操实例一：去除路人

实操实例二：去水印

涂抹过程中可以长按Ctrl键进行多处涂抹

实操实例三：老照片修复

可以在网页中选择不同的AI模型或在命令行中选择不同模型（下方章节），这样都会自动下载相应的模型到本地。

2. LDM模型

github：https://github.com/CompVis/latent-diffusion

paper：High-Resolution Image Synthesis with Latent Diffusion Models

lama-cleaner --model=ldm --device=cuda --port=8080

LDM模型手动下载链接：diffusion.pt、cond_stage_model_decode.pt、cond_stage_model_encode.pt

LDM vs LaMa

3. ZITS模型

github：https://github.com/DQiaole/ZITS_inpainting

paper：Incremental Transformer Structure Enhanced Image Inpainting with Masking Positional Encoding

lama-cleaner --model=zits --device=cuda --port=8080

ZITS模型手动下载链接：zits-wireframe-0717.pt、zits-edge-line-0717.pt、zits-structure-upsample-0717.pt、zits-inpaint-0717.pt

ZITS vs LaMa

4. MAT模型

github：https://github.com/fenglinglwb/MAT

paper：Mask-Aware Transformer for Large Hole Image Inpainting

lama-cleaner --model=mat --device=cuda --port=8080

MAT模型手动下载链接：Places_512_FullData_G.pth

特点：MAT可实现大面积像素缺失的补全和提供多样性生成

5. FcF模型

github：https://github.com/SHI-Labs/FcF-Inpainting

paper：Keys to Better Image Inpainting: Structure and Texture Go Hand in Hand

lama-cleaner --model=fcf --device=cuda --port=8080

FcF模型手动下载链接：places_512_G.pth

FcF vs LaMa

6. Manga模型

github：https://github.com/msxie92/MangaInpainting

paper：Seamless Manga Inpainting with Semantics Awareness

lama-cleaner --model=manga --device=cuda --port=8080

Manga模型手动下载链接：erika.jit、manga_inpaintor.jit

特点：在漫画图像上表现的比LaMa模型效果更好

三、替换对象功能

1. sd1.5

github：https://github.com/runwayml/stable-diffusion

hugging face：https://huggingface.co/runwayml/stable-diffusion-inpainting

因为需要访问hugging face，所以需要魔法

lama-cleaner --model=sd1.5 --device=cuda --port=8080

自动下载的文件保存路径为C:\Users\zhouying\.cache\huggingface\hub\models--runwayml--stable-diffusion-inpainting。

可以先下载sd-v1-5-inpainting.ckpt到本地，然后下面的命令运行

lama-cleaner --model=sd1.5 --device=cuda --port=8080 --sd-local-model-path ./sd-v1-5-inpainting.ckpt --local-files-only

2. sd2

github：https://github.com/Stability-AI/stablediffusion

hugging face：https://huggingface.co/stabilityai/stable-diffusion-2-inpainting

lama-cleaner --model=sd2 --device=cuda --port=8080

下载的文件保存在C:\Users\zhouying\.cache\huggingface\hub\models--stabilityai--stable-diffusion-2-inpainting

3. anything4

hugging face： https://huggingface.co/andite/anything-v4.0

lama-cleaner --model=anything4 --device=cuda --port=8080

下载的文件保存在C:\Users\zhouying\.cache\huggingface\hub\models--Sanster--anything-4.0-inpainting

4. realisticVision1.4

hugging face：https://huggingface.co/SG161222/Realistic_Vision_V1.4

lama-cleaner --model=realisticVision1.4 --device=cuda --port=8080

下载的文件保存在C:\Users\zhouying\.cache\huggingface\hub\models--Sanster--Realistic_Vision_V1.4-inpainting

5. 四个模型的对比

原图：

涂抹图中小狗，然后prompt输入“a fox sitting on a bench”的输出如下：

同时，这些模型同样能提供擦除功能，只需将prompt填写为“background”

四、进阶版功能

1. Paint By Example

这个模型的输入是一张图片，模型会由这个示例图指导生成类似的内容。

github：https://github.com/Fantasy-Studio/Paint-by-Example

paper：Paint by Example: Exemplar-based Image Editing with Diffusion Models

lama-cleaner --model=paint_by_example --device=cuda --port=8080

下载的文件保存在C:\Users\zhouying\.cache\huggingface\hub\models--Fantasy-Studio--Paint-by-Example

2. Stable Diffusion with ControlNet

使用ControlNet可以获得更好的修复效果，命令如下：

lama-cleaner --model=sd1.5 --sd-controlnet --sd-controlnet-method control_v11p_sd15_inpaint --device=cuda --port=8080

--model支持的参数有：

--sd-controlnet-method支持的参数有：

官方提示，这四种方法在应用时都需要适当地调整ControlNet Weight的数值，建议canny和openpose从0.4开始调整，inpaint和depth从1.0开始调整。

尝试了一下，加了个ControlNet也没好多少，可能weight值还没调好。

3. Instruct Pix2pix

这个模型可以不用mask，而是直接输入prompt

github：https://github.com/timothybrooks/instruct-pix2pix

paper：InstructPix2Pix: Learning to Follow Image Editing Instructions

lama-cleaner --model=instruct_pix2pix --device=cuda --port=8080

拿张图试玩一下，效果挺不错的。