复现问题记录 | Stable Diffusion(LDM) (in python3)（一）

复现

环境

conda env create -f environment.yaml
根据environment.yaml创建一个叫ldm的新环境
其中报错是需要github下载的两个模型无法获取，通过VPN单独下载

Installing pip dependencies: \ Ran pip subprocess with arguments:
['/home/****/.conda/envs/ldm/bin/python', '-m', 'pip', 'install', '-U', '-r', '/mnt/****/****/latent-diffusion-main/condaenv.ie4dsr_m.requirements.txt']
Pip subprocess output:
Obtaining taming-transformers from git+https://github.com/CompVis/taming-transformers.git@master#egg=taming-transformers (from -r /mnt/****/****/latent-diffusion-main/condaenv.ie4dsr_m.requirements.txt (line 13))
  Cloning https://github.com/CompVis/taming-transformers.git (to revision master) to ./src/taming-transformers

Pip subprocess error:
ERROR: Command errored out with exit status 128: git clone -q https://github.com/CompVis/taming-transformers.git /mnt/****/****/latent-diffusion-main/src/taming-transformers Check the logs for full command output.
                                                                                                                                                       failed

CondaEnvException: Pip failed

#environment.yaml
...
  	- -e git+https://github.com/CompVis/taming-transformers.git@master#egg=taming-transformers
    - -e git+https://github.com/openai/CLIP.git@main#egg=clip
    - -e .

放到对应位置后还是不能用，再
pip install taming-transformers
以及
pip install clip
安装很流畅，现在可以正常运行了
可以看到，两个从github手动安装的模型放在这个路径
/home/user/.conda/envs/ldm/lib/python3.8/site-packages/xxx(taming, clip)/

比较疑惑的是如果第一次安装出了问题，想要重新装environment.yaml时，不知道如何利用environment更新已有环境。直接用上面的口令会报下面的错，搜索了很久没有找到解决方案。

CondaValueError: prefix already exists: /home/fangfei/.conda/envs/ldm

更新 解决方案
conda env update -n environment_name -f environment.yaml 即可依据environment.yaml更新环境
如果不指定-n则更新到environment.yaml中命名的环境中
参考链接

代码

util.py

def instantiate_from_config(config):
	...
	# 根据target位置，返回一个函数，对函数输入params中参数
	return get_obj_from_str(config["target"])(**config.get("params", dict()))
	
def get_obj_from_str(string, reload=False):
	module, cls = string.rsplit(".", 1)
	...
	return getattr(importlib.import_module(module, package=None), cls)

>>>class A(object):
...     bar = 1
... 
>>> a = A()
>>> getattr(a, 'bar')        # 获取属性 bar 值
1
>>> getattr(a, 'bar2')       # 属性 bar2 不存在，触发异常
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
AttributeError: 'A' object has no attribute 'bar2'
>>> getattr(a, 'bar2', 3)    # 属性 bar2 不存在，但设置了默认值
3
>>>

测试

测试的代码在./script/下

Text-to-Image

首先测试T2I功能，根据README.md
下载pre-trained weights (5.7GB)

mkdir -p models/ldm/text2img-large/
wget -O models/ldm/text2img-large/model.ckpt https://ommer-lab.com/files/latent-diffusion/nitro/txt2img-f8-large/model.ckpt

采样#1

# 官方采样指令
python scripts/txt2img.py 
		--prompt "a virus monster is playing guitar, oil on canvas" 
		--ddim_eta 0.0 
		--n_samples 4 
		--n_iter 4 
		--scale 5.0  
		--ddim_steps 50

This will save each sample individually as well as a grid of size n_iter x n_samples at the specified output location (default: outputs/txt2img-samples).

采样#2

python scripts/txt2img.py 
		--prompt "a painting of a virus monster playing guitar" 
       	--outdir ./outputs/txt2img-samples
        --plms
        --ckpt ./models/ldm/sd-v1-4.ckpt 
       	--ddim_steps 100 
        --H 512 
        --W 512 
        --seed 8

其中sd-v1-4.ckpt 在ComVis下载。按网页指引申请权限就可以获得了，很友好。

直接使用网页生成

stable diffusion