一、前言
是的,现在是202308月份了,网上已经有很多打包好的工具,或者直接进一个web就能用SD的功能,但是我们作为程序员,就应该去躺坑,这样做也是为了能够有更多自主操作的空间。
像其他AI一样,先出结果才是王道,所以先不直接搞SD源码或者命令行,而是先用起来,后面再去进一步研究原理,目前最火热的莫不过是这个项目了:
GitHub - AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI
这篇博客就是本地部署这个项目,搞一下中文插件,然后随便出一张图,当然是有很多坑才会去写博客。
有一个坑一直没过去,就是如果整体环境没完全装好,但是使用我自己提前创建的python虚拟环境来启动SD启动脚本stable-diffusion-webui/webui-user.bat,期间会因为某些原因(比如没梯子东西下载不下来)启动失败,但是第二次启动时就会报没有pip模块的错误,我就只能重新创建python虚拟环境,再装一遍包,这个过程很漫长很浪费时间,所以一定跟着我的脚步,一步不要落下的走,心急吃不了热豆腐(目前经过我大量的失败和探索,终于解决这个问题,见下面第五节)。
二、环境版本库的安装
这个还真挺重要的,最好和项目保持一样的环境,不然出错也不一定网上有支持,这里我首先声明我用的SD版本是目前最新的,git号为50973ec77c297edc3b3c581e871b970dde1af8ba,如果后面过段时间可能会变化,那我们也相应的变化;
我是在搭建环境过程中,发现一个有关于环境版本的一个文件:stable-diffusion-webui/modules/launch_utils.py里面的prepare_environment函数截图如下:
可以看出我们需要安装cuda版本为11.8,torch版本为2.0.1,torchvision版本为0.15.2;
从github的README.md可知,python版本为3.10;
从stable-diffusion-webui/requirements_versions.txt可知项目依赖的python包名和对应版本;
cuda的安装是没啥说的,python安装建议用anaconda,anaconda版本一定要够新保证支持py310,然后就是安装python包,我个人比较喜欢离线下一些包,百度搜pipy然后搜对应包名,下载对应版本即可,然后用bat脚本安装,脚本如下(有一个xformers在requirements_versions.txt没见到,但是在其他地方用到了,还是提前安装,毕竟这个包挺大):
@echo off
call activate sd
cd /d G:\python310_win_whl
pip install llvmlite-0.40.1-cp310-cp310-win_amd64.whl
pip install numpy-1.23.5-cp310-cp310-win_amd64.whl
pip install numba-0.57.1-cp310-cp310-win_amd64.whl
pip install pandas-2.0.3-cp310-cp310-win_amd64.whl
pip install Pillow-9.5.0-cp310-cp310-win_amd64.whl
pip install safetensors-0.3.1-cp310-cp310-win_amd64.whl
pip install scipy-1.11.1-cp310-cp310-win_amd64.whl
pip install scikit_image-0.20.0-cp310-cp310-win_amd64.whl
pip install "torch-2.0.1+cu118-cp310-cp310-win_amd64.whl"
pip install "torchvision-0.15.2+cu118-cp310-cp310-win_amd64.whl"
pip install xformers-0.0.20-cp310-cp310-win_amd64.whl
cd /d G:\python_whl
pip install GitPython-3.1.30-py3-none-any.whl
pip install accelerate-0.18.0-py3-none-any.whl
pip install basicsr-1.4.2.tar.gz
pip install blendmodes-2022-py3-none-any.whl
pip install clean_fid-0.1.35-py3-none-any.whl
pip install einops-0.4.1-py3-none-any.whl
pip install fastapi-0.94.0-py3-none-any.whl
pip install gfpgan-1.3.8-py3-none-any.whl
pip install gradio-3.32.0-py3-none-any.whl
pip install httpcore-0.15.0-py3-none-any.whl
pip install inflection-0.5.1-py2.py3-none-any.whl
pip install jsonmerge-1.8.0.tar.gz
pip install kornia-0.6.7-py2.py3-none-any.whl
pip install lark-1.1.2-py2.py3-none-any.whl
pip install omegaconf-2.2.3-py3-none-any.whl
pip install open_clip_torch-2.20.0-py3-none-any.whl
pip install piexif-1.1.3-py2.py3-none-any.whl
pip install psutil-5.9.5.tar.gz
pip install pytorch_lightning-1.9.4-py3-none-any.whl
pip install realesrgan-0.3.0-py3-none-any.whl
pip install resize_right-0.0.2-py3-none-any.whl
pip install timm-0.6.7-py3-none-any.whl
pip install tomesd-0.1.2-py3-none-any.whl
pip install torchdiffeq-0.2.3-py3-none-any.whl
pip install torchsde-0.2.5-py3-none-any.whl
pip install transformers-4.25.1-py3-none-any.whl
pause
三、修改url地址(梯子强可不改)
还是stable-diffusion-webui/modules/launch_utils.py里面的prepare_environment函数,有很多如下类似的语句:
gfpgan_package = os.environ.get('GFPGAN_PACKAGE',
"https://github.com/TencentARC/GFPGAN/archive/8d2447a2d918f8eba5a4a01463fd48e45126a379.zip")
如果没有梯子,这里很慢或者根本过不去,所以参考 慢网救星!两步操作加快stable diffusion本地部署速度 - 哔哩哔哩 来做修改,首先把这些项目都搞到gitee上面去,最好设置成开源项目,然后launch_utils.py的内容修改如下(其中#注释的就是原始内容,放在这好对比着看):
#gfpgan_package = os.environ.get('GFPGAN_PACKAGE', "https://github.com/TencentARC/GFPGAN/archive/8d2447a2d918f8eba5a4a01463fd48e45126a379.zip")
gfpgan_package = os.environ.get('GFPGAN_PACKAGE', "git+https://gitee.com/luo_zhi_cheng/GFPGAN.git@8d2447a2d918f8eba5a4a01463fd48e45126a379")
#clip_package = os.environ.get('CLIP_PACKAGE', "https://github.com/openai/CLIP/archive/d50d76daa670286dd6cacf3bcd80b5e4823fc8e1.zip")
clip_package = os.environ.get('CLIP_PACKAGE', "git+https://gitee.com/luo_zhi_cheng/CLIP.git@d50d76daa670286dd6cacf3bcd80b5e4823fc8e1")
#openclip_package = os.environ.get('OPENCLIP_PACKAGE', "https://github.com/mlfoundations/open_clip/archive/bb6e834e9c70d9c27d0dc3ecedeebeaeb1ffad6b.zip")
openclip_package = os.environ.get('OPENCLIP_PACKAGE', "git+https://gitee.com/luo_zhi_cheng/open_clip.git@bb6e834e9c70d9c27d0dc3ecedeebeaeb1ffad6b")
#stable_diffusion_repo = os.environ.get('STABLE_DIFFUSION_REPO', "https://github.com/Stability-AI/stablediffusion.git")
stable_diffusion_repo = os.environ.get('STABLE_DIFFUSION_REPO', "https://gitee.com/luo_zhi_cheng/stablediffusion")
#stable_diffusion_xl_repo = os.environ.get('STABLE_DIFFUSION_XL_REPO', "https://github.com/Stability-AI/generative-models.git")
stable_diffusion_xl_repo = os.environ.get('STABLE_DIFFUSION_XL_REPO', "https://gitee.com/luo_zhi_cheng/generative-models")
#k_diffusion_repo = os.environ.get('K_DIFFUSION_REPO', 'https://github.com/crowsonkb/k-diffusion.git')
k_diffusion_repo = os.environ.get('K_DIFFUSION_REPO', 'https://gitee.com/luo_zhi_cheng/k-diffusion')
#codeformer_repo = os.environ.get('CODEFORMER_REPO', 'https://github.com/sczhou/CodeFormer.git')
codeformer_repo = os.environ.get('CODEFORMER_REPO', 'https://gitee.com/luo_zhi_cheng/CodeFormer')
#blip_repo = os.environ.get('BLIP_REPO', 'https://github.com/salesforce/BLIP.git')
blip_repo = os.environ.get('BLIP_REPO', 'https://gitee.com/luo_zhi_cheng/BLIP')
四、下载最基础模型
这是启动脚本就会让你下载的模型,因为如果下载过程中失败了,就很痛苦,很多事情需要重来,这里我们也选择手动下载,下载地址为(如果版本更新了,请找到modules\sd_models.py中的model_url = "https://xxx):https://huggingface.co/runwayml/stable-diffusion-v1-5/resolve/main/v1-5-pruned-emaonly.safetensors
手动下载好之后,放在stable-diffusion-webui/models/Stable-diffusion目录下即可;
五、修改启动脚本
启动脚本为stable-diffusion-webui/webui-user.bat,参数如下:
set PYTHON=D:\Soft\Anaconda3\envs\sd\python.exe
::set PYTHON=D:\Soft\Anaconda3\envs\sd\Scripts\python.exe
set GIT=
set VENV_DIR=D:\Soft\Anaconda3\envs\sd
set COMMANDLINE_ARGS=--xformers
:: --medvram 中等显存模式,牺牲一些速度,4G显存建议使用
:: --lowvram 低显存模式,牺牲大量速度,如果--medvram还是爆显存再用这个
:: --precision full --no-half 不使用半精度模式,GTX 16系显卡需要使用
:: --autolaunch 自动启动,服务启动成功后自动打开浏览器。
其中COMMANDLINE_ARGS可选参数在modules/cmd_args.py,具体参数怎么选可以多百度,这里不同显存的显卡参数都是有差异的,需要因人而异;
这里说一下我一直以来遇到的问题,但是网上我却找不到解决办法,还是我大量测试解决了,就是我每次第一次双击启动脚本stable-diffusion-webui/webui-user.bat能够正常启动,但是第二次启动就会报如下错误:
看到我webui-user.bat里面写了两个"set PYTHON"没,第一次启动时注释掉第二行的"set PYTHON",后面每一次启动都注释掉第一行的"set PYTHON"即可。
六、中文设置
上面全部搞定后,就双击启动脚本stable-diffusion-webui/webui-user.bat,命令行你等它一步步执行,只要没报错,几分钟就会出现一个类似的地址http://127.0.0.1:7860,复制该地址到网页中就打开了stable-diffusion-webui界面,大致界面如下图:
现在设置中文插件,点击Extensions->画面切换后点击Install from URL->填入https://gitee.com/luo_zhi_cheng/stable-diffusion-webui-localization-zh_Hans->点击橙色按钮Install->点击Settings->画面切换后点击Reload UI
重启webui后,点击Settings->画面切换后点击右边的"User interface"->选择Localization那里的"zh-Hans (Testing)"->然后点击橙色按钮"Apply settings"->最后点击Reload UI。
重启webui后,就应该是中文界面了,如下图:
七、第一幅画
第一次画简单一点,在prompt那里随便填一个动物,比如dragon,等待一会(进度条可以看命令行)就出图啦。