当前位置:AIGC资讯 > AIGC > 正文

Stable Diffusion的本地部署、训练和使用

1.环境信息

显卡:NVIDIA GeForce RTX 3060 Laptop GPU

系统:Windows 11

CUDA版本:11.6

Python.exe版本:3.10.6

GPU挂载运行

2.实验内容

2.1 本地部署

1)从官网 Python 3.10.6下载安装Python 3.10.6,安装位置可自选(较新版本的Python不支持Torch),安装时勾选“Add Python to environment variables”,如下图:

2)下载CUDA toolkit和cuDNN。分别登录官网:cudnn,cuda-toolkit,下载适配本机系统环境的版本。比如我下载的是11.6版本,需要注意的是CUDA是从11.4.3版本之后才开始适配Windows11。如果已经安装过CUDA这一步可以跳过。安装和配置环境变量过程如下图所示:1

以下命令用于检验是否下载配置成功:

3)从GitHub下载stabled diffusion,保存到本地,下面以本机地址D:\stable-diffusion-webui为例。在终端进入该下载目录,运行下图所示命令:

安装脚本会自动创建Python虚拟环境,并开始下载安装缺失的依赖库。这个过程可能会有点久,请耐心等待。如果中途安装失败,多半是网络连接超时,此时可以重新执行安装脚本,脚本会接着上次的下载安装位置继续安装。直到看到下图所示网址说明配置成功,复制该网址到任意浏览器打开即可:

2.2 Stable Diffusion的使用

1)界面介绍

Stable Diffusion整体上可如下图所示分区:

其中tab栏的各个功能项说明如下:

txt2img :根据文本提示生成图像;

img2img :根据提供的图像作为范本、结合文本提示生成图像;

Extras :优化(清晰、扩展)图像;

PNG Info : 显示图像基本信息;

Checkpoint Merger : 模型合并;

Train : 根据提供的图片训练具有某种图像风格的模型;

Settings : 系统设置;

2)模型资源

下面列出了最常用的Stable Diffusion预训练模型资源网站:

I. Hugging Face:Stable Diffusion模型创作的首选平台

II.Civitai:专为Stable Diffusion AI艺术模型设计的网站

可以从上述网站下载感兴趣的模型,然后保存到stable-diffusion-webui\models目录下的对应模型文件夹中即可使用:

3.遇到的问题和解决方法

本次部署较为成功,主要的问题在部署之后的训练和使用中。首先是对于模型的不理解,比如模型有不同的类型,下载了模型不知道如何使用。其次就是对于参数不太清晰。最后的解决方法就是不断地查阅手册,翻看博客,以及不断地修改参数、模型去尝试生成图片。

4.参考:

Stable Diffusion教程-CSDN博客

Stable Diffusion参数 - 知乎 

Stable Diffusion 常用模型下载与说明- 知乎

Stable Diffusion web UI (github.com)

stablediffusion(github.com)

Stable Diffusion - wikipedia.org

更新时间 2024-06-07