Midjonery使用简单，效果出色，不过需要付费。本文将介绍完全开源的另一款产品StableDiffusion，它的社区目前非常活跃，各种插件和微调模型都非常多，而且它无需付费注册，没有速度、网络限制，非常推荐一试。
目前主流AI绘画产品：
产品 优点 缺点 StableDiffusion StablityAI公司开源、免费，可本地部署，生成速度快，社区活跃，各种插件和微调模型丰富 部署相对较难 DALL-E2 OpenAI公司产品，未开源 未开源，社区不够活跃 Midjounery 部署在Discord社区，社区活跃，使用简单 未开源，需付费使用，需魔法SD效果展示
提示词参数：
prompt: Best quality,masterpiece,ultra high res,photorealistic:1.4,1boy,sunlight,magazine cover,
Negative prompt: ng_deepnegative_v1_75t,badhandv4 (worst quality:2),(low quality:2),(normal quality:2),lowres,bad anatomy,bad hands,normal quality,((monochrome)),((grayscale)),, ng_deepnegative_v1_75t, badhandv4 (worst quality:2), (low quality:2), (normal quality:2), lowres, bad anatomy, bad hands, normal quality, ((monochrome)), ((grayscale)):
Steps: 28, Size: 1024x1536, Seed: 141880510, Model: 2.8D_9.fp16, Sampler: DPM++ 2M Karras, CFG scale: 11几种使用stable diffusion的途径
1、在线云服务部署
从最开始的google colab，到现在很多国内的云服务商比如阿里云。都在推出stable diffusion相关的服务，按算力付费，新人注册可以免费体验，优点就是方便
2、市场上基于SD封装的产品
比如liblibAI，体验下来效果还不错，方便易上手，社区活跃；缺点是受制于平台，免费的很慢。
阿里云部署步骤
创建一个新实例
选择stablediffusion镜像:stable-diffusion-webui-env:pytorch1.13-gpu-py310-cu117-ubuntu22.04（可以看出其部署的环境要求）
进入workspace，创建sd文件夹，并下载stable-diffusion-webui源码
git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git
cd stable-diffusion-webui
git checkout a9fed7c364061ae6efb37f797b6b522cb3cf7aa2
cd repositories
git clone https://github.com/sczhou/CodeFormer.git有可能会连接github超时，需要多试几次
安装pip，并替换为国内源
sudo apt-get install python3-pip
pip config set global.index-url https://mirrors.aliyun.com/pypi/simple这里注意：我开始使用清华源报错找不到tb-nightly，需要切换到阿里源
安装webui所需要的依赖包
cd stable-diffusion-webui
pip install -r requirements_versions.txt
pip install -r requirements.txt下载常用插件
cd extensions
git clone https://gitcode.net/mirrors/DominikDoom/a1111-sd-webui-tagcomplete.git
git clone https://gitcode.net/ranting8323/stable-diffusion-webui-localization-zh_CN
wget -c http://pai-vision-data-sh.oss-cn-shanghai.aliyuncs.com/aigc-data/webui_config/config.jsona1111-sd-webui-tagcomplete：tag自动补全插件，非常好用
stable-diffusion-webui-localization-zh_CN：是汉化插件
下载 chilloutmix 大模型,是一个爆火的真人模型
cd models/Stable-diffusion
wget -c https://huggingface.co/naonovn/chilloutmix_NiPrunedFp32Fix/resolve/main/chilloutmix_NiPrunedFp32Fix.safetensors -O chilloutmix_NiPrunedFp32Fix.safetensors下载基础推理模型lora
cd .. && mkdir Lora && cd Lora
wget -c https://huggingface.co/Kanbara/doll-likeness-series/resolve/main/koreanDollLikeness_v10.safetensors下载codeformer 面部修复模型(非必须)，这个地方我下了好多次，太慢了，提醒自己耐心再耐心
cd ../Codeformer/
wget -c http://pai-vision-data-hz.oss-cn-zhangjiakou.aliyuncs.com/EasyCV/datasets/try_on/codeformer-v0.1.0.pth
cd /stable-diffusion-webui/repositories/CodeFormer/weights/facelib
wget -c https://github.com/xinntao/facexlib/releases/download/v0.1.0/detection_Resnet50_Final.pth下载embeddings
cd ../../embeddings
wget -c http://pai-vision-data-hz.oss-cn-zhangjiakou.aliyuncs.com/EasyCV/datasets/try_on/ng_deepnegative_v1_75t.pt启动服务
cd ..
python3 -m venv --system-site-packages --symlinks venv
sed -i 's/can_run_as_root=0/can_run_as_root=1/g' webui.sh && ./webui.sh踩坑经验
这里有几个重要的原则
遇到各种报错，先找到trace最后的根本问题，80%是各种依赖的版本问题 任何问题都可以尝试去sd官方github的issue中寻找解决办法： 一半的问题是网络问题，保持耐心再耐心比如我碰到的如下几个问题，分别都在issue中找打了解决办法。
Q1：pydantic版本问题
Q2：torch版本问题
Q3：fastapi版本问题
Q4,生成成功，但是页面展示不了，检查后台报错
Q5，使用面部修复模型失败
解决：重新下载codeformer模型
按上述一步步排错修改后，最终看到了启动成功！感动到想哭
AI模型技术
AI绘画技术的发展历程经历了从GAN（生成式对抗网络）到自回归生成，再到目前的扩散（diffusion）模型+CLIP生成阶段，已经具备了强大的能力。
模型 特点 GAN 上一代图像生成技术，通过生成器和判别器的对抗训练提升绘画，稳定性比较差 自回归 基于transformer提升稳定性和效果，但训练成本高速度慢 扩散模型 显著提升稳定性和出图效率，结合CLIP可应用于跨模态图像生成。当前主流下图展示的AI绘画发展史，2021开始的主流的AI绘画模型基本都运用了扩散模型
Diffusion 扩散模型
扩散模型简单理解可以分为加噪和去噪的过程，或者说，是一个有码到无码”的艺术。
它通过定义一个马尔可夫链，通过连续向数据添加随机噪声，直到得到一个纯高斯噪声数据，然后再学习逆扩散的过程，经过反向降噪推断来生成图像。整个过程是逐步优化的，确保了模型的可控性和稳定度。
CLIP（Contrastive Language-image Pre-training）
CLIP 是文本-图像跨模态预训练模型，它的训练过程可以简单理解为给图片加上文字说明。
其实现方式可以类别前两篇介绍利用LLM实现私有知识库文章提到的embedding技术，也是先将描述文字向量化，找到关联的图片向量，反向生成。
这里直接将该软件分享出来给大家吧~
1.stable diffusion安装包
随着技术的迭代，目前 Stable Diffusion 已经能够生成非常艺术化的图片了，完全有赶超人类的架势，已经有不少工作被这类服务替代，比如制作一个 logo 图片，画一张虚拟老婆照片，画质堪比相机。
最新 Stable Diffusion 除了有win多个版本，就算说底端的显卡也能玩了哦！此外还带来了Mac版本，仅支持macOS 12.3或更高版本。
2.stable diffusion视频合集
我们在学习的时候，往往书籍源码难以理解，阅读困难，这时候视频教程教程是就很适合了，生动形象加上案例实战，一步步带你入坑stable diffusion，科学有趣才能更方便的学习下去。
3.stable diffusion模型下载
stable diffusion往往一开始使用时图片等无法达到理想的生成效果，这时则需要通过使用大量训练数据，调整模型的超参数（如学习率、训练轮数、模型大小等），可以使得模型更好地适应数据集，并生成更加真实、准确、高质量的图像。
4.stable diffusion提示词
提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言，整个SD学习过程中都离不开这本提示词手册。
5.SD从0到落地实战演练
如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名SD大神的正确特征了。
这份完整版的stable diffusion资料我已经打包好，需要的点击下方插件，即可前往免费领取！
总结
**StableDiffusion开源AI绘画工具体验及学习资源汇总**随着AI技术的迅猛发展，StableDiffusion作为一款开源的AI绘画工具，因其免费、社区活跃以及生成速度快的特点而备受关注。与付费且需网络限制的Midjounery不同，StableDiffusion为艺术爱好者和开发者提供了广阔的创作空间和无尽的想象力。
### StableDiffusion概览
StableDiffusion由StablityAI公司开源，支持本地部署，拥有活跃的社区和丰富的插件及微调模型资源。尽管部署相对复杂，但其免费和开放的特点吸引了大量用户。与未开源的DALL-E2和需付费使用的Midjounery相比，StableDiffusion展现出了其独特的优势。
### SD效果展示
通过设定特定的提示词参数，StableDiffusion能够生成高质量、逼真的图像。从提供的示例中，我们可以看到其出色的艺术表现力和广泛的应用潜力。
### 使用StableDiffusion的途径
1. **在线云服务部署**：通过阿里云等云服务提供商，用户可以方便地体验StableDiffusion的服务，并按需付费。
2. **基于SD封装的产品**：如liblibAI等，提供了更为简便易用的体验，但可能受限于平台速度。
### 阿里云部署步骤
文章详细介绍了在阿里云上部署StableDiffusion的步骤，包括创建实例、选择镜像、安装依赖、下载插件和模型等，并提供了踩坑经验和解决方案。
### 深度学习绘画模型介绍
分析了当前深度学习在图像生成领域的主要模型：从GAN的初步发展到自回归模型，再到当前主流的扩散模型和CLIP技术，展示了AI绘画技术的不断进步和变革。
### 实战资源与学习指南
为了帮助用户更好地学习和应用StableDiffusion，文章还提供了包括安装包、视频教程、模型下载、提示词手册以及从0到1的实战演练等资源，旨在帮助用户快速上手并成为一名SD大神。
**总结**
StableDiffusion作为一款免费开源的AI绘画工具，为用户提供了强大的绘画能力和无尽的艺术想象力。通过详细的部署步骤、实战资源和学习指南，用户可以轻松掌握其使用技巧，并创作出令人惊叹的艺术作品。无论你是艺术爱好者还是开发者，StableDiffusion都值得一试。