当前位置:AIGC资讯 > AIGC > 正文

Stable Diffusion入门攻略(附用ChatGPT优化Prompt方法)

1 前言

AIGC大火后,文生图明星产品主要是Midjourney和Stable Diffusion(简称SD)。与Midjourney相比,SD最大的特点是免费、可本地部署,同时自定义程度高,但是较高的上手门槛使得入门存在一定难度。

笔者搜罗了网上一些优质的攻略,在本地成功部署了SD。同时,通过civital网站学习prompt词汇,利用ChatGPT进行提示词优化,最终输出了自己喜欢的图像。

以下是分享这个过程的详细步骤,供大家参考,希望能对你有所帮助。

2 准备条件

硬件:

8G 的显存

足够的硬盘空间(100G 基本够用了)

软件:

Python 3.10.x(网上很多文章都要你去安装 homebrew,好多小伙伴都卡在了这里。如果你安装不了,没关系,只要能安装好 Python3.10 就行)

科学上网的能力,这个不多说。

3 安装方式

鉴于网上关于安装SD的教程非常多,笔者在这就不在赘述这个环节,我会附上一些之前自己安装时借鉴过的教程,同时存在的一些坑,笔者也会列出来给大家参考。

参考资料:

1、MacOS:轻松安装Stable Diffusion WebUI | M1, M2, Intel | 完整指南和教程 :https://updayday.notion.site/MacOS-Stable-Diffusion-WebUI-M1-M2-Intel-61a0fd82ea0e451d9ead16beafc3a28b

2、【Mac M1】安装stable diffusion webui教程及问题集锦:https://aitechtogether.com/python/84774.html

4 SD WebUI框架熟悉

1、启动方式,在终端输入:

cd stable-diffusion-webui``./webui.sh

2、启动成功后,应该展现出来这个页面:

3、直接点击红框处网址或者复制到浏览器打开,出现如下页面即表示成功安装:

具体这些页面什么功能,可以参考这个教程(十分详细,干货满满):【浅谈stable diffusion (三)-哔哩哔哩】 https://b23.tv/IeOcrON

5 模仿实现优秀效果

在安装好页面之后,开始做最简单的复现。可以在https://civitai.com/网站上选择一个优质的案例进行复现。这个过程可以帮助你对整个SD文生成流程有一个清晰的认识,同时也能让你找到一些自己写prompt词和参数配置的感觉。

复现方式可参考:

1、AI绘画第二步,模型切换和使用,抄作业复现超赞的效果!:https://www.tonyisstark.com/869.html

2、M2 max使用stable-diffusion:https://xhhdd.cc/index.php/archives/204/

6 下载合适的ckpt以及Lora模型

6.1 ckpt模型和Lora模型区别

1、CKPT(CheckPoint)经过训练的图片合集,被称作模型,也就是chekpoint,体积较大,一般真人版的单个模型的大小在7GB左右,动漫版的在2-5个G之间早期的CKPT后缀名是ckpt,如今新的CKPT后缀名都是safetensors

2、Lora是一种体积较小的绘画模型,是对大模型的微调。与每次作画只能选择一个大模型不同,lora模型可以在已选择大模型的基础上添加一个甚至多个。一般体积在几十到几百兆左右。后缀也是safetensors

6.2 推荐的ckpt与Lora模型

ckpt推荐:

sd-v1-4:基础模型,一般最开始会下载这个

chilloutmix:综合起来最稳定,大多数时候可用这个

darkSushiMixMix:生成精致、色彩艳丽的动漫图像上表现较好

unstableinkdream:偏赛博朋克风格,机械、城市、霓虹等场景适配友好

Lora模型推荐:

各种doll和girl结尾的,生成美女图片的Lora模型:比如Koreandoll和Janpanesedoll等;

Moxin_10:水墨国风,非常值得一试;

ScifiProsthesisStyle:机械义体风格,非常炫酷,我本人最爱;

附C站上下线了的,生成美女图片效果很牛的Lora模型下载方式:https://longbig.github.io/2023/03/01/korean-doll-likeness模型-Japanese-doll-likeness模型获取及使用/#lg=1&slide=3

7 ChatGPT做Prompt词优化

如果进行了多次C站优秀效果的复现,那么你会对怎么写Prompt词有一定了解,笔者将这个部分分成了3个步骤。

7.1 了解Prompt语法及执行方式

Prompt的语法如下所示:

Prompt执行Tips:

开头与结尾的词往往作用性更强;

提示词数量越多,单个提示词的作用性越低;

开头的数个提示词的作用较强,有更强的相关;

7.2 掌握常见的Prompt与Negative Prompt

常见的Prompt词:

1、表达清晰度:(8k, RAW photo, best quality, masterpiece:1.2)``2、表达写实和照片感比例:(realistic, photo-realistic:1.37)``3、Lora模型引用方式:` `4、表达美丽和照片细节丰富:an extremely delicate and beautiful, extremely detailed, ultra-detailed

常见画人像的Negative Prompt:

EasyNegative, paintings, sketches, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, porcelain doll, glans, extra fingers, fewer fingers, strange fingers, bad hand, ((watermark:2)),((white letters:1)), teeth,(nsfw:1.2)

7.3 利用ChatGPT优化提示词

需要注意的是,ChatGPT没法直接帮你生成完全可用的Prompt词(SD官方那个不算的话,那个我没实验过效果,要订阅GPT会员有API才行),需要我们引导它做一些词语上的优化,至于词语间的摆放顺序、以及哪些可用哪些不可用,需要我们自己根据经验做调整。

下面是我用ChatGPT优化的过程:

1、让ChatGPT角色扮演:

2、向ChatGPT描述自己脑海里的意象

3、将ChatGPT生成的描述段落提炼成关键词

4、向ChatGPT提出风格化需求

5、提取出来的关键词输入专业的prompt优化网站

PromptPerfect地址:https://promptperfect.jinaai.cn

6、将优化的prompt输入ChatGPT,提取出需要的拓展关键词

7、最终得到自己需要的Prompt

(8k, RAW photo, best quality, masterpiece:1.2), (realistic, photo-realistic:1.37), lora:ScifiProsthesisStyle_epoch000006:0.4, 1 cyber-enhanced male warrior, clear face, short hair, futuristic, gray-haired, neural helmet, facing the camera, Intricate, Weathered, Nighttime , cinematic, (dynamic pose:1.5), defocus, backlight, (outside:1.4) , Metropolis, Rurouni Kenshin, augmented reality, Simon Stålenhag, Masamune Shirow, artistic complexity.

8、最终生成效果

8 终章

这篇文章仅介绍了SD的一些基础入门使用方式。选择采样器(推荐一般使用DPM++ 2M),选择高分辨率修复中的高清晰度算法(基本上使用Latent nearest就可以了)等,都需要一定的技巧。

另外,还有自己制作风格化Lora模型、制作图像等功能,也等待玩家们的探索。

写在最后

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

若有侵权,请联系删除

总结

**AIGC引入与艺术图像生成:Stable Diffusion(SD)入门指南**
在AIGC技术日趋火热的今天,Stable Diffusion(简称SD)作为一款可免费部署且支持高自由度定制的文本生图工具,受到了广泛关注。本文对SD的安装与使用过程进行了详细总结,并分享了结合ChatGPT进行图片提示词优化的技巧,为初学者提供了一份全面的操作指南。
**一、SD概况及安装**
- SD特色:免费、本地部署、高度自定义。
- 安装的挑战:上手门槛高,需要一定的软件和硬件配置。
- 笔者经验:结合网络教程,成功部署SD并输出了心仪的图像。
**二、准备条件**
- 硬件需求:至少8G的显存和够用的硬盘空间(推荐100G)。
- 软件环境:安装Python 3.10.x和科学上网工具。
**三、安装方式与学习路径**
- 提供了详细的安装指南和参考资料,旨在帮助读者避免安装过程中的常见陷阱。
- 推荐访问在线资源,熟悉SD WebUI框架。
**四、模仿与创作**
- 通过复现Civitai上的优秀作品开始练习,逐步理解SD的工作流程。
- 推荐下载适合的ckpt和Lora模型来丰富创作风格。
**五、Prompt词优化与ChatGPT的应用**
- 讲解了prompt词的重要性及其执行的策略。
- 介绍了如何通过ChatGPT进行prompt词的优化,展示了优化过程与效果。
**六、展望与资源分享**
- 对AIGC技术的未来发展进行了预测,强调了程序员跟进该技术的重要性。
- 提供了一系列学习资源,包括学习路线、工具集、学习笔记、视频教程和实战案例,助力深入探索AIGC技术。
本文通过提供明确的准备方案、安装步骤、创作建议、优化技巧和丰富的学习资源,为广大AIGC爱好者和技术人士铺设了一条从入门到深入的完整学习路径,旨在激发人们对AIGC技术的兴趣和探索热情,共同推进人工智能领域的创新发展。

更新时间 2024-07-16