当前位置:AIGC资讯 > AIGC > 正文

AI绘画Stable Diffusion到底有几个版本?超全SD历史发布版本优缺点解析

大家好,我是设计师阿威

Stable Diffusion 在推出短短两年间已经发布了多个版本,最为人熟悉的就是 Stability AI 推出的 1.5 和 SDXL。那么除此之外,还有哪些版本呢?让我们从最初 Stable Diffusion 的起源开始说起。

没有 Version 1.0 的 Stable Diffusion

最早的 Stable Diffusion 版本由 CompVis 发布,版本号为 1.1,而不是由 Stability AI 推出,也不是从 version 1.0 开始。在此之前,它被称为 Latent Diffusion,因为 Stable Diffusion 本身就是一种 Latent Diffusion Model (LDM)。

同样由 CompVis 开发的 Latent Diffusion 才是真正的 Stable Diffusion 1.0,并且一开始就具备了 Text-to-Image 及 Inpaint 功能。Latent Diffusion 没有进一步的更新,因为接下来就推出了 Stable Diffusion。

各个版本的演变

Stable Diffusion 1.1, 1.2, 1.3, 1.4

在 Latent Diffusion 推出后不久,2022 年 8 月 CompVis 接连推出了四个版本的 Stable Diffusion。版本号越高,使用的步数越多,效果也越好。

Stable Diffusion 1.1:使用了 237000 步 256 x 256 及 197000 步 512 x 512 来训练。

Stable Diffusion 1.2:使用了 515000 步 512 x 512 训练,并使用了 laion-improved-aesthetics 作为数据集。

Stable Diffusion 1.3:是 1.2 的改良版,使用了 195000 步 512 x 512 的图像训练,减少了 10% 文字调节。

Stable Diffusion 1.4:是 1.2 的改良版,使用了 225000 步 512 x 512 训练,减少了 10% 文字调节。

Stable Diffusion 1.5

2022 年 10 月,RunwayML 推出了广为人知的 Stable Diffusion 1.5,是早期最多用于 fine tune 训练的版本,甚至比之后的版本更受欢迎。此后,RunwayML 和 CompVis 也退出了 Stable Diffusion 的开发。

Stable Diffusion 1.5:采用了 595000 步 512 x 512 的 laion-aesthetics v2 5+ 数据集并减少了 10% 文字调节训练而成。

Stable Diffusion 2.0, 2.1

2022 年 11 月,Stability AI 第一次推出了 Model,是 Stable Diffusion 2.0 和同年 12 月的 2.1。然而,这两款 Model 因为容量大但效果不如 1.5,一直使用者较少。

Stable Diffusion 2.0:以 550000 步 256 x 256 训练后,再以 850000 步 512 x 512 图片加以训练出 base 版本。随后再以 base model 改良,使用 150000 步 v-objective 训练及 768 x 768 大小的 dataset 训练 140000 步。

Stable Diffusion 2.1:以 2.0 为基础 fine tune 而成,追加了 55000 步的训练及 155000 步的额外步数。

Stable Diffusion XL (SDXL)

2023 年 6 月,继 Stable Diffusion 1.5 后,Stability AI 推出了另一个强大的 Model —— SDXL。

Stable Diffusion XL 0.9 base / refiner:SDXL 的预览版,生成效果明显不如正式版。

Stable Diffusion XL 1.0 base / refiner:SDXL 正式版,生成效果强大,文字理解能力更强。

Stable Diffusion XL beta 2.2.2:非公开版本,只能在 Stability AI Developer Platform v1 版的 API 中使用,是 SDXL 的 fine tune 版本。

Stable Image Core:另一非公开的 SDXL Model,只能在 v2 API 中使用。

Stable Diffusion 1.6

2023 年 11 月发布,只能在 Stability AI Developer Platform 的 v1 API 中使用,是 Stable Diffusion 1.5 的 fine tune 版本。

Stable Diffusion 1.6:据说能生成比 1.5 更好的图片。

Stable Diffusion XL Turbo (SDXL Turbo)

2023 年 11 月,Stability AI 推出了高速生成图片的版本,将一般 30~40 步的生成步数,大幅减少到 1~4 步。

SDXL Turbo:从 SDXL 加上 Adversarial Diffusion Distillation (ADD) 技术蒸馏而成,生成图片所需步数减少,但效果略为模糊。

SD Turbo:Stable Diffusion 2.1 的 Turbo 版本。

Stable Video Diffusion (SVD)

2023 年 11 月,Stability AI 推出了首个 img2vid 的动画 Model,仅需一张图片即可生成数秒动画。

Stable Video Diffusion:用于生成 14 个影格 576 x 1024 的影片。

Stable Video Diffusion XT:Fine tune 自 Stable Video Diffusion,用于生成 25 个影格 576 x 1024 的影片。

Stable Zero 123

2023 年 12 月发布,基于 Zero 123 训练而成,可以生成多方向的图片,即使是背面也可以顺利生成。

Stable Zero 123:效果比 Zero 123 和 Zero 123 XL 更好。

Stable Diffusion Cascade

2024 年 2 月,Stability AI 发布了 Stable Diffusion Cascade,采用 ABC 三段式生成,单一 Model 即可生成不同风格的图片。

Stable Diffusion XL Lightning (SDXL Lightning)

2024 年 2 月,ByteDance 开发的 SDXL Lightning 发布,不单能在 4~8 步内完成生成,并保持高质量。

Stable Diffusion 3

2024 年 2 月,Stability AI 发布了 Stable Diffusion 3,并于 4 月正式公开给公众使用。

Stable Diffusion 3:只有在 Stability AI 提供的 API 中使用,画质和文字识别能力超越以前所有 Model。

Stable Diffusion 3 Turbo:Turbo 版本,生成速度更快。

Stable Diffusion 3 Medium:首个 Open Source 的 Stable Diffusion 3 Model,训练数据量只有 Large 的一半,但理解能力强。

Stable Video 3D

2024 年 3 月发布,结合 Stable Video Diffusion 和 Stable Zero 123 的技术,利用单一图片生成一段可以 360 度旋转的动画。

Stable Video 3D:使用一张静态图片生成 21 个影格 576 x 576 的动画。

Cos Stable Diffusion XL

2024 年 4 月发布,基于 SDXL 使用 Cosine-Continuous EDM VPred schedule fine tune 而成,可以生成纯黑至纯白的影像。

Cos Stable Diffusion XL 1.0

Cos Stable Diffusion XL 1.0 Edit:特点是可以直接用 prompt 实现 inpaint 效果。

总结

截至 2024 年 5 月,Stable Diffusion 推出了超过 20 个版本。以下是主要版本和推出日期:

MODEL 名称 推出日期 开发者 相关链接 Latent Diffusion 2022 年 7 月 CompVis Github Stable Diffusion 1.1 2022 年 8 月 CompVis HuggingFace Stable Diffusion 1.2 2022 年 8 月 CompVis HuggingFace Stable Diffusion 1.3 2022 年 8 月 CompVis HuggingFace Stable Diffusion 1.4 2022 年 8 月 CompVis HuggingFace Stable Diffusion 1.5 2022 年 10 月 RunwayML HuggingFace Stable Diffusion 1.6 2023 年 11 月 Stability AI API Stable Diffusion 2.0 2022 年 11 月 Stability AI HuggingFace Stable Diffusion 2.1 2022 年 11 月 Stability AI HuggingFace Stable Diffusion XL 0.9 2023 年 6 月 Stability AI HuggingFace Stable Diffusion XL 1.0 2023 年 7 月 Stability AI HuggingFace Stable Diffusion XL beta 2.2.2 2023 年 11 月 Stability AI API Stable Image Core 2024 年 3 月 Stability AI API Stable Diffusion XL Turbo 2023 年 11 月 Stability AI HuggingFace Stable Diffusion Turbo 2023 年 11 月 Stability AI HuggingFace Stable Video Diffusion 2023 年 11 月 Stability AI HuggingFace Stable Video Diffusion XT 2023 年 11 月 Stability AI HuggingFace Stable Zero 123 2023 年 12 月 Stability AI HuggingFace Stable Diffusion Cascade 2024 年 2 月 Stability AI HuggingFace SDXL Lightning 2024 年 2 月 ByteDance HuggingFace Stable Diffusion 3 2024 年 2 月 Stability AI API Stable Diffusion 3 Turbo 2024 年 2 月 Stability AI API Stable Diffusion 3 Medium 2024 年 6 月 Stability AI HuggingFace Stable Video 3D 2024 年 3 月 Stability AI HuggingFace Cos Stable Diffusion XL 2024 年 4 月 Stability AI HuggingFace

连同没公开的几个版本,其实Stable Diffusion在短短两年间推出了超过20个版本,你最喜欢使用的版本又是那一个呢?

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

若有侵权,请联系删除

更新时间 2024-07-05