当前位置:AIGC资讯 > AIGC > 正文

深入浅出学习Stable diffusion之Tiled Diffusion&VAE

今日言论:

马斯克的管理风格非常独特,他不需要非技术性的中层管理人员,员工表现不佳就会被裁,也不喜欢大型会议。

                                                                         -- 前特斯拉 AI 总监安德烈·卡帕西

深入解读:Tiled Diffusion,英文翻译为**平铺扩散,**也是一种深度学习模型。

它主要用于图像生成任务。这种模型基于扩散过程,通过逐渐向图像中引入噪声,然后通过一个生成网络逐步恢复出清晰的图像。Tiled Diffusion模型将图像分成多个小块(即“瓦片”),并在每个瓦片中独立地执行扩散和生成过程,从而允许模型更有效地处理大型图像。

具体来说,Tiled Diffusion模型的训练分为两个阶段:

正向扩散过程(Forward Diffusion):在这个过程中,模型逐步地将图像数据转换为一个高斯噪声状态。这个过程通常包括多个步骤,每个步骤都涉及到对图像的逐步扰动。

反向生成过程(Backward Generation):在正向扩散过程之后,模型需要通过一个生成网络将高斯噪声转换回原始的图像数据。在Tiled Diffusion中,这个过程在每个瓦片上是独立进行的,这使得模型能够并行处理不同瓦片,从而提高了训练和推理的效率。

浅出解读:

图片来源:Technical Part · pkuliyi2015/multidiffusion-upscaler-for-automatic1111 Wiki · GitHub

这个图表示的其实是重绘放大的意思。核心技术是通过Tiled VAE插件降低了现存的消耗能力,让显卡更好的发挥其威力。(double双押!)

**关于安装:**一般秋叶大神的安装包是自带的,没有可以在扩展程序里面找到。

实用解读:

从图中,您可以看到如何将图像拆分为图块。

在每个步骤中,潜在空间中的每个瓦片都将被发送到 Stable Diffusion UNet。

瓷砖一遍又一遍地被分割和融合,直到所有步骤都完成。

什么是好的瓷砖尺寸?

较大的图块尺寸将提高速度,因为它产生的图块更少。

但是,最佳大小取决于您的检查点。基本的 SD1.4 只擅长绘制 512 * 512 图像(SD2.1 将是 768 * 768)。而且大多数检查点无法生成大于 1280 * 1280 的好图片。所以在潜在空间中,让我们将其除以 8,你会得到 64 - 160。

因此,您应该选择一个介于 64 - 160 之间的值。

就个人而言,我推荐 96 或 128 以获得快速速度。

什么是好的重叠?

重叠减少了熔合中的接缝。显然,更大的重叠意味着更少的接缝,但会显着降低速度,因为它会带来更多的瓷砖来重绘。

与 MultiDiffusion 相比,Mixture of Diffusers 需要更少的重叠,因为它使用高斯平滑(因此可以更快)。

就个人而言,我建议 32 或 48 用于 MultiDiffusion,16 或 32 用于混合扩散器

生成超大图像:

示例 1:杰作、最佳质量、高分辨率、城市天际线、夜晚

需要开启区域提示控件并启用绘制全画布背景。

配合ControlNet把古代的画变为现代:

22020 x 1080 超广角图像转换

杰作, 最好的质量, 高分辨率, 超详细的8k统一壁纸, 鸟瞰图, 树木, 古建筑, 石头, 农场, 人群, 行人

2560*1280大图绘制:

ControlNet(精明的边缘)

img2img:升级细节

示例:1024 * 800 -> 4096 * 3200 图像,默认参数

参数:

denoise=0.4,steps=20,Sampler=Euler a,Upscaler=RealESRGAN++,Negative Prompts=EasyNegative,

Ckpt:Gf-style2(4GB 版本),CFG 比例 = 14,剪辑跳过 = 2

method = MultiDiffusion,瓦片批量大小 = 8,瓦片大小高度 = 96,瓦片大小宽度 = 96,重叠 = 32

提示 = 杰作,最佳质量,高分辨率,极其详细的 8k 壁纸,非常清晰,负提示 = EasyNegative。

4 倍高档后,无需挑剔。在 NVIDIA Tesla V100 上行驶 1 分 12 秒。(如果为 2x,则在 10 秒内完成)

推荐用于高效升级的参数。

采样器 = Euler a,步长 = 20,降噪 = 0.35,方法 = 扩散器的混合物,潜在瓦片高度和宽度 = 128,重叠 = 16,瓦片批量大小 = 8(如果内存不足,则减小瓷砖批量大小)。

关于Automatic1111WebUI的安装:

打开Automatic1111 WebUI -> 点击“扩展”选项卡 -> 点击“从网址安装”选项卡 -> 输入 https://github.com/pkuliyi2015/multidiffusion-upscaler-for-automatic1111.git -> 点击“安装”。

本篇内容来源于github、Kahsolt大佬、维基百科、老鹿AI等文献综合报道。

                                                                                  ——BODI  

写在最后

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

若有侵权,请联系删除

更新时间 2024-06-10