当前位置:AIGC资讯 > AIGC > 正文

【Stable Diffusion】来了来了!属于SDXL的ControlNet模型它终于来了!

千呼万唤始出来!就在昨天,WebUI的ControlNet1.1.4版本终于更新,这次的更新支持了SDXL1.0的模型。我怀着兴奋的心情,打开了网站开始下载模型。这次总共出了四种控制类型,分别是Canny、Depth、Sketch和Openpose。

来到Hugging Face的网址:https://huggingface.co/lllyasviel/sd_control_collection/tree/main。可以看到这里有相当多的模型,当然,我们不需要全部都下载下来,因为它们之间有很多功能是重复的,是不同的作者做出来的。

但是呢,为了帮你们提前踩雷,我把他们全部都下载了,而且逐个做了测试,看到我这么辛苦的份上,你们一定会要给我一个“点赞”和“在看”的吧。

接下来,让我们来分类看一下吧。

#Canny硬边缘

首先是canny,它有几个不同的型号,体积越大,速度越慢。

我使用的是4080ti的笔记本进行的测试,12G显存。

模型sdxl base+refiner

提示词:masterpiece,best quality,1girl

采样方法:euler a

尺寸1024*1024

使用diffusers的2.5Gfull模型绘制的图片,一张图花了2分57秒,从这个效率上来看,这个大尺寸基本可以弃了。

使用diffusers的320Mb的small模型,用时34s,质量上差距不大,主要是时间优势很明显。

我们可以再看看其他作者的,这张是kohya的,用时33秒,更接近真实质感。

sai的canny分为128lora和256lora,分别用时39秒和1分08秒,这个模型比较偏绘画的感觉。

最后还有一个t2i的canny模型,用时34s,也是偏插画一点。

你们觉得哪个效果更好呢?时间上基本都在30秒以上,如果关掉refiner的话,能节省一半左右的时间,平均在17秒左右。

#Depth深度

接下来测试一些depth模型,图形尺寸664*1024。

使用diffusers的full模型,用时2分48秒,sdxl给我随机到了一个拼贴画的风格。

使用diffusers的small模型,用时23s。

使用kohya模型,用时42秒。这……好像和我的图片没什么关系。

使用sai模型,用时1分12秒,画质还可以,稍微有点慢。

Sketch草图

接下来测试一下sketch模型,画一只可爱的小猫,图形尺寸1024*624。

使用kohya模型,用时30秒,这是个啥???

使用sai模型,没找到小猫具体的位置,用时32秒,画质还可以。

使用t2i模型,用时28秒,唯一一个准的。

Openpose骨架

最后测试一下openpose模型,图形尺寸1024*624。

使用kohya模型,画很好看,但姿势不对,用时40秒。

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。


二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。


四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

总结

**文章总结**
文章主要围绕WebUI的ControlNet 1.1.4版本更新进行了详细介绍和测试。作者首先兴奋地宣布了ControlNet 1.1.4版本支持SDXL 1.0模型的消息,并分享了从Hugging Face网站下载多种模型的经验。接着,文章对四种新推出的控制类型(Canny、Depth、Sketch和Openpose)进行了逐项测试和对比分析,具体包含各模型的使用效率、画面质量和特点等。作者使用了不同的模型和设置,以图形和具体时间为依据,评估了各个模型在特定任务下的表现。
此外,文章还展望了AIGC技术的未来发展前景,认为该技术将与人工智能技术紧密结合,在游戏和计算领域得到更广泛的应用。为了帮助感兴趣的读者进一步学习AIGC技术,文章提供了AIGC学习路线的详细指导,包括所需知识点、必备工具、学习笔记、视频教程合集和实战案例等资源,旨在帮助读者系统地掌握AIGC技术,并应用到实际项目中。
**关键词**:ControlNet 1.1.4, SDXL 1.0, AIGC技术, 深度学习, 模型测试, 学习资源

更新时间 2024-07-21