当前位置:AIGC资讯 > AIGC > 正文

[ComfyUI]Flux新纪元:Flux可控性新起点,第一个CN Canny硬边缘组件发布

大家我是安琪!!!

ComfyUI和Flux的结合,在AI艺术创作领域开启了新的纪元。本文将介绍Flux最新的CN Canny硬边缘组件,以及如何利用这一组件提升艺术创作的可控性和创意表达。

flux-controlnet-canny模型简介

之前介绍了Flux生态的新纪元,第一个LORA模型:flux-RealismLora,以及第一个ControlNet模型:flux-controlnet-canny 已发布。对应的训练微调代码也一同发布,这也标志着接下来Flux模型将会迎来更多的LORA素材和ControlNet可控性模型的兴起。

ControlNet模型是适用于需要在图像生成过程中施加更精确控制的场景,例如结合边缘检测结果(Canny)来生成特定风格的图像。用户可以通过提供控制图像和文本提示,生成符合特定描述的图像。而flux-controlnet-canny就是其中线条轮廓控制的ControlNet模型,又称硬边缘。

(需要的同学可自行扫描获取)

flux-controlnet-canny模型演示

flux-controlnet-canny模型体验

当前最新版本的ComfyUI已支持Flux ControlNet模型的体验,首先更新ComfyUI版本即可。注意使用git checkout xlabs_flux_controlnet。当前ComfyUI修复代码还未合并到主干分支,因此需要手动切换到xlabs_flux_controlnet修复分支运行。具体Issue问题链接为:https://github.com/comfyanonymous/ComfyUI/pull/4260。

工作流界面

本文使用工作流已上传liblib平台可下载。涉及绘图模型和工作流下载地址:

(需要的同学可以自行扫描获取)

01. 夏日雪糕

a popsicle on a stick in the ocean. The popsicle is in the center of the image and is floating on the surface of the water. The background is a beautiful blue sky with white clouds and the sun shining brightly in the top left corner. The sky is filled with fluffy white clouds.\n\nThe popsicle has a colorful design on it, with a beach scene featuring palm trees, dolphins, and a slice of orange. The palm trees are green and the dolphins are blue. The orange slice is yellow and is placed on top of the palm trees. There are also a few seashells scattered around the beach. The water is a deep blue and there are small waves visible around the popsicle. The overall color scheme of the design is bright and vibrant, with shades of blue, green, and yellow.

02. Flux is cool

magical wizards stand on a yellow tableOn the left, a wizard in black robes holds a sign thatsays 'FLUX’In the middle, a witch in red robes holds a sign thatsays 'is’and on the right, a wizard in blue robes holds a signthat says 'cool’Behind them a purple dragon, real

03. 白云之上

Draw a 3D anime style painting. Theshows asitting on a cloud with a puppy beside her. Use warm tones, and the overall picture isand. Thewears black stockings and a strapless dress,andimage, looking beautiful and moving. Wide-angle lens.

最后,测试结果展示当前的Canny ControlNet并不完善,还需进一步改进,对于大部分分场景线稿输出图片存在一些影响。相信在后续进一步的版本将会解决这类问题。如下图所示

资料软件免费放送

次日同一发放请耐心等待

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

需要的可以扫描下方CSDN官方认证二维码免费领取【保证100%免费】

**一、AIGC所有方向的学习路线**

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

这份完整版的学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

总结

本文介绍了Flux生态中controlnet-canny模型的最新进展及其在AI艺术创作中的应用与体验。文章首先概述了Flux在AI艺术创作领域的新纪元,特别是flux-controlnet-canny模型的发布,该模型通过结合边缘检测(Canny)技术,实现了对图像生成过程的精细控制。
接着,文章详细介绍了flux-controlnet-canny的工作原理和应用场景,强调其作为ControlNet模型的硬边缘控制能力,在提供具体控制图像和文本提示时,能生成高度一致的图像效果。
在体验部分,文章指导用户如何通过更新ComfyUI到最新版本,并使用特定分支(xlabs_flux_controlnet)来体验Flux ControlNet模型。同时,展示了使用该模型创作的几个实例案例,如“夏日雪糕”、“Flux is cool”和“白云之上”,这些案例充分体现了模型在特定风格和艺术创意表达上的潜力。
然而,文章也指出当前flux-controlnet-canny模型在某些场景下仍存在不足,如线稿输出图片受影响等问题,预计后续版本将会有所改进。
最后,文章为有意学习AI绘画的读者提供了全套的学习资料和资源规划,包括AIGC学习路线、必备工具、最新学习笔记、视频教程合集和实战案例等,旨在帮助初学者系统地学习并提高AI绘画技能。
总的来说,本文不仅让读者了解了Flux在AI艺术创作中的最新进展,还提供了实践指南和学习资源,有助于推动AI艺术创作的发展和普及。

更新时间 2024-08-17