小伙伴们都知道 Flux.1 的出图效果很棒,但是对电脑的配置要求也同样很高,随便就要十几 G 显存才能体验,光这配置就劝退了很多小伙伴。
硬件要求真的是硬伤,不过地球是圆的,技术也总是在发展的,就在这几天,ControlNet 的作者张吕敏大大带着他的 flux1-dev-bnb-nf4 来了。
硬是把配置的底线干到了 6G 显存,而且对于 6G 或者 8G 的显存配置也是相当友好,相对于 Flux.1 的 fp8 版本而言,6G 显存可以加速 1.3 倍至 2.5 倍,8G 显存更是最高可以有 4 倍提速。
不过小伙伴们可能更关心的降低配置是否会对画质有影响,那么我们接下来就来实测一下吧!
好了,话不多说,我们直接开整。
—
如何使用我们稍后再说,先直接来对比下 nf4 和 fp8 的出图效果。
我们这里采样器统一使用 euler,步数 30 步,其它配置包括随机种子数和提示词也都一样。
提示词:vibrant glowing beach drink,in the style of a product hero shot in motion,dynamic,splash of color
左边是 nf4,右边是 fp8,后续也都是按照这个顺序,可以看到出图的效果差别不大,说不上哪个画质更强一些。
提示词:photo,happy alien girl,alien clothing,alien school,compound eyes,stefan kostic and david cronenberg,realistic,sharp focus,8 k high definition,intricate,chiaroscuro,elegant,perfect faces,symmetrical face,extremely detailed,hypnotic eyes,realistic,fantasy art,masterpiece zdzislaw beksinski,artgerm
从这两张图上来看的话,fp8 的细节上可能更丰富一些,nf4 的表现也依然很不错。
提示词:emo jester anime girl, in neo tokyo hong kong, kawaii decora rainbowcore, vhs monster high, glitchcore witchcore, barcodes checkered spiked hair, pixiv, a mage witch hacker hologram by penny patricia poppycock, pixabay contest winner, holography, irridescent, photoillustration, maximalist maximalism vaporwave, by gerhard munthe, 4 k resolution, nier : automata inspired, bravely default inspired, vibrant but dreary but upflifting red, black and white color scheme!!! ( ( space nebula background ) ) emo demonic horrorcore japanese yokai doll, low quality sharpened graphics, remastered chromatic aberration spiked korean bloodmoon sigil stars draincore, gothic demon hellfire hexed witchcore aesthetic, dark vhs gothic hearts, neon glyphs spiked with red maroon glitter breakcore art
这两张在效果上感觉区别也不大。
提示词:a beautiful woman,shot from side,style by Marc Chagall,(intricate details masterpiece best quality),Samsung Galaxy,Rembrandt lighting
再来个真实人像,nf4 表现依旧很棒。
然后再来看看我们最关心的生成手和文字上的功能是否有阉割。
提示词:filmic photo of a group of three women on a street downtown, they are holding their hands up the camera
生成手依旧还是很给力。
提示词:A future robot writes ' Do one thing at a time,and do well.' on the blackboard
生成文字也没问题。
篇幅问题,演示就到这里了。
这个本来是张吕敏为了 Forge 开发的「有使用 Forge 的小伙伴也直接更新到最新版本进行体验」,不过 ComfyUI 作者也对该模型进行了适配,让我们可以在 ComfyUI 中也能进行使用。
首先需要把 ComfyUI 更新到最新版本,然后打开 ComfyUI 管理器通过 Git URL 进行安装。
插件地址:https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4
安装完成以后重启就可以了,如果运行途中有问题,检测下 ComfyUI 版本是否是最新版本,然后再检查下依赖包 bitsandbytes 的版本是否是最新版本。
工作流也很简单,只需要把基础文生图工作流的模型加载器,替换成 nf4 专属的模型加载器就可以了。
不过还是需要把采样器中 CFG 调成 1,工作流如下,工作流以及模型也会放在文末的网盘里。
总体来说,nf4 的出图效果还是很不错的,相比 fp8 来说并不差。
而且虽然 nf4 版 flux.1 模型对大显存而言提升比较小,但是不管是在出图速度以及占用内存上也都还是有提升的,
而且虽然 nf4 版 flux.1 模型对大显存而言提升比较小,但是不管是在出图速度以及占用内存上也都还是有提升的,以 4090 为例,生成一张 1024 * 1024 的图片至少有 4s 的速度提升,显存占用更是少了整整 5 个 G。
至于 8G 显存的机器是否真的有那么大的提升就看小伙伴们的测试啦。
不过 nf4 的模型对显卡的型号有限制,只能支持 N 卡 30 系以上版本的显卡。而且 forge 版本是可以限制当前占用显存的,ComfyUI 版本暂时还不支持这个功能,所以我们使用的时候最好是打开共享显存功能。
资料软件免费放送
次日同一发放请耐心等待
学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!
需要的可以扫描下方CSDN官方认证二维码免费领取【保证100%免费】
**一、AIGC所有方向的学习路线**
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
这份完整版的学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
总结
### 文章总结:Flux.1配置门槛大幅降低,ControlNet新成果nf4亮相**问题背景**:
Flux.1以其出色的图像生成效果而闻名,但其高配置要求(至少十几G显存)让许多用户望而却步。
**解决方案**:
ControlNet作者张吕敏推出的flux1-dev-bnb-nf4模型,成功将配置需求大幅降低至6G显存即可运行,且对6G、8G显存更为友好,相比于Flux.1的fp8版本,速度有显著提升。
**实测对比**:
- **画质对比**:通过对不同提示词的图像生成进行对比,nf4在画质上与fp8基本持平,甚至在一些细节处理上也呈现出色的表现。
- **功能与性能**:在生成手部和文字方面,nf4同样出色,无明显功能阉割。此外,与fp8相比,nf4在生成速度和显存占用上均有显著提升,例如,在4090显卡上生成1024*1024图片的速度提升了不少,且显存占用减少了5个G。
**使用指南**:
- **ComfyUI适配**:ComfyUI用户可通过更新到最新版本并使用特定Git URL安装nf4模型进行使用。
- **注意事项**:nf4模型要求N卡型号需为30系以上版本,Forge版本可限制显存占用,但ComfyUI版本尚不支持此功能,使用时可考虑打开共享显存。
**学习资源分享**:
文章最后还特别提供了AI绘画的全套学习资料,包括学习路线、必备工具、学习笔记、视频教程合集以及实战案例,旨在助力想学习AI绘画的用户。扫二维码即可免费领取,助力用户从基础到深入全面掌握AIGC技术。