大家好!我是程序员晓晓
最近AI绘画开源社区又开始发力了,lllyasviel(敏神)——ControlNet的作者刚才发布了一款Flux1-dev-bnb-nf4-v2模型,这个版本最大的优势就是能让低显存的设备也能运行,这个低到底有多低呢?
实测下来3070ti笔记本(8G VRAM)在跑NF4-V2模型每次迭代只需要2.15秒(这只是该笔记本计算的时间,并不代表所有8GVRAM都是这个时间,其他硬件设备不同计算结果也不一致)。
接下来,我们用秋叶大佬的绘世启动器StableDiffusion实现打开SDwebui-Foge。
绘世,启动!
模型作者说明:如果您的设备支持 CUDA 11.7 以上版本,那么您可以使用 NF4。(大多数 RTX 3XXX/4XXX GPU 都支持此功能。)如果您的设备是 GTX 10XX/20XX 的 GPU,那么您的设备可能不支持 NF4,请用flux1-dev-fp8模型
打开绘世启动器:
导航栏选择版本管理模块默认进入内核页面;
点击切换分支按钮;
下拉菜单选择stable-diffusion-webui-forge版本;
点击切换分支,这里会弹出一个提示,让你备份重要文件,点击确定就好。
tips:由于每台设备所安装的环境不一样,建议先备份一版再切换。
切换后跳出这个弹窗说明切换成功,并不是已经安装成功,后面一键启动还要下载依赖。
选择扩展页面,禁用不必要的插件(第一次启动建议全部取消),因为很多插件和forge并不兼容;
好,这些步骤执行完之后重启启动器,再点击一键启动,开始下载forge的依赖已经安装部分插件,这一步通常会出现两种错误,一种错误是网络连接问题(也就是需要魔法,因为需要到抱抱脸拉取依赖),还有一种错误就是前面提到的插件兼容问题,如果看到插件问题,就需要返回前面的步骤警用相关的插件。
一切就绪后,即可打开webui-forge版本
我们需要把UI模板切换成Flux模式,所有的参数都会调整成Flux预设,根据模型版本的不同可以自行手动调整。
参数说明:
Diffusion with Low Bits:模型的量化格式,一般情况下选自动就行,这次用的模型是flux1-dev-bnb-nf4-v2,所以可以选nf4。
Swap Method:Queue/Async:队列加载计算/并行加载计算
Swap Location:CPU/Shared:根据设备CPU内存和GPU显存选择一种模式,当CPU内存高于GPU显存那就选择CPU,当GPU显存高于CPU内存就选择GPU。这里的原理就是把一个存储容量高于你显存的模型分为两半,一半给GPU一半给共享内存。
通俗地说就是哪种内存大选哪种。
模型下拉菜单选择加载flux1-dev-bnb-nf4-v2模型,调节相关参数即可开启你的创作之旅啦!如果还是不太懂这些参数有啥用,让它默认即可(虽然本文已经提了)。
tips:注意,这次的flux1-dev-bnb-nf4-v2模型是放到stable diffusion目录下,并不是放到unet目录下,模型链接在网盘,需要的小伙伴可以看文末扫描免费获取哦
示例图
常见的报错
RuntimeError: The expanded size of the tensor (1) must match the existing size (64) at non-singleton dimension 0. Target sizes: [1, 256, 256]. Tensor sizes: [64, 256, 256]``The expanded size of the tensor (1) must match the existing size (64) at non-singleton dimension 0. Target sizes: [1, 256, 256]. Tensor sizes: [64, 256, 256]
报错的主要原因是张量(tensor)的维度不匹配。
解决方法:关闭xFormers
绘世启动器>高级选项>交叉注意力优化方案之类选择非xFormers,我选的是缩放点积。
感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
总结
文章概述:文章由程序员晓晓撰写,主要介绍了AI绘画开源社区的新进展,特别是ControlNet作者发布的Flux1-dev-bnb-nf4-v2模型,该模型优化后可在低显存设备上运行,如3070ti笔记本(8G VRAM)在每次迭代中仅需2.15秒。进一步,文章详细指导了如何使用秋叶大佬的绘世启动器StableDiffusion来安装和打开SDwebui-Foge版本,特别强调了NF4模型的兼容性、版本管理操作、插件禁用以解决兼容性问题,以及启动过程中的注意点。
文章还详细解释了模型参数的设置,包括量化格式、加载计算方式及存储设备选择等,帮助用户根据自己的设备特性调整参数。此外,文章还提供了模型文件和示例图的链接,并分享了解决常见错误(如维度不匹配的张量错误)的方法。
展望部分,晓晓对AIGC技术的未来发展表示乐观,指出其在游戏和计算等领域的广泛应用前景,并提到该技术将与人工智能技术深度融合。最后,晓晓为对AIGC领域感兴趣的读者提供了学习路线、必备工具、学习笔记、视频教程和实战案例等资源,助力其深入学习和实践。
总结:
文章不仅分享了AI绘画开源社区的新成果及其在实操中的详细应用指南,还展望了AIGC技术的广阔前景,并提供了丰富的学习资源,是面向AI绘画爱好者和开发者的详实指南。