当我们探索AI绘画的魅力时,一个常见的挑战是如何在画面中精准地呈现多个元素,并确保它们和谐共存。传统的做法往往是通过不断的尝试和错误,或者依赖于复杂的后期处理工具,如Photoshop,来进行调整和优化。这不仅效率低下,而且对于非专业人士来说,也存在一定的操作门槛。
但今天,我们有了一个全新的解决方案——gligen-gui。这款工具旨在解决上述痛点,为用户提供一种简单、直观的方式来创建和管理多元素AI绘画作品。
01、介绍
GLIGEN是一种在文本到图像模型中精确指定对象位置的新方法。该项目是一个直观的GUI,它使使用GLIGEN与ComfyUI变得更加简单。
这个图片上有 7 个不同颜色的画框,分别代表了不同的主体元素。
GLIGEN的独特之处
文本到图像生成: GLIGEN可以根据自然语言描述生成高质量图像,包含对象、场景、活动等元素。
几何布局控制: 与其他模型不同,GLIGEN允许你通过定义对象的几何布局来精确控制元素位置,包括大小和空间关系。
提高一致性和准确性: 允许用户指定对象的布局,GLIGEN提高了生成图像的一致性和准确性,使最终图像更忠实于用户初始描述。
灵活性和创造性: GLIGEN提供灵活框架,支持用户创造性输入。不仅通过文本描述引导生成,还可以通过几何布局细化和个性化图像。
02、安装部署
首先呢,需要有 ComfyUI 的环境,这个听雨之前讲了很多 ComfyUI 的插件了,小伙伴们应该都不陌生了哈!
然后需要下载对应的模型,模型放在文末。
小伙伴们把模型放到自己 ComfyUI 对应的目录下就可以了:
\ComfyUI\models\gligen
然后还需要安装一个 python 库:Flask
一般我们直接使用官方整合包或者秋叶整合包的小伙伴,找到 python 文件夹目录。
还是在当前文件夹目录,输入 「cmd」,然后点击回车。
打开 Windows 命令提示符,这里直接打开就是当前的文件夹目录了。
然后我们输入红框中的命令,直接点击回车等待自动安装就可以了。
python.exe -m pip install flask
红框中的内容为正确地显示或安装。
然后把网盘中的 gligen-gui 文件夹和 gligen-gui.bat 文件拷贝到和 ComfyUI 同级目录下就可以了。
配置gligen-gui以连接本地的ComfyUI
要使用gligen-gui
与本地的ComfyUI
进行交互,你需要确保gligen-gui
知道如何找到你的ComfyUI
。
用记事本打开「gligen-gui.bat」文件,修改两个红框中的内容。
更改路径:
首先,你需要找到ComfyUI
的安装目录。我这里,ComfyUI
和gligen-gui
文件夹位于同一级目录下,并且ComfyUI
的文件夹名为ComfyUI-aki-v1.1
。那这里就从这个目录开始找到「python.exe」
所在的目录。
启动ComfyUI的端口:ComfyUI
通常默认运行在端口8188
上,这个端口启动了 ComfyUI 以后就可以看到,替换成自己本地的端口就行。
修改完以后记得保存修改,然后点击「gligen-gui.bat」
运行就可以了。
运行成功是这样的,红色告警部分不用管。
在使用gligen-gui
进行绘图之前,你需要确保ComfyUI
已经成功启动并处于运行状态。gligen-gui
依赖于ComfyUI
来处理与绘图相关的底层逻辑和渲染。如果ComfyUI
没有启动,gligen-gui
将无法与其进行通信,从而无法进行绘图操作。
复制以上的地址:http://127.0.0.1:5000/
在网页上打开以后,向下滑到「CHECKPOINT」
模块,可以正常选择模型就是可以了。
然后我们就可以愉快的画图啦!
先来介绍一下界面上的部分功能吧,大多数的参数其实和 SD 中都是一样的。
QUEUE PROMPT:生成图片,点击这个图片就可以生成图片了。
POST:不用管。
SHOW ALL:和 HIDE ALL 是相对的,一个是展示我们的画框,一个是隐藏我们的画框,试一下就知道了。画框是啥待会讲。
DELETE ALL:删除我们的画框。
接下来就是正反提示词框了,默认就行,填写一些通用的提示词就可以了,绘画的主体提示词不要加在这里。
DOWNLOAD IMAGE:下载生成好的图片。
SET CANVAS BACKDROP:支持上传背景图。
IMAGE DIMENSIONS:图像的尺寸,除了选择三个默认的尺寸外,手动填写尺寸需要点击 UPDATE。
CHECKPOINT:选择大模型没啥好说的,暂时只支持 SD1.5 的模型哦。
SAMPLING:这里面的参数都不陌生吧。
LORA:还支持加载 Lora 哦,基本的功能都有了!
然后我们就正式开始操作吧:
选择好尺寸以后,在左边的画布上的不同位置,用鼠标框选区域。
每增加一个画框右边栏会对应增加一栏输入框,输入我们想要元素主体的提示词。
比如,在画布上增加了 7 个主体元素,画框可以交叉,也可以包含。
然后点击生成,是不是很完美,终于可以让图片顺着我们的构思来生成了。
点击右边框中的按钮 HIDE ALL 可以把画框都隐藏掉,只显示图片哦。
写在最后
感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。