大家好!我是向阳
在SD-webui里有个segment_anything插件,只需输入想要提取的元素,
就能帮我们一键生成图片的前景、背景和蒙版。
这期我就分享两个,在ComfyUI里面轻松去背景和生成蒙版的节点。
第一个:segment_anything
插件地址:https://github.com/storyicon/comfyui_segment_anything
注意:需要科学上网,如无法下载,请看文末扫描获取插件安装包
其实它的原理采用GroundingDINO作为对象检测器,通过我们输入的类别名称或引用表达式,来检测目标,
然后再经过大量数据训练的segment_anything_model,简称SAM模型,来处理图像,最后生成对象蒙版。
使用时会自动下载模型。你也可以根据下表,手动下载它们。如果自动下载速度慢,可以设置 HTTP_PROXY 和 HTTPS_PROXY 环境变量来使用代理。
从 https://huggingface.co/bert-base-uncased/tree/main 下载模型到 ComfyUI 根目录下的models/bert-base-uncased 文件夹中,如下所示:
ComfyUI
models
bert-base-uncased
config.json
model.safetensors
tokenizer_config.json
tokenizer.json
vocab.txt
当然你也可以跳过此步骤。在推理过程中, bert-base-uncased 会通过 transformers 库自动下载,
其目录通常为 ~/.cache/huggingface/hub/models–bert-base-uncased
请直接将模型和配置文件下载到ComfyUI根目录下的 models/grounding-dino 目录中,无需修改文件名。
名称 大小 模型文件 GroundingDINO_SwinT_OGC 694MB 请看文末扫描获取 GroundingDINO_SwinB 938MB 请看文末扫描获取SAM 模型
下载后放到ComfyUI根目录下的 models/sams 目录下,无需修改文件名。
根据自己的需要请看文末扫描获取模型,模型有大有小。
实操步骤
还是老规矩,先加载默认文生图工作流
默认文生图工作流
接着我们使用上面安装的segment_anything插件
可以看到,这个节点是要加载两个模型的,也就是上面我们下载的模型,并且需要一个图片作为参考图,它的输出则是一张图和一个遮罩。
我们按它的输入要求加载下需要的东西,并且我们希望他能扣出我的主体人物,所以我提示词给它:character
,并且把图片和遮罩预览下,看看效果
小知识点:遮罩预览需要转成图像才能预览哦。
sam模型加载器处理模式,尽可能的选择GPU模式,速度更快。
可以看到,很简单就从图片了抠出了人物主体图像,并且生成了一个前景遮罩。
前景遮罩(Foreground Mask):前景遮罩用于标识图像中前景物体的区域。在图像分割中,前景通常是我们关注的对象,比如人、动物或物体。前景遮罩用于分离前景和背景,使我们能够对前景物体进行单独的处理,如提取、替换背景或进行图像合成。
背景遮罩(Background Mask):背景遮罩用于标识图像中背景区域的遮罩。它帮助我们确定哪些部分是背景,以便我们可以对背景进行操作,如替换、模糊或去除。背景遮罩在视频处理中特别有用,用于在动态场景中稳定背景或分离前景对象。
接下来我们把它接入文生图流程看看效果,这里我们其实已经是图生图的模式了,我们需要把遮罩和原图传给KSampler采样器,进行处理,图片进入latent我们都知道,只需要通过vae编码即可,遮罩我们需要使用到设置latent噪波遮罩
这个节点,用户这个替换文生图中的空latent就可以了
我们再使用背景遮罩来试试效果,背景遮罩就是把前景遮罩反转即可,使用的节点是反转遮罩
这个节点
这就是实现了,人物换背景了,而且整体来说还是很协调了。
第二种comfyui-was-node-suite中图像处理
was-node-suite-是comfyui中的一个泛节点套件,来源github作者:WAS-PlaiLabs
其中包含图像处理、文本处理等190个常用节点。部分节点如下图:
GitHub地址:https://github.com/WASasquatch/was-node-suite-comfyui
需要确保/ComfyUI/custom_nodes、was-node-suite-comfyui、 和WAS_Node_Suite.py具有写入权限。
加载
效果是一样的,生成前景遮罩
背景遮罩:
简单几个节点就实现背景替换,效果还是不错的。
整体工作流如下,需要的朋友添加文末的微信获取。
总结
使用segment_anything
插件来一键生成图片的前景、背景和蒙版。插件使用GroundingDINO作为对象检测器,并通过SAM模型处理图像,生成对象蒙版。实操步骤包括加载默认的文生图工作流,使用segment_anything
插件,并输入提示词来生成前景遮罩。
文章还介绍了comfyui-was-node-suite
中的图像处理方法。这是一个包含190个常用节点的泛节点套件,可以用于图像处理、文本处理等。通过这个套件,可以使用简单的几个节点来实现背景替换的效果。
整体工作流包括加载文生图工作流,使用segment_anything
或comfyui-was-node-suite
中的节点来生成前景遮罩和背景遮罩,最后将遮罩和原图传给KSampler采样器进行处理,实现背景替换的效果。
感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。