大家好,我是程序员晓晓
在SD里面画蒙版难吗?难,可太难了。画面那么小,画笔只能用鼠标涂,工具很少,还时灵时不灵的,想要精确绘制几乎是不可能完成的任务。
在PS里面画蒙版难吗?简单,可太简单了。要快速的,可以用自动选择主题的工具;要精确的,可以用钢笔慢慢抠图。
但是呢,流程麻烦。SD去PS,图片要不停地导入导出,不能实时调整,而且关键是有人还不会PS怎么办?
对于我们大多数人来说,能在一个软件里解决的事,就绝对不开第二个软件!
秉承着这个信念,今天给大家介绍一款AI绘画Stable Diffusion中的抠图神器——Segment Anything。
Segment Anything是一种基于深度学习算法的图像分割工具,它可以将图像当中的每一个像素分配到对应的区域当中,能够实现精准的边缘识别。与传统的分割工具相比,它的优势就在于自动检测,大大提高了分割效率。
SAM模型分割
1、在扩展面板中使用网址安装Segment Anything 。guthub地址:https://github.com/continue-revolution/sd-webui-segment-anything
如无法下载,请看文末获取本地插件安装包
2、重启之后,可以看到安装好的Segment Anything插件,此时还需要安装SAM模型。
3、在guthub上有三个SAM模型,由大到小分别是vit_h(2.56GB)、vit_l(1.25GB)、vit_b(375MB),越大的模型效果越好,但是占用的显存越多,大家酌情而定。大部分情况下,选择vit_l就可以了。
4、我已经放在云盘里了,大家把下载好的SAM模型放在这个路径下“……\sd-webui-aki-v4\extensions\sd-webui-segment-anything\models\sam”。
5、我们来测试一下SAM模型的效果,左键点击要保留的部分打上黑点,右键点击不要的部分打上红点,双击不需要的点可以进行移除。
6、点击预览分离结果,可以看到SAM替我们分离出来的三个方案,第一个差一点;第二个分离出来了上衣,可以进行服装替换;第三个分离出来了人物,可以进行背景替换。
7、现在我想使用第二个蒙版来进行服装替换,所以我选择编号为1的蒙版。
8、点开“展开蒙版设置”,可以设定蒙版扩展量,就相当于是把蒙版扩展出一部分,让更换信息被充分包裹。这边扩展量建议30,跟着它说的做就行,然后点击发送到“重绘蒙版”。
9、这时,我们就来到了图生图中,其实刚才的图片已经进入“上传重绘蒙版”了,只是有bug我们看不见。当然,如果出现错误的话,也可以手动保存蒙版。
10、接下来就是我们的换衣步骤了。提示词输入“蓝色毛衣”,蒙版区域内容处理改为“填充”,尺寸改为和图像一致,重绘幅度为1。
8、因为蒙版区域比较大,所以AI在填写内容的过程中,有可能会出现这种和之前的手衔接不上的问题。
9、我们可以通过降低重绘幅度,或者是添加一个openpose来控制人物的身体,得到正确的姿势。
10、除了使用图生图的局部重绘以外,我们还可以使用controlnet的局部重绘功能,控制模式选择“更注重提示词”。至于具体用哪一个,大家自己试验,选效果好的就行。
GroundingDINO模型分割
但有的时候,我们需要更精确一点的蒙版,比如人物的眼睛,或者是身上的配饰等等。
单靠SAM模型就很难得到想要的蒙版了,这个时候我们就需要使用到segment anything中的GroundingDINO了。
启用GroundingDINO,AI会自动下载模型,此时会需要用魔法,没有魔法的同学可以看文末获取文件。
放到这个文件目录下“……sd-webui-aki-v4.2\extensions\sd-webui-segment-anything\models\grounding-dino”
点击启用,在检测提示词中输入“eye”,AI就可以根据语义分割帮我们自动检测出眼睛的部分,并设置好蒙版。
我们还可以通过预览箱体,来得到两只眼睛的编号,通过编号可以选择调整单一的眼睛。比如,我只想调整左边那只眼睛,我就只需要勾选1就可以了。
和刚才一样,选择我们想要修改的蒙版,上传到重绘蒙版当中。
添加提示词“闭眼”。
点击生成,可以看到图片就修改好了。
我们再来给人物换个背景试试,加载刚才生成的背景蒙版。
大模型选择 revAnimated_v122,正向提示词:简单背景、花、国画、工笔。
蒙版模式选择“重绘非蒙版内容”。
得到这张图片,头发的部分没有抠太好。
我们将它再次放入图生图中,使用tile模型做一次整体细化,除了融合人物之外,还能给人物的衣服也添加上国风元素。
生成,人物好像变得高级了一些。
来到PS,使用创成式填充修复一下头发。
完成啦。
补充说明
如果在以上使用过程中发生错误,那么你可能需要部署一下使用环境,我们再次开启最傻瓜安装教学模式。
1.安装cuda_11.8.0_522.06_windows.exe。
2.安装VisualStudioSetup.exe,选择C++的桌面开发安装。以上步骤,我们在安装roop的时候也做过,如果安装过roop的可以跳过。
3.拷贝ninja, 打开ninja文件包,把里面的内容拷贝到秋叶包根目录。
4.拷贝python, 打开python文件包,把里面的内容拷贝到秋叶包根目录替换。
5.拷贝模型, SAM和GroundingDINO的模型都在这了,放到对应的文件夹即可。
6.**重启,**装好了,重启电脑,即可运行。
以上,就是关于segment anything插件的安装教程和使用方法讲解,这个软件最大的作用,就是帮助我们快速高效的生成蒙版,从而进行人物的换装或者图片中元素的替换。
写在最后
感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
总结
**总结文章****标题**: Segment Anything——AI绘画中的抠图神器与AIGC技术的前景
**内容概要**:
文章首先由程序员晓晓讲述了在SD(可能指Stable Diffusion或其它类似软件)和PS(Photoshop)中绘制蒙版的难易对比,进而引出AI绘画中重要性及高效性。接着,重点介绍了Segment Anything这一基于深度学习的图像分割工具,它能够实现精准的边缘识别,并大大提高了分割效率。
**详细步骤**:
1. **安装与使用**: 详细说明了在SD扩展面板中安装Segment Anything的步骤,包括重启、模型选择(“vit_h”, “vit_l”, “vit_b”)和安装路径设置。
2. **SAM模型分割**: 通过左键和右键点击选择图像中的保留与舍弃部分,展示了SAM模型如何帮助用户提出不同的分割方案,并最终用于服装替换等操作。
3. **GroundingDINO模型分割**: 当需要更精确的蒙版,如人物眼睛或配饰时,介绍了如何利用GroundingDINO进行更高级的语义分割和精细调整。
4. **补充说明**: 对于在使用过程中可能遇到的错误,提供了傻瓜式的安装方法和环境部署步骤,确保能够顺利执行Segment Anything的功能。
**AIGC技术展望**:
- 强调AIGC技术发展前景广阔,将在游戏和计算领域得到更广泛应用。
- AIGC技术与AI技术的结合将为程序员带来全新的工作方式和思考路径。
**学习资料推荐:**
- 文章末尾提供了丰富的AIGC相关学习资源,包括学习路线、工具箱、学习笔记、视频教程以及实战案例,旨在帮助读者快速上手和深入理解AIGC技术。
**结语:**
- Segment Anything不仅是一个抠图神器,更代表了AIGC技术在提高创作效率和精准性方面的巨大潜力。随着人工智能技术的发展,AIGC将继续推动各行业的技术进步和创新。