图生图模式,就是通过预处理现有图片生成新的图片,首先需要上传图片,将图片进行处理,处理方法包括生成线稿,蒙版涂鸦等,然后配合填入相关的提示词,调整参数等,SD将会在原图信息的基础上,结合提示词参数等生成新的图片,目前用途有,线稿上色,草图细化,风格转换,图片放大等。
一、图生图与文生图的界面区别
图生图界面和文生图界面多了两个板块,主要是用来处理源图片,转换为SD软件能理解的文字语言,然后进入文生图运作进程,
增加的第1个板块是反推板块:CLIP反推和DeepBooru反推,即根据图片反推出提示词,需要另外安装插件。
以下是文生图和图生图界面对比
它们有什么区别呢?用下面的图反推一下看看区别
CLIP反推:
a woman in a dress standing on a balcony with a castle in the background and a sky background with clouds, Ai-Mitsu, city background, a detailed painting, fantasy art
一个穿着裙子的女人站在阳台上,背景是城堡,天空背景是云,爱光,城市背景,详细的绘画,幻想艺术
DeepBooru反推:
building, city, cityscape, cloud, skyscraper, castle, 1girl, skyline, tower, architecture, town, navel, navel_cutout, bridge, railing, sky, cloudy_sky, solo, long_hair, sunset, east_asian_architecture, clock_tower, rooftop, ruins, outdoors, blue_eyes, clothing_cutout, pagoda, smile, looking_at_viewer, scenery, black_hair, dress, mountain, breasts, twilight
建筑、城市、城市景观、云、摩天大楼、城堡、女孩、天际线、塔、建筑、城镇、肚脐、剪影、桥梁、栏杆、天空、云天、独奏、长发、日落、东亚建筑、钟楼、屋顶、废墟、户外、蓝眼睛、衣服剪影、宝塔、微笑、观赏者、风景、黑发、衣服、山、乳房、黄昏
CLIP注重画面内的联系,生成的自然语言描述。
DeepBooru对二次元图片生成标签,对二次元的各种元素把握更好。
增加的第2个板块是图片预处理板块:用来上传并处理图片,粘贴,拖拽以及上面都可以。二、图生图一般工作流程
1.上传图片;
2.填入提示词(描述源图片画面内容);
3.选择模型;
4.设置相关参数(宽高根据源图片调整);
5.生成样图;
6.根据样图调整参数,模型和提示词;
7.多次调试,达到满意的效果。
三、图片预处理窗口介绍
>> 导入图片
图片上传的4种方式鼠标拖拽上传
复制粘贴
文生图发送
图片信息发送至
导入窗左上角图标铅笔:裁切上传图片;
×号:清除图片。
>> 导入图片
1.仅调整大小/拉伸
通过压扁拉伸源图片修改尺寸。
2.比例裁剪后缩放/裁剪
按设置尺寸截取图片中心区域。
3.缩放后填充空白/填充
相当于PS内容填充,根据源图片边缘区域的内容填充其余尺寸区域,需要把重绘幅度调高。
4.调整大小 (潜空间放大)
三、图生图功能六大类:
>> 图生图 / img2img
根据你上传的图片生成一张在原图基础上创作的新图片可以通过修改 Prompt去自定义想要的结果。
>> 涂鸦绘制 / sketch
在原图基础上涂鸦后,进行二次创作,也可以进行线稿的上色,选择合适的模型,如果想要生成二次元的,就选择二次元模型。
>> 局部绘制 / inpaint
在局部绘制中,我们只需要将需要重绘的地方圈出来,然后加上 Prompt提示词即可其中蒙版的黑色画笔并不是一种真的颜色,它是一片代表透明(不可见)属性的区域比如,将图片中的女生头发换成一头白发,只需要将图片上的头发区域涂上蒙版,然后在 Prompt中输入 white hair提示词即可,如果想要更好的效果,自己设置更多的 Prompt进行描述,除了头发,其他任何区域都可以进行重绘。
>> 涂鸦蒙版 / inpaint sketch
相比于局部重绘,多了一个蒙版透明度的配置,但这个蒙版是可以自定义颜色的,在局部绘制中画笔只有黑色,而在涂鸦蒙版中蒙版的颜色会影响到原图,选择什么颜色最终重绘都会往这个颜色上靠,蒙版透明度按照需要颜色的程度调节,最好不要超过40,比如将动漫女生衣服换成红色的旗袍,只需要将衣服用红色的画笔涂抹,然后在 Prompt中输入中国旗袍的英文解释即可,因为涂鸦蒙版的颜色是会影响到原图的,所以如果是用蓝色涂抹衣服,最终将会生成蓝色的旗袍。
>> 上传重绘蒙版 / inpaint upload
跟涂鸦蒙版其实差不多,只是上传的蒙版需要借助其他工具,如PS的处理,相比直接手涂更精确,上传蒙版的蒙版在制作时可以设置部分透明的效果(不同程度的灰),还有边缘的羽化等等。使用需要注意的一点是,在上传蒙版中,白色代表重绘,黑色代表不处理。也不用细分,如果弄错了,在蒙版模式中选择重绘非蒙版就可以。
>> 批量处理 / batch
批量处理功能用的不多,只要输入图片所在目录路径、图片处理后保存的路径以及蒙版路径即可批量处理。
三、图生图参数介绍:
>> Resize mode:缩放模式
缩放模式指的是当原图和要生成的图的宽和高不一致的时候,选择的缩放模式,一般选择裁剪,如果原图和生成图的宽高一致的时候,选择任意均可,所以在生图之前建议调整目标图片宽高尽可能和原图一致。
仅调整大小/Just resize:通过压扁拉伸源图片修改尺寸。
裁剪后缩放/crop and resize:按设置尺寸截取图片中心区域。
缩放后填充空白/resize and fill:相当于PS内容填充,根据源图片边缘区域的内容填充其余尺寸区域,需要把重绘幅度调高。
调整大小(潜空间放大)/just resize (latentipscale)
>> Mask blur:蒙版模糊度
相当于PS里面的边缘羽化,我们可以在0到64之间调节数值。会使我们涂抹的区域从边缘向中间逐渐透明。如果数值较小,边缘会更加清晰锐利。因此,选择一个适当的数值可以让图片看起来更加真实。通常情况下,使用默认数值即可获得理想效果。
>> Masked content:蒙版区域内容处理
包括:填充/fill、原图/original、潜空间噪声/latent noise、无潜在空间/latent nothing。这是预处理的一个步骤,其中填充是使用蒙版边缘图像的颜色进行填充,但颜色已经被高度模糊处理;原图则完全保留了原来的细节;潜在噪声则使用噪点进行填充;而无潜在空间是指噪点值为0的状态。只有原图选项能保留画面的原貌,所以通常选择原图即可。
>> Mask transparency:蒙版的透明度
一般默认为0,即不透明,因为透明度越高,AI发挥的空间越小,基本上当透明度大于60,预处理就会失去作用。
>> Mask mode:蒙版模式
包括绘制蒙版内容/inpaint masked、绘制非蒙版内容/inpaint not masked,这个很好理解,选择第一个就是只在蒙版区域重绘,另一种则相反,正常一般默认第一个即可。
>> Inpaint area:重绘区域
包括全图/whole picture、仅蒙版/only masked。全图重绘是在原图的尺寸下重新绘制蒙版区域,优点是内容与原图更好地融合,但缺点是细节不够突出。而蒙版重绘是将蒙版区域放大到原图尺寸,进行绘制后再缩小到相应位置,优点是细节更加清晰,但缺点是细节过多,与原图的融合效果不够理想。
>> Denoising strength:重绘强度
"重绘幅度"指的是对于一个图像或图形进行重新绘制的程度或范围。数值越小越接近原图,一般默认0.75左右,数值越大,越自由发挥,与原图相关性越来越低。低强度就是基本不重绘,越高重绘越强,融合越不好,所以默认即可虽然图生图的参数比较多,但大多数的时候,我们选择默认即可,因为很多时候,只需要正确的选择而非过多的选择,个人也仅仅设置一下缩放模式、采样器、采样步骤和宽高进行出图。
文章使用的AI工具SD整合包、各种模型插件、提示词、AI人工智能学习资料都已经打包好放在网盘中了,有需要的小伙伴文末扫码自行获取。
写在最后
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程,模型插件,具体看下方。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
总结
### 文章总结**图生图模式概述**:
图生图模式利用AI技术预处理现有图片,通过生成线稿、蒙版涂鸦等手法,结合提示词和参数设置,在原图基础上生成新图片。该模式广泛应用于线稿上色、草图细化、风格转换和图片放大等领域。
**界面区别**:
- **图生图与文生图**:图生图界面多了反推和图片预处理两大板块。
- **反推板块**:CLIP反推侧重画面内元素的自然联系,DeepBooru则更适合二次元图片,生成更精细的标签。
- **图片预处理板块**:用于上传、裁剪、缩放等处理图片,便于后续生成。
**工作流程**:
1. 上传图片
2. 填入提示词描述画面
3. 选择适合的模型
4. 设置相关参数(如宽高)
5. 生成样图
6. 根据效果调整参数、模型和提示词
7. 多次调试以达到满意效果
**图片预处理窗口介绍**:
- 多种方式上传图片(拖拽、复制粘贴、文生图发送)
- 预处理工具如裁切、比例裁剪、填充和潜空间放大等
**图生图功能六大类**:
1. **图生图**:基于原图生成新图片,通过修改提示词自定义结果。
2. **涂鸦绘制**:原图基础上的涂鸦和线稿上色。
3. **局部绘制**:使用蒙版和提示词对指定区域进行重绘。
4. **涂鸦蒙版**:可调整蒙版透明度和颜色的局部绘制。
5. **上传重绘蒙版**:使用外部工具制作的蒙版进行精确重绘。
6. **批量处理**:对多张图片进行批量生成处理。
**图生图参数介绍**:
- **缩放模式**:根据目标尺寸调整原图。
- **蒙版模糊度**:决定蒙版边缘的过渡效果。
- **蒙版区域内容处理**:决定蒙版区域的填充方式。
- **蒙版透明度**:控制蒙版的不透明程度。
- **蒙版模式**:选择在蒙版区域或非蒙版区域重绘。
- **重绘区域**:全图或仅蒙版区域重绘的选择。
- **重绘强度**:控制重绘时与原图的相似性和细节程度。
**结语与展望**:
AIGC技术前景广阔,将深刻影响游戏和计算领域。随着技术的不断提升,AIGC将在更多领域得到应用。文章最后提供了全面的AIGC学习资料、安装工具和实战案例等资源供有需者获取。