当前位置:AIGC资讯 > AIGC > 正文

Stable Diffusion教程|图生图原理和实战

Stable Diffusion凭借其卓越的图生图功能,极大地提升了图像生成的可控性与输出品质,赋予用户前所未有的个性化创作风格表达能力。这一革新特性使得Stable Diffusion不仅能精准地捕捉用户的艺术愿景,更能以数字化手段孕育出新颖且极具创意的画作。本篇教程将深入剖析图生图的原理,聚焦于Stable Diffusion的图生图AI绘画技巧,助力您在创作独特数字艺术作品时拓宽灵感源泉,精进技艺。

目录

1 图生图原理

2 图生图实战

一、图生图原理

1. 扩散模型

Stable Diffusion的核心是基于扩散模型的框架。扩散模型是一种深度学习模型,它模仿物理过程中的分子扩散现象,将图像从纯噪声逐渐演化为清晰图像。这个过程分为两个相反的阶段:扩散(增加噪声)和逆扩散(去除噪声并恢复结构)。在图生图场景中,逆扩散阶段被用来根据用户提供的输入图片和提示词,逐步生成目标图像。

2. 条件输入

不同于纯粹的文生图,图生图不仅接受文字提示,还接受一张源图片作为额外条件。源图片的信息被编码为隐空间中的向量表示,与文字提示共同作为逆扩散过程的起点。模型在更新图像状态时,既参考了源图片的结构特征,又受到文字提示的语义指导,从而生成与源图相关联且符合提示要求的新图像。

3. 提示词与反向提示词

提示词是用户为指导生成过程提供的关键词或短语,它们描述了期望的风格、氛围、元素或主题。反向提示词则用于指定不希望出现在生成结果中的内容。两者结合使用,能够更精确地约束模型的生成行为,确保输出图像既包含了期望的变化,又避免了不必要的元素。

二、图生图实战

1. 准备工作

安装Stable Diffusion环境和相关插件。

前几篇已讲过了,还没学习的同学,请到文章末尾查看往期教程,进行学习。

SD Web UI 切换到图生图界面:

图生图功能的主要特点:

基于原始图像作为参照,生成新图像时确保关键的视觉样式与布局得以忠实保留。

运用文本指令,精准指引图像生成的个性化路径,涵盖风格重塑、细节强化等多元需求。

运用分布渲染技术递进式提升与细化图像品质,步步雕琢至理想状态。

借力于原图固有的视觉元素,显著提升生成图像的契合度与可控性,确保结果贴合预期。

轻松驾驭多种艺术流派的模拟演绎,只需借助精准的文字描述即可实现风格的无缝切换。

具备高效批处理能力,可一次性自动化处理大量图片,无缝完成整体优化与定制化修正。

2. 重要参数

step1 选择一个写实的大模型,再上传源图片:选择一张清晰、主题明确的源图片作为改造基础。注意,图片质量和内容直接影响生成结果。

图2-1 上传图片

step2 缩放模式:(拉伸/剪裁/填充/直接缩放)

拉伸:自动调整大小,当宽高比例不正确时,主体被拉伸

剪裁:自动调整图像大小,剪裁多余部分

填充:用图像的颜色自动填充空白区域

直接缩放(放大潜变量)

图2-2 拉伸模式

step3 图片尺寸,点击小三角会自动保持与原图尺寸一致或自定义尺寸。如:512*512。

图2-3 自动同步尺寸

step4 编写提示词:构思简洁而准确的提示词,描述期望的生成效果。例如,“a hummingbird”。

step5 设置重绘幅度0~1 和 采样方法,点击“生成”按钮。

图2-3 不同重绘幅度和不同采样器 图片对比

重绘幅度低于0.5更接近原图,大于0.7AI创作力度变大。

3. 真人转二次元

step1 下载一个二次元的大模型:AWPainting

下载地址:https://www.liblib.art/modelinfo/1fd281cf6bcf01b95033c03b471d8fd8

下载存放文件路径:

图2-4 大模型存放目录

step2 使用AWPainting模型,上传图片真人照片,设置尺寸512*768,重绘幅度0.6,采样器DPM++ 2M Karras,提示词“animation style,a cute girl,”(你可随意发挥)。

图2-5 真人转动漫

******小技巧:你可以把重绘幅度设置0.2,循环生成图片,逐步转换二次元效果,最后通视频编辑软件把图片制作转场动画。

4、制作头像

step1 上传大头照512*512,使用AWPainting模型,设置同尺寸1024*1024,重绘幅度0.6,采样器DPM++ 2M Karras。

图2-6 头像参数

step2 提示词"futuristic sci-fi themed girl,set against a high-tech cityscape at night,CG rendered,metallic sheen,cool special effects,seductive smile,",生成图像。

图2-7 生成二次元头像
文章使用的AI绘画SD整合包、各种模型插件、提示词、AI人工智能学习资料都已经打包好放在网盘中了,有需要的小伙伴文末扫码自行获取。

写在最后

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程,模型插件,具体看下方。

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

若有侵权,请联系删除

更新时间 2024-06-19