当前位置:AIGC资讯 > AIGC > 正文

一文教会你用Stable Diffusion做个性化头像丨使用ControlNet插件和IP-Adapter模型

来看看这个简单有趣的指南吧,它会教你怎样给自己的头像加点儿创意,使用Stable Diffusion、ControlNet和IP-Adapter塑造风格化的头像,让你的头像更有特色,更有趣。

前置条件

验证ControlNet和IP-Adapter

创建个性化头像

比较不同风格的头像

个性化头像的示例

1. 前置条件

在我们踏上这趟激动人心的面部肖像塑形之旅之前,先来确保你已经准备好了所需的基本条件。下面就是使用ControlNet和IP-Adapter技术的一些关键要求:

ControlNet

开始之前,最重要的一点是您需安装ControlNet扩展,它是我们的核心。

IP-Adapter面部模型

为了有效地传输和操作你的面部特征,你需要一个专为面部设计的IP-Adapter模型。

这个模型在准确展现你的面部表情和特征方面非常关键。下载方式请看文末

注意:safetensors文件需要最新版本的ControlNet才能正常工作。确保您“检查更新”,并重新启动UI以更新ControlNet扩展到最新版本。

IP-Adapter的文件位置

下载“ip-adapter-plus-face_sd15.safetensors”后,您需要把它放到以下文件夹中:

stable-diffusion-webui\extensions\sd-webui-controlnet\models

完成以上这些,为顺畅地创造个性化头像奠定了基础。

2. 验证ControlNet和IP Face Adapter

现在,ControlNet扩展和IP-Adapter模型已成功安装,让我们继续验证它们在Stable Diffusion Web UI中的可见性。切换到“txt2img”或“img2img”选项卡,向下滚动时,您可以看到ControlNet扩展的展开面板。

ControlNet扩展和IP Face Adapter模型

打开此面板并选择“IP-Adapter”控制类型时,请确保可以选择“ip-adapter-plus-face_sd15”模型。

故障排除

如果由于任何原因您没有在选项中找到此模型,您可以尝试两件事:

点击右侧的蓝色刷新图标以更新模型。

如果模型仍然不可见,请仔细检查“ip-adapter-plus-face_sd15”文件的放置位置,以确保其位于第1节中提到的正确文件夹中。

当用户界面上的一切看起来都正确时,我们可以开始创建我们的第一张风格人像照了。让我们试一试!

3. 创建个性化头像

在本节中,我们将深入探讨使用ControlNet画布和IP-Adapter技术创建个性化头像的过程。

让我们执行以下操作:

ControlNet设置

从开始,将您首选的头像(面部的)放在ControlNet的Unit0画布上。

启用ControlNet,选中“Enable”复选框。

启用“Pixel Perfect”。

将“Control Type”选择为“IP-Adapter”。

选择“ip-adapter-plus-face_sd15”模型。

将ControlNet的其余设置保留为默认值。

在我们的初始示例中,我们将以安吉丽娜·朱莉为面部模特。

为了提升效果,创建一个反映传统摄影棚面部肖像的提示。

在这次的尝试中,我们继续采用ToonYou Checkpoint模型用于可爱的卡通效果。下载地址:

https://civitai.com/models/30240/toonyou

样式面部肖像示例

面部肖像提示和设置
正面提示

best quality, beautiful, 30 year old woman, (full face portrait:1.2), face portrait, detailed face, freckles, (facing camera), (looking into the camera), studio portrait, natural lightning, perfect shadows

负面提示:

(worst quality:1.2), (low quality:1.2), (lowres:1.1), (monochrome:1.1), (greyscale), multiple views, comic, sketch, (((bad anatomy))), (((deformed))), (((disfigured))), mutation hands, mutation fingers, extra fingers, missing fingers, watermark

采样步骤: 30

采样器: DPM++ 2M Karras

提示词相关性(CFG Scale): 7

尺寸: 512x512

模型: ToonYou

调整提示词

您可以根据自己的偏好定制提示词,并对生成的头像进行细微调整。例如,如果我希望安吉丽娜·朱莉有红头发和蓝眼睛,我可以在提示中包含相关关键词来获得所需的结果,如下所示:

调整后的正面提示

best quality, beautiful, 30 year old woman, (red hair:1.2), (ginger hair:1.2), (blue eyes:1.2), (full face portrait:1.2), face portrait, detailed face, freckles, (facing camera), (looking into the camera), studio portrait, natural lightning, perfect shadows

提升头像质量

如果结果没有达到您的预期,您可以使用“Hires.fix”功能增强图像质量。通常,您选择的Checkpoint会提供特定的Upscale设置建议。对于ToonYou Checkpoint,在对图像进行放大时,它建议以下设置:

放大器:R-ESRGAN 4x+ Anime6B

Hires步骤:14

去噪强度:0.35

放大因子:1.5+

利用放大器可以增强图像质量,提供卓越的结果。

现在我们的初始卡通风格面部肖像已经完成,请随意尝试各种Checkpoint以获得独特的风格!

让我们深入研究一些我们最喜欢的Checkpoint,使用XYZ图。

4. 比较不同风格的头像

在本节中,我们通过使用XYZ绘图技术进行视觉探索,比较各种头像的风格。

XYZ绘图脚本

这种XYZ绘图方法作为一种快速有效的工具,用于评估不同的Checkpoint及其对我们初始头像的转换效果的影响。那么,让我们开始绘图吧。

首先,单击“Script”展开面板下的X/Y/Z绘图脚本,打开选项:

选择X/Y/Z绘图后,会出现一个面板,您可以根据需要的比较参数自定义和填充特定设置。现在是我们比较的时候了。

XYZ设置和比较

我们的比较将是不同Checkpoint模型与不同的采样方法的比较。为实现这一点,我们需要以下设置:

将X类型设置为“Checkpoint名称”

在X值处选择要比较的Checkpoint

将Y类型设置为“采样器”

在Y值中选择要比较的采样方法

您可以在下面找到我们的XYZ绘图填写的设置。

您可以灵活地包括其他Checkpoint和采样方法。此外,还可以引入另一个“Z类型”来比较其他参数。然而,对于本教程的目的,我们将按照上述方式保持不变。

比较不同模型

现在,在制作新的个性化头像时,您可以快速确定您首选的样式。

就我个人而言,我会坚持使用 ToonYou Checkpoint,因为我太喜欢这个卡通风格了。

5. 个性化头像的示例

以下是使用ToonYou Checkpoint模型创建的几个头像:

詹妮弗·劳伦斯

艾玛·斯通

结论

总结一下,我们详细了解了如何利用ControlNet扩展和专用IP-Adapter来调整个性化头像。

我们不仅研究了从基本设置到与各种Checkpoint进行的实验,还探讨了将技术与个人风格相结合的创新方法。

XYZ绘图工具的使用大大简化了风格的比较,使我们能快速看到不同样式的效果。

通过灵活调整提示词,不仅赋予了艺术创作自由,也将头像变成了个性化的视觉表达方式。

写在最后

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

若有侵权,请联系删除

更新时间 2024-06-10