当前位置:AIGC资讯 > AIGC > 正文

ComfyUI 实战教程:图片添加文字

大家好,我是每天分享AI应用的萤火君!

在AI绘画中书写文字一直是个老大难的问题,直到SDXL的出现,文字生成才迎来转机,可以在提示词中指定一些英文字符,不过也是经常出错,生成中文就更加不可求了。

本文介绍一种在AI生成图片中稳定生成文字的方法,可以自定义字体、颜色、大小,以及文字书写方向,有兴趣的同学可以继续了解下。

展示效果

随便搞了一张,大家看看效果如何。

环境准备

目前 ComfyUI 比较依赖显卡,要想流畅的运行各种工作流,24G显存的Nvidia显卡是标配,不过这个价格不菲,动辄过万。即使你不差钱,部署ComfyUI、安装插件、下载模型也都是坎。

手动安装

如果上边的问题都不是问题,可以看看我这篇安装教程:

https://mp.weixin.qq.com/s?__biz=MzkxNTUxNjU2OQ==&mid=2247484951&idx=1&sn=640080a52a6edaceb48fe3b888dfe82f&chksm=c15cbbe1f62b32f729b60aa6b1245002c9ac26959d8c57247674e41e05d2fe2c09639798427b#rd

使用云环境

如果你刚接触ComfyUI,或者平时只是偶尔用用,建议先在云环境体验。

最近京东云搞了个大活动,9.9元一天,3天只要25.9,恰好我在京东云上也有一个 ComfyUI 镜像,已经内置本文介绍的工作流,还有其它常用工作流。

包日是从当天晚上12点开始算的,相当于多得1天,不知道是不是BUG,机不可失,建议抓紧薅羊毛,镜像使用如有问题可以给我留言。

京东云算力服务访问地址:京东云,可以直接使用京东账号登录。

领取代金券

另外萤火君特别给大家申请了5元代金券,给公/众\号“萤火遛AI”发消息“京东云”即可获取,先到先得,数量有限,大家抓紧时间领取!

领取到代金券后,请在“费用”-“代金券管理”中激活代金券,操作如下图所示。

创建实例

9.9活动下单地址:https://www.jdcloud.com/cn/pages/GCS_AIGC

普通下单地址:京东云控制台

下单成功后,进入到GCS实例列表页面,等待GCS实例启动。

启动ComfyUI

实例启动成功后,状态会显示“运行中”,我们只要依次点击“更多”-“ComfyUI(萤火君定制版)”,就可以在浏览器中打开ComfyUI了,不用执行任何技术命令,是不是很爽!

京东云基于安全考虑,访问应用时需要输入用户名和密码,用户名是 root,密码从实例列表中复制即可。

如果你懂一些技术操作,也可以通过实例提供的 JupyterLab 去完成。

如果选择的按小时付费,用完记得关机,以免继续扣费。

上传下载

如果镜像中缺少你想要的模型,也可以通过 SFTP 上传到服务器中,使用方法介绍在这里:

上传下载文件--智算服务-帮助文档-京东云

转到其中的方法2: 使用FileZilla进行上传和下载。

ComfyUI相关的东西都在这个目录下:/data/apps/ComfyUI。

使用方法

这个给图片添加文字的工作流已经在我的镜像中内置,大家可以在云环境直接使用。

打开 ComfyUI 后,点击菜单中“加载”旁边的小箭头,选择“海报”即可。

生成文字图片

将文字生成图片用到一个“文本图像”的节点,这个节点是插件“comfyui-mixlab-nodes”提供的,只需要输入要生成文字的图片,可以设置字体、文字大小、文字间距、文字颜色、文字方向等。

这里还用到了“遮罩到图像”,这是用来反转文字颜色的,用白色来显示文字,并将文字图片的背景设置为透明,方便合成到图片中;“图像缩放”节点用来控制文字图片的大小,需要搭配合成图片,大家按照自己的需要设置即可。

如果要添加字体,请将字体文件放到插件的这个目录中: custom_nodes/comfyui-mixlab-nodes/assets/fonts

添加文字图片图层

为了把文字生成的图片与其它图片进行合成,这里使用了“合并图层”。

我们把文字生成的图片作为新图层,合并到背景图片中,在新图层中,可以使用X、Y指定文字图层在背景图片中的位置,使用宽度、高度设置文字的大小,这里还使用了以“height”为参照的缩放方法,文字图层将以高度为主,宽度按照比例自动缩放。

如果需要多个图层,一层层拼接即可。

制作海报的更多设置

为了让拼接的图层更为自然,我们还可以对拼接后的图片进行进一步的优化重绘。

比如这里使用了“SD放大”节点,使用较低的降噪幅度,来让图片拼接的更为和谐,同时也不对图片中的元素进行大的改动。

资源下载

为了方便大家入门,我整理了一批工作流,包括基本的文生图、图生图、ControlNet的使用、图片的处理、视频的处理等等,发消息“工作流”到公/众\号“萤火遛AI”,即可领取。

另外我创建了一个AI绘画专栏,更多的工作流、模型等资源会发布在这个专栏中。加入专栏,还可以零门槛,全面系统的学习 Stable Diffusion 创作,让灵感轻松落地!如有需要请点击链接进入:https://xiaobot.net/post/03340243-9df6-4ea0-bad6-9911a5034bd6

更多生成文字

另外,在之前的文章中,我还介绍过一种使用蒙版生成文字的方法,可以文生图,也可以图生图,效果如下:

有兴趣的同学可以去了解下,文章地址:

https://mp.weixin.qq.com/s?__biz=MzkxNTUxNjU2OQ==&mid=2247484660&idx=1&sn=05b225818f328ef933bb0cd993965b40&chksm=c15cb902f62b3014e8b63d204282c62af0e07076c18ce8822951ba0c8568390eb7af364d03fc&token=1226760965&lang=zh_CN#rd

以上就是本文的主要内容,如有问题,欢迎留言。

用好 ComfyUI:

首先需要对 Stable Diffusion 的基本概念有清晰的理解,熟悉 ComfyUI 的基本使用方式; 然后需要在实践过程中不断尝试、不断加深理解,逐步掌握各类节点的能力和使用方法,提升综合运用各类节点进行创作的能力。

我将在后续文章中持续输出 ComfyUI 的相关知识和热门作品的工作流,帮助大家更快的掌握 ComfyUI,创作出满足自己需求的高质量作品,感兴趣的同学请及时关注。

总结

### 文章内容总结
本文由萤火君撰写,主要介绍了在AI绘画中如何稳定生成自定义文字的方法,特别是针对SDXL等传统方法难以处理中文生成问题的解决方案。具体内容包括以下几个方面:
1. **文字生成方法介绍**:
- 线了AI绘画中文字生成历史难题,特别是SDXL在处理英文字符虽有改进但常出错,且生成中文更加困难。
- 介绍了一种新方法,可以在AI生成的图片中稳定生成文字,支持自定义字体、颜色、大小和书写方向。
2. **展示效果**:
- 通过一张示例图片,展示了新的方法在AI生成图片中加入文字的效果。
3. **环境准备**:
- 强调了当前技术栈(ComfyUI)对显卡的高要求,推荐使用24GB显存的Nvidia显卡。
- 提供了手动安装和使用云环境两种部署方式,其中云环境建议使用京东云,并提供特殊优惠活动信息和领取代金券的步骤。
4. **使用方法**:
- 详细介绍了如何在ComfyUI环境下使用工作流生成含有自定义文字的图片。
- 包括选择工作流、“文本图像”节点的使用、字体添加位置、“遮罩到图像”的使用、图层合并、图片合成优化等步骤。
5. **资源下载与专栏推荐**:
- 提供了一批基本工作流资源的下载链接及用法指导。
- 推荐了自己的AI绘画专栏,提供了更多资源和系统学习Stable Diffusion创作的机会。
6. **其他文字生成方法**:
- 提及了之前介绍的蒙版生成文字方法,提供了文章链接供进一步学习。
7. **总结与展望**:
- 强调了掌握Stable Diffusion基本概念和ComfyUI使用方法的重要性。
- 表示后续将继续分享ComfyUI知识和热门作品工作流,帮助读者更快掌握创作技巧。
通过本文,读者可以了解到如何在AI绘画中有效解决文字生成问题,以及如何借助ComfyUI平台和京东云资源高效进行AI艺术创作。

更新时间 2024-09-05