当前位置:AIGC资讯 > AIGC > 正文

AIGC大模型之——以文生图介绍

一、什么是以文生图?

       以文生图是AIGC ( AI Generated Content )框架中的一个关键技术,通过文字描述,将文字转化为图像并展示出来。以文生图具有白动化程度高、精度高、可扩展性强、可定制化等优势,具有广泛的应用前景,可以为人们提供更便捷高效的绘图解决方案。

文生图的功能:
(1)文字转图像:将输入的文字转化为图像效果 ,使文本更加生动。
(2)图像定制:用户可以选择不用的颜色,字体,背景,作画风格等,定制自己喜欢的图像。

二、文生圈大模型的原理是什么?

       目前,最火热的文 本转图像横型主要是Compvis、Stability和LAION等公司研发的Stable
diffusion模型,一个完全开源的模型( 代码,数据,模型全部开源)。
       Stable diffusion模型是基于Latent Diffusion Models( 潜在扩散模型,LDMs)的文生图模型,在UNet中引入了text condition来实现基于文本生成图像的功能。Stable diffusion模型的主体结构如图1所示,主要包括三个模块:

(1)autoencoder :encoder将图像压缩到 latent空间,而 decoder将 latent解码为图像;

(2)CLP text encoder:该 CLIP的text encoder是一个 transformer模型,提取输入的 text的text embeddings, 通过 cross attention方式送入扩散模型 UNet中作为 condition;

(3)UNet:扩散横型的主体,用来实现文 本引导下的latent生成。

图1:Stable diffusion模型主体结构

       如图2所示为对应的Stable diffusion模型网络结构图。

图2:Stable diffusion模型网络结构图

       根据上述模型结构图可以看出,Stable diffusion模型在生 成图片的过程中,主要包括两个输入一是提示词(prompt),二是种子(作用是生成噪声图),固定的种子和固定的分辦率生成的噪声图是固定的,模型以这个为基础进行图片生成。菲中噪声图并不是一张图片,而是在潜在空间中的一种表示。为了便于理解,绘制为如图3所示的示意图。

                           预处理                                                 潜空间

图3:图像生成过程

三、应用场景

        文生圈(AI作图)技术的发展对各个行业都产生了深远的影响,具有众多的应用场景。

(1)艺术生成:快速高效地生成绘画作品、服装纹理、艺术素材等,为各行业提供灵感和创意。
(2)广告创意:快速生成各种类型的广告和宜传素材,也可以根据用户的需求生成个性化的广告,缩短制作成本和时间。
(3)游戏和影视:快速制作出各种类型的场景 特效、和角色模型。
(4)专业设计:将AI作画与专业领域的知识相结合,如3D建模、医疗、工业设计、建筑设计、教育等,先由Al根据提示制作粗略的草图,再由专业人员完成后续工作。

 四、已落地

       发挥以文生图优势进行海报设计,用于营销海报、宣传推广,提升了一线运营人员的工作效率,有助于深化数字化转型,加速剋赋能经营。

更新时间 2024-01-19