—theme: technology-style —
2024最全大厂面试题无需C币点我下载或者在网页打开全套面试题已打包
AI绘画关于SD,MJ,GPT,SDXL,Comfyui百科全书
2024面试题
2024最新面试合集链接
2024大厂面试题PDF
面试题PDF版本
java、python面试题
AI Gamma一键生成PPT工具直达链接
史上最全文档AI绘画stablediffusion资料分享
AI绘画 stable diffusion Midjourney 官方GPT文档 AIGC百科全书资料收集
AIGC资料包
本文持续更新可关注清单,1500人在读的AI绘画专栏,请加入收藏或者加入收藏栏
热知识:点赞是免费的,却可以让up开心好几天;
三连是珍贵的,评论却可以让你更快成为六级大佬;
三连是神圣的,请把你们神圣的三连交给up吧!
求求有缘刷到的小可爱救救糊糊的孩子吧
资料分享区???
SD本地安装包
https://pan.quark.cn/s/8e66ada8a434
1.提示词预设:https://pan.quark.cn/s/5a0d7d9d784d
2.openpose骨骼图:https://pan.quark.cn/s/b73b2531675f
3.1万张线稿:https://pan.quark.cn/s/51eaee9a5ea7
4.SDXL生态:https://pan.quark.cn/s/2952bf68e0b0
5.comfyui工作流集锦:https://pan.quark.cn/s/320387279505
6.controlnet所有生态:https://pan.quark.cn/s/217f482da2e4
7.Comfyui插件大全:https://pan.quark.cn/s/0aef558217fe
8.Stable diffusion插件大全:https://pan.quark.cn/s/2ae2f155be8b
AI绘画的全部内容 - 阅读清单 - 腾讯云开发者社区-腾讯云
OpenAI Sora 1分钟视频生成 现实不存在了!
预计更新央视AI生成字体教程(敬请期待长期更新)
一、引言
简述AI绘画的兴起背景 介绍Stable Diffusion技术及其在AI绘画中的应用 提及ControlNet技术及其对AI绘画的影响二、Stable Diffusion技术概述
定义Stable Diffusion及其工作原理三、ControlNet技术详解
解释ControlNet技术的核心概念 分析ControlNet如何增强AI绘画的控制性和精确性 展示ControlNet技术在实际绘画中的应用案例四、准备工作
介绍所需的硬件和软件配置 推荐学习资源和社区 讨论如何设置合适的学习目标五、Stable Diffusion实践指南
步骤1:安装和配置必要的软件环境 步骤2:理解并使用Stable Diffusion的基本命令 步骤3:尝试不同的参数设置以获得最佳效果六、ControlNet应用技巧
技巧1:如何使用ControlNet进行细节控制 技巧2:利用ControlNet实现风格迁移 技巧3:结合ControlNet进行创意合成七、案例分析
案例1:创建一幅具有特定主题的风景画 案例2:设计一个具有独特风格的动漫角色 案例3:重现经典艺术作品的风格八、常见问题与解决方案
问题1:如何提高生成图像的质量? 问题2:如何处理模型生成的不相关或不准确内容? 问题3:如何优化工作流程以提高效率?九、最新技术案例分享和学习和探索的资源链接
Sora、StableForge、StableCasecade、Stable3.0、SDXLLighting、PlaygroundV2.5,Stable webui1.8等
作品展示
写作契机
本文从AI绘画的入门,到实际操作,一步一步带领大家从小白到上手,那么其中最重要的Controlnet和文生视频部分,我们也会一步一步拆解出来,采用图文方式和具体参数复刻央视AI文字生图,为大家带来AI绘画的视觉盛宴。
一、引言
简述AI绘画的兴起背景其实要说背景,我们最应该了解的是设计、游戏、电商、广告的小伙伴,但是对于我们程序相关的从业人员来说,更容易上手,面对大量的参数,大家更容易理解,随着计算硬件、艺术和设计领域,大家对于画面的表现形式,不但要求精细化,还要求其效率,那么AI绘画算是应运而生,而其中开源的Stablediffusion就是面向大众最广,成为上手最简单的AI绘画应用。 Stable Diffusion技术及其在AI绘画中的应用
Stable Diffusion为什么能够在众多AI绘画产品中脱颖而出呢?最重要的是它是开源的,具有丰富的插件,庞大的社区以及目前非常完善的生态,包括大模型,Lora,插件,文生图,文生视频等等,而最近大火的Sora以及Stablediffusion3具有同样的架构,也让Stablediffusion再次占领热搜。 ControlNet技术及其对AI绘画的影响
如果说Stablediffusion解决了人们将想象力变为现实,那么ControlNet就是将人们的想象力注入灵魂,顾名思义,ControlNet为控制网络,也就是万物皆可控,线条,轮廓,涂鸦,姿势,都是可控的。
二、Stable Diffusion技术概述
定义Stable Diffusion及其工作原理Stable Diffusion 是一个2022年发布的深度学习文本到图像的潜在扩散模型(LDM / Latent Diffusion Model),由 CompVis、Stability AI 和 LAION 的研究人员和工程师创建。它使用来自 LAION-5B 开源数据库子集的512x512图像进行训练,通过引入隐向量空间来解决 Diffusion 速度瓶颈,除了可用于文生图任务,还可以用于图生图、特定角色刻画,甚至是超分或者上色任务
一图了解SD生图流程:文本解码–>大模型(Lora)定义风格—>CLIP图像反推—>采样器随机噪点—>U-NET图像生成—>VAE上色---->finish
三、ControlNet技术详解
ControlNet技术的核心概念ControlNet模型介绍
(1)OpenPose-动作姿势
简介:包含对于躯干、四肢、面部在内的骨骼。
(2)Depth-深度
简介:根据提供的图片识别出纯黑白的信息图
(3)Canny-边缘检测
简介:该模型用于识别图像里的边缘特征,
(4)Lineart-线稿
简介:在Canny这个模型的基础上,Lineart是专门基于动漫风格的线稿实现上色功能的预处理器与模型的组合
(5)SoftEdge-柔和边缘
简介:该模型与Canny类似,只要是描绘图像里面的边缘特征,
(6)Scribble-涂鸦乱画
简介:Scribble是比SoftEdge更自由、奔放的描摹,给予ai较大的自由进行创作。
(7)Tile-分块
简介:该模型核心控制在于图像拆分成小块的过程中,主动识别每一块的内容,从而维系图片内容不变。
ControlNet如何增强AI绘画的控制性和精确性四、准备工作
介绍所需的硬件和软件配置 推荐学习资源和社区 讨论如何设置合适的学习目标那么为了更好学习SD,我建议大家本地的显卡在16G以上,如果你是学生党,或者是非相关从业人员,暂时不想购买昂贵的显卡,那么我为大家推荐腾讯云的HAI平台,澎湃算力,即开即用,使用高性能GPU服务HAI,快速部署LLM、AI绘画,显存24G还有更高版本的32G显存,妈妈再也不用担心我爆显存了!!!
现有春季优惠活动,最高可得200元代金券
丰富预装环境
多种 AIGC 部署场景,轻松拿捏
算力套餐性能对比
多款高性能算力套餐,强劲性能一目了然
基于腾讯云GPU云服务器底层算力,提供即插即用的高性能云服务。灵活使用,一键部署
更有海量视频课程等你领取
五、Stable Diffusion实践指南
步骤1:安装和配置必要的软件环境点击新建
择适合的算力
接实例
选择 Gradio WebUI 登录方式,进入 Stable Diffusion checkpoint 可视化交互界面
步骤2:理解并使用Stable Diffusion的基本命令重启 WebUI
若您在使用过程中遇到 WebUI 界面无法正常打开,可进入 Terminal,通过如下指令重新启动 WebUI 服务。
cd stable-diffusion-webui
(python3 -u launch.py --skip-prepare-environment --xformers --listen --enable-insecure-extension-access --port=6889 >> /var/log/sd_service.log 2>&1 &) && tail -f /var/log/sd_service.log
查看 WebUI 运行日志
若您希望查看 WebUI 运行状态,包括模型加载、图片生成、插件下载进度等内容,可进入 Terminal,通过如下指令查看 WebUI 运行日志。
cd stable-diffusion-webui
tail -f /var/log/sd_service.log
安装汉化插件
选择extentions
输入以下路径,点击install,重启webui即可
https://gitcode.net/overbill1683/stable-diffusion-webui-localization-zh_Hans
步骤3:认识webui
古诗词:天阙沉沉夜未央,碧云仙曲舞霓裳,一声玉笛向空尽,月满骊山宫路长
我们填入正向提示词
1 celestial maiden gazing up at the full moon over a mountain range,
pausing in her celestial dance. (mythological illustration, fantasy art, spiritual art),
dramatic night sky illuminated by a large silver moon,
pastel clouds drifting across the starry sky, mountain silhouettes in the distance,
the maiden's flowing robes and long sleeves swaying gently,
limited color palette with shades of blue, pink and purple
(concept art, romantic art, poetic art), serene yet wistful mood.
反向提示词
(low quality, worst quality:1.4), negativeXL_D, cgi, text, signature, watermark, extra limbs,
就可以生成图片啦~~
六、ControlNet应用技巧
技巧1:如何使用ControlNet进行细节控制比如我们控制人物的特定姿势
还是一样的提示词
技巧2:利用ControlNet实现风格迁移说到风格迁移,就不得不提到controlnet中最重要的组件,由腾讯AI实验室出品的IPadapter,这是一种有效且轻量级的适配器,可实现预训练的文本到图像扩散模型的图像提示功能。
选择一张自己喜欢的图片,传图到controlnet
就可以生成风格非常相似的图片,也可以用来保持人物的一致性
技巧3:结合ControlNet进行创意合成红包封面生成,在开始设计之前,你需要确定红包封面的主题和风格。你可以根据自己的喜好或者节日氛围来选择主题,比如春节、情人节等。同时,你还需要确定风格,比如简约、卡通、抽象等。
一、制作封面文字
首先,你需要选择一款合适的SD大模型和Lora。目前市面上有很多AI绘画软件可供选择,这里以SD为基准做一个演示
底模我使用麦橘真实大模型majic_v7,
Lora随便选择一个龙为主题的Lora
制作一个红包封面问题,打开PS
长宽选择512 * 768
黑色背景,白色字体
例如新春大吉 2024
书写提示词,尽量与Lora风格一致,提供一下我自己的提示词
Masterpiece, best quality, 4k, Chinese New Year, red background, festive atmosphere, dragon illustration, Chinese Dragon Year Spring Festival Gala mascot, cartoon, cute,
放大两倍,采样方法我选择DPM++ 2M Karras
来到controlnet unit1 选择qrcode
来到controlnet unit2 选择brit
参数如图,批次选择为4,出图即可
七、案例分析
案例1:创建一幅具有特定主题的风景画荷包蛋花瓣
日落
案例2:设计一个具有独特风格的动漫角色 案例3:重现经典艺术作品的风格梵高
八、常见问题与解决方案
问题1:如何提高生成图像的质量?1、开启高清修复
2、放大分辨率
3、选择合适的大模型
问题2:如何处理模型生成的不相关或不准确内容?在反向提示词中出现不需要的内容,并在正向提示词中加强想要元素的权重
问题3:如何优化工作流程以提高效率?可搭配LCM提升有效提升效率
九、最新技术分享和学习和探索的资源链接
Sora可参考OpenAI Sora 1分钟视频生成 现实不存在了!
Stableforge
以前我们分享的SVD不管是文生视频还是长视频还是图生视频,都是在Comfyui中实现的,但是大多数的用户还是在webui中使用的,那么forge它来了,A111点赞的实现SVD的整合方式。
特点
更少的显存
更快的速度
更大的图像分辨率
支持SVD
StableCascade
Stability更新的Cascade模型,这个模型在图像质量上对比SDXL提升了40%的性能,现已官方版本支持了Comfyui的工作流
模型概述
稳定级联由三个模型组成:阶段 A、阶段 B 和阶段 C,代表生成图像的级联, 因此得名“Stable Cascade”。A级和B级用于压缩图像,类似于VAE在稳定扩散中的工作。但是,通过这种设置,可以实现更高的图像压缩。虽然 Stable Diffusion 模型使用 空间压缩因子为8,编码分辨率为1024 x 1024至128 x 128的图像,Stable Cascade 实现 压缩系数为 42。这将 1024 x 1024 图像编码为 24 x 24,同时能够准确地解码 图像。这带来了更便宜的训练和推理的巨大好处。此外,C 阶段负责 用于生成给定文本提示的小型 24 x 24 潜伏物。下图直观地显示了这一点
本地版本点击本地的update
在HAI平台中使用comfyui拖拽本工作流填入提示词就可以啦~
transparent cube suspended, volcanic landscape within,
molten lava rivers flowing, night sky canvas,
twinkling stars speckled above, moon's glow soft,
juxtaposition of icy chill against fiery eruptions,
glacial formations bordering the inferno,
slow dance of ash and vapor,
lunar reflection on icy surfaces,
cube edges catching the celestial light,
dynamic contrast of elements,
primeval earth forces encased,
(best quality, 4k, 8k, highres, masterpiece:1.2), ultra-detailed,
(photorealistic:1.37), frozen and fiery, harmonious duality, (nature photography), volcanic activity vibrant, (environmental art),
(digital painting), atmospheric effects,
mystical emanation, elemental balance, serene, sublime geology,
AI绘画的全部内容 - 阅读清单 - 腾讯云开发者社区
资料分享区???
SD本地安装包
https://pan.quark.cn/s/8e66ada8a434
1.提示词预设:https://pan.quark.cn/s/5a0d7d9d784d
2.openpose骨骼图:https://pan.quark.cn/s/b73b2531675f
3.1万张线稿:https://pan.quark.cn/s/51eaee9a5ea7
4.SDXL生态:https://pan.quark.cn/s/2952bf68e0b0
5.comfyui工作流集锦:https://pan.quark.cn/s/320387279505
6.controlnet所有生态:https://pan.quark.cn/s/217f482da2e4
7.Comfyui插件大全:
8.Stable diffusion插件大全:https://pan.quark.cn/s/2ae2f155be8b
总结
### 文章总结**主题**:AI绘画与技术资源分享
**核心内容**:
1. **资源分享**:
- **面试资料**:提供2024年大厂面试题全套PDF下载链接,涵盖Java、Python面试题等。
- **AI绘画工具与资料**:分享SD(Stable Diffusion)、MJ(Midjourney)、GPT等相关技术的百科全书式资料,包括SD本地安装包、插件、提示词预设、Depthmap、边缘检测等资源。
- **工具与插件**:提供ComfyUI、ControlNet等工具的官方与用户自定义插件,增强AI绘画的控制性和功能性。
2. **AI绘画技术详解**:
- **Stable Diffusion技术概述**:介绍Stable Diffusion模型的定义、工作原理及其在文生图、超分、上色等方面的应用。
- **ControlNet技术**:深度解析ControlNet技术的核心概念,展示其如何通过OpenPose、Depth、Canny等细节控制模型提升AI绘画的精准度和创造力。
3. **实践指南**:
- **环境设置**:指导如何搭建Stable Diffusion的本地或云端(如腾讯云HAI平台)环境,包括软件安装、配置及调试。
- **操作中文教程**:图文并茂地介绍Stable Diffusion及ControlNet的基本操作和高级技巧,如如何使用不同控制网络生成指定风格的图像、进行风格迁移及创意合成。
4. **案例分析**:
- 通过具体案例,演示如何使用Stable Diffusion和ControlNet技术创建特定主题的风景画、独特风格的动漫角色及再现经典艺术作品。
5. **常见问题解答**:
- 提供解决生成图像质量低、内容不准确及提高工作效率的解决方案。
6. **探索新资源**:
- 简介最新AI绘画技术进步,如StableForge、StableCascade等新工具,并提供相关学习材料和技巧。
7. **互动鼓励**:
- 作者向读者请求支持,包括点赞、三连(收藏、点赞、分享)、加入收藏栏以提高作者创作动力。
**写作契机与目的**:从AI绘画的入门到实战,全面引导读者掌握AI绘画的核心技术和实践技巧,特别是针对ControlNet和文生视频等新兴领域的深入探索和学习。
### 关键点总结
- **资源丰富**:提供面试题、AI绘画技术资料及插件大全。
- **技术深入**:详解Stable Diffusion和ControlNet技术,帮助读者从理论到实践全面掌握AI绘画。
- **实践案例**:通过手把手教程和案例,帮助读者快速上手并进行创意创作。
- **持续更新**:指引读者关注最新AI绘画技术发展,并鼓励通过点赞、分享等方式支持作者。