前言
小南还是没忍住,看大家都在试玩Flux,真的有那么震撼么?小南手痒痒也体验下吧。今天主要简单介绍下Flux以及ComfyUI的安装,重点是和我们“遥遥领先”的华为开源的ultrapixel进行下对比。没有对比就没有伤害!
大家应该对Flux也有了初步了解,但小南还是先简单介绍下。
基本介绍:
简单看了下官方介绍,Flux 是迄今为止最大的 SOTA 开源文本到图像模型,这个没毛病,确实是迄今为止最大的!
FLUX.1 [schnell]拥有 120 亿个参数的整流转换器,能够根据文本描述生成图像。
FLUX.1从模型架构上看,它和之前的SD3有很多相似之处,它们都是基于FlowingMatching调度的模型,通过引入T5来增强prompt的依从性。两者较显著的区别在于:FLUX.1引入了一种叫DoubleStreamBlock的结构,具体来说在前几层layer中,采用了txt和img embedding独立过各自的transformer块,然后再拼到一起过统一的transformer块,有人推测这是为了进一步对齐图像和文本特征,但是这部分还没有更具体的技术报告。
主要功能:
增强的图像质量:
以更高分辨率生成令人惊叹的视觉效果。
先进的人体解剖和逼真度:实现高度逼真和解剖精确的图像。
改进的及时性:根据输入获取更准确、更相关的图像。
卓越的速度:受益于 Flux Schnell 的速度和效率,是高要求应用的理想选择。
**FLUX.1三种型号:**FLUX.1 [schnell],FLUX.1 [dev],FLUX.1 [pro]
版本
链接
License
说明 FLUX.1 [schnell]https://modelscope.cn/models/AI-ModelScope/FLUX.1-schnell
apache-2.0
开源且拥有非商业许可,供社区在此基础上进行构建 FLUX.1 [dev] https://modelscope.cn/models/AI-ModelScope/FLUX.1-devFLUX.1-dev Non-Commercial License
基础模型的精简版,4步出图,运行速度提高了 10 倍。 FLUX.1 [pro]https://replicate.com/black-forest-labs/flux-pro
ComfyUI安装:
更新ComfyUI到最新版本
下载所需模型
FLUX UNET模型下载schnell版本:
Dev版本:
建议下载fp8,小南觉得毕竟日常大家的显存都很少有超过20G以上的。fp8模型也可以在lib上下载,有人已经上传上去了,老徐也就不传了。
模型下载后存放到目录ComfyUI/models/unet/ 下。
T5文本编码模型x下载如果你没有clip_l.safetensors 也可以一并下载,下载后存放到ComfyUI/models/clip/ 目录。
VAE模型ae.sft
ae.sft 下载后存放到ComfyUI/models/vae/目录
3.导入基本工作流
工作流可以采用导入官方图片的形式也可以直接下载相关工作流文件导入。
所有的AI设计工具,模型和插件,都已经整理好了,?获取~
好了以上准备工作准备完成之后基本上就可以玩起来了!
如果你不想本地操作那么麻烦,也可以使用在线体验。在线体验链接:
https://huggingface.co/spaces/black-forest-labs/FLUX.1-schnell
1.写实人物:
**提示词:**A close-up portrait of a sex chinese woman with flawless skin, vibrant red lipstick, and wavy brown hair, wearing a white dress,wear sunglasses,sun helmet, and standing in beach,
一个性感的中国女人的特写照片,她拥有完美的皮肤,鲜艳的红色口红,棕色卷发,穿着白色连衣裙,戴着太阳镜,戴着太阳帽,站在海滩上
Flux:
ultrapixel:
2.风景:
**提示词:**a girl on a recreational vehicle, seaside, a few flowers, blue sky, a few white clouds, breeze, mountains, cozy, travel, sunny, best quality, 4k niji.Primitive tribes
一个女孩在休闲车上,海边,几朵花,蓝天,几朵白云,微风,群山,舒适,旅行,阳光明媚,质量最好,4k niji。原始部落
Flux:
ultrapixel:
3.产品:
**提示词:**a bottle of perfume,Ocean, still life, pink glass bottle, high quality, camera,
一瓶香水,海洋,静物,粉红色玻璃瓶,高品质,相机,
Flux:
ultrapixel:
5.卡通漫画:
**提示词:**high quality,(highres),origami,1girl,(highres),extremely detailed 8K wallpaper,(an extremely delicate and beautiful),full_shot,blue hair,school_uniform,dancing,kind_smile,
高品质,(高分辨率),折纸,1个女孩,(高精度),极其精细的8K壁纸,(极其精致美丽),饱满,蓝色头发,学校风格,跳舞,善良
Flux:
ultrapixel:
从以上简单对比来看,“遥遥领先”ultrapixel貌似差那么些意思,Flux不管在质量,速度,光感等方面确实不错。ultrapixel生图的速度确实是太慢了!
这里直接将该软件分享出来给大家吧~
1.stable diffusion安装包
随着技术的迭代,目前 Stable Diffusion 已经能够生成非常艺术化的图片了,完全有赶超人类的架势,已经有不少工作被这类服务替代,比如制作一个 logo 图片,画一张虚拟老婆照片,画质堪比相机。
最新 Stable Diffusion 除了有win多个版本,就算说底端的显卡也能玩了哦!此外还带来了Mac版本,仅支持macOS 12.3或更高版本。
2.stable diffusion视频合集
我们在学习的时候,往往书籍源码难以理解,阅读困难,这时候视频教程教程是就很适合了,生动形象加上案例实战,一步步带你入坑stable diffusion,科学有趣才能更方便的学习下去。
3.stable diffusion模型下载
stable diffusion往往一开始使用时图片等无法达到理想的生成效果,这时则需要通过使用大量训练数据,调整模型的超参数(如学习率、训练轮数、模型大小等),可以使得模型更好地适应数据集,并生成更加真实、准确、高质量的图像。
4.stable diffusion提示词
提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言,整个SD学习过程中都离不开这本提示词手册。
5.SD从0到落地实战演练
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名SD大神的正确特征了。
这份完整版的stable diffusion资料我已经打包好,需要的点击下方插件,即可前往免费领取!
总结
### 文章总结:FLUX vs Ultrapixel 及 Stable Diffusion指南**前言**
- 小南体验Flux文本到图像模型的震撼效果,并与华为开源的ultrapixel进行对比。
**Flux基本介绍**
- Flux是目前最大的开源文本到图像模型,拥有120亿参数,基于FlowingMatching调度,引入了DoubleStreamBlock结构。
**Flux主要功能**
- **增强图像质量**:生成高分辨率、视觉效果惊艳的图像。
- **人体解剖逼真**:高度逼真和解剖精确的图像。
- **改进及时性**:根据输入快速生成准确、相关的图像。
- **卓越速度**:基于Flux Schnell的快速高效,理想于高需求应用。
**Flux型号与版本**
- **FLUX.1 [schnell]**:开源非商业许可版本,适合于广泛社区应用。
- **FLUX.1 [dev]**:基础模型的精简版,速度提升10倍,适合开发测试。
- **FLUX.1 [pro]**:闭源版本,仅通过API访问,具备更高性能。
**Flux与ComfyUI安装指南**
- 详细介绍如何下载和配置Flux模型、T5文本编码模型、VAE模型及导入工作流等步骤,以便用户能够顺利体验。
**Flux与Ultrapixel对比**
- 通过多个生成案例的对比,如写实人物、风景、产品、卡通漫画等,展示Flux在质量、速度和光感等方面的优势,指出Ultrapixel生成的速度慢等不足。
**Stable Diffusion扩展资源**
1. **安装包**:Stable Diffusion更新版本支持多平台,包括低配置显卡以及Mac用户。
2. **视频合集**:提供视频教程,帮助用户学习和理解Stable Diffusion。
3. **模型下载**:通过大量训练数据和超参数调整优化图像生成效果。
4. **提示词手册**:关键资源,帮助用户构建有效的文本输入以获得理想图像。
5. **从0到实战**:详细的指南和任务,帮助用户逐步掌握Stable Diffusion的使用。
**总结**
- Flux作为一款强大的开源文本到图像模型,在质量、速度和功能上展现出卓越优势,相比Ultrapixel表现更佳。
- Stable Diffusion则为用户提供了从安装包、视频教程、模型下载、提示词手册到实战演练的一站式学习指南,助力用户在图像生成领域快速成长。