原文链接:FLUX.1最强AI绘画开源新模型,本地部署教程! (chinaz.com)
Flux最近收到了很多模型爱好者的好评,出图质量超越SD3和MJ,许多人说Flux才是大家心目中的SD3,所以我也是非常好奇FLux的实力在这里把本地部署的过程分享给大家
官网参考图:
Flux官网首页:https://blackforestlabs.ai/
人工智能初创公司 Black Forest Labs成立公司并发布其首套文本转图像人工智能模型 FLUX.1。这家总部位于德国的公司由开发Stable Diffusion的研究人员创立,旨在为图像和视频创建先进的生成式人工智能。
模型一共分三款,包含pro版、dev版、schnell版。
Black Forest 的图表声称其 Pro 和 Dev 模型是迄今为止最好的图像生成器,而其功能较弱的 Schnell 排名介于 Midjourney v5 和 Ideogram 之间
这三个版本说明:
Pro版本效果最好,但是闭源,API收费的。
Dev版本开源但是不可商用,至少需要24G显存运行。
Schnell版本开源可商用
如果你想要在线体验,也有在线的网站:
schnell :https://replicate.com/black-forest-labs/flux-schnell
dev:https://replicate.com/black-forest-labs/flux-dev
pro:https://replicate.com/black-forest-labs/flux-pro
本地部署
目前ComfyUI最新版本已经兼容FLux模型了, 只需内核升级到最新即可体验。
所以我们首先把ComfyUI给更新了
如果你用的是官方的comfyUI整合包就点这个更新
如果你用的是秋叶的启动器就按下图示例更新内核
显存太低的人本地估计运行很可能,我本地电脑配置还行,这里体验下schnell版本。
下载大模型:https://huggingface.co/black-forest-labs/FLUX.1-schnell/tree/main
该链接提供了23.8g的大模型和335MB的Vae模型,我们需要把这两个都下载
下载完成后将大模型放在:ComfyUI/models/unet/ 文件夹中。
VAE应该放在您的 ComfyUI/models/vae/ 文件夹中。
如果电脑配置一般的可以下载Flux-fp8精简版,只有11.9GB:https://huggingface.co/Kijai/flux-fp8/blob/main/flux1-dev-fp8.safetensors
Vae还是通用的ae.sft
我们除了大模型和Vae还需要下载Clip模型:https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main
这其实就是SD3的Clip模型,配置好我们选择fp16,配置一般我们选择fp8,clip_l是一定要下载的
下载完我们放在:ComfyUI\models\clip 该文件夹内
以上的大模型,VAE,Clip都安装完成后我们就可以运行我们的工作流了,官网提供了一个简易的comfyUI工作流:https://comfyanonymous.github.io/ComfyUI_examples/flux/
我们把官网提供的图片保存下来
再把图片拖进ComfyUI中即可,不想这么麻烦的也可以加入我们的交流群直接获取工作流
进入工作流我们确保模型加载没问题就可以点击加入队列等待生成了
生图效果
提示词1:a bottle with a rainbow galaxy inside it on top of a wooden table on a table in the middle of a modern kitchen
提示词2:photograph of a black board in an old classroom. On the black board in chalk are the words “Lets make some really pretty stuff together” with a red chalk heart after the words. Sunlight is streaming in from the window
提示词3:filmic photo of a group of three women on a street downtown, they are holding their hands up the camera
提示词4:macro photography of a miniature little village on top of a flower
FP8版本,提示词5:close up fujifilm photo of a mans eye and fac
提示词6:beautiful anime artwork, a cute anime girl standing alone at night darkness wearing an oversized black raincoat with a small bag. she is holding a black umbrella, the umbrella has multicolored LED hidden inside that shine down on her, small rose petals flutter through the air around her, anime screencap style, red eyes, medium hair
总结
整体来说,测试下来效果还是很不错的,FLUX 比 SD3 强。
手部生成比较稳定,较少出现手脚畸形。
蒸馏版出图速度快, 30 秒内即可完成。 Dev版虽然出图比较久但是出图质量更好。
模型兼容性强:无论是二次元、人像、写实、还是风景风格,效果都很好。
总结
### 文章总结:FLUX.1最强AI绘画开源新模型本地部署教程**前言**
Flux.1模型由Black Forest Labs开发出炉,凭借其超越SD3和MJ的出图质量收获众多好评,被不少人誉为心中的"SD3"。本文旨在分享Flux.1模型的本地部署过程,让模型爱好者们也能亲身体验其强大功能。
**公司背景与模型概述**
- **推出公司**:Black Forest Labs,这家总部位于德国的初创公司由Stable Diffusion的前研究人员创立,专注于图像和视频生成的人工智能技术。
- **模型系列**:分为三个版本——Pro版、Dev版、Schnell版。Pro版效果最佳但闭源收费;Dev版开源不可商用,运行需24G显存以上;Schnell版则开源且可商用。
**在线体验与官方链接**
- Flux.1模型提供在线体验网站,各版本体验链接分别为:[Schnell](https://replicate.com/black-forest-labs/flux-schnell)、[Dev](https://replicate.com/black-forest-labs/flux-dev)、[Pro](https://replicate.com/black-forest-labs/flux-pro)。
**本地部署步骤**
1. **更新ComfyUI**:需确保ComfyUI更新到最新版本并兼容Flux模型。
- 对于官方整合包或秋叶启动器用户,根据具体提示进行内核升级。
2. **下载模型**:从[Hugging Face](https://huggingface.co/black-forest-labs/FLUX.1-schnell/tree/main)下载大模型及Vae模型,分别放置于ComfyUI的特定文件夹中。
- 高配置用户选用完整模型(23.8GB大模型+335MB Vae模型)。
- 配置较低用户可选用精简版Flux-fp8(约11.9GB)。
3. **下载Clip模型**:从同样网站下载并配置Clip模型,以提供文本到图像的编码能力,确保良好的生图效果。Clip模型建议根据配置选择fp16或fp8版本,且务必下载clip_l版本。
4. **配置工作流**:根据官网提供的简易工作流示例([示例链接](https://comfyanonymous.github.io/ComfyUI_examples/flux/)),配置好模型与Clip后,即可生成图片。
- 用户可手动导入官网示例图片或使用已配置好的工作流直接运行。
**生图效果展示**
通过多个不同的提示词测试,Flux.1展现了其在不同风格(如现代厨房、老教室、街头写真、微距摄影、动漫风格等)下的优质图像生成能力,尤其在手部等细节生成上表现稳定,避免出现畸形。蒸馏版能够快速出图(30秒内),而Dev版则能带来更高质量的图像。
**总结**
Flux.1不仅在出图质量上超越了SD3,还具备强大的模型兼容性和多样化风格生成的能力。无论是专业设计师还是模型爱好者,都能通过本地部署或在线体验的方式,享受其带来的创作便利与乐趣。