要列举 AI 绘画开源界的几个关键贡献，一定少不了 Stable Diffusion。
还记否前不久刚推出的 Stable Diffusion 3？
其背后的团队 Stability AI，真的是一波三折，其核心成员出走，成立了一个新公司：Black Forest Labs - 黑暗森林。
这不，刚刚开源了一款 AI 绘画模型，直接踢馆老东家，其生成效果，完全可以媲美闭源的 Midjourney。
今日分享，就带大家来体验一番，并在本地部署起来。
之前我的 AI 绘画，都是来自本地部署的 sd-webui。终于，我的 Stable Diffusion 2 该下线 - 光荣退休了？
No！No！No！
尽管 Flux.1 的表现可圈可点，不过要说能完全替代 sd，至少现阶段，还不至于。
我们先来实测体验一番~
目录
1. Flux.1 简介 2. 在线体验 3. 本地部署 3.1 模型下载地址 3.2 ModelScope 实战 Step1：下载 ComfyUI Step2：下载模型 Step3：启动 ComfyUI Step4：cloudflared 安装和使用 Step5：愉快玩耍 写在最后1. Flux.1 简介
FLUX.1 AI 号称的优势有:
• 卓越的视觉质量: 生成具有出色细节和清晰度的图像。
• 精确的提示词遵循: 准确地将文本提示转化为图片，一次生成，无需抽卡。
• 多样化的风格: 支持广泛的艺术风格。
• 复杂场景生成: 创建精细详尽的场景。
真的有吹的那么神么？我们来实测体验一番👇
2. 在线体验
官网：https://flux1ai.com/dev modelscope: https://www.modelscope.cn/studios/muse/flux_dev我们以官网的地址为例，一起来体验一下。
使用非常简单，文本框输入你想要生成的内容，右侧一键 Run：
右侧提示框出现分配到GPU后，生成一张图像大概 30-50S 左右。
我用下面这个提示词实测了一下，第一次尝试在图片中生成中文，居然失败了！
所以最好使用英文提示词。
A Monkey holding up a sign with a rainbow in it,
reading "猴哥 AI"
不过有一说一，这个 mokey 的毛发生成的还挺精细的~
当然，下方还可以进行一番简单的设置，比如最基础的希望生成图像的宽和高：
然后，我们把提示词修改一下，让它生成一只卡通猴子~
A catoon monkey with smile holding up a sign with a rainbow in it, reading "AI".
哈哈，尽管并没完全按照指令生成。不过，个人感觉还是挺可爱的，用来做logo、做封面怎么样？
再来测试一个封面图，我让它写上 Houge AI：
A round chocolate cake decorated with chocolate shavings, topped with the words Houge AI in white icing and garnished with red cherries. The cake is positioned on a white plate on a wooden table, with a coffee cup and saucer in the background.
接着，我们再从 AI 绘画社区中找一些垂类模型的提示词来实测一下：
1girl,sweater,white background,
简单的提示词，默认是生成卡通类型的图像：
再给加点料：
masterpiece,best quality,1girl,moyou,seductive smile,(Turtleneck_sweater_dress:1.5),(Thigh-high_boots:1.4),(Wide-brim_hat:1.3),(Autumn_foliage_background:1.3)
生成一张写实类的吧：
official art,Best quality,masterpiece,ultra high res,((photorealistic:1.4)),((deep Focus)),raw photo,extremely delicate,intricate details,best shadow,1girl,upper body,beautiful,cool,smallface,detailed face,((detailed very long hair)),(pale skin),((brown eyes)),deep shadow,look away,film grain,low key,soft lighting,poised poise,dramatic angles,geometric shapes,contrasts of light and shadow,high-tech backdrop,crisp lines
别的不说，细节绝对拉满。Asian girl 亚洲脸，能不能行？
有一说一，Flux 在细节处理上已经足够逼真，不过写实类的还得是垂类大模型~
官方体验地址，因为 GPU 资源有限，高峰期容易排队失败~
但这是一个开源模型，我们完全可以本地跑起来，接着就带着大家实操一番~
3. 本地部署
Flux.1 根据模型大小，分为三个版本：
Schnell：最快的模型。
Dev：在速度和质量之间提供平衡，并支持更多定制选项。
Flux.1 Pro：最强模型，模型不开源，只提供 API。
实测来看，开源最强，当之无愧！
唯一的缺点，就是模型参数量太大了，开源的两个版本都有 23.8G，就这一点，就拦住了不少玩家。
不过话说回来，模型参数量小，且还能打的，至少现阶段是不现实的。
3.1 模型下载地址
项目地址：https://github.com/black-forest-labs/flux
模型首发在 Huggingface 上，不过已经有同学迁移到了阿里的 modelscope 上。考虑到国内的小伙伴访问 Huggingface 比较困难，我们这次直接从 modelscope 下载。
两个初始模型有 23.8G：
社区有小伙伴提供了量化版，体积小了一半，不过表现略差，不知道是不是我参数设置的原因，欢迎小伙伴们评论区交流。
附下载地址：
schnell：https://modelscope.cn/models/AI-ModelScope/FLUX.1-schnell/files dev：https://modelscope.cn/models/AI-ModelScope/FLUX.1-dev/files 量化版：https://modelscope.cn/models/AI-ModelScope/flux-fp8/files！注意：即便是量化后的 11.9G 模型，跑起来也至少需要 16G 显存的消费级显卡。
如果你的显存不足，可以接着往下看👇
3.2 ModelScope 实战
本地部署，我们这次采用阿里云的 GPU 服务器进行演示，如果你有本地 GPU 主机，当然下面是实操也是通用的。
首先，前往 modelscope 首页注册一个账号，新用户是有 GPU 免费使用额度的，选择下方的 GPU 环境，点击启动，你就可以拥有一台 24G 显存的云主机。
Step1：下载 ComfyUI
实例启动后，打开一个终端，然后 git clone 下载 ComfyUI：
git clone https://github.com/comfyanonymous/ComfyUI
cd ComfyUI
pip install -r requirements.txt
Step2：下载模型
实例镜像中默认安装好了 modelscope 下载命令，运行下方指令，下载我们所需的模型：
# FLUX1-DEV
modelscope download --model=AI-ModelScope/FLUX.1-dev --local_dir ./models/unet/ flux1-dev.sft
modelscope download --model=AI-ModelScope/flux-fp8 --local_dir ./models/unet/ flux1-dev-fp8.safetensors
# text encoder model
modelscope download --model=AI-ModelScope/flux_text_encoders --local_dir ./models/clip/ t5xxl_fp16.safetensors
modelscope download --model=AI-ModelScope/flux_text_encoders --local_dir ./models/clip/ clip_l.safetensors
modelscope download --model=AI-ModelScope/flux_text_encoders --local_dir ./models/clip/ t5xxl_fp8_e4m3fn.safetensors
# vae
modelscope download --model=AI-ModelScope/FLUX.1-dev --local_dir ./models/vae/ ae.sft
给大家看下下载速度，300-400M/s，超快~
Downloading: 82%|███████████████████████████████████████████████████████████████████████████████████████████████▍ | 18.1G/22.2G [00:54<00:11, 374MB/s]
如果你是在其他云主机 or 本地服务器上，需要首先安装 modelscope download 工具：
pip install modelscope
Step3：启动 ComfyUI
ComfyUI 提供了一键启动脚本，运行下方指令，即可打开一个 web 客户端：
python main.py
默认端口号是：http://127.0.0.1:8188。
不过，modelscope 上的云主机是没有公网 IP 的，你在本地浏览器当然是打不开的，怎么搞？
你需要一个内网穿透工具~
有没有最便捷的方式，实现内网穿透？
当然，强推 cloudflared 👇
Step4：cloudflared 安装和使用
仓库：https://github.com/cloudflare/cloudflared
cloudflared 是啥？
海外云厂商 Cloudflare 提供的一个命令行工具，用于创建安全的隧道，以便将本地服务暴露到互联网。
首先下载最新版的 cloudflared Debian 软件包（.deb 文件），并使用 dpkg 工具直接安装，无需编译。
wget https://mirror.ghproxy.com/https://github.com/cloudflare/cloudflared/releases/latest/download/cloudflared-linux-amd64.deb
dpkg -i cloudflared-linux-amd64.deb
看到如下输出，则说明安装成功：
(正在读取数据库 ... 系统当前共安装有 83567 个文件和目录。)
准备解压 cloudflared-linux-amd64.deb ...
正在解压 cloudflared (2024.6.1) 并覆盖 (2024.6.1) ...
正在设置 cloudflared (2024.6.1) ...
此外，还可以查看下cloudflared版本：
cloudflared -v
# 输出
cloudflared version 2024.6.1
由于 ComfyUI 的服务在 8188 端口上，所以我们用 cloudflared 开启一个监听隧道：
cloudflared tunnel --url http://127.0.0.1:8188
监听成功后，找到下面这个临时的 url：
打开浏览器看看吧：
大功告成，开始 ComfyUI 之旅吧~
Step5：愉快玩耍
首先，把 flux1-dev 模型的配置文件下载到本地：https://modelscope.oss-cn-beijing.aliyuncs.com/resource/flux1-dev-test.json
然后，点击 Load 加载配置文件：
最后，输入你想要生成的提示词，以及图片大小设置。点击 Queue Prompt 开始生成，流程中的高亮模块，说明正在加载模型：
我这边实测，1360 x 768 大小的图像，量化版本的模型大约占用 14G 显存，所以一张消费级显卡完全够用。
有一说一：ModelScope 的云端 GPU 环境跑模型还是很爽的，尤其是下载 ModelScope 上的模型，速度直接拉满；唯一的缺陷是，模型权重文件等无法持久保存，一旦断掉后，还得重头再来一般。
写在最后
本文实测了地表最强开源 AI 绘画模型，手把手教你从在线体验到本地部署。就算你没有土豪级显卡，也可以用云端 GPU 来玩耍。
不得不说，这波 AI 绘画的更新迭代，看得人眼花缭乱、热血沸腾！
不知道下一个惊喜又会是谁呢？让我们拭目以待~
关于开源 AI 大模型的文章，我打算做成一个专栏，目前已经收录了：
CogVideo 实测，智谱「清影」AI视频生成，全民免费，连 API 都开放了！ 全网刷屏的 LLaMa3.1，2分钟带你尝个鲜 SenseVoice 实测，阿里开源语音大模型，识别效果和效率优于 Whisper EasyAnimate-v3 实测，阿里开源视频生成模型，5 分钟带你部署体验，支持高分辨率超长视频 开源的语音合成项目-EdgeTTS，无需部署无需Key 一文梳理ChatTTS的进阶用法，手把手带你实现个性化配音后面会定期更新，感兴趣的小伙伴欢迎关注。
总结
### 文章总结：《稳定扩散新篇章：Flux.1 AI 绘画开源实测与部署指南》#### 关键要点：
1. **Stable Diffusion 开源界的重要贡献**：
- 提及 Stable Diffusion 在 AI 绘画领域的关键地位，新近的 Stable Diffusion 3 作为背景介绍。
- 稳定性AI（Stability AI）团队内部变动，核心成员成立 Black Forest Labs，推出能够与闭源 Midjourney 媲美的新模型 Flux.1。
2. **Flux.1 AI 绘画模型的亮点**：
- **卓越的视觉质量和精确的提示词遵循**：能够生成高清晰度和细节的图像，并且能很好地遵循文本提示。
- **多样化的风格和复杂场景生成**：支持广泛的艺术风格，并能创建精细的场景。
#### 实战体验流程：
1. **在线体验**：
- 介绍了Flux.1的在线体验地址（https://flux1ai.com/dev 和 modelscope），简单说明了使用词生成图像的流程及效果。
- 提到使用英文提示词效果更佳，展示不同风格（如卡通、写实）的示例生成结果。
2. **本地部署详细步骤**：
- Flux.1 分为 Schnell、Dev 和 Flux.1 Pro 三种版本，其中开源的是 Schnell 和 Dev，带有良好平衡和高定制性。
- **模型下载**：建议从 modelscope 下载（https://www.modelscope.cn/），提供不同版本的下载链接及注意事项。
- **部署步骤**：
- **Step1**：下载并安装 ComfyUI。
- **Step2**：下载 Flux.1 模型及相关的文本编码模型等文件。
- **Step3**：启动 ComfyUI 服务。
- **Step4**：使用 cloudflared 实现内网穿透，确保可以通过外网访问服务。
- **Step5**：在本地或云端环境中玩转 Flux.1，测试生成效果。
#### 写在最后：
- 强调 Flux.1 作为顶级开源 AI 绘画模型的优势，即使没有高端显卡也可以通过云端 GPU 试试手。
- 文章还展望了 AI 绘画领域的快速发展和未来期待的新型号。
- 作者表示将持续更新关于开源 AI 大模型的专栏文章，呈现更多实测与干货。
这些内容构成一篇完整且详细的 Flux.1 AI 绘画模型实战指南，适合对 AI 绘画和深度学习感兴趣的读者。