Black Forest Labs 的 Flux——文本转图像模型的下一个飞跃，它比 Midjourney 更好吗？

一、前言

Black Forest Labs是开创性稳定扩散模型的团队，现已发布Flux——一套最先进的模型，有望重新定义 AI 生成图像的功能。但 Flux 是否真正代表了该领域的飞跃？它与 Midjourney 等行业领导者相比如何？让我们深入探索 Flux 的世界，探索其重塑 AI 生成艺术和媒体未来的潜力。

二、黑森林实验室的诞生

在深入探讨 Flux 的技术方面之前，了解这一创新模型背后的背景至关重要。Black Forest Labs 不仅仅是一家 AI 初创公司，它还是一个人才济济的团队，在开发基础生成式 AI 模型方面拥有丰富的经验。该团队包括 VQGAN、Latent Diffusion 和 Stable Diffusion 系列模型的创造者，这些模型已经席卷了 AI 艺术界。
Black Forest Labs 成功完成了由 Andreessen Horowitz 领投的 3100 万美元种子轮融资，并获得了知名天使投资者的支持，目前已站在生成式人工智能研究的最前沿。他们的使命很明确：开发和推进用于图像和视频等媒体的最先进的生成式深度学习模型，同时突破创造力、效率和多样性的界限。

三、介绍 Flux 模型系列

Black Forest Labs 推出了 FLUX.1 文本转图像模型套件，旨在为图像细节、即时性、风格多样性和场景复杂性树立新的标杆。Flux 系列由三种变体组成，每种变体都针对不同的用例和可访问性级别量身定制：

我将提供一些独特而富有创意的提示示例来展示 FLUX.1 的功能。这些提示将突出该模型在处理文本、复杂构图和手等具有挑战性的元素方面的优势。

艺术风格与文字的融合：“以文森特·梵高的标志性风格创作一幅肖像，但用旋转的笔触代替他的胡须，形成草书单词‘星夜’。”

带有文本集成的动态动作场景：“超级英雄冲破漫画书页。动作线和音效应以粗体动态字体形成英雄的名字‘FLUX FORCE’。”

超现实主义概念与精准的物体放置：“窗户阳光下，一只棕色和白色可爱猫咪的特写。重点突出眼睛的纹理和颜色。自然光捕捉真实的眼睛光泽和深度。”

这些提示旨在挑战 FLUX.1 在文本渲染、复杂场景构图和详细对象创建方面的能力，同时展示其在创造性和独特图像生成方面的潜力。

四、Flux 背后的技术创新

Flux 令人印象深刻的功能的核心在于一系列技术创新，使其有别于其前辈和同时代产品：

大规模变压器供电流动模型

所有公开的 FLUX.1 模型均建立在混合架构上，该架构结合了多模态和并行扩散变压器模块，可扩展到令人印象深刻的 120 亿个参数。与许多现有的文本转图像模型相比，这代表了模型大小和复杂性的显著飞跃。
Flux 模型通过结合流匹配（一种通用且概念简单的生成模型训练方法）改进了之前最先进的扩散模型。流匹配为生成建模提供了更灵活的框架，而扩散模型是这种更广泛方法中的一个特例。
为了提高模型性能和硬件效率，Black Forest Labs 集成了旋转位置嵌入和并行注意层。这些技术可以更好地处理图像中的空间关系，并更有效地处理大规模数据。

建筑创新

分解一下影响 Flux 性能的一些关键架构元素：

五、基准测试通量：图像合成的新标准

Black Forest Labs 声称 FLUX.1 在图像合成方面树立了新的标准，在几个关键方面超越了 Midjourney v6.0、DALL·E 3 (HD) 和 SD3-Ultra 等热门型号：

六、Flux 与 Midjourney：比较分析

现在，让我们来解决这个热门问题：Flux 比Midjourney好吗？要回答这个问题，我们需要考虑几个因素：

图像质量和美观度

Flux 和 Midjourney 都以制作高质量、视觉震撼的图像而闻名。Midjourney 因其艺术天赋和创造具有独特审美吸引力的图像的能力而受到称赞。Flux 凭借其先进的架构和更大的参数数量，旨在达到或超过这一质量水平。

Flux 的早期示例展现了令人印象深刻的细节、逼真的纹理以及对光线和构图的出色把握。然而，艺术的主观性使得很难明确宣称在这一领域谁更胜一筹。用户可能会发现，每种模型在不同风格或类型的图像上都有自己的优势。

及时遵守

Flux 可能胜过Midjourney一个领域是提示遵循性。Black Forest Labs 强调了其专注于提高模型准确解释和执行给定提示的能力。这可能导致生成的图像更符合用户的意图，尤其是对于复杂或细微的请求。
Midjourney有时会因随意发挥创意而受到批评，这可能会产生美妙但出乎意料的结果。Flux 的方法可能对生成的输出提供更精确的控制。

速度与效率

随着 FLUX.1 [schnell] 的推出，Black Forest Labs 瞄准了 Midjourney 的主要优势之一：速度。Midjourney 以快速的生成时间而闻名，这使得它在迭代创作过程中广受欢迎。如果 Flux 能够在保持质量的同时达到或超过这一速度，那么这可能是一个重要的卖点。

易用性和易用性

Midjourney 之所以受欢迎，部分原因在于其用户友好的界面和与 Discord 的集成。Flux 较新，可能需要时间来开发类似的可访问界面。然而，FLUX.1 [schnell] 和 [dev] 模型的开源性质可能会带来广泛的社区开发工具和集成，在灵活性和定制选项方面可能超越 Midjourney。

技术能力

Flux 的先进架构和更大的模型尺寸表明，它在理解复杂提示和生成复杂细节方面可能具有更强大的原始能力。流匹配方法和混合架构可以让 Flux 处理更广泛的任务并生成更多样化的输出。

道德考虑和偏见缓解

Flux 和 Midjourney 都面临着解决人工智能生成图像中的道德问题的挑战，例如偏见、错误信息和版权问题。Black Forest Labs 强调透明度，并致力于让模型广泛普及，这可能会带来更强有力的社区监督和这些领域的更快改进。

七、 代码实现和部署

使用 Flux 和扩散器

使用Hugging Face Diffusers 库，可以轻松将 Flux 模型集成到现有工作流程中。以下是使用 FLUX.1 [dev] 或 FLUX.1 [schnell] 与 Diffusers 的分步指南：

pip install git+https://github.com/huggingface/diffusers.git

import torch
from diffusers import FluxPipeline
# Load the model
pipe = FluxPipeline.from_pretrained("black-forest-labs/FLUX.1-dev", torch_dtype=torch.bfloat16)
# Enable CPU offloading to save VRAM (optional)
pipe.enable_model_cpu_offload()
# Generate an image
prompt = "A cat holding a sign that says hello world"
image = pipe(
    prompt,
    height=1024,
    width=1024,
    guidance_scale=3.5,
    output_type="pil",
    num_inference_steps=50,
    max_sequence_length=512,
    generator=torch.Generator("cpu").manual_seed(0)
).images[0]
# Save the generated image
image.save("flux-dev.png")

此代码片段演示了如何加载 FLUX.1 [dev] 模型，从文本提示生成图像并保存结果。

使用 LitServe 将 Flux 作为 API 部署

对于那些希望将 Flux 部署为可扩展 API 服务的用户，Black Forest Labs 提供了一个使用高性能推理引擎 LitServe 的示例。以下是部署过程的细分：

定义模型服务器：

from io import BytesIO
from fastapi import Response
import torch
import time
import litserve as ls
from optimum.quanto import freeze, qfloat8, quantize
from diffusers import FlowMatchEulerDiscreteScheduler, AutoencoderKL
from diffusers.models.transformers.transformer_flux import FluxTransformer2DModel
from diffusers.pipelines.flux.pipeline_flux import FluxPipeline
from transformers import CLIPTextModel, CLIPTokenizer, T5EncoderModel, T5TokenizerFast
class FluxLitAPI(ls.LitAPI):
    def setup(self, device):
        # Load model components
        scheduler = FlowMatchEulerDiscreteScheduler.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="scheduler")
        text_encoder = CLIPTextModel.from_pretrained("openai/clip-vit-large-patch14", torch_dtype=torch.bfloat16)
        tokenizer = CLIPTokenizer.from_pretrained("openai/clip-vit-large-patch14", torch_dtype=torch.bfloat16)
        text_encoder_2 = T5EncoderModel.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="text_encoder_2", torch_dtype=torch.bfloat16)
        tokenizer_2 = T5TokenizerFast.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="tokenizer_2", torch_dtype=torch.bfloat16)
        vae = AutoencoderKL.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="vae", torch_dtype=torch.bfloat16)
        transformer = FluxTransformer2DModel.from_pretrained("black-forest-labs/FLUX.1-schnell", subfolder="transformer", torch_dtype=torch.bfloat16)
        # Quantize to 8-bit to fit on an L4 GPU
        quantize(transformer, weights=qfloat8)
        freeze(transformer)
        quantize(text_encoder_2, weights=qfloat8)
        freeze(text_encoder_2)
        # Initialize the Flux pipeline
        self.pipe = FluxPipeline(
            scheduler=scheduler,
            text_encoder=text_encoder,
            tokenizer=tokenizer,
            text_encoder_2=None,
            tokenizer_2=tokenizer_2,
            vae=vae,
            transformer=None,
        )
        self.pipe.text_encoder_2 = text_encoder_2
        self.pipe.transformer = transformer
        self.pipe.enable_model_cpu_offload()
    def decode_request(self, request):
        return request["prompt"]
    def predict(self, prompt):
        image = self.pipe(
            prompt=prompt, 
            width=1024,
            height=1024,
            num_inference_steps=4, 
            generator=torch.Generator().manual_seed(int(time.time())),
            guidance_scale=3.5,
        ).images[0]
        return image
    def encode_response(self, image):
        buffered = BytesIO()
        image.save(buffered, format="PNG")
        return Response(content=buffered.getvalue(), headers={"Content-Type": "image/png"})
# Start the server
if __name__ == "__main__":
    api = FluxLitAPI()
    server = ls.LitServer(api, timeout=False)
    server.run(port=8000)

此代码为 Flux 设置了 LitServe API，包括模型加载、请求处理、图像生成和响应编码。

启动服务器：

python server.py

使用模型 API：

可以使用简单的客户端脚本测试 API：

import requests
import json
url = "http://localhost:8000/predict"
prompt = "a robot sitting in a chair painting a picture on an easel of a futuristic cityscape, pop art"
response = requests.post(url, json={"prompt": prompt})
with open("generated_image.png", "wb") as f:
    f.write(response.content)
print("Image generated and saved as generated_image.png")

部署的主要特点

八、Flux 的实际应用

Flux 的多功能性和强大功能为各个行业带来了广泛的潜在应用：

九、Flux 和文本到图像生成的未来

Black Forest Labs 明确表示，Flux 只是他们在生成 AI 领域雄心壮志的开始。他们已宣布计划开发具有竞争力的生成文本到视频系统，承诺以高清晰度和前所未有的速度提供精确的创作和编辑功能。

该路线图表明，Flux 不仅仅是一个独立的产品，而且是更广泛的生成式 AI 工具生态系统的一部分。随着技术的发展，我们可以期待看到：

十、 结论：Flux 比 Midjourney 更好吗？

Flux 是否比 Midjourney“更好”这个问题很难用简单的“是”或“否”来回答。这两种模型都代表了文本到图像生成技术的前沿，各自都有自己的优势和独特之处。

Flux 具有先进的架构和对及时遵守的重视，在某些情况下可以提供更精确的控制和更高的质量。其开源版本还提供了定制和集成的机会，这对开发人员和研究人员来说非常有价值。

而Midjourney则拥有良好的业绩记录、庞大而活跃的用户群以及许多用户喜爱的独特艺术风格。它与 Discord 的集成和用户友好的界面使其易于各个技术水平的创意人士使用。

最终，“更好”的模型可能取决于具体用例、个人偏好以及每个平台不断发展的功能。显而易见的是，Flux 代表了生成式人工智能领域的重大进步，引入了创新技术并突破了文本到图像合成的极限。

总结