Datawhale X 魔搭 AI夏令营‣AIGC文生图方向-Task2笔记

目录

一、用AI的prompts进行AI文生图

‣通义千问

‣跑baseline

‣结果展示：

‣另，prompts风格补充：

三、精读baseline

‣原始代码详情

‣分析代码的主题架构 & 分析代码的主题架构

▾1.环境安装

▾2.下载数据集

▾4.lora微调

▾5.加载微调好的模型

▾6.图片生成

附：

▫可图模型文本到图像生成模型

▫内容参考来源：Datawhale (linklearner.com）

一、用AI的prompts进行AI文生图

上一节Task1的学习中，初步了解并使用了魔搭社区

本节Task2的学习中，用通义千问给出的prompts跑baseline（后文对代码进行初步解读）

‣通义千问

提问公式：你是一个文生图专家，我们现在要做一个实战项目，就是要编排一个文生图话剧 话剧由8张场景图片生成，你需要输出每张图片的生图提示词

具体的场景图片：1、XXX(描述词) 2、XXX   3、XXX    ......

生图提示词要求：1.风格  2.根据场景确定是使用全身还是上半身  3.人物描述  4.场景描述                                   5.做什么事情

例子：XXXXXX.

‣示例如下：

Next⇘

自己在通义的返回的基础上，多多调整，争取打磨出一个最佳的提示词。

结合AI内容，自己在AI结果上做一些调整，最终整理出来场景表格：

古风，淡雅色调，一个18岁少女，坐在木桌前上课，用手拖着脸，愁眉苦脸，桌上摆放着毛笔和纸卷，背景是古色古香的学堂，上半身特写

古风，柔和光线，同一个18岁少女，头轻轻倚在手臂上，渐渐进入梦乡，周围的同学们用毛笔写字，背景是古色古香的学堂，上半身特写

欧式风格，梦幻色彩，18岁少女身穿红色公主裙，站在一条青石小道旁，周围是盛开的桃花，微风吹过花瓣飘落，全身展现

欧式风格，鲜艳色彩，英俊王子骑着一匹白马缓缓靠近，红衣少女站在小道上惊讶地望着他，背景是桃树环绕的小径，全身展现

欧式风格，温馨氛围，红衣少女与王子并肩而立，在一片花海之中交谈，周围有蝴蝶飞舞，两人都面带微笑，上半身特写

欧式风格，动态画面，王子和红衣少女共同骑在马上，王子手握缰绳，少女紧紧抓住少年的腰，背景是山川湖泊，全身展现

古风，淡雅色调，一个18岁少女，坐在学堂内，低着头，叹气，背景是古色古香的学堂，周围同学们开始走动，正面像

古风，淡雅色调，同一个18岁少女坐在学堂，专心致志地写着字，背景是充满书香气息的学堂，侧身像

‣跑baseline

‣结果展示：

​ 基于AI提供的prompts进行微调的结果

‣另，prompts风格补充：

在 Task1 学习中，笔者浅浅探究了prompts风格类型，感谢 Datawhale 和 魔搭社区，在此进行补充：可图优质咒语书 · 数据集 (modelscope.cn)

三、精读baseline

‣原始代码详情

‣分析代码的主题架构 & 分析代码的主题架构

⇘先了解一下文生图代码的框架结构： 

​ 文生图代码的框架结构

▾下面我们就借助前面讲到的 通义千问 来精读这个代码:

提问公式1：你是一个优秀的python开发工程师，现在我们需要你帮我们分析这个代码的主体框架，你需要把代码按照工作流分成几部分，用中文回答我的问题. + 代码

提问公式2：你是一个优秀的python开发工程师，现在我们需要你帮我们逐行分析这个代码，用中文回答我的问题. + 代码

提问公式3：我对其中 + 我的问题 + 还是不太理解，给我再详细介绍一下.

▾1.环境安装

!pip install simple-aesthetics-predictor

!pip install -v -e data-juicer

!pip uninstall pytorch-lightning -y
!pip install peft lightning pandas torchvision

!pip install -e DiffSynth-Studio

▫代码解读

!pip install simple-aesthetics-predictor

安装特定版本的库 这一行命令用于安装 simple-aesthetics-predictor 库，用于预测美学评分或者与图像质量评估相关。

!pip install -v -e data-juicer

安装本地开发版本的库 这一行命令用于安装 data-juicer 库的一个本地开发版本。

!pip uninstall pytorch-lightning -y
!pip install peft lightning pandas torchvision

卸载旧库并安装新库 这里首先卸载了 pytorch-lightning 库（-y 参数表示自动确认卸载），然后安装了一系列新的库：

!pip install -e DiffSynth-Studio

安装本地开发版本的库 这一行命令同样用于安装 DiffSynth-Studio 的一个本地开发版本，是一个与音频合成或音乐制作相关的库。

!pip 是一个在 Jupyter Notebook 或 Google Colab 等环境中使用 pip 的特殊语法。

这里的 ! 符号允许你在这些环境中执行 shell 命令，也就是操作系统级别的命令。

因此，当在 Jupyter Notebook 或 Colab 中看到 !pip 时，实际上是在调用 pip 命令来管理 Python 包。

pip 是 Python 的包管理器，用于安装、升级和卸载 Python 软件包。

▾2.下载数据集

# 从魔搭数据集中下载数据集AI-ModelScope/lowres_anime
from modelscope.msdatasets import MsDataset  #引入数据集模块msdatasets
ds = MsDataset.load(
    'AI-ModelScope/lowres_anime',
    subset_name='default',
    split='train',
    cache_dir="/mnt/workspace/kolors/data" # 指定缓存目录
) # 从魔搭数据集中下载数据集AI-ModelScope/lowres_anime，赋值给参数ds

# 生成数据集
import json, os # 导入json和os模块
from data_juicer.utils.mm_utils import SpecialTokens # 导入SpecialTokens
from tqdm import tqdm # 导入tqdm进度条管理
os.makedirs("./data/lora_dataset/train", exist_ok=True) # 创建文件夹./data/lora_dataset/train
os.makedirs("./data/data-juicer/input", exist_ok=True) # 创建文件夹./data/data-juicer/input
with open("./data/data-juicer/input/metadata.jsonl", "w") as f:
    for data_id, data in enumerate(tqdm(ds)): # 遍历数据集ds
        image = data["image"].convert("RGB") # 将数据集的图片转换为RGB
        image.save(f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg") # 保存数据集的图片
        metadata = {"text": "二次元", "image": [f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg"]} # 生成当前图片的索引数据
        f.write(json.dumps(metadata)) # 将索引数据写入文件./data/data-juicer/input/metadata.jsonl
        f.write("\n")

▫代码解读：

from modelscope.msdatasets import MsDataset  # 引入数据集模块 msdatasets
ds = MsDataset.load(
    'AI-ModelScope/lowres_anime',
    subset_name='default',
    split='train',
    cache_dir="/mnt/workspace/kolors/data"  # 指定缓存目录
)

加载数据集 这一部分的任务是从ModelScope下载AI-ModelScope/lowres_anime数据集并将其加载到内存中，指定训练集和缓存目录。

import json, os
from data_juicer.utils.mm_utils import SpecialTokens
from tqdm import tqdm

os.makedirs("./data/lora_dataset/train", exist_ok=True)  # 创建文件夹 ./data/lora_dataset/train
os.makedirs("./data/data-juicer/input", exist_ok=True)  # 创建文件夹 ./data/data-juicer/input

创建必要的文件夹  这部分代码创建了两个文件夹，用于存储生成的数据集和元数据文件。

with open("./data/data-juicer/input/metadata.jsonl", "w") as f:
    for data_id, data in enumerate(tqdm(ds)):  # 遍历数据集 ds
        image = data["image"].convert("RGB")  # 将数据集的图片转换为 RGB
        image.save(f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg")  # 保存数据集的图片
        metadata = {
            "text": "二次元",
            "image": [f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg"]
        }  # 生成当前图片的索引数据
        f.write(json.dumps(metadata))  # 将索引数据写入文件 ./data/data-juicer/input/metadata.jsonl
        f.write("\n")

处理数据集  这部分代码遍历数据集中的每个项目，转换图片格式，保存图片，并记录每张图片的相关元数据到 JSONL 文件。

▾3.处理数据集，保存数据处理结果

# 配置data-juicer，并进行数据筛选过滤
# 配置过滤的规则
data_juicer_config = """
# global parameters
project_name: 'data-process' # 名称
dataset_path: './data/data-juicer/input/metadata.jsonl'  # 你前面生成的数据的索引文件
np: 4  # 线程数

text_keys: 'text' # 文件./data/data-juicer/input/metadata.jsonl的描述的字段名
image_key: 'image' # 文件./data/data-juicer/input/metadata.jsonl的图片字段名
image_special_token: '<__dj__image>'

export_path: './data/data-juicer/output/result.jsonl' # 筛选通过的图片结果保存的的索引文件

# process schedule
# a list of several process operators with their arguments
# 过滤的规则
process:
    - image_shape_filter: # 图片尺寸过滤
        min_width: 1024 # 最小宽度1024
        min_height: 1024 # 最小高度1024
        any_or_all: any # 符合前面条件的图片才会被保留
    - image_aspect_ratio_filter: # 图片长宽比过滤
        min_ratio: 0.5 # 最小长宽比0.5
        max_ratio: 2.0 # 最大长宽比2.0
        any_or_all: any # 符合前面条件的图片才会被保留
"""

# 保存data-juicer配置到data/data-juicer/data_juicer_config.yaml
with open("data/data-juicer/data_juicer_config.yaml", "w") as file:
    file.write(data_juicer_config.strip())
# data-juicer开始执行数据筛选
!dj-process --config data/data-juicer/data_juicer_config.yaml


# 通过前面通过data-juicer筛选的图片索引信息./data/data-juicer/output/result.jsonl，生成数据集
import pandas as pd # 导入pandas
import os, json # 导入os和json
from PIL import Image # 导入Image
from tqdm import tqdm # 导入tqdm进度条管理
texts, file_names = [], [] # 定义两个空列表，分别存储图片描述和图片名称
os.makedirs("./data/lora_dataset_processed/train", exist_ok=True) # 创建文件夹./data/lora_dataset_processed/train
with open("./data/data-juicer/output/result.jsonl", "r") as file: # 打开前面data-juicer筛选的图片索引文件./data/data-juicer/output/result.jsonl
    for data_id, data in enumerate(tqdm(file.readlines())): # 遍历文件./data/data-juicer/output/result.jsonl
        data = json.loads(data) # 将json字符串转换为对象
        text = data["text"] # 获取对象中的text属性，也就是图片的描述信息
        texts.append(text) # 将图片的描述信息添加到texts列表中
        image = Image.open(data["image"][0]) # 获取对象中的image属性，也就是图片的路径,然后用这个路径打开图片
        image_path = f"./data/lora_dataset_processed/train/{data_id}.jpg" # 生成保存图片的路径
        image.save(image_path) # 将图片保存到./data/lora_dataset_processed/train文件夹中
        file_names.append(f"{data_id}.jpg") # 将图片名称添加到file_names列表中
data_frame = pd.DataFrame() # 创建空的DataFrame
data_frame["file_name"] = file_names # 将图片名称添加到data_frame中
data_frame["text"] = texts # 将图片描述添加到data_frame中
data_frame.to_csv("./data/lora_dataset_processed/train/metadata.csv", index=False, encoding="utf-8-sig") # 将data_frame保存到./data/lora_dataset_processed/train/metadata.csv
data_frame # 查看data_frame

▫代码解读：

data_juicer_config = """
# 全局参数
project_name: 'data-process' # 名称
dataset_path: './data/data-juicer/input/metadata.jsonl'  # 前面生成的数据的索引文件
np: 4  # 线程数

text_keys: 'text' # 文件 ./data/data-juicer/input/metadata.jsonl 的描述的字段名
image_key: 'image' # 文件 ./data/data-juicer/input/metadata.jsonl 的图片字段名
image_special_token: '<__dj__image>'

export_path: './data/data-juicer/output/result.jsonl' # 筛选通过的图片结果保存的索引文件

# 处理计划
# 包含多个处理操作及其参数
process:
    - image_shape_filter: # 图片尺寸过滤
        min_width: 1024 # 最小宽度 1024
        min_height: 1024 # 最小高度 1024
        any_or_all: any # 符合前面条件的图片才会被保留
    - image_aspect_ratio_filter: # 图片长宽比过滤
        min_ratio: 0.5 # 最小长宽比 0.5
        max_ratio: 2.0 # 最大长宽比 2.0
        any_or_all: any # 符合前面条件的图片才会被保留
"""

# 保存 data-juicer 配置到 data/data-juicer/data_juicer_config.yaml
with open("data/data-juicer/data_juicer_config.yaml", "w") as file:
    file.write(data_juicer_config.strip())

# data-juicer 开始执行数据筛选
!dj-process --config data/data-juicer/data_juicer_config.yaml

配置数据筛选规则  这部分代码定义了一个 YAML 配置文件，其中包含了数据筛选的规则，包括图片的最小尺寸、长宽比等，用于设置数据筛选的规则。

使用 dj-process 命令行工具根据配置文件执行数据筛选，筛选出符合条件的图片。

import pandas as pd
import os, json
from PIL import Image
from tqdm import tqdm

texts, file_names = [], []

os.makedirs("./data/lora_dataset_processed/train", exist_ok=True)

with open("./data/data-juicer/output/result.jsonl", "r") as file:
    for data_id, data in enumerate(tqdm(file.readlines())):
        data = json.loads(data)
        text = data["text"]
        texts.append(text)
        image = Image.open(data["image"][0])
        image_path = f"./data/lora_dataset_processed/train/{data_id}.jpg"
        image.save(image_path)
        file_names.append(f"{data_id}.jpg")

data_frame = pd.DataFrame()
data_frame["file_name"] = file_names
data_frame["text"] = texts
data_frame.to_csv("./data/lora_dataset_processed/train/metadata.csv", index=False, encoding="utf-8-sig")

data_frame

根据筛选结果+生成新的数据集  这部分代码读取了经过筛选后的数据索引文件，并基于这些数据生成了一个新的数据集。

读取筛选后保存的图片索引文件，将符合规则的图片复制到新的文件夹，并生成包含图片文件名和描述信息的 CSV 文件。

▾4.lora微调

# 执行可图Lora训练
import os
cmd = """
python DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py \ # 选择使用可图的Lora训练脚本DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py
  --pretrained_unet_path models/kolors/Kolors/unet/diffusion_pytorch_model.safetensors \ # 选择unet模型
  --pretrained_text_encoder_path models/kolors/Kolors/text_encoder \ # 选择text_encoder
  --pretrained_fp16_vae_path models/sdxl-vae-fp16-fix/diffusion_pytorch_model.safetensors \ # 选择vae模型
  --lora_rank 16 \ # lora_rank 16 表示在权衡模型表达能力和训练效率时，选择了使用 16 作为秩，适合在不显著降低模型性能的前提下，通过 LoRA 减少计算和内存的需求
  --lora_alpha 4.0 \ # 设置 LoRA 的 alpha 值，影响调整的强度
  --dataset_path data/lora_dataset_processed \ # 指定数据集路径，用于训练模型
  --output_path ./models \ # 指定输出路径，用于保存模型
  --max_epochs 1 \ # 设置最大训练轮数为 1
  --center_crop \ # 启用中心裁剪，这通常用于图像预处理
  --use_gradient_checkpointing \ # 启用梯度检查点技术，以节省内存
  --precision "16-mixed" # 指定训练时的精度为混合 16 位精度（half precision），这可以加速训练并减少显存使用
""".strip()
os.system(cmd) # 执行可图Lora训练

▫代码解读：

import os
cmd = """
python DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py \
  --pretrained_unet_path models/kolors/Kolors/unet/diffusion_pytorch_model.safetensors \
  --pretrained_text_encoder_path models/kolors/Kolors/text_encoder \
  --pretrained_fp16_vae_path models/sdxl-vae-fp16-fix/diffusion_pytorch_model.safetensors \
  --lora_rank 16 \
  --lora_alpha 4.0 \
  --dataset_path data/lora_dataset_processed \
  --output_path ./models \
  --max_epochs 1 \
  --center_crop \
  --use_gradient_checkpointing \
  --precision "16-mixed"
""".strip()

定义训练命令  定义了一个多行字符串 cmd，其中包含了所有用于启动LoRA训练的命令行参数。这些参数包括：

os.system(cmd)

执行训练命令  使用Python的 os.system() 函数来执行上述定义好的命令字符串，启动训练过程。

▾5.加载微调好的模型

# 加载lora微调后的模型
from diffsynth import ModelManager, SDXLImagePipeline # 导入ModelManager和SDXLImagePipeline
from peft import LoraConfig, inject_adapter_in_model # 导入LoraConfig和inject_adapter_in_model
import torch # 导入torch
# 加载LoRA配置并注入模型
def load_lora(model, lora_rank, lora_alpha, lora_path):
    lora_config = LoraConfig(
        r=lora_rank, # 设置LoRA的秩(rank)
        lora_alpha=lora_alpha, # 设置LoRA的alpha值，控制LoRA的影响权重
        init_lora_weights="gaussian", # 初始化LoRA权重为高斯分布
        target_modules=["to_q", "to_k", "to_v", "to_out"], # 指定要应用LoRA的模块
    )
    model = inject_adapter_in_model(lora_config, model) # 将LoRA配置注入到模型中
    state_dict = torch.load(lora_path, map_location="cpu") # 加载LoRA微调后的权重
    model.load_state_dict(state_dict, strict=False) # 将权重加载到模型中，允许部分权重不匹配
    return model # 返回注入LoRA后的模型
# 加载预训练模型
model_manager = ModelManager(
    torch_dtype=torch.float16, # 设置模型的数据类型为float16，减少显存占用
    device="cuda", # 指定使用GPU进行计算
    file_path_list=[
        "models/kolors/Kolors/text_encoder", # 文本编码器的路径
        "models/kolors/Kolors/unet/diffusion_pytorch_model.safetensors", # UNet模型的路径
        "models/kolors/Kolors/vae/diffusion_pytorch_model.safetensors" # VAE模型的路径
    ]
)
# 初始化图像生成管道
pipe = SDXLImagePipeline.from_model_manager(model_manager) # 从模型管理器中加载模型并初始化管道
# 加载并应用LoRA权重到UNet模型
pipe.unet = load_lora(
    pipe.unet, 
    lora_rank=16, # 设置LoRA的秩(rank)，与训练脚本中的参数保持一致
    lora_alpha=2.0, # 设置LoRA的alpha值，控制LoRA对模型的影响权重
    lora_path="models/lightning_logs/version_0/checkpoints/epoch=0-step=500.ckpt" # 指定LoRA权重的文件路径
)

▫代码解读：

# 加载lora微调后的模型
from diffsynth import ModelManager, SDXLImagePipeline # 导入ModelManager和SDXLImagePipeline
from peft import LoraConfig, inject_adapter_in_model # 导入LoraConfig和inject_adapter_in_model
import torch # 导入torch

导入必要的库 这部分代码导入了所需的Python库和模块，包括diffsynth中的ModelManager和SDXLImagePipeline，peft中的LoraConfig和inject_adapter_in_model，以及torch.

# 加载LoRA配置并注入模型
def load_lora(model, lora_rank, lora_alpha, lora_path):
    lora_config = LoraConfig(
        r=lora_rank, # 设置LoRA的秩(rank)
        lora_alpha=lora_alpha, # 设置LoRA的alpha值，控制LoRA的影响权重
        init_lora_weights="gaussian", # 初始化LoRA权重为高斯分布
        target_modules=["to_q", "to_k", "to_v", "to_out"], # 指定要应用LoRA的模块
    )
    model = inject_adapter_in_model(lora_config, model) # 将LoRA配置注入到模型中
    state_dict = torch.load(lora_path, map_location="cpu") # 加载LoRA微调后的权重
    model.load_state_dict(state_dict, strict=False) # 将权重加载到模型中，允许部分权重不匹配
    return model # 返回注入LoRA后的模型

# 加载预训练模型
model_manager = ModelManager(
    torch_dtype=torch.float16, # 设置模型的数据类型为float16，减少显存占用
    device="cuda", # 指定使用GPU进行计算
    file_path_list=[
        "models/kolors/Kolors/text_encoder", # 文本编码器的路径
        "models/kolors/Kolors/unet/diffusion_pytorch_model.safetensors", # UNet模型的路径
        "models/kolors/Kolors/vae/diffusion_pytorch_model.safetensors" # VAE模型的路径
    ]
)

加载预训练模型  

# 初始化图像生成管道
pipe = SDXLImagePipeline.from_model_manager(model_manager) # 从模型管理器中加载模型并初始化管道

初始化图像生成管道  从model_manager中加载模型并初始化SDXLImagePipeline，这是用于生成图像的管道.

# 加载并应用LoRA权重到UNet模型
pipe.unet = load_lora(
    pipe.unet, 
    lora_rank=16, # 设置LoRA的秩(rank)，与训练脚本中的参数保持一致
    lora_alpha=2.0, # 设置LoRA的alpha值，控制LoRA对模型的影响权重
    lora_path="models/lightning_logs/version_0/checkpoints/epoch=0-step=500.ckpt" # 指定LoRA权重的文件路径
)

加载并应用LoRA权重  调用load_loraLoRA权函数，将重加载到pipe.unet模型中，即UNet模型。

▾6.图片生成

# 生成图像
torch.manual_seed(0) # 设置随机种子，确保生成的图像具有可重复性。如果想要每次生成不同的图像，可以将种子值改为随机值。
image = pipe(
    prompt="二次元，一个紫色短发小女孩，在家中沙发上坐着，双手托着腮，很无聊，全身，粉色连衣裙", # 设置正向提示词，用于指导模型生成图像的内容
    negative_prompt="丑陋、变形、嘈杂、模糊、低对比度", # 设置负向提示词，模型会避免生成包含这些特征的图像
    cfg_scale=4, # 设置分类自由度 (Classifier-Free Guidance) 的比例，数值越高，模型越严格地遵循提示词
    num_inference_steps=50, # 设置推理步数，步数越多，生成的图像细节越丰富，但生成时间也更长
    height=1024, width=1024, # 设置生成图像的高度和宽度，这里生成 1024x1024 像素的图像
)
image.save("1.jpg") # 将生成的图像保存为 "1.jpg" 文件

▫①生成图像-代码解读：

# 图像拼接，展示总体拼接大图
import numpy as np  # 导入numpy库，用于处理数组和数值计算
from PIL import Image  # 导入PIL库中的Image模块，用于图像处理
images = [np.array(Image.open(f"{i}.jpg")) for i in range(1, 9)]  # 读取1.jpg到8.jpg的图像，转换为numpy数组，并存储在列表images中
image = np.concatenate([  # 将四组图像在垂直方向上拼接
    np.concatenate(images[0:2], axis=1),  # 将第1组（images[0:2]）的两张图像在水平方向上拼接
    np.concatenate(images[2:4], axis=1),  # 将第2组（images[2:4]）的两张图像在水平方向上拼接
    np.concatenate(images[4:6], axis=1),  # 将第3组（images[4:6]）的两张图像在水平方向上拼接
    np.concatenate(images[6:8], axis=1),  # 将第4组（images[6:8]）的两张图像在水平方向上拼接
], axis=0)  # 将四组拼接后的图像在垂直方向上拼接
image = Image.fromarray(image).resize((1024, 2048))  # 将拼接后的numpy数组转换为图像对象，并调整大小为1024x2048像素
image  # 输出最终生成的图像对象，用于显示图像

▫②图像拼接-代码解读：

附：

▫可图模型文本到图像生成模型

▫内容参考来源：Datawhale (linklearner.com)

如果您对本文有任何疑问、建议或想分享自己的经验，请在评论区留言，期待与大家的互动！
 

总结