小白的DatawhaleAI夏令营AIGC文生图探索日记·可图Kolors-LoRA风格故事挑战赛应用

比赛?：可图Kolors-LoRA风格故事挑战赛_创新应用大赛_天池大赛-阿里云天池的赛制

报名赛事(点击即可跳转)（一定要进行报名，后面环境中的数据和授权等会用到）

赛事链接：https://tianchi.aliyun.com/competition/entrance/532254

可以通过这个了解一下笔记大概目的

1.基础知识介绍

文生图主要以SD系列基础模型为主，以及在其基础上微调的lora模型和人物基础模型等。

文生图主要以SD系列基础模型为主，以及在其基础上微调的lora模型和人物基础模型等。

大家可以在网络上找这方面的历史资料了解它的历史，还挺有趣的。

提示词举例子：【promts】Beautiful and cute girl, smiling, 16 years old, denim jacket, gradient background, soft colors, soft lighting, cinematic edge lighting, light and dark contrast, anime, super detail, 8k

【负向prompts】(lowres, low quality, worst quality:1.2), (text:1.2), deformed, black and white,disfigured, low contrast, cropped, missing fingers

这两个要理解，后面会考

Lora

轻量级的微调方法

在Stable Diffusion这一文本到图像合成模型的框架下，Lora被用来对预训练好的大模型进行针对性优化，以实现对特定主题、风格或任务的精细化控制。

badeline用到啦

ComfyUI

ComfyUI 是一个工作流工具，主要用于简化和优化 AI 模型的配置和训练过程。

通过直观的界面和集成的功能，用户可以轻松地进行模型微调、数据预处理、图像生成等任务，从而提高工作效率和生成效果。

参考图控制

ControlNet是一种用于精确控制图像生成过程的技术组件。

2.环境准备

开通阿里云PAI-DSW试用 到如图界面即可（如果没有注册都请先注册）

在魔搭社区进行授权（如果没有注册都请先注册）

从这样根据指示到这样

在魔搭社区创建PAI实例（点击即可跳转）

git lfs install

git clone https://www.modelscope.cn/datasets/maochase/kolors.git

先下载baseline

3.设计你想要的图片

上面写的是你希望的要素，下面是不希望的

然后，piupiu亮亮的图片就生成了

4.保存上传

创建terminal，粘贴如下命令，回车执行

mkdir /mnt/workspace/kolors/output & cd

cp /mnt/workspace/kolors/models/lightning_logs/version_0/checkpoints/epoch\=0-step\=500.ckpt /mnt/workspace/kolors/output/

cp /mnt/workspace/kolors/1.jpg /mnt/workspace/kolors/output/

把output里面的文件保存到本地

Step4：微调结果上传魔搭（点击即可跳转）

可以根据baseline进行基础知识学习哦

4.个人学习笔记tips

data_juicer_config = """

# global parameters

data_juicer_config在这里是一个多行字符串，包含了数据处理的配置参数。

project_name: 'data-process'

dataset_path: './data/data-juicer/input/metadata.jsonl'  # path to your dataset directory or file

np: 4  # number of subprocess to process your dataset

text_keys: 'text'

image_key: 'image'

image_special_token: '<__dj__image>'

export_path: './data/data-juicer/output/result.jsonl'

# process schedule

# a list of several process operators with their arguments

process:

    - image_shape_filter:

        min_width: 1024

        min_height: 1024

        any_or_all: any

    - image_aspect_ratio_filter:

        min_ratio: 0.5

        max_ratio: 2.0

        any_or_all: any

"""

with open("data/data-juicer/data_juicer_config.yaml", "w") as file:

file.write(data_juicer_config.strip())

 with open将配置信息写入YAML配置文件

!dj-process --config data/data-juicer/data_juicer_config.yaml

import pandas as pd

import os, json

from PIL import Image

from tqdm import tqdm

 使用os.makedirs创建一个输出的目录，这是用于存放处理后的图像数据的

texts, file_names = [], []

os.makedirs("./data/lora_dataset_processed/train", exist_ok=True)

with open("./data/data-juicer/output/result.jsonl", "r") as file:

    for data_id, data in enumerate(tqdm(file.readlines())):

        data = json.loads(data)

        text = data["text"]

        texts.append(text)

        image = Image.open(data["image"][0])

        image_path = f"./data/lora_dataset_processed/train/{data_id}.jpg"

        image.save(image_path)

        file_names.append(f"{data_id}.jpg")

data_frame = pd.DataFrame()

JSONL文件（特殊的JSON格式是每个条目占一行的），所以这里是逐行读取数据的。

使用PIL库打开图像文件，后面保存成csv文件。

data_frame["file_name"] = file_names

data_frame["text"] = texts

data_frame.to_csv("./data/lora_dataset_processed/train/metadata.csv", index=False, encoding="utf-8-sig")

总结