Task02
AI生图技术 为什么要了解AI生图前沿？ AI生图的历史 AI生图的难点和挑战有哪些？ 精读baseline代码（上次运行的） 再次生成图片AI生图技术
为什么要了解AI生图前沿？
AIGC(AI-Generated Content)是通过人工智能技术自动生成内容的生产方式，很早就有专家指出，AIGC将是未来人工智能的重点方向，也将改造相关行业和领域生产内容的方式。
AI生图则是其中最早被大众所熟知并广泛被认可的AIGC领域。了解AI生图前沿即是技术趋势，也对于应用场景扩展、工作效率提升的方面都有极大作用。
AI生图的历史
AI生图的历史可以追溯到较早的技术探索，并随着计算能力的增强和机器学习技术的进步而不断发展。下面是AI生图历史的主要阶段和发展里程碑：
早期探索 (20世纪70年代) AARON: 由艺术家哈罗德·科恩（Harold Cohen）发明，AARON是最早的人工智能绘画系统之一，它能够通过机械臂绘制出图画。这一系统背后是由一套复杂的规则和算法驱动的计算机程序。初期发展 (1990年代至2000年代) 在这个时期，随着计算机技术的进步，AI绘画开始尝试更复杂的形式。尽管当时的计算资源有限，但研究人员已经开始探索如何使用计算机生成更为复杂的图像。 深度学习时代的兴起 (2010年代)
2012年的模糊猫脸: 谷歌的研究人员吴恩达和Jeff Dean使用深度学习模型训练了一个能够生成模糊猫脸的模型。这是AI绘画领域的一个重要转折点，标志着深度学习技术开始应用于图像生成。
GANs (Generative Adversarial Networks): 自2014年起，GANs的提出极大地促进了图像生成技术的发展。GANs通过两个相互竞争的网络（生成器和判别器）来生成高质量的图像，这一技术迅速成为了图像生成领域的主流方法之一。
近年来的发展 (2020年代) 2015年，谷歌推出了**“深梦”（Deep Dream）**图像生成工具。原理：2021 年 1 月 OpenAI 推出DALL-E模型 VAEs (Variational Autoencoders) 和 Auto-Regressive Models 等其他模型也开始被广泛应用于图像生成任务中。 Diffusion Models: 近年来，扩散模型（Diffusion Models）因其在图像质量上的显著提升而备受关注。这种模型通过一系列的去噪步骤来生成图像，能够处理复杂的图像结构和细节。 Midjourney 和 Stable Diffusion: 这些工具是近年来非常流行的AI生图应用。Midjourney 是一个高级的AI设计软件，而Stable Diffusion则以其开源特性而闻名，允许更多开发者和研究人员参与到图像生成技术的研发中。 当前状态 目前，AI生图技术已经非常成熟，可以生成高度逼真的图像。这些技术不仅被应用于艺术创作，还在广告、影视制作、建筑设计等多个领域得到广泛应用。 个性化和定制化：最新的研究和技术正在朝着更加个性化的方向发展，例如华为和清华大学合作开发的个性化多模态生成方法PMG，能够根据特定需求生成图像。
参考：AI绘画的发展历史 、 AI生图可“量身定制”了，华为&清华联手打造个性化多模态生成方法PMG
AI生图的难点和挑战有哪些？
图像质量和真实感：
美感与失真的平衡：生成的图像需要达到一定的视觉美感，同时避免失真或不自然的现象。
细节的精确度：特别是在高分辨率图像生成中，保持细节清晰且准确是一项挑战。
图像多样性：
AI模型需要能够生成具有足够多样性的图像，以满足不同场景的需求。
手部等特定部位的正确性：
特别是在人物图像生成中，手部和其他精细部位的形状和姿势往往难以准确地生成，容易出现畸形现象。
HandRefiner等技术被提出用于专门解决此类问题。
可控性：
用户希望能够对生成过程有一定程度的控制，例如调整生成图像的具体属性。
隐私和数据安全：
使用个人数据训练模型时可能会涉及到隐私泄露的问题。
如何保证数据的安全性和用户的隐私权是一个重要的考虑因素。
伦理和法律问题：
生成的图像如果被用于不当目的（例如伪造身份或误导公众），会引发伦理和法律责任问题。
精读baseline代码（上次运行的）
接下来，我们将用“通义千问”作为辅助，对上次生图的代码进行分析。下面是逐行代码及其中文注释：
# 安装 Data-Juicer 和 DiffSynth-Studio
!pip install simple-aesthetics-predictor # 安装simple-aesthetics-predictor
!pip install -v -e data-juicer # 安装data-juicer
!pip uninstall pytorch-lightning -y # 卸载pytorch-lightning
!pip install peft lightning pandas torchvision # 安装 peft lightning pandas torchvision
!pip install -e DiffSynth-Studio # 安装DiffSynth-Studio
# 从魔搭数据集中下载数据集AI-ModelScope/lowres_anime
from modelscope.msdatasets import MsDataset #引入数据集模块msdatasets
ds = MsDataset.load(
'AI-ModelScope/lowres_anime',
subset_name='default',
split='train',
cache_dir="/mnt/workspace/kolors/data" # 指定缓存目录
) # 从魔搭数据集中下载数据集AI-ModelScope/lowres_anime，赋值给参数ds
# 生成数据集
import json, os # 导入json和os模块
from data_juicer.utils.mm_utils import SpecialTokens # 导入SpecialTokens
from tqdm import tqdm # 导入tqdm进度条管理
os.makedirs("./data/lora_dataset/train", exist_ok=True) # 创建文件夹./data/lora_dataset/train
os.makedirs("./data/data-juicer/input", exist_ok=True) # 创建文件夹./data/data-juicer/input
with open("./data/data-juicer/input/metadata.jsonl", "w") as f:
for data_id, data in enumerate(tqdm(ds)): # 遍历数据集ds
image = data["image"].convert("RGB") # 将数据集的图片转换为RGB
image.save(f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg") # 保存数据集的图片
metadata = {"text": "二次元", "image": [f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg"]} # 生成当前图片的索引数据
f.write(json.dumps(metadata)) # 将索引数据写入文件./data/data-juicer/input/metadata.jsonl
f.write("\n")
# 配置data-juicer，并进行数据筛选过滤
# 配置过滤的规则
data_juicer_config = """
# global parameters
project_name: 'data-process' # 名称
dataset_path: './data/data-juicer/input/metadata.jsonl' # 你前面生成的数据的索引文件
np: 4 # 线程数
text_keys: 'text' # 文件./data/data-juicer/input/metadata.jsonl的描述的字段名
image_key: 'image' # 文件./data/data-juicer/input/metadata.jsonl的图片字段名
image_special_token: '<__dj__image>'
export_path: './data/data-juicer/output/result.jsonl' # 筛选通过的图片结果保存的的索引文件
# process schedule
# a list of several process operators with their arguments
# 过滤的规则
process:
- image_shape_filter: # 图片尺寸过滤
min_width: 1024 # 最小宽度1024
min_height: 1024 # 最小高度1024
any_or_all: any # 符合前面条件的图片才会被保留
- image_aspect_ratio_filter: # 图片长宽比过滤
min_ratio: 0.5 # 最小长宽比0.5
max_ratio: 2.0 # 最大长宽比2.0
any_or_all: any # 符合前面条件的图片才会被保留
"""
# 保存data-juicer配置到data/data-juicer/data_juicer_config.yaml
with open("data/data-juicer/data_juicer_config.yaml", "w") as file:
file.write(data_juicer_config.strip())
# data-juicer开始执行数据筛选
!dj-process --config data/data-juicer/data_juicer_config.yaml
# 通过前面通过data-juicer筛选的图片索引信息./data/data-juicer/output/result.jsonl，生成数据集
import pandas as pd # 导入pandas
import os, json # 导入os和json
from PIL import Image # 导入Image
from tqdm import tqdm # 导入tqdm进度条管理
texts, file_names = [], [] # 定义两个空列表，分别存储图片描述和图片名称
os.makedirs("./data/lora_dataset_processed/train", exist_ok=True) # 创建文件夹./data/lora_dataset_processed/train
with open("./data/data-juicer/output/result.jsonl", "r") as file: # 打开前面data-juicer筛选的图片索引文件./data/data-juicer/output/result.jsonl
for data_id, data in enumerate(tqdm(file.readlines())): # 遍历文件./data/data-juicer/output/result.jsonl
data = json.loads(data) # 将json字符串转换为对象
text = data["text"] # 获取对象中的text属性，也就是图片的描述信息
texts.append(text) # 将图片的描述信息添加到texts列表中
image = Image.open(data["image"][0]) # 获取对象中的image属性，也就是图片的路径,然后用这个路径打开图片
image_path = f"./data/lora_dataset_processed/train/{data_id}.jpg" # 生成保存图片的路径
image.save(image_path) # 将图片保存到./data/lora_dataset_processed/train文件夹中
file_names.append(f"{data_id}.jpg") # 将图片名称添加到file_names列表中
data_frame = pd.DataFrame() # 创建空的DataFrame
data_frame["file_name"] = file_names # 将图片名称添加到data_frame中
data_frame["text"] = texts # 将图片描述添加到data_frame中
data_frame.to_csv("./data/lora_dataset_processed/train/metadata.csv", index=False, encoding="utf-8-sig") # 将data_frame保存到./data/lora_dataset_processed/train/metadata.csv
data_frame # 查看data_frame
# 下载可图模型
from diffsynth import download_models # 导入download_models
download_models(["Kolors", "SDXL-vae-fp16-fix"]) # 下载可图模型
# DiffSynth-Studio提供了可图的Lora训练脚本，查看脚本信息
!python DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py -h
# 执行可图Lora训练
import os
cmd = """
python DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py \ # 选择使用可图的Lora训练脚本DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py
--pretrained_unet_path models/kolors/Kolors/unet/diffusion_pytorch_model.safetensors \ # 选择unet模型
--pretrained_text_encoder_path models/kolors/Kolors/text_encoder \ # 选择text_encoder
--pretrained_fp16_vae_path models/sdxl-vae-fp16-fix/diffusion_pytorch_model.safetensors \ # 选择vae模型
--lora_rank 16 \ # lora_rank 16 表示在权衡模型表达能力和训练效率时，选择了使用 16 作为秩，适合在不显著降低模型性能的前提下，通过 LoRA 减少计算和内存的需求
--lora_alpha 4.0 \ # 设置 LoRA 的 alpha 值，影响调整的强度
--dataset_path data/lora_dataset_processed \ # 指定数据集路径，用于训练模型
--output_path ./models \ # 指定输出路径，用于保存模型
--max_epochs 1 \ # 设置最大训练轮数为 1
--center_crop \ # 启用中心裁剪，这通常用于图像预处理
--use_gradient_checkpointing \ # 启用梯度检查点技术，以节省内存
--precision "16-mixed" # 指定训练时的精度为混合 16 位精度（half precision），这可以加速训练并减少显存使用
""".strip()
os.system(cmd) # 执行可图Lora训练
# 加载lora微调后的模型
from diffsynth import ModelManager, SDXLImagePipeline # 导入ModelManager和SDXLImagePipeline
from peft import LoraConfig, inject_adapter_in_model # 导入LoraConfig和inject_adapter_in_model
import torch # 导入torch
# 加载LoRA配置并注入模型
def load_lora(model, lora_rank, lora_alpha, lora_path):
lora_config = LoraConfig(
r=lora_rank, # 设置LoRA的秩(rank)
lora_alpha=lora_alpha, # 设置LoRA的alpha值，控制LoRA的影响权重
init_lora_weights="gaussian", # 初始化LoRA权重为高斯分布
target_modules=["to_q", "to_k", "to_v", "to_out"], # 指定要应用LoRA的模块
)
model = inject_adapter_in_model(lora_config, model) # 将LoRA配置注入到模型中
state_dict = torch.load(lora_path, map_location="cpu") # 加载LoRA微调后的权重
model.load_state_dict(state_dict, strict=False) # 将权重加载到模型中，允许部分权重不匹配
return model # 返回注入LoRA后的模型
# 加载预训练模型
model_manager = ModelManager(
torch_dtype=torch.float16, # 设置模型的数据类型为float16，减少显存占用
device="cuda", # 指定使用GPU进行计算
file_path_list=[
"models/kolors/Kolors/text_encoder", # 文本编码器的路径
"models/kolors/Kolors/unet/diffusion_pytorch_model.safetensors", # UNet模型的路径
"models/kolors/Kolors/vae/diffusion_pytorch_model.safetensors" # VAE模型的路径
]
)
# 初始化图像生成管道
pipe = SDXLImagePipeline.from_model_manager(model_manager) # 从模型管理器中加载模型并初始化管道
# 加载并应用LoRA权重到UNet模型
pipe.unet = load_lora(
pipe.unet,
lora_rank=16, # 设置LoRA的秩(rank)，与训练脚本中的参数保持一致
lora_alpha=2.0, # 设置LoRA的alpha值，控制LoRA对模型的影响权重
lora_path="models/lightning_logs/version_0/checkpoints/epoch=0-step=500.ckpt" # 指定LoRA权重的文件路径
)
# 生成图像
torch.manual_seed(0) # 设置随机种子，确保生成的图像具有可重复性。如果想要每次生成不同的图像，可以将种子值改为随机值。
image = pipe(
prompt="二次元，一个紫色短发小女孩，在家中沙发上坐着，双手托着腮，很无聊，全身，粉色连衣裙", # 设置正向提示词，用于指导模型生成图像的内容
negative_prompt="丑陋、变形、嘈杂、模糊、低对比度", # 设置负向提示词，模型会避免生成包含这些特征的图像
cfg_scale=4, # 设置分类自由度 (Classifier-Free Guidance) 的比例，数值越高，模型越严格地遵循提示词
num_inference_steps=50, # 设置推理步数，步数越多，生成的图像细节越丰富，但生成时间也更长
height=1024, width=1024, # 设置生成图像的高度和宽度，这里生成 1024x1024 像素的图像
)
image.save("1.jpg") # 将生成的图像保存为 "1.jpg" 文件
# 图像拼接，展示总体拼接大图
import numpy as np # 导入numpy库，用于处理数组和数值计算
from PIL import Image # 导入PIL库中的Image模块，用于图像处理
images = [np.array(Image.open(f"{i}.jpg")) for i in range(1, 9)] # 读取1.jpg到8.jpg的图像，转换为numpy数组，并存储在列表images中
image = np.concatenate([ # 将四组图像在垂直方向上拼接
np.concatenate(images[0:2], axis=1), # 将第1组（images[0:2]）的两张图像在水平方向上拼接
np.concatenate(images[2:4], axis=1), # 将第2组（images[2:4]）的两张图像在水平方向上拼接
np.concatenate(images[4:6], axis=1), # 将第3组（images[4:6]）的两张图像在水平方向上拼接
np.concatenate(images[6:8], axis=1), # 将第4组（images[6:8]）的两张图像在水平方向上拼接
], axis=0) # 将四组拼接后的图像在垂直方向上拼接
image = Image.fromarray(image).resize((1024, 2048)) # 将拼接后的numpy数组转换为图像对象，并调整大小为1024x2048像素
image # 输出最终生成的图像对象，用于显示图像
再次生成图片
在了解过代码之后，我们可以再次试一下生图：
修改prompt prompt=“古风，水墨画，一个身着青衫的少女，坐在教室中，专注地注视着先生讲解，上半身，手执毛笔，面前摆放着书卷。” prompt=“古风，水墨画，一个身穿绿色长裙的少女，坐在桌边，头轻轻垂下，似乎正陷入梦境，上半身，桌上散落着未完成的作业。” prompt=“古风，水墨画，一个穿着蓝白色汉服的少女，站在一条石板路上，周围是朦胧的雾气，全身，手中拿着折扇，若有所思地看着远方。” prompt=“古风，水墨画，一位英俊的青年骑着白马缓缓靠近，少女站在路边，惊讶而期待地望着他，全身，背景是绿树成荫的小道” prompt=“古风，水墨画，温馨的氛围，少女与青年坐在一棵大树下，交谈甚欢，两人都是上半身，少女手持折扇，青年手持书卷，背景是繁花似锦的春天景色” prompt=“古风，水墨画，浪漫的色彩，少女与青年并肩坐在马上，两人笑容满面，全身，背景是夕阳下的田野” prompt=“古风，水墨画，轻柔的色调，少女从梦中醒来，坐在教室里，显得有些迷茫，上半身，桌上摊开着书本和毛笔” prompt=“古风，水墨画，宁静的氛围，少女坐在书桌前，专心致志地书写着，上半身，身旁堆满了书卷，窗外是黄昏的天空” 生图↓总结
### 文章总结：AI生图技术概览与实战操作#### 1. **AI生图技术的重要性**
- **核心定位**：AIGC（AI-Generated Content）中，AI生图是重点发展方向之一，将深刻改变多个行业和领域的内容生产方式。
- **趋势性与应用**：了解AI生图前沿既是把握技术趋势，也对扩展应用场景和提升工作效率具有极大推动作用。
#### 2. **AI生图技术的历史发展**
- **早期探索**（20世纪70年代）：以AARON为代表，通过机械臂和计算机算法进行绘画。
- **初期发展**（1990年代至2000年代）：随着计算机技术进步，AI绘画开始尝试复杂形式，但受制于有限的计算资源。
- **深度学习时代**（2010年代起）：
- **重大转折点**：2012年，谷歌利用深度学习模型训练生成模糊猫脸，标志着深度学习在图像生成领域的开始。
- **GANs（Generative Adversarial Networks）**：自2014年起，大大推动了图像生成技术，成为主流方法之一。
- **近期发展**（2020年代）：包括Deep Dream、DALL-E模型、VAEs、Auto-Regressive Models和Diffusion Models等的兴起，AI生图应用更加广泛和深入。
- **当前状态**：AI生图技术已成熟，广泛应用于艺术创作、广告、影视制作和建筑设计等领域，并朝着个性化和定制化方向发展。
#### 3. **AI生图的难点与挑战**
- **图像质量和真实感**：需平衡美感与失真，确保高分辨率图像中的细节清晰度。
- **图像多样性**：生成具有足够多样性的图像以满足不同需求。
- **特定部位准确性**（如手部）：需要精细控制，防止生成畸形图像。
- **可控性**：提供用户可调整生成过程属性的功能。
- **隐私和数据安全**：确保个人隐私和数据的保护。
- **伦理和法律问题**：防止图像被不当用于伪造身份或误导公众。
#### 4. **代码分析与实战操作**
- **数据集准备**：使用data-juicer进行数据清洗和筛选，确保图片尺寸和长宽比符合需求。
- **模型下载与配置**：下载并使用DiffSynth-Studio的可图模型和Lora配置，对模型进行微调。
- **图像生成**：通过修改prompt（提示词）和控制参数，生成不同风格的古风水墨画，展示个性化定制能力。
- **图像拼接与展示**：使用Python将多张图片进行拼接，形成最终的展示样张，增强视觉效果。
#### 5. **实战操作示例 - 再次生成图片**
- **提示词（Prompt）修改**：通过不同的描述性语言输入，生成多张具有古风、水墨画气质的图片，涵盖从少女课堂静坐到青年骑马等多个场景，展示技术的多变性和灵活性。