小白学习笔记，如有错误请各位大佬指正
一、AI生图背景介绍
1.AICG领域介绍
AIGC（Artificial Intelligence Generated Content）领域涉及使用人工智能技术生成各种类型的内容，包括文本、图像、音频和视频。这个领域的快速发展和广泛应用引起了广泛关注，涵盖了多个技术和应用方向。这里主要是文本生成、图像生成、音频生成、视频生成四个方向。
这里主要介绍图像生成。
图像生成需包含生成对抗网络（GANs）: 使用生成对抗网络生成高质量图像。GANs包括一个生成器和一个判别器，通过对抗训练生成逼真的图像。扩散模型（Diffusion Models）: 通过逐步去噪生成图像，是最近一种新兴的图像生成技术。图像生成应用在于艺术创作、虚拟角色设计、图像增强等方向。
文生图方向，在现实生活中应用已经逐渐广泛。在各种应用软件上生成的AI壁纸、AI头像，以及各种AI绘图走入经济市场。AI成长的速度快得令人惊异，我们在将AI工具作为生活辅助工具的同时，也需要对AI在市场上所带来的冲击有所准备。
2.Deepfake技术
Deepfake技术是一种利用人工智能和机器学习生成或伪造视觉内容的技术。它主要依赖于深度学习模型，特别是生成对抗网络（GANs）和自动编码器（Autoencoders）来创建高度逼真的虚假视频或音频。
Deepfake技术使用深度学习算法生成或伪造视觉和听觉内容，通常是通过将一个人的面部表情或声音应用于另一个人的视频或音频上。Deepfake技术主要依赖于两个类型的神经网络：生成器和判别器（在GAN中），或者编码器和解码器（在自动编码器中）。生成器或编码器负责创建虚假的内容，而判别器或解码器则负责识别和修正这些内容，使其更为逼真。
技术在我看来向来是一直把双刃剑，其武器性质的好坏取决于使用人对其应用的用途。非法使用此技术的人可能会利用Deepfake技术创建虚假内容可能会侵犯个人隐私。 Deepfake技术也可能被用来制造虚假新闻、诈骗或误导公众。在这一方面，Deepfake技术面临着伦理上和法律上的问题。
3.AI生图工具介绍
魔塔社区链接魔搭社区
Kolors（可图）模型(点击即可跳转魔搭模型介绍页) 是快手开源的文本到图像生成模型，该模型具有对英语和汉语的深刻理解，并能够生成高质量、逼真的图像。
代码开源链接：https://github.com/Kwai-Kolors/Kolors
模型开源链接：https://modelscope.cn/models/Kwai-Kolors/Kolors
技术报告链接：https://github.com/Kwai-Kolors/Kolors/blob/master/imgs/Kolors_paper.pdf
魔搭研习社最佳实践说明：https://www.modelscope.cn/learn/575?pid=543
具体可图模型如何使用，可以参考Datawhale教程，以及魔塔官方账号，方便了解更新AI生图前沿的知识。
二、利用AI工具学习
使用AI工具进行代码分析
通义千问通义tongyi.ai_你的全能AI助手
使用通义千问等类似AI工具可以节省工作量、提高工作效率。但是使用该工具时仍然需要注意甄别信息的准确性、逻辑是否完善等问题。
三、baseline代码AI分析
来源于通义AI，详见Datawhale教程。
# 安装 Data-Juicer 和 DiffSynth-Studio
!pip install simple-aesthetics-predictor # 安装simple-aesthetics-predictor
!pip install -v -e data-juicer # 安装data-juicer
!pip uninstall pytorch-lightning -y # 卸载pytorch-lightning
!pip install peft lightning pandas torchvision # 安装 peft lightning pandas torchvision
!pip install -e DiffSynth-Studio # 安装DiffSynth-Studio
# 从魔搭数据集中下载数据集AI-ModelScope/lowres_anime
from modelscope.msdatasets import MsDataset #引入数据集模块msdatasets
ds = MsDataset.load(
'AI-ModelScope/lowres_anime',
subset_name='default',
split='train',
cache_dir="/mnt/workspace/kolors/data" # 指定缓存目录
) # 从魔搭数据集中下载数据集AI-ModelScope/lowres_anime，赋值给参数ds
# 生成数据集
import json, os # 导入json和os模块
from data_juicer.utils.mm_utils import SpecialTokens # 导入SpecialTokens
from tqdm import tqdm # 导入tqdm进度条管理
os.makedirs("./data/lora_dataset/train", exist_ok=True) # 创建文件夹./data/lora_dataset/train
os.makedirs("./data/data-juicer/input", exist_ok=True) # 创建文件夹./data/data-juicer/input
with open("./data/data-juicer/input/metadata.jsonl", "w") as f:
for data_id, data in enumerate(tqdm(ds)): # 遍历数据集ds
image = data["image"].convert("RGB") # 将数据集的图片转换为RGB
image.save(f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg") # 保存数据集的图片
metadata = {"text": "二次元", "image": [f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg"]} # 生成当前图片的索引数据
f.write(json.dumps(metadata)) # 将索引数据写入文件./data/data-juicer/input/metadata.jsonl
f.write("\n")
# 配置data-juicer，并进行数据筛选过滤
# 配置过滤的规则
data_juicer_config = """
# global parameters
project_name: 'data-process' # 名称
dataset_path: './data/data-juicer/input/metadata.jsonl' # 你前面生成的数据的索引文件
np: 4 # 线程数
text_keys: 'text' # 文件./data/data-juicer/input/metadata.jsonl的描述的字段名
image_key: 'image' # 文件./data/data-juicer/input/metadata.jsonl的图片字段名
image_special_token: '<__dj__image>'
export_path: './data/data-juicer/output/result.jsonl' # 筛选通过的图片结果保存的的索引文件
# process schedule
# a list of several process operators with their arguments
# 过滤的规则
process:
- image_shape_filter: # 图片尺寸过滤
min_width: 1024 # 最小宽度1024
min_height: 1024 # 最小高度1024
any_or_all: any # 符合前面条件的图片才会被保留
- image_aspect_ratio_filter: # 图片长宽比过滤
min_ratio: 0.5 # 最小长宽比0.5
max_ratio: 2.0 # 最大长宽比2.0
any_or_all: any # 符合前面条件的图片才会被保留
"""
# 保存data-juicer配置到data/data-juicer/data_juicer_config.yaml
with open("data/data-juicer/data_juicer_config.yaml", "w") as file:
file.write(data_juicer_config.strip())
# data-juicer开始执行数据筛选
!dj-process --config data/data-juicer/data_juicer_config.yaml
# 通过前面通过data-juicer筛选的图片索引信息./data/data-juicer/output/result.jsonl，生成数据集
import pandas as pd # 导入pandas
import os, json # 导入os和json
from PIL import Image # 导入Image
from tqdm import tqdm # 导入tqdm进度条管理
texts, file_names = [], [] # 定义两个空列表，分别存储图片描述和图片名称
os.makedirs("./data/lora_dataset_processed/train", exist_ok=True) # 创建文件夹./data/lora_dataset_processed/train
with open("./data/data-juicer/output/result.jsonl", "r") as file: # 打开前面data-juicer筛选的图片索引文件./data/data-juicer/output/result.jsonl
for data_id, data in enumerate(tqdm(file.readlines())): # 遍历文件./data/data-juicer/output/result.jsonl
data = json.loads(data) # 将json字符串转换为对象
text = data["text"] # 获取对象中的text属性，也就是图片的描述信息
texts.append(text) # 将图片的描述信息添加到texts列表中
image = Image.open(data["image"][0]) # 获取对象中的image属性，也就是图片的路径,然后用这个路径打开图片
image_path = f"./data/lora_dataset_processed/train/{data_id}.jpg" # 生成保存图片的路径
image.save(image_path) # 将图片保存到./data/lora_dataset_processed/train文件夹中
file_names.append(f"{data_id}.jpg") # 将图片名称添加到file_names列表中
data_frame = pd.DataFrame() # 创建空的DataFrame
data_frame["file_name"] = file_names # 将图片名称添加到data_frame中
data_frame["text"] = texts # 将图片描述添加到data_frame中
data_frame.to_csv("./data/lora_dataset_processed/train/metadata.csv", index=False, encoding="utf-8-sig") # 将data_frame保存到./data/lora_dataset_processed/train/metadata.csv
data_frame # 查看data_frame
# 下载可图模型
from diffsynth import download_models # 导入download_models
download_models(["Kolors", "SDXL-vae-fp16-fix"]) # 下载可图模型
# DiffSynth-Studio提供了可图的Lora训练脚本，查看脚本信息
!python DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py -h
# 执行可图Lora训练
import os
cmd = """
python DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py \ # 选择使用可图的Lora训练脚本DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py
--pretrained_unet_path models/kolors/Kolors/unet/diffusion_pytorch_model.safetensors \ # 选择unet模型
--pretrained_text_encoder_path models/kolors/Kolors/text_encoder \ # 选择text_encoder
--pretrained_fp16_vae_path models/sdxl-vae-fp16-fix/diffusion_pytorch_model.safetensors \ # 选择vae模型
--lora_rank 16 \ # lora_rank 16 表示在权衡模型表达能力和训练效率时，选择了使用 16 作为秩，适合在不显著降低模型性能的前提下，通过 LoRA 减少计算和内存的需求
--lora_alpha 4.0 \ # 设置 LoRA 的 alpha 值，影响调整的强度
--dataset_path data/lora_dataset_processed \ # 指定数据集路径，用于训练模型
--output_path ./models \ # 指定输出路径，用于保存模型
--max_epochs 1 \ # 设置最大训练轮数为 1
--center_crop \ # 启用中心裁剪，这通常用于图像预处理
--use_gradient_checkpointing \ # 启用梯度检查点技术，以节省内存
--precision "16-mixed" # 指定训练时的精度为混合 16 位精度（half precision），这可以加速训练并减少显存使用
""".strip()
os.system(cmd) # 执行可图Lora训练
# 加载lora微调后的模型
from diffsynth import ModelManager, SDXLImagePipeline # 导入ModelManager和SDXLImagePipeline
from peft import LoraConfig, inject_adapter_in_model # 导入LoraConfig和inject_adapter_in_model
import torch # 导入torch
# 加载LoRA配置并注入模型
def load_lora(model, lora_rank, lora_alpha, lora_path):
lora_config = LoraConfig(
r=lora_rank, # 设置LoRA的秩(rank)
lora_alpha=lora_alpha, # 设置LoRA的alpha值，控制LoRA的影响权重
init_lora_weights="gaussian", # 初始化LoRA权重为高斯分布
target_modules=["to_q", "to_k", "to_v", "to_out"], # 指定要应用LoRA的模块
)
model = inject_adapter_in_model(lora_config, model) # 将LoRA配置注入到模型中
state_dict = torch.load(lora_path, map_location="cpu") # 加载LoRA微调后的权重
model.load_state_dict(state_dict, strict=False) # 将权重加载到模型中，允许部分权重不匹配
return model # 返回注入LoRA后的模型
# 加载预训练模型
model_manager = ModelManager(
torch_dtype=torch.float16, # 设置模型的数据类型为float16，减少显存占用
device="cuda", # 指定使用GPU进行计算
file_path_list=[
"models/kolors/Kolors/text_encoder", # 文本编码器的路径
"models/kolors/Kolors/unet/diffusion_pytorch_model.safetensors", # UNet模型的路径
"models/kolors/Kolors/vae/diffusion_pytorch_model.safetensors" # VAE模型的路径
]
)
# 初始化图像生成管道
pipe = SDXLImagePipeline.from_model_manager(model_manager) # 从模型管理器中加载模型并初始化管道
# 加载并应用LoRA权重到UNet模型
pipe.unet = load_lora(
pipe.unet,
lora_rank=16, # 设置LoRA的秩(rank)，与训练脚本中的参数保持一致
lora_alpha=2.0, # 设置LoRA的alpha值，控制LoRA对模型的影响权重
lora_path="models/lightning_logs/version_0/checkpoints/epoch=0-step=500.ckpt" # 指定LoRA权重的文件路径
)
# 生成图像
torch.manual_seed(0) # 设置随机种子，确保生成的图像具有可重复性。如果想要每次生成不同的图像，可以将种子值改为随机值。
image = pipe(
prompt="二次元，一个紫色短发小女孩，在家中沙发上坐着，双手托着腮，很无聊，全身，粉色连衣裙", # 设置正向提示词，用于指导模型生成图像的内容
negative_prompt="丑陋、变形、嘈杂、模糊、低对比度", # 设置负向提示词，模型会避免生成包含这些特征的图像
cfg_scale=4, # 设置分类自由度 (Classifier-Free Guidance) 的比例，数值越高，模型越严格地遵循提示词
num_inference_steps=50, # 设置推理步数，步数越多，生成的图像细节越丰富，但生成时间也更长
height=1024, width=1024, # 设置生成图像的高度和宽度，这里生成 1024x1024 像素的图像
)
image.save("1.jpg") # 将生成的图像保存为 "1.jpg" 文件
# 图像拼接，展示总体拼接大图
import numpy as np # 导入numpy库，用于处理数组和数值计算
from PIL import Image # 导入PIL库中的Image模块，用于图像处理
images = [np.array(Image.open(f"{i}.jpg")) for i in range(1, 9)] # 读取1.jpg到8.jpg的图像，转换为numpy数组，并存储在列表images中
image = np.concatenate([ # 将四组图像在垂直方向上拼接
np.concatenate(images[0:2], axis=1), # 将第1组（images[0:2]）的两张图像在水平方向上拼接
np.concatenate(images[2:4], axis=1), # 将第2组（images[2:4]）的两张图像在水平方向上拼接
np.concatenate(images[4:6], axis=1), # 将第3组（images[4:6]）的两张图像在水平方向上拼接
np.concatenate(images[6:8], axis=1), # 将第4组（images[6:8]）的两张图像在水平方向上拼接
], axis=0) # 将四组拼接后的图像在垂直方向上拼接
image = Image.fromarray(image).resize((1024, 2048)) # 将拼接后的numpy数组转换为图像对象，并调整大小为1024x2048像素
image # 输出最终生成的图像对象，用于显示图像四、修改提示词
可以利用通义AI助手来生成提示词。修改prompt和negative_prompt。可以根据AI给出的文字段按照自己的心意来打磨。但是现阶段技术有限，AI文生图可能会出错先手指扭曲、人物扭曲、无法生成自己想要的情镜等问题，所以提示词需要自己反复修改来调整。
在这里我尝试了一个花木兰从军的故事概括。有一次在提示词中输入俯视视角，初次成功但是后续调整失败，人物面容、背景重合度也不高，并不完善，需要后续进行相应的调整。以下是提示词代码以及修图成果。
参考文献
1.Datawhale教程Datawhale
2.《Generative Adversarial Nets》https://arxiv.org/abs/1406.2661
3.《Denoising Diffusion Probabilistic Models》 https://arxiv.org/abs/2006.11239
4.deepfake不良影响的介绍JUST JOKING! Deepfakes, Satire, and the Politics of Synthetic Media - MIT CoCreate
总结
### 文章总结**一、AI生图背景介绍**
- **AICG领域**：AIGC（Artificial Intelligence Generated Content）领域利用AI技术生成文本、图像、音频、视频等多种内容，特别是图像生成方面，通过生成对抗网络（GANs）和扩散模型（Diffusion Models）等技术，应用广泛于艺术创作、虚拟角色设计、图像增强等领域。
- **文生图应用**：AI生成的图像已广泛应用于生活，如AI壁纸、头像等，AI技术的快速发展对市场产生了显著影响。
- **Deepfake技术**：利用AI和机器学习生成或伪造逼真视频或音频，技术核心包括GANs和自动编码器。该技术有效但面临伦理和法律挑战，可能被用于侵犯个人隐私、制造虚假新闻等。
**二、AI生图工具介绍**
- **Kolors（可图）模型**：快手开源的文本到图像生成模型，支持中文和英文，并能生成高质量图像。详细资源和教程可通过魔塔社区和Datawhale教程获取。
**三、利用AI工具学习**
- **通义千问等AI助手**：可以提高工作效率，但使用时需注意信息准确性和逻辑完整性检验。
**四、baseline代码AI分析**
- **数据准备**：通过data-juicer筛选数据集并配置参数，使用DiffSynth-Studio和Kolors模型进行Lora训练。
- **训练过程**：详细描述了下载数据集、配置筛选规则、执行筛选、准备训练数据，并使用DiffSynth-Studio的脚本进行可图Lora训练的过程。
- **图像生成**：加载微调后的Lora模型，并通过SDXLImagePipeline根据指定提示词生成并保存图像。
- **图像拼接展示**：将多张生成的图像进行拼接，并调整大小展示。
**五、修改提示词**
- **优化提示词**：可以通过AI助手如通义AI来辅助生成和优化提示词，但由于技术限制仍需手动调整和打磨。
- **示例**：通过尝试类似花木兰从军的故事在不同角度和情境下进行图像生成，展示了调整提示词的过程，并指出目前技术的不足和需要继续优化的地方。
**参考文献**
- 包括Datawhale教程及相关学术论文链接，以及关于Deepfake不良影响的MIT研究报告。
### 结论
本文全面介绍了AI生图技术的发展背景、Deepfake技术的双面性、具体的AI生图工具（Kolors）及其使用方法，并通过代码示例展示了如何利用AI工具进行图像生成和数据处理的完整流程。同时，提出了在使用AI生图时需要面对的技术挑战和市场影响。