Datawhale X 魔搭 AI夏令营第四期魔搭-AIGC文生图方向Task2笔记

了解一下 AI生图技术的能力&局限

对所有人来说，定期关注AI生图的最新能力情况都十分重要：

对于普通人来说，可以避免被常见的AI生图场景欺骗，偶尔也可以通过相关工具绘图

对于创作者来说，通过AI生图的工具可以快速提效，制作自己所需要的内容

对于技术人来说，了解AI生图的能力的玩法，可以更好地针对自己的业务进行开发和使用，甚至攻克难题开发更实用的工具

#####感觉现在AI生图的发展有利有弊#####

①利在于一些简单图片的快速生成可以让绘画、摄影等相关的工作更加轻松

②弊在于艺术类的工作本就是强调一个创造性和创新型，如果人人都用AI实现图片的生成的话，那如何体现每一个人的个体创造性呢，人类的审美力和想象力又会不会被机器所框住呢？

AI生图模型属于多模态机器学习模型，通过海量的图库和文本描述的深度神经网络学习，最终的目标是可以根据输入的指示(不管是文本还是图片还是任何)生成符合语义的图片。

我们这次项目主要使用的模型是Kolors（可图）模型，这个模型是快手开源的文本到图像生成模型，具有对英语和汉语的深刻理解，并能够生成高质量、逼真的图像。过去大部分文生图模型只支持英文的Prompt，但是可图是支持中文输入Prompt的，所以是更加适合于我们进行文生图入门学习的一个模型

代码开源链接：GitHub - Kwai-Kolors/Kolors: Kolors Team

模型开源链接：可图模型

技术报告链接：Kolors: Effective Training of Diffusion Model for Photorealistic Text-to-Image Synthesis

更多技术前沿视频：最新图像生成技术研究方向-介绍与分析

通义千问官方链接：通义_你的全能AI助手

精读baseline——从零入门AI生图

直观感受文生图代码框架：

1、环境准备

安装了以下依赖库：

simple-aesthetics-predictor：用于预测图像的美学质量。
data-juicer: 用于处理和优化多模态数据集的工具。
pytorch-lightning: 卸载旧版本并安装新版本，简化 PyTorch 训练流程。
peft, lightning, pandas, torchvision: 分别用于模型微调、PyTorch Lightning、数据处理和图像转换。
DiffSynth-Studio: 与音频合成相关的项目或库。

2、数据集加载与预处理

数据加载：负责从ModelScope加载一个名为 lowres_anime 的数据集，并将其转换成适合进一步处理的格式。
数据预处理：负责对数据进行进一步的处理和筛选，确保数据集的质量。

3、数据清洗与过滤

（1）提高数据质量

去除噪声：数据中可能存在错误或者不准确的信息，比如拼写错误、异常值等。通过清洗可以识别并修正这些问题。
一致性检查：确保数据在格式上的一致性，比如日期格式、数值单位等。

（2）去除无关数据

特征选择：确定哪些特征对模型有用，哪些特征可以忽略。这有助于减少模型的复杂度，提高效率。
去除冗余数据：删除重复记录，避免模型训练时出现偏差。

（3）格式化数据

类型转换：确保所有数据都符合模型所需的格式，如将类别型数据转换为数值型数据。
缺失值处理：填充或删除缺失值，避免影响模型训练。

（4）保证数据合规性

隐私保护：删除敏感信息或对其进行匿名化处理，遵守数据保护法规。
版权问题：确保使用的数据没有侵犯他人的知识产权。

（5）提升模型性能

特征工程：通过特征选择和转换，可以提高模型的预测能力。
减少过拟合：通过减少不必要的特征和样本，可以降低模型在训练数据上的复杂度，从而减少过拟合的风险。

（6）准备训练数据

分割数据集：将数据集划分为训练集、验证集和测试集，以便于模型开发和评估。
标准化/归一化：对数据进行标准化或归一化处理，使得不同特征之间具有可比性。

（7）提升分析效率

优化存储和查询：通过对数据进行适当的预处理，可以提升数据存储和检索的效率。

4、CLIP模型评估

CLIP（Contrastive Language-Image Pre-training）模型被用来评估图像和文本之间的相似性。CLIP是一种多模态模型，它通过学习图像和文本之间的对应关系来进行训练。这种模型可以用于多种任务，如图像检索、图像描述生成、视觉问答等。

（1）联合嵌入空间

CLIP 模型分别使用一个图像编码器和一个文本编码器来将输入的图像和文本映射到一个共同的向量空间中。
这两个编码器通常是由卷积神经网络（CNN）或变压器（Transformer）组成。

（2）对比损失函数

在训练过程中，模型会尝试最大化正确配对的图像-文本对之间的相似度，并最小化错误配对的相似度。
使用的损失函数通常是基于对比损失（contrastive loss），它鼓励相似样本的嵌入接近而不同样本的嵌入远离。

（3）双向匹配

CLIP 模型同时支持从图像到文本的匹配以及从文本到图像的匹配。

5、PyTorch数据集与数据加载器

在PyTorch中，数据集（Dataset）和数据加载器（DataLoader）是非常重要的组件，它们负责处理数据的读取、预处理以及批量加载。

（1）PyTorch Dataset

Dataset 是一个抽象类，用于封装数据集的逻辑。您可以继承 Dataset 类并实现三个方法：

__len__: 返回数据集中样本的数量。
__getitem__: 根据索引获取单个样本。这个方法应该返回一个样本或者一组样本（例如，图像和对应的标签）。

（2）PyTorch DataLoader

DataLoader 是一个迭代器，它基于 Dataset 提供高级功能，如：并行数据加载（使用多个工作进程/线程）、数据打乱（shuffle）、动态数据采样（通过 Sampler）、数据预加载（提前加载下一批数据）等

在我们的baseline代码中，虽然没有直接使用 torch.utils.data.Dataset 或 torch.utils.data.DataLoader，但整个流程实际上涵盖了数据集的创建、筛选、预处理以及准备数据用于训练模型的过程。

6、Stable Diffusion图像生成

在我们的代码中，Stable Diffusion图像生成的部分实际上是通过使用DiffSynth-Studio中的SDXLImagePipeline类来实现的，而不是直接使用传统的Stable Diffusion模型。DiffSynth-Studio是一个定制化的框架，它包含了对特定模型（例如Kolors）的支持，并且能够利用LoRA（Low-Rank Adaptation）技术来进行微调。

以下是写了详细注释的baseline代码：

# 安装 Data-Juicer 和 DiffSynth-Studio
!pip install simple-aesthetics-predictor # 安装simple-aesthetics-predictor
!pip install -v -e data-juicer # 安装data-juicer
!pip uninstall pytorch-lightning -y # 卸载pytorch-lightning
!pip install peft lightning pandas torchvision # 安装 peft lightning pandas torchvision
!pip install -e DiffSynth-Studio # 安装DiffSynth-Studio

# 从魔搭数据集中下载数据集AI-ModelScope/lowres_anime
from modelscope.msdatasets import MsDataset  #引入数据集模块msdatasets
ds = MsDataset.load(
    'AI-ModelScope/lowres_anime',
    subset_name='default',
    split='train',
    cache_dir="/mnt/workspace/kolors/data" # 指定缓存目录
) # 从魔搭数据集中下载数据集AI-ModelScope/lowres_anime，赋值给参数ds

# 生成数据集
import json, os # 导入json和os模块
from data_juicer.utils.mm_utils import SpecialTokens # 导入SpecialTokens
from tqdm import tqdm # 导入tqdm进度条管理
os.makedirs("./data/lora_dataset/train", exist_ok=True) # 创建文件夹./data/lora_dataset/train
os.makedirs("./data/data-juicer/input", exist_ok=True) # 创建文件夹./data/data-juicer/input
with open("./data/data-juicer/input/metadata.jsonl", "w") as f:
    for data_id, data in enumerate(tqdm(ds)): # 遍历数据集ds
        image = data["image"].convert("RGB") # 将数据集的图片转换为RGB
        image.save(f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg") # 保存数据集的图片
        metadata = {"text": "二次元", "image": [f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg"]} # 生成当前图片的索引数据
        f.write(json.dumps(metadata)) # 将索引数据写入文件./data/data-juicer/input/metadata.jsonl
        f.write("\n")

# 配置data-juicer，并进行数据筛选过滤
# 配置过滤的规则
data_juicer_config = """
# global parameters
project_name: 'data-process' # 名称
dataset_path: './data/data-juicer/input/metadata.jsonl'  # 你前面生成的数据的索引文件
np: 4  # 线程数

text_keys: 'text' # 文件./data/data-juicer/input/metadata.jsonl的描述的字段名
image_key: 'image' # 文件./data/data-juicer/input/metadata.jsonl的图片字段名
image_special_token: '<__dj__image>'

export_path: './data/data-juicer/output/result.jsonl' # 筛选通过的图片结果保存的的索引文件

# process schedule
# a list of several process operators with their arguments
# 过滤的规则
process:
    - image_shape_filter: # 图片尺寸过滤
        min_width: 1024 # 最小宽度1024
        min_height: 1024 # 最小高度1024
        any_or_all: any # 符合前面条件的图片才会被保留
    - image_aspect_ratio_filter: # 图片长宽比过滤
        min_ratio: 0.5 # 最小长宽比0.5
        max_ratio: 2.0 # 最大长宽比2.0
        any_or_all: any # 符合前面条件的图片才会被保留
"""

# 保存data-juicer配置到data/data-juicer/data_juicer_config.yaml
with open("data/data-juicer/data_juicer_config.yaml", "w") as file:
    file.write(data_juicer_config.strip())
# data-juicer开始执行数据筛选
!dj-process --config data/data-juicer/data_juicer_config.yaml


# 通过前面通过data-juicer筛选的图片索引信息./data/data-juicer/output/result.jsonl，生成数据集
import pandas as pd # 导入pandas
import os, json # 导入os和json
from PIL import Image # 导入Image
from tqdm import tqdm # 导入tqdm进度条管理
texts, file_names = [], [] # 定义两个空列表，分别存储图片描述和图片名称
os.makedirs("./data/lora_dataset_processed/train", exist_ok=True) # 创建文件夹./data/lora_dataset_processed/train
with open("./data/data-juicer/output/result.jsonl", "r") as file: # 打开前面data-juicer筛选的图片索引文件./data/data-juicer/output/result.jsonl
    for data_id, data in enumerate(tqdm(file.readlines())): # 遍历文件./data/data-juicer/output/result.jsonl
        data = json.loads(data) # 将json字符串转换为对象
        text = data["text"] # 获取对象中的text属性，也就是图片的描述信息
        texts.append(text) # 将图片的描述信息添加到texts列表中
        image = Image.open(data["image"][0]) # 获取对象中的image属性，也就是图片的路径,然后用这个路径打开图片
        image_path = f"./data/lora_dataset_processed/train/{data_id}.jpg" # 生成保存图片的路径
        image.save(image_path) # 将图片保存到./data/lora_dataset_processed/train文件夹中
        file_names.append(f"{data_id}.jpg") # 将图片名称添加到file_names列表中
data_frame = pd.DataFrame() # 创建空的DataFrame
data_frame["file_name"] = file_names # 将图片名称添加到data_frame中
data_frame["text"] = texts # 将图片描述添加到data_frame中
data_frame.to_csv("./data/lora_dataset_processed/train/metadata.csv", index=False, encoding="utf-8-sig") # 将data_frame保存到./data/lora_dataset_processed/train/metadata.csv
data_frame # 查看data_frame


# 下载可图模型
from diffsynth import download_models # 导入download_models
download_models(["Kolors", "SDXL-vae-fp16-fix"]) # 下载可图模型
# DiffSynth-Studio提供了可图的Lora训练脚本，查看脚本信息
!python DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py -h


# 执行可图Lora训练
import os
cmd = """
python DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py \ # 选择使用可图的Lora训练脚本DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py
  --pretrained_unet_path models/kolors/Kolors/unet/diffusion_pytorch_model.safetensors \ # 选择unet模型
  --pretrained_text_encoder_path models/kolors/Kolors/text_encoder \ # 选择text_encoder
  --pretrained_fp16_vae_path models/sdxl-vae-fp16-fix/diffusion_pytorch_model.safetensors \ # 选择vae模型
  --lora_rank 16 \ # lora_rank 16 表示在权衡模型表达能力和训练效率时，选择了使用 16 作为秩，适合在不显著降低模型性能的前提下，通过 LoRA 减少计算和内存的需求
  --lora_alpha 4.0 \ # 设置 LoRA 的 alpha 值，影响调整的强度
  --dataset_path data/lora_dataset_processed \ # 指定数据集路径，用于训练模型
  --output_path ./models \ # 指定输出路径，用于保存模型
  --max_epochs 1 \ # 设置最大训练轮数为 1
  --center_crop \ # 启用中心裁剪，这通常用于图像预处理
  --use_gradient_checkpointing \ # 启用梯度检查点技术，以节省内存
  --precision "16-mixed" # 指定训练时的精度为混合 16 位精度（half precision），这可以加速训练并减少显存使用
""".strip()
os.system(cmd) # 执行可图Lora训练


# 加载lora微调后的模型
from diffsynth import ModelManager, SDXLImagePipeline # 导入ModelManager和SDXLImagePipeline
from peft import LoraConfig, inject_adapter_in_model # 导入LoraConfig和inject_adapter_in_model
import torch # 导入torch
# 加载LoRA配置并注入模型
def load_lora(model, lora_rank, lora_alpha, lora_path):
    lora_config = LoraConfig(
        r=lora_rank, # 设置LoRA的秩(rank)
        lora_alpha=lora_alpha, # 设置LoRA的alpha值，控制LoRA的影响权重
        init_lora_weights="gaussian", # 初始化LoRA权重为高斯分布
        target_modules=["to_q", "to_k", "to_v", "to_out"], # 指定要应用LoRA的模块
    )
    model = inject_adapter_in_model(lora_config, model) # 将LoRA配置注入到模型中
    state_dict = torch.load(lora_path, map_location="cpu") # 加载LoRA微调后的权重
    model.load_state_dict(state_dict, strict=False) # 将权重加载到模型中，允许部分权重不匹配
    return model # 返回注入LoRA后的模型
# 加载预训练模型
model_manager = ModelManager(
    torch_dtype=torch.float16, # 设置模型的数据类型为float16，减少显存占用
    device="cuda", # 指定使用GPU进行计算
    file_path_list=[
        "models/kolors/Kolors/text_encoder", # 文本编码器的路径
        "models/kolors/Kolors/unet/diffusion_pytorch_model.safetensors", # UNet模型的路径
        "models/kolors/Kolors/vae/diffusion_pytorch_model.safetensors" # VAE模型的路径
    ]
)
# 初始化图像生成管道
pipe = SDXLImagePipeline.from_model_manager(model_manager) # 从模型管理器中加载模型并初始化管道
# 加载并应用LoRA权重到UNet模型
pipe.unet = load_lora(
    pipe.unet, 
    lora_rank=16, # 设置LoRA的秩(rank)，与训练脚本中的参数保持一致
    lora_alpha=2.0, # 设置LoRA的alpha值，控制LoRA对模型的影响权重
    lora_path="models/lightning_logs/version_0/checkpoints/epoch=0-step=500.ckpt" # 指定LoRA权重的文件路径
)


# 生成图像
torch.manual_seed(0) # 设置随机种子，确保生成的图像具有可重复性。如果想要每次生成不同的图像，可以将种子值改为随机值。
image = pipe(
    prompt="二次元，一个紫色短发小女孩，在家中沙发上坐着，双手托着腮，很无聊，全身，粉色连衣裙", # 设置正向提示词，用于指导模型生成图像的内容
    negative_prompt="丑陋、变形、嘈杂、模糊、低对比度", # 设置负向提示词，模型会避免生成包含这些特征的图像
    cfg_scale=4, # 设置分类自由度 (Classifier-Free Guidance) 的比例，数值越高，模型越严格地遵循提示词
    num_inference_steps=50, # 设置推理步数，步数越多，生成的图像细节越丰富，但生成时间也更长
    height=1024, width=1024, # 设置生成图像的高度和宽度，这里生成 1024x1024 像素的图像
)
image.save("1.jpg") # 将生成的图像保存为 "1.jpg" 文件


# 图像拼接，展示总体拼接大图
import numpy as np  # 导入numpy库，用于处理数组和数值计算
from PIL import Image  # 导入PIL库中的Image模块，用于图像处理
images = [np.array(Image.open(f"{i}.jpg")) for i in range(1, 9)]  # 读取1.jpg到8.jpg的图像，转换为numpy数组，并存储在列表images中
image = np.concatenate([  # 将四组图像在垂直方向上拼接
    np.concatenate(images[0:2], axis=1),  # 将第1组（images[0:2]）的两张图像在水平方向上拼接
    np.concatenate(images[2:4], axis=1),  # 将第2组（images[2:4]）的两张图像在水平方向上拼接
    np.concatenate(images[4:6], axis=1),  # 将第3组（images[4:6]）的两张图像在水平方向上拼接
    np.concatenate(images[6:8], axis=1),  # 将第4组（images[6:8]）的两张图像在水平方向上拼接
], axis=0)  # 将四组拼接后的图像在垂直方向上拼接
image = Image.fromarray(image).resize((1024, 2048))  # 将拼接后的numpy数组转换为图像对象，并调整大小为1024x2048像素
image  # 输出最终生成的图像对象，用于显示图像

实战演练一一基于话剧的连环画制作

No.1 动画风格，灰色家猫汤姆在沙发上打盹，突然警觉地跳起来走向厨房，灰褐色小巧老鼠杰瑞躲在冰箱后面偷吃奶酪

No.2 动画风格，灰色家猫汤姆猛地扑向冰箱，撞到冰箱后摇晃着脑袋站起来，灰褐色小巧老鼠杰瑞在旁边得意地笑着

No.3 动画风格，灰色家猫汤姆假装睡在厨房门口，灰褐色小巧老鼠杰瑞从洞里探出头来，犹豫着是否要出去寻找食物

No.4 动画风格，灰色家猫汤姆设下陷阱，用细线绑住奶酪；灰褐色小巧老鼠杰瑞试图拿走奶酪时被汤姆抓住

No.5 动画风格，灰色家猫汤姆放下灰褐色小巧老鼠杰瑞去开门，杰瑞逃回洞里；门外搬家工送来毛茸茸的小狗皮皮

No.6 动画风格，灰色家猫汤姆看着毛茸茸的小狗皮皮显得不悦；皮皮好奇地四处嗅探，发现灰褐色小巧老鼠杰瑞的洞口；杰瑞警惕地看着皮皮

No.7 动画风格，毛茸茸的小狗皮皮试图接近灰褐色小巧老鼠杰瑞，灰色家猫汤姆阻止；杰瑞思考如何利用皮皮对付汤姆

No.8 动画风格，灰褐色小巧老鼠杰瑞给毛茸茸的小狗皮皮一些奶酪，皮皮开始恶作剧，用灰色家猫汤姆的尾巴系上气球，让汤姆飞到了天花板上

#####感觉通义千问生成的提示词也不太准确，不太符合大模型需求，还得打磨打磨#####

#####也有可能是我写的故事太复杂了吧#####