精读代码
1.环境安装
!pip install simple-aesthetics-predictor
!pip install -v -e data-juicer
!pip uninstall pytorch-lightning -y
!pip install peft lightning pandas torchvision
!pip install -e DiffSynth-Studio开始要先把代码中需要使用到的包、库用pip命令安装。
pip命令可以使用在cmd之后的命令窗口和pycharm等编程python语言的终端中
!pip install XXX 是在终端之外的其他地方使用，例如在jupyter notebook,kaggle等网页工具中的代码行中使用!pip install XXX来安装所需的包、库。
2.下载数据集
#下载数据集
from modelscope.msdatasets import MsDataset
ds = MsDataset.load(
'AI-ModelScope/lowres_anime',
subset_name='default',
split='train',
cache_dir="/mnt/workspace/kolors/data"
)
import json, os
from data_juicer.utils.mm_utils import SpecialTokens
from tqdm import tqdm
os.makedirs("./data/lora_dataset/train", exist_ok=True)
os.makedirs("./data/data-juicer/input", exist_ok=True)
with open("./data/data-juicer/input/metadata.jsonl", "w") as f:
for data_id, data in enumerate(tqdm(ds)):
image = data["image"].convert("RGB")
image.save(f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg")
metadata = {"text": "二次元", "image": [f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg"]}
f.write(json.dumps(metadata))
f.write("\n")import os 导入os包处理文件
os.makedirs(path[,mode]):递归文件夹创建函数。类似mkdir(), 但创建的所有intermediate-level(中级)文件夹需要包含子文件夹。
os.makedirs() 函数用于递归创建目录。它的参数如下：
name：要创建的目录的路径。可以是单个目录名或包含多个目录的路径。
mode（可选）：指定要创建的目录的权限模式。可省略
exist_ok（可选）：指定如果目录已经存在是否引发异常。如果 exist_ok=True，则不会引发异常；如果 exist_ok=False，那么目录已经存在时会引发 FileExistsError 异常。
使用内置函数open()，将需要写入的文件存放在相应路径中 w:写入 r:读取文件
由于write()方法不会在字符串的结尾添加换行符('\n')所以每次写入后，手动再写入一个换行符
3.处理数据集，保存数据处理结果
data_juicer_config = """
# global parameters
project_name: 'data-process'
dataset_path: './data/data-juicer/input/metadata.jsonl' # path to your dataset directory or file
np: 4 # number of subprocess to process your dataset
text_keys: 'text'
image_key: 'image'
image_special_token: '<__dj__image>'
export_path: './data/data-juicer/output/result.jsonl'
# process schedule
# a list of several process operators with their arguments
process:
- image_shape_filter:
min_width: 1024
min_height: 1024
any_or_all: any
- image_aspect_ratio_filter:
min_ratio: 0.5
max_ratio: 2.0
any_or_all: any
"""
with open("data/data-juicer/data_juicer_config.yaml", "w") as file:
file.write(data_juicer_config.strip())
!dj-process --config data/data-juicer/data_juicer_config.yaml
import pandas as pd
import os, json
from PIL import Image
from tqdm import tqdm
texts, file_names = [], []
os.makedirs("./data/lora_dataset_processed/train", exist_ok=True)
with open("./data/data-juicer/output/result.jsonl", "r") as file:
for data_id, data in enumerate(tqdm(file.readlines())):
data = json.loads(data)
text = data["text"]
texts.append(text)
image = Image.open(data["image"][0])
image_path = f"./data/lora_dataset_processed/train/{data_id}.jpg"
image.save(image_path)
file_names.append(f"{data_id}.jpg")
data_frame = pd.DataFrame()
data_frame["file_name"] = file_names
data_frame["text"] = texts
data_frame.to_csv("./data/lora_dataset_processed/train/metadata.csv", index=False, encoding="utf-8-sig")
data_frame引入pandas对数据进行处理
使用pd.DataFrame()初始一个二维表格以保存处理好的数据
将二维表保存到本地文件，文件形式为csv。也可以使用to_excel将数据保存为excel表形式，读取时使用read_csv('path'),read_excel('path')
to_csv/to_excel中的常用参数：
path:指定到处的文件路径
sep:指定字段之间的分隔符，默认为逗号，
header:是否写入列名，默认为True
index:是否写入行索引，默认为True
如何使用to_csv()示例：
import pandas as pd
# 创建一个简单的DataFrame
df = pd.DataFrame({
'A': [1, 2, 3],
'B': [4, 5, 6],
'C': [7, 8, 9]
})
# 导出DataFrame到CSV文件，不包含列名和索引
df.to_csv('output.csv', header=False, index=False)
# 导出DataFrame到CSV文件，指定分隔符为制表符'\t'
df.to_csv('output_tsv.csv', sep='\t', index=False)
# 导出DataFrame到CSV文件，使用gzip压缩
df.to_csv('output_compressed.csv.gz', compression='gzip', index=False)图片生成：
torch.manual_seed(0)
image = pipe(
prompt="二次元，一个紫色短发小女孩，在家中沙发上坐着，双手托着腮，很无聊，全身，粉色连衣裙",
negative_prompt="丑陋、变形、嘈杂、模糊、低对比度",
cfg_scale=4,
num_inference_steps=50, height=1024, width=1024,
)
image.save("1.jpg")torch.manual_seed(0):是pytorch中的一个函数调用，用于设置随机数生成器的种子。
通过指定种子值，来确保每次运行代码时生成的随机数序列是相同的，从而使结果可以重现。
提示词prompt
提示词使用户输入的文字描述。详细说明了希望生成的图像内容、风格、主题等信息，分为正向提示词和负向。
正向提示词：描述希望在图像中看到的内容
- 时间和季节：描述图像发生的时间（如日出、黄昏、夜晚等）和季节（如春天、夏天、秋天、冬天）。
- 场景描述：包括自然景观（如山脉、河流、森林、海滩）、城市景观（如天际线、街道、建筑、公园）以及室内场景（如家庭环境、办公室、咖啡馆）。
- 物体和元素：涵盖自然元素（如植物、动物、水、岩石）、人造物体（如建筑、家具、机械、交通工具）以及抽象元素（如几何形状、符号、图案）。
- 艺术风格：指定图像应采用的艺术风格，包括传统艺术风格（如现实主义、印象主义、表现主义）和现代艺术风格。
负向提示词：用于指定不希望在生成图像中出现的特征或效果。如低分辨率、暗淡的、扭曲的、嘈杂的等。通过这种方式，用户可以更精细地控制生成的图像，确保它符合自己的期望和需求。
Lora
Stable Diffusion中的Lora（LoRA）模型是一种轻量级的微调方法，它代表了“Low-Rank Adaptation”，即低秩适应。Lora不是指单一的具体模型，而是指一类通过特定微调技术应用于基础模型的扩展应用。在Stable Diffusion这一文本到图像合成模型的框架下，Lora被用来对预训练好的大模型进行针对性优化，以实现对特定主题、风格或任务的精细化控制。
ComfyUI
ComfyUI 是一个工作流工具，主要用于简化和优化 AI 模型的配置和训练过程。通过直观的界面和集成的功能，用户可以轻松地进行模型微调、数据预处理、图像生成等任务，从而提高工作效率和生成效果。
在ComfyUI平台的前端页面上，用户可以基于节点/流程图的界面设计并执行AIGC文生图或者文生视频的pipeline。
参考图控制
ControlNet是一种用于精确控制图像生成过程的技术组件。它是一个附加到预训练的扩散模型（如Stable Diffusion模型）上的可训练神经网络模块。扩散模型通常用于从随机噪声逐渐生成图像的过程，而ControlNet的作用在于引入额外的控制信号，使得用户能够更具体地指导图像生成的各个方面（如姿势关键点、分割图、深度图、颜色等）。
