https://github.com/kohya-ss/sd-scripts/blob/main/docs/gen_img_README-ja.md
https://github.com/kohya-ss/sd-scripts/blob/main/docs/gen_img_README-ja.md1.图像生成
ckpt = "/home/image_team/image_team_docker_home/lgd/e_commerce_sd/stable-diffusion-webui/models/Stable-diffusion/DreamShaper_8_pruned.safetensors"
output = "/home/image_team/image_team_docker_home/lgd/e_commerce_sd/outputs/sd_scripts_output/"
python gen_img_diffusers.py --ckpt {ckpt} --outdir {output} --fp16 --interactive
指定版本：
--ckpt：在选项中指定模型（sd checkpoint或sd文件夹）。
--v2：使用sd 2.0，1.x版本无需指定。
--v_parameterization：如果使用的模型使用 v 参数化（768-v-ema.ckpt），和v2一起使用。
--vae：指定要使的VAE。
图像生成和输出：
--interactive：以交互模式运行。
--prompt：指定提示符。
--from_file：指定包含prompt的文件，每行写一个提示。
--W：指定图像的宽度，默认512。
--H：指定图像的高度，默认512。
--step：指定采样步数，默认50。
--scale：指定classifier free guidance scale，默认7.5。
--sampler：指定采样器，默认ddim，可以指定Diffusers提供的ddim、pndm、dpmsolver、dpmsolver+++、lms、euler、euler_a（后三个也可以用k_lms、k_euler、k_euler_a指定）。
--outdir：图像输出地址。
--images_per_prompt：指定每次提示生成的图片数，默认是1。
--clip_skip：指定要使用clip末尾的哪一层，省略则使用最后一层。
--max_embeddings_multiples：指定clip输入长度与默认值75的倍数，未指定，则默认75。若是3，则是225.
--negative_scale：指定位编码比例。
调整内存和加速：
--batch_size：批量大小，默认是1，大批量会消耗更多内存，但会生成更快的结果。
--vae_batch_size：指定VAE批量大小，默认和bs一样，VAE会消耗更多内存，去噪后步长到100%时，会耗尽内存。
--xformers：可以选择指定 xformers 的使用（如果不使用 xformers，则将其省略）。
--fp16：可选择以 fp16（单精度）执行推理。RTX 30 系列 GPU。
--bf16：可以选择执行 bf16 (bfloat16) 推理。
使用附加网络：
--network_module：指定要使用的网络，对于lora，---network_module networks.lora，多个lora，--network_module networks.lora networks.lora
--network_weights：指定要使用的网络权重文件，单个lora，--network_weights model.safetensors，对于多个lora，--network_weights model1.safetensors model2.safetensors model3.safetensors
--network_mul：指定要附加的网络权重的比例，默认是1。单个lora，---network_mul 0.8，多个lora，--network_mul 0.4 0.5 0.7
--network_merge：将附加权重和原始权重进行预先合并。
2.文生图
使用textual inversion和lora：
python gen_img_diffusers.py --ckpt model.safetensors
--scale 8 --steps 48 --outdir txt2img --xformers
--W 512 --H 768 --fp16 --sampler k_euler_a
--textual_inversion_embeddings goodembed.safetensors negprompt.pt
--network_module networks.lora networks.lora
--network_weights model1.safetensors model2.safetensors
--network_mul 0.4 0.8
--clip_skip 2 --max_embeddings_multiples 1
--batch_size 8 --images_per_prompt 1 --interactive相同指示一次生成64张，批量大小为4的图片：
python gen_img_diffusers.py --ckpt model.ckpt --outdir outputs
--xformers --fp16 --W 512 --H 704 --scale 12.5 --sampler k_euler_a
--steps 32 --batch_size 4 --images_per_prompt 64
--prompt "beautiful flowers --n monochrome"3.图生图
python gen_img_diffusers.py --ckpt trinart_characters_it4_v1_vae_merged.ckpt
--outdir outputs --xformers --fp16 --scale 12.5 --sampler k_euler --steps 32
--image_path template.png --strength 0.8
--prompt "1girl, cowboy shot, brown hair, pony tail, brown eyes,
sailor school uniform, outdoors
--n lowres, bad anatomy, bad hands, error, missing fingers, cropped,
worst quality, low quality, normal quality, jpeg artifacts, (blurry),
hair ornament, glasses"
--batch_size 8 --images_per_prompt 32--image_path：指定img2img图片，若指定文件夹，则以此使用该文件夹中图像
--strength：指定img2img强度，默认0.8.
3.inpaint
--mask_image：指定mask图像。
gen_img_diffusers.py
text_encoder, vae, unet = model_util.load_models_from_stable_diffusion_checkpoint(args.v2, args.ckpt)
- sd_scripts/library/model_util.py->load_models_from_stable_diffusion_checkpoint
- _, state_dict = load_checkpoint_with_text_encoder_conversion(ckpt_path, device)
- # Convert the UNet2DConditionModel model.
- unet_config = create_unet_diffusers_config(v2, unet_use_linear_projection_in_v2)
{'sample_size': 64, 'in_channels': 4, 'out_channels': 4, 'down_block_types': ('CrossAttnDownBlock2D', 'CrossAttnDownBlock2D', 'CrossAttnDownBlock2D', 'DownBlock2D'), 'up_block_types': ('UpBlock2D', 'CrossAttnUpBlock2D', 'CrossAttnUpBlock2D', 'CrossAttnUpBlock2D'), 'block_out_channels': (320, 640, 1280, 1280), 'layers_per_block': 2, 'cross_attention_dim': 768, 'attention_head_dim': 8}
- converted_unet_checkpoint = convert_ldm_unet_checkpoint(v2, state_dict, unet_config)
- unet = UNet2DConditionModel(**unet_config).to(device)
- info = unet.load_state_dict(converted_unet_checkpoint)
- # Convert the VAE model.
- vae_config = create_vae_diffusers_config()
{'sample_size': 256, 'in_channels': 3, 'out_channels': 3, 'down_block_types': ('DownEncoderBlock2D', 'DownEncoderBlock2D', 'DownEncoderBlock2D', 'DownEncoderBlock2D'), 'up_block_types': ('UpDecoderBlock2D', 'UpDecoderBlock2D', 'UpDecoderBlock2D', 'UpDecoderBlock2D'), 'block_out_channels': (128, 256, 512, 512), 'latent_channels': 4, 'layers_per_block': 2}
- converted_vae_checkpoint = convert_ldm_vae_checkpoint(state_dict, vae_config)
- vae = AutoencoderKL(**vae_config).to(device)
- info = vae.load_state_dict(converted_vae_checkpoint)
- text_model = CLIPTextModel._from_config(cfg)
- info = text_model.load_state_dict(converted_text_encoder_checkpoint)
replace_unet_modules(unet, mem_eff, args.xformers, args.sdpa)
replace_vae_modules(vae, mem_eff, args.xformers, args.sdpa)
tokenizer = train_util.load_tokenizer(args)
- tokenizer = CLIPTokenizer.from_pretrained(original_path)
scheduler_module = diffusers.schedulers.scheduling_ddpm
scheduler = scheduler_cls(
num_train_timesteps=SCHEDULER_TIMESTEPS,
beta_start=SCHEDULER_LINEAR_START,
beta_end=SCHEDULER_LINEAR_END,
beta_schedule=SCHEDLER_SCHEDULE,
**sched_init_args,
)
