2024不可不会的StableDiffusion之反向提示词（六）

news2024/11/18 5:43:10

1. 引言

在之前的文章中，我们先后介绍了Stable Diffusion中的所有关键组件，以及如何根据文本提示词来生成图像的整体流程。在这篇文章中，我将展示如何编辑反向提示词（ Negative Prompt）来控制图像生成功能，希望可以为大家提供足够的动力来进行相关研究。

闲话少说，我们直接开始吧！

2. 反向文本提示词概念

反向提示词是我们可以添加到SD模型中的一种额外功能，用于告诉稳定扩散模型我们不想在生成的图像中看到什么。这个功能很流行，可以删除用户不想从原始生成的图像中看到的任何内容。示例图像如下：
在这里插入图片描述

3. 原理理解

让我们从导入所需的库和辅助函数开始。所有这些已经在本系列前面的几个组件部分中使用和解释过了，这里就不再累述，我们直接从函数prompt_2_img 开始讲起。现在，我们将通过传递一个额外的参数neg_prompts来更改prompt_2_img函数。反向文本提示的工作方式是在进行采样时使用用户指定的文本来替代之前空字符串进行条件嵌入（uncond）。原理如下：
在这里插入图片描述

4. 代码实现

基于上述分析，我们使用以下代码来实现反向文本提示信息的嵌入，代码如下：

def prompt_2_img(prompts, neg_prompts=None, g=7.5, seed=100, steps=70, dim=512, save_int=False):
    # Defining batch size
    bs = len(prompts)     
    # Converting textual prompts to embedding
    text = text_enc(prompts) 
    
    # Adding an unconditional prompt , helps in the generation process
    if not neg_prompts: uncond =  text_enc([""] * bs, text.shape[1])
    else: uncond =  text_enc(neg_prompts, text.shape[1])
    emb = torch.cat([uncond, text]) 
    # Setting the seed
    if seed: torch.manual_seed(seed)
    # Initiating random noise
    latents = torch.randn((bs, unet.in_channels, dim//8, dim//8))
    
    # Setting number of steps in scheduler
    scheduler.set_timesteps(steps)
    # Adding noise to the latents 
    latents = latents.to("cuda").half() * scheduler.init_noise_sigma
    
    # Iterating through defined steps
    for i,ts in enumerate(tqdm(scheduler.timesteps)):
        # We need to scale the i/p latents to match the variance
        inp = scheduler.scale_model_input(torch.cat([latents] * 2), ts)
        # Predicting noise residual using U-Net
        with torch.no_grad(): u,t = unet(inp, ts, encoder_hidden_states=emb).sample.chunk(2)
        # Performing Guidance
        pred = u + g*(t-u)
        # Conditioning  the latents
        latents = scheduler.step(pred, ts, latents).prev_sample
        # Saving intermediate images
        if save_int: 
            if not os.path.exists(f'./steps'): os.mkdir(f'./steps')
            latents_to_pil(latents)[0].save(f'steps/{i:04}.jpeg')
            
    # Returning the latent representation to output an image of 3x512x512
    return latents_to_pil(latents)

整体代码逻辑和之前的逻辑保持一致，唯一不同的就是对反向提示词的处理，已在上一节进行阐述。

5. 功能验证

接着，我们使用以下代码来验证上述函数的功能，相关代码实现如下：

## Image without neg prompt
images = [None, None]
images[0] = prompt_2_img(prompts = ["A dog wearing a white hat"], neg_prompts=[""],steps=50, save_int=False)[0]
images[1] = prompt_2_img(prompts = ["A dog wearing a white hat"], neg_prompts=["White hat"],steps=50, save_int=False)[0]
    
## Plotting side by side
fig, axs = plt.subplots(1, 2, figsize=(12, 6))
for c, img in enumerate(images): 
    axs[c].imshow(img)
    if c == 0 : axs[c].set_title(f"A dog wearing a white hat")
    else: axs[c].set_title(f"Neg prompt - white hat")

得到结果如下：
在这里插入图片描述

6. 扩展

正如我们所看到的，这是一个非常方便的功能，可以根据大家的喜好对图像进行微调。当然也可以用它来生成一张非常逼真的脸，仅仅需要增加更加详细的文本提示描述。让我们试试：

prompt = ['Close-up photography of the face of a 30 years old man with brown eyes, (by Alyssa Monks:1.1),
 by Joseph Lorusso, by Lilia Alvarado, beautiful lighting, sharp focus, 8k, high res, (pores:0.1),
  (sweaty:0.8), Masterpiece, Nikon Z9, Award - winning photograph']
neg_prompt = ['lowres, signs, memes, labels, text, food, text, error, mutant, cropped, worst quality, 
low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, made by children, 
caricature, ugly, boring, sketch, lacklustre, repetitive, cropped, (long neck), facebook, youtube,
body horror, out of frame, mutilated, tiled, frame, border, porcelain skin, doll like, doll']

images = prompt_2_img(prompts = prompt, neg_prompts=neg_prompt, steps=50, save_int=False)
out = images[0]