AI绘画Stable Diffusion 新手入门教程：万字长文解析Lora模型的使用，快速上手Lora模型！

大家好，我是设计师阿威

今天给大家讲解一下AI绘画Stable Diffusion 中的一个重要模型—Lora模型，如果还有小伙伴没有SD安装包的，可以看我往期入门教程2024最新超强AI绘画Stable Diffusion整合包安装教程，零基础入门必备！，安装包下载请看文末免费获取哦

LoRA（Low-Rank Adaptation） 是一种优化生成图像的方法。它可以让图像生成模型在保持高质量的前提下，变得更高效、更快速。

它主要用于大规模预训练模型的微调。通过将权重矩阵分解为低秩矩阵，从而减少训练参数，降低计算开销。LoRA在保持模型性能的前提下，能够快速适应新的任务或数据集。LoRA通过结合Checkpoints一起使用，实现对大模型生成效果的细节上的修正。

在Stable Diffusion中，LoRA模型可以让AI针对更具体的形象、特征来生成图片，同时简化了生成图片的步骤，让整个过程变得更加具体和便捷。

LoRA的作用：

精准生图： LoRA可以让图像特征生成得更为精准，虽然不如Embeddings那样轻巧，但却可以更具象化的生成你想要的目标人物或特征。

应用场景：

目前LoRA常用于游戏、电影等应用场景的人物创造，可以通过大量的训练来创造出特征鲜明的人物角色。

模型位置： LoRA模型放置于WebUI文件根目录下Models文件夹内的LoRA文件夹内

在这里插入图片描述

如何调用：

1.在提示词中输入 < lora:模型名称 > 即可调用。例如：< lora:princess_xl_v2 >，也有一些LoRA有固定的触发提示词，具体可以参考各LoRA的说明文件。

在这里插入图片描述

2.在提示词下方的"扩展模型"菜单中点击"Lora"，然后点击你已安装好并希望使用的LoRA模型即可。

3.附加网络扩展：Additional Network。

在这里插入图片描述

安装完该插件后，我们复制一下我们的LoRA模型所在的目录。

然后到"设置-Additional Network"菜单中，将我们LoRA模型所在目录的地址粘贴到该位置并保存。

然后展开"Additional Network"菜单，刷新模型列表，就能勾选使用你需要的LoRA模型了。该方式支持最多同时使用5个Lora模型，并可以分别调节它们的参数，通过这种方式加载Lora模型，可以不用再在提示词中加载Lora模型了，提示词就会更清晰简洁。

但通过这种方式生成的图片信息中并不会显示你所包含的Lora模型，所以如果你希望将生成图片连同信息一同分享给别人的话，需要谨慎使用这种方式。

另外，该方式支持加载蒙版功能，可以使我们的LoRA特定在图像中的局部生效。

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

LoRA的具体示例

我这里采用All Disney Princess XL 这款LoRA 结合一些二次元的大模型来生成迪士尼的人物形象。（模型下载请看文末扫描获取哦）

该LoRA模型可以生成多个人物形象，我们在正向提示词中加入< lora:princess_xl_v2:0.4 >（权重可以根据模型的说明文件来设定）触发该模型并加入人物名称elsa来生成爱莎公主的形象。（你也可以输入其他形象名称）

正向提示词：cinematic photo casual elsa,lora:princess_xl_v2:0.4,35mm photograph,film,bokeh,professional,4k,highly detailed,

反向提示词：drawing,painting,crayon,sketch,graphite,impressionist,noisy,blurry,soft,deformed,ugly,

LoRA的应用之人物形象

我们以Cosplay为例，我们可以利用LoRA来实现生成Cosplay的人物角色。以守望先锋中的角色D.Va为例。

首先将原有的人物形象放入WD1.4标签器中进行反推，然后发送至文生图。

在反推出的提示词的基础上加上起手正向和反向提示词，并选择合适的二次元模型，我这里采用cetusMix模型。

正向提示词：(masterpiece:1.2),best quality,masterpiece,highres,original,extremely detailed wallpaper,perfect lighting,(extremely detailed CG:1.2),drawing,paintbrush, 1girl,d.va (overwatch),solo,whisker markings,bodysuit,brown hair,long hair,breasts,facial mark,brown eyes,looking at viewer,smile,skin tight,headphones,medium breasts,covered navel,blue bodysuit,animal print,bangs,ribbed bodysuit,cowboy shot,pilot suit,lips,gradient background,facepaint,gradient,closed mouth,

反向提示词：NSFW, (worst quality:2), (low quality:2), (normal quality:2), lowres,normal quality,((monochrome)), ((grayscale)), skin spots, acnes,skin blemishes, age spot, (ugly:1.331), (duplicate:1.331),(morbid:1.21),(mutilated:1.21), (tranny:1.331), mutated hands,(poorly drawn hands:1.5), blurry, (bad anatomy:1.21), (badproportions:1.331), extra limbs, (disfigured:1.331), (missingarms:1.331),(extra legs:1.331), (fused fingers:1.61051),(too many fingers:1.61051), (unclear eyes:1.331), lowers, bad hands,missing fingers, extra digit,bad hands, missing fingers, (((extraarms and legs)))

在这里插入图片描述

然后在Additional Networks中启用LoRA模型，选择我的LoRA模型，并根据模型说明设置其最合适的权重。

点击生成后，便会为我们生成一张拥有LoRA该模型特征的相似图片。

在这里插入图片描述

然后我们就要基于这个LoRA来生成我们的Cos风格图片。

将模型改成真实系模型，我这里采用majicmix。然后将正向提示词的起手式改成更符合真实系照片风格的提示词。

正向提示词：best quality,ultra-detailed,masterpiece,hires,8k,raw photo,(photorealistic:1.4)

生成真实系照片的时候建议勾选高分辨率修复。

点击生成后，便会为我们生成一张拥有LoRA该模型特征的Cos风格真实系图片。

当然，我们也可以利用图生图的方式来生成Cos风格真实系图片。图生图的方式更容易生成和原画相似的图片。
在这里插入图片描述

除了特定人物形象，有一些LoRA也可以生成某类的人物形象。

比如Fashin Girl、Cute Girl、Asian Male等，它由符合作者个人审美的大量人物照片训练而成。

在你生成Cos风格真实系图片的时候，加入这些元素的LoRA到Additional Networks中，权重不用过高，0.2-0.3即可，可以有效生成更符合大众审美的人物面部。

LoRA的应用之画风

LoRA也可以实现创作某一类画风的人物形象。比如海贼王的动漫就具有明显的特定画风，我这里以这个One Piece的LoRA模型为例。

下载地址：https://civitai.com/models/4219?modelVersionId=6331
注意：如无法下载，请看文末扫描获取哦

我希望以海贼王的动漫画风来创造之前的D.Va人物角色。提示词的写法、Checkpoints模型选择和之前一样，这里我需要生成的是二次元风格图片，就用二次元的起手式和大模型。

在Additional Networks中同时启用画风和人物的LoRA模型，画风模型对画面的风格影响较大，所以权重可以适当降低。

点击生成，便能生成出该画风下的人物风格图片了。

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

LoRA的应用之概念

LoRA也可以实现创作某一类概念风格的图片，我这里以犯罪嫌疑人的概念风格模型mugshot lora为例。

下载地址：https://civitai.com/models/17248/mugshot-lora (如无法下载，请看文末扫描获取哦)

选择一个二次元大模型，并输入正向和反向提示词，如果不知道具体提示词是什么可以通过WD1.4标签器对类似图片进行反推获得。

我这里还是打算用之前的D.Va角色来生成这个犯罪嫌疑人概念风格的图片。

正向提示词：(masterpiece:1.2),best quality,masterpiece,highres,original,extremely detailed wallpaper,perfect lighting,(extremely detailed CG:1.2),drawing,paintbrush, 1girl,d.va (overwatch),solo,(Holding a sign with both hands),looking at viewer,height chart,upper body,bangs,english text,whisker markings,bodysuit,brown hair,long hair,breasts,facial mark,brown eyes,looking at viewer,smile,skin tight,headphones,medium breasts,covered navel,blue bodysuit,animal print,bangs,ribbed bodysuit,cowboy shot,pilot suit,lips,facepaint,closed mouth,

反向提示词：NSFW,(worst quality:2),(low quality:2),(normal quality:2),lowres,normal quality,((monochrome)),((grayscale)),skin spots,acnes,skin blemishes,age spot,(ugly:1.331),(duplicate:1.331),(morbid:1.21),(mutilated:1.21),(tranny:1.331),mutated hands,(poorly drawn hands:1.5),blurry,(bad anatomy:1.21),(badproportions:1.331),extra limbs,(disfigured:1.331),(missingarms:1.331),(extra legs:1.331),(fused fingers:1.61051),(too many fingers:1.61051),(unclear eyes:1.331),lowers,bad hands,missing fingers,extra digit,bad hands,missing fingers,(((extraarms and legs))),

然后在Additional Networks中启动mugshot和D.Va这两个LoRA模型，并设置好相应的权重。另外也建议勾选高分辨率修复选项。

点击生成，便能生成该概念风格模型的D.Va图片。

建议大家在使用的时候一定要看一下具体模型的说明，才能更准确地生成相应的图片。

LoRA的应用之服饰

虽然我们可以在不使用LoRA，仅通过文字描述就能通过大模型来生成一些特定的服饰，但有很多特定、少见的服饰还是需要LoRA来生成。比如一些机甲类的服饰，基本上靠大模型的文字描述是不可能生成的。

我们以Mecha Armor LoRa这个模型为例。

下载地址： https://civitai.com/models/93045/mecha-armor-lora （如无法下载请看文末扫描获取哦）

正向提示词：1girl,red theme,mecha musume,robot joints,headgear,full armor,cowboy shot, cyberpunk,futuristic,robotic arms,mechanical parts,

反向提示词：EasyNegative,(worst quality:1.4),(low quality:1.4),(normal quality:1.4),(female pubic hair:1.3)),lowres,penis,

【机甲类提示词推荐：mecha, intricate mechanical bodvsuit, mecha corset, mechanical parts, robotic arms andlegs, headgear,caustics, reflection, ray tracing, demontheme, cyber effect, cyberpunk,science fiction】

模型的选择可以根据你实际的需要选择二次元或者真实系的模型。

在Additional Networks中，启用你需要的LoRA模型，你可以同时启用两个不同的机甲类风格模型，根据权重的不同会生成更侧重某个模型的组合风格，服装类的LoRA模型权重值不宜过高，会容易产生只有衣服的图片。

点击生成，便可根据你LoRA权重的分配、大模型的选择来生成不同风格的机甲服装的图片。

LoRA的应用之特定元素

这类的LoRA模型可以添加你需要的特定元素到你生成的图像中，比如美食、玩具、工具、产品等。搜索关键字是：object。

比如Cyberhelmet这个LoRA，它专门用于生成带有科幻头盔和可穿戴设备风格的图像。

我们可以通过图生图的方式将这个头盔LoRA生成到我们之前生成的机甲少女上。

将之前的图片导入到图生图中。

然后在正向提示词中加入：

cyberhelmet,a white cyberhelmet,head,close-up,

在Additional Networks中在原本启用的LoRA后再加入Cyberhelmet这个LoRA。

点击生成，便能生成在原有基础中增加头盔的机甲少女角色了。

我们也可以用局部重绘的方式来更为精确地生成一张戴上科幻头盔的机甲少女。

在局部重绘中导入该图片，并将头部区域涂抹，由于生成的头盔本身就会比头部大，所以建议可以多涂抹一些区域。

正向提示词中只留下头盔部分的提示词。Additional Networks的设置和之前的方式一样。

点击生成，便能通过局部重绘的方式生成新的图片了。

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。

在这里插入图片描述