目录

背景

seg模型（语义分割）

描述

原理

实战-装修风格变换

现代风格

欧式风格转换

提示词及相关参数设置

模型选择

seg cn 加持

效果

还能做点啥

问题

解决方法

出图效果

二次优化调整

二次出图效果

 地中海风格转换

参数修改

效果

展示

二次优化

---

背景

其实在 Stable Diffusion 使用详解（11）--- 场景ICON制作-CSDN博客 以及本专栏之前的文章已经详细讲述了 controlNet的基本使用。绘画其实并不是我的强项，我是foucus在AI编程及架构上，但是其实你如果懂AI模型的训练及微调过程，做一个完整的AI项目，对于stable diffusion 的使用那就是轻松拿捏，内功在那里了，还怕不能触类旁通吗。今天我们看看另一个 controlNet，语义分割 Seg 的使用。其实吧，这个Seg 名字取得有点高大上了，语义分割可能让你摸不着头脑，如果你之前接触过 LLM 机器编程，可能会觉得有点对不上，这很正常，这与AI处理 LLM 中的语义 不是同一个东西。他之所以用语义分割来描述，本质上是想通过色块分类来区别一副图片上的实物，哪些是草，哪些是山，哪些是房子，小一点的，哪些是椅子，茶几，桌子，地毯，电视 等等等等。你可能会问，区分这些来干什么，这个用处就比较多了，我随便举个例子吧，你家房子的装修风格是现代风格，你想改造改造，变为欧式风格，怎么出效果图？你也不用找设计师了，你就自己做一个可以先看看效果，而且几秒钟搞定，可能你请的设计师也是通过 AI，毫不夸张的说就说通过 stable diffusion，转换了下，因为二次装修嘛，可能你也不会穿墙打洞，做结构特性调整了。即使做二次调整，问题也不大，我们看看是怎么处理的。你看懂了他，可能你也就是装修设计大师了，maybe 你也能出装修效果图。虽然他只是stable diffusion 使用的冰山一角。

seg模型（语义分割）

描述

是一种强大的工具，它可以将图像中的元素按照不同的类别进行分割，这对于图像编辑、风格迁移以及AI绘图等领域具有广泛的应用价值。

原理

语义分割是一种计算机视觉技术，它能够将图像中的每个像素点分配给一个特定的类别标签。
在ControlNet中，seg模型通过深度学习算法对图像进行理解，并自动将图像中的元素划分为不同的类别。

实战-装修风格变换

现代风格

假设你家装修是这个样子，并且是现代风格，我是网上任意找了一张图。你看烦了，想重新装修为欧式风格。怎么处理？

欧式风格转换

提示词及相关参数设置

这部分不是重点，但也是需要的，配合语义的理解，更好的指导 stable diffsuiion 完成相关作画。

正向提示词：

European style decoration,Roman column,atmospheric grade,

负向提示词：

ng_deepnegative_v1_75t,(badhandv4:1.2),EasyNegative,(worst quality:2),

其他设置如下：

模型选择

选择偏真实系的吧，毕竟是现实装修世界。你说我选的这个怎么是偏真实人物风格的？其实问题不大，在真实系模型训练的时候，除了训练人，物体也要训练吧，比如山川，石头，河流等。小到家具家电。看似与人物没关系，但是真实系 这三个字出来了，这些都妥不了干系，不然就是model 训练的不够 solid。

seg cn 加持

这个是比较关键的一步。

看到了吧，其实设置比较简单。直接看出图效果吧。

效果

看看与原来的现代风格相比，基本物体保持了一样，但是风格不一样吧。挺华丽的，这可能就是为什么欧式风格相比现代风格比较贵的原因吧。

还能做点啥

问题

如果你觉得前面这本椅子太碍眼了，想去掉，怎么处理？

解决方法

PS 删除椅子那一部分就行。我们试试看。

再来生图

注意预处理选择 none，不要再之上再来一次seg，那样就不准了。

上面该有的提示词还是要有的。

出图效果

二次优化调整

还是很不错的，进一步，如果你还想和上面刚生成的保持更加一致，怎么办？还记得我说的 seed 吗？加上试试看吧。

二次出图效果

 地中海风格转换

参数修改

Mediterranean style,blue and white style,

其他都不用动，还是 seg 加持，看看效果。

效果

展示

二次优化

改成地中海地砖，顶面再修饰下。

Mediterranean style,blue and white style,blue Mediterranean vintage floor tiles,Surrounded by light blue paint walls,

其他不动

其实这种顶面我也挺喜欢。四周再与上面结合下，你可以自己试试看。