🟢  ControlNet

ControlNet是stable diffusion的一个插件，它可以在AI生成图片之初就将一个型先印在一开始的图中,在由AI去补剩下的东西

插件安装

在笔者安装与部署篇中windows的朋友们下载的压缩包已经有插件，所以不用自行安装，如果没有的朋友可以在拓展，这里安装sd-webui-controlnet的插件

模组安装

除了插件之外，还需要下载controlnet的模型

https://huggingface.co/webui/ControlNet-modules-safetensors/tree/main

https://huggingface.co/lllyasviel/ControlNet/tree/main/models

下载的模型放在此路径下

部分版本的应用放在/extensions/sd-webui-controlnet/models路径下

模组简述

模组	效果
Canny	会用演算法详细的抓图片的边缘线做为参考生成图片
mlsd	会尝试抓图片中明显的直线做为参考生成图片
hed	会尝试抓取图片中的特征做为参考生成图片
Scribbles	会尝试以提供的线条为结构做为参考生成图片
openpose	会尝试从图片中的人物生成骨架后做为参考生成图片
seg	会将图片用一个大略的色块取代后做为参考生成图片
depth	会尝试从图片中抓取图片的深浅远近做为参考生成图片
normal	与depth类似，也会尝试从图片中抓取图片的深浅远近做为参考生成图片

示例

比如我们用canny给线稿上色

我们输入我们的提示词，选择好主模型，采样器，以及调整以下高度

然后我们点击controlnet的模块，上传我们的线稿，勾选启用，和反转输入颜色（因为我们的图片是白色背景）,调整画布高度一致，GPU性能不够好的朋友可以勾选低显存模式

然后点击生成，结果如图所示

再比如我们使用openpose,这个功能是根据骨架生成图片

我们在controlnet中选择openpose的模型，点击生成