ControlNet｜V1.1版模型下载安装部署使用教程【上】

此次所讲解的ControlNet版本为V1.1，也就是最新的版本，本站之前的ControlNet教程已不再适用，新版本增加了较多新模型算法和预处理器，我们将会如同之前一样，对每一个模型和预处理器以及相关参数进行一一讲解，方便大家对每一个用法都能够快速掌握。

关于

ControlNet的中文名，直译为控制网。ControlNet是Stable Diffusion的一个插件，Stable Diffusion是一个AI绘画开源项目，可以通过AI和你的描述，生成相关的图片。而ControlNet则是Stable Diffusion一个插件，简单点来讲，Stable Diffusion是父亲，ControlNet是一个继承了父亲能力之后，青出于蓝而胜于蓝的孩子。

前置条件

若您想使用ControlNet来进行AI绘图创作，那么您必须已经在电脑内安装部署了Stable Diffusion。
关于Stable Diffusion怎么部署，请看下面的文章，内容详细且所有需要的模型本站均已提供下载。

Stable Diffusion WebUI｜本地化部署

请您通过上面的文章已经确保完成Stable Diffusion的安装之后，再继续阅读下文。

注意事项

您的Stable Diffusion WebUI版本必须在2023年2月份之后，不然可能安装插件后无法正常使用。
因为Stable Diffusion WebUI的新版有很多变化，以及所需的依赖环境更新；为避免出现不可预见的问题，强烈建议您根据上面的文章重新安装部署一遍。

技术交流

本站已开放AI技术交流论坛，如果您在学习过程当中遇到问题，可在本论坛发帖求助。

【点击这里前往论坛】

安装教程

自动下载

目前ControlNet插件已集成在Stable Diffusion WebUI的扩展内，可以一键自动下载安装。

根据图片红框顺序点击安装即可，Stable Diffusion WebUI -> 扩展 -> 可用 -> 加载 -> sd-webui-controlnet -> install。

安装完成后，重新加载Stable Diffusion WebUI的主界面。

注意：如果遇到报错，或者长时间卡顿在安装状态，可以刷新WebUI界面尝试重新安装。但是，重新安装时可能存在报错，大概意思是提示您已经存在未完成的下载文件，无法继续安装。此时需要你手动前往Stable Diffusion WebUI的项目目录，手动删除之前未下载完成的已损坏文件，以本站的完整路径为例：<D:\openai.wiki\stable-diffusion-webui\tmp\sd-webui-controlnet>，删除除该目录内的<sd-webui-controlnet>文件夹，然后重新来到UI界面点击Install按钮安装。

手动下载

如果您无法通过自动安装，也可以手动下载自行安装。

GitHub下载地址：https://github.com/Mikubill/sd-webui-controlnet。

网盘下载地址：为方便无法使用外网的大家使用，也可通过下面的连接自行下载。

下载完成后，将sd-webui-controlnet-main.zip文件解压至你的Stable Diffusion WebUI项目extensions文件夹内。例如本站的完成路径为：D:\openai.wiki\stable-diffusion-webui\extensions\sd-webui-controlnet。

安装完成后，重新加载Stable Diffusion WebUI的主界面。

在完成上述所有安装步骤之后，您将会在Stable Diffusion WebUI的<http://127.0.0.1:7860/>网页主界面看到关于ControlNet的窗口，界面如下。

至此，安装完成。

模型相关

模型下载

请在安装此模型之前，删除旧版本模型，以免可能冲突，产生不必要的麻烦。

模型安装

下载之后的模型，应该放置在.\stable-diffusion-webui\extensions\sd-webui-controlnet\models目录下，完整的models目录内部结构如下所示。

D:\openai.wiki\stable-diffusion-webui\extensions\sd-webui-controlnet\models
└─.gitattributes
└─cldm_v15.yaml
└─cldm_v21.yaml
└─control_v11e_sd15_ip2p.pth
└─control_v11e_sd15_ip2p.yaml
└─control_v11e_sd15_shuffle.pth
└─control_v11e_sd15_shuffle.yaml
└─control_v11f1p_sd15_depth.pth
└─control_v11f1p_sd15_depth.yaml
└─control_v11p_sd15s2_lineart_anime.pth
└─control_v11p_sd15s2_lineart_anime.yaml
└─control_v11p_sd15_canny.pth
└─control_v11p_sd15_canny.yaml
└─control_v11p_sd15_inpaint.pth
└─control_v11p_sd15_inpaint.yaml
└─control_v11p_sd15_lineart.pth
└─control_v11p_sd15_lineart.yaml
└─control_v11p_sd15_mlsd.pth
└─control_v11p_sd15_mlsd.yaml
└─control_v11p_sd15_normalbae.pth
└─control_v11p_sd15_normalbae.yaml
└─control_v11p_sd15_openpose.pth
└─control_v11p_sd15_openpose.yaml
└─control_v11p_sd15_scribble.pth
└─control_v11p_sd15_scribble.yaml
└─control_v11p_sd15_seg.pth
└─control_v11p_sd15_seg.yaml
└─control_v11p_sd15_softedge.pth
└─control_v11p_sd15_softedge.yaml
└─control_v11u_sd15_tile.pth
└─control_v11u_sd15_tile.yaml
└─image_adapter_v14.yaml
└─README.md
└─sketch_adapter_v14.yaml
└─t2iadapter_canny_sd14v1.yaml
└─t2iadapter_canny_sd15v2.yaml
└─t2iadapter_color_sd14v1.yaml
└─t2iadapter_depth_sd14v1.yaml
└─t2iadapter_depth_sd15v2.yaml
└─t2iadapter_keypose_sd14v1.yaml
└─t2iadapter_openpose_sd14v1.yaml
└─t2iadapter_seg_sd14v1.yaml
└─t2iadapter_sketch_sd14v1.yaml
└─t2iadapter_sketch_sd15v2.yaml
└─t2iadapter_style_sd14v1.yaml
└─t2iadapter_zoedepth_sd15v1.yaml

完整版本

其实关于ControlNet的模型不止以上那部分，在你所使用期间，也会自动下载一些其它模型，这些模型的目录可能位于.\stable-diffusion-webui\extensions\sd-webui-controlnet\annotator\clip_vision，又或者.\stable-diffusion-webui\extensions\sd-webui-controlnet\annotator\downloads之类的目录下，但是有些朋友可能网络不太好，无法下载，所以本站将整个ControlNet的插件全部都已经打包，方便大家下载后直接使用。

如果你之前已经下载安装过ControlNet，请手动将.\stable-diffusion-webui\extensions\sd-webui-controlnet文件夹删除。

将该压缩包下载之后，解压至.\stable-diffusion-webui\extensions目录下即可。

模型名称含义

在我们下载完成模型之后，模型的名称会比较混乱，让人不易理解，我们以其中一个Canny模型为例，为大家讲解模型名称中各个部分的具体含义。

control_v11 p_sd15_canny.pth

• Control
  • ControlNet的官方模型全部都为Control开头，用与于其它模型区分。
• V11
  • 代表着模型的版本为V1.1
• P
  • 该部分除了P之外，还有E、U共计三种标识。
    • 此处为P代表已可以用于生产环境，可正常使用。
    • 此处为E代表为实验性阶段模型，可能存在BUG。
    • 此处为U代表这是未完成的，半成品，不建议使用。
• SD15
  • 模型适合的SD基础模型版本，除了SD15之外，还有下列内容。
    • SD15 = Stable Diffusion 1.5
    • SD15s2 = Stable Diffusion 1.5 With Clip Skip 2
    • SD21 = Stable Diffusion 2.1
    • SD21v = Stable Diffusion 2.1v-768
• Canny
  • 此为模型所对应的预处理器名称
• .PTH
  • 后缀除了.PTH之外，还会有一个与该模型名称完全一致，但后缀为.yaml的配置文件。
  • 如果你的PTH与Yaml文件名称不一致，可手动修改为对应的名称。

模型功能介绍

以下为模型专有功能描述，现在仅做一个了解即可，下面我们将会一一进行讲解。

模型名称	预处理名称	类型	模型描述
	invert(from white bg & black line)	线稿反转	白色背景上有黑色线条的图像进行反转（黑色线稿图）
control_v11 e_sd15_ip2p	无	指令模型	无需预处理器，直接输入指令提示 ，例如“变成“ ”冬天”，画面就会在原来的基础上变成冬天，tag位置输入的是指令 “变成”，而不是纯粹的描述。
control_v11 e_sd15_shuffle	shuffle	随机洗牌	将上传的图片打乱，重新组合。
control_v11 f1p_sd15_depth		深度图计算	对图像中的各物体深度计算。
	depth_leres		采用卷积神经网络(CNN)架构，LeRes可以直接从单张图像中估算出深度信息。
	depth_midas		采用了自监督学习的方法，通过学习单张图像与相邻图像之间的关系来预测每个像素点的深度。
	depth_zoe		采用基于视差的方法进来深度计算，利用了左右两张图像之间的视差信息来推测物体的距离。
control_v11 p_sd15_canny	canny	边缘检测	与旧版相比，进行了优化。
control_v11 p_sd15_inpaint	inpaint_global_harmonious	图像修补	支持修复应用，视频光流扭曲。
control_v11 p_sd15_lineart		线性图	该模型对线稿的处理十分优秀，canny处理不好的可以用这个。
	lineart_coarse		粗略线稿提取
	lineart_realistic		写实线稿提取
	lineart_standard		反色线稿提取
control_v11 p_sd15_mlsd	mlsd	直线条检测	可以识别建筑、室内设计。
control_v11 p_sd15_normalbae		法线图	根据图像生成法线贴图，适合CG建模师。
	normal_bae	bae	效果优于midas，特别是在真实图像上，bae预处理后的图像更趋近于真实照片。 尝试学习的算法，它可以直接从一张普通的RGB彩色图像中估算出每个像素点的表面法线。
	normal_midas	midas	midas有时候出来的抽象效果也很惊艳，更适合一些平面图画。 该算法是一种基于视觉图像的模型，在图像中评估尝试和光流。
control_v11 p_sd15_openpose	openpose	姿态识别	适用于人物当前动作姿态提取
	openpose_face		适用人物姿态+面部表情提取
	openpose_faceonly		仅适用于人物面部识别提取
	openpose_full		适用于人物姿态+手+面部提取
	openpose_hand		适用于人物当前姿态+手部提取
存疑	mediapipe_face	人脸轮廓图	使用该模型可以提取人脸轮廓。
control_v11 p_sd15_scribble	scribble_hed	涂鸦-合成	目前可以识别1像素以上的线条 ，对粗线条也有了较好的识别。
	scribble_pidinet	涂鸦-手绘	目前可以识别1像素以上的线条 ，对粗线条也有了较好的识别。
	scribble_xdog	涂鸦-强化边缘	目前可以识别1像素以上的线条 ，对粗线条也有了较好的识别。
control_v11 p_sd15_seg	seg_ofade20k	语义分割 OpenEDS 2.0	基于OpenEDS 2.0数据集的图像语义分割算法，可以有效的对图像中不同物体进行分割，并且能够识别和分类出多个物体实例。
	seg_ofcoco	语义分割 COCO	【推荐】基于COCO数据集的图像分割算法，可以快速、精准的检测和分割出复杂的物体实例。
	seg_ufade20k	语义分割 UFADE20K	结合了自注意力机制、动态卷积和SPADE等技术，能够更好的处理图像中物体的空间变化。
control_v11 p_sd15_softedge	softedge_hed	软边缘检测	和其余的软件边缘检测相比，更加灵活适配。
	softedge_hedsafe		Conda的优化版本，提高了精度和稳定性。
	softedge_pidinet		【推荐】Deep Learning的边缘检测法，使用了特定的微调方法，使算法在实时和精度上都有很好的表现。
	softedge_pidisafe		与softedge_pidinet相似，但其更加稳定，能针对一些特定问题提供更为精确的边缘检测结果。
control_v11 p_sd15s2_lineart_anime	lineart_anime	动漫线性图	动漫线稿，单独列出来训练了模型，更适合动漫图的生成！
control_v11 u_sd15_tile	tile_gaussian	瓦片式处理	将图像拆分成一个一个小瓦片单位，高斯处理之后再重组，可以提高图像处理效率，同时产生出更加平滑、清晰的图像。
	threshold	阈值
t2ia	t2ia_color_grid		用于图像色彩增强的算法，主要适用于增强qcse鲜艳的图像。
	t2ia_sketch_pidi		针对手绘素描的算法，适用于将手绘素描转换成真实照片。
	t2ia_style_clipvision		风格化图像处理算法，适用于将图像转换成指定的特定风格。

本文示例

为方便大家阅读以及对比各模型之间的效果区别，本文后续将会尽量使用此案例和参数进行各模型的教程以及测试。

SD参数

(extremely detailed CG unity 8k wallpaper), (masterpiece), (best quality), (ultra-detailed), (best illustration), (best shadow), (photorealistic:1.4), 1girl on street, Kpop idol, ((very oversize sweater, buttoned sweater, open sweater)), (grey hair:1.1), collarbone, (midel breasts:1.3), looking at viewer, smile, full body, <lora:HinaIAmYoung22_zny10:1>
Negative prompt: paintings, sketches, (worst quality:2), (low quality:2), (normal quality:2), low res, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, glans, bad legs, error legs, bad feet, malformed limbs, extra limbs
Steps: 20, Sampler: DPM++ SDE Karras, CFG scale: 7, Seed: 4224168521, Size: 320x520, Model hash: 7234b76e42, Model: chilloutmix_Ni, Denoising strength: 0.25, Hires upscale: 2, Hires upscaler: R-ESRGAN 4x+ Anime6B

效果展示

功能介绍

图中被最大红框所包括的部分，即是ControlNet的完整功能区域。

⚠️注意：红框中的部分为本站翻译内容，仅显示一次，后续的讲解过程所使用的截图全部为原版内容，部分功能未翻译，各位可以根据下图对照各功能位置。

界面展示

通用功能

以下部分无法你在使用什么模型或预处理器，都将会被显示的，所以进行单独统一讲解。

• 启用
  • 勾选ControlNet区域的启用按钮后，点击右上角的生成按钮时，将会实时通过ControlNet的相关设置引导图像生成。
  • ⚠️警告：如果未勾选ControlNet区域的启用按钮，此时点击右上角的生成，将会忽略ControlNet的所有设置。
• 低显存模式
  • 低显存模式如果你的显卡内存小于4GB，建议勾选此选项。
• 完美像素
  • 可以生成更高质量的图像。
• 预览窗口
  • 非常建议勾选，只有勾选该复选框之后，才会显示预处理的执行结果预览框，否则难以观察效果。
• 预处理器
  • 我们可以理解为预先处理结果，此功能不依赖于模型，模型的使用是根据预处理之后的结果图像来进行生成的。
  • 例如我们在该下拉框中选择Canny方式，然后点击💥按钮，将会自动生成线稿。
• 💥
  • 在你选择一个预处理功能的处理器之后，我们点击💥按钮，将会在预处理器预览窗口显示该结果。
• 模型
  • 该列表的模型选择，必须与预处理选项框内的模型名称对应。
  • 如果预处理与模型不一致也可以出图，但效果无法预料，且并不理想。
  • ⚠️警告：ControlNet区域内的模型选择框与左上角的模型选择框不一样，这是模型算法的方式选择，如果你希望更改基础大模型，还是需要通过左上角的模型选择来控制的。
• ControlNet 权重
  • ControlNet的权重，代表使用ControlNet生成图片的权重占比影响。
  • 如果你希望生成的图像过于依赖ControlNet的设置，则需要将此权重值加大。
• ControlNet 起始步骤
  • 假如你设置的生成步数是20步，起始步骤设置为1时，代表这20步中的第1步开始，每1步都会被ControlNet引导1次。
  • 假如你设置的生成步数是20步，起始步骤设置为5时，代表这20步中的第5步开始，每1步都会被ControlNet引导1次，前4步不使用ControlNet进行引导生成。
• ControlNet 结束步骤
  • 假如你需要提前结束ControlNet的引导生成，那么可以调节此参数的数值，否则一直到引导结果。
• ControlNet 模式
  • 均衡
    • ControlNet的权重与Prompt权重各占一半，生成图片时相互影响。
  • Prompt 更重要
    • 如果你希望你所写的Prompt提示词占用生成时的更高权重，那么可以选择此项。
  • ControlNet 更重要
    • 如果你希望你所设置的的ControlNet参数占用生成时的更高权重，那么可以选择此项。
• Loopback
  • 自动将生成后的图像加载至ControlNet窗口。

Tips

生成后的图片，如果想发送至ControlNet进行处理，鼠标左键按住已生成的图片不要松手，拖拽至ControlNet组件区域后松开鼠标，即可快速实现ControlNet区域图片放置。

Canny

注意：本文在功能模型功能讲解中，将会针对第一个Canny进行非常详细的介绍。对于后面的其它模型功能讲解时，已经在Canny部分讲解的内容，将不做过多复述。

算法介绍

Canny模型的主要功能是提取并生成线稿，通过线稿进行二次绘制。

界面展示

我们先加载一下Canny模型，看一下UI界面，切记需要勾选Allow Preview，不然无法显示预处理器的预览结果窗口。

预处理器

因为我们本次讲解的是Canny方法，所以这里无可厚非，选择Canny即可。

预处理｜注意事项

• 预处理功能不需要点击ControlNet区域的启用按钮也可以正常生成预览。
• 不选择ControlNet的相应模型也可以生成预览。
• 生成预览的方式不是传统那样点击右上角的生成按钮，而是点击💥按钮。

预处理结果

在我们已经选择相应的预处理器之后，点击💥按钮生成预览图像，结果如下。

此时我们已经成功的生成了预处理结果，我们后续可以根据该预处理结果进行图像引导生成。

Preprocessor resolution

翻译成中文为预处理分辨率，此前我们通过默认的512参数已经生成了一张预处理图像，此时我们将该参数调整为1024再生成一次，对比一下效果。

通过对比我们可以发现，右图1024分辨率的图片尺寸为左图512分辨率的一倍，而且细节还变少了。

关于阈值

Canny的另外两个参数分别为Canny low threshold和Canny high threshold，也就是Canny提取线稿时的最高阈值以及最低阈值。

高低阈值对线稿的影响，请自行测试，因为阈值的大小会因为你图片的内容和个人后续使用需求而不断调整，所以本站不做过多阐述，本站仅使用默认参数线稿讲解。

简而言之，高低阈值限制将会影响提取线稿的细节控制。假如最高阈值参数过低，那么所得到的线稿细节就越少，反之亦然。

引导生成｜注意事项

我们此时需要通过已提取的线稿来引导生成图像，我们在开始之前一定要先确保已经勾选了ControlNet区域的启用复选框，否则点击右上角的生成按钮时，将会只通过Prompt生成，相当于没有安装ControlNet插件，这个启用的复选框就是ControlNet的总开关。

此时我们所有ControlNet的参数除了预处理和模型选择Canny之外，所有都保持默认，然后点击生成按钮。

我们可以看到，我们生成后的图片，姿势没有任何改变，但是一些细节发生了改变。这太简单了，不是我们想要的，我们此时换一个LoRA角色模型试一下。

非常完美，角色更换后姿势没有改变，严格遵守线稿生成。至此，关于Canny的部分已经介绍结束，后面对于其它模型的讲解将不会如此细致，希望各位朋友们学会举一反三。

---

线稿反转｜invert(from white bg & black line)

该预处理功能没有任何对应的模型，它的作用就是反转。

错误示范

我们选择invert(from white bg & black line)预处理器之后，直接点击生成按钮来查看结果是什么样的。

生成后的效果有点类似于传统相机的胶片效果，因数这是使用方法不正确。

使用方法

该预处理的功能主要是为线稿反转颜色的，因为传统手绘线稿都是白底黑线，但是我们通过Canny或其它线稿提取模型生成一张线稿之后，将会发现底色为黑，线条为白。

此时我们应该使用此功能，将生成之后的线稿颜色进行翻转。

---

深度图计算｜Depth｜depth_leres

Depth模型的主要功能是捕捉画面深度，获取图片前后景关系。如果您掌握三维动画的相关知识，那么您应该知道深度图，图像当中只有黑白二色，图片颜色越浅的区域，代表距离镜头越近；图片越是偏黑色，则代表这部分区域距离镜头越远。

参数设置

该模型的设置和预处理器设置如下图所示：

效果展示

为了测试效果，我们分别做给出以下图像。

• 第一张是原图；
• 第二张是生成的深度图，可以看到该预处理器的深度计算效果非常棒；
• 第三张是根据深度图生成的效果图，没有更改任何参数；
• 第四张是只改换了角色标签，但是其它参数全部未做更改。

可以看到，第四张光影还是比较棒的。与Canny相比之下，Canny提取线稿之后，线稿将会根据线条结构进行绘制，背景将会更改。

那么Depth的作用到底是什么？其实就是前后影关系会与原图完全一致，Depth将会严格根据生成的深度图图去生成图像，无论是室内还是室外，都将会在与原图前后景位置信息差不多的地方生成相关物体。我们看到原图人物与背景的距离差不多是两三米左右，那么提取出深度图之后引导生成，距离也会依照该距离去生成。

---

深度图计算｜depth_midas

关于什么是深度，之前已经介绍过，不再复述。

参数设置

该模型的设置和预处理器设置如下图所示：

效果展示

为了测试效果，我们分别做给出以下图像。

• 第一张是原图；
• 第二张是生成的深度图，该模型的效果较为模糊，感觉不如depth_leres；
• 第三张是根据深度图生成的效果图，没有更改任何参数；
• 第四张是只改换了角色标签，但是其它参数全部未做更改。

---

深度图计算｜depth_zoe

关于什么是深度，之前已经介绍过，不再复述。

参数设置

该模型的设置和预处理器设置如下图所示：

效果展示

为了测试效果，我们分别做给出以下图像。

• 第一张是原图；
• 第二张是生成的深度图，可以看到该模型的效果仅对角色较为友好，但是对于背景的深度信息几乎没有提取到，所以根据该方法所生成的后续图像背景都非常非常远，也较为模糊；
• 第三张是根据深度图生成的效果图，没有更改任何参数；
• 第四张是只改换了角色标签，但是其它参数全部未做更改。

---

图像修补｜inpaint_global_harmonious

先用局部蒙版绘制要修改的部分，重绘幅度调到1，然后在控制网络选择inpaint型和预处理器 ，最后在控制网络蒙版和局部蒙版相同的区域，点击生成。可以支持修复应用，还可以处理视频光流扭曲。

文生图｜参数设置

按道理来说，这张图应该在图生图选项卡内使用，我们测试一下在文生图内的效果是什么样的。

该模型在文生图内的设置和预处理器如下图所示：

通过上图可以看到，在文生图的界面内使用该模型，效果非常非常奇怪，可以说完全不相关。

文生图｜参数设置

该模型在图生图内的设置和预处理器如下图所示：

效果展示

• 第一张是原图；
• 第二张是我们涂抹的区域，后缀的图将会根据涂抹的部分蒙版进行引导生成；
• 第三张是根涂抹蒙版图像所生成的效果图，没有更改任何参数；
• 第四张是只改换了角色标签，但是其它参数全部未做更改。

总结

我们发现，即使不换角色，不做任何参数的修改，只是涂抹之后重新生成，也将会导致色差出现改变。而更改角色之后，色差的区别更大了。

可见该模型的更改范围仅限于涂抹区域，但是色差将会影响全图，可能是为了更好的处理接缝问题？

课程提示

本文已经介绍较多知识点，其它模型和预处理器将在下一期讲解。

ControlNet｜V1.1版使用教程【中】

---

点击下文前往Stable Diffusion的教程总目录，学习其它内容。

Stable Diffusion｜全方位教程指南