ControlNet｜V1.1版各预处理器和模型使用教程【下】

此次所讲解的ControlNet版本为V1.1【下】，也就是最新的版本，本站之前的ControlNet教程已不再适用，新版本增加了较多新模型算法和预处理器，我们将会如同之前一样，对每一个模型和预处理器以及相关参数进行一一讲解，方便大家对每一个用法都能够快速掌握。

前情提要

此篇教程为【下篇】，如果您看的不是很清楚，建议先看【上篇】和【中篇】。

ControlNet｜V1.1版使用教程【上】

ControlNet｜V1.1版使用教程【中】

技术交流

本站已开放AI技术交流论坛，如果您在学习过程当中遇到问题，可在本论坛发帖求助。

【点击这里前往论坛】

本文示例

为方便大家阅读以及对比各模型之间的效果区别，本文后续将会尽量使用此案例和参数进行各模型的教程以及测试。

SD参数

(extremely detailed CG unity 8k wallpaper), (masterpiece), (best quality), (ultra-detailed), (best illustration), (best shadow), (photorealistic:1.4), 1girl on street, Kpop idol, ((very oversize sweater, buttoned sweater, open sweater)), (grey hair:1.1), collarbone, (midel breasts:1.3), looking at viewer, smile,<lora:HinaIAmYoung22_zny10:1>
Negative prompt: paintings, sketches, (worst quality:2), (low quality:2), (normal quality:2), low res, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, glans, bad legs, error legs, bad feet, malformed limbs, extra limbs
Steps: 20, Sampler: DPM++ SDE Karras, CFG scale: 7, Seed: 2557016082, Size: 320x520, Model hash: 7234b76e42, Model: chilloutmix_Ni, Denoising strength: 0.25, Hires upscale: 2, Hires upscaler: R-ESRGAN 4x+ Anime6B

效果展示

语义分割

seg_ofade20k｜seg_ofcoco｜seg_ufade20k这三个预处理器，全部使用同一模型。

参数设置

该模型的设置和预处理器设置如下图所示：

seg_ofade20k｜seg_ofcoco｜seg_ufade20k这三个预处理器的模型全部使用同一模型，模型都为control_v11p_sd15_seg。

人物分割

关于人物的分割部分，之前的示例图背景过于简单，我这里生成了一个复杂一些的，各预处理器效果如下。

风景分割

总结

就个人而言，感觉语义分割这个功能更适合场景分割，对于人物分割也能用，但是效果可能没有那么好。

就三种分割方式而言，个人更倾向于seg_ofcoco，该预处理方式可以分割更多细节。

随机洗牌

该预处理器的主要功能就是图像打乱，重新组合。

参数设置

该模型的设置和预处理器设置如下图所示：

效果展示

这个功能其实就是打乱图像再重新组合，还是挺有意思的，可以再次生成同风格图像。

软边缘检测

softedge_hed｜softedge_hedsafe｜softedge_pidinet｜softedge_pidisafe这四个预处理器的模型全部使用同一模型，且功能一致，我们放在一起来讲，方便对比效果。

参数设置

该模型的设置和预处理器设置如下图所示：

softedge_hed｜softedge_hedsafe｜softedge_pidinet｜softedge_pidisafe这四个预处理器的模型全部使用同一模型，模型都为control_v11p_sd15_softedge。

效果展示

总结

预处理器	描述
softedge_hed	和其余的软件边缘检测相比，更加灵活适配。
softedge_hedsafe	Conda的优化版本，提高了精度和稳定性。
softedge_pidinet	【推荐】Deep Learning的边缘检测法，使用了特定的微调方法，使算法在实时和精度上都有很好的表现。
softedge_pidisafe	与softedge_pidinet相似，但其更加稳定，能针对一些特定问题提供更为精确的边缘检测结果。

艺术算法

t2ia_color_grid｜t2ia_sketch_pidi｜t2ia_style_clipvision这三个预处理器都没有模型，我们只是简单的来看一下效果即可。。

t2ia_color_grid

用于图像色彩增强的算法，主要适用于增强qcse鲜艳的图像。

颜色网格检测图，这是用来生成与原图色谱一致，布局相近的图像的，主要用来生成风景画或抽象画。

t2ia_sketch_pidi

针对手绘素描的算法，适用于将手绘素描转换成真实照片。简笔素描图，这个没什么好说的。可能即将要被softedge_hed合成柔线图所取代。

t2ia_style_clipvision

风格化图像处理算法，适用于将图像转换成指定的特定风格。我这里生成不了预览图，也没有相关模型文件。

阈值

threshold黑白剪影图，用来生成海报还不错，没有对应的模型。

效果展示

瓦片式处理

tile_gaussian将图像拆分成一个一个小瓦片单位，高斯处理之后再重组，可以提高图像处理效率，同时产生出更加平滑、清晰的图像。

参数设置

该模型的设置和预处理器设置如下图所示：

效果展示

总结

个人感觉，没区别啊，还不如使用高清分辨率修复方便。

指令模型

IP2P这个模型比较有意思，无需预处理器，直接输入指令提示即可。

参数设置

该模型的设置和预处理器设置如下图所示：

Prompt

清空提示此之后，我们直接输入指令即可，例如让它变成火。

make it into fire

效果展示

---

课程提示

点击下文前往Stable Diffusion的教程总目录，学习其它内容。

Stable Diffusion｜全方位教程指南