ControlNet|V1.1版各预处理器和模型使用教程【下】
此次所讲解的ControlNet
版本为V1.1
【下
】,也就是最新的版本,本站之前的ControlNet
教程已不再适用,新版本增加了较多新模型算法和预处理器,我们将会如同之前一样,对每一个模型和预处理器以及相关参数进行一一讲解,方便大家对每一个用法都能够快速掌握。
前情提要
此篇教程为【下篇】,如果您看的不是很清楚,建议先看【上篇】和【中篇】。
技术交流
本站已开放AI技术交流论坛,如果您在学习过程当中遇到问题,可在本论坛发帖求助。
【点击这里前往论坛】
本文示例
为方便大家阅读以及对比各模型之间的效果区别,本文后续将会尽量使用此案例和参数进行各模型的教程以及测试。
SD参数
(extremely detailed CG unity 8k wallpaper), (masterpiece), (best quality), (ultra-detailed), (best illustration), (best shadow), (photorealistic:1.4), 1girl on street, Kpop idol, ((very oversize sweater, buttoned sweater, open sweater)), (grey hair:1.1), collarbone, (midel breasts:1.3), looking at viewer, smile,<lora:HinaIAmYoung22_zny10:1> Negative prompt: paintings, sketches, (worst quality:2), (low quality:2), (normal quality:2), low res, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, glans, bad legs, error legs, bad feet, malformed limbs, extra limbs Steps: 20, Sampler: DPM++ SDE Karras, CFG scale: 7, Seed: 2557016082, Size: 320x520, Model hash: 7234b76e42, Model: chilloutmix_Ni, Denoising strength: 0.25, Hires upscale: 2, Hires upscaler: R-ESRGAN 4x+ Anime6B
效果展示
语义分割
seg_ofade20k
|seg_ofcoco
|seg_ufade20k
这三个预处理器,全部使用同一模型。
参数设置
该模型的设置和预处理器设置如下图所示:
seg_ofade20k
|seg_ofcoco
|seg_ufade20k
这三个预处理器的模型全部使用同一模型,模型都为control_v11p_sd15_seg
。
人物分割
关于人物的分割部分,之前的示例图背景过于简单,我这里生成了一个复杂一些的,各预处理器效果如下。
风景分割
总结
就个人而言,感觉语义分割这个功能更适合场景分割,对于人物分割也能用,但是效果可能没有那么好。
就三种分割方式而言,个人更倾向于seg_ofcoco
,该预处理方式可以分割更多细节。
随机洗牌
该预处理器的主要功能就是图像打乱,重新组合。
参数设置
该模型的设置和预处理器设置如下图所示:
效果展示
这个功能其实就是打乱图像再重新组合,还是挺有意思的,可以再次生成同风格图像。
软边缘检测
softedge_hed
|softedge_hedsafe
|softedge_pidinet
|softedge_pidisafe
这四个预处理器的模型全部使用同一模型,且功能一致,我们放在一起来讲,方便对比效果。
参数设置
该模型的设置和预处理器设置如下图所示:
softedge_hed
|softedge_hedsafe
|softedge_pidinet
|softedge_pidisafe
这四个预处理器的模型全部使用同一模型,模型都为control_v11p_sd15_softedge
。
效果展示
总结
预处理器 | 描述 |
---|---|
softedge_hed | 和其余的软件边缘检测相比,更加灵活适配。 |
softedge_hedsafe | Conda的优化版本,提高了精度和稳定性。 |
softedge_pidinet | 【推荐】Deep Learning的边缘检测法,使用了特定的微调方法,使算法在实时和精度上都有很好的表现。 |
softedge_pidisafe | 与softedge_pidinet相似,但其更加稳定,能针对一些特定问题提供更为精确的边缘检测结果。 |
艺术算法
t2ia_color_grid
|t2ia_sketch_pidi
|t2ia_style_clipvision
这三个预处理器都没有模型,我们只是简单的来看一下效果即可。。
t2ia_color_grid
用于图像色彩增强的算法,主要适用于增强qcse鲜艳的图像。
颜色网格检测图,这是用来生成与原图色谱一致,布局相近的图像的,主要用来生成风景画或抽象画。
t2ia_sketch_pidi
针对手绘素描的算法,适用于将手绘素描转换成真实照片。简笔素描图,这个没什么好说的。可能即将要被softedge_hed
合成柔线图所取代。
t2ia_style_clipvision
风格化图像处理算法,适用于将图像转换成指定的特定风格。我这里生成不了预览图,也没有相关模型文件。
阈值
threshold黑白剪影图,用来生成海报还不错,没有对应的模型。
效果展示
瓦片式处理
tile_gaussian
将图像拆分成一个一个小瓦片单位,高斯处理之后再重组,可以提高图像处理效率,同时产生出更加平滑、清晰的图像。
参数设置
该模型的设置和预处理器设置如下图所示:
效果展示
总结
个人感觉,没区别啊,还不如使用高清分辨率修复方便。
指令模型
IP2P这个模型比较有意思,无需预处理器,直接输入指令提示即可。
参数设置
该模型的设置和预处理器设置如下图所示:
Prompt
清空提示此之后,我们直接输入指令即可,例如让它变成火
。
make it into fire
效果展示
课程提示
点击下文前往Stable Diffusion的教程总目录,学习其它内容。
好教程必须跟上学
tile这个权重设为小于1(比如0.5)时在动漫/真人/油画风格转换有奇效,把Down Sampling Rate 设为大于一的值生成新图时,可以增添更多细节