Depth Library|进阶用法

本文介绍如何通过Stable Diffusion的ControlNet搭配Depth Library插件,调整优化LoRA角色手指细节,免语义手指调整优化,包括DL搭配openPose算法的结合使用。

Depth Library的进阶使用方法

其实本教程是和基础教程一起写出来的,但是关于Depth Library的进阶教程使用方法需要太多前置技能,都放在Depth Library基础教程内给大家讲,可能会让各位基础不太好的同学们看的云里雾里,所以单独拆分出来,大家段式学习,可能效果会更好。

如果您还没看过基础教程,请一定要先看一下,不然本篇内容您可能不太容易理解。

Depth Library基础教程

进阶方法介绍

该方法使用openPose算法+Depth Library插件来生成模型,效果比普通方法会更好一些,在普通方法中已经讲过的部分本站在进阶教程中就不废话了。

前置技能

学习此部分内容,需要先了解ControlNet的OpenPose算法,关于此部分的算法使用,本站已经在之前的内容中有所介绍,如果您不理解我下面想讲的内容,请先看下面这篇ControlNet的使用指南。

LoRA

本站教程中所使用的基础模型和角色为LoRA,如果您对LoRA感兴趣,可以阅读下面的文章。

环境设置

除了掌握ControlNetOpenPose算法之外,我们还需要开启两个特殊选项。

  • Stable Diffusion WebUI -> ControlNet -> Multi ControlNet: Max models amount (requires restart)
    • 将该参数设置为2
  • Stable Diffusion WebUI -> ControlNet -> Enable CFG-Based guidance
    • 勾选

然后按顺序点击Apply settingsReload UI

做完如上步骤之后,我们将会在ControlNet内看到两个控制窗口(如下图所示),之前只可以添加一张图片去引导图像生成,但是现在可以同时让两张图片相互影响,然后生成最终图片,非常奈斯。

ControlNet 双窗口UI示例
ControlNet 双窗口UI示例

⚠️注意:上所所示中有两个面板,Control Model - 0Control Model - 1两个面板是相互独立的,互相影响,但数值不通用。
举例1:本站在Control Model - 0设置Weight(权重)数值为0.5,那么Control Model - 1Weight并不受影响,默认依旧为1。

举例2:本站在Control Model - 0设置Weight(权重)数值为0.7,然后将Control Model - 1Weight设置为1。那么在通过ControlNet进行引导渲染时,Control Model - 0为主要模型,Control Model - 1为辅助模型,在生成图像时,图像的内容将更加偏向Control Model - 0的画面提示。

姿势提取

既然我们这次使用OpenPose+Depth Library,那我们就需要先提取一套骨骼,模特图仍然是普通用法教程中的基础图片,不做任何修改。

手势摆放

这里在普通方法里面讲过,这里就不做过多阐述了。

多重控制

OpenPose Editor

下面才是进阶教程的重点,我们先在OpenPose Editor选项卡内,将骨骼图片发送至ControlNet窗口内,此时我们将会在Control Model - 0的窗口内看到发送过来的骨骼图片,如下图所示。

Control Model - 0加载骨骼示例

Depth Library

然后再回到Depth Library选项卡,此时我们不要点击Send to ControlNet按钮,不然只会覆盖Control Model - 0的窗口内的图片,而不是自动加载到Control Model - 1的窗口中。

我们应该点击Save PNG按钮,先将这张已经摆放好的手势图片保存至本地,然后使用格式转换软件,将该PNG图片转换为JPG格式,然后在ControlNet内的Control Model - 1窗口加载已经转换为JPG格式的手势深度图,如果不转换为JPG格式无法上传。

Control Model - 1加载手势示例

重新引导

此时,我们已经完成了所有必要步骤,我们来进行最后的设置。

Control Model - 0,将该选项卡内的Enable勾选,然后设置Preprocessor为None,设置Model为control_sd15_openpose,其它参数保持默认即可。

Control Model - 1,将该选项卡内的Enable勾选,然后设置Preprocessor为None,设置Model为control_sd15_depth,其它参数保持默认即可。

然后直接点击平时生成图片的那个生成按钮,生成一张图片来看看效果。

可以看到,手指的效果通过使用ControlNet的多重控制,现在的效果已经非常奈斯啦!

自定义手势

目前该扩展插件中的手势库图片还比较少,手势的深度也是无法控制的,估计以后会给手势加一个透明通道调节的功能,这样可以控制手势渲染强度。

其实我们也可以自行上传手势深度图,图片可以从三维软中自己渲染,或者实拍之后自行提取也可以。

然后把已经处理好的深度图存放在到*/stable-diffusion-webui/extensions/sd_webui-depth-lib/maps文件夹中,刷新一下UI界面,就可以看到新加的自定义手势库啦。

总结

其实这个效果还算是看的过去,但是调节需要一些经验,因为只是通过ControlNet进行引导就已经比较复杂了,更何款现在的多重控制功能。

好啦,最近比较懒,不太想工作,进阶教程先写这么多。如果有更好的相关解决方案,本站将会为您带来高阶用法教程,掰掰。

此文章由OpenAI开源维基百科原创发布,如若转载请注明出处:https://openai.wiki/depth_library-advanced.html

(0)
上一篇 2023-03-07 12:59
下一篇 2023-03-08 12:47

相关推荐

  • Flux|模型下载

    本文提供Flux模型的全面解析与下载合集,涵盖Schnell/Dev/Pro三大版本及FP16/FP8/GGUF等量化类型。详细说明不同硬件配置的适配方案(16GB/8GB显存)、模型特性(文字生成/多视图一致性)及ComfyUI集成方法,包含VAE/CLIP/IP-Adapter等配套模型、工作流与插件下载地址。适合设计师、开发者及AI爱好者快速部署高性能图像生成工具。

    2025-03-06
    031.5K
  • LoRA模型|英雄联盟阿狸|Ahri (League of Legends) LoRA

    Ahri (League of Legends) LoRA模型下载,本文为您提供Lykon的ahri-50 (maybe overcooked)英雄联盟、KAD狐狸LOL阿狸等模型。

    2023-08-05
    001.1K
  • LoRA|模型下载|Part-1

    本站提供大量热门LoRA模型下载,本期包括仿宋服、韩国娃娃、约尔·福杰、果冻、张娜英、蠢沫沫、台湾女孩、雷电将军、丁真、玛奇玛、露西、墨心、疏可走马、刘亦菲、SamYang、尤尔哈2B等明星模型下载。

    2023-03-01
    02114.6K
  • Stable Diffusion|模型合并

    本文针对Stable Diffusion WebUI的模型合并功能进行详细教学讲解,模型合并可以将两个模型融合在一起,间接使自己所训练的模型效果更佳,即使不做训练,使用已有模型也能得到让人惊艳的画风。

    2023-04-24
    044.5K
  • Stable Diffusion WebUI|MacOS安装教程

    本文介绍了如何在M系列芯片MacBook Air的macOS本地环境中部署Stable Diffusion WebUI AI绘画工具,详细如何使用该工具进行高效率的AI绘画操作,并全自动安装依赖环境。

    2023-05-04
    0144.2K

发表回复

登录后才能评论

评论列表(1条)

  • socrading
    socrading 2023-03-10 21:46

    有个oline 3D openpose editor,相比之下是不是把以上很多东西都省略了?

微信