Stable Diffusion｜图片信息提取、模型合并教学

本文主要针Stable Diffusion WebUI的图片信息和模型合并两个功能进行讲解，模型合并这一部分可以将两个模型融合在一起，然后得到一个新的画风，效果非常棒。我们可以通过该方式间接使自己所训练的模型效果更佳，即使不做训练，使用已有模型也能得到让人惊艳的画风。

后期处理

此部分与之前所讲解过的高清修复和图像放大内容一致，不做复述，如果对此部分内容感兴趣，可以阅读下文学习。

图片信息

通俗一点来讲，我们通过S**table Diffusion**生成图像后，S**table Diffusion**会自动在图片的文件信息中写入一些其它信息，这些信息为正向Prompt、反向Prompt、采样方法、迭代步数、种子、宽高比利、主模型等任何我们通过S**table Diffusion**生成时所用到的任何参数，全部都被包含至所生成的图像内**。**

原理解析【可选】

如果你对此部分内容不感兴趣，可以跳过，因为我们只需要懂得怎么使用就好，不一定非要去明白原理，但是搞AI这一块的人，尽量还是要知其然，并且知其所以然。

我们先生成一张图像，仍然使用之前的案例，该图像生成时所使用的Prompt如下。

<lora:korean:0.4>, <lora:zny_1.0:0.7>,(RAW photo, best quality), (realistic, photo-realistic:1.2), (round face:1), 1girl, shopping mall rooftop cafe, outdoor, smile, (high detailed skin:1.4), puffy eyes, gorgeous hair, air bangs, brown black hair, white camisole, pure black pleated skirt, soft lighting, high quality, cityscape, night, rain, wet, professional lighting, photon mapping, radiosity, physically-based rendering,
Negative prompt: (EasyNegative:1.2), ng_deepnegative_v1_75t, paintings, sketches, (worst quality:2), (low quality:2), (normal quality:2), lowres, ((monochrome)), (grayscale:1.2), skin spots, acnes, skin blemishes, age spot, glans,extra fingers,fewer fingers,(watermark:1.2),(letters:1.2),(nsfw:1.2),teeth
Size: 512x768, Seed: 302536543, Model: chilloutmix_Ni, Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 7, Model hash: 7234b76e42, Hires steps: 21, Hires upscale: 1.5, Hires upscaler: Latent (bicubic antialiased), Denoising strength: 0.5

一般来说，我们打开图片会直接显示图片信息，但是如果我们使用代码编辑器或其它文本编辑器打开这张图片时，我们将会看到如下内容。

我们可以看到第4、5、6行，其中就包含了所有相关设置信息，这就是最简单的原理。在生成时将信息追加写入到图片内，方便以后进行读取。

操作教学

下面是PNG 图片信息的操作界面，我们导入刚刚生成的示例图像，此时将会在右侧自动列出该示例图像的所有设置和Prompt。

我们可以看到在获取的信息下面有几个按钮，分别是>>文生图｜>>图生图｜>>重绘｜>>后期处理等，我们随便点击一个按钮，将会自动跳转至相对应的界面，并将所有信息自动填写至相应参数框内。

模型合并

该功能非常容易理解，正如名字一样。而且界面的描述已经非常明确，就是将两个模型合并到一起而已。

合并设置

为了更好的测试效果，我们本次选择现实风格模型+二次元风格模型进行混合。

• 模型A
  • chilloutmix_Ni
  • 该模型大部分用于LoRA角色生成，对于写实角色效果极佳。
• 模型B
  • final-pruned
  • 该模型名称虽然为final-pruned，但其实际是NovelAI模型，该模型对二次元类型风格非常友好。
• 模型C【可选】
  • 空
• 自定义名称【可选】
  • 我们输入一个模型名称openAI_wiki，用于合并完成后所保存的模型名称。
• 融合比例【重要】
  • 这个设置比较有意思，参数的数值为0到1。
  • 如果我们将数值设置为0.1，也就是滑杆趋向于左侧，那就代表合成模型时模型A占有90%的权重。
  • 如果我们将数值设置为0.7，也就是滑杆趋向于右侧，那就代表合成模型时模型A占有30%的权重。
  • 本次我们以各为50%来融合，所以设置为0.5即可。
• 融合算法
  • 这部分我们后面将会讲到，默认选择加权和方式即可。
• 输出模型格式
  • CKPT
    • 该格式为非常传统的格式，存在被远程攻击的隐患，但是如果不部署在公网或下载不安全的模式，一般来说是不会有安装问题的。
  • Safetensors
    • 该格式可以理解为CKPT的升级版，可以拥有更快的AI绘图生成速度，而且不会被反序列化攻击。
• 存储半精度(float16)模型【可选】
  • 该模式代表着精度不同，精度越高所需显存越大，效果也会有所提升。
  • 如果不勾选则为Float32 Bit精度，如果勾选则为Float16 Bit精度。
• 复制配置文件
  • 选择A,B 或 C即可，后续教程会单独讲解该部分。
• 嵌入VAE模型【可选】
  • 关于VAE大家可以理解为一种滤镜或风格，是否加载都不是必需的，如果有就加载，没有则跳过即可。
• 删除匹配键名的表达式的权重【可选】
  • 可以理解为，你想删除模型内的某个元素时，可以将其键值进行匹配删除。
  • 键：是编程语言中的一种类型，每个键对应着一个值，健和值是一一对应的，形式一般为{‘键’:‘值’,’名字’,’身份证号’}。
  • 不理解也没关系，如无特殊需求，我们直接留空即可。

我们已经完成了所有的必要设置，直接点击合并按钮，合并速度非常快，本站将两个模型合并的速度耗时为3分16秒，在右侧我们已经可以看到输出后的模型路径已自动放置Stable Diffusion的主模型目录内，我们无需任何设置就已经可以加载并使用合并后的模型。

合并效果

为了可以更好的观察并对比效果，我们本次对三个模型使用完全一致的参数和Prompt来生成图像，具体的参数如下。

<lora:korean:0.4>, <lora:zny_1.0:0.7>,(RAW photo, best quality), (realistic, photo-realistic:1.2), (round face:1), 1girl, shopping mall rooftop cafe, outdoor, smile, (high detailed skin:1.4), puffy eyes, gorgeous hair, air bangs, brown black hair, white camisole, pure black pleated skirt, soft lighting, high quality, cityscape, night, rain, wet, professional lighting, photon mapping, radiosity, physically-based rendering,
Negative prompt: (EasyNegative:1.2), ng_deepnegative_v1_75t, paintings, sketches, (worst quality:2), (low quality:2), (normal quality:2), lowres, ((monochrome)), (grayscale:1.2), skin spots, acnes, skin blemishes, age spot, glans,extra fingers,fewer fingers,(watermark:1.2),(letters:1.2),(nsfw:1.2),teeth
Size: 512x768, Seed: 302536543, Model: chilloutmix_Ni, Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 7, Model hash: 7234b76e42, Hires steps: 21, Hires upscale: 1.5, Hires upscaler: Latent (bicubic antialiased), Denoising strength: 0.5

左图为写实风格的chilloutmix_Ni模型生成结果，中间为合并融合后的openAI_wiki模型生成结果，右图为卡通风格的NovelAI模型生成结果。

其实就个人的审美而言，该效果还是比较惊艳的，有点类似于转手绘的风格。

技术交流

本站已开放AI技术交流论坛，如果您在学习过程当中遇到问题，可在本论坛发帖求助。

【点击这里前往论坛】

点击下文前往Stable Diffusion的教程总目录，学习其它内容。