Stable Diffusion WebUI|二维码QR Code生成教程
最近关于使用AI生成二维码改变风格的案例不少,但是很多都是用在线平台生成的,而且更多都是需要付费生成的,最近研究了一下通过Stable Diffusion进行二维码生成,虽然没有人家自己做的那种好看,但最起码也算实现了。
主要使用了Stable Diffusion WebUI
的ControlNet
功能进行实现,下面是实现的具体方式。
前置条件
在执行项目安装之前,必须确保你的系统内已经安装部署Stable Diffusion WebUI
和ControlNet
插件,以下是关于相关内容的教程,如果有不明白地方可以自行查阅。
模型下载
本文中所用到的所有模型文件如下:
- control_v11u_sd15_tile.yaml
- control_v11u_sd15_tile.pth
- control_v1p_sd15_brightness.safetensors
其中control_v1p_sd15_brightness.safetensors
属于第三方模型,并非官方内置模型,需要单独下载。
一般来说,在你使用control_v11u_sd15_tile.yaml
时,大概率会报错,所以推荐也下载本站所提供的yaml文件。
官方下载
control_v1p_sd15_brightness
模型的官方下载地址:ioclab/ioc-controlnet at main
网盘下载
关于此项目可能用到的所有模型,本站已为您下载并整理好。如果你不方便通过官网下载,可以使用本站所提供的网盘下载地址。
这其中包括以上三个模型,也可以按需要单独下载。
模型名称 | 大小 | 格式 | 下载 |
---|---|---|---|
control_v11u_sd15_tile.yaml | 1.9KB | yaml | 点击前往 |
control_v11u_sd15_tile.pth | 1.34GB | pth | 点击前往 |
control_v1p_sd15_brightness.safetensors | 1.34GB | safetensors | 点击前往 |
模型安装
下载之后,将该模型移动至.\stable-diffusion-webui\extensions\sd-webui-controlnet\models
目录下即可。
注意:不要尝试对模型进行更名,可能会存在错误,一定要与本站所给出的列表名称完全一致。
二维码生成
在开始之前,我们还需要一个步骤,那就是生成一张二维码,因为我们需要根据二维码来与图像结合,毕竟SD是不支持直接生成二维码的。
我们【点击打开】该网站,然后输入一段文字,生成维码码。推荐设置容错率为15%,不设置也问题不大。然后将其保存,后面我们将会用到。
使用教程
在完成上面的所有操作之后,我们此时已经可以开始图像制作方式的内容啦。
图像示例
以下是本站本次所使用的Prompt示例,以及通过该Prom生成的图像,在我们确定好使用的风格之后,就可以开始后续的制作了。
注意:尽量选用正方形,这样可以更好的与二维码进行匹配。
(Masterpiece), (8k, RAW photo, top quality, masterpiece: 1.3), realistic, (photo- realistic:1.4),(full body:1.1),large breasts,(smirk:1.2), 1girl Nelliel ,see-through, ,Nelliel, capturing her elegant features, expressive eyes, and confident smile ,(looking at viewer:1.3) ,(green eyes:1.2) ,cenematic lighting ,an artwork should be realistic cosplay style ,(art work should be the realistic humen style:1.1) ,(oily skin:1.3) ,(20 yo:1.3) ,(extremely detailed hair:1.4), (extremely detailed face:1.4),( extremely detailed eyes:1.4) , <lora:Nelliel:0.5>, <lora:XSArchi_127:0.5> Negative prompt: nipple,(girl:1.4),(painting:1.2),blurry,women,breast,animation,paintings, sketches,(worst quality:2), (low quality:1), (normal quality:2), lowres,(wings:1.4), (close eyes:1.4),(mitt:1.4),(tail:1.4),(NSFW:1.4),bad anatomy, 2girl,character sheet,side view,floating, sofa,(pants:1.4), (animal:1.4),monster,dragon,logo,text,letter,symbol,,open mouth,(nipples:1.4),(skin spots:2), acnes, skin blemishes, age spot,necklace,abs,nude,beard,NSFW Steps: 30, Sampler: Euler a, CFG scale: 7, Seed: -1, Size: 512x512, Model hash: 7234b76e42, Model: chilloutmix_Ni, Version: v1.4.0 Failed to find Loras: Nelliel, XSArchi_127
二维码制作
此时我们可以开始着手二维码方面的内容了,我们需要主要是用到了ControlNet
的相关功能,而且需要双重控制,所以我们需要两个ControlNet
视窗。
我们先来看一下ControlNet 0
需要设置的内容,关于0
的设置主要就是设置了预处理器
+模型
,另外调节了一下ControlNet
的权重。
- 在
ControlNet 0
中,加载我们已生成的二维码。 - 确保已经启用
ControlNet 0
- 预处理器为:
Inpaint_Global_Harmonious(重绘-全局融合算法)
- 模型为:
control_v1p_sd15_brightness
- 控制权重为:
0.35
其它保持默认即可,无需任何设置。
下面是关于ControlNet 1
需要设置的内容,截图如下:
- 在
ControlNet 1
中,加载我们已生成的二维码。 - 确保已经启用
ControlNet 1
- 预处理器为:
Inpaint_Global_Harmonious(重绘-全局融合算法)
- 模型为:
control_v1p_sd15_tile
- 控制权重为:
0.8
ControlNet 1
对于最终图像的影响有多大。
- 引导介入时机为:
0.3
- 从什么时候开始通过
ControlNet 1
引导生成图像。
- 从什么时候开始通过
- 引导终止时机为:
0.7
- 从什么时候结束通过
ControlNet 1
介入的生成。
- 从什么时候结束通过
- 控制模式:更偏向提示词
- 默认为均衡,也就是
Prompt
和ControlNet
的权重55开,但我们希望艺术效果更多一些。
- 默认为均衡,也就是
其它保持默认即可,无需任何设置。
常见问题
参数设置
站长查阅了一些CSDN、哔哩哔哩、知乎等相关内容,发现大部分博主所提供的参数其实效果并不太好。所以站长将ControlNet 1
的生成模式尝试性更改,但是在ControlNet 1
更加偏向于提示词之后,艺术效果的确得到了提升,但二维码的可用性大大降低,所以又尝试更改了ControlNet 1
的控制权重,大家可以根据自身情况调整,参数不是固定的。
二维码无法识别?
我们生成之后,可以发现大部分图像都是无法被正常识别的,这个原因在于艺术效果和二维码的匹配不够均衡,可以适当增加ControlNet 1
的控制权重
。
为什么图像偏绿?
站长所生成的图像偏绿,那是因为站长的关键词中包含green
,如果你想偏向另一种颜色,可以自行修改Prompt中关于颜色的描述部分。
效果示例
以下是站长生成了几百张图之后,在里面选择了一些效果还算说的过去,且能够被正常识别的二维码。
那些失败的案例,站长就没有长上传了。
总结
也不是每一张都不能看,最起码个别的站长觉得还不错,也算能说的过去。
既然这个技术方向已经开始了,那么以后关于此类内容的专用模型和算法必定会逐渐加强,所以耐心等待就好。
目前SD的qr插件有至少两款了,自己测试了qr toolkit和qrcode,感觉混合的效果还不错
@HawkingEye 感谢🙏,近期有时间将会研究一下。
站长你好,有一种二维码是怎么融合到图片上的啊?就是原图是768-1024坚版的,上半身没有什么变化,只是二维码融合在裙子上了
楼主 有没有谭松韵的lora模型
几百张,难怪我生成的总是不成功啊。。。。
另外,采样算法貌似一换就报错,不知道大模型能换不。