Stable Diffusion AI算图使用手册(5-3):透过Reference Only控制画风

Stable Diffusion AI算图使用手册(5-3):通过Reference Only控制画风

Reference Only是整合于ControlNet内的新功能,只需输入单一参考图片,就可以控制生成图像的风格,能够简化训练LoRA等小模型的工作流程。

仿照参考图片的风格

根据ControlNet于GitHub网站的更新信息,Reference Only能够直接与Stable Diffusion的专注层(Attention Layers)链接,并以任意图片作为参考,发挥控制生成图像风格的效果。

Reference Only最大的特色是它不需要仰赖任何AI模型,只需输入单一参考图片,就可以直接发挥作用,使用上相当简便。

笔者先于下方列出Reference Only的效果展示,生成图片的主题同样为游戏《女神异闻录》中的武见妙医生,但是搭配不同的参考图片,就可以控制生成图像中人物的风格。

首先我们借用生ごミカン所绘制的图片作为参考,可以看到生成图片的医生与原图同样具有明显的烟燻妆。▲ 首先我们借用生ごミカン所绘制的图片作为参考,可以看到生成图片的医生与原图同样具有明显的烟燻妆。

接着换一张背景风格明显的参考图片,生成图片的背景也跟着有所变化。▲ 接着换一张背景风格明显的参考图片,生成图片的背景也跟着有所变化。

再来换智能手机App《命运石之门时钟》的图片当作参考,生成图片的脚色神情与整体色调也都受到影响。▲ 再来换智能手机App《命运石之门时钟》的图片当作参考,生成图片的脚色神情与整体色调也都受到影响。

来看看输入《音速小子》作为参考会发生什么事,结果效果不是很显著。▲ 来看看输入《音速小子》作为参考会发生什么事,结果效果不是很显著。

如果输入《哆啦A梦》的静香呢? 嗯嗯,有效!▲ 如果输入《哆啦A梦》的静香呢? 嗯嗯,有效!

最后试试《魔法气泡》系列的菲莉,虽然跟上图的风格有点接近,但仔细看还是能看出差异。▲ 最后试试《魔法气泡》系列的菲莉,虽然跟上图的风格有点接近,但仔细看还是能看出差异。

安装与使用Reference Only

ControlNet于1.1.153版本更新中整合Reference Only,因此如果读者是全新安装ControlNet应该就会取得这个版本。 若已经安装ControlNet,则可至Stable Diffusion WebUI的Extensions页面,在Installed标签下点击「Check for updates」检查外挂功能的更新,并点击「Apply and restart UI」安装更新并重新启动。

重新启动Stable Diffusion WebUI之后,点击ControlNet右方三角形将其设置项目展开然后点击「Click to upload」,选择想要输入的参考图片,接着依序点击「Enable」方块,然后在Preprocessor选择reference_only。

接着设置Control Mode,其中的Balance代表平衡ControlNet与提示词的权重,My prompt is more important代表提示词更重要,ControlNet is more important则代表ControlNet更重要。 之后即可照正常流成进行图像生成。

需要注意的是,根据笔者的测试心得,Reference Only往往需要较高的权重,才能让效果较为明显,因此发现风格控制不如预期时,可以提高ControlNet中的Control Weight(最高上限为2),并在Control Mode中选择ControlNet is more important,让Reference Only能更进一步控制图像风格。

如果需要更新ControlNet的话,可至Stable Diffusion WebUI的Extensions页面,在Installed标签下点击「Check for updates」检查外挂功能的更新,并点击「Apply and restart UI」安装更新并重新启动。▲ 如果需要更新ControlNet的话,可至Stable Diffusion WebUI的Extensions页面,在Installed标签下点击「Check for updates」检查外挂功能的更新,并点击「Apply and restart UI」安装更新并重新启动。

使用Reference Only时,需先点击ControlNet右方三角形将其设置项目展开然后点击「Click to upload」,选择想要输入的参考图片。▲ 使用Reference Only时,需先点击ControlNet右方三角形将其设置项目展开然后点击「Click to upload」,选择想要输入的参考图片。

接着依序点击「Enable」方块,然后在Preprocessor选择reference_only。 之后可以视需求调整Control Weight与Control Mode,以改变控制的权重。▲ 接着依序点击「Enable」方块,然后在Preprocessor选择reference_only。 之后可以视需求调整Control Weight与Control Mode,以改变控制的权重。

设置完成后,即可照一般方式操作,点击「Generate」按键即可开始生成图像。▲ 设置完成后,即可照一般方式操作,点击「Generate」按键即可开始生成图像。

Reference Only提供方便的途径,让读者能够通过单一图片控制生成图像的风格,而不用自行训练LoRA等小模型,能够简化生成特定风格图像的工作流程。

(0)
老哥老哥

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注