
Reference Only是整合于ControlNet内的新功能,只需输入单一参考图片,就可以控制生成图像的风格,能够简化训练LoRA等小模型的工作流程。
仿照参考图片的风格
根据ControlNet于GitHub网站的更新信息,Reference Only能够直接与Stable Diffusion的专注层(Attention Layers)链接,并以任意图片作为参考,发挥控制生成图像风格的效果。
Reference Only最大的特色是它不需要仰赖任何AI模型,只需输入单一参考图片,就可以直接发挥作用,使用上相当简便。
笔者先于下方列出Reference Only的效果展示,生成图片的主题同样为游戏《女神异闻录》中的武见妙医生,但是搭配不同的参考图片,就可以控制生成图像中人物的风格。






安装与使用Reference Only
ControlNet于1.1.153版本更新中整合Reference Only,因此如果读者是全新安装ControlNet应该就会取得这个版本。 若已经安装ControlNet,则可至Stable Diffusion WebUI的Extensions页面,在Installed标签下点击「Check for updates」检查外挂功能的更新,并点击「Apply and restart UI」安装更新并重新启动。
重新启动Stable Diffusion WebUI之后,点击ControlNet右方三角形将其设置项目展开然后点击「Click to upload」,选择想要输入的参考图片,接着依序点击「Enable」方块,然后在Preprocessor选择reference_only。
接着设置Control Mode,其中的Balance代表平衡ControlNet与提示词的权重,My prompt is more important代表提示词更重要,ControlNet is more important则代表ControlNet更重要。 之后即可照正常流成进行图像生成。
需要注意的是,根据笔者的测试心得,Reference Only往往需要较高的权重,才能让效果较为明显,因此发现风格控制不如预期时,可以提高ControlNet中的Control Weight(最高上限为2),并在Control Mode中选择ControlNet is more important,让Reference Only能更进一步控制图像风格。




Reference Only提供方便的途径,让读者能够通过单一图片控制生成图像的风格,而不用自行训练LoRA等小模型,能够简化生成特定风格图像的工作流程。