本文讲述如何在M1/M2 Mac的本地环境中使用ControlNet(openpose)输出AI艺术作品。在安装ControlNet时,我们将使用Automatic1111的扩展功能。如果您尚未安装此环境,请参考以下文章提前安装Automatic1111。
https://robertji.com/config20233m1m2-mac-stable-diffusion
Controlnet / Openpose的安装
启动Webui,然后选择Extensions标签中的install from URL选项。
请在参考图片中标记的位置分别输入以下两个扩展功能的URL,然后点击install安装。在国内,需要的时间可能会长一些,请参考上面文章保证全局翻墙连接畅通。
Controlnet的地址
https://github.com/Mikubill/sd-webui-controlnet.git
Openpose的地址
https://github.com/fkunn1326/openpose-editor.git
如果在installed标签中可以看到以下标记的两个插件,说明安装已经成功完成。完成安装确认后,请关闭Webui。
放置必要模型
以上安装的只是插件,我们还需要将Controlnet和Openpose的模型下载下来放到必要的地方。我们去huggingface上下载模型:
webui/ControlNet-modules-safetensors
从这里下载最新的control_openpose-fp16.safetensors并放置在如下位置
stable-diffusion-webui > extensions > sd-webui-controlnet > models
到此,设置完毕。重启webui。
使用方法
在新创建的openpose-editor选项卡中操作棒状人物,让其采取您想要绘制的姿势。
确认姿势后,请按右下角的send to controlnet按钮。
接下来,您只需像正常操作一样输入prompt并进行绘制即可。
下面的图片是我创建的示例,即使是简单的提示,如Man Sitting On Chair(男子坐在椅子上),也会按照指定方式进行绘制。
目前,仅stable diffusion1.5的派生模型可以在openpose中使用。如果使用其他模型,可能会出现错误并导致程序强制退出。因此,请确保选择合适的模型。