【2023.3】 在M1/M2 Mac上给Automatic1111 Webui配置Controlnet

·

1 min read

本文讲述如何在M1/M2 Mac的本地环境中使用ControlNet(openpose)输出AI艺术作品。在安装ControlNet时,我们将使用Automatic1111的扩展功能。如果您尚未安装此环境,请参考以下文章提前安装Automatic1111。

https://robertji.com/config20233m1m2-mac-stable-diffusion


Controlnet / Openpose的安装

启动Webui,然后选择Extensions标签中的install from URL选项。

请在参考图片中标记的位置分别输入以下两个扩展功能的URL,然后点击install安装。在国内,需要的时间可能会长一些,请参考上面文章保证全局翻墙连接畅通。

Controlnet的地址

https://github.com/Mikubill/sd-webui-controlnet.git

Openpose的地址

https://github.com/fkunn1326/openpose-editor.git

如果在installed标签中可以看到以下标记的两个插件,说明安装已经成功完成。完成安装确认后,请关闭Webui。

放置必要模型

以上安装的只是插件,我们还需要将Controlnet和Openpose的模型下载下来放到必要的地方。我们去huggingface上下载模型:

webui/ControlNet-modules-safetensors

从这里下载最新的control_openpose-fp16.safetensors并放置在如下位置

stable-diffusion-webui > extensions > sd-webui-controlnet > models

到此,设置完毕。重启webui。

使用方法

在新创建的openpose-editor选项卡中操作棒状人物,让其采取您想要绘制的姿势。

确认姿势后,请按右下角的send to controlnet按钮。

接下来,您只需像正常操作一样输入prompt并进行绘制即可。

下面的图片是我创建的示例,即使是简单的提示,如Man Sitting On Chair(男子坐在椅子上),也会按照指定方式进行绘制。

目前,仅stable diffusion1.5的派生模型可以在openpose中使用。如果使用其他模型,可能会出现错误并导致程序强制退出。因此,请确保选择合适的模型。