컨트롤넷 1.1과 모델 설치하기

스테이블 디퓨전 웹UI에서 캐릭터의 포즈를 잡아줄 때 긴요하게 쓰이는 컨트롤넷을 설치하는 방법과 이와 관련된 모델을 다운로드하여 설치하는 방법을 소개합니다. 

 

컨트롤넷은 웹UI의 다른 확장기능의 설치와 크게 다르지 않습니다. extension 탭에서 확장파일 검색하고 인스톨버튼을 눌러주면 자동으로 설치가 됩니다.

위 그림처럼 익스텐션 탭에서 control로 검색하면 항목이 리스트 됩니다.

컨트롤넷 항목을 찾아서 우측 끝에 있는 인스톨 버튼을 눌러주면 됩니다.(이미 설치되어 있는 경우 의 그림처럼 installed 라고 뜹니다)

https://github.com/Mikubill/sd-webui-controlnet

GitHub - Mikubill/sd-webui-controlnet: WebUI extension for ControlNet

컨트롤넷 설치가 끝나면 반드시 스테이블 디퓨전을 재시동 해줘야 합니다. 그냥 브라우저에서 리로드 하면 인식이 안될 수 있습니다.  이제 모델을 다운로드하여 해당 폴더에 넣어줘야 합니다.

 

모델은 위의 컨트롤넷 깃허브 사이트에 주소가 링크되어 있습니다.

https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main

lllyasviel/ControlNet-v1-1 at main

위의 링크를 통해서도 모델 다운로드 사잉트로 이동 할 수 있습니다. 이곳에서. pth 파일을 모두 다운로드합니다. 다운로드가 끝나면 이 파일들을 다음의 폴더 주소에 저장합니다.

SD를 설치한 경로\stable-diffusion-webui\extensions\sd-webui-controlnet\models

이렇게 해주면 이제 사용 준비는 끝났습니다. 설정은 크게 손댈것이 없으나 다른 스크립트에서 불러올 수 있도록 아래 그림처럼 체크를 해줍니다.

컨트롤넷과 함께 쓰이는 확장기능들이 멀티컨트롤넷, 오픈포즈편집기, 3D오픈포즈 편집기 등입니다. 이 역시 extension에서 검색하면 리스트가 뜹니다.

컨트롤넷의 사용은 위 그림처럼 Enable에 체크를 해주는 것으로 사용가능 합니다. 한가지 주의해야 할 것은 Preprocessor와 Model의 모델 종류가 일치하도록 설정해 줘야 한다는 것입니다. 위 그림은 동일하게 lineart_anime와 control_v11p_sd15s2_lineart_anime로 동일한 설정을 해준 경우입니다. 

 

설치 관련 동영상을 공유합니다.

https://youtu.be/WsmfTmHeeQg