AI웹툰 : embeddings 어느 날 갑자기

스테이블 디퓨전을 통하여 AI 이미지 생성 시 어느 날 갑자기 손과 발이 기형으로 생성될 때가 있습니다. 이런 증상은 한번 시작되면 원인을 해결해주지 않는 한 계속되는데요.

원인은 서로에게 영향을 주는 모델들의 기능이 활성화되어 있기 때문입니다. 이 원인을 해결해 주기 전엔 지속적으로 일부 모델에서 같은 증상이 발생합니다. 이걸 해결하기 위해서는 먼저 스테이블 디퓨전의 실행 과정을 알아보는 것이 중요합니다.

 

스테이블 디퓨전의 실행 구조를 보면 먼저 익스텐션을 메모리에 적재하고 다음에 임베이딩을 메모리에 로드 합니다. 임베이딩은 다른 모델카드들과는 달리 임베이딩 폴더 안에 있는 모든 임베이딩 파일들을 메모리에 로드 합니다. 때문에 이 임베이딩 모델들을 과도하게 폴더에 모아두면 이로 인한 메모리 손실을 볼 수 있습니다. 또한 실제로 트리거 워드 등을 통하여 호출하지 않아도 기본적으로 자동으로 인식이 되고 있다는 것입니다. 원인은 대부분 여기서부터 출발합니다.

위 그림은 19개의 임베이딩을 메모리에 적재시키는 화면입니다. 과도한 임베이딩은 오류의 한 원인이 되기도 합니다.

 

초기 메모리에 적재되는 모델은 임베이딩과 이전 사용 시 활성화된 체크포인트 모델, 그리고 VAE 모델입니다. 로라나 하이퍼네트웍스 같은 모델들은 사전에 로드되는 것이 아니고 트리거나 직접 프롬프트에 불러와 사용하는 것으로 한번 불러온 로라 등은 스테이블 디퓨전을 재시동하기 전까지 메모리에 적재됩니다. 이것은 프롬프트도 마찬가지입니다. 

 

이미지 생성 시 손과 발에 문제가 발생한다면 먼저 아래와 같은 손과 관련된 네거티브 프롬프트를 사용합니다.

bad-hands-5, extra fingers, fewer fingers, strange fingers, bad hands, double heads, missing fingers, bad anatomy, extra limbs, double heads bad anatomy

하지만 대부분은 이렇게 해도 증상이 개선되지는 않습니다. 두 번째로는 임베이딩을 직접 호출해 봅니다. 이 방법은 호불호가 있습니다. 임베이딩과 충돌하는 모델들은 증상이 더 악화됩니다. 

https://civitai.com/models/56519/negativehand-negative-embedding

negative_hand Negative Embedding - negative_hand | Stable Diffusion Textual Inversion | Civitai

위의 링크는 이전 임베이딩의 오류를 해결하기 위해 개발 한다는 코멘트가 달린 임베이딩 모델 링크입니다. 이 역시 어떤 모델은 정상동작하고 어떤 모델에서는 오류를 일으킵니다. 

 

결론적으로 이미지 생성 시 문제가 발생한다면 일단 모든 임베이딩을 폴더에서 빼고, 리로딩 합니다. 그리고 하나씩 넣으면서 문제가 되는 임베이딩을 찾아내는 것입니다. 이것 만으로도 대부분의 오류는 해결됩니다.

 

스테이블 디퓨전 자체가 손과 관련된 이미지 생성에 오류가 발생하는 이슈가 여전히 존재하기 때문에 근본적인 해결은 손을 집중적으로 훈련한 모델을 직접 생산하는 것입니다.

 

과도한 임베이딩을 사용하기보다는 그때그때 적용해서 사용하는 하이퍼네트웍스를 사용하는 것을 추천 드립니다. 사실 아직까지는 하이퍼네트웍스 모델들이 많지는 않습니다.

https://civitai.com/ 

Civitai | Stable Diffusion models, embeddings, LoRAs and more

시비타이에서 검색 필터에 하이퍼네트웍스를 체크하면 하이버네트웍스 모델들을 모아서 볼 수 있습니다.

임베이딩 제거만으로 원래대로 회복한 손가락들...