stable diffusion 프롬프트에 한글을 사용하자

 

스테이블 디퓨전에서 프롬프트 입력 시 한글을 사용하는 방법을 알아봅니다. 한글 프롬프트 번역기는 2종 정도 있는데, 이번에 포스팅할 내용은 Prompt Translator라는 확장 기능입니다. 

 

Prompt Translator의 번역 기반은 메타( 전 페이스북)의 번역기를 기반으로 합니다. 세계 50여개의 언어를 번역할 수 있다고 합니다. 설치하기 전에 사용소감을 미리 밝히자면, 자연어 번역 만족도는 약한 편입니다. 단어 위주의 번역을 지원하고 있으며 영어의 한글음(헤어, 디테일 등)은 오번역이 되므로 이점에 주의해야 합니다. 전반적으로는 파파고나 구글번역기를 웹UI와 오가면서 사용하는 것보다 좀 편리하다 싶은 정도입니다. 프롬프트의 각종 문법은 그대로 적용이 됩니다.

 

Prompt Translator 설치

웹UI의 확장 탭에서 찾아서 설치하는 방법도 있고 깃허브의 주소를 가져와 설치하는 방법도 있습니다. 일반적인 확장기능 설치와 다르지 않습니다.

https://github.com/ParisNeo/prompt_translator

GitHub - ParisNeo/prompt_translator: A stable diffusion extension for translating prompts from 50 languages. The objective is to

깃허브의 참조문서를 보면, 번역모델이 메타에서 개발한 mbart-large-50-many-to-one-mmt 모델이라는 소개가 있습니다. 모델 카드를 받을 수 있는 링크가 있습니다만, 번역기를 실행하면 자동으로 받아지는 것 같습니다.

https://huggingface.co/facebook/mbart-large-50-many-to-one-mmt

facebook/mbart-large-50-many-to-one-mmt · Hugging Face

직접 모델을 설치할 경우 설치 경로는

\stable-diffusion-webui\extensions\prompt_translator\scripts\models 입니다.

 

사용법

설치를 완료한 후에 웹UI를 리부팅해주면 화면 하단에 Prompt Translator메뉴가 나옵니다. 여기서 몇 가지 설정을 해주면 됩니다.

번역기를 활성화시켜주고 소스언어를 선택해 주면 끝입니다. 그래고 프롬프트 란에 한글로 입력하면 자동번역되어 실행이 됩니다.

 

기능 테스트 결과

1. 자연어 번역이 매끄럽지 못합니다.

2. 단어 형식의 프롬프트를 사용하는 게 효과적입니다.

3. 영어의 한글발음(포니테일, 헤어, 스마일 등)은 번역이 제대로 되지 않습니다.

4. 영어와 혼용 시에도 번역은 이상없이 잘됩니다.

5. 로라 등 모델의 호출부호와 혼용시에도 잘 작동됩니다.

6. 프롬프트의 기본 문법(기호)을 그대로 사용합니다.(예 : <> , () (()) 등)

 

다음은 테스트 영상입니다.

https://youtu.be/NSMGdlBU2O0