웹툰AI를 시작하기 위해 필요한 것들

이 글은 AI 이미지생성기를 사용해보고 싶은데 어떻게 하는지 방법을 모르는 분들을 위해 아주 기초적인 내용을 다루고 있습니다.

 

델리E-2나 미드저니 등을 이용하여 AI이미지를 생성하는 것은 실험적 의미 이외는 큰 의미가 없습니다. 본격적으로 사용하기 위해서는 Stable Diffusion을 직접 설치하여 사용하는 방법이 최선이라고 생각 합니다. 해서 Stable Diffusion을 설치하여 사용한다는 가정하에 필요한 사항과 작업과정을 정리해 봤습니다.

 

[요약]

꼭 필요한거 : Stable Diffusion + 모델카드 + 프롬프트 = Ai이미지 생성

1. 자신의 PC에 Stable Diffusion WebUI버전 설치하기

2. civitai.com에서 훈련된 모델 가져오기

3. 필요에 따라 확장모델(로라, 하이퍼네트워크, 임베이딩) 가져오기

4. 프롬프트 구해서 자동 입력하기

5. 실행해서 이미지 뽑기

 

AI 이미지생성기의 종류는?

알려진 바로는 가장 많은 사용자층을 확보하고 있는 Stable Diffusion과 미드저니, 구글에서 개발만 해놓고 서비스를 유보하고 있는 이마젠 정도가 Ai 이미지생성기로 회자되는 듯 싶습니다. 일반적으로 웹에서 서비수하거나 설치해 쓰는 버전들이 대부분 Stable Diffusion을 기반으로 하고 있는데요. 이것은 Stable Diffusion이 누구나 무료로 사용 할 수 있는 오프소스이기 때문입니다. 그래서 오늘은 Stable Diffusion을 기준으로 웹툰AI에 입문하기 위한 준비 과정을 알아 보려 합니다.

 

준비사항

PC(로컬 사용자의 경우) : 엔비디아 그래필 카드가 장착 된 PC가 필요 합니다. 웹툰AI를 시전하기에 최소사양은 8G VRAM을 장착한 GTX1080 이상의 장비가 최소 사양이라고 생각 합니다.

 

코랩 구글드라이브 사용자의 경우 : 구글 드라이브에 설치하여 사용하는 경우로 제대로 사용하기 위해서는 용량 증설을 위해 유료 결제를 시전해야 합니다. 또한 최근 Stable Diffusion 사용에 관한 제한 공고가 있어 아마도 일일 생성 이미지 제한이 있을듯 싶습니다.

 

1. SD설치하기

오늘은 자신의 PC에 설치하여 사용하는 방법과 이에 대한 준비사항을 알아 봅니다. Stable Diffusion은 윈도용과 MAC용으로 제공되므로 맥유저의 경우 MAC용 Stable Diffusion을 설치하면 됩니다.

 

내가 사용할 Stable Diffusion 버전은 어떤게 좋을까? 이에 관한 글을 링크 합니다.

 

Stable Diffusion 어떤 버전을 사용할까?

가장 쉬운 Stable Diffusion은 이지 디퓨전 입니다. 하지만 제공하지 않는 기능이 많아 제대로 사용하기엔 적합하지 않습니다. 가장 많은 유저들이 사용하는 버전은 웹UI버전 입니다. 그리고 강력한 기능을 제공하는 버전은 ComfyUI 버전으로 노드 방식의 UI를 사용하고 있어서 블랜더나 언리얼의 블루프린트를 사용해 보신 분들은 이해 하기 쉬울 것 입니다. 여기선 가장 대중적인 WebUI방식의 준비 사항을 알아 봅니다.

 

웹툰AI : 내 PC에 Stable Diffusion WebUI 설치하기

설치 과정은 위 링크의 설명을 참조 하시기 바랍니다.

 

내 PC에 설치가 되었다고 AI가 알아서 이미지를 생성해 주는 것은 아닙니다. 먼저 훈련 된 모델이 있어야 합니다. 웹UI를 설치하면 기본으로 제공되는 모델이 v1-5-pruned-emaonly.safetensors라는 스테이블 디퓨전(SD)1.5버전입니다. 참고로 SD는 현재 2.1까지 버전업이 되어 있습니다. 하지만 모두들 SD1.5만 주로 사용하고 있습니다. 왜 그럴까요?!

 

2. 모델 가져오기

내PC에 설치한 SD에 이제 기본 모델 말고 새로운 모델을 설치해 봅니다. 기본 모델로 뭔가를 만들기에는 길이 너무 멀기 때문에 다른 사람들이 미리 훈련 시킨 모델을 사용해 봅니다. 훈련된 모델이 가장 많은 곳은 civitai.com입니다. 이곳을 방문하여 모델을 가져오기 전에 모델의 종류를 알아 볼 필요가 있습니다.

☆ 기본모델 : 체크포인트(설치 경로 : \stable-diffusion-webui\models\Stable-diffusion) 파일 포맷은 .safetensors나 혹은 .ckpt입니다. 주요모델의 형상을 결정하는 모델 입니다.

☆ 확장모델 : 로라(설치경로 : \stable-diffusion-webui\models\Lora) 파일 포맷은 .safetensors나 혹은 .ckpt입니다. 로라는 모델의 스타일, 화풍 등을 훈련시킨 모델입니다. 프롬프트에서 <>안에 넣어 사용하거나 모델에서 제공하는 트리거 워드를 입력하여 사용 합니다.

☆ 확장모델 : 라이코리스, 로하(별도의 확장파일을 추가 설치해야 사용 할 수 있으므로 여기서는 제외 합니다)

☆ 하이퍼네트워크 : (설치경로 : \stable-diffusion-webui\models\hypernetworks) 파일 포맷은 .pt로 특별한 효과등에 사용합니다.

☆ VAE : (설치경로 : \stable-diffusion-webui\models\VAE) 파일포맷은 .pt 입니다. 결과 이미지에 선명도 등의 영향을 미치는 파일입니다. 이 파일은 모델 파일에서 별도로 제공하는 경우가 있고 아닌 경우가 있습니다.

☆ 임베이딩 : (설치경로 : \stable-diffusion-webui\embeddings) 파일포맷은 .pt입니다. 간혼 포맷이 다른 경우도 있습니다. 이 임베이딩은 주로 네거티브 프롬프트용으로  사용됩니다. 가령 외곡된 신체를 보정해 주거나 하는 기능을 가지고 있으며 사용방법은 네거티브 프롬프트란에 호출하여 사용하면 됩니다.

종류가 꽤 많은데 이 외의 것들은 당장 필요한 것들이 아니므로 설명을 생략합니다. 그럼 시비타이에서 모델을 가져 오도록 합니다.

 

웹툰AI : AI학습모델의 보고 civitai.이용법

이곳은 가입해야 모델을 다운 받을 수 있으므로 위 링크를 참조 하셔서 가입 및 사용법을 숙지하셔야 합니다. 어렵지는 않습니다.

 

3. 모델 사용하기

이제 원하는 모델을 해당 폴더에 넣었으면 사용을 해봐야 합니다. 그 전에 웹UI창에서 화면 상단의 오른쪽 부근에 팔광 화투패 모양의 아이콘이 있습니다. 이걸 눌러 봅니다. 

그럼 아래 그럼처럼 모델 카트가 보일 것입니다.

크롬브라우저에서 한글 자동번역 켜놓으면 모든 메뉴가 한글로 보입니다. 하지만 약간의 오역이 있네요. 각 항목마다 위 그림처럼 모델의 카드가 보이는데요. 그렇지 목한 경우가 있습니다. 이것은 모델파일만 있고 이미지 파일이 없는 경우 입니다. 이때 해당 모델 파일과 같은 이름의 이미지 파일을 동일한 폴더에 넣어주면 되는데요. 확장자는 jpg와 png만 적용 됩니다.

위 그림처럼 같은 이름의 파일이면 됩니다. 원하는 이미지로 카드 모양을 만들어 둬도 구분하기 쉬울 것입니다.

 

웹툰AI : Stable Diffusion 모델 사용하기

웹UI에서 모델을 사용하는 방법을 설명해 놓은 링크 입니다. 

 

4. 프롬프트 구해서 적용하기

위 링크의 모델 사용하기에 프롬프트 구하기와 적용하기에 대한 안내가 되어 있으므로 자세한 설명은 생략하고, 프롬프트의 기능에 대해서 잠시 알아 볼께요.

(ultra realistic, 8k, best quality, masterpiece, realistic, photorealistic), high quality, ultra-detailed, Highly detailed, (long black hair), hazel eyes, ulzzang-6500-v1.1, iu1, smiling,  pleasure, looking at viewer, (perfect female body, athletic:1.2), large breast, slim, (high detailed skin:1.2), pussy, <lora:realisticVaginasGod_godpussy1:0.15>, <lora:breastinclassBetter_v141:0.4>,(open white lab coat, open white lace bra, open white lace panties), ((stethoscope)),fluorescent light, <lora:lightAndShadow_v10:0.6>,  <lora:iu_V35:0.8>

Negative prompt: (bad-artist:0.7), (worst quality, low quality:1.4), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, extra fingers, fewer fingers, strange fingers ,bad hand, disfigured, wrinkle, fat, character signature, double heads, bad anatomy, ((futa)), broken face, body hair, (worst quality:1.5), (low quality:1.5), (normal quality:1.5), lowres, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, loli, blurry background, grotesque, 3d max, desaturated, bad-image-v2-39000, bad_prompt_version2, EasyNegative, NG_DeepNegative_V1_75T, bad-hands-5, mole

Size: 1024x1584, Seed: 747983693, Model: perfectWorld_v2Baked, Steps: 50, Sampler: DPM++ SDE Karras, CFG scale: 10, Mask blur: 4, Model hash: 79e42fb744, Face restoration: CodeFormer, Denoising strength: 0.5

가령 위와 같은 프롬프트가 있다면 가운데 네거티브 프롬프트는 해서는 안될 명령어를 모아 놓은 것이고, 맨 아래 칸은 여러가지 설정을 모아 놓은 것입니다. 몰룬 맨 위는 실행 해야 할 프롬프트겠죠.

() 구문 : 프롬프트 구문중에 ()표가 있으면 ()안에 있는 프롬프트는 강조해서 실행 하라는 명령입니다. ((()))이렇게 하면 아주 중요하다는 뜻이겠죠.

<>구문 : 로라나 하이퍼케트워크카드를 적용하는 프롬프트 입니다. 맨뒤에 수치가 나오는데 :뒤의 수치는 적용 강도 입니다. 일반적으로 0.5에서 0.9가 적장 하다고들 합니다. 이 수치를 변경해보면 다양한 결과를 얻을 수 있습니다.

트리거 워드 : 프롬프트 중에 ulzzang-6500-v1.1같은 프롬프트는 트리거 워드로 해당 모델이 있어야 작동 합니다. 물론 이 구문도 맨 뒤에 :넣고 수치를 주어 실행 강도를 조절 할 수 있습니다.

 

각 구문사이엔 콤마(,)로 구분하고 긴 문장이 아닌 간단한 어절은 수행이 가능 합니다. long black hair 이런식으로 구문을 넣어도 긴 검은 머리를 그려 줍니다.

설정 부분에서 가장 중요한 것은 실행단계(Steps: 50)와 수행강도(CFG scale: 10) 입니다. CFG는 수치가 낮을수록 AI의 자유도가 높아져 외계에서 온 명화를 그립니다. 싸이즈의 경우 512x512가 기본 입니다. 이 수치가 너무 높으면  애러가 납니다.

Sampler: DPM++ SDE Karras 샘플러 중에는 Karras가 붙은 것들이 웹툰화를 잘 해주고, 그렇지 않은 경우엔 실사를 잘 뽑아 줍니다. 대체적으로 애니메를 프롬프트로 사용하면 그림형태로 결과물을 뽑아주고 포토란 프롬프트를 넣어주면 실사 이미지를 뽑아 줍니다. 

프롬프트는 많이 수정하면서 해봐야 감을 잡을 수 있습니다.

 

5. 실행해서 이미지 뽑기

이미지는 처음엔 1장으로 셋팅 되어 있습니다. 하지만 여러장을 봅을 수 있는데요. 아직은 AI가 생성하는 이미지가 랜덤해서 여러장 중에 원하는 그림을 결과를 얻기 위해 여러장 출력하는 경우가 많습니다. 

이미지의 경로는 텍스트2이미지의 경우 \stable-diffusion-webui\outputs\txt2img-images 폴더에 자동으로 저장 됩니다. 여러장을 한번에 뽑는 경우 썸네일 이미지가 별도로 저장 되는데요. 경로는 \stable-diffusion-webui\outputs\txt2img-grids 입니다. 

이미지를 생성하는 방법에는 여러가지가 있는데, 주로 사용하는 것들은 텍스트2이미지와 이미지2이미지 입니다. 쳇번째는 프롬프트로만 이미지를 생성하는 것이고 두번째는 이미지를 넣고 유사한 결과로 이미지를 생성하는 것입니다. 2번째 방법에서도 프롬프트는 사용 됩니다. 

 

Stable Diffusion은 이미지를 자동 생성하는데는 어려운 점이 없습니다. 하지만 원하는 이미지로 생성하려면 많은 노력이 필요합니다. 가령 모델 학습과 더불어 각종 연출에 대한 학습도 이뤄져야 원하는 결과를 얻을 수 있기 때문에 웹툰 학품을 연출 하기 위해서는 그만큼 많이 훈련 된 모델이 필요하다는 것입니다. 대충 훈련된 모델로는 원하는 결과를 제대로 구현할 수 없습니다. 당장은 웹툰의 배경을 대신 작업하는 용도로 AI를 사용 할수도 있겠지만 이 역시 일정 훈련이 되어야 가능 합니다. 랜덤하게 생성되는 이미지로는 작품 연출을 할 수 없으니까요.

 

오늘은 Stable Diffusion의 설치와 모델사용의 과정을 정리해 봤습니다. Stable Diffusion의 버전과 모델의 종류와 사용용도, 프롬프트 구문 등을 사용하는 정도에 따라 전혀 다른 이미지가 생성 될 수 있습니다. 이런 것들의 조합만으로도 상당히 멋진 이미지를 생성 할 수 있다는 것이 재미 있습니다.