그림 생성의 향방을 결정하는 옵션들

스테이블 디퓨전의 이미지 생성에 있어서 모든 옵션들이 각각의 영향을 미치지만 특히 결정적인 영향을 미치는 것들이 있습니다. 이것들을 알아보기 전에 먼저 스테이블 디퓨전이 이미지를 생성하기까지의 구성요소를 알아봐야 합니다.

위 그림에서 오늘은 설정 값에 대한 내용을 다뤄볼까 합니다. 이미지 생성에 크게 영향을 미치는 값이 CFG Scale과 Denoising strength 인데요. 이것은 프롬프트와 관계가 있습니다.

 

TXT2IMAGE

CFG Scale은 수치가 높을수록 프롬프트의 의존도가 올라갑니다. 일반적으로는 7~9 사이의 값을 많이 사용합니다. 이 값이 낮으면 AI의 자유도가 올라갑니다. 또한 너무 높으면 이미지 생성 시 제시되지 않은 프롬프트의 해석에 대한 오류로 이미지가 깨지거나 전혀 엉뚱한 이미지가 생성되기도 합니다.

 

T2I에서 Denoising strength는 Hires. fix를 켰을때 노출되는 설정인데요. 기본적으로 CFG Scale을 통하여 1차 이미지 생성을 하고 이를 바탕으로 Hires. fix를 통하여 업스케일을 할 때 업스케일의 노이즈 강도를 결정하는 것으로 수치가 낮으면 보정을 전혀 하지 않고, 수치가 높으면 심한 보정으로 전혀 다른 이미지를 생성할 수 있습니다. 일반적으로는 0.5~0.7을 많이 사용합니다. Denoising strength는 업스케일 값과 Sampling steps 및 모델의 학습정도, 로라의 사용 등의 영향을 받습니다.

어떤경우에는 0.3에서도 선명한 결과를 출력하는 경우도 있고 그렇지 않는 경우도 있습니다. 사용자들의 모델과 설정값이 모두 동일하지 않기에 여기서 제시하는 표준값은 일반적인 경우의 값으로 자신이 사용하는 모델 및 기타 설정값에 수치를 조절해 가면서 최적의 값을 찾아야 합니다. 이 의미는 AI의 모든 값들은 도미노식으로 상호간에 영향을 미치므로 공식화 된 값들을 정할 수 없다는 의미 입니다. 

 

T2I에서 Denoising strength 값의 변화에 따른 이미지 생성시 극단적인 예시를 보여 드리죠.

0.4는 이미지가 흐릿하게 생성되었습니다. 하지만 포즈 등의 변화가 전혀 없었습니다. 0.7과 0.9는 크게 차이가 보이지 않습니다만 이미지 변화가 있었습니다. 이 모델은 테스트 용으로 디노이징의 변화를 알아보기 위헤 테스트한 결과 입니다.

 

- Denoising strength 0.9에서 이미지 생성 과정

Denoising strength 0.9의 이미지 생성과정을 보면 중간에 이미지 포즈가 바뀌는 걸 볼 수 있습니다. 0.7에서는 이러한 현상이 현저히 줄어듭니다.

 

- Denoising strength 0.7에서 이미지 생성 과정

0.7의 경우 이미지 생성 과정에서 포즈 등의 변화가 거의 발생하지 않는 것을 볼 수 있습니다.

 

IMAGE2IMAGE

이미지2이미지에서는 처음부터 CFG Scale, Denoising strength의 2가지 옵션을 설정할 수 있도록 구성되어 있습니다. 다만 이 2가지 옵션 중 Denoising strength는 T2I와는 조금 다릅니다.

I2I는 기본적으로 기준이 되는 이미지를 제공합니다. 때문에 이 기준 이미지를 중심으로 프롬프트의 강도와 AI의 자유도를 결정하여 이미지를 생성합니다.

해서 CFG Scale은 프롬프트를 인용하되 기준 이미지의 범주에서 추가 생성하거나 약간의 변형을 시도합니다. 다만, 얼굴 부분은 이미지에 의존하기보다는 현재 로드되어 있는 체크포인트 모델의 특성을 많이 반영합니다. 만약에 Restore faces 옵션을 체크한다면 이미지의 얼굴을 거의 무시하고 체크포인트 모델의 특성을 따를 수 있습니다. CFG Scale 강도는 일반적으로 7~9를 많이 사용합니다. I2I에서는 CFG Scale강도를 좀 더 올려도 이미지가 과도하게 왜곡되지는 않습니다만, 역시 한계점에 이르면 이미지가 무너진다는 점은 동일합니다.

I2I에서는 Denoising strength값이 매우 중요하게 작용합니다. 이 값이 낮으면 기준 이미지를 그대로 출력할 가능성이 있으며 높으면 기준 이미지를 무시하고 자유로운 AI 생성 이미지를 출력할 수 있습니다. 일반적인 값은 0.3~0.5입니다. 0.5가 넘어서면 AI의 자유도가 급격히 올라가고 0.3 이하로 떨어지면 기준 이미지를 그대로 출력하는 경우가 발생합니다.

 

I2I에서 프롬프트를 적용해 간단하게 웃거나 울거나 하는 등의 표정을 변형할 수 있습니다.