WebUI Forge::Refiner를 사용해보자

Stable Diffusion WebUI Forge에서 Refiner는 Text2Image 탭에서 이미지 생성의 품질을 더욱 향상시키는 데 사용되는 기능입니다. 특히 SDXL(Stable Diffusion XL)과 같은 고해상도 모델에서 그 중요성이 두드러집니다.

 

Refiner의 개념과 기능

Refiner는 기본 모델(Base Model)이 생성한 초기 이미지(잠재 공간 이미지)를 받아들여, 여기에 추가적인 디테일과 선명도를 더하고 아티팩트를 줄여서 최종 이미지의 품질을 개선하는 역할을 하는 별도의 소형 모델입니다. 마치 스케치 위에 디테일을 추가하고 색을 더하는 화가와 같습니다.

 

🍒 SDXL의 특징

SDXL은 기본 모델 자체가 1024x1024와 같은 고해상도 이미지를 생성하도록 훈련되었습니다. 하지만 이 기본 모델만으로 이미지를 생성하면, 특히 디테일이 복잡한 부분이나 질감 표현에서 부족함이 느껴질 수 있습니다.

🍓 Refiner의 역할

Refiner 모델은 이러한 초기 생성 이미지의 잠재 공간 표현을 "정제(refine)"하여, 피부 질감, 머리카락, 눈동자, 배경의 복잡한 패턴 등 미세한 디테일을 추가하고 전반적인 사실감과 선명도를 높입니다. Refiner는 이미지 생성 과정을 두 단계로 나눕니다. 첫 번째 단계에서 기본 모델이 큰 그림을 그리고, 두 번째 단계에서 Refiner가 세부적인 터치를 더합니다.

 

 

Refiner의 사용법 (Text2Image 탭)

Forge의 Text2Image 탭에서 Refiner를 사용하는 방법은 다음과 같습니다.

🍅 SDXL Base Model 로드

Stable Diffusion checkpoint 드롭다운 메뉴에서 SDXL 기반 모델(예: sd_xl_base_1.0.safetensors)을 선택합니다. Refiner는 SDXL 모델에 최적화되어 있으므로, 반드시 SDXL 기본 모델을 사용해야 합니다.

 

🍎 Refiner Model 로드
Refiner checkpoint 드롭다운 메뉴에서 SDXL Refiner 모델(예: sd_xl_refiner_1.0.safetensors)을 선택합니다. 이 모델은 stable-diffusion-webui-forge/models/Stable-diffusion/ 폴더에 저장되어 있어야 합니다.

 

🥝 Refiner Parameters 설정

Switch at (Refiner Start)

Refiner가 활성화되는 시점을 결정합니다. 이 값은 전체 Steps의 비율로 표현됩니다. 예를 들어, Steps가 30이고 Switch at이 0.8이라면, 처음 30 * 0.8 = 24 스텝까지는 기본 모델이 이미지를 생성하고, 나머지 6스텝(30-24)은 Refiner가 이어서 이미지를 정제합니다.

권장 값

일반적으로 0.7에서 0.8 사이의 값을 권장합니다. 너무 낮은 값(예: 0.5)은 Refiner가 너무 일찍 개입하여 이미지 구조를 변경할 수 있고, 너무 높은 값(예: 0.9 이상)은 Refiner가 충분히 작동할 시간이 없어 효과가 미미할 수 있습니다.

CFG Scale(선택 사항)

Refiner 섹션에도 별도의 CFG Scale을 설정하는 옵션이 있을 수 있습니다. 이는 Refiner 단계에서 프롬프트의 영향을 추가적으로 조절합니다. 일반적으로 기본 CFG Scale과 유사하게 두거나 약간 낮추는 경향이 있습니다.

 

🍇 프롬프트 및 기타 설정

평소처럼 Prompt (긍정 프롬프트)와 Negative Prompt를 작성합니다. Sampling method (샘플링 방식)과 Sampling steps (스텝 수)를 설정합니다. Refiner를 사용할 때는 전체 스텝 수를 충분히 높게(예: 25~40 스텝) 설정하는 것이 좋습니다.
Width, Height는 SDXL 기본 해상도인 1024x1024 또는 그 배수로 설정하는 것이 좋습니다.

 

🍉 Refiner 사용 시 팁
모델 호환성

SDXL 기본 모델과 SDXL Refiner 모델은 서로 짝을 이룹니다. 다른 버전의 SDXL 모델(예: SDXL Turbo)이나 SD1.5 모델에는 SDXL Refiner를 사용하지 않습니다.

필수 여부

Refiner 사용은 필수 사항은 아닙니다. Refiner 없이도 충분히 좋은 이미지를 얻을 수 있지만, 미세한 디테일과 최종 품질 향상에 큰 도움을 줍니다.

스텝 수와의 관계

Switch at 값은 Sampling steps와 밀접한 관련이 있습니다. Sampling steps가 너무 적으면 Refiner가 작동할 단계가 충분하지 않아 효과가 미미할 수 있습니다.

VRAM 사용량

Refiner를 사용하면 이미지 생성 과정에서 모델을 두 번 로드하고 처리하므로, VRAM 사용량이 증가할 수 있습니다. 시스템 사양을 고려하여 사용해야 합니다.

Refiner 전용 프롬프트?

일반적으로는 하나의 긍정/부정 프롬프트 세트를 기본 모델과 Refiner가 공유합니다. 하지만 일부 고급 워크플로우에서는 Refiner 단계에만 적용되는 별도의 프롬프트 가이던스를 주는 방식도 있습니다. Forge의 기본 Refiner 섹션에서는 이러한 기능은 제공되지 않습니다.

 

위 이미지 링크의 시비타이 저장소에서 결과물 이미지를 열람해 보실 수 있습니다.