ComfyUI ✨ HiDream 🎨️ Img2Txt

 

ComfyUI에서 참조 이미지를 활용하여 프롬프트를 생성하고 이를 반영하여 이미지를 생성하는 방법을 알아봅니다.

하이드림 모델을 사용하는 방법은 이전 포스팅을 참고 하시기 바랍니다.

https://blog.naver.com/kwoon1004/223862090063

ComfyUI 하이드림 모델을 사용해 보자!

 

프롬프트 생성을 위한 노드는 2종류인데 2가지 사용법을 모두 소개합니다.

 

🍒 WD14 Tagger 설치

https://blog.naver.com/kwoon1004/223869007288

WD14 Tagger 이미지에서 프롬프트 추출하기

WD14 Tagger의 설치 및 사용방법은 이전의 포스팅을 참고하시기 바랍니다. 대부분의 확장 노드는 Manager툴을 사용하여 설치합니다. 검색을 통하여 해당 노드를 찾아 설치하는 것이 더 빠릅니다.

 

 

🍓 joytag노드 설치

joytag 역시 manager를 통해 설치하면 되지만 데스크탑용 ComfyUI PC의 경우 수동으로 모델 폴더를 생성해 줘야 합니다.

 

C:\Users\사용자PC계정\AppData\Local\Programs\@comfyorgcomfyui-electron\resources\ComfyUI\custom_nodes\Comfyui_joytag\checkpoints
이 경로에 모델이 있어야 하는데, 이걸 제대로 복사해 오지 못합니다.(아마도 데스크탑의 변경된 경로를 계산하지 못한 듯싶습니다)

대부분 Comfyui_joytag\checkpoints 이 부분이 생성이 되어 있지 않을 것입니다.

이 폴더들을 직접 생성해 주고, 데스크탑 ComfyUI가 설치된 폴더에서 필요한 파일을 복사해 오면 됩니다.

 

ComfyUI 설치 폴더, 
사용자설치드라이브\ComfyUI_W\custom_nodes\Comfyui_joytag\checkpoints
이경로의 폴더에서 3가지 파일을  복사해서 가져오면 됩니다.

 

config.json
model.safetensors
top_tags.txt

 

model.safetensors 파일의 경우 
https://huggingface.co/fancyfeast/joytag/tree/main

fancyfeast/joytag at main

에서 다운로드하여

사용자설치드라이브\ComfyUI_W\custom_nodes\Comfyui_joytag\checkpoints
폴더에 저장한 후 

 

C:\Users\사용자PC계정\AppData\Local\Programs\@comfyorgcomfyui-electron\resources\ComfyUI\custom_nodes\Comfyui_joytag\checkpoints 폴더에 복사해 넣으면 됩니다.

참 쉽죠?!

 

🥑 전체 워크플로

hidream_fast_fp8(LoAR)Tag.json

0.02MB

 

참고용 워크플로 참부 합니다. 디퓨전이나 VAE 모델 등의 경로가 다를 수 있습니다. 노드가 없는 경우는 경고창이 뜹니다. 이때는 해당 노드를 manager에서 찾아 설치해 주면 됩니다. joytag 노드와 WD14 Tagger 노드를 같이 배치하고 필요에 따라 비활성화, 활성화해서 사용할 수 있도록 설계했습니다. 하이드림 모델에 관한  세부 설정은 왼쪽 맨 앞단의 설명문을 참고하시면 됩니다.

 

🥝 joytag를 이용한 프롬프트 추출

joytag의 경우 CXH_JoyTag 노드와 Show Text 🐍 노드를 사용합니다. 흐름도는 CXH_JoyTag 노드에서 이미지의 정보로 프롬프트를 추출하여 Show Text 🐍 노드로 넘깁니다. 이걸 Show Text 🐍에서 join strings 노드에 연결해 줍니다. 이렇게 해주면 join strings 노드에서 Text Multiline박스에 있는 사용자정의 프롬프트와 Show Text 🐍를 합쳐서 포지티브 프롬프트의 txte 박스에 넘기게 됩니다.

 

🍉 WD14 Tagger를 이용한 프롬프트 추출

참조 이미지를 WD14 Tagger🐍 노드에 연결하고 WD14 Tagger🐍 노드의 STRING를 join strings 노드에 연결해 주면 됩니다. WD14 Tagger와 함께 추출된 프롬프트를 선별해 주는 노드와 함께 사용하면 좋은 결과를 얻을 수 있습니다.

 

프롬프트를 직접 작성하는 것보다 참조 이미지에서 프롬프트를 추출하여 사용하면 좀 더 편리하다는 점에서 활용도가 높은 거 같습니다.