프롬프트의 이해와 AI웹툰

 

이미지 생성형 AI에서 가장 중요한 것이 프롬프트입니다. 오늘은 이러한 프롬프트의 개념 및 구조 등에 대해서 알아봅니다. 

 

이미지 생성 AI, 특히 Stable Diffusion과 같은 확산 모델에서 '프롬프트(Prompt)'는 사용자가 원하는 내용을 AI에게 전달하는 가장 핵심적인 수단입니다. 프롬프트는 AI가 어떤 종류의 이미지를 생성해야 하는지를 지시하는 텍스트 명령입니다.

 

프롬프트의 구조

프롬프트는 자연어(사람의 언어)로 작성된 지시문으로, AI 모델이 이를 해석하여 시각적인 결과물로 변환합니다. 효과적인 프롬프트는 단순히 나열된 단어의 조합이 아니라, AI가 이미지를 더 잘 이해하고 생성할 수 있도록 체계적으로 구성해야 합니다. AI는 이 텍스트를 내부적으로 수치화된 "임베딩(embedding)"으로 변환하여 이미지 생성 과정에 반영합니다.

 

🌽 생성 방향 제시

AI에게 무엇을 그릴지, 어떤 스타일로 그릴지, 어떤 분위기를 연출할지 등 전반적인 이미지의 방향을 제시합니다.

 

🥒 세부 사항 지정

이미지에 포함되어야 할 객체, 배경, 색상, 조명, 구도, 예술적 기법 등 구체적인 세부 사항을 명시합니다.

 

🌶️ 부정적 요소 배제 (Negative Prompt)

원치 않는 요소나 스타일을 명시하여 생성 이미지에서 해당 요소가 나타나지 않도록 지시합니다.

 

 

🌿 긍정 프롬프트 (Positive Prompt)

긍정 프롬프트는 AI가 이미지에 포함해야 할 내용을 지시합니다.

 

🍞 작성 원칙

구체적이고 명확하게 : 모호한 단어보다는 구체적인 묘사를 사용합니다. ("예쁜 꽃"보다는 "붉은 장미, 활짝 핀, 이슬 맺힌")

 

🥨 중요도 순서

일반적으로 프롬프트의 앞쪽에 위치한 단어들이 AI에 더 큰 영향을 미칩니다. 중요한 키워드를 앞에 배치합니다.

​🥯 키워드 분리

쉼표(,)로 키워드를 분리하여 AI가 각 단어를 독립적으로 인식하도록 돕습니다.

🧀 가중치 조절 (선택 사항)

일부 인터페이스(Automatic1111 등)에서는 (word:1.2)와 같이 괄호와 숫자를 사용하여 특정 키워드의 가중치를 조절할 수 있습니다.

🧇 불필요한 단어 제거

"a", "an", "the"와 같은 관사나 불필요한 전치사는 생략하는 것이 좋습니다.

🍔단수형 사용

일반적으로 명사는 단수형으로 작성하는 것이 좋습니다. ("trees"보다는 "tree")

 

 

기본 구조 (일반적인 권장 순서)

🍇 품질/스타일 (Quality/Style)

이미지의 전반적인 품질과 예술적 스타일을 정의합니다.(예: masterpiece, best quality, high resolution, cinematic lighting, oil painting, digital art, anime style, photorealistic)

​

👩‍⚕️ 주요 피사체 (Main Subject)

이미지의 가장 중요한 객체나 인물을 명확하게 설명합니다.(예: a majestic lion, a beautiful woman, a futuristic city)

​

🍉 세부 사항 (Details/Attributes of Subject)

주요 피사체의 특징, 상태, 복장 등을 구체적으로 묘사합니다.(예: with a golden mane, wearing a flowing red dress, on a hoverboard)

​

🍈 배경 및 환경 (Background/Environment)

피사체가 놓인 배경이나 주변 환경을 묘사합니다.(예: in a lush jungle, overlooking a neon-lit skyline, on a rocky mountain peak)

​

🍊 조명 및 분위기 (Lighting/Atmosphere)

이미지의 조명 상태, 시간대, 전반적인 분위기를 설정합니다.(예: golden hour, dramatic shadows, misty atmosphere, volumetric lighting, cyberpunk lighting)

​

🍋 예술적 기법/추가 효과 (Artistic Techniques/Extra Effects)

특정 카메라 렌즈, 화풍, 렌더링 방식 등을 추가하여 시각적 효과를 높입니다.(예: bokeh, depth of field, wide angle lens, concept art, unreal engine, blender 3d)

 

 

🌿 부정 프롬프트 (Negative Prompt)

부정 프롬프트는 AI가 이미지에 포함해서는 안 될 내용이나 피해야 할 특성을 지시합니다. 이는 생성 이미지의 품질을 크게 향상시킬 수 있습니다.

​

🦀 저품질/아티팩트 관련

low quality, bad anatomy, deformed, ugly, blurry, grainy, out of focus, text, signature, watermark, extra limbs, fused fingers, mutated hands

​

🦑 원치 않는 스타일/요소

nsfw, nudity, cartoon, sketch, duplicate, cropped, bad perspective

​

🐡 모델별 특정 아티팩트

사용 중인 모델이 특정 유형의 아티팩트를 자주 생성한다면, 이를 부정 프롬프트에 추가합니다.

​

🐳 작성 원칙

긍정 프롬프트와 유사하게 쉼표로 분리하고, 중요한 키워드를 앞에 배치합니다. 자주 발생하는 문제점들을 미리 등록해두고 사용하는 것이 효율적입니다.

 

 

프롬프트의 역할

AI는 프롬프트의 단어들을 학습된 "개념 공간" 내의 벡터로 변환합니다. 이 벡터는 이미지의 특징과 밀접하게 연관되어 있습니다.

🍱 개념 매핑

AI는 "dog"이라는 단어를 입력받으면, 학습된 수많은 개의 이미지 특징(털, 귀, 코 등)을 연상하는 벡터로 변환합니다.

🥮 복합적인 개념

여러 단어가 결합될 때 (예: "fluffy golden retriever"), AI는 각각의 개념(fluffy, golden, retriever)을 조합하여 더 구체적인 시각적 특징을 예측합니다.

🥡 잠재 공간 탐색

AI는 이 프롬프트 벡터를 "가이드" 삼아 잠재 공간(노이즈로 가득 찬)에서 프롬프트에 가장 잘 맞는 이미지를 찾아 디노이징 과정을 반복합니다.

 

🌿 프롬프트의 한계 및 보완 (ControlNet, LoRA, Embedding)

프롬프트만으로는 모든 것을 제어하기 어렵습니다. 때문에 AI는 텍스트를 통해 이미지를 "이해"하지만, 복잡한 구도나 특정 스타일의 미묘한 차이, 인물의 정확한 포즈 등은 텍스트만으로 완벽하게 전달하기 어렵습니다. 이러한 한계를 보완하기 위해 다음과 같은 기술들이 활용됩니다.

🍵 ControlNet

이미지의 특정 구조(자세, 윤곽선, 깊이 등)를 시각적으로 제어하는 데 사용됩니다. 

🍺 LoRA / DoRA / LyCORIS

특정 스타일, 캐릭터, 의상 등을 학습하여 기본 모델에 적용하는 소형 모델입니다. 프롬프트로만 표현하기 어려운 고유한 스타일을 구현하는 데 효과적입니다.

🥃 임베딩(Embeddings)

특정 단어(예: "EasyNegative")를 학습하여 부정 프롬프트로 활용하거나, 새로운 개념을 AI에 가르치는 기술입니다.

🧉 하이퍼네트워크(Hypernetworks)

특정 스타일을 학습하는 또 다른 형태의 소형 모델입니다.

 

결론적으로, 프롬프트는 AI 이미지 생성의 시작점이며, 사용자가 AI에게 원하는 바를 전달하는 가장 기본적인 언어입니다. 효과적인 프롬프트 작성은 경험과 실험을 통해 숙달되며, ControlNet과 같은 추가 기술과 결합될 때 AI 이미지 생성의 가능성은 더욱 무한해집니다.