배경
다중 객체 생성(Multi-Instance Generation)은 사용자의 프롬프트에 포함된 여러 독립적 객체들을 정확한 개수와 속성으로 시각화하는 기술입니다. 다중 객체 생성이란 텍스트 명령에 포함된 복수의 개별 객체를 정확한 수량과 고유 속성으로 이미지에 구현하는 생성 기법입니다. 객체 간 관계를 파악하고 각 객체가 서로의 외형이나 특징을 침범하지 않도록 공간적, 의미적으로 분리하여 생성하는 것이 핵심입니다.
기존 기술의 한계
기존의 학습 불필요(Training-free) 기술들은 교차 어텐션(Cross-attention) 조작에 의존했으나, 객체들이 같은 클래스에 속하거나 유사할 때 경계를 명확히 구분하지 못해 속성이 번지는 의미적 혼합 문제를 해결하기 어려웠습니다. 교차 어텐션이란 서로 다른 유형의 데이터(예: 텍스트와 이미지) 간의 관련성을 계산하여 정보를 교환하는 신경망 메커니즘입니다. ISAC은 의미 할당보다 인스턴스 형성이 선행되어야 한다는 원칙에 근거하여 셀프 어텐션(Self-attention)에 나타나는 초기 레이아웃 정보를 적극 활용합니다. 셀프 어텐션이란 동일한 데이터 내부에서 각 요소가 다른 요소와의 관련성을 스스로 계산하는 메커니즘입니다.
접근
OGQ GYN은 별도의 학습 없이 확산 모델(Diffusion Model) 내부의 셀프 어텐션 맵을 조작하여 객체 간 충돌을 방지하는 최적화 기법인 ISAC을 개발하였습니다. 확산 모델이란 데이터에 점진적으로 노이즈를 추가한 뒤 이를 역으로 제거하는 과정을 학습하여 고품질 이미지를 생성하는 생성 모델입니다. 객체의 형태(Instance)를 먼저 정의한 후 속성(Semantic)을 입히는 방식을 취함으로써, 동일 클래스 내 복수 객체가 존재하는 복잡한 시나리오에서도 각 객체의 고유한 특성을 보존합니다.
동작 방식
ISAC은 먼저 셀프 어텐션 맵을 분석하여 각 객체의 고유 영역을 분리하는 인스턴스 디커플링(Instance Decoupling) 과정을 거칩니다. 인스턴스 디커플링이란 생성 과정에서 서로 다른 객체의 특징 표현을 분리하여 각 객체가 독립적인 공간 영역을 확보하도록 하는 기법입니다. 클러스터링을 통해 객체 수에 맞는 경계를 확립하고 영역 침범 방지 손실 함수를 적용합니다. 이후 생성 후기 단계에서 확립된 구조적 가이드를 교차 어텐션에 주입하여 색상이나 모양 등 고유 속성이 정확한 위치에만 전파되도록 제어함으로써, 속성 혼합 없는 고화질 이미지를 생성합니다.
성과
OGQ GYN 연구팀은 다중 객체 생성 정확도 83%로 기존 최고 수준 성능 대비 +19%p 향상되었으며, 다중 클래스 정확도 부문에서도 52%를 기록하여 기존 모델 대비 2배 이상의 성능 향상을 달성하였습니다.