배경
데이터셋 미사용 객체 제거(Dataset-Free Object Removal)는 사전에 정답 쌍을 학습시키지 않고, 훈련된 확산 모델의 생성 능력을 활용해 이미지 내 특정 객체를 지우는 기술입니다. 단순히 빈 공간을 채우는 것을 넘어, 가려졌던 원래의 배경 구조와 맥락을 일관성 있게 복원하는 것을 목표로 합니다.
기존 기술의 한계
기존 방식은 어텐션을 마스크 영역내 어텐션을 차단하는 방식에 의존했으나, 이는 전경 객체를 배경으로 오인해 엉뚱한 물체를 다시 그리는 재생성 문제나 배경 질감을 손상시키는 시각적 오류를 발생시켰습니다. 이에 따라 어텐션 직접 조작 대신 다중 모달 대형 언어 모델(MLLM, Multimodal Large Language Model)의 논리적 추론 능력을 통한 해결이 요구되었습니다. 다중 모달 대형 언어 모델이란 텍스트뿐만 아니라 이미지, 영상 등 복수의 입력 양식을 동시에 이해하고 추론할 수 있는 대규모 언어 모델입니다.
접근
OGQ GYN은 추가 데이터 없이 배경 유사도를 향상시키며 여러 확산 모델에 즉시 적용 가능한 EraseLoRA 기술을 개발하였습니다. 다중 모달 대형 언어 모델을 통해 전경과 배경을 논리적으로 분리하고 배경 요소를 자연스럽게 통합하는 새로운 접근 방식을 제시함으로써, 기존의 단순 어텐션 마스킹 방식이 갖는 구조적 한계를 극복하였습니다.
동작 방식
EraseLoRA는 먼저 배경 인지형 전경 제외(BFE, Background-aware Foreground Exclusion) 단계에서 다중 모달 대형 언어 모델을 활용해 지워야 할 객체, 남겨야 할 전경, 복원할 배경을 논리적으로 구분합니다. 이후 배경 인지형 복원 및 하위 유형 통합(BRSA, Background-aware Restoration and Subtype Aggregation) 단계에서 저랭크 적응(LoRA, Low-Rank Adaptation)을 활용한 테스트 시간 최적화를 진행합니다. 저랭크 적응이란 사전 훈련된 대형 모델의 가중치를 전체 재학습 없이 소수의 저차원 매개변수만 조정하여 새로운 과업에 효율적으로 적응시키는 경량 미세조정 기법입니다. 추론된 배경 요소들을 퍼즐 조각처럼 학습하며 재구성 손실과 퍼즐 손실을 통해 마스크 영역을 최적화함으로써 원본과 이질감 없는 복원을 수행합니다.
성과
OGQ GYN 연구팀은 배경 유사도 0.746(기존 대비 +23% 향상), 전경 잔여물 지표 0.151(기존 대비 47% 감소)을 달성했습니다. 특히 저랭크 적응 병합 사용으로 추론 시 추가 연산 비용없이 고난도 복원 기술의 효율성을 증명하였습니다.