배경
약지도 의미론적 분할(WSS, Weakly-supervised Semantic Segmentation)은 사람이 일일이 픽셀 단위로 영역을 지정하는 노동 집약적인 작업 대신, 이미지 수준의 클래스 라벨(Image-level tags)만을 활용하여 픽셀단위의 객체 분할을 수행하는 기술입니다. 약지도 의미론적 분할이란 정밀한 픽셀 단위 주석 없이 이미지 수준의 약한 지도 신호만으로 각 픽셀이 어떤 의미적 범주에 속하는지를 학습하는 세그멘테이션 기법입니다. 이 분야는 픽셀 단위 주석이 없는 상황에서도 고품질의 분할 마스크를 생성하여 최종적으로 세그멘테이션 모델을 학습시키는 것을 지향합니다.
기존 기술의 한계
기존 약지도 의미론적 분할 기술은 이미지 내에 여러 클래스가 인접해 있을 때, 상대적으로 영역이 큰 클래스가 작은 클래스를 덮어버려 소수 클래스가 사라지는 소수 클래스 소실(Vanishing Minor Classes) 문제를 야기했습니다. 실제로 VOC(Visual Object Classes) 데이터셋의 35%, COCO(Common Objects in Context) 데이터셋의 75%가 이러한 인접 영역으로 구성되어 있습니다. 따라서 해당 영역에서 발생하는 인식 오류를 해소하지 않고서는, 모델의 전반적인 세그멘테이션 성능 고도화에 대한 한계가 존재합니다.
접근
OGQ GYN은 이러한 한계를 극복하기 위해 비지도 의미론적 분할(USS, Unsupervised Semantic Segmentation) 특징과 약지도 의미론적 분할 특징을 계층적으로 결합하는 DHR(Dual Features-Driven Hierarchical Rebalancing) 기술을 도입하였습니다. 비지도 의미론적 분할이란 인간이 부여한 어떠한 주석도 없이 모델 스스로 시각적 유사성을 기반으로 이미지 내 영역을 분류하는 기법입니다. 비지도 의미론적 분할 특징은 색상이나 모양 같은 시각적 유사성을 바탕으로 서로 다른 범주를 구분하는 데 탁월하며, 약지도 의미론적 분할 특징은 인간이 부여한 태그를 통해 시각적으로 유사한 클래스를 구별해내는 데 강점이 있습니다. DHR은 비지도 특징으로 큰 범주를 먼저 나눈 뒤 그 안에서 약지도 특징으로 세부 클래스를 다시 나누는 계층적 재균형 전략을 제시합니다.
동작 방식
DHR은 인접 객체 간의 경계를 뚜렷하게 구분하기 위해 최적 운송(OT, Optimal Transport) 이론과 이중 특징(Dual Features)을 결합한 3단계 계층 구조를 가집니다. 최적 운송이란 한 분포에서 다른 분포로 가장 효율적으로 질량을 이동시키는 수학적 최적화 이론으로, 픽셀 간 할당 문제를 정교하게 해결하는 데 활용됩니다. 첫 번째 단계에서는 최적 운송 이론을 적용하여 초기 클래스 활성화 맵(CAM, Class Activation Map)에서 발생하는 거짓 양성(False Positive) 오류를 억제하고, 소실되었던 소수 클래스의 초기 시드 영역을 정교하게 복원합니다. 클래스 활성화 맵이란 이미지 분류 모델이 특정 클래스를 인식할 때 주목하는 영역을 시각화한 열 지도입니다. 두 번째 단계에서는 비지도 의미론적 분할 특징을 활용해 서로 다른 범주에 속하는 객체 간 경계를 명확히 분리하여 윤곽을 형성합니다. 마지막으로 약지도 의미론적 분할 특징을 투입하여 같은 범주 내 세부 클래스 간의 미세한 차이를 변별함으로써, 나란히 붙어 있는 다양한 물체들이 각자의 영역을 유지하며 뚜렷하게 구분되는 고품질 분할 지도를 생성합니다.
성과
OGQ GYN 연구팀은 국제 공인 벤치 마크인 PASCAL VOC 데이터셋 평가에서 평균 교차 합집합 비율 79%를 달성하여 완전 지도 학습(Full Supervision) 모델 성능의 98.5% 수준에 도달하였습니다. 특히 인접 객체가 많은 Context 데이터셋에서 의사 마스크(Pseudo-mask) 품질이 64.9%를 기록, 기존(51.3%) 대비 +13.6% 향상된 성능을 보여줌으로써 약지도 의미론적 분할 기술의 완성도를 정량적으로 확인하였습니다. 의사 마스크란 모델이 자동으로 생성한 근사적 분할 마스크로, 인간이 직접 제작한 정답 마스크를 대체하여 학습에 활용됩니다.