배경
약지도 의미 분할에서는 대상 클래스와 늘 함께 등장하는 배경이 문제가 됩니다. 기차와 철로, 보트와 바다처럼 붙어 다니는 배경을 모델이 대상으로 잘못 예측합니다. 이를 편향 객체 문제라고 합니다.
기존 기술의 한계
PASCAL VOC 2012에서는 전체 클래스의 35%가 편향 객체를 갖고 있습니다. 기존 편향 제거 방법은 문제가 되는 클래스를 사람이 직접 지목하고 별도 데이터셋을 모아야 해서, 클래스가 많고 관계가 복잡한 실제 데이터에는 적용하기 어려웠습니다.
접근
편향된 특징이 같은 데이터셋 안 다른 이미지의 배경과 닮아 있다는 관찰에서 출발했습니다. 비지도 의미 분할이 학습한 의미적으로 일관된 특징을 쓰면 사람의 개입 없이 편향 객체를 골라낼 수 있습니다.
동작 방식
약지도 분할이 예측한 전경 픽셀에 비지도 의미 분할 기반 군집화를 적용해 대상과 편향 객체를 갈라냅니다. 이어서 다른 이미지의 배경 영역과 거리를 재어 배경에 가까운 쪽을 편향 객체로 판정하고 제거합니다. 편향이 없는 클래스에서 미검출이 늘지 않도록 학습 중 온라인 예측으로 라벨을 보완합니다.
성과
PASCAL VOC 2012 검증 77.7%, 테스트 77.2%, MS COCO 2014 검증 49.4%로 두 벤치마크에서 최고 성능을 기록했습니다. 추가 지도나 별도 데이터셋 없이 여러 약지도 분할 모델의 성능을 일관되게 끌어올렸습니다.