배경
의미 분할 모델을 학습하려면 픽셀 하나하나에 정답을 표시해야 합니다. 이미지 한 장에 수백 초가 들어 대규모 학습 데이터를 만들기 어렵습니다. 약지도 의미 분할은 이미지에 어떤 물체가 있는지만 알려주는 이미지 단위 라벨로 분할 모델을 학습해 이 비용을 줄이는 방법입니다.
기존 기술의 한계
대부분의 방법은 분류기가 만든 클래스 활성화 맵(CAM)으로 유사 라벨을 만듭니다. 그런데 분류기는 물체를 구분하는 데 가장 도움이 되는 일부만 보면 되기 때문에, 사람의 머리처럼 변별력 높은 좁은 영역에만 강하게 반응하고 몸 전체는 놓칩니다. 게다가 이미지를 조각내어 얻은 CAM과 원본에서 얻은 CAM이 서로 어긋나, 완전지도 학습과의 격차를 키웁니다.
접근
같은 물체라면 조각으로 나눠 본 결과와 통째로 본 결과가 같아야 합니다. Puzzle-CAM은 이 두 결과의 차이를 줄이도록 학습시켜 분류기가 물체 전체를 보게 만듭니다.
동작 방식
이미지를 타일로 쪼개는 퍼즐 모듈과 조각별 CAM을 다시 이어 붙이는 병합 모듈을 둡니다. 원본 CAM과 병합 CAM의 차이를 줄이는 재구성 손실을 분류 손실과 함께 학습합니다. 층을 새로 쌓지 않아 추가 파라미터가 들지 않습니다.
성과
PASCAL VOC 2012에서 같은 수준의 지도를 쓰는 기존 최고 성능을 넘었습니다. 150회 이상 인용되었으며, RS+EPM과 MARS로 이어지는 OGQ GYN 약지도 분할 연구의 출발점입니다.