OGQ GYN Developers Day #16 : MARS

OGQ GYN Developers Day는 OGQ GYN의 모델 개발 과정 및 논문 등을 많은 기업 분들께 발표하는 자리로, 매월 마지막 주 수요일에 진행되고 있습니다.

이번 세미나에선 ICCV 2023에 Accept된 OGQGYN 자체 연구 논문인 MARS를 소개해드렸습니다.

세미나 개요

• 일시 : 2023년 08월 30일 13:00 ~ 14:00
• 장소 : Zoom 미팅
• 참여기업 (가나다순)
  • 베스트디지탈 BEST DIGITAL
  • 웹게이트 WEBGATE
• 순서
  1. 참여 업체 소개
  2. OGQ GYN 발표
  • 사회자: OGQ GYN 우재현 연구원
  • 발표자: OGQ GYN 정재희 연구원
  1. Q&A

1. Previous Presentation Summary

지난 컨퍼런스에서는 GPU 모델을 NPU에 적용시킬 때 발생하는 성능 하락을 해결하기 위한 GPU+NPU모델의 개념과 그 성능에 대해 소개해드렸습니다.

• GPU 모델을 NPU 모델으로 변환시키기 위해 Quantization을 수행하며 성능 하락이 발생합니다.

• Inference 시에는 위 NPU + GPU Inference 그림과 같이 학습된 Converter가 추가되어 NPU의 출력을 원래 GPU의 출력으로 변환하여 동작합니다.
• Training 시에는 위 Converter Decoder Training 처럼 NPU의 결과와 GPU의 결과를 pickle 형태로 저장한 뒤에 Converter를 학습합니다.
• 먼저 NPU feature를 GPU feature로 변환하기에 적합한지 등을 확인하기 위해 PascalVOC 데이터셋을 기준으로 NPU와 GPU의 feature 분포를 측정하였습니다.
• Scale은 다르지만 분포의 형태는 비슷한 것으로 관측되었고 feautre value의 scale은 약 21배 차이가 발생하였으며 Converter를 학습할때 스케일링 parameter로 해당 값을 설정하였습니다.

WSSS

Concept

• Weakly-Supervised Semantic Segmentation (WSSS)은 태그 정보만을 가지고 Semantic segmentation을 학습하는 기법입니다
• 학습 시 segmentation label을 활용하는 Fully-Supervised Semantic Segmentation (FSSS)에 비해 더 간단하고 데이터의 수가 많은 tag label을 활용할 수 있다는 장점이 있습니다.

Problem

• WSSS는 tag label만을 활용한다는 특성 상 Biased object 문제가 발생합니다.
• 예를 들어 WSSS가 ‘train’이라는 태그를 가지고 기차를 학습할 때, 학습 데이터 상의 기차는 대부분 선로 위에 있기 때문에 선로까지 함께 기차라고 학습하는 문제입니다.

• 이와 같은 biased object 문제는 화재 데이터셋을 학습할 때에도 음식, 난로/화로에 대해서도 발생합니다.

MARS

• MARS는 이러한 Biased object 문제를 해결하기 위해 제안된 WSSS 모델 학습 기법입니다.

Method

• MARS는 Unsupervised Semantic Segmentation (USS)과 WSSS를 동시에 활용합니다.
• USS는 이미지를 픽셀 단위의 embedding vector로 만들어 주는데, 같은 객체의 픽셀끼리는 비슷한 embedding을 갖습니다.
• USS 결과를 WSSS 결과 기반 background와 foreground로 구분하고, 이 foreground 중 background와 비슷한 픽셀은 WSSS가 잘못 판단한 biased object일 가능성이 크기 때문에 background와 거리가 먼 순서대로 $\alpha$%의 점을 구해 평균을 냅니다.
• 먼저 구한 bias를 제거한 평균값과 가까울 수록 실제 구하고자 하는 객체일 가능성이 높기 때문에 USS 결과에서 유사도를 계산하여 debiased mask를 얻습니다.
• 잘못 분류되었던 biased object는 이후 단계에서 이용할 것이기 때문에 WSSS결과와 합하여 debiased label을 얻습니다.
• debiased label에서 잘못 예측되었던 부분을 teacher network의 output으로 채워넣어 complemented label을 만들어 학습합니다.
• 이때 teacher network가 잘못 예측할 경우 학습이 불안정해질 수 있기 때문에 teacher network output의 확률값을 기반으로 certain mask를 만들어 가중치로 사용합니다.
• 만들어진 complemented label을 이용하여 student network를 학습하고, EMA로 teacher network를 학습합니다.

Application

• 현재 태그 기반 MARS를 이용해 bounding box label을 생성하여 detector를 학습시키는 과정을 계획 중에 있습니다.
• 이때 bounding box가 이미 있는 데이터 뿐만 아니라 unlabeled set까지 활용할 수 있기 때문에 학습 시 사용할 수 있는 데이터의 수가 극대화되고, 성능 향상을 기대할 수 있습니다.

OGQ GYN의 기술블로그를 비상업적으로 사용 시 출처를 남겨주세요.
상업적 용도를 원하실 경우 문의 부탁드립니다.
E-mail. tech@gynetworks.com

© OGQ Corp. All right reserved.