SOLUTION
home
OGQ GYN AI for Image
home

OGQ GYN Developers Day #16 : MARS

게시일
2023/09/15
관련 태그
AI
Deep Learning
Weakly-Supervised Semantic Segmentation
WSSS
MARS
게시자
jeongjh8652@icloud.com
정재희
1 more property
OGQ GYN Developers Day는 OGQ GYN의 모델 개발 과정 및 논문 등을 많은 기업 분들께 발표하는 자리로, 매월 마지막 주 수요일에 진행되고 있습니다.
이번 컨퍼런스에선 ICCV 2023에 Accept된 OGQGYN 자체 연구 논문인 MARS를 소개해드렸습니다.

Contents

Conference 개요

일시 : 2023년 08월 30일 13:00 ~ 14:00
장소 : Zoom 미팅
참여기업 (가나다순)
베스트디지탈 BEST DIGITAL
웹게이트 WEBGATE
순서
1.
참여 업체 소개
2.
OGQ GYN 발표
사회자: OGQ GYN 우재현 연구원
발표자: OGQ GYN 정재희 연구원
3.
Q&A

1. Previous Presentation Summary

지난 컨퍼런스에서는 GPU 모델을 NPU에 적용시킬 때 발생하는 성능 하락을 해결하기 위한 GPU+NPU모델의 개념과 그 성능에 대해 소개해드렸습니다.
GPU 모델을 NPU 모델으로 변환시키기 위해 Quantization을 수행하며 성능 하락이 발생합니다.
Inference 시에는 위 NPU + GPU Inference 그림과 같이 학습된 Converter가 추가되어 NPU의 출력을 원래 GPU의 출력으로 변환하여 동작합니다.
Training 시에는 위 Converter Decoder Training 처럼 NPU의 결과와 GPU의 결과를 pickle 형태로 저장한 뒤에 Converter를 학습합니다.
먼저 NPU feature를 GPU feature로 변환하기에 적합한지 등을 확인하기 위해 PascalVOC 데이터셋을 기준으로 NPU와 GPU의 feature 분포를 측정하였습니다.
Scale은 다르지만 분포의 형태는 비슷한 것으로 관측되었고 feautre value의 scale은 약 21배 차이가 발생하였으며 Converter를 학습할때 스케일링 parameter로 해당 값을 설정하였습니다.
Train
Val
GPU
99.992%
74.361%
NPU
99.502%
76.570%
GPU + NPU
99.498%
75.146%

WSSS

Concept

Weakly-Supervised Semantic Segmentation (WSSS)은 태그 정보만을 가지고 Semantic segmentation을 학습하는 기법입니다
학습 시 segmentation label을 활용하는 Fully-Supervised Semantic Segmentation (FSSS)에 비해 더 간단하고 데이터의 수가 많은 tag label을 활용할 수 있다는 장점이 있습니다.

Problem

Biased objects
WSSS는 tag label만을 활용한다는 특성 상 Biased object 문제가 발생합니다.
예를 들어 WSSS가 ‘train’이라는 태그를 가지고 기차를 학습할 때, 학습 데이터 상의 기차는 대부분 선로 위에 있기 때문에 선로까지 함께 기차라고 학습하는 문제입니다.
기차-선로, 배-물과 같이 biased object를 학습
이와 같은 biased object 문제는 화재 데이터셋을 학습할 때에도 음식, 난로/화로에 대해서도 발생합니다.

MARS

MARS는 이러한 Biased object 문제를 해결하기 위해 제안된 WSSS 모델 학습 기법입니다.

Method

MARS는 Unsupervised Semantic Segmentation (USS)과 WSSS를 동시에 활용합니다.
USS는 이미지를 픽셀 단위의 embedding vector로 만들어 주는데, 같은 객체의 픽셀끼리는 비슷한 embedding을 갖습니다.
USS 결과를 WSSS 결과 기반 background와 foreground로 구분하고, 이 foreground 중 background와 비슷한 픽셀은 WSSS가 잘못 판단한 biased object일 가능성이 크기 때문에 background와 거리가 먼 순서대로 α\alpha%의 점을 구해 평균을 냅니다.
먼저 구한 bias를 제거한 평균값과 가까울 수록 실제 구하고자 하는 객체일 가능성이 높기 때문에 USS 결과에서 유사도를 계산하여 debiased mask를 얻습니다.
잘못 분류되었던 biased object는 이후 단계에서 이용할 것이기 때문에 WSSS결과와 합하여 debiased label을 얻습니다.
debiased label에서 잘못 예측되었던 부분을 teacher network의 output으로 채워넣어 complemented label을 만들어 학습합니다.
이때 teacher network가 잘못 예측할 경우 학습이 불안정해질 수 있기 때문에 teacher network output의 확률값을 기반으로 certain mask를 만들어 가중치로 사용합니다.
만들어진 complemented label을 이용하여 student network를 학습하고, EMA로 teacher network를 학습합니다.
MARS를 활용하여 학습한 네트워크는 현존하는 다른 모든 WSSS 모델들과 비교하였을 때 가장 높은 성능을 보여줍니다.
MARS는 USS와 WSSS 두 모델을 어떤 것이든 변경하여 사용할 수 있으며, 적용하였을 때 일정한 성능 향상을 보여줍니다.

Application

현재 태그 기반 MARS를 이용해 bounding box label을 생성하여 detector를 학습시키는 과정을 계획 중에 있습니다.
이때 bounding box가 이미 있는 데이터 뿐만 아니라 unlabeled set까지 활용할 수 있기 때문에 학습 시 사용할 수 있는 데이터의 수가 극대화되고, 성능 향상을 기대할 수 있습니다.
Search
OGQ GYN Developers Day #22 : ViT-CoMer
OGQ GYN Developers Day #22 : ViT-CoMer
OGQ GYN의 기술블로그를 비상업적으로 사용 시 출처를 남겨주세요. 상업적 용도를 원하실 경우 문의 부탁드립니다. E-mail. tech@gynetworks.com
OGQ Corp. All right reserved.