OGQ GYN Developers Day는 OGQ GYN의 모델 개발 과정 및 논문 등을 많은 기업 분들께 발표하는 자리로, 매월 마지막 주 수요일에 진행되고 있습니다.
이번 세미나에선 ICCV 2023에 Accept된 OGQGYN 자체 연구 논문인 MARS를 소개해드렸습니다.
Contents
세미나 개요
•
일시 : 2023년 08월 30일 13:00 ~ 14:00
•
장소 : Zoom 미팅
•
참여기업 (가나다순)
◦
베스트디지탈 BEST DIGITAL
◦
웹게이트 WEBGATE
•
순서
1.
참여 업체 소개
2.
OGQ GYN 발표
•
사회자: OGQ GYN 우재현 연구원
•
발표자: OGQ GYN 정재희 연구원
3.
Q&A
1. Previous Presentation Summary
지난 컨퍼런스에서는 GPU 모델을 NPU에 적용시킬 때 발생하는 성능 하락을 해결하기 위한 GPU+NPU모델의 개념과 그 성능에 대해 소개해드렸습니다.
•
GPU 모델을 NPU 모델으로 변환시키기 위해 Quantization을 수행하며 성능 하락이 발생합니다.
•
Inference 시에는 위 NPU + GPU Inference 그림과 같이 학습된 Converter가 추가되어 NPU의 출력을 원래 GPU의 출력으로 변환하여 동작합니다.
•
Training 시에는 위 Converter Decoder Training 처럼 NPU의 결과와 GPU의 결과를 pickle 형태로 저장한 뒤에 Converter를 학습합니다.
•
먼저 NPU feature를 GPU feature로 변환하기에 적합한지 등을 확인하기 위해 PascalVOC 데이터셋을 기준으로 NPU와 GPU의 feature 분포를 측정하였습니다.
•
Scale은 다르지만 분포의 형태는 비슷한 것으로 관측되었고 feautre value의 scale은 약 21배 차이가 발생하였으며 Converter를 학습할때 스케일링 parameter로 해당 값을 설정하였습니다.
Train | Val | |
GPU | 99.992% | 74.361% |
NPU | 99.502% | 76.570% |
GPU + NPU | 99.498% | 75.146% |
WSSS
Concept
•
Weakly-Supervised Semantic Segmentation (WSSS)은 태그 정보만을 가지고 Semantic segmentation을 학습하는 기법입니다
•
학습 시 segmentation label을 활용하는 Fully-Supervised Semantic Segmentation (FSSS)에 비해 더 간단하고 데이터의 수가 많은 tag label을 활용할 수 있다는 장점이 있습니다.
Problem
Biased objects
•
WSSS는 tag label만을 활용한다는 특성 상 Biased object 문제가 발생합니다.
•
예를 들어 WSSS가 ‘train’이라는 태그를 가지고 기차를 학습할 때, 학습 데이터 상의 기차는 대부분 선로 위에 있기 때문에 선로까지 함께 기차라고 학습하는 문제입니다.
기차-선로, 배-물과 같이 biased object를 학습
•
이와 같은 biased object 문제는 화재 데이터셋을 학습할 때에도 음식, 난로/화로에 대해서도 발생합니다.
MARS
•
MARS는 이러한 Biased object 문제를 해결하기 위해 제안된 WSSS 모델 학습 기법입니다.
Method
•
MARS는 Unsupervised Semantic Segmentation (USS)과 WSSS를 동시에 활용합니다.
•
USS는 이미지를 픽셀 단위의 embedding vector로 만들어 주는데, 같은 객체의 픽셀끼리는 비슷한 embedding을 갖습니다.
•
USS 결과를 WSSS 결과 기반 background와 foreground로 구분하고, 이 foreground 중 background와 비슷한 픽셀은 WSSS가 잘못 판단한 biased object일 가능성이 크기 때문에 background와 거리가 먼 순서대로 %의 점을 구해 평균을 냅니다.
•
먼저 구한 bias를 제거한 평균값과 가까울 수록 실제 구하고자 하는 객체일 가능성이 높기 때문에 USS 결과에서 유사도를 계산하여 debiased mask를 얻습니다.
•
잘못 분류되었던 biased object는 이후 단계에서 이용할 것이기 때문에 WSSS결과와 합하여 debiased label을 얻습니다.
•
debiased label에서 잘못 예측되었던 부분을 teacher network의 output으로 채워넣어 complemented label을 만들어 학습합니다.
•
이때 teacher network가 잘못 예측할 경우 학습이 불안정해질 수 있기 때문에 teacher network output의 확률값을 기반으로 certain mask를 만들어 가중치로 사용합니다.
•
만들어진 complemented label을 이용하여 student network를 학습하고, EMA로 teacher network를 학습합니다.
•
MARS를 활용하여 학습한 네트워크는 현존하는 다른 모든 WSSS 모델들과 비교하였을 때 가장 높은 성능을 보여줍니다.
•
MARS는 USS와 WSSS 두 모델을 어떤 것이든 변경하여 사용할 수 있으며, 적용하였을 때 일정한 성능 향상을 보여줍니다.
Application
•
현재 태그 기반 MARS를 이용해 bounding box label을 생성하여 detector를 학습시키는 과정을 계획 중에 있습니다.
•
이때 bounding box가 이미 있는 데이터 뿐만 아니라 unlabeled set까지 활용할 수 있기 때문에 학습 시 사용할 수 있는 데이터의 수가 극대화되고, 성능 향상을 기대할 수 있습니다.
Search
.jpg)
OGQ GYN의 기술블로그를 비상업적으로 사용 시 출처를 남겨주세요.
상업적 용도를 원하실 경우 문의 부탁드립니다.
E-mail. tech@gynetworks.com
OGQ Corp. All right reserved.