OGQ GYN Developers Day는 OGQ GYN의 모델 개발 과정 및 논문 등을 많은 기업 분들께 발표하는 자리로, 매월 마지막 주 수요일에 진행되고 있습니다.
이번 세미나에선 PointWSSIS 소개 및 데모를 진행하고, EN675 적용 아이디어에 대해 발표하였습니다.
▸Contents
세미나 개요
- 일시 : 2023년 06월 28일 13:00 ~ 14:00
- 장소 : Zoom 미팅
- 참여기업 (가나다순)
- 베스트디지탈 BEST DIGITAL
- 웹게이트 WEBGATE
- 순서
- 참여 업체 소개
- OGQ GYN 발표
- 사회자: OGQ GYN 우재현 연구원
- 발표자: OGQ GYN 오다연 연구원
- Q&A
1. Previous Presentation Summary
지난 컨퍼런스에서는 DDPM(Denoising Diffusion Probabilistic Model)을 기반으로 생성한 Inpainting Samples을 소개해드렸습니다.
화재 검출 모델 학습을 목표로 할 때, 화재 상황을 시연하여 데이터를 준비해야 합니다. 그러나, 이러한 상황을 여러번 연출하여 데이터를 준비하는 것은 어렵습니다.
이러한 데이터 생성 방법을 활용한다면, 준비하기 어려운 학습 데이터를 생성하여 학습 데이터로 활용함으로써 검출 성능을 높일 수 있을 것으로 기대하고 있습니다.
2. Introduction
mask-level labeling의 어려움
instance segmentation methods에서 높은 성능을 달성하기 위해 가장 좋은 조건은, 풍부한 segmentation labels을 데이터셋으로 사용하는 것입니다.
그러나, bounding-box 또는 point labels 대비, segmentation label은 큰 금전적 비용과 작업자의 노력이 요구됩니다.
| Type | Formula | Time (sec/img) |
|---|---|---|
| Full mask | 77.1 classes/img * 1s/class + 7.2 inst/img * 79s/mask | 645.9 |
| Bounding box | 77.1 classes/img * 1s/class + 7.2 inst/img * 7s/bbox | 127.5 |
| Point | 77.1 classes/img * 1s/class + 2.9 class/img * 2.4s/point + (7.2inst/img – 2.9class/img) * 0.9s/point | 87.9 |
| Image-level (Tag) | 80 class/img * 1 s/class | 80 |
WSIS와 SSIS
이러한 비용을 줄이기 위해, 다음의 두 접근법 분류가 있습니다.
Weakly-Supervised Instance Segmentation
segmentation 레이블보다 약한 레이블을 사용하여, instance segmentation 모델을 학습시키는 접근법입니다.
Semi-Supervised Instance Segmentation
적은 양의 instance segmentation 레이블을 사용하여, instance segmentation 모델을 학습시키는 접근법입니다.
이러한 방법들은 비용 면에서 잠재력을 보여주었으나, segmentation labels을 사용한 접근법 대비 큰 성능 차이가 존재합니다.
SSIS의 문제점
특히, SSIS는 종종 다음의 학습 파이프라인을 채택합니다.
(1) 이미지에 대해 Proposals 추출
(2) 각 Proposal에 대해, Mask 생성
이러한 구조로 인해, Mask Branch의 성능이 우월하더라도, Proposal이 없거나 잘못된다면 그에 준하는 성능을 낼 수 없습니다. 즉, Proposal branch에서 병목이 발생하는 것입니다.
이러한 관찰을 통해, 정확한 instance proposals을 얻는 것이, 정확한 마스크 표현을 생성하고 SSIS 네트워크를 개선하는데 도움이 될 것임을 알 수 있습니다.
3. Method
Task definition
- Point label을 사용하는 WSSIS라는 새로운 학습 프로토콜을 제안합니다.
- Point가 효과적인 guidance를 제공할 수 있음을 확인합니다.
학습 순서는 크게 두 단계로 나눠지지만, 세부적으로 보면 다음의 네 단계를 가집니다.
point label과 약간의 segmentation label을 사용하므로, 레이블링 비용이 절감된다는 것이 PointWSSIS의 장점입니다.
FPN head
대부분의 접근법은 multi-scale 예측을 위해, FPN 아키텍처를 채택합니다. FPN은 작은 instance부터 큰 instance까지 인식할 수 있는 여러 feature를 가지고 있습니다. instance mask를 생성하기 위해, 여러 feature 중 어느 level의 feature로부터 proposal을 추출할지 신중한 접근이 요구됩니다.
Adaptive Pyramid-Level Selection
point labels의 위치에서, 최대의 confidence score를 달성한 레이어에서 instance mask를 생성할 수 있도록 합니다.
MaskRefineNet
MaskRefineNet(이하 MRN)는 본 논문에서 핵심이라고 할 수 있는, 단순하지만 효과적인 post-hoc refinement method 입니다.
이 방법은 image, point와 teacher network가 예측한 rough mask의 세 가지 소스를 바탕으로, teacher network에서 생성한 rough 마스크를 개선합니다.
개선 원인
- teacher network의 prior knowledge를 사용합니다.
MRN은 teacher network가 생성한 rough mask를 입력으로 받으므로, 예측에 대한 일반적인 오류를 어떻게 보정할지 학습합니다. - input point로부터 guidance를 받습니다.
point는 겹치는 인스턴스 및 잘못 예측된 픽셀을 인식하기 위해, 정확한 목표 인스턴스 신호(accurate target instance cue)로 동작합니다.
4. Experiments
Quantitative Evaluation
PointWSSIS는 적은 fully labeled dataset을 사용하면서, fully-supervised learning 메서드와 비교할만한 매우 경쟁력 있는 성능을 제공함을 시사합니다.
게다가, 모델 학습을 위한 레이블링 비용은 절반 정도로 적게 요구됩니다. (Baseline인 SOLOv2 대비)
Qualitative Evaluation
5% 미만의 fully-labeled dataset을 사용하는 상황에서도, 다양한 크기의 인스턴스를 적절히 분할할 수 있음을 나타냅니다.
5. For EN675
BoxRefineNet
Detection 모델인 SSDLite를 통한 예측에 대해 박스 결과를 개선하는 네트워크입니다.
Box 정확도 및 False Positive를 개선할 수 있을 것으로 기대합니다.
OGQ GYN의 기술블로그를 비상업적으로 사용 시 출처를 남겨주세요.
상업적 용도를 원하실 경우 문의 부탁드립니다.
E-mail. tech@gynetworks.com
© OGQ Corp. All right reserved.