.jpg)
OGQ GYN Developers Day는 OGQ GYN의 모델 개발 과정 및 논문 등을 많은 기업 분들께 발표하는 자리로, 매월 마지막 주 수요일에 진행되고 있습니다.
이번 컨퍼런스에선 PointWSSIS 소개 및 데모를 진행하고, EN675 적용 아이디어에 대해 발표하였습니다.
Contents
Conference 개요
•
일시 : 2023년 06월 28일 13:00 ~ 14:00
•
장소 : Zoom 미팅
•
참여기업 (가나다순)
◦
베스트디지탈 BEST DIGITAL
◦
웹게이트 WEBGATE
•
순서
1.
참여 업체 소개
2.
OGQ GYN 발표
•
사회자: OGQ GYN 우재현 연구원
•
발표자: OGQ GYN 오다연 연구원
3.
Q&A
1. Previous Presentation Summary
지난 컨퍼런스에서는 DDPM(Denoising Diffusion Probabilistic Model)을 기반으로 생성한 Inpainting Samples을 소개해드렸습니다.
Inpainting model 활용하여 생성한 결과 (실외)
Inpainting model 활용하여 생성한 결과 (실내)
화재 검출 모델 학습을 목표로 할 때, 화재 상황을 시연하여 데이터를 준비해야 합니다. 그러나, 이러한 상황을 여러번 연출하여 데이터를 준비하는 것은 어렵습니다.
이러한 데이터 생성 방법을 활용한다면, 준비하기 어려운 학습 데이터를 생성하여 학습 데이터로 활용함으로써 검출 성능을 높일 수 있을 것으로 기대하고 있습니다.
2. Introduction
mask-level labeling의 어려움
instance segmentation methods에서 높은 성능을 달성하기 위해 가장 좋은 조건은, 풍부한 segmentation labels을 데이터셋으로 사용하는 것입니다.
그러나, bounding-box 또는 point labels 대비, segmentation label은 큰 금전적 비용과 작업자의 노력이 요구됩니다.
Type | Formula | Time (sec/img) |
Full mask | 77.1 classes/img * 1s/class +
7.2 inst/img * 79s/mask | 645.9 |
Bounding box | 77.1 classes/img * 1s/class +
7.2 inst/img * 7s/bbox | 127.5 |
Point | 77.1 classes/img * 1s/class +
2.9 class/img * 2.4s/point +
(7.2inst/img – 2.9class/img) * 0.9s/point | 87.9 |
Image-level (Tag)
| 80 class/img * 1 s/class | 80
|
WSIS와 SSIS
이러한 비용을 줄이기 위해, 다음의 두 접근법 분류가 있습니다.
Weakly-Supervised Instance Segmentation
segmentation 레이블보다 약한 레이블을 사용하여, instance segmentation 모델을 학습시키는 접근법입니다.
Semi-Supervised Instance Segmentation
적은 양의 instance segmentation 레이블을 사용하여, instance segmentation 모델을 학습시키는 접근법입니다.
이러한 방법들은 비용 면에서 잠재력을 보여주었으나, segmentation labels을 사용한 접근법 대비 큰 성능 차이가 존재합니다.
SSIS의 문제점
특히, SSIS는 종종 다음의 학습 파이프라인을 채택합니다.
(1) 이미지에 대해 Proposals 추출
(2) 각 Proposal에 대해, Mask 생성
이러한 구조로 인해, Mask Branch의 성능이 우월하더라도, Proposal이 없거나 잘못된다면 그에 준하는 성능을 낼 수 없습니다. 즉, Proposal branch에서 병목이 발생하는 것입니다.
이러한 관찰을 통해, 정확한 instance proposals을 얻는 것이, 정확한 마스크 표현을 생성하고 SSIS 네트워크를 개선하는데 도움이 될 것임을 알 수 있습니다.
3. Method
Task definition
•
Point label을 사용하는 WSSIS라는 새로운 학습 프로토콜을 제안합니다.
•
Point가 효과적인 guidance를 제공할 수 있음을 확인합니다.
학습 순서는 크게 두 단계로 나눠지지만, 세부적으로 보면 다음의 네 단계를 가집니다.
point label과 약간의 segmentation label을 사용하므로, 레이블링 비용이 절감된다는 것이 PointWSSIS의 장점입니다.
FPN head
대부분의 접근법은 multi-scale 예측을 위해, FPN 아키텍처를 채택합니다. FPN은 작은 instance부터 큰 instance까지 인식할 수 있는 여러 feature를 가지고 있습니다. instance mask를 생성하기 위해, 여러 feature 중 어느 level의 feature로부터 proposal을 추출할지 신중한 접근이 요구됩니다.
Adaptive Pyramid-Level Selection
point labels의 위치에서, 최대의 confidence score를 달성한 레이어에서 instance mask를 생성할 수 있도록 합니다.
MaskRefineNet
MaskRefineNet(이하 MRN)는 본 논문에서 핵심이라고 할 수 있는, 단순하지만 효과적인 post-hoc refinement method 입니다.
이 방법은 image, point와 teacher network가 예측한 rough mask의 세 가지 소스를 바탕으로, teacher network에서 생성한 rough 마스크를 개선합니다.
개선 원인
1.
teacher network의 prior knowledge를 사용합니다.
MRN은 teacher network가 생성한 rough mask를 입력으로 받으므로, 예측에 대한 일반적인 오류를 어떻게 보정할지 학습합니다.
2.
input point로부터 guidance를 받습니다.
point는 겹치는 인스턴스 및 잘못 예측된 픽셀을 인식하기 위해, 정확한 목표 인스턴스 신호(accurate target instance cue)로 동작합니다.
4. Experiments
Quantitative Evaluation
PointWSSIS는 적은 fully labeled dataset을 사용하면서, fully-supervised learning 메서드와 비교할만한 매우 경쟁력 있는 성능을 제공함을 시사합니다.
게다가, 모델 학습을 위한 레이블링 비용은 절반 정도로 적게 요구됩니다. (Baseline인 SOLOv2 대비)
Qualitative Evaluation
5% 미만의 fully-labeled dataset을 사용하는 상황에서도, 다양한 크기의 인스턴스를 적절히 분할할 수 있음을 나타냅니다.
5. For EN675
BoxRefineNet
Detection 모델인 SSDLite를 통한 예측에 대해 박스 결과를 개선하는 네트워크입니다.
Box 정확도 및 False Positive를 개선할 수 있을 것으로 기대합니다.
Search
OGQ GYN의 기술블로그를 비상업적으로 사용 시 출처를 남겨주세요.
상업적 용도를 원하실 경우 문의 부탁드립니다.
E-mail. tech@gynetworks.com
OGQ Corp. All right reserved.