SOLUTION
home
OGQ GYN AI for Image
home
🔥

OGQ GYN Developers Day #5 : Fire Classification with EN675

게시일
2022/07/15
관련 태그
AI
Deep Learning
Fire Detection
RSCM
Conference
게시자
Woo JaeHyeon
Woo JaeHyeon
1 more property
OGQ GYN Developers Day는 OGQ GYN의 모델 개발 과정 및 논문 등을 많은 기업 분들께 발표하는 자리로, 매월 마지막 주 수요일에 진행되고 있습니다.
이번 컨퍼런스에서는 Fire Classification 모델의 상세한 개발 과정, 성능, 그리고 샘플을 발표하였습니다.

Contents

Conference 개요

일시 : 2022년 6월 29일 13:00 ~ 14:00
장소 : Zoom 미팅
참여기업 (가나다순)
베스트디지탈 BEST DIGITAL
셀링스시스템 Cellinx
아이닉스 Eyenix
원우이엔지 WONWOO
웹게이트 WEBGATE
트루엔 TRUEN
순서
1.
참여 업체 소개
2.
OGQ GYN 발표
사회자: OGQ GYN 우재현 연구원
발표자: OGQ GYN 최연우 연구원
3.
Q&A

1. Previous Presentation Summary

지난 컨퍼런스에서는 Fire Detection의 학습 전략 및 성능에 대해서 소개했습니다.

1-1 Fire Detection Training Strategy

Figure 1은 WSSS(Weakly Supervised Semantic Segmentation) 기반 RSCM으로 Pseudo label을 생성하여 Fire Detection 모델을 생성하는 모식도입니다.

1-2 Result

Fire Detection 모델을 학습시키기 위해 사용된 데이터와 성능 정보입니다.
Table 1. Fire Detection Training data Information
RSCM과 Fire Detection 모델을 학습시키기 위하여 공통적으로 지와이네트웍스 자체 데이터셋을 사용하였습니다.
아래의 ‘GY FireDetection 40K COCO’ 데이터는 모델 예측 결과를 기반으로 실제 불이 아닌 조명, 안개 등의 모델이 헷갈릴 수 있는 negative data를 확보하여 구성하였습니다.
Table 2. GY FireDetection Result
EN675 타입의 Fire Detection 모델은 자체 데이터셋에서 validation 73.88%, test 87.11%의 정확도를 달성하였습니다.
현재 Server 타입의 모델은 Classification, Semantic segmentation 두 가지 모델이 있기 때문에 Detection 모델인 EN675타입과의 비교가 불가하여 기재하지 않았습니다.
(위) Figure 2. RSCM으로 생성된 Segmentation mask 및 Bounding box 생성 결과 (아래) Figure 3. 모델의 샘플 예측 결과
Figure 2는 RSCM 기반으로 Segmentation mask를 생성한 결과와 mask에 CCL 기반으로 bounding box를 생성한 결과입니다.

1-3. Label Noise

Figure 4. Label Noise Sample - 1
Figure 5. Label Noise Sample - 2
정답지 마스크를 사람이 직접 생성하는 것이 아니기 때문에 잘못된 정답지로 학습한 경우가 있을 수 있습니다.
Figure 4, 5는 화재가 아닌 영역을 화재로 잡거나, 연기의 전체 영역을 잡아주지 못하는 label noise에 대한 이미지입니다.

2. Strategy change

2-1. Review 1

1-3. Label Noise로 인한 Detection 모델의 성능이 저하가 예상됩니다.
Inference 속도 및 모델 용량 측면에서 Detection → Classification 이 이점이 있다고 판단하였습니다.

2-2. Review 2

Multi-class
연기, 불꽃 둘 다 예측
Binary-class
연기, 불꽃 구분 없이 모두 예측 가능
학습 데이터의 sample을 확인해보면 애매한 Fire 혹은 smoke 이미지가 많이 존재하기 때문에, Fire, Smoke로 나뉘어져 학습하는 것이 모델이 학습하기 어려울 수 있다고 판단하여 단일 클래스로 학습하는 것을 나눠서 진행하였습니다.
연기, 불꽃을 각각의 class로 학습하는 multi-class와 연기, 불꽃을 하나의 class로 학습하는 binary-class에 대해 실험을 진행하였습니다.

3. Result

3-1. Training data

Fire Classification 모델을 학습시키기 위해 사용된 데이터는 다음과 같습니다.
Table 3. Fire Classification Training data Information
‘GY FireDetection’ 데이터는 OGQ GYN에서 자체수집한 데이터로 구성하였습니다.
아래의 ‘GY FireDetection 40K COCO’ 데이터는 모델 예측 결과를 기반으로 실제 불이 아닌 조명, 안개 등의 모델이 헷갈릴 수 있는 negative data를 확보하여 구성하였습니다.

3-1. Training Result

Table 4. Fire Classification Result
Multi-class에 비해 Binary-class가 3.2% 높은 성능으로 나왔습니다.
Figure 7. Hard example image
위 이미지처럼 옅은 연기와 거의 보이지 않은 불꽃으로 인해 단일 클래스로 학습하는 것보다 각각의 Class로 학습하는 것이 모델에 안좋은 영향을 끼쳤을 것이라고 판단하였고 실제 성능 차이가 발생하였습니다.

4. Add Result

4-1 수자원공사 현장 적용

Figure 8. 수자원공사에 화재 Server 타입을 적용한 결과
적용 초기에 야간 순찰, 불빛, 빛번짐 등으로 인해 오검출이 발생하였습니다.

4-2 모델 개선

Table 5. 오검출에 대한 모델 개선 결과
오검출된 사진들에 대해 분석하고 재학습하여 오검출 이미지 37,606장 중 232장으로 약 99.65%의 오검출률을 개선하였습니다.
37,606장은 학습에 사용하지 않고, 다른 데이터셋 보충 및 학습 방법을 통해 개선하였습니다.

5. 개선 방향

1.
Label Noise를 충분히 개선할 수 있다면 다시 Detection 모델로 개발을 진행하는 것이 더 좋을 수 있다고 판단하였고 현재 inductive bias는 higher anootations 및 point annotation을 기반으로 해결 진행중입니다
Figure 9. point annotation example {Background(검은색 point), Fire(빨간색 point), Smoke(파란색 point)}
2.
Classification model 기반으로 확보된 weight는 Self-attention 구조 추가 및 Semi-supervised learning 기법으로 개선 예정입니다.
3.
추가 데이터셋 및 ServerEN675 모델 간의 성능 차이를 줄일 수 있는 아이디어를 적용하여 다음 버전 배포 예정입니다.
Search
OGQ GYN Developers Day #20 : DHR 기반 EN675 화재 고도화
OGQ GYN Developers Day #20 : DHR 기반 EN675 화재 고도화
OGQ GYN의 기술블로그를 비상업적으로 사용 시 출처를 남겨주세요. 상업적 용도를 원하실 경우 문의 부탁드립니다. E-mail. tech@gynetworks.com
OGQ Corp. All right reserved.