OGQ GYN
← 기술 블로그

OGQ GYN Developers Day #5 : Fire Classification with EN675

2022년 7월 15일

  • AI
  • Deep Learning
  • Fire Detection
  • RSCM
  • Conference

OGQ GYN Developers Day는 OGQ GYN의 모델 개발 과정 및 논문 등을 많은 기업 분들께 발표하는 자리로, 매월 마지막 주 수요일에 진행되고 있습니다.

이번 세미나에서는 Fire Classification 모델의 상세한 개발 과정, 성능, 그리고 샘플을 발표하였습니다.

▸Contents

세미나 개요

  • 일시 : 2022년 6월 29일 13:00 ~ 14:00
  • 장소 : Zoom 미팅
  • 참여기업 (가나다순)
    • 베스트디지탈 BEST DIGITAL
    • 셀링스시스템 Cellinx
    • 아이닉스 Eyenix
    • 원우이엔지 WONWOO
    • 웹게이트 WEBGATE
    • 트루엔 TRUEN
  • 순서
    1. 참여 업체 소개
    2. OGQ GYN 발표
    • 사회자: OGQ GYN 우재현 연구원
    • 발표자: OGQ GYN 최연우 연구원
    1. Q&A

1. Previous Presentation Summary

지난 컨퍼런스에서는 Fire Detection의 학습 전략 및 성능에 대해서 소개했습니다.

1-1 Fire Detection Training Strategy

  • Figure 1은 WSSS(Weakly Supervised Semantic Segmentation) 기반 RSCM으로 Pseudo label을 생성하여 Fire Detection 모델을 생성하는 모식도입니다.

1-2 Result

Fire Detection 모델을 학습시키기 위해 사용된 데이터와 성능 정보입니다.

Table 1. Fire Detection Training data Information

  • RSCM과 Fire Detection 모델을 학습시키기 위하여 공통적으로 지와이네트웍스 자체 데이터셋을 사용하였습니다.

  • 아래의 ‘GY FireDetection 40K COCO’ 데이터는 모델 예측 결과를 기반으로 실제 불이 아닌 조명, 안개 등의 모델이 헷갈릴 수 있는 negative data를 확보하여 구성하였습니다. Table 2. GY FireDetection Result

  • EN675 타입의 Fire Detection 모델은 자체 데이터셋에서 validation 73.88%, test 87.11%의 정확도를 달성하였습니다.

  • 현재 Server 타입의 모델은 Classification, Semantic segmentation 두 가지 모델이 있기 때문에 Detection 모델인 EN675타입과의 비교가 불가하여 기재하지 않았습니다. (위) Figure 2. RSCM으로 생성된 Segmentation mask 및 Bounding box 생성 결과<br>(아래) Figure 3. 모델의 샘플 예측 결과

  • Figure 2는 RSCM 기반으로 Segmentation mask를 생성한 결과와 mask에 CCL 기반으로 bounding box를 생성한 결과입니다.

1-3. Label Noise

Figure 4. Label Noise Sample - 1

Figure 5. Label Noise Sample - 2

  • 정답지 마스크를 사람이 직접 생성하는 것이 아니기 때문에 잘못된 정답지로 학습한 경우가 있을 수 있습니다.
  • Figure 4, 5는 화재가 아닌 영역을 화재로 잡거나, 연기의 전체 영역을 잡아주지 못하는 label noise에 대한 이미지입니다.

2. Strategy change

2-1. Review 1

  • 1-3. Label Noise로 인한 Detection 모델의 성능이 저하가 예상됩니다.
  • Inference 속도 및 모델 용량 측면에서 Detection → Classification 이 이점이 있다고 판단하였습니다.

2-2. Review 2

Multi-class

연기, 불꽃 둘 다 예측

Binary-class

연기, 불꽃 구분 없이 모두 예측 가능

  • 학습 데이터의 sample을 확인해보면 애매한 Fire 혹은 smoke 이미지가 많이 존재하기 때문에, Fire, Smoke로 나뉘어져 학습하는 것이 모델이 학습하기 어려울 수 있다고 판단하여 단일 클래스로 학습하는 것을 나눠서 진행하였습니다.
  • 연기, 불꽃을 각각의 class로 학습하는 multi-class와 연기, 불꽃을 하나의 class로 학습하는 binary-class에 대해 실험을 진행하였습니다.

3. Result

3-1. Training data

Fire Classification 모델을 학습시키기 위해 사용된 데이터는 다음과 같습니다.

Table 3. Fire Classification Training data Information

  • ‘GY FireDetection’ 데이터는 OGQ GYN에서 자체수집한 데이터로 구성하였습니다.
  • 아래의 ‘GY FireDetection 40K COCO’ 데이터는 모델 예측 결과를 기반으로 실제 불이 아닌 조명, 안개 등의 모델이 헷갈릴 수 있는 negative data를 확보하여 구성하였습니다.

3-1. Training Result

Table 4. Fire Classification Result

  • Multi-class에 비해 Binary-class가 3.2% 높은 성능으로 나왔습니다.

Figure 7. Hard example image

  • 위 이미지처럼 옅은 연기와 거의 보이지 않은 불꽃으로 인해 단일 클래스로 학습하는 것보다 각각의 Class로 학습하는 것이 모델에 안좋은 영향을 끼쳤을 것이라고 판단하였고 실제 성능 차이가 발생하였습니다.

4. Add Result

4-1 수자원공사 현장 적용

Figure 8. 수자원공사에 화재 Server 타입을 적용한 결과

  • 적용 초기에 야간 순찰, 불빛, 빛번짐 등으로 인해 오검출이 발생하였습니다.

4-2 모델 개선

Table 5. 오검출에 대한 모델 개선 결과

  • 오검출된 사진들에 대해 분석하고 재학습하여 오검출 이미지 37,606장 중 232장으로 약 99.65%의 오검출률을 개선하였습니다.
  • 37,606장은 학습에 사용하지 않고, 다른 데이터셋 보충 및 학습 방법을 통해 개선하였습니다.

5. 개선 방향

  1. Label Noise를 충분히 개선할 수 있다면 다시 Detection 모델로 개발을 진행하는 것이 더 좋을 수 있다고 판단하였고 현재 inductive bias는 higher anootations 및 point annotation을 기반으로 해결 진행중입니다 Figure 9. point annotation example {Background(검은색 point), Fire(빨간색 point), Smoke(파란색 point)}
  2. Classification model 기반으로 확보된 weight는 Self-attention 구조 추가 및 Semi-supervised learning 기법으로 개선 예정입니다.
  3. 추가 데이터셋 및 Server↔EN675 모델 간의 성능 차이를 줄일 수 있는 아이디어를 적용하여 다음 버전 배포 예정입니다.

OGQ GYN의 기술블로그를 비상업적으로 사용 시 출처를 남겨주세요.
상업적 용도를 원하실 경우 문의 부탁드립니다.
E-mail. tech@gynetworks.com

© OGQ Corp. All right reserved.

OGQ GYN의 기술 블로그를 비상업적으로 사용할 때는 출처를 남겨주세요.
상업적 용도로 쓰려면 문의 부탁드립니다. tech@gynetworks.com