OGQ GYN Developers Day는 OGQ GYN의 모델 개발 과정 및 논문 등을 많은 기업 분들께 발표하는 자리로, 매월 마지막 주 수요일에 진행되고 있습니다.
이번 컨퍼런스에서는 Fire Classification 모델의 상세한 개발 과정, 성능, 그리고 샘플을 발표하였습니다.
Contents
Conference 개요
•
일시 : 2022년 6월 29일 13:00 ~ 14:00
•
장소 : Zoom 미팅
•
참여기업 (가나다순)
◦
베스트디지탈 BEST DIGITAL
◦
셀링스시스템 Cellinx
◦
아이닉스 Eyenix
◦
원우이엔지 WONWOO
◦
웹게이트 WEBGATE
◦
트루엔 TRUEN
•
순서
1.
참여 업체 소개
2.
OGQ GYN 발표
•
사회자: OGQ GYN 우재현 연구원
•
발표자: OGQ GYN 최연우 연구원
3.
Q&A
1. Previous Presentation Summary
지난 컨퍼런스에서는 Fire Detection의 학습 전략 및 성능에 대해서 소개했습니다.
1-1 Fire Detection Training Strategy
_Tech_(5)-1.png&blockId=2df8154f-2338-4689-9814-3a5617439efc)
•
Figure 1은 WSSS(Weakly Supervised Semantic Segmentation) 기반 RSCM으로 Pseudo label을 생성하여 Fire Detection 모델을 생성하는 모식도입니다.
1-2 Result
Fire Detection 모델을 학습시키기 위해 사용된 데이터와 성능 정보입니다.
-2.png&blockId=7059295d-e103-40e8-b14f-4ce7c4822954)
Table 1. Fire Detection Training data Information
•
RSCM과 Fire Detection 모델을 학습시키기 위하여 공통적으로 지와이네트웍스 자체 데이터셋을 사용하였습니다.
•
아래의 ‘GY FireDetection 40K COCO’ 데이터는 모델 예측 결과를 기반으로 실제 불이 아닌 조명, 안개 등의 모델이 헷갈릴 수 있는 negative data를 확보하여 구성하였습니다.
-3.png&blockId=4e5c3376-6181-44b3-a6b4-aaea2f389125)
Table 2. GY FireDetection Result
•
EN675 타입의 Fire Detection 모델은 자체 데이터셋에서 validation 73.88%, test 87.11%의 정확도를 달성하였습니다.
•
현재 Server 타입의 모델은 Classification, Semantic segmentation 두 가지 모델이 있기 때문에 Detection 모델인 EN675타입과의 비교가 불가하여 기재하지 않았습니다.
(위) Figure 2. RSCM으로 생성된 Segmentation mask 및 Bounding box 생성 결과
(아래) Figure 3. 모델의 샘플 예측 결과
•
Figure 2는 RSCM 기반으로 Segmentation mask를 생성한 결과와 mask에 CCL 기반으로 bounding box를 생성한 결과입니다.
1-3. Label Noise
Figure 4. Label Noise Sample - 1
Figure 5. Label Noise Sample - 2
•
정답지 마스크를 사람이 직접 생성하는 것이 아니기 때문에 잘못된 정답지로 학습한 경우가 있을 수 있습니다.
•
Figure 4, 5는 화재가 아닌 영역을 화재로 잡거나, 연기의 전체 영역을 잡아주지 못하는 label noise에 대한 이미지입니다.
2. Strategy change
2-1. Review 1
•
1-3. Label Noise로 인한 Detection 모델의 성능이 저하가 예상됩니다.
•
Inference 속도 및 모델 용량 측면에서 Detection → Classification 이 이점이 있다고 판단하였습니다.
2-2. Review 2
Multi-class
연기, 불꽃 둘 다 예측
-6.png&blockId=649786d6-3e0e-4465-8f62-d66a09f64d6a)
Binary-class
연기, 불꽃 구분 없이 모두 예측 가능
-7.png&blockId=bfb0a6ff-e761-4a92-bac1-f979d23b4cf0)
•
학습 데이터의 sample을 확인해보면 애매한 Fire 혹은 smoke 이미지가 많이 존재하기 때문에, Fire, Smoke로 나뉘어져 학습하는 것이 모델이 학습하기 어려울 수 있다고 판단하여 단일 클래스로 학습하는 것을 나눠서 진행하였습니다.
•
연기, 불꽃을 각각의 class로 학습하는 multi-class와 연기, 불꽃을 하나의 class로 학습하는 binary-class에 대해 실험을 진행하였습니다.
3. Result
3-1. Training data
Fire Classification 모델을 학습시키기 위해 사용된 데이터는 다음과 같습니다.
-2.png&blockId=8cfa737b-715c-47dd-a2df-a4aab8ca99e4)
Table 3. Fire Classification Training data Information
•
‘GY FireDetection’ 데이터는 OGQ GYN에서 자체수집한 데이터로 구성하였습니다.
•
아래의 ‘GY FireDetection 40K COCO’ 데이터는 모델 예측 결과를 기반으로 실제 불이 아닌 조명, 안개 등의 모델이 헷갈릴 수 있는 negative data를 확보하여 구성하였습니다.
3-1. Training Result
-4.png&blockId=79818457-385d-4ee4-99fa-edbdea8ea827)
Table 4. Fire Classification Result
•
Multi-class에 비해 Binary-class가 3.2% 높은 성능으로 나왔습니다.
Figure 7. Hard example image
•
위 이미지처럼 옅은 연기와 거의 보이지 않은 불꽃으로 인해 단일 클래스로 학습하는 것보다 각각의 Class로 학습하는 것이 모델에 안좋은 영향을 끼쳤을 것이라고 판단하였고 실제 성능 차이가 발생하였습니다.
4. Add Result
4-1 수자원공사 현장 적용
Figure 8. 수자원공사에 화재 Server 타입을 적용한 결과
•
적용 초기에 야간 순찰, 불빛, 빛번짐 등으로 인해 오검출이 발생하였습니다.
4-2 모델 개선
-5.png&blockId=9a6ab10b-bd55-4c1a-9a98-5c79f80fbd3e)
Table 5. 오검출에 대한 모델 개선 결과
•
오검출된 사진들에 대해 분석하고 재학습하여 오검출 이미지 37,606장 중 232장으로 약 99.65%의 오검출률을 개선하였습니다.
•
37,606장은 학습에 사용하지 않고, 다른 데이터셋 보충 및 학습 방법을 통해 개선하였습니다.
5. 개선 방향
1.
Label Noise를 충분히 개선할 수 있다면 다시 Detection 모델로 개발을 진행하는 것이 더 좋을 수 있다고 판단하였고 현재 inductive bias는 higher anootations 및 point annotation을 기반으로 해결 진행중입니다
Figure 9. point annotation example {Background(검은색 point), Fire(빨간색 point), Smoke(파란색 point)}
2.
Classification model 기반으로 확보된 weight는 Self-attention 구조 추가 및 Semi-supervised learning 기법으로 개선 예정입니다.
3.
추가 데이터셋 및 Server
EN675 모델 간의 성능 차이를 줄일 수 있는 아이디어를 적용하여 다음 버전 배포 예정입니다.
EN675 모델 간의 성능 차이를 줄일 수 있는 아이디어를 적용하여 다음 버전 배포 예정입니다.Search
.jpg)
OGQ GYN의 기술블로그를 비상업적으로 사용 시 출처를 남겨주세요.
상업적 용도를 원하실 경우 문의 부탁드립니다.
E-mail. tech@gynetworks.com
OGQ Corp. All right reserved.