1) 문제 정의
영상 내에서, 사람이 5초 이상 손을 흔들고 있는 수신호를 Bounding Box 를 통해 검출하는 모델을 개발하는 것이 목표입니다.
2) 평가 기준
최종 평가는 영상 단위의 분류 성능으로 이루어집니다.
개발된 모델을 통해 영상 내에서 수신호를 검출한 Bounding Box 좌표로 평가가 진행됩니다.
수신호 검출에 대한 성능을 Bounding Box 기반 F1 Score 를 통해 측정합니다.
•
F1-score는 Precision과 Recall의 조화 평균 값으로 추가 정보는 아래 링크 참조.
3) 평가 방법
항목 | 심사 기준 | 점수 |
1. 성능 | 최종 테스트 셋에 대한 F1 Score | 30점 |
2. 데이터 셋 | 학습 데이터 셋 구축 전략 및 근거 | 20점 |
3. 방법론 | 수신호 검출을 위한 모델 설계 | 20점 |
4. 실험 | 성능 관리를 위한 실험 설계 | 20점 |
5. 완성도 | 전체적인 PPT 자료 구성의 짜임새 | 10점 |
총 | - | 100점 |
•
모델의 성능뿐만 아니라, 학습 데이터 셋을 어떻게 구성했는지를 매우 중요하게 평가합니다.
•
최종 테스트 셋은 결과 제출일 마지막 날 공개되고, 최종 테스트 셋 기준 측정 된 F1 Score 기준 성능 항목에 대한 점수 부여합니다.
4) 외부 데이터 및 사전 학습 모델
•
외부 데이터 및 사전 학습 모델 제한 없이 활용 가능합니다.
•
팀 간의 학습용 이미지는 겹쳐도 되지만, 라벨까지 중복될 경우 데이터 셋 구축 항목의 점수가 0점 처리됩니다.
5) 코드 및 데이터 셋
•
이번 대회는 학생들이 학습 데이터 셋 구축의 모든 과정을 경험하는 것을 도와주는 것이 목표입니다.
•
따라서 모델 학습에 필요한 데이터를 직접 구축해야합니다. (labling, 학습, 테스트까지 모두 포함됩니다)
•
대회 참여자가 작업한 모든 학습 데이터는 OGQ에 심사 목적으로 공개해야합니다.
•
테스트 데이터는 아래 링크를 통해 다운로드 받을 수 있습니다.
◦
(추후 공개 예정)
•
예시 코드는 아래 Github 링크를 통해 다운로드 받을 수 있습니다.
•
모의 성능 평가는 아래 링크를 통해 할 수 있습니다.
•
테스트 영상에 대해 모델이 예측한 Bounding Box 좌표를 담은 CSV 파일로 제출합니다.
◦
(추후 공개 예정)
•
제출 규칙
1.
팀 별 최종 작업한 학습 및 테스트 코드 모두 정리한 뒤 제출합니다. 다른 GPU 환경에서 동일한 정확도가 재현 될 수 있어야 합니다.
2.
최종 제출물은 다음과 같습니다.
a.
팀별 최종 작업한 코드 전체
b.
직접 구축한 학습 데이터 셋 전체
c.
최종 발표 자료 PDF
6) 학습 GPU
•
학습 및 테스트 관련 장비 제한 없습니다.
•
만약 사용 가능한 GPU가 없는 경우 온라인 무료 GPU Colab 활용하시면 됩니다.
7) 제출 규칙 및 방법
1.
팀 별 최종 작업한 학습 및 테스트 코드 모두 정리한 뒤 제출합니다. 다른 GPU 환경에서 동일한 정확도가 재현 될 수 있어야 합니다.
2.
최종 테스트 코드는 영상이 주어졌을 때 검출된 사람, 손을 들고있는 사람에 대한 Bounding Box 좌표를 출력하도록 제출합니다.
3.
코드는 다른 팀과 다르게 작성해야 합니다. 코드 검토 과정에서 다른 팀 간 같은 코드를 활용했다고 보여질 경우 심사 기준에서 제외됩니다.