이 공간은 어떻게 쓸까요?
•
진행사항(Task) 관련 정보를 작성
•
팀원에게 진행사항(Task) 작업 요청서를 작성 등
1) 문제 정의
이미지에 포함된 랜드마크(명소, 건축물, 자연물 등)가 어떤 장소인지 인식하는 모델을 개발하는 것이 목표입니다.
학습은 글로벌 랜드마크 데이터로만 진행하며, 평가는 한국 랜드마크에 대한 인식 성능으로 이루어집니다. 즉, 학습 과정에서 보지 못한 한국 랜드마크를 얼마나 잘 식별하는지가 핵심입니다.
모델 수단에는 제한이 없습니다.
Anchor
Positive
Negative
2) 평가 기준
평가는 Triplet 단위로 구성된 테스트 셋에 대해 이루어집니다. 각 triplet은 (Anchor, Positive, Negative) 세 이미지로 구성되며, A1·A2는 같은 랜드마크, B1은 다른 랜드마크의 이미지입니다.
참가자는 각 triplet에 대해 두 cosine similarity 값을 제출합니다.
•
sim(A1, A2): 같은 랜드마크 간 유사도
•
sim(A1, B1): 다른 랜드마크 간 유사도
채점은 Accuracy 로 이루어집니다. sim(A1, A2) > sim(A1, B1) 이면 정답(TP), 그렇지 않으면 오답(FP)으로 계산하여, 전체 triplet에 대한 정답 비율을 점수로 부여합니다.
3) 평가 방법
항목 | 심사 기준 | 점수 |
1. 성능 | 최종 테스트 셋에 대한 Accuracy 점수 | 40점 |
3. 방법론 | 랜드마크 인식 모델 및 파이프라인 설계의 독창성 | 40점 |
4. 실험 | 성능 관리를 위한 실험 설계 | 10점 |
5. 완성도 | 전체적인 PPT 자료 구성의 짜임새 | 10점 |
총 | - | 100점 |
•
최종 테스트 셋은 결과 제출일 마지막 날 공개되고, 최종 테스트 셋 기준 Accuracy 점수로 성능 항목에 대한 점수 부여합니다.
가산점 요소
다음 항목은 방법론·실험 평가 시 가산점 요소로 반영됩니다.
•
임베딩 DB / 벡터 검색 등 추론 가속화를 위한 시스템 설계
4) 외부 데이터 및 사전 학습 모델
•
외부 데이터 및 사전 학습 모델 제한 없이 활용 가능합니다.
•
단, 학습에 한국 랜드마크 데이터를 직접 사용하는 것은 금지합니다.
•
단, 제공한 데이터 외 추가 활용 시 사용한 이유는 명확해야 합니다.
5) 코드 및 데이터 셋
•
학습 데이터는 아래 링크를 통해 받을 수 있습니다.
•
테스트 코드는 아래 Colab 링크를 통해 확인할 수 있습니다. (테스트 데이터 링크 포함)
•
최종 평가는 각 triplet에 대한 cosine similarity 두 값을 담은 CSV 파일로 제출합니다.
6) 학습 GPU
•
학습 및 테스트 관련 장비 제한 없습니다.
•
만약 사용 가능한 GPU가 없는 경우 온라인 무료 GPU Colab 활용하시면 됩니다.
7) 제출 규칙 및 방법
1.
팀 별 최종 작업한 학습 및 테스트 코드 모두 정리한 뒤 제출합니다. 다른 GPU 환경에서 동일한 정확도가 재현 될 수 있어야 합니다.
2.
최종 테스트 코드는 triplet (A1, A2, B1)이 주어졌을 때, 각 이미지의 임베딩을 추출하여 sim(A1, A2)와 sim(A1, B1) 두 cosine similarity 값을 CSV로 출력하도록 작성하여 제출합니다.
3.
학습에 테스트 데이터가 사용됐을 경우 심사 기준에서 제외됩니다.
4.
코드는 다른 팀과 다르게 작성해야 합니다. 코드 검토 과정에서 다른 팀 간 같은 코드를 활용했다고 보여질 경우 심사 기준에서 제외됩니다.