배경
비지도 세포 인스턴스 분할(UCIS, Unsupervised Cell Instance Segmentation)은 병리 조직 이미지 내 개별 세포의 정확한 위치와 경계를 식별하는 기술로, 암 진단 및 세포 간 상호작용 분석 등 의료·생물학적 연구의 핵심 단계입니다. 비지도 세포 인스턴스 분할이란 인간의 주석 없이 모델 스스로 고해상도 병리 이미지에서 개별 세포 단위의 경계와 위치를 식별하는 기법입니다. 수천 개의 세포가 밀집된 고해상도 이미지에서 건당 1~2시간 소요되던 인력 주석 비용을 줄이고, 인간의 가이드 없이 모델 스스로 형태적 특징을 학습하고, 정밀한 형태학적 정보를 추출하는 것을 목표로 합니다.
기존 기술의 한계
기존 비지도 세포 인스턴스 분할 기술은 기하학적 증강에 의존하거나 특정 형태만 강조하여, 인접한 세포를 하나로 뭉뚱그리는 등 '오차 없는 인스턴스(Error-free instances)'를 생성하는 데 한계가 있었습니다. 특히 의료 영상은 세포 밀도가 높아 경계가 모호하며 정답 데이터(GT, Ground Truth)가 전무한 경우가 많아, 외부의 도움 없이 모델 스스로 채점하고 학습할 수 있는 기술이 요구됩니다. 정답 데이터란 모델의 학습 및 평가를 위해 인간 전문가가 직접 제작한 기준 데이터를 의미합니다.
접근
OGQ GYN은 모델이 스스로 신뢰할 수 있는 정답 후보를 찾아내야 한다는 필요성에 착안하여 자가 증류 기법을 도입하였습니다. COIN은 최적 운송 이론을 통해 별도의 정답지 없이도 일관성을 측정하여 높은 신뢰도의 세포만을 학습에 활용합니다. 이는 수동 주석 없이도 모델이 정답에 가까운 데이터를 선별하고 확장해 나가는 자가 학습 구조입니다.
동작 방식
COIN은 먼저 최적 운송 이론을 결합하여 세포와 배경 간 경계를 정교하게 분리하고 위치 파악 민감도를 높입니다. 그다음 모델의 예측 마스크와 범용 세그멘테이션 모델(SAM, Segment Anything Model) 결과값 사이의 일관성을 측정하는 인스턴스 수준 신뢰도 점수 산출 과정을 거칩니다. 범용 세그멘테이션 모델이란 사전 학습을 통해 별도의 추가 훈련 없이도 임의의 이미지에서 객체 영역을 분할할 수 있는 기반 모델입니다. 이때 고신뢰도 객체만을 선별하여 의사 정답(Pseudo-GT, Pseudo Ground Truth)으로 활용함으로써 학습 데이터의 오염을 방지합니다. 마지막으로 선별된 객체들을 바탕으로 재귀적 자가 증류(Recursive Self-Distillation) 방식의 반복 학습을 수행하여 인식 범위를 점진적으로 확장함으로써 인간 전문가 수준의 정밀한 분할을 구현합니다.
성과
OGQ GYN 연구팀은 세포 분할 정확도인 집합 자카드 지수(AJI, Aggregated Jaccard Index) 0.580을 기록하여 기존 비지도 학습 대비 2배 이상의 성능 향상을 보였으며, TNBC(Triple Negative Breast Cancer) 데이터셋에서는 지도 학습 모델보다 높은 점수를 달성하여 SOTA(최고 수준 성능)를 거두었습니다. 이를 통해 의료 데이터 주석 비용을 약 0원 수준으로 절감하였습니다.