배경
그룹 프롬프팅(Group Prompting) 기반 대화형 객체 분할은 사용자가 유형(type)당 한 번의 클릭만으로 이미지 내 같은 유형의 모든 객체를 한꺼번에 분할하는 기술입니다. 병리 조직 이미지처럼 동일 유형의 객체가 수백~수천 개씩 밀집한 환경에서, 사람이 개입해 객체 경계를 수정·확정하는 작업을 최소한의 조작으로 자동화하는 것을 목표로 합니다.
기존 기술의 한계
기존 인스턴스 분할 모델은 특정 세포·조직 데이터로 학습되어, 학습 분포를 벗어난 미지의 유형(OOD, Out-of-Distribution)에서는 성능이 급격히 저하되는 한계가 있었습니다. 이를 보완하기 위해 등장한 대화형 파운데이션 모델(SAM 계열)은 임의 객체를 분할할 수 있으나, 객체마다 클릭이 필요해 밀집 이미지에서는 조작 비용이 객체 수에 비례(O(N))하여 실사용이 어려웠습니다. 예컨대 최신 모델(SAM3)은 조직 이미지 한 장을 분할하는 데 약 245회의 클릭을 요구합니다.
접근
Chain-of-Prompts는 SAM의 고정(frozen) 이미지 인코더가 프롬프트를 받기 이전에 이미 동일 유형의 객체들을 특징 공간에서 군집화(clustering)하고 있으며, 이 군집 구조가 별도 학습 없이도 서로 다른 염색·촬영 방식에 걸쳐 유지된다는 성질에 착안하였습니다. 이 성질을 활용해, 한 번의 클릭을 같은 유형의 전체 객체로 전파하는 그룹 프롬프팅 패러다임을 무학습(training-free)으로 구현하여, 분할 비용을 객체 단위 O(N)에서 유형 단위 O(T)로 낮추었습니다.
동작 방식
구체적으로 OGQ GYN은 다중 스케일 인코더 특징의 비모수 게이팅(non-parametric gating)으로 신뢰할 수 있는 동일 유형 위치를 식별하고, 그중 공간적으로 가장 멀리 떨어진 신뢰점을 다음 프롬프트로 선택하여 커버리지를 극대화하는 방식으로 클릭을 재귀적으로 확장합니다. 이를 통해 소수의 클릭만으로 이미지 전체의 동일 유형 객체를 빠짐없이 분할합니다.
성과
OGQ GYN 연구팀은 11개 벤치마크에서, 유형당 1회 클릭만으로 객체별 프롬프팅 성능의 90% 이상을(세포 유형 주석 데이터셋 3종), 이미지당 1회 클릭으로 95% 이상을(H&E·비H&E 영상 8종) 유지함을 검증하였습니다. 특히 단 3회의 클릭으로 상한 성능의 93.9%를 달성하여, 245회 클릭이 필요한 기존 방식 대비 약 81.7배의 조작 효율을 확보하면서 완전지도학습 방법의 성능까지 능가하였습니다.