OGQ GYN Developers Day는 OGQ GYN의 모델 개발 과정 및 논문 등을 많은 기업 분들께 발표하는 자리로, 매월 마지막 주 수요일에 진행되고 있습니다.
이번 세미나에선 저희 내부 Inpainting 모델 컨셉과 해당 모델을 이용하여 실제로 생성한 샘플에 대해 보여드렸습니다.
▸Contents
세미나 개요
- 일시 : 2023년 06월 08일 13:00 ~ 14:00
- 장소 : Zoom 미팅
- 참여기업 (가나다순)
- 베스트디지탈 BEST DIGITAL
- 웹게이트 WEBGATE
- 순서
- 참여 업체 소개
- OGQ GYN 발표
- 사회자: OGQ GYN 우재현 연구원
- 발표자: OGQ GYN 정재희 연구원
- Q&A
1. Previous Presentation Summary
지난 컨퍼런스에서는 이미지의 원하는 영역을 자연스럽게 채워넣는 Inpainting task 및 원하는 영역에 원하는 객체를 채워넣을 수 있는 Prompt 기반의 Inpainting 기법인 Blended Diffusion을 소개해드렸습니다.
2. Model Concept
저희가 사용한 모델은 Denoising Diffusion Probabilistic Model (DDPM)에 기반하고 있습니다.
DDPM은 이미지가 완전한 노이즈가 될 때까지 노이즈를 더한 뒤, 이를 복구하는 과정을 학습하여 노이즈에서 이미지를 생성할 수 있도록 하는 모델입니다.
DDPM을 그대로 사용하는 것이 아니라 두 가지의 변경을 적용하여 사용하였습니다.
- 위 식은 Diffusion Model을 거쳐 복원된 noisy한 이미지가 원본 이미지와 같아지도록 학습하는 loss 식입니다.
- norm을 선택하는 부분에 L1 norm이 아닌 L2 norm을 적용하였습니다.
- 그 이유는 L1 norm이 L2 norm보다 생성되는 샘플의 다양성이 더 높기 때문입니다.
- Denoising을 수행하는 네트워크는 수정된 U-Net입니다.
- 256x256의 이미지와 condition이 될 mask를 함께 concat하여 입력으로 받습니다.
- 레이어와 feature dimension에 변경이 적용되었습니다.
3. Inpainting Samples
- 모델은 62M parameter를 가지고 있고, 256x256 이미지를 생성하는 데에 RTX 2080Ti GPU에서 50초가 소모됩니다.
- 샘플 생성 시 원본 이미지와 관계없는 화재 mask를 랜덤하게 사용하여 불꽃 모양이 부자연스러울 수 있습니다.
실외 화재 샘플
실내 화재 샘플
- 위 샘플들과 같은 화재 이미지들을 생성하여 화재 검출 모델 개발에 활용할 예정이고, 이렇게 학습된 화재 검출 모델의 성능을 다음 컨퍼런스에서 공유드릴 예정입니다.
OGQ GYN의 기술블로그를 비상업적으로 사용 시 출처를 남겨주세요.
상업적 용도를 원하실 경우 문의 부탁드립니다.
E-mail. tech@gynetworks.com
© OGQ Corp. All right reserved.