OGQ GYN Developers Day는 OGQ GYN의 모델 개발 과정 및 논문 등을 많은 기업 분들께 발표하는 자리로, 매월 마지막 주 수요일에 진행되고 있습니다.
이번 세미나에선 저희 내부 Inpainting 모델 컨셉과 해당 모델을 이용하여 실제로 생성한 샘플에 대해 보여드렸습니다.
Contents
세미나 개요
•
일시 : 2023년 06월 08일 13:00 ~ 14:00
•
장소 : Zoom 미팅
•
참여기업 (가나다순)
◦
베스트디지탈 BEST DIGITAL
◦
웹게이트 WEBGATE
•
순서
1.
참여 업체 소개
2.
OGQ GYN 발표
•
사회자: OGQ GYN 우재현 연구원
•
발표자: OGQ GYN 정재희 연구원
3.
Q&A
1. Previous Presentation Summary
지난 컨퍼런스에서는 이미지의 원하는 영역을 자연스럽게 채워넣는 Inpainting task 및 원하는 영역에 원하는 객체를 채워넣을 수 있는 Prompt 기반의 Inpainting 기법인 Blended Diffusion을 소개해드렸습니다.
Inpainting
Prompt 기반 Inpainting
Blended Diffusion
2. Model Concept
Denoising Diffusion Probabilistic Model
저희가 사용한 모델은 Denoising Diffusion Probabilistic Model (DDPM)에 기반하고 있습니다.
DDPM은 이미지가 완전한 노이즈가 될 때까지 노이즈를 더한 뒤, 이를 복구하는 과정을 학습하여 노이즈에서 이미지를 생성할 수 있도록 하는 모델입니다.
DDPM을 그대로 사용하는 것이 아니라 두 가지의 변경을 적용하여 사용하였습니다.
y: output image, ~y: noisy image, gamma: noise level indicator
•
위 식은 Diffusion Model을 거쳐 복원된 noisy한 이미지가 원본 이미지와 같아지도록 학습하는 loss 식입니다.
•
norm을 선택하는 부분에 L1 norm이 아닌 L2 norm을 적용하였습니다.
•
그 이유는 L1 norm이 L2 norm보다 생성되는 샘플의 다양성이 더 높기 때문입니다.
U-Net architecture
•
Denoising을 수행하는 네트워크는 수정된 U-Net입니다.
•
256x256의 이미지와 condition이 될 mask를 함께 concat하여 입력으로 받습니다.
•
레이어와 feature dimension에 변경이 적용되었습니다.
3. Inpainting Samples
•
모델은 62M parameter를 가지고 있고, 256x256 이미지를 생성하는 데에 RTX 2080Ti GPU에서 50초가 소모됩니다.
•
샘플 생성 시 원본 이미지와 관계없는 화재 mask를 랜덤하게 사용하여 불꽃 모양이 부자연스러울 수 있습니다.
실외 화재 샘플
실내 화재 샘플
•
위 샘플들과 같은 화재 이미지들을 생성하여 화재 검출 모델 개발에 활용할 예정이고, 이렇게 학습된 화재 검출 모델의 성능을 다음 컨퍼런스에서 공유드릴 예정입니다.
Search
.jpg)
OGQ GYN의 기술블로그를 비상업적으로 사용 시 출처를 남겨주세요.
상업적 용도를 원하실 경우 문의 부탁드립니다.
E-mail. tech@gynetworks.com
OGQ Corp. All right reserved.