안녕하세요, OGQ입니다.
오늘은 OGQ가 미디어 산업의 제작 환경 개선을 위해 참여하게 된 새로운 R&D 프로젝트를 소개해 드리고자 합니다. 저희는 과학기술정보통신부와 정보통신산업진흥원(NIPA)이 주관하는 '2024년 AI 미디어·문화 향유 확산 사업'에 참여하여, '생성형 AI 기반 미디어 창작지원 서비스' 개발을 시작하게 되었습니다.
출처: NIPA 정보통신산업진흥원
프로젝트의 시작: 제작 현장의 작은 불편함에 집중
미디어 제작 현장은 늘 바쁘게 돌아가지만, 자세히 들여다보면 반복적인 수작업에 많은 시간과 노력이 사용됩니다. 영상의 작은 오류를 프레임 단위로 지우거나, 방대한 자료 속에서 필요한 클립을 찾는 일들이 대표적입니다.
AI 기술을 활용해 이러한 비효율을 줄이고, 제작자들이 조금 더 중요한 기획과 연출에 집중할 수 있는 환경을 만드는 것이 저희가 생각하는 현실적인 목표입니다.
이 목표를 위해 각 분야의 전문 기업들이 힘을 모았습니다.
•
OGQ: Vision AI 및 생성형 AI 기술 역량을 바탕으로 서비스 개발
•
HCI+: AI 학습용 데이터 분야의 전문성
•
JTBC: 실제 방송 현장의 경험과 목소리를 반영
세 회사의 협력을 바탕으로, 2024년부터 2년간 미디어 제작의 효율을 높일 'Media.AI Studio'를 개발합니다.
'Media.AI Studio'가 해결하고자 하는 문제와 개발 목표
'Media.AI Studio'는 방송사와 미디어 제작 환경에 실질적인 도움을 주는 AI 기반 통합 솔루션을 지향합니다. 저희는 다음과 같은 6가지 기능 개발을 통해 제작 과정의 효율을 높이고자 합니다.
1. 영상 오류 탐지/제거
사극에 등장한 현대적인 건물이나, 촬영 스태프의 모습이 화면에 잡히는 경우가 종종 있습니다. 이런 의도치 않은 요소들은 시청자의 몰입을 방해하고 콘텐츠의 전체적인 완성도를 떨어뜨릴 수 있습니다.
사극에 등장하는 현대적 요소 예시 이미지
현재는 이런 '옥에 티'를 제거하기 위해 편집자가 직접 영상을 여러 번 확인하며 문제 장면을 찾아내야 합니다. 프레임 단위로 영역을 지정하고 수정하는 과정은 많은 시간과 집중력을 필요로 하는 반복 작업이며, 이는 제작 리소스의 비효율로 이어지기도 합니다.
프레임 단위로 옥에 티를 확인하는 편집자
이러한 수작업 과정을 AI를 통해 보다 효율적으로 개선하고자 합니다.
오류 객체 탐지 및 태그 추천사용자가 영상을 업로드한 뒤, 제시되는 오류 객체의 종류(예: '휴대폰', '에어컨') 태그를 선택합니다. 사용자는 이 중에서 영상에서 찾고 싶은 오류의 종류를 선택하기만 하면 됩니다.
AI의 자동 분석 및 확인사용자의 선택과 동시에, AI가 영상 전체를 분석하여 해당 객체가 등장하는 모든 시간대와 위치를 찾아 목록으로 제공합니다. 사용자는 이 목록을 보며 AI가 제대로 객체를 찾았는지, 어느 구간을 제거할지 손쉽게 확인하고 최종 선택할 수 있습니다.
자연스러운 복원 및 다운로드제거할 구간 선택이 완료되면, AI 인페인팅 기술이 해당 객체를 주변 배경과 자연스럽게 어우러지도록 복원합니다. 이렇게 완성된 영상은 바로 다운로드하여 활용할 수 있습니다.
2. 영상 간접광고(PPL) 합성
기존의 간접광고(PPL)는 콘텐츠 기획 및 촬영 단계부터 반영되어야 하기에 많은 비용과 노력이 필요했습니다. 또한, 광고 계약이 종료되거나 제품이 단종되면 해당 장면을 들어내거나 값비싼 재편집을 해야만 했습니다. 이는 잘 만들어진 콘텐츠의 수명을 단축시키고 새로운 수익 창출의 기회를 제한하는 원인이 됩니다.
간편한 합성 요청사용자는 광고를 넣고 싶은 영상을 업로드하고, '빈 공간에 삽입'할지 '기존 제품을 교체'할지 등 합성 방식을 선택합니다. 그 후, 영상에 노출할 제품 이미지를 업로드하면 기본적인 준비가 완료됩니다.
AI의 자동 분석 및 영역 지정사용자는 추천된 영역이나 원하는 위치를 바운딩박스, 폴리곤 도구를 사용해 지정하기만 하면, AI가 해당 공간에 자연스러운 배치를 준비합니다.
자연스러운 합성 및 다운로드이때 영상의 조명, 색감 등을 자동으로 분석하여 제품에 반영함으로써 위화감을 최소화합니다. 이렇게 새롭게 광고가 적용된 영상은 바로 다운로드하여 활용할 수 있습니다.
3. 뉴스 영상 제작
긴급 속보가 발생했을 때, 보도의 신속성과 정확성은 무엇보다 중요합니다. 하지만 한정된 시간 안에 방대한 방송 아카이브를 뒤져 속보 내용에 맞는 영상 자료를 찾는 것은 쉽지 않은 일입니다. 이 과정에서 시간이 지체되거나, 자칫 내용과 맞지 않는 영상이 사용되어 보도의 품질이 떨어지는 경우도 간혹 발생합니다.
간편한 스크립트 입력 및 제목 추천사용자가 속보 스크립트를 업로드하면, AI가 먼저 핵심 키워드와 문맥을 파악합니다. 이를 바탕으로 뉴스 제목 후보들을 추천하며, 사용자는 이 중에서 가장 적합한 제목을 선택하거나 직접 수정하여 다음 단계를 진행합니다.
AI의 자동 영상 추천 및 선택확정된 제목과 스크립트 내용을 기반으로, AI가 방송 아카이브(DB)에서 가장 관련성 높은 영상 클립과 이미지를 자동으로 찾아 목록으로 제시합니다. 제작자는 자료를 일일이 찾아 헤맬 필요 없이, 추천된 목록에서 보도에 사용할 소스를 간편하게 선택할 수 있습니다.
손쉬운 순서 편집 및 영상 완성사용자가 영상 클립의 순서나 개수를 조정한 뒤 완성 버튼을 누르면, AI가 선택된 클립과 뉴스 템플릿을 기반으로 속보 영상을 자동으로 완성합니다. 이렇게 만들어진 영상은 즉시 다운로드하여 송출에 활용할 수 있도록 개발하는 것이 목표입니다.
4. 뉴스 썸네일 제작
콘텐츠의 첫인상을 결정하는 썸네일. 방송사에서는 통일된 템플릿을 사용하기에 단순해 보일 수 있지만, 이는 종종 '보이지 않는 비효율'을 낳습니다. 썸네일 제작을 위해서는 포토샵과 같은 전문 편집 프로그램을 다루어야 하기에, 결국 전문 디자이너의 손을 거쳐야만 합니다. 간단한 작업임에도 불구하고 전문가의 시간을 반복적으로 소모하게 만들어, 정작 더 중요한 시각 디자인 작업에 집중할 리소스를 낭비하게 됩니다.
통일화된 JTBC의 뉴스 영상 썸네일
스크립트 기반 제목 추천사용자가 뉴스 스크립트를 업로드하면, AI가 핵심 내용을 분석하여 시청자의 눈길을 끌 만한 썸네일 제목 여러 개를 추천합니다. 사용자는 이 중에서 제목을 선택하거나 직접 수정할 수 있습니다.
영상 기반 이미지 추천 및 객체 선택이후 뉴스 영상을 업로드하면, AI가 스크립트와 영상 내용을 종합적으로 판단하여 썸네일로 사용하기에 가장 적합한 장면들을 이미지 형태로 추천합니다. 사용자는 추천된 이미지 중에서 마음에 드는 것을 고르고, 그 안에서 강조하고 싶은 핵심 인물이나 사물을 선택합니다.
배경 제거 및 템플릿 자동 완성사용자가 핵심 객체를 선택하면, AI가 자동으로 배경을 제거(누끼)하고 준비된 뉴스 템플릿에 맞춰 제목과 함께 배치하여 썸네일을 완성합니다. 이렇게 만들어진 썸네일은 바로 다운로드하여 사용할 수 있도록 개발하는 것이 목표입니다.
5. 기사/광고 이미지 합성
기사나 광고에 사용할 하나의 이미지를 만들기 위해서는 여러 단계를 거쳐야 합니다. 적절한 소스 이미지를 찾고, 원하는 부분만 정교하게 오려낸 뒤(누끼), 어울리는 배경과 합성하는 과정은 높은 기술 숙련도와 많은 시간을 필요로 합니다. 특히, 계절에 맞거나 상상 속의 독창적인 배경을 구현하는 것은 더욱 어려운 작업입니다.
스크립트 분석 및 제목 추천기사 또는 광고 스크립트를 분석하여 제목 5개를 추천합니다.
손쉬운 객체 선택과 자동 배경 제거스크립트와 연관된 이미지 및 영상 콘텐츠를 분석하여 최대 10개의 이미지를 추천선택된 객체를 자동 배경 제거 처리합니다.
텍스트 기반 배경이미지 생성및편집 도구 제공텍스트 기반으로 배경 이미지를 생성(3가지 스타일 제공), 객체와 배경을 조합한 합성 이미지에 대해 사용자가 크기, 위치, 스타일을 편집 가능합니다.
6. 간접광고 적합성 검수
간접광고(PPL)는 '화면의 1/4 이하 크기'나 '프로그램 시간의 7% 이내 노출'과 같이 방송법에 명시된 복잡하고 세부적인 규정을 준수해야 합니다. 하지만 제작자가 영상을 일일이 확인하며 PPL의 노출 시간과 크기를 초 단위, 픽셀 단위로 계산하는 것은 현실적으로 매우 어렵습니다. 이 과정에서 실수가 발생하면 법적인 문제로 이어질 수 있는 부담이 따릅니다.
간편한 검수 요청 및 객체 추적사용자가 검수할 영상을 업로드하고, 영상 속에서 확인하고자 하는 간접광고 제품을 지정하면 AI가 해당 제품을 영상 전체에 걸쳐 자동으로 추적하기 시작합니다.
AI의 자동 적합성 준수/위반 판정AI가 분석 결과를 기반으로 광고 규정 준수 여부를 자동 판정하며,사용자가 결과를 확인합니다.
*방송법 시행령 제59조의 3 (간접광고)
광고 구간 직접 선택 및 삭제 요청만약 규정을 위반한 구간이 발견될 경우, 사용자는 리포트에서 해당 구간을 바로 선택하여 제거를 요청할 수 있습니다. AI는 앞서 설명한 인페인팅 기술을 이용해 해당 제품을 자연스럽게 제거합니다.
3. 적용된 AI 기술과 개선 과정
저희는 미디어 제작 현장의 복잡한 문제들을 해결하기 위해, 각기 다른 역할을 수행하는 AI 기술들을 맞춤형으로 개발하고 있습니다. 저희가 개발 중인 핵심 기술들을 크게 네 가지로 나누어 소개해 드립니다.
1. AI의 눈 : 영상을 보고 이해하는 기술
객체 탐지(Object Detection)
영상 속 특정 사물이나 인물을 정확히 찾아냅니다. 이 기술 덕분에 '영상 오류 탐지'나 '간접광고 규정 검수' 시 AI가 특정 대상을 놓치지 않고 분석할 수 있습니다.
객체 추적(Object Tracking)
동영상에서 객체의 이동 경로를 연속적으로 추적합니다.
영상 캡셔닝(Video Captioning)
영상의 전체적인 상황을 문장으로 요약해주어, '뉴스 영상 제작' 시 방대한 자료를 빠르게 파악하는 데 도움을 줍니다.
2. AI의 손 : 콘텐츠를 만들고 편집하는 기술
콘텐츠를 '창의적으로 만들고 편집하는' 기술은 제작 과정의 효율을 극대화합니다.
영상 인페인팅(Video Inpainting)
사용자가 선택한 객체를 주변 배경과 자연스럽게 어우러지도록 지워줍니다.
색상/톤 조화(Harmonization)
새로 삽입된 PPL 제품이 원본 영상의 조명과 색감에 자연스럽게 녹아들도록 만듭니다.
3. AI의 뇌 : 텍스트의 의미를 파악하고 생성하는 기술
AI는 텍스트의 '의미를 파악하고 새로운 글을 생성하는' 역할도 수행합니다.
텍스트-이미지 생성(Text-to-Image Generation)
'눈 내리는 겨울 숲'과 같은 텍스트 설명만으로 세상에 없던 배경 이미지를 만들어내는, 창의성을 보조하는 핵심 도구입니다.
자연어 생성(Natural Language Generation)
뉴스나 광고 스크립트의 핵심을 파악하여, 시청자의 시선을 사로잡을 만한 매력적인 제목 여러 개를 추천해 줍니다. 이는 '뉴스 썸네일 제작'이나 '기사/광고 이미지'의 첫 단계를 빠르고 효과적으로 만들어 줍니다.
4. 향후 계획
OGQ는 앞으로도 꾸준한 연구와 기술 개발을 통해 미디어 제작 환경을 개선하는 데 기여하고자 합니다. 미디어의 미래를 만들어갈 저희의 새로운 도전에 많은 관심과 격려 부탁드립니다.
감사합니다.