죽은 가수를 되살린 페이스에디팅 기술…AI로 드라마 제작 환경 바꾼다

CJ올리브네트웍스의 DT융합연구소 3인 인터뷰... “생활문화 전반에 걸쳐 AI 혁신 가능”

[HELLO AI] 활용 사례

최근 그리운 가수들을 인공지능(AI)으로 복원하는 프로젝트가 방송을 통해 화제를 모으고 있다. 사망한 가수가 최신 노래를 부르고 홀로그램을 통해 무대 위에서 공연하는 모습이 재연됐다. 지난 연말 엠넷의 ‘AI 음악 프로젝트 다시 한 번’에선 목소리뿐만 아니라 얼굴과 모습을 복원해 무대를 꾸며 생생함을 더했다.

그룹 거북이의 리더이자 프로듀서인 고(故) 터틀맨(임성훈)이 ‘다시 한 번’의 첫째 주인공으로 등장했다. 그는 2008년 심근경색으로 세상을 떠난 뒤 12년 만에 AI 기술을 통해 완전체로 무대에 돌아왔다. 그를 그리워하는 가족과 팬들이 눈물짓는 모습은 긴 여운을 남기며 기술의 진보를 실감나게 했다. 여기에는 음성 합성과 얼굴 합성 기술이 바탕이 됐다. GAN(생성적 적대 신경망)으로 잘 알려져 있는 AI 기술이다.

터틀맨의 얼굴 복원을 담당한 연구소는 바로 CJ올리브네트웍스의 DT융합연구소다. CJ올리브네트웍스의 부설 연구소로, 신기술 도입과 효과 검증을 위한 실증적인 선행 연구를 담당하는 조직이다. DT융합연구소는 ‘페이스 에디팅’ 기술로 GAN 기술을 새롭게 선보였다. CJ올리브네트웍스 DT융합연구소의 손종수 소장과 이현기·조준구 연구원과 인터뷰, 얼굴 합성 기술을 연구하게 된 배경과 연구소의 AI 활용 사례와 발전 방향에 대해 들어봤다.

자체 기술력으로 완성한 ‘페이스 에디팅’

요절한 레전드 스타들을 홀로그램으로 되살리는 시도는 2010년대 초반부터 있었다. 2012년 코첼라 페스티벌에선 전설의 래퍼 투팍이 홀로그램으로 등장했고 팝의 황제 마이클 잭슨이 ‘빌보드 뮤직 어워즈 2014’에서 백댄서들과 라이브 무대를 펼쳤다. 휘트니 휴스턴의 홀로그램 투어도 기획된 바 있다. 여기에 최근 AI 기술과 만나 새로운 콘텐츠 생산이 가능해졌다. 예전에 부르지 않았던 신곡을 부르거나 자유자재로 움직임을 주는 식이다. 여러 사정으로 무대에 오르지 못하는 연예인을 대신하기도 한다. 일본에선 드라마 방영 중 중도 하차한 배우를 대신해 AI 기술을 활용했다.

GAN 기술은 ‘진짜 같은 가짜’를 생성하는 AI 기술이다. 2014년 머신러닝 학회 닙스(NIPS)에서 최초로 발표된 GAN 기술은 이후 빠른 속도로 발전해 왔다. GAN 기술은 생성자와 판별자 두 개의 네트워크가 서로 경쟁하면서 사실적인 이미지를 만들어 낸다. 생성자는 가짜 이미지를 만들어 판별자를 속이기 위해 노력하고 판별자는 생성자의 이미지를 가짜로 판단하도록 계속 학습하는 과정에서 진짜와 가짜를 구분할 수 없는 상태에 이르게 되는 콘셉트를 가지고 있다. 최근 사회적 우려를 낳고 있는 딥페이크도 이와 같은 GAN 기술을 바탕에 두고 있다.

영상 콘텐츠 분야에서 얼굴 합성 기술은 주로 흥미 유발을 위한 인터넷 영상 제작에 많이 사용되는 추세다. 윌 스미스 주연의 영화 ‘제미니 맨’이나 축구 스타 데이비드 베컴의 말라리아 홍보 캠페인 영상에 사용되는 등 영상 콘텐츠 산업 분야에서 활용하려는 시도가 늘어나고 있다. 손종수 DT융합연구소장은 “영상 콘텐츠 산업에 AI 기술 접목이 다른 산업 분야에 비해 상대적으로 낮다고 판단하고 콘텐츠 제작 발전에 기여하고 싶어 얼굴 합성 기술 개발을 시작하게 됐다”고 말했다.

‘다시 한 번’에서 고 터틀맨 복원에 활용한 기술은 페이스 에디팅으로 불린다. 손 소장은 “영상 콘텐츠 제작 업계에서 AI 기술 적용이 성숙되지 않은 단계이기 때문에 많은 의미를 함축하는 이름보다 쉽게 이해할 수 있는 직관적인 이름으로 페이스 에디팅을 선정했다”며 “대표적으로 엠넷의 ‘다시 한번’처럼 혁신적인 포맷의 콘텐츠를 개발하는 데 접목했다”고 말했다.

DT융합연구소에서 개발한 페이스 에디팅은 기존의 GAN 기술을 얼굴에 특화한 것으로, 사람의 얼굴을 교체하는 기술이다. ‘다시 한 번’ 프로젝트는 터틀맨의 과거 동영상과 사진 자료를 토대로 AI 얼굴 학습을 진행했다. 일상 모습부터 무대 위에서 지은 표정까지 다양한 데이터를 학습했다. 이후 대역 연기자가 촬영해 얼굴 부분을 합성하는 방법으로 복원했다. 그 과정은 크게 학습 데이터 준비, 데이터 처리, 모델 학습, 얼굴 교체 단계로 구분할 수 있다. 이현기 연구원은 “상업 방송에서 GAN 기술을 활용한 사례는 한국에서 최초인 것으로 알고 있다”며 “방송에 내보내야 하기 때문에 퀄리티를 높이는 데 중점을 뒀다”고 말했다.

'다시 한 번'에 등장한 고 김현식은 노래를 정적으로 부르지만 터틀맨은 춤을 추고 있다. 얼굴을 합성하기 위해서는 무엇보다 고해상도의 많은 얼굴 데이터를 확보하는 게 중요하다. 터틀맨은 20분 분량의 영상을 통해 약 2만 장의 이미지를 확보했다. 조준구 연구원은 “가장 어려웠던 점은 터틀맨이 죽은 지 10년이 넘어 영상의 화질이 많이 떨어진 것이었다”며 “자체 데이터 분석 기술을 활용해 필터링을 거친 후 최적의 데이터 세트를 확보한 뒤 딥러닝 기술을 이용해 모델을 학습시킨 게 차별점”이라고 말했다. DT융합연구소는 얼굴 데이터 분석과 시각화를 통한 데이터 추출을 통해 학습에 필요한 데이터 품질을 100% 가까이 끌어올릴 수 있었다. 또한 후처리 단계에서 얼굴 합성 자동 최적화 기술로 자연스럽고 생동감 있는 표정을 만들어 냈다. 교체 대상의 얼굴과 표정, 각도 등은 재현되는 반면 피부 톤은 자연스럽게 맞춰지지 않아 이질감이 발생하곤 한다. DT융합연구소는 피부톤을 자동으로 맞춰 주는 기술을 개발했다. 데이터 확보에서부터 후처리까지 포함한 자체 기술 경쟁력으로 페이스 에디팅 기술을 탄생시켰다.

드라마 속으로 들어가는 페이스 에디팅 기술

얼굴 합성 기술에 대한 사회적 우려가 존재하는 게 사실이다. 딥페이크는 여러 악용 사례가 사회적 문제로 떠오른다. AI 윤리에 대해 손종수 소장은 “기본적으로 데이터의 보안 유지에 신경을 많이 쓰고 있고 기술적으로도 블록체인과 같은 기술을 이용해 합법적이지 않은 사용에 대한 방지책도 검토 중”이라고 말했다. 손 소장은 또한 “모든 기술의 발전은 사람이 편리해지는 방향으로 진화하는데 그 과정에서 화약과 같이 전쟁의 도구로 쓰이는 기술도 종종 나온다”며 “그렇다고 하더라도 화약의 발명을 막으면 안 되는 것처럼 AI의 기술 발전을 막기보다 기술로 생긴 이슈에 대해 현명하게 대처할 수 있도록 방안을 만들어 가는 논의가 더 건설적인 방향”이라고 덧붙였다.

죽은 가수를 되살린 페이스 에디팅 기술은 이제 드라마 속으로 들어가고 있다. 3월 중순 tvN에서 새롭게 방영되는 드라마에 이 기술이 다시 쓰인다. 드라마에는 대역 연기자가 종종 등장한다. 무술 또는 고난이도 액션 장면에는 대역이 필요하고 이때 최대한 얼굴이 나오지 않도록 촬영해야 한다. 연출에 제약이 생기는 부분이다. 또 시청자들의 몰입에 방해가 되기도 한다. 여기에 AI 기술이 도입되면 좀 더 다양한 콘텐츠 제작이 가능해질 것으로 기대된다. 손 소장은 “전문 대역 배우를 활용하면 얼굴 노출에 대한 부담이 줄어들기 떄문에 다양한 연출로 시청자들에게 좀 더 몰입감 높은 작품을 선보일 수 있을 것”이라고 말했다.

전문 대역 배우를 대체하는 것뿐만 아니라 배우의 어린 시절을 촬영하는 데도 AI 기술이 활용된다. 현재 DT융합연구소에서는 배우의 어린 시절을 AI로 구현하는 프로젝트를 기획하고 있다. 얼굴을 어린 시절로 되돌리는 것은 얼굴 합성과는 또 다른 영역이다. 디에이징(de-aging) 은 기존 시각 특수 효과(VFX)와 컴퓨터 그래픽(CG)을 통해 영화에서 선보이던 기술이다. 영화 ‘아이리시 맨’에서는 디에이징 효과를 통해 로버트 드니로 등 70~80대 배우들의 젊은 시절 모습을 재현했다. 이현기 연구원은 “특수 효과 영역에서 한 땀 한 땀 사람이 만들면 많은 인력을 필요로 하는데 비해 AI를 활용하면 시간과 비용을 대폭 줄일 수 있게 된다”며 “‘다시 한 번’은 5분짜리 영상 제작을 2주 만에 완료했는데 같은 작업을 CG로 하면 최소 한 달 이상이 소요된다”고 말했다.

손 소장은 “얼굴 이미지를 분석해 나이를 더 들어 보이게 하거나 더 어려 보이게 하는 많은 연구가 진행돼 왔지만 우리는 샘플을 보여주는 데 그치지 않고 실제 방송되는 드라마에 적용하려는 부분이 가장 큰 차별점”이라며 “잘 나온 결과물을 유튜브 등에 공유하는 분들은 많지만 상업 방송에서 쓰인다는 것은 완전히 다른 차원의 결과물”이라고 말했다. 상업 방송의 4K 영상, 80인치 이상급 TV에서도 자연스럽게 구현돼야 하기 때문에 이미지의 최적화와 더 많은 학습 시간, 수백 번의 테스트가 포함된다. 손 소장은 “상업 방송에서 AI 기술을 활용해 디에이징하는 기술은 적어도 우리가 최초의 사례로 보인다”고 말했다.

DT융합연구소는 영화보다 드라마와 예능 등 방송 제작 환경에 맞춰 AI 기술을 발전시켜 나갈 계획이다. 방송은 영화에 비해 제작 속도가 더 중요한 편이다. 한 해의 방영 일자가 고정되고 이른 시간 내에 제작해야 하는 방송 환경에서 AI 기술의 쓰임새가 많을 것으로 DT융합연구소는 기대하고 있다.

페이스 에디팅 기술은 쇼핑과 패션 분야에도 적용할 수 있다. DT융합연구소는 사진을 찍어 쇼핑몰 모델이 착용한 옷을 바꿔 입을 수 있는 기술도 연구하고 있다. 일반 사물에 적용하면 사진에서 사물을 지우거나 새롭게 생성할 수 있다. 기존에도 포토샵으로 가능했지만 대량의 이미지나 영상에서는 AI 기술이 더 유용하게 쓰일 수 있다. DT융합연구소는 CJ그룹의 사업 영역에 맞춰 기술의 진화를 이끌어 나갈 계획이다. CJ그룹은 라이브 커머스 솔루션을 비롯해 CJ ENM의 영화·드라마·홈쇼핑 등에서 영상을 제공하는 서비스가 많다. 이런 영상 콘텐츠를 재활용해 새로운 콘텐츠를 생산하거나 ‘다시 한번’처럼 혁신적인 포맷의 콘텐츠를 개발하는 데도 접목할 수 있을 것으로 내다보고 있다.

“식품 특화 스마트 팩토리 이끌 것”

CJ올리브네트웍스는 올해 1월 LG전자와의 기술 협력을 통해 냉장고와 고객을 연결하는 개인화 식품·레시피 추천 AI 기술 ‘레시픽(Recipick)’을 선보였다. ‘레시픽’은 냉장고 안에 있는 식재료와 냉장고에 축적된 사용자의 데이터를 조합해 고객의 라이프스타일에 맞는 레시피를 추천하고 이와 어울리는 식품을 제안하는 기술이다. DT융합연구소는 지난해 9월부터 LG전자 인공지능연구소와 데이터 기반의 제품·서비스 융합 및 스마트 디바이스를 활용한 연구·개발(R&D) 협업을 추진해 왔고 데이터를 벡터로 변환시켜 주는 푸드투벡(Food2Vec) 기술을 활용해 CJ제일제당의 각종 요리 레시피와 식재료, 소셜 네트워크 서비스(SNS) 식품 리뷰 등의 데이터를 학습시켰다.

스마트 냉장고를 사용하는 고객은 AI로 이미지나 영상을 인식하는 LG전자의 비전팩(Vision Pack) 기술을 통해 냉장고 안에 있는 식재료를 스마트폰으로 확인할 수 있고 자신의 라이프스타일에 맞는 레시피뿐만 아니라 이와 함께 어울리는 식품도 추천 받을 수 있다. 이 기술은 지난 1월 초 열린 ‘세계 가전 전시회(CES) 2021’에서 공개됐다. 사용자가 냉장고와 연결된 스마트폰으로 냉장고 속 비비고 고추 소스와 채소 등 식재료를 확인하고 고객이 선호하는 메뉴 취향을 반영해 비비고 만두 요리 레시피를 추천 받는 내용으로 구성됐다.

이와 함께 지난 2월 초 주류 브랜드 화요 공장에 스마트팩토리 솔루션 팩토리원(FactoryONE)을 적용했다. 화요의 주원료인 쌀 입고부터 증류 프로세스, 여과·세척 등 여주 공장의 전 공정을 자동화했다. 올해부터 정부가 본격적으로 시행하는 스마트 공장과 식품안전관리인증기준(HACCP) 지원 사업에 발맞춰 HACCP 인증뿐만 아니라 생산 모니터링, 품질 관리 시스템, 설비 관리, 모바일 관리 시스템 등 다양한 플랫폼을 제공한다. 또한 한국야쿠르트의 제조 공장에 스마트 팩토리와 스마트 HACCP를 구축해 제조 공장의 자재 관리부터 생산·품질·설비 등 공정의 전 프로세스의 기능을 디지털화할 계획이다.

식품 분야의 스마트 팩토리에서는 함량 미달 등 ‘불량 판별’이 관건이다. 손 소장은 “스마트 팩토리 중에서도 식품 분야에 특화돼 있는 점이 우리의 강점”이라며 “CJ제일제당 내 여러 식품 현장에서의 노하우와 다양한 데이터를 지속적으로 축적하며 기술을 발전시켜 나가고 있다”고 말했다.

DT융합연구소는 크게 비즈니스 AI와 미디어 AI 두 분야로 나눠 AI 발전을 도모하고 있다. 비즈니스 AI에서는 가격 최적화, 판매량 예측, 트렌드 분석 및 인사이트 발견 등 경영 활동에 도움이 되는 AI 기술을 연구하고 있다. 미디어 AI는 영상·이미지·확장현실(XR) 등 주로 미디어 콘텐츠 분야에서 AI를 활용한 기술을 연구한다. 페이스 에디팅부터 스마트 팩토리까지 다양한 분야로 활용 사례를 구축하는 데는 종합 생활문화 기업을 표방하는 CJ그룹이라는 배경이 있다. 손 소장은 “산업 현장에 AI가 도입될 수 있는 분야는 생각보다 많다”며 “생활문화 전반에 걸쳐 AI 혁신이 가능하다”고 말했다.

CJ올리브네트웍스 DT융합연구소는 앞으로 미디어 콘텐츠와 비즈니스 영역에서 일하는 방식에서의 비합리성을 AI를 통해 혁신하고 디지털 트랜스포메이션의 가치를 만들어 낼 계획이다.

[박스] - CJ올리브네트웍스의 DT융합연구소는…

DT융합연구소는 CJ올리브네트웍스의 디지털 트랜스포메이션(DT)을 가속화하기 위한 기초 기술과 적용 사례를 확보하기 위한 기업 연구소다. CJ올리브네트웍스는 CJ그룹에 정보 시스템을 공급하고 운영하면서 연구 분야가 대부분 CJ그룹 내의 관계사 DT 추진과 대부분 관계가 있다. 특히 DT의 핵심 기술인 인공지능(AI)과 블록체인 위주로 기술을 개발하고 있다.

DT융합연구소는 엔터프라이즈·크리에이티브·블록체인 등 세 그룹으로 나눠 연구를 진행하고 있다. 엔터프라이즈 AI를 이끄는 최윤종 리더는 주로 최적화, 자연어 처리, 팩토리 AI 등 기업 경영에 필요한 AI 기술을 주도하고 있다. 올해 세계 가전 전시회(CES)에서 LG전자와 협업하여 레시픽(Recipick)이라는 식품·레시피 추천 엔진을 발표한 바 있다.

크리에이티브 AI의 이현기 리더는 영상과 미디어 분야의 AI 기술을 연구하고 있다. 대표적인 사례가 엠넷의 ‘다시 한번’의 복원 영상 프로젝트다. 이 밖에 여러 가지 방송·영상 제작 분야에서 AI 기술을 활용한 기술을 개발하고 있다. 블록체인 그룹의 김경은 리더는 블록체인 기술을 도입해 스마트 식품안전관리인증기준(HACCP) 자동화 솔루션을 개발하는 데 앞장서고 있다.

DT융합연구소의 미션과 전략은 ‘AI·블록체인 등 DT 핵심 기술을 연구·개발(R&D)해 회사와 고객의 성공적인 디지털 트랜스포메이션을 견인한다’로 요약된다.

이현주 기자 charis@hankyung.com