[AI 따라잡기]
DSLR 넘어선 스마트폰 카메라…
사진 이미지 딥러닝 처리하는 AI 프로세스 탑재 봇물
![자동으로 ‘인생 샷’ 찾아주는 AI… 스마트폰의 새로운 경쟁 포인트 된 ‘NPU’ [AI 따라잡기]](https://img.hankyung.com/photo/202012/034db10de2927a584f1ab220183bafbb.jpg)
휴대전화에 카메라가 최초로 탑재된 제품은 1999년 출시된 일본 교세라 휴대전화였다. 그다음 해에 삼성은 한국에서 처음으로 카메라폰(SCH-V200/SPH-V200)을 출시했다. 35만 화소 해상도 사진을 20장 촬영할 수 있는 컬러 액정이 탑재된 제품이었다.
스마트폰에 있는 카메라의 사용으로 누구나 사진작가·유튜버가 될 수 있는 1인 미디어 시대에 살고 있다. 4세대 이동통신(4G)·5세대 이동통신(5G)의 발전으로 전송 속도가 빨라지고 소비자는 좋은 화질의 사진을 찍어 즉시 친구들에게 보낼 수 있고 소셜 네트워크 서비스(SNS)를 통해 남들에게 쉽게 보여줄 수도 있다.
제조사들은 시장에 출시 할 때 높아진 카메라의 성능을 강조하고 있고 실제 소비자들의 스마트폰 구매에도 카메라의 성능이 큰 영향을 미치고 있다. 소비자들의 수요를 반영하고 다른 제조사와 차별화할 수 있는 요소로 카메라가 급부상하게 되면서 스마트폰 제조사 간에 카메라 성능 경쟁이 심화되고 있다
스마트폰 카메라의 핵심 기술은 이미지 센서(CIS)와 이미지 신호 처리(ISP)다.
물체를 인식하기 위해서는 3가지 요소가 필요하다. 빛을 내는 물체인 광원과 피사체 그리고 감각 기관인 눈이 필요하다. 이 세 가지 요소 중 어느 하나라도 없다면 물체를 인식할 수 없다.
카메라는 사람의 눈이 물체를 보고 인식하는 과정과 같은 방식으로 동작한다. 홍채는 빛이 들어오는 구멍인 동공의 크기를 조절하는데, 이는 카메라의 조리개와 같은 역할을 한다. 홍채가 동공을 열었을 때 빛은 동공을 지나고 수정체를 지나 망막(retina)에 쪼이게 되고 망막의 시세포가 이를 인식해 그 정보를 대뇌로 전달해 우리가 보는 상을 인식하게 된다.
사람 눈의 망막 역할을 담당하는 것은 카메라의 이미지 센서다. 이미지 센서는 피사체 정보를 읽어 전기적인 영상 신호로 변환해 준다. 즉 빛 에너지를 전기적 신호로 변환해 영상으로 만드는데, 이미지 센서가 만들어 낸 데이터는 많은 잡음이 있고 왜곡돼 있다.
따라서 색상 개선, 윤곽선 강조, 렌즈 왜곡 보상, 감마 보상, 잡음 감소 등의 목적으로 이미지 신호 처리를 하게 되는데, 이는 약간 복잡한 알고리즘으로 구현한다. 스마트폰 안에는 이미지 센서(CIS : CMOS Image Sensor)와 AP(Application processor) 반도체 부품들이 있어 이를 담당한다.
카메라를 이용해 사진을 찍을 때 기본 단위를 픽셀(pixel)이라고 부른다. 픽셀(Pixel)은 ‘그림(Picture)과 원소(Element)’를 줄인 말로 화소라고 불리며 스마트폰 화면의 이미지를 구성하는 최소 단위다. 디지털 이미지들을 크게 확대해 보면 그림의 경계선마다 부드러운 곡선이 아닌 계단같이 연결된 작은 사각형들이 모여 이미지를 형성하고 있는 것을 볼 수 있다. 이 작은 사각형이 바로 픽셀이고 픽셀 수가 많을수록 섬세하게 표현할 수 있고 크기가 크면 저조도 특성이 우수하다.
카메라 혁신의 3가지 방향
최근 스마트폰 카메라는 세 가지의 기술 혁신을 통해 기존 DSLR 카메라의 화질에 도전하고 있다. 첫째는 고화소 이미지 센서를 사용하는 것이다. 1억 화소급의 센서를 도입해 8K 이상의 해상도 촬영이 가능하도록 하고 있다. 카메라 화소는 앞으로도 계속 발전할 것으로 보인다. 삼성전자는 지난해 8월 1억 화소가 넘는 이미지 센서 ‘아이소셀’을 공개한 바 있다. 이는 대부분의 DSLR 카메라에서도 제공하지 않는 기능이다.
하지만 1인치보다 작은 스마트폰 카메라 센서에 1억 화소 촬영을 한다는 것은 매우 세밀한 영상을 재현할 수 있는 반면 한 개의 픽셀이 받아들일 수 있는 빛의 양이 적어지면서 노이즈가 많은 사진을 촬영하게 된다는 것을 의미하기도 한다.
특히 어두운 곳에서 촬영할 때 이러한 문제는 심각한 품질 문제로 이어질 수 있다. 이를 극복하기 위해 도입된 1억 화소 센서에는 특별한 기능이 있다. 해상도가 감소되기는 하지만 여러 개의 픽셀을 하나의 픽셀처럼 묶어 촬영하는 기능이다. 이러한 방법을 통해 어두운 밤과 같은 저조도 환경에서 삼각대 없이도 밝은 사진을 찍을 수 있는 방법을 제공하고 있다.
둘째 혁신은 멀티 렌즈의 도입이다. 스마트폰 후면에 한 개의 카메라 렌즈가 아니라 세 개 이상의 렌즈를 탑재하고 있고 이를 이용해 넓게 찍는 초광각 구도부터 망원 촬영까지 가능하게 하고 있다.
스마트폰에서 카메라 렌즈 개수가 증가하는 이유는 단순하다. 스마트폰의 두께 때문이다. 기본적으로 1cm 이하 두께의 스마트폰에는 일반 카메라와 같이 경동이 도출되는 형태의 렌즈 구조를 탑재하기 어렵다. DSLR 렌즈처럼 광각부터 망원까지 한 개의 렌즈로 촬영하기 위해서는 다층 구조의 렌즈 조합이 필요하고 이에 따라 두께가 두꺼워지는 문제가 생긴다.
이러한 문제를 해결하는 방법이 초광각·광각·표준·망원의 역할을 각각 할 수 있는 렌즈를 여러 개 탑재하는 것이다. 이러한 방법으로 최근에는 10배 이상의 광각 줌 촬영까지 된다니 가히 혁신이라고 할 수 있다.
마지막으로는 최근에 스마트폰 카메라 성능을 가속화한 것은 AI 기술의 도입이다. 사실 AI 기술은 위에서 얘기한 두 가지의 하드웨어 자원들이 효율적으로 운용될 수 있게 하는 기반 기술이라고 할 수 있다. 이것은 좀 더 상세히 알아보자.
카메라 성능을 가속화 위한 AI 프로세서 활용
스마트폰 안에는 많은 핵심 부품들이 사용되는데 가장 중요한 역할은 애플리케이션 프로세서(AP)가 담당한다. AP는 스마트폰의 성능을 결정짓고 많은 다른 부품들을 전체적으로 제어하므로 사람의 두뇌에 비유하기도 한다. AP에는 중앙처리장치(CPU)가 있는데 운영체제(OS)와 응용 프로그램들을 구동하며 디스플레이, 카메라 부품, 터치 등 모든 부품들을 제어하는 중앙처리기 역할을 한다.
카메라 성능을 좋게 하려면 딥러닝 기반의 별도의 AI 프로세서인 ‘신경망처리장치(NPU)’가 별도로 필요하다. 그 이유는 스마트폰의 카메라 이미지를 딥러닝 처리하기 위해 수많은 데이터와 알고리즘으로 컴퓨터를 학습시키기에는 기존의 CPU나 그래픽처리장치(GPU)로는 전력이 너무 많이 소모되고 비효율적이기 때문이다.
화웨이와 애플이 삼성보다 빨랐다. 화웨이가 개발한 세계 첫 모바일용 AI 프로세서 ‘기린 970’, 애플의 ‘아이폰 X’에 탑재된 ‘A11 바이오닉’에 이어 삼성은 1년 늦게 작년 11월 자체 AP인 엑시노스 9820부터 NPU를 탑재했다. 스마트폰 AI 성능 향상을 놓고 삼성전자·LG전자·애플·화웨이가 치열하게 경쟁하고 있다.
스마트폰에서 AI 프로세서인 NPU는 특히 카메라에서 위력을 발휘한다. 예를 들어 자동으로 최적 화질, 최적 모드로 촬영하게 해주는 인텔리전트 카메라 기능을 꼽을 수 있다.
AI 덕택으로 사용자 취향에 맞는 사진을 만들어 주는 시대 열린다
사실 스마트폰 카메라는 많은 기능이 요구된다. 단순하게는 자동 모드에서 사진을 잘 찍는 것부터 저조도에서 노이즈가 적고 밝게 찍는 나이트 샷 기능, 어두운 곳과 밝은 빛이 동시에 있을 때 사진이 잘 찍힐 수 있도록 하는 기능, 사람 얼굴색을 잘 보존하면서 표정이 잘 나타나도록 찍는 얼굴 모드, 빠르게 움직이는 것을 찍는 스포츠 모드, 수없이 많은 기능이 존재한다.
이를 위해서는 기존의 논리적인 룰(rule)을 기반으로 사람이 설계하기에는 고려해야 할 변수가 너무 많아 좋은 성능을 내기 어렵다. 이럴 때 활용할 수 있는 것이 데이터와 AI 학습을 통해 문제를 해결하는 것이다.
사용자들은 특별한 조작 없이도 좋은 품질의 사진을 촬영할 수 있게 된다. 보통 카메라 촬영을 할 때 여러 장을 촬영하거나 모션 포토와 같이 여러 장의 연사 촬영을 하기도 한다. 이때 어떤 순간의 사진이 잘 찍힌 사진인지 찾아내는 것은 여간 불편하고 귀찮은 일이 아니다. 이러한 일을 AI가 도움을 줄 수 있다. 미리 학습된 패턴을 이용해 찍힌 사진 중 베스트 사진을 자동으로 선정해 주는 것이다. 이를 활용하면 사용자는 그냥 사진만 연속으로 찍으면 되므로 카메라 활용성이 매우 높아질 수 있다.
AI 기술의 혁신이 가속화될수록 무거운 DSLR 카메라 없이도 스마트폰 카메라로 사용자들은 전문가가 아님에도 오랜 추억을 간직할 수 있는, 소위 ‘인생 샷’을 쉽게 촬영할 수 있게 될 것이다. 앞으로도 AI 프로세서가 스마트폰 카메라의 혁신을 이끌 것은 틀림이 없다.
[본 기사는 한경비즈니스 제 1308호(2020.12.21 ~ 2020.12.27) 기사입니다.]
© 매거진한경, 무단전재 및 재배포 금지