고도의 로봇이나 자율주행차라면 사람이나 다른 장치에 의한 원격 조종을 받지 못하는 상태에서도 스스로 완벽하게 작동할 수 있어야 한다. 로봇, 자율주행차 등의 디바이스가 작동해 주행과 관련한 상황 인식, 판단, 행동 등의 의사결정을 독자적으로 수행할 수 있다는 것은 AI 시스템이 디바이스 내에 탑재되어 있다는 의미이다. 최근 AI 기술과 컴퓨팅 자원의 발전에 힘입어 온디바이스 AI를 탑재한 제품들이 속속 등장하고 있다. 통신 없이 작동할 수 있는 온디바이스 AI최근 온디바이스 AI(On-device AI)의 열풍이 거세다. 온디바이스 AI는 인터넷을 통해 클라우드나 원격 서버를 거치지 않고 스마트폰, 노트북, 로봇 등 사람이 직접 사용하는 장비나 에지 디바이스(Edge Device)에서 작동하는 AI를 뜻한다.
온디바이스 AI의 작동 과정은 지금까지 보던 AI와는 다르다. 자주 보아 온 AI들은 사람의 눈, 귀 역할을 하는 에지 디바이스가 데이터를 수집해서 사람의 뇌와 같은 역할을 하는 클라우드나 서버로 보내 정보를 처리하고 그 결과를 다시 사람과 접하는 단말기를 통해 제공하는 단계를 거치며 작동한다. 클라우드, 서버 등의 데이터 네트워크를 기반으로 작동하는 것이다. 그러나 온디바이스 AI는 음성 인식, 이미지 인식, 자연어 처리 등의 각종 AI 서비스를 개인용 디바이스 내에서 바로 제공한다.
개인이 휴대하거나 직접 사용할 수 있는 에지 디바이스 내에서 작동한다는 특징 때문에 온디바이스 AI는 다양한 장점을 지닌다. 첫째, 언제 어디서나 사용할 수 있는 편리성이다. 인터넷이 연결되지 않은 상태나 통신망과 단절된 지역에서도 내장된 AI 서비스를 이용할 수 있다. 둘째, AI가 제공하는 각종 지능형 서비스를 보다 저렴한 비용으로 이용할 수 있다. 서버 없이 작동하므로 클라우드, 데이터센터 등 중앙 집중형 IT 인프라에 대한 부하를 줄일 수 있고, 더 나아가서는 인프라 확장에 대한 부담도 완화할 수 있다. 셋째, 보안성 측면에서도 우수하다. 기본적으로 모든 데이터, 정보가 단말기 내에서 처리되므로 민감한 개인정보나 회사 자산이 외부 통신망이나 데이터센터 등을 통해 유출될 확률이 아주 낮아진다.
디바이스에 탑재된 AI 시스템이 모두 온디바이스 AI로 간주되지는 않는다. 외부 통신 없이 작동할 수 있다는 온디바이스 AI의 핵심적인 특징은 몇 가지 제약 조건으로 작용한다. 예를 들어 클라우드 기반 AI의 작동 기반은 수백, 수천 개의 GPU, NPU 등 각종 프로세서들과 초대용량 메모리 장치들로 구성된 데이터센터가 아니라 개별 에지 디바이스에 내장된 프로세서와 소규모 메모리에 불과하다.
반면 스마트폰에 탑재된 온디바이스 AI라면 하나의 AP를 기반으로 작동할 수 있어야 한다. 그만큼 데이터를 처리할 수 있는 프로세서의 속도와 용량이 대폭 제한되므로 온디바이스 AI가 제공할 수 있는 서비스는 클라우드 기반 AI에 비해 대폭 줄어들 수밖에 없다. AI가 저장되는 공간도 대용량 메모리를 갖춘 데이터센터의 서버가 아니라 스마트폰 등 개인용 단말기의 메모리에 불과한 만큼 AI 모델의 용량도 작아질 수밖에 없다. 그래서 처리할 수 있는 문제의 범위나 추론, 학습 등의 처리 수준 등에서 클라우드 기반의 AI보다 다소 제한적이다.
또한 AI의 업그레이드 능력도 한정돼 있어 AI 모델을 업데이트하거나 새로운 정보로 학습시키려면 인터넷을 통해 클라우드, 서버와 연결되어야 한다.
온디바이스 AI의 주요 구성 요소는 각종 연산 작업을 수행하는 프로세서와 AI 모델 소프트웨어로 구성된다. 온디바이스 AI용 프로세서로는 고속 행렬 연산을 통해 학습과 추론을 수행하는 GPU 또는 인간 뇌의 뉴런 간 상호 작용을 모방한 뉴로모픽 칩인 NPU 등이 있다. 온디바이스 AI 모델의 소프트웨어로는 AI 모델의 연산 방식을 효율적으로 줄인 각종 오픈소스 경량 AI 모델들과 파라미터의 불필요한 표현력을 줄이거나 일반적인 모델 압축 기법을 적용한 경량화 기술들이 사용된다. 스마트폰·로봇 등에 장착된 형태로 등장하는 중최근 온디바이스 AI는 스마트폰, 노트북 등 개인용 디바이스에 장착된 형태로 주로 등장하고 있다. 가장 먼저 선보인 곳은 2023년 10월 생성형 AI 서비스를 탑재한 스마트폰 픽셀 8프로를 출시한 구글이었다. 개인용 디바이스 분야를 통틀어 온디바이스 AI 도입에 가장 적극적이고 빠른 행보를 보이는 곳은 한국의 삼성전자다.
삼성전자는 애플과의 경쟁에서 스마트폰 경쟁에서 우위를 차지하기 위해 통화 내용을 실시간으로 통역해서 음성과 문자로 전달할 수 있는 생성형 AI 모델 ‘가우스’를 탑재한 스마트폰인 갤럭시 S24를 출시했다. 삼성전자는 온디바이스 AI의 장착 기반을 스마트워치, 무선이어폰, 노트북 등 다양한 개인용 디바이스로 확장할 계획이다.
삼성은 지난 1월 초에 열린 CES 2024에서 온디바이스 AI를 탑재한 TV도 공개한 바 있다. 삼성전자의 뒤를 이어 독자적인 초거대언어모델(LLM)을 개발하고 있는 애플이나 샤오미·화웨이 등 중국 스마트폰 기업들도 머지않아 온디바이스 AI를 탑재한 모바일 기기를 선보일 것으로 예상된다.
온디바이스 AI가 조용하지만 착실하게 도입되는 분야는 로봇이다. 2023년 말 대만의 협동로봇 기업 테크맨은 머신러닝 기반 시각 인식 AI 모듈을 탑재한 협동로봇을 출시했다. 테크맨의 협동로봇 팔에는 전자 제품 조립 및 검수 작업을 위해 부품 이미지를 인식하는 온디바이스 AI 모듈이 부착되어 있다. 테크맨의 온디바이스 AI 모듈의 이미지 학습 과정은 서버에서 진행된다. 3D 카메라로 수집한 정상적인 부품 조립 이미지를 자사 서버로 보내 AI 모델을 학습시키고, 학습을 마친 AI 모델은 온디바이스 AI 모듈 내에 설치되어 조립 공정을 거친 부품의 이미지를 분석해 조립 오류 등 각종 불량품을 검수하는 작업을 수행한다.
오스트리아의 산업용로봇 제어기 전문 업체인 케바(Keba)도 산업용로봇에 장착하는 온디바이스 AI 모듈을 개발하고 있다. 케바의 온디바이스 AI는 부품을 인식하는 시각 AI와 사용자의 명령을 알아듣는 자연어 처리 AI가 동시에 장착된 제품이다. 케바는 클라우드 기반의 AI보다 로봇 자체에서 독립적으로 작동할 수 있는 온디바이스 AI가 로봇 분야에서 더 실용적이라고 본다. 그래서 케바의 AI 로봇 제어기는 자사 서버에 연결되지 않은 상태에서도 로봇이 사람의 명령을 알아듣고, 지시 사항을 그대로 수행할 수 있도록 만들어지고 있다. 생성형 AI 대중화의 계기로 작용할 전망생성형 AI의 확산과 더불어 온디바이스 AI의 필요성은 꾸준히 커져 왔다. AI 서비스 사업자 입장에서 통신망과 클라우드의 부하를 최소화하면서 AI 서비스를 즉각 제공할 수 있는 온디바이스 AI의 확산은 고무적이다. 스마트폰, 노트북에서부터 자율주행차, 각종 서비스 로봇, 스마트 가전 등 데이터를 수집하는 에지 디바이스의 수가 폭발적으로 증가하고, 각 디바이스가 수집하는 데이터의 양도 기하급수적으로 늘어나고 있어서 통신망과 클라우드, 서버 등에 대한 부하와 투자 부담을 줄이는 것이 기업들에 중요한 문제가 되고 있다.
사용자 입장에서도 온디바이스 AI는 생성형 AI의 대중화를 더욱 가속화하는 요인이 될 전망이다. 온디바이스 AI가 활성화되면 각 개인은 스마트폰, 노트북과 같은 개인용 디바이스에서부터 자동차, 서비스 로봇 등 다양한 경로를 통해 AI 서비스에 접근할 수 있다. 기밀 유출 우려 때문에 챗GPT 등 외부 클라우드와 연결되는 AI 서비스의 사용을 금지해 온 기업들도 부담 없이 생성형 AI 서비스를 이용하게 될 것이다.
진석용 LG경영연구원 연구위원