AI가 이상 징후 잡아내 경고 발송...화학 시설에서는 방독면 미착용, 쓰러짐, 달리기 감지
[HELLO AI] AI 활용 사례-에스원![무인 편의점에서 난동 피우거나 장기 체류하면?...무인 매장 지키는 에스원 영상분석 AI](https://img.hankyung.com/photo/202102/AD.25259688.1.jpg)
무인화의 핵심은 인공지능(AI)이다. 만약 무인 편의점에서 난동을 피우거나 물건을 훔치거나 취객 등이 자리를 점거한다면 보안 시스템이 작동하기 시작한다. AI를 탑재한 보안 시스템이 매장 안에서 일어나는 일을 실시간 감지하고 대응한다.
과거 CCTV가 현장을 ‘기록’했다면 무인 매장에선 ‘감시’와 ‘예방’에 초점을 맞춘다. 기록에서 예방으로 더 적극적인 보안 솔루션이 가능하게 된 데는 얼굴 인식 기술과 지능형 영상 인식 기술이 있다. 지능형 영상 인식 기술은 CCTV의 영상을 분석해 자동으로 이상 행위를 탐지하고 관리자에게 경보를 전송하는 기술이다.
보안업계도 포스트 코로나 시대의 성장 전략으로 이 시장을 눈여겨보고 있다. 한국 1위 보안 업체 에스원은 비대면이 일상화되면서 올해 보안업계에 AI 기술을 탑재한 지능형 보안 솔루션과 생체 인증을 접목한 무인 솔루션이 증가할 것으로 내다보고 있다. 노희찬 에스원 사장은 올해 “통합 보안 플랫폼으로 보안업계 1위를 확고히 하겠다”는 목표를 발표했다.
에스원은 영상 인식 기술을 활용한 무인 솔루션으로 이상 징후의 현장을 포착한다. 지난해에만 편의점 CU와 업무 협약을 맺고 100여 곳의 무인 매장에 보안 솔루션을 공급했다. 난동 등 이상 행동, 넘어짐, 가상 펜스(매대 안 침입), 30분 이상 장기 체류 상황에서 즉각적으로 관제실에 알리고 후속 조치를 취하고 있다. 무인 PC방은 얼굴 인식 기능으로 인증 후 출입하고 야간에는 청소년과 성인을 구분한다. 사람이 주민등록증을 일일이 확인하지 않아도 청소년의 출입이 자동으로 막힌다.
에스원 AI 연구의 전초 기지, AI랩
에스원의 AI 연구·개발은 AI랩에서 주도하고 있다. AI랩은 딥러닝 기반의 이미지 프로세싱을 전담하면서 지능형 영상 감시 분야 그리고 얼굴 인식 연구에 핵심 역량을 모은다. AI 기술을 출입과 영상 보안 분야에서 에스원 솔루션에 적용해 차별화된 경쟁력을 확보하는 데 중추적 역할을 담당한다.
AI랩을 이끄는 조민국 랩장은 10년 이상 영상 인식 기술을 개발하면서 관련 분야의 기술 개발과 현장 적용 경험을 두루 거치며 딥러닝 기술을 활용한 에스원의 미래와 방향성을 제시하고 있다. 또 지능형 CCTV 기술 개발로 두 차례 ‘IR52’ 장영실상을 수상한 이동성 상무도 AI랩 소속이다.
에스원은 기존의 침임 감지 등 보안에만 국한됐던 기술의 제약을 AI 기술을 기반으로 ‘보안’ 분야를 넘어 ‘안전’ 분야에까지 확대하면서 새로운 혁신 기회를 마련하고 있다. 단순히 학술적 연구에 그치지 않고 다양한 현장에서 실제 사용할 수 있는 검증된 기술을 자체 개발해 출입·영상 등 보안 분야의 현장에서 필요한 기능을 제공하는 데서 특징을 찾아볼 수 있다.
에스원의 대표적인 AI 연구 분야는 얼굴 인식 기반의 출입 보안과 CCTV 영상 분석 기반의 영상 보안으로 구분된다. 딥러닝 기반의 객체·행동 인식 기술이 기반 기술로 쓰이고 있다. 이동성 에스원 상무는 “검증된 딥러닝 알고리즘을 최적화해 빠른 인식 속도를 확보하고 고객의 동의를 거쳐 확보된 다양한 실시간 학습 데이터베이스를 통해 높은 정확도를 구현했다”고 말했다.
에스원은 AI가 본격적으로 확산되기 이전인 2000년대 중반부터 일찍이 관련 기술 개발에 투자해 왔다. 그 과정에서 오·인식 문제로 ‘양치기 소년’이 되는 등 많은 시행착오도 겪었지만 결국 상용화에 성공했다. 최근 무인화 시장 수요와 맞물려 AI 활용이 더욱 중요해는 시점이다. 크게 세 개 분야에서 에스원의 AI 경쟁력과 개발 노하우를 찾아본다.
얼굴 인식 기반의 출입 관리 시스템 ‘CLES’
- 마스크 착용한 얼굴, 어떻게 알아보나
![무인 편의점에서 난동 피우거나 장기 체류하면?...무인 매장 지키는 에스원 영상분석 AI](https://img.hankyung.com/photo/202102/AD.25259687.1.jpg)
최근 건물마다 열 감지 기능을 탑재한 출입 관리 시스템이 도입되는 가운데 에스원은 출입 관리 시스템 서비스를 업그레이드했다. 출입 관리뿐만 아니라 근태 관리, 주52시간 관리, 휴가자 관리, 방문객 관리 등 다양한 기능을 제공한다. 자체 개발한 얼굴 인증 기술을 통해 ‘1초 이내’ 빠른 인증 속도를 자랑한다. 이때 마스크를 착용해도 1초 이내에 식별할 수 있다. 마스크를 쓰지 않거나 ‘턱스크’, ‘입스크’ 등 잘못 착용해도 AI가 곧바로 가려내고 알람을 띄운다.
에스원은 2018년 얼굴 인식 리더를 출시하고 2019년 얼굴 인식 솔루션 클레스를 출시했다. 보안 필요성이 높고 출입 인원이 많은 산업 시설, 공공 기관 등에 적용하고 있다. 기업 내에서도 특히 연구실과 자료보관실 등 정보 보안이 중요한 부서에서 내부 인가 목적으로 이 시스템을 활용한다. 카드형 사원증은 패용하기가 불편하고 분실 등의 우려가 있는 반면 딥러닝 기반의 얼굴 인식 기술을 접목한 얼굴 인식 출입 솔루션은 보안성과 편의성을 제공한다고 에스원 측은 설명했다.
얼굴 인식은 대표적인 비대면 솔루션에 해당한다. 그동안 출입을 위해 접촉은 필수였다. 지문을 찍거나 카드를 찍었다. 점차 모바일 사원증 기반, 나아가 생체 인증을 통해 얼굴 인식 시스템까지 기술이 발전해 왔다. 에스원 관계자는 “출입 관리가 어려운 것은 그룹 단위의 수십만 명의 출입 관리 내부 로직은 논리적으로 상당히 복잡하고 한두 명만 출입 기록이 누락돼도 운영상 큰 장애를 초래하기 때문”이라며 “삼성그룹 관계사만 수십 만 명이 에스원의 출입 소프트웨어 플랫폼 기반에서 이용하고 있고 안정적 운영 노하우가 쌓여 있다”고 말했다.
신종 코로나바이러스 감염증(코로나19) 사태는 얼굴 인식 기술의 패러다임을 완전히 바꿔 놓았다. 그동안 얼굴 인식의 기본 전제 조건은 눈·코·입이 전면에 보여야 한다는 것이었다. 이제는 마스크를 착용한 상태로 얼굴을 인식해야 하는 상황이다. 이는 곧 기술적 난제이기도 했다. 얼굴을 인식하기 위해서는 첫째, 얼굴을 찾아야 하고 둘째, 그 사람이 누구인지 구분해야 한다. 얼굴을 찾는 데 사람의 눈·코·입 정보가 100%라면 눈 정보는 약 60~70%의 비율을 차지한다. 눈썹의 패턴과 눈의 특징을 통해 구분한다. 이동성 상무는 “기계가 아무리 AI를 학습해도 아직 한계가 있어 100% 수준까지는 아니지만 마스크를 착용한 상태에서 90% 수준까지는 가려낼 수 있다”고 말했다. 70%에서 90%로 인식 수준을 끌어올릴 수 있었던 비결은 크게 알고리즘과 데이터 측면에서 강점을 보이면서다.
먼저 알고리즘 측면에선 검증된 딥러닝 알고리즘을 자체적으로 최적화해 빠른 인식 속도를 확보했고 고객 동의를 거쳐 확보된 다양한 실환경 학습 데이터베이스(DB)를 통해 높은 정확도를 구현했다. 또한 공개된 학습 DB 외에 고객의 동의를 거쳐 실제 운영하는 현장에서 확보된 데이터가 가장 큰 강점으로, 데이터를 정제하기
위해 전담 인력을 운영, 학습에 필요한 데이터를 축적하고 있다. 그 결과 한국인터넷진흥원(KISA) 인증 얼굴 인식 정확도는 99.9%로 나타났다. KISA는 생체 인식을 평가하기 위해 조명·안경·액세서리·포즈·표정 등 네 개 항목에서 변화를 측정한다. 에스원은 역광이나 안경테를 바꿔쓴 경우, 정면이 아닌 위아래를 쳐다보거나 혹은 표정을 찡그리는 상황에서 99.9%의 비율로 얼굴을 인식한 것이다.
![무인 편의점에서 난동 피우거나 장기 체류하면?...무인 매장 지키는 에스원 영상분석 AI](https://img.hankyung.com/photo/202102/AD.25259681.1.jpg)
![무인 편의점에서 난동 피우거나 장기 체류하면?...무인 매장 지키는 에스원 영상분석 AI](https://img.hankyung.com/photo/202102/AD.25259682.1.jpg)
- 박사 출신 개발자들이 맨땅에 수차례 몸을 던진 이유는
2013년 이후 딥러닝 기술이 나오면서 ‘사물 인식’이 가능해졌다. 사람인지, 차인지, 어떤 물체인지 구분할 수 있게 된 것은 큰 변화다. 딥러닝 이전의 가장 큰 특징은 움직임이었다. CCTV에서 움직임이 포착되면 침입자로 간주하는 식이다. 이 때문에 나무가 바람에 흔들리거나 눈비가 오는 환경에서 오·인식하는 경우가 많았다.
AI는 ‘선별 관제’를 가능하게 하는 힘이다. 과거에는 사람의 눈으로 수십·수백·수천 대의 CCTV를 주시해야 했다. 얼굴 인식 부분에서 AI를 통해 출입 시스템을 혁신했다면 영상 관제 부문에선 지능형 CCTV로 고도화가 진행되고 있다. 관제사가 365일 모든 순간을 관찰하지 않아도 AI가 이상 징후를 발견하고 해당 화면을 포커싱해 준다. 또한 물류·설비 시설 관제에선 물동량 분석이나 설비 고장 사전 탐지 등 컨설팅의 영역도 담당한다.
지능형 CCTV는 큰 범주에서 보안과 안전 환경 분야로 구분해 볼 수 있다. 보안은 침입자를 감시하는 일이다. 무단 침입자와 배회자 등을 찾아낸다. 안전 환경은 사람을 둘러싼 환경의 이상 징후를 발견하는 일이다. 최근 안전 환경 수요가 늘고 있다. 에스원은 이와 관련해 안전 환경 SVMS를 선보이고 있다. 영상 관리 시스템(VMB)에 스마트(Smart)의 S를 붙였다. AI가 접목된 VMS다.
안전 환경 SVMS는 3D·2D 영상 인식 기술로 실시간 CCTV 영상을 분석하고 산업 현장의 맞춤 자체 알고리즘을 통해 위험 상황 발생 시 자동으로 운영자에게 통보해 산업 재해를 예방하는 솔루션이다. 산업 현장에 최적화된 지능형 알고리즘을 적용해 대형 공장이나 고위험 공장 등에서 ‘방독면 미착용’, ‘이종 복장’, ‘넘어짐’, ‘달리기’, ‘화재 발생’, ‘난동’ 상황 등을 알려준다. 영국 정부 산하의 ‘국가기간시설보호센터’에서 최고 등급의 기술 인증을 취득한 바 있다.
안전 환경 SVMS는 보안 기능에서 출발해 점차 기능을 추가한 것이다. 침입 감지에서 배회자 감시·넘어짐·방독변 미착용 기능이 하나씩 추가됐다. 방독면 미착용은 고객사의 요청에 의해 발굴한 기능이다. 1건의 중대 사고가 나기에 앞서 29건의 비슷한 작은 사고와 300건의 징후가 일어나는 ‘하인리히 법칙’이 있다. 방독면 미착용·넘어짐·달리기 감지와 같은 기능은 작은 요인을 미리 찾아 큰 사고를 막자는 취지에서 개발된 기술이다. 공장 내 돌발 상황을 실시간 파악해 산업 재해를 예방하는 기대 효과를 가진다. 화학 시설에서 방독면을 착용하지 않은 채 돌아다니거나 갑자기 사람이 쓰러지면 관제실에 즉각 보고되고 현장 가까운 스피커에서 알람이 울리는 식이다.
이와 같이 새로운 활용 사례를 구축하는 데는 무엇보다 학습 데이터가 필요하다. 정보 보호 이슈로 보안 분야의 데이터를 확보하는 것은 쉬운 일이 아니다. 이에 따라 AI랩의 연구진은 직접 몸으로 부딪치면서 자체 데이터를 확보했다. ‘방독면 미착용’의 경우 종류별 방독면 샘플을 구입해 착용하고 연구진이 직접 착용하고 사진을 찍어 확보했다. 특히 ‘넘어짐’은 학습 데이터를 확보하는 데 험난한 과정을 거쳤다. “직원부터 임원까지 박사 출신 개발자들이 돌아가면서 맨 돌바닥 위에 수십 번씩 몸을 던져 가며 넘어지고 멍이 드는 일이 비일비재했다”는 비하인드 개발 스토리가 쏟아진다. 현장에서 이종 복장 테스트를 하면서 쫒겨나기도 하고 50대의 CCTV 앞에서 50번 달리며 감지 능력을 측정하기도 했다. 안전 환경 SVMS는 사무실보다 현장에서 답을 얻어 왔다.
터널 사고 자동 감지 시스템
- 역주행 차량, 낙하물도 AI가 ‘경고’
![무인 편의점에서 난동 피우거나 장기 체류하면?...무인 매장 지키는 에스원 영상분석 AI](https://img.hankyung.com/photo/202102/AD.25259686.1.png)
한국의 대형 터널에서 돌발 상황을 15초 이내에 분석하고 판정해 운영자에게 통보한다. 정지 차량, 역주행, 보행자(오토바이 포함), 낙하물 감지와 같은 돌발 상황에서 빠르게 대응하는 게 목표다. 에스원은 딥러닝 기술을 기반으로 성능을 지속 개선한 결과 한국지능형교통체계협회에서 1등급 인증을 받았다. 2017년 한국의 최장 터널인 인제터널에 터널 사고 자동 감지 시스템을 구축하고 평상시 도로 상황을 실시간 모니터링하고 있다.
길이 11km의 인제터널은 한 번 사고가 나면 대형 사고로 이어질 가능성이 높다. 2차 사고를 유발할 수 있는 요인을 빨리 찾아 제거하는 것이 관건이다. 실제 한국도로공사가 사고 자동 감지 시스템을 운영하면서 두 달 기준 역주행 1건, 고장 차량 발생 57건이 일어났지만 이 시스템에 따라 사고로 이어지지 않았다.
터널 내 보행자 감지는 보안 분야에서의 침입자 감지와 같은 기반 기술을 사용한다. 차이점은 90m에 육박하는 원거리 측정을 해야 한다는 점이다. 에스원은 딥러닝 기술 기반으로 성능을 지속 개선하면서 한국지능형교통체계협회 1등급 인증을 받았다.
에스원은 최근 비대면 트렌드로 AI 기술 발전, 무인 매장 증가, 원격 근무 일상화, 감시의 보편화 등을 주목하고 특히 올 한 해 AI 기술을 탑재한 다양한 지능형 보안솔루션들이 출시될 것으로 전망하고 있다. 이와 같은 트렌드에 발맞춰 얼굴 인식과 지능형 CCTV 핵심 기술을 양날개 삼아 시스템 구축부터 출동 서비스까지 원스톱으로 지원하는 차별점을 강조하며 시장 공략에 속도를 낼 방침이다.
박스 1 – 에스원의 AI 활용 분야는
얼굴 인식 기반의 출입 보안
CCTV 영상 분석 기반의 영상 보안(터널 사고 감지, 안전 환경, 중요 시설 보안 등)
박스 2 – 에스원의 AI 활용 사례 요약
- 왜 연구를 시작했나?
기존 기술의 한계로 인해 현장 적용 시 발생하는 인식 성능 저하와 오·인식을 어떻게 줄일 수 있을지가 가장 큰 계기가 됐다.
- 무엇을 바꿨나?
딥러닝 기반의 인공지능(AI) 영상 인식 기술을 적용함으로써 획기적인 인식 성능 개선과 오·인식을 절감했다.
표 ) 안전 환경 솔루션
![무인 편의점에서 난동 피우거나 장기 체류하면?...무인 매장 지키는 에스원 영상분석 AI](https://img.hankyung.com/photo/202102/AD.25281967.1.jpg)
- AI를 통해 무엇을 혁신하나?
기존에 침입 감지 등의 보안에만 국한됐던 기술의 제약을 AI 기술을 기반으로 보안 분야을 넘어 안전 분야까지 적용 분야를 확대해 큰 사고로 이어질 수 있는 위험 행동이나 상황에 대한 사전 감지를 통해 안전과 안심을 제공한다는 측면이다.
이현주 기자 charis@hankyung.com
© 매거진한경, 무단전재 및 재배포 금지