방대한 데이터 통해 스스로 학습하고 미래 예측…데이터 양이 관건
기상학자 에드워드 로렌츠는 1961년 기상관측을 하던 중 날씨가 예측 불가능하게 변하는 것이 바로 지구 어딘가에서 일어나고 있는 작은 현상에서 비롯됐을지 모른다는 생각을 하게 됐다. 예컨대 브라질에 있는 조그만 나비의 움직임이 발단이 돼 미국에 토네이도를 불러올 수도 있다는 것이다. 이후 아주 사소한 원인이 큰 사건으로 이어질 수 있다는 나비 효과 이론으로 발전하게 됐다.
2000년대 초반 인터넷의 확산을 기점으로 비즈니스 환경이 더욱 복잡하게 변했다. 이전까지는 큰 상관관계가 없었던 경제·사회·문화적 요인이 서로 밀접하게 연관되면서 한 분야에서의 변화가 연쇄적으로 커다란 사건을 낳는 사례가 빈번하게 발생하고 있는 것이다. 이에 따라 풍부한 지식을 지닌 석학 및 전문가들조차 미래의 장기적 방향은커녕 단기적 추세를 예상하는 것도 쉽지 않다고 말한다.
오늘날 불확실성은 기업 경영에서 가장 큰 위험으로 떠오르고 있다. 글로벌 기업들의 평균수명이 점차 낮아지고 있고 새로운 기업들이 우후죽순으로 등장해 기존 시장의 질서를 파괴하는 등 업종과 지역을 불문하고 불확실성이 빠르게 고조되고 있는 상황이다. 이에 따라 IBM이나 지멘스 등 많은 글로벌 기업들이 미래 트렌드와 비즈니스 환경 예측을 위한 투자를 아끼지 않고 있다. 이들 기업들은 단순히 미래를 바라보는 것을 넘어 변화에 적극적으로 대응하고 나아가 새로운 트렌드를 주도하기 위한 전략 수립에 많은 관심을 기울이고 있다.
1930년대 미국의 한 보험사에서 근무하던 허버트 하인리히는 산업 현장의 재해 사례를 분석한 결과 재미있는 사실을 알게 됐다. 어떤 사건으로 중상자가 1명 나오면 이전에 같은 원인으로 경상자가 29명 정도 발생했고 다칠 뻔한 잠재적 부상자는 무려 300명이나 된다는 것이다. 그는 이를 토대로 큰 사고와 작은 사고 그리고 소소한 사고의 발생 비율이 1 대 29 대 300이라는 법칙을 발견했다.
데이터, 미래를 예측하는 열쇠
그의 이름을 따 세상에 알려지게 된 하인리히 법칙은 위기는 우연히 갑작스럽게 일어나는 게 아니라 그 이전에 반드시 경미한 사고들이 반복되는 과정 속에서 발생한다는 것을 시사한다. 따라서 사소한 변화를 미리 감지하고 잘못된 점을 고치면 이후에 닥칠 수 있는 큰 위기를 방지할 수 있지만 반대로 방치하면 훗날 돌이킬 수 없는 사고로 번질 수 있다는 것이다.
하인리히 법칙이 의미하듯이 사소한 변화의 징후를 빠르게 파악하는 것은 미래에 발생 가능한 사건을 예측하는 단초가 될 수 있지만 이를 위한 기술 수준이 부족한 과거에는 이를 예측하는 게 매우 어려운 일이었다. 그러나 최근 빅 데이터 기술이 빠르게 발전하면서 실시간으로 쏟아지는 다양한 정보를 통한 트렌드 분석 및 미래 예측의 정확성을 한층 높일 수 있게 됐다. 특히 데이터 수집 및 분석, 시각화 등 빅 데이터 기술 수준이 한층 고도화되는 반면 비용은 갈수록 저렴해지고 있기 때문에 많은 기업들이 직관적 판단에 의존하던 관행에서 벗어나 미래 예측 및 의사 결정에 다양한 종류의 데이터를 활용할 수 있게 됐다.
불확실성의 증가 및 데이터 분석 기술의 고도화가 진전되면서 여러 글로벌 정보기술(IT) 기업들이 여기에서 새로운 비즈니스 기회를 엿보기 시작했다. 이들은 자사의 클라우드 컴퓨팅 플랫폼을 이용해 광범위한 데이터를 축적하고 이를 기반으로 다가올 미래에 벌어질 트렌드를 예측하는 서비스를 출시하고 있다. 마이크로소프트는 자사의 클라우드 플랫폼 애저(Azure)를 기반으로 데이터를 분석하고 트렌드를 예측하는 서비스를 전 세계 기업들에 제공하고 있다. 마이크로소프트는 이 서비스를 통해 기업이 애저 플랫폼에서 원하는 데이터를 고속으로 처리하고 이를 기반으로 향후 일어날 수 있는 사건을 확인할 수 있도록 지원하고 있다. 또한 최근에는 아마존도 이와 유사하게 자사의 클라우드 플랫폼인 아마존 웹서비스(Amazon Web Service)를 기반으로 트렌드의 변화를 예측할 수 있는 서비스를 출시하는 등 데이터 기반의 미래 예측 시장은 IT 기업들의 새로운 격전지로 부상할 조짐을 보이고 있다.
미래 예측의 핵심 기술, 머신 러닝
미래 예측 서비스에 대한 관심도 빠르게 늘고 있다. 물론 이러한 서비스들이 SF 영화에서 그려지는 것처럼 미래를 정확하게 예측하는 것은 아니지만 많은 기업들은 다양한 상황에서 급작스러운 사고 위험을 낮추는 데 큰 도움을 줄 것으로 기대하고 있다. 실제로 마이크로소프트의 서비스를 도입한 독일의 엘리베이터 기업 티센크루프(ThyssenKrupp)는 자사가 설치한 엘리베이터 내 센서가 수집하는 모터의 온도와 습도 및 운행 속도 등 각종 정보를 실시간으로 파악해 엘리베이터가 실제로 고장 나기 전 수리가 필요한 부분을 미리 파악하는 등 상당한 효과를 거둔 것으로 알려지고 있다.
마이크로소프트와 아마존의 미래 예측 서비스는 머신 러닝(Machine Learning)이라고 불리는 새로운 인공지능 기술에 기반하고 있다. 머신 러닝은 클라우드 컴퓨터가 학습 모형을 기반으로 외부에서 주어진 데이터를 통해 스스로 학습하는 기술로, 머신 러닝을 통해 컴퓨터가 지능을 더욱 강화할 수 있게 된다. 따라서 컴퓨터는 이후 새로운 데이터가 입력됐을 때 과거의 학습 경험을 토대로 이를 이해하고 분석함으로써 다가올 변화를 예측할 수 있다. 이에 따라 이들 기업들은 미래 예측 서비스를 이용하는 사람들이 늘어 갈수록 클라우드 컴퓨터가 더욱 똑똑해지기 때문에 미래 예측의 정확성을 더욱 높일 수 있게 될 것이라고 주장한다.
머신 러닝에 대한 연구는 최근 이뤄진 것이 아니다. 1980년대에도 컴퓨터가 스스로 데이터를 분석하고 학습함으로써 스스로 지능을 강화할 수 있을 것이라는 주장이 꾸준하게 등장했지만 당시에는 데이터를 처리할 수 있는 컴퓨팅 성능의 한계로 이를 쉽게 구현하기 어려웠다. 그러나 최근 조그만 반도체도 엄청난 컴퓨팅 성능을 포함할 수 있을 정도로 기술 수준이 빠르게 발전하면서 머신 러닝을 구현하기 위한 방대한 데이터 수집 및 분석이 효과적으로 이뤄질 수 있게 됐다.
머신 러닝에 대한 IT 기업들의 관심은 폭발적이다. 특히 데이터의 양에 따라 머신 러닝의 성능 수준이 결정되기 때문에 구글·아마존·페이스북 등 데이터 수집 및 활용 역량이 뛰어난 기업들이 머신 러닝에 투자를 아끼지 않고 있다. 이전부터 내부적으로 인공지능을 연구해 온 구글은 최근 머신 러닝 관련 기업 딥마인드(Deep mind)를 인수하는 등 본격적인 기술 연구 및 상용화에 착수하고 있다. 방대한 클라우드 컴퓨터와 네트워크 인프라를 통해 전 세계에서 풍부한 데이터를 실시간으로 수집하고 있는 구글은 언어 번역 및 음성인식, 유튜브 영상 추천 등 머신 러닝을 활용한 다양한 서비스를 제공하고 있다. 또한 활발하게 연구하고 있는 무인 자동차에도 머신 러닝 기술을 적용하는 등 그 적용 분야를 넓히려는 노력을 계속하고 있다.
한편으로 페이스북 역시 ‘팬더’라는 프로젝트를 통해 사진 속 인물들의 성별·외모·표정 등을 인식하고 구분할 수 있는 머신 러닝 기술을 연구하고 있다. 전 세계 수많은 사용자가 실시간으로 올리는 엄청난 사진 이미지를 축적하고 있는 페이스북은 머신 러닝 기술을 활용해 다양한 사진의 맥락을 알고 사용자들의 성향을 더욱 잘 이해할 수 있게 될 것이라고 주장한다. 따라서 페이스북은 이를 기반으로 맞춤형 콘텐츠 및 광고 제공 등 자사의 수익과 연관된 기능을 더욱 강화할 것으로 예상된다.
이제 막 기지개를 펴기 시작한 미래 예측 서비스가 어느 수준까지 발전할 수 있을지는 여전히 미지수다. 그러나 사물인터넷의 확산과 네트워크 인프라의 고도화 등 빠르게 발전하는 IT 패러다임을 기반으로 머신 러닝 기술을 연구하고 활용하기 위한 움직임이 활발하게 이어지고 있다. 이에 따라 미래의 불확실성에 도전하려는 IT 기업들의 경쟁은 더욱 치열하게 전개될 것으로 보이며 이를 통해 컴퓨터의 지능이 꾸준히 발전할 것으로 전망된다.
전승우 LG경제연구원 선임연구원