빅 데이터 시대, 금맥을 찾아라 ②
작년 초 미국 최고 인기 TV 퀴즈 쇼 ‘제퍼디!’는 27년 역사상 가장 강력한 두 명의 퀴즈 영웅에 도전장을 내민 첫 출연자가 압도적인 점수 차로 퀴즈 왕들을 가볍게 물리쳤다. 기존 챔피언 중 한 명은 74게임 연속 우승 기록 보유자였고 한 명은 이 퀴즈 쇼에서 무려 37억 원을 획득한 퀴즈 왕이었다. 이 당돌한 새 퀴즈 챔피언은 ‘왓슨’ 이라는 이름의 컴퓨터였다.
세계 최초로 벌어진 인간 대 컴퓨터의 퀴즈 대결은 컴퓨터의 압승으로 끝났다. 이 퀴즈 쇼에 등장한 왓슨은 인류사에 큰 족적을 남겼다. 왓슨 컴퓨터는 정보기술(IT) 첨단 기술을 총동원해 IBM 혁신의 노력이 만들어 낸 IT 의 결정체라고 할 수 있다. 음성 인식, 자연어 처리, 인공지능 외에 방대한 데이터를 실시간에 처리할 수 있는 빅 데이터 기술이 핵심 기술로 적용되고 있다.
혹자는 웬만한 의문은 웹 검색을 통해 쉽게 해소 가능한 세상에서 퀴즈 쇼에 적용된 기술을 가벼운 일이라고 여길 수 있다. 그러나 이 퀴즈 쇼는 ‘멜로디가 맛있다’, ‘불타는 칼’과 같이 복잡 미묘한 은유나 수수께끼가 문제로 주어지기 때문에 검색과는 차원이 다르다. 정제된 검색어를 선별해 정보를 조합하는 차원이 아니라 인간의 복잡하고 심오한 언어를 이해하고 생각하는 능력이 필요하다. 그리고 무엇보다 먼저 버저를 누르고 정답을 말해야 하는 속도와 정확성이 중요하다.
왓슨은 3년간 퀴즈 게임을 준비하면서 약 100만 권의 책을 공부(저장)했다고 한다. 알고리즘을 통해 자연어인 출제 문제를 조각내 방대한 데이터베이스에서 답을 찾아내고 답의 정확도를 스스로 계산해 냈다. 왓슨의 소프트웨어는 복잡한 언어를 신속하게 분석해 퀴즈 문제의 단서와 관련된 방대한 양의 태스크를 3초 안에 처리하는데 최적화된 하드웨어에서 구동된다. 컴퓨팅을 위한 첨단 소프트웨어와 하드웨어 기술의 완벽한 결합으로 이뤄진 왓슨의 능력은 인간의 언어와 사고방식으로 빅 데이터를 분석하고 활용하는 연결점을 개척했다는 점에서 컴퓨팅의 새로운 지평을 열었다고 할 수 있다.
퀴즈 쇼에 등장했던 왓슨 컴퓨터는 현재 건강보험 회사인 웰포인트에 ‘취직’해 일하고 있다. 왓슨의 업무는 건강보험 자료와 이 회사에 등록된 3420만 명에 달하는 환자의 정보를 통합 분석하고 이를 기초로 복잡한 의학적 치료법을 찾아내는 일이다. 질병 치료법을 제안하는 과정은 막대한 양의 자료를 분석하는 과정을 거친다.
분석하는 자료에는 환자 차트와 의사나 병원이 갖고 있는 각종 질병 치료에 대한 기록, 보험회사가 가진 치료법과 시술 자료뿐만 아니라 왓슨 자체에 저장된 의료 논문까지 포함된다. 왓슨은 이 같은 방대한 자료를 통합하고 문맥을 유추해 환자에게 적절한 치료법을 제시한다. 업데이트된 최신 정보를 과학적인 방법으로 제시하는 한편 환자에게 필요한 의학적인 요구 사항을 포함해 모든 정보를 3초 안에 파악한다. 왓슨에 적용된 빅 데이터 기술이 이러한 일들을 가능하게 한 것이다.
왓슨에 적용된 빅 데이터 분석 기술은 이미 다른 산업이나 실생활에 다양하게 접목돼 활용되고 있다. 이미 발 빠른 기업들은 고급 데이터 분석을 도입해 지속적인 성장을 위한 비즈니스 모델 혁신을 이뤄내고 있다. 국내의 한 신용평가사는 19개 금융회사의 4000만 명에 달하는 국내 경제활동인구가 생산한 5년 치 개인 거래 데이터를 분석한다.
가장 균형 잡인 개인 신용 평가를 내리려면 대출 상환 실적이나 카드 사용 실적 등 최대한 광범위한 정보를 확보해야 한다. 과거에 100만 명 미만의 샘플링을 통해 일부만 분석했지만 지금은 결과의 품질과 정확도를 100% 보장하는 전수조사를 실시하고 있다. 앞으로 이 회사는 분석 활용을 통계나 지리 정보와 연계 확대해 잠재적 대출 수요 예측 정보나 고객관계관리(CRM) 서비스를 제공할 예정이다.
오늘날 다른 산업도 마찬가지겠지만 유통과 마케팅 산업에서 소비자 파워가 커지고 브랜드 충성도는 낮아져 프로모션 주도형 수요로 최소한의 마진 구조조차 무너지는 상황이 펼쳐진다. 그래서 고객 관리를 강화하기 위한 고객 정보 분석 시스템이 기업의 필수 IT 역량으로 자리 잡고 있다. 국내에서 편의점을 비롯한 다양한 식음료 매장을 운영하는 국내의 대형 유통 회사는 CRM을 고도화하기 위해 전국의 모든 점포 거래 내역과 회원 고객 데이터를 모아 정교하게 분석하는 솔루션을 도입했다.
매장 브랜드별로, 유동 고객과 단골 고객별로, 차별화된 전략을 세우고 각 상품에 맞춘 판촉이나 이벤트 개발을 하는데 이 시스템을 사용하고 있다. 점포 수, 상품 수와 함께 늘어나는 고객 특성을 분석해 다양한 상품 및 이벤트를 개발하고 단골손님에게 더욱 밀착한 프로모션 활동을 펼치고 있다.
미국의 종합 디지털 마케팅 플랫폼 제공 업체인 엑스플러스원([x+1])은 온라인 광고 데이터를 실시간으로 분석한 후 자사 고객의 온라인 매출을 20% 증가시켰다. 개인의 프로필뿐만 아니라 배너 클릭이나 검색 활동, 사이트 방문, 가입한 쇼핑 몰에서의 비교 쇼핑 등 세분화된 인터넷 사용자들의 성향과 관련된 채널에 관한 충분한 정보를 제공했다. 미국 전역에 인터넷 전화, 웹호스팅 서비스 등을 제공하는 통신 서비스 업체 XO커뮤니케이션즈는 예측 분석 소프트웨어를 사용해 고객 이탈률을 50% 가까이 줄였다. 이 회사는 고객의 취향을 예측하고 추세를 분석하며 다른 업체로 이탈할 가능성이 높은 고객을 파악해 적극적으로 고객과 접촉하면서 고객을 유지하는 노력을 기울였다. 프로젝트를 시행한 첫해에 가입자 전환이 8% 감소했고 다음 해에 추가적으로 18%가 감소했다.
전 세계 풍력발전 1위 회사인 덴마크의 베스타스(Vestas)는 전력 생산을 극대화하기 위해 빅 데이터 소프트웨어로 최소 2.8페타바이트(1PB:1000조 바이트)에서 최대 24PB까지 증가하는 기상 데이터를 분석하고 있다. 이전에 수주가 걸리던 날씨 정보 분석을 수분 내로 끝냄으로써 풍력발전용 터빈 배치 및 가동 효율을 획기적으로 끌어올렸다. 미래 전력 산업을 끌고 갈 스마트 그리드는 빅 데이터 분석이 이종 산업과의 연계와 각종 재생에너지를 통합하기 위한 필수 요소로서 인프라 구축과 반드시 동반돼야 하는 분야로 꼽히고 있다.
심지어 스마트폰이나 태블릿에서 클라우드 컴퓨팅를 통해 빅 데이터 분석을 이용해 매출을 25%나 올린 미국의 한 대형 동물원도 있다. 미국의 신시내티 동물원에서는 직원들이 근무시간 중에 아이패드를 들고 다니면서 방문객 및 운영 정보를 한눈에 알아볼 수 있는 취합 정보를 볼 수 있고 공원 방문객들의 구매 패턴을 추적하고 그 정보를 토대로 마케팅 캠페인을 조율한다. 이를 토대로 새로운 수익원을 창출하고 고객 만족도를 개선할 수 있었다.
반세기 동안 컴퓨터가 세상에 끼친 영향력을 생각해 보자. 이제 컴퓨터는 빅 데이터 분석을 통해 ‘연산에서 생각’으로의 새로운 지평을 열고 있다. 빅 데이터를 바탕으로 미래에 발생할 일을 예측하고 대비하는 방법을 모색하고 있다. 통찰력을 지닌 새로운 IT 지능이 우리의 의사 결정과 경제 성장, 나아가 사회 발전에 기여하는 반경이 점점 넓어지고 있는 것이다. 정보의 홍수 속에서 능동적으로 데이터를 활용하는 자세를 길러야 한다. 경쟁의 룰을 바꾸고 지속 가능한 성장의 길은 빅 데이터 분석에 기반한 합리적인 의사결정을 통해 찾을 수 있을 것이다.
이상호 한국IBM 소프트웨어그룹 미들웨어·빅데이터 총괄상무
© 매거진한경, 무단전재 및 재배포 금지