빅 데이터 시대, 금맥을 찾아라 ①
최근 온라인 검색과 위치 정보, 소셜 미디어 활용 등 매순간 엄청난 양의 디지털 데이터가 축적되고 있다. 전문가들은 이러한 ‘빅 데이터(Big Data)’의 활용을 새해 기업 경영의 가장 큰화두로 꼽는다. 소셜 네트워크 서비스(SNS) 정보를 수집해 소비자의 마음을 읽는 소셜 애널리틱스가 일찌감치 큰 주목을 끌고 있다. 빅 데이터 시대의 의미, 활용 전략, 성공 사례 등을 3회에 걸쳐 연재한다.
지금 이 순간에도 엄청난 속도로 폭증하는 데이터, 이른바 ‘빅 데이터’가 기업의 경쟁 방식을 뿌리째 흔들고 있다.
월평균 10억 개의 트위터 메시지가 쏟아지고 300억 개의 메시지가 페이스북에 게시된다. 모바일 디바이스는 현재 1조 대가 넘으며 2016년 무렵이면 모바일 상거래 규모가 310억 달러에 달할 전망이다. 2011년 한 해에 만들어진 디지털 정보가 약 1.9ZB(제타바이트)에 이른 것으로 추정된다. 1.9ZB를 책으로 담으면 전 세계 인구 모두에게 1인당 66톤 분량의 책을 나눠줄 수 있는 양이다. DVD에 담아 쌓으면 달까지 왕복하고 한 번 더 갈 수 있는 정보량이다. 시장조사 기관 IDC는 올해 데이터 생산량이 2.7ZB, 2015년에는 2011년의 4배가 넘는 8ZB까지 치솟을 것이라고 전망한다.
새로운 정보 신대륙…잠자는 데이터 깨워라
IBM은 빅 데이터가 다양성·볼륨·속도 등 세 가지 특성을 가진다고 정의한다. 이 세 가지 특성 중 두 가지 이상을 충족하면 ‘빅 데이터’의 성격을 지닌다고 할 수 있다. 방대한 양과 함께 다양한 형식을 지닌 소셜 네트워크 정보가 그러하고 도로를 꽉 채운 자동차들이 제공하는 실시간 정보가 양적이나 속도 면에서 그러하다. 필자는 종종 빅 데이터에 대한 관심을 석탄을 캐던(Mining) 시대에서 기름을 시추(Drilling)하는 시대로의 변화에 비유한다.
기술의 진보가 바다 밑에 잠자고 있던 기름을 유용한 인류의 자원으로 변화시켰듯이 볼륨과 속도, 그리고 다양성 등에 구애 받지 않고 데이터를 분석해 낼 수 있는 기술의 등장으로 ‘빅 데이터’는 초미의 관심사가 되고 있는 것이다. 바야흐로 규칙에 의해 유의미한 정보를 추출하는 데이터 마이닝의 시대에서 다양한 가능성을 열어둔 빅 데이터 분석을 통해 통찰력을 얻는 시대로 전환하고 있는 것이다.
정보 관리 및 분석 관리 기술의 발전으로 저장하기 전에 바로 증발돼 버리는 위치 기반 데이터나 전자태그(RFID), 생산공정에서 발생하는 실시간 데이터 등도 분석 가능한 데이터 범주에 들어왔으며 유튜브 영상물 안에서 말하는 사람·주제·감정까지 추적해 상황을 인지하거나 소셜 네트워크의 데이터를 분석해 평판을 예측하는 것도 가능해졌다.
빅 데이터가 관심을 받기 시작한 가장 핵심적인 이유가 바로 이것이다. 기존에도 기업들은 데이터웨어하우스를 구축하고 첨단 분석 도구를 이용해 정형화된 내부 데이터를 분석하고 활용했지만 이제 통찰할 수 있는 데이터가 무한대로 넓어져 진정한 인사이트를 추출할 수 있게 된 것이다.
빅 데이터 시대 기업 경영진이 느끼는 위기감도 커지고 있다. 100개국 30개 산업의 경영인 3000명을 대상으로 한 ‘2010년 IBM·매사추세츠공과대(MIT) 슬론 경영 리뷰 설문 조사’에서 응답자 중 60%는 자사의 데이터가 효과적으로 사용할 수 있는 양을 넘었다고 답했다. 또한 64개국 19개 산업의 ‘최고마케팅책임자(CMO) 1700명을 대상으로 한 IBM의 설문 조사’에서도 71%의 응답자가 폭발적으로 증가하는 빅 데이터의 처리에 대한 준비가 아직 미흡하다고 답했다.
그렇다면 데이터 기반의 통찰력을 확보하기 위해 기업은 빅 데이터의 다양성·볼륨·속도 등 세 가지 특성을 어떻게 장악할 수 있을까. 가장 중요한 것은 경영진이 빅 데이터의 기회를 깊이 깨닫고 자신을 포함한 전체 조직이 분석 역량을 고양할 수 있도록 힘써야 한다. 혁신적인 기업은 급변하는 환경에서 진화하고 더 두각을 나타내게 마련이다. 앞서 소개한 대규모 경영진 대상 설문 조사들은 시장 내 매출 상위 기업들이 하위 기업들보다 월등히 방대한 데이터를 이용한다는 점을 공통적으로 밝혀냈다.
데이터 분석이 기업 경쟁력 결정
최근에 IBM은 경영 전반에 분석 활용 확산 정도를 분석지수(AQ)라는 말로 측정하고 있는데 AQ가 높은 기업들의 비즈니스 성과도 높다는 것이다. AQ가 높은 기업이나 기관일수록 과거·현재·미래를 예측할 수 있는 데이터를 모두 분석하고 활용한다. MIT 디지털 비즈니스센터 연구에서도 데이터나 분석 도구의 활용이 1표준편차 정도 늘어나면 생산성은 약 5~6% 향상되며 수익성 신장은 이를 다소 웃돌 정도로 상관관계가 있는 것으로 조사됐다. 직감이나 경험으로 답을 도출하던 시대와는 차원이 다른 경쟁이 펼쳐지는 이때, 경영진은 데이터로 설명할 수 있는 용기와 의지가 필요하다.
둘째, 빅 데이터 분석 역량을 전사적으로 확산해야 한다. 더 나아가서는 공급망, 외부 협력사, 고객에 이르는 전체 가치 사슬, 가능하다면 기업 문화에까지 녹여 내야 한다. 기업 안팎의 전체 데이터를 조명해 추세 분석, 미래 예측, 계획 수립, 예측의 타당성 검증을 통해 정확한 결론을 도출할 수 있다.
셋째, 데이터의 형식이나 출처에 구애 받지 않고 빅 데이터에서 실시간으로 통찰력을 이끌어 낼 수 있는 기술적 플랫폼을 갖추는 것이 필요하다. 규모에 관계없이 ‘비정형’ 또는 ‘정형’에 구분 없이 창의적인 탐색이 모든 데이터에서 가능하도록 지원하는 플랫폼이 중요하다.
현재 빅 데이터를 다루는 분석 환경은 무수히 많다. 오픈소스 기반의 하둡(Hadoop:대용량 비정형 데이터를 저장하는 기술)이 대표적이지만 기업이 사용할 정도로 데이터의 정확성과 타당성을 높이려면 다양한 형식의 데이터 소스에서 유입되는 데이터들을 규모에 관계없이 최적으로 통합해 실시간으로 사용할 대상 데이터들을 선별해 분석할 수 있는 기술적 플랫폼이 갖춰져야 한다.
마지막으로 빅 데이터를 운용하고 활용할 수 있는 정보기술(IT) 인프라에 대한 준비도 필요하다. 빅 데이터를 저장하고 운용할 수 있는 안정적인 스토리지 역량 또한 고려해야 한다. 클라우드 컴퓨팅도 좋은 방안이 될 수 있다. 최근 클라우드 컴퓨팅이 가용성·보안·비용절감 등에서 그 효용성이 입증되면서 기업 IT 자원으로서의 도입이 빨라지고 있다.
대규모 IT 인프라 구축 없이도 빅 데이터 분석을 클라우드로 필요한 만큼 서비스 받아 사용하는 것 또한 가능하다. 핵심 역량에 집중하면서 각 빅 데이터 분석의 특수 목적에 맞춘 슈퍼 컴퓨팅 자원을 민첩하고 경제적인 비용으로 필요에 맞게 빌려 쓰는 길도 열려 있는 것이다.
글로벌 경쟁 사회에서 앞서는 자와 쫓는 자의 간격은 점점 넓어지고 있다. 분석을 성공적으로 비즈니스에 활용하고 있는 조직은 그렇지 못한 조직에 비해 33%나 높은 매출 성장을 기록하고 있으며 12배 빠른 속도로 수익을 성장시키고 있다. 분석은 바야흐로 기업의 도약을 위해 기회이자 도전이 되고 있는 것이다.
이상호 한국IBM 소프트웨어그룹 미들웨어·빅데이터 총괄상무