[조광수의 IT 心포니] 빅 데이터의 현실과 카산드라 콤플렉스

미래 신기술, CEO를 위한 테크 心포니

기업의 최고경영자(CEO)가 가지고 싶어 하는 역량 중 하나를 꼽으라면 미래를 예측하는 촉일 것이다. 그도 그럴 것이 비즈니스의 매 순간마다 불확실한 미래를 향한 의사결정을 해야 하기 때문이다. 그래서 ‘소비자의 마음을 읽을 수 있다면’, ‘수요를 미리 알 수 있다면’, ‘위험을 예언할 수 있다면’이라고 바라게 된다. 이런 욕망을 덜어주려는 듯 미국 오라클은 델파이의 신탁에서 이름을 빌려 신의 계시, 즉 예언을 하는 자라고 자칭했다. 그 덕분이었는지 오라클은 데이터베이스(DB) 사업으로 마이크로소프트와 함께 소프트웨어 산업의 양대 지존으로 등극했다.

그런 오라클을 위협하는 게 빅 데이터다. 그 이름에서 알 수 있듯이 최근 엄청나게 불어나는 디지털 데이터의 양을 강조한다. 현실감 있게 말하면 구글이 하루에 처리하는 데이터의 양이 미국 의회도서관 장서의 수천 배 분량이라고 한다. 그렇다 보니 이런 빅 데이터는 전통적인 데이터베이스로는 저장도 처리도 안 되고 구글에서 개발한 파일 시스템이나 이에 기반을 둔 하둡(Hadoop: 대용량 데이터 처리 소프트웨어), 값비싼 슈퍼컴퓨터보다 값싸면서 빠르게 처리할 수 있는 분산 처리 시스템 기술이 부각됐다.


자라, 빅 데이터로 과잉 수요 예측
빅 데이터가 빅 이슈가 된 이유는 양 때문이지만 빅 데이터는 3V라는 양(volume)과 함께 다양성(variety)과 속도(velocity)로 정의한다. 이 중 우리 기업에 생명수가 될 역량은 양보다 다양성이다. 전통적으로 내부 DB에만 의존해 고객 관계 관리(CRM)를 했다. 하지만 페이스북이나 트위터에 올린 사진과 글, 유튜브에서 시청한 동영상, 자동차 블랙박스 기록, 교통카드 사용 기록 등의 다양한 데이터를 연결한다면 이제 소비자가 무엇을 필요로 하는지, 어디를 가는지, 누구와 친한지 등 세세한 마음과 행동을 읽을 수 있게 된다. 이런 다양한 데이터를 연결해 얻어낼 촉이 가져올 파괴력은 상당할 것이다.

이런 점을 잘 이용한 사례가 있다. 예를 들어 미국의 한 슈퍼마켓 체인에서 거래 기록을 분석했다. 그 결과 금요일 밤에 기저귀와 맥주가 함께 많이 팔린다는 것을 발견했다. 기저귀 심부름을 나온 남자들이 ‘합법적으로’ 맥주를 살 수 있게 된 것이다. 이를 토대로 기저귀와 맥주를 바로 옆에 두어 손쉽게 장바구니에 담아갈 수 있게 했다. 비슷한 예로 잘 알려진 아마존의 책 추천 서비스를 들 수 있다. 마치 식빵을 사면 우유도 장바구니에 담을 가능성이 높듯이 고객들이 함께 사는 물품을 분석하는 방식이다. 또한 월마트는 약 1억 명이 넘는 소비자의 구매 정보를 분석해 폭풍이 몰아치기 전날에 딸기 맛 팝 타르트 과자가 다른 품목에 비해 무려 7배나 더 팔린다는 것을 발견했다. 그래서 폭풍 예보가 나오면 매장에 잔뜩 쌓아 놓는다.

패스트 패션(fast fashion)으로 성공한 자라(Zara)는 보다 치밀한 빅 데이터 전략을 구사했다. 자라는 스페인에 있는 두 개의 중앙 물류 창고에서 전 세계의 약 1500개 매장에 공급한다. 패스트 패션인 만큼 수요에 빠르게 반응해야 하지만 재고가 남아서는 안 된다. 이 때문에 과잉 주문 문제를 해결하기 위해 빅 데이터 알고리즘을 개발했다. 그 덕분에 2008년에만 약 3500억 원의 초과 이익이 발생했다.

빅 데이터의 영향력은 영화 ‘마이너리티 리포트’처럼 미래 범죄로까지 이어진다. 미국 로스앤젤레스 경찰은 과거 범죄 발생 지역, 시간, 유형 등을 분석해 예방 시스템을 운영한다. 이 시스템을 토대로 범죄 발생 가능성을 예측해 경찰관을 보내는 실험을 하고 있다. 우리나라에도 사례가 있다. 유유제약에서는 어린이용으로 만든 멍 치료제가 성인 여성에게도 팔릴 수 있는지 알아보기 위해 빅 데이터를 이용했다. 약 26억 건의 소셜 미디어 자료를 분석, 성인 여성 시장이 어린이 시장보다 네 배나 크다는 것을 파악했다.


합리적 데이터 수집의 한계
그리스 신화에는 트로이의 공주 카산드라가 나온다. 너무나 아름다웠던 나머지 아폴로는 예언의 능력을 선물했다. 하지만 아폴로의 요청을 거절하자 분노한 아폴로는 그의 예언을 아무도 믿지 않게 하는 저주를 내렸다. 어느 날, 카산드라는 트로이가 전쟁으로 몰락할 것이라는 무시무시한 예언을 했다. 하지만 믿을 만한 증거를 내세울 수 없었다. 결국 유언비어 유포로 도망다니다 죽었다.

지금 빅 데이터는 꼭 카산드라 같다. 뭔가 엄청난 것을 할 수 있다지만 허점이 많아 의심쩍기도 하다. 미국 역사상 가장 큰 피해를 남긴 허리케인 샌디와 관련된 빅 데이터 분석 결과가 이를 방증한다. 뉴저지대 연구팀에 따르면 폭풍이 오기 전날 소셜 미디어는 폭풍에 대비하는 내용이 대부분이었다. 그런데 폭풍 다음 날은 온통 파티에 관한 이야기였다. 막상 샌디에 초토화된 곳은 정전이나 통신망 붕괴로 쇼셜 미디어를 쓸 수 없었기 때문이었다. 만약 정부가 이런 분석에 기초해 의사결정을 내렸다면 사고 복구를 제대로 하지 못했을 가능성이 높다. 즉 빅 데이터가 합리적 데이터 수집이나 분석을 보장하지는 못한다.

온라인 비디오 서비스 업체 넷플릭스에서는 몇 년 전 100만 달러를 내걸고 영화 추천 알고리즘 경진 대회를 주최했다. 수상작은 상당히 우수했지만 실제 사업에는 쓰지 않았다. 소비자의 선호도가 같은 영화라도 DVD인지 온라인인지에 따라 달라지면서 DVD 선호에 기초한 알고리즘을 코에도 걸고 귀에도 걸 수는 없었다. 이에 따라 빅 데이터로 성공하기 위한 중요 조건을 살펴보자. 우선 예전처럼 지혜의 샘을 기업 내 DB에 가두기보다 세상에 흩어진 다양한 데이터를 연결하는 일에 집중해야 한다. 위키노믹스의 돈 탭스콧이 지적했듯이 기업 내부의 정보와 지식만으로 비즈니스의 물안개를 걷어내는 방식은 이미 한계에 도달했기 때문이다. 개인정보보호법 등 법적 제약을 만날 상황도 있지만 해결해야 한다.

둘째, 성공 사례를 보면 인간 행동에 대해 명확한 질문이 있었고 적절한 데이터 모델을 만들어 검증했다. 예를 들어 자라는 물류 전문가와 함께 과잉 주문 수요를 연구하면서 소비자의 구매 심리 모델을 개발하고 직접 현장에서 실험했다. 유유제약은 “성인 여성에게 멍 치료제가 필요한가?”라는 분명한 연구 질문이 있었다. 데이터가 많아 더 쉽고 좋은 답이 나오거나 자동으로 통찰이 튀어나오지는 않는다.

마지막으로 소비자의 마음과 경험을 읽을 수 있는 역량을 길러야 한다. 그래서 최근 하버드비즈니스리뷰에 올라온 글이 눈에 밟힌다. 목적은 소비자가 어떻게 정보를 만들어 냈고 어떻게 사용하고 어떤 경험을 하는지를 이해하는 것이므로 프로그래머나 수학자와 함께 사람을 이해하고 연구하는 심리학이나 인문사회과학자·인지과학자·디자이너가 함께 참여해야 한다. 이들이 기업의 관상동맥에서 모세혈관까지 세작처럼 스며들어야 소비자의 마음과 경험을 제대로 이해하고 예언하는 카산드라의 역량을 갖출 수 있다.


조광수 성균관대 인터랙션 사이언스 연구소장 kwangsu.cho@gmail.com