[기획-빅데이터]생활속 깊숙히 파고든 빅데이터..한계 극복이 관건

[이데일리 성문재 기자] 미국 거대 농업기업 몬산토(Monsanto)는 이달 초 빅데이터 벤처기업 ‘클라이밋 코퍼레이션’을 현금 9억3000만달러(약 9880억원)에 인수했다.

클라이밋 코퍼레이션은 세계 최대 검색엔진 구글 출신 과학자들과 엔지니어들이 세운 업체로 날씨 관련 예측 기술을 기반으로 보험상품을 제공하는 업무를 해 왔다. 2006년 창립 당시 이름은 ‘웨더빌’이었다. 이 업체는 농민들이 날씨에 따른 작황 변화에 민감하게 반응한다는 점에 착안해 미국 전역을 잘게 나눠 지역별로 기온과 강수량 등 요소를 계산한 후 이를 기반으로 한 보험상품을 만들었다.

몬산토는 빅데이터가 기후변화에 대응할 수 있는 주요 수단으로 농업 분야의 미래 성장을 이끌 것이라고 확신했다. 이 업체는 이 분야 시장 잠재력이 200억달러에 달할 것이라고 평가했다.

세계 최대 검색업체 구글 역시 이용자 데이터를 수집해 빅데이터로 활용하고 있다. 인터넷 검색 자료를 종합해 질병 유행 가능성과 제품 수요를 예측하는 것은 물론 음식점, 여행정보, 교통정보 등 실생활과 관련된 각종 정보를 제공한다.

그밖에 IBM, 오라클, SAP, SAS 등 글로벌 정보통신기술(ICT) 업체들이 빅데이터 예측 분석 솔루션을 제공하며 빅데이터 시장을 주도하고 있다.

국내업체들도 잇따라 빅데이터 사업에 뛰어들고 있다.

LG CNS는 지난해 11월 국내 최초로 빅데이터 통합 솔루션을 출시했고 삼성SDS는 그룹 계열사들이 그동안 개별적으로 추진하던 데이터 분석 작업을 하나로 통일하는 플랫폼을 구축했다. SK C&C(034730), KT(030200) 등도 빅데이터 사업을 전개하고 있다.

글로벌 컨설팅업체 맥킨지는 빅데이터가 의료, 공공행정, 소매, 제조 등 여러 분야에 적용할 수 있으며 오는 2020년 미국에서만 최대 7000억달러(약 742조원)의 경제적 효과를 낼 것으로 예상했다. 시장조사업체 가트너는 빅데이터의 파급 효과로 오는 2015년까지 전세계적으로 440만개의 IT 일자리가 생겨날 것이라고 내다봤다.

생활속 깊숙히 파고드는 빅데이터

빅데이터가 이처럼 전세계로부터 주목을 받는 것은 그만큼 효과가 입증됐기 때문이다.

농협경제연구소에 따르면 미국의 소비지출 예측에서 소비자태도지수 설문조사보다 구글의 구글 트렌드(Google Trends)를 활용한 결과가 더 정확한 것으로 나타났다.

구글 트렌드는 특정 키워드에 대한 검색 빈도수를 수집해 알려주는 서비스로 일반인들이 현재 어떤 것에 관심을 갖고 있는지를 실시간으로 확인할 수 있다. 특히 소비재나 서비스상품의 경우 어떤 제품이 가장 눈길을 끌고 있는지를 설문조사보다 더 자세히 알 수 있다. 이는 증권사의 주가 예측에도 활용된다.

영국 펀드운용사 더웬트캐피털마켓츠는 매일 1억개 트위터 데이터를 분석해 파악한 시장 투자심리를 펀드 운용에 활용해 평균 이상의 운용수익률을 올렸다.

미국 호텔 체인 ‘하라스(Harrah’s) 그룹’은 카지노 고객의 행동패턴을 분석한 맞춤 마케팅에 나서 만족도 1위 달성에 성공했고 미국 금융지주사 BB&T는 빅데이터로 자금 세탁 추적에 나서 수개월씩 걸리던 추적 작업을 하루만에 끝낼 수 있다.

특수보험사 ‘어슈어런트솔루션’은 고객 개인정보와 상담 이력정보를 활용해 고객 해약 방지율을 높였고 직원이직률도 감소했다. 월스트리트저널(WSJ)은 주요 은행인 뱅크오브아메리카, 씨티그룹, JP모건체이스, 웰스파고 등도 고객 성향을 파악하는 데 빅데이터를 활용하고 있다고 전했다.

일본에서는 빅데이터를 도시정비에 활용하려는 움직임까지 나타났다. 일본IBM이 개발한 교통 예측 시스템을 이용해 도로 및 터널, 교량 등을 효율적으로 배치해 정체를 줄이겠다는 생각이다. 일본 총무성에 따르면 빅데이터를 교통체증 해결 등에 활용하면 자동차 연비 향상으로만 연간 1조1600억엔(약 12조5560억원)을 줄이는 효과를 기대할 수 있다.

세계 최대 컴퓨터 서비스업체 IBM의 버지니아 로메티 회장 겸 최고경영자(CEO)는 “빅데이터 시대가 펼쳐지면서 정보는 앞으로 새로운 천연자원이 될 것”이라며 “기상 예측·방재 시스템 등 빅데이터를 이용한 차세대 도시 인프라 시장규모가 오는 2025년에는 3조3000억달러(약 3540조원)에 달할 것”으로 전망했다.

의미있는 데이터 모델 발굴 시급..개인정보 보호도 중요

그러나 빅데이터 활용에도 한계가 있다는 지적이 있다.

데이터베이스(DB)에서 새 데이터 모델을 발견하는 과정이 쉽지 않기 때문이다. 정보를 단순히 통합하는 것에 그치지 않고 그 속에서 특정 행동에 대한 원인 변수를 찾아내야 한다는 얘기다.

시장 조사기관 IDC에 따르면 방대한 양의 데이터 가운데 0.5%만이 분석되고 있으며 의미 있는 데이터를 추출해 사업으로 연결시키는 기업은 극소수에 불과하다.

또 자료에 대한 분석과정에서 객관성이 부족해 자칫 그릇된 의사결정을 할 수 있다는 점도 주의해야 할 대목이다.

빅데이터의 많은 부분을 차지하는 비정형 데이터는 객관성이 부족하고 진짜 의미를 파악하기 어려워 왜곡된 정보를 제공할 수 있다.

최근 강조되고 있는 개인정보 보호도 빅 데이터의 주요 과제중 하나다. 빅데이터가 개인 정보에서 시작하는 만큼 사생활을 침해하지 않는 범위에서 정보 수집, 분석, 활용이 중요하며 이를 위한 제도적 기반이 마련돼야 한다.



▶ 관련기사 ◀
☞SK C&C, 동반성장위원장 표창 수상..업계 최초