|
② 빅데이터의 시대와 우리의 방향 -2
빅데이터가 기존의 데이터와 가장 다른 점은 데이터의 많은 형태가 Unstructured, 즉 구조가 정의되지 않고 다양한 형태의 데이터라는 것이다. 전통적인 형태의 데이터는 구조화된 데이터 (Structured Data)이다. 예를 들면 학생 ID번호, 성, 이름, 나이, 생년월일, 주소 이런 엑셀이나 SQL등에서 흔히 볼 수 있는 정해진 항목이 있는 데이터다. 그래서 각각의 항목을 대상으로 평균을 구하고, 표준편차를 구하고, 각 항목들 간의 상호 관련성을 분석하고, 회귀분석을 하는 등의 일들이 전통적인 의미의 데이터 분석이었다. 그러나 구조화되지 않은 Unstructured데이터는, 예를 들면 트위터에 올린 사람들의 문장들 속의 단어 하나하나가 다 데이터들이다. 이 문장들을 분석해서 트위터 사용자의 관심사가 무엇인지, 앞으로 어떤 방향으로 유저의 관심이 흘러갈지 예측하는 것이 빅데이터를 활용하는 주요한 방향이라 할 수 있다. 빅데이터 안에서 이러한 구조화되지 않은 데이터가 훨씬 많이 생겨날 것이라는 것을 예측한 도표가 아래의 그림이다. 2030년에는 구조화되지 않은 데이터(보라색)이 90%를 차지할 것으로 예상한다.
|
이러한 빅데이터의 시대는 고용과 직군에도 변화를 가져왔다. 빅데이터의 홍수 속에서 자연스럽게 떠오르는 직종이 바로 데이터 분석가 (Data Analyst), 데이터 과학자 (Data Scientist), 데이터 공학자 (Data Engineer) 들이다. 일찍이 하버드 비즈니스 리뷰에서는 데이터 과학자를 21세기 가장 유망한 직업으로 선정한 바가 있다. 요즘도 미국에서 몇 년째 각광을 받는 직업군이다. 이들이 하는 일을 한 두 문장으로 요약하기는 힘들지만 방대한 양 데이터 속에서 유의미한 정보를 찾아내고 분석하여 예측하는 모델을 만들어 적용한다. 이 직군에 대해서는 다음 칼럼에서 더 자세하게 이야기하겠지만, 요즘 미국에서는 회사의 규모에 상관없이 크고 작은 회사에서 데이터분석가/과학자에 대한 수요가 많고 최근 3-4년동안 공급도 많이 늘어서 상당히 활발하게 성장하고 있는 분야이다.
※ 본 칼럼은 미국 SWCU대학과 제휴하여 부동산과 기업경영에 대한 정보를 제공합니다.