KISTI, 70배 빠른 다차원 빅데이터 분석 기술 개발 성공

[대전=이데일리 박진환 기자] 한국과학기술정보연구원(KISTI)은 기존의 상용 빅데이터 분석 플랫폼보다 약 70배 빠른 다차원 빅데이터 분석 기술 개발에 성공했다고 16일 밝혔다.

이번에 개발한 빅데이터 분석 시스템인 ‘투픽스(TuPiX, Turning Pixels into Knowledge and Science)’는 클러스터와 같은 빅데이터 처리 환경에서 데이터 처리 및 분석에 소요되는 시간을 획기적으로 줄였다.

데이터 저장 및 계산 방식의 변화를 통해 대용량 데이터를 병렬 분산처리할 때 발생하는 원형 데이터의 전처리·불러오기·재구성 과정 없이 바로 원형 데이터에 접근하는 방식이 도입됐다.

투픽스의 또 다른 장점은 환경설정에서 손쉽게 필요한 만큼 컴퓨팅 노드를 추가 연동할 수 있다는 것이다.

고가의 컴퓨팅 자원을 비롯해 대중적인 개인용 컴퓨터(PC) 수준의 사양으로도 클러스터를 구성할 수 있어 고성능 하드웨어를 도입하기 어려운 소규모 조직의 경우 인프라 구축 비용을 크게 절감할 수 있다.

또 핵융합과 유전체 분석, 에너지, 지진 및 해일 등의 과학연구뿐만 아니라 계산 금융, 지리정보, 사회연결망 등 대규모의 계산과 데이터 관리가 필요한 다양한 응용 분야에서 빅데이터 분석 플랫폼이 확산될 수 있는 기술적 토대가 마련됐다는 평이다.

KISTI는 이번에 한국해양과학기술원과 극지연구소에 위성영상 및 해양연구에 필요로 하는 기관의 특성을 고려해 맞춤형 분석 및 가시화 기능을 추가한 투픽스 오션 컬러(TuPiX Ocean Color) 시스템을 무상 기술이전했다.

그동안 한국해양과학기술원과 극지연구소 연구자들은 데이터 처리와 분석 기술의 한계로 장기간의 고해상도 데이터를 분석하는 데 한계를 보였지만 이번 기술이전을 통해 연구기관, 관측범위, 해상도 및 데이터 규모에 큰 제약 없이 연구를 수행할 수 있게 됐다.

현재 KISTI는 두 기관과 함께 투픽스를 기반으로 식물 플랑크톤 번성 패턴 모델과 한반도 연안의 유해 적조종 발생 가능도 모델도 개발해 자연재해로 발생하는 피해를 줄여나갈 수 있는 협업 연구를 진행 중이다.

박경석 KISTI 과학데이터기술연구실장은 “데이터 검색 및 관리에 필요한 비용과 시간을 크게 줄일 수 있어 연구 생산성과 빅데이터 분석 및 관리 효율성 향상에 기여할 것으로 기대한다”며 “빅데이터 플랫폼 확산 및 융합연구 활성화를 위해 투픽스를 기반으로 하는 기관별 특화 시스템을 지속적으로 제공해 나갈 계획”이라고 말했다.