DGIST, 기존 데이터 처리 기술 한계 넘어서는 새 기술 개발

기존 기술보다 최대 14배 빠르게, 100배 더 많은 데이터 분석 가능
향후 빅데이터 기반 기계학습 및 다양한 산업분야 활용 기대
  • 등록 2019-07-04 오전 9:13:26

    수정 2019-07-04 오전 9:13:26

[이데일리 이연호 기자] 기존의 데이터 처리 기술과는 다른 방식으로 데이터를 분석하는 기술을 DGIST 연구진이 개발했다. 기존 기술이 갖고 있던 한계를 극복하고 더 많은 데이터를 더 빠르게 처리할 수 있게 돼 향후 그 활용이 기대된다.
CuboidMM를 통한 3차원 데이터 곱셈 모식도(a)와 GPU를 이용한 데이터 처리연산 모식도(b). 그림=DGIST.
DGIST는 정보통신융합전공 김민수 교수팀이 기존 기술들보다 최대 14배나 더 빠르고 100배 더 많은 데이터를 처리할 수 있는 ‘DistME(Distributed Matrix Engine) 기술’을 개발했다고 4일 밝혔다. 향후 빅데이터 처리가 필요한 기계학습 분야나 대규모 데이터를 분석하는 산업 분야에 활용될 수 있을 전망이다.

기계학습 및 과학기술 분야 등 사회 여러 분야에서 널리 사용되는 데이터 형태는 수(數)들을 행과 열로 표현하는 ‘행렬’ 데이터다. 이를 분석하는 수많은 기술 중에서도 ‘SystemML’과 ‘ScaLAPACK’이 가장 뛰어난 기술로 평가받는다.

하지만 최근 데이터 규모가 증가하며 기존 기술의 처리 능력도 한계에 다다랐다. 특히 데이터 처리에 필수적인 곱셈 연산의 경우 기존의 방식들로는 빅데이터와 같은 큰 규모의 데이터는 처리가 힘들다. 이는 기존 곱셈 연산법들은 유동적인 분석·처리가 힘들고 데이터 처리 시 많은 양의 네트워크 데이터 전송이 필요하기 때문이다.

이에 김민수 교수팀은 기존과 다른 행렬 곱셈 연산법을 고안했다. ‘CuboidMM’이라 불리는 연산법은 정보를 3차원의 정육면체로 구성해 처리한다. 기존 곱셈 연산법들은 유동적인 적용이 불가능했지만 CuboidMM은 상황별 최적의 기법을 유연하게 적용해 연산을 수행한다. 추가적으로 김민수 교수팀은 GPU(Grpahic Processing Unit)를 결합해 정보를 처리하는 법을 고안, 곱셈 연산 성능을 비약적으로 향상시켰다.

김민수 교수팀이 개발한 DistME 기술은 CuboidMM을 GPU와 결합해 처리속도를 향상시킨 것으로 ScaLAPACK과 SystemML보다 각각 6.5배, 14배 더 빠르고 SystemML보다 100배 이상 더 큰 행렬 데이터 분석이 가능하다. 따라서 향후 온라인 쇼핑몰, 사회관계망서비스(SNS)를 포함한 큰 규모의 데이터를 처리가 필요한 여러 분야에서 기계학습을 적용할 수 있는 새로운 가능성을 열 것으로 보인다.

DGIST 정보통신융합전공 김민수 교수는 “최근 세계적으로 각광받는 기계학습 기술은 행렬형태의 빅데이터 분석 속도와 분석 처리 규모면에서 한계가 있었다”며 “이번에 개발한 정보처리 기술은 그 한계를 극복할 수 있는 기술로 기계학습 뿐만 아니라 광범위한 과학기술 데이터 분석 응용에 유용하게 활용될 것으로 기대한다”고 말했다.

한편 이번 연구 결과는 DGIST 정보통신융합전공 한동형 박사과정생이 제1저자로 참여했으며 네덜란드 암스테르담에서 열린 데이터베이스 분야 세계 최고 권위 학술대회인 ACM SIGMOD 2019에 7월 3일 발표됐다.

소셜 댓글by LiveRe

많이 본 뉴스

이데일리

  • 04517 서울시 중구 통일로 92 케이지타워 18F, 19F 이데일리
  • 대표전화 02-3772-0114 I 이메일 webmaster@edaily.co.kr
  • 등록번호 서울 아 00090 I 등록일자 2005.10.25 I 발행인 곽재선 I 편집인 이익원
  • ⓒ 이데일리. All rights reserved.