엔비디아, ‘AI로 대화형 3D 환경 구축’ 연구결과 발표

[이데일리 김현아 기자]

실세계 영상(왼쪽)과 AI로 렌더링된 영상(오른쪽) 비교. 출처: 엔비디아

글로벌 컴퓨팅 기업인 엔비디아가 자사 연구조직인 엔비디아 리서치를 통해 개발된 실세계 영상을 이용해 학습한 모델을 활용해 3D 합성 환경을 완전한 대화형으로 렌더링할 수 있는 획기적인 인공지능(AI) 연구를 최초로 선보였다.

연구원들은 3D 합성 환경을 실시간으로 렌더링하기 위해 신경망을 사용해왔다. 가상 세계의 모든 객체는 개별적으로 모델링돼야 하지만, 이는 비용과 시간 소모가 많다.

반면, 엔비디아의 새로운 연구는 건물이나 나무, 차량과 같은 사물을 렌더링 하기 위해 실세계 영상에서 자동으로 학습된 모델을 사용한다.

이 기술은 게임, 자동차, 건축, 로봇 또는 가상현실을 위한 가상 세계를 신속하게 구축할 수 있는 잠재력을 제공한다. 예를 들어, 실제 위치에 기반해 대화형 장면을 생성해내거나 사용자가 유명한 팝 스타처럼 춤을 추는 모습을 보여줄 수 있다.

브라이언 카탄자로 엔비디아 응용 딥 러닝 연구소 부사장은 “엔비디아는 25년간 대화형 그래픽을 생성하는 새로운 방법을 고안해 왔으나, 신경망을 활용한 건 이번이 처음”이라며 “신경망, 즉 생성적 모델은 그래픽이 생성되는 방식을 변화시킬 것이다. 이를 통해 개발자들은 기존에 들이던 비용의 일부만으로 새로운 장면을 만들어 낼 수 있다”고 설명했다.

이번 연구의 결과로 참가자들이 도시 장면을 탐색할 수 있도록 하는 간단한 운전 게임이 탄생했다.

모든 콘텐츠는 기존의 그래픽 엔진에서 생성된 3D 세계의 스케치를 영상으로 변환하는 신경망을 사용해 대화형으로 렌더링됐다. 생성적 신경망은 조명과 재질, 역동성을 비롯한 실제 세계의 모습을 모델링하는 방법을 학습했다. 장면이 완전히 합성돼 생성되기 때문에 객체를 쉽게 제거하고 수정하거나 추가할 수 있다.

대화형 데모는 캐나다 몬트리얼에서 열리는 ‘Neurl2018 컨퍼런스’에서 시연될 예정이다.

엔비디아 연구진의 논문에 따르면, 우리의 시각적 세계의 역동성을 모델링하고 재현하는 기능은 지능형 에이전트를 구축하는데 필수적이다. 순수한 과학적 관심 외에도 시각적 경험을 합성하는 것을 배우는 것은 비전, 로봇공학, 컴퓨터 그래픽 등 다양한 분야에서 광범위하게 활용될 수 있다.