연구팀이 개발한 모델은 텍스트·이미지·비디오·오디오를 하나로 통합해 이해하고 생성하는 ‘옴니모달’ 디퓨전 AI, ‘다이닌-옴니(Dynin-Omni)’다. 서로 다른 형태의 데이터를 하나의 모델이 동시에 처리할 수 있다는 점에서 기존 멀티모달 AI보다 한 단계 진화한 기술로 평가된다.
최근 연구실에서 만난 도 교수는 “이번 연구의 핵심은 AI가 인간처럼 시각·청각 등 여러 감각 정보를 하나의 ‘뇌’로 통합해 처리한다는 데 있다”며 “이 기술을 활용하면 AI 비서가 음성뿐 아니라 주변 상황까지 함께 이해하고 즉각 반응할 수 있어 서비스 속도와 효율성이 크게 높아질 것”이라고 설명했다.
|
기존 AI는 글은 언어모델이, 그림은 이미지 모델이 각자 처리하는 구조였다. 챗GPT 같은 최신 서비스조차 내부적으로는 여러 모델을 연결한 형태에 가깝다. 도 교수는 “예를 들어 아이가 쓴 일기를 보고 AI가 네 컷 만화를 그리고, 각 컷이 소리가 나오는 비디오이면서 설명까지 동시에 달리게 하는 작업은 지금 어떤 모델도 하지 못했는데, 다이닌-옴니는 이를 구현할 수 있다”고 했다.
다이닌-옴니는 이 한계를 극복했다. 연구팀은 전체 맥락을 양방향으로 활용하고, 결과를 반복 정제하는 ‘마스크 디퓨전(Mask Diffusion)’ 아키텍처를 도입했다. 그 결과, 텍스트 추론 및 멀티미디어 이해·생성 등 10개 이상의 글로벌 성능 지표에서 네이버 ‘하이퍼클로바X-옴니’나 중국의 ‘큐웬2.5-옴니’ 등 주요 모델을 상회하는 성과를 거뒀다.
특히 생성 속도는 기존 모델 대비 4~5배 가량 향상됐다. 최근 공개된 큐웬3.5-옴니와 같은 수천억 개 파라미터 기반의 초대형 모델과 대등한 성능을 입증하며, 효율적인 규모로도 통합적 이해가 가능함을 보여줬다는 평가다.
|
제조 분야 적용도 본격 준비 중이다. 단순히 기술을 공급하는 데 그치지 않고, 엔지니어를 현장에 직접 투입해 문제를 먼저 파악하는 이른바 ‘팔란티어식 접근’을 지향한다. 도 교수는 “제조와 의료 데이터는 국가 자산이자 주권과 직결된 영역”이라며 “글로벌 기업이 쉽게 접근하기 어려운 만큼, 한국 연구진과 기업이 주도해야 한다”고 강조했다.
이를 위해 연구팀은 차세대 옴니모달 모델 고도화와 함께 피지컬 AI 분야인 ‘다이닌-로보틱스’ 개발에도 속도를 내고 있다.
“대학이 국가 AI 경쟁력의 심장 되어야”
미국 마이크로소프트와 아마존에서 13년간 재직한 뒤 2024년 서울대에 부임한 도 교수는 한국 대학 연구의 과제로 ‘논문 중심 문화’와 ‘자원 지원의 단절’을 꼽았다.
실제 이번 성과는 과학기술정보통신부와 정보통신산업진흥원(NIPA)의 ‘고성능 컴퓨팅 지원 사업’을 통한 GPU 인프라 지원이 마중물이 됐다.
|
민간과의 협력도 강화하고 있다. 현재 SK텔레콤(017670)이 주도하는 독자 AI 파운데이션 모델 컨소시엄에 참여 중인 그는 “산업계를 후방에서 지원하는 동시에 현장과 긴밀히 교류하며 연구의 실효성을 높이고 있다”고 설명했다.
인재 양성의 중요성도 강조했다. 서울대는 대학원생뿐 아니라 학부생이 AI 연구 최전선에 참여할 수 있는 ‘김재철 AI 과정’을 이번 2학기부터 본격 운영할 예정이다.
도 교수는 “한정된 자원 안에서 무엇을 만들지 결정하는 창의적 기획력이 무엇보다 중요하다”며 “학부 단계부터 실전 연구에 참여하는 경험이 쌓인다면 더욱 다양한 혁신 사례가 나올 것”이라고 전망했다.







![[포토] 겨울 과일 '석류' 출시](https://image.edaily.co.kr/images/Photo/files/NP/S/2026/11/PS26112000721t.jpg)
![[포토] 크리스마스 맞이하는 롯데타운](https://image.edaily.co.kr/images/Photo/files/NP/S/2026/11/PS26111900800t.jpg)
![[포토]'모두발언하는 장동혁 대표'](https://image.edaily.co.kr/images/Photo/files/NP/S/2026/11/PS26111900565t.jpg)
![[포토]잘하고 와](https://image.edaily.co.kr/images/Photo/files/NP/S/2026/11/PS26111900485t.jpg)
![[포토]코브(Kove), 모터스포츠 DNA를 담았다](https://image.edaily.co.kr/images/Photo/files/NP/S/2026/11/PS26111701091t.jpg)
![[포토]청와대 앞에서 열린 국민의힘 현장 최고위원회의](https://image.edaily.co.kr/images/Photo/files/NP/S/2026/11/PS26111600393t.jpg)
![[포토]가을의 끝자락](https://image.edaily.co.kr/images/Photo/files/NP/S/2026/11/PS26111500330t.jpg)
![[포토]수험생 응원 메시지가 가득 담긴 조계사 소원지](https://image.edaily.co.kr/images/Photo/files/NP/S/2026/11/PS26111500310t.jpg)
![[포토]기름값 26주 하락](https://image.edaily.co.kr/images/Photo/files/NP/S/2026/11/PS26111500292t.jpg)
![[포토]'표정 어두운 김민석 대표'](https://image.edaily.co.kr/images/Photo/files/NP/S/2026/11/PS26111300806t.jpg)


