LG AI연구원, NAACL 최고논문상 수상…경쟁력 입증

[이데일리 조민정 기자] LG AI연구원은 자연어 처리(NLP) 분야 세계 최고 권위 학회 중 하나인 북미전산언어학학회(NAACL) 2025에서 ‘최고논문상’을 수상하며 한국의 인공지능(AI) 기술 경쟁력을 입증했다.

빅젠(BIGGEN) 벤치마크는 생성형 AI 모델이 갖추어야 할 9가지 핵심 역량을 기준으로 77개의 세부 역할 수행 능력을 객관적이고 종합적으로 평가하도록 설계됐다.(사진=LG)

30일 LG AI연구원에 따르면 김승원 카네기멜론대 박사과정 연구생은 LG AI연구원 초지능랩의 인턴 과정 중 이문태 초지능랩장, 이경재 데이터 스쿼드 리더, 서민준 카이스트 교수 연구팀과 함께 생성형 AI 모델 성능을 평가하는 ‘빅젠 벤치’를 개발해 최고논문상을 수상했다.

NAACL 2025는 사람과 인공지능의 언어 사이의 상호작용에 관한 연구 성과를 발표하고 토론하는 학술 행사다. ACL, EMNLP와 함께 세계 3대 자연어 처리 학회로 꼽힌다. 올해 NAACL은 29일(현지시간)부터 5월 4일까지 미국 뉴멕시코주 앨버커키에서 열린다.

‘최고논문상’은 자연어 처리 분야에서 새로운 연구 방향을 제시하거나 중요한 문제를 해결한 연구 중 올해 가장 혁신적이고 중요성이 높다고 평가를 받은 연구에 수여한다.

LG AI연구원과 서 교수 연구팀이 주도한 이번 연구에는 연세대, 코넬대, 일리노이대, 매사추세츠공대(MIT), 워싱턴대 등 여러 대학의 연구진이 함께 참여했다.

기존 생성형 AI 모델 평가 방식은 ‘유용성’, ‘무해성’과 같은 추상적인 개념 지표에 의존하고 있어 사람이 평가했을 때의 결과와 차이가 발생한다. 특히 AI 모델이 보유하고 있는 세부 역량에 대한 측정이 어렵다는 한계가 있었다.

빅젠 벤치는 △지시사항 수행 △논리적 추론 △도구 사용 능력 △안전성 △다양한 언어와 문화적 맥락 이해 능력 등 생성형 AI 모델이 갖춰야 할 핵심 역량을 9가지로 분류하고, 77개의 세부 역할을 잘 수행하는지 평가하는 765개 항목으로 구성돼 있다.

이는 실제 사람의 평가와 유사한 결과를 도출하기 위해 생성형 AI 모델을 사용하고 평가할 때 주변의 다양한 상황과 주관적 요소를 고려하는 사람의 평가 방식을 모방한 것이다.

LG AI연구원은 빅젠 벤치를 사용해 103개의 생성형 AI 모델들을 평가한 결과 전문가 집단과의 교차 검증에서 높은 수준의 신뢰도와 타당도를 보여 새로운 벤치마크로의 가능성을 확인했다.

LG AI연구원은 연구 과정에서 평가자 역할을 하는 AI 모델 5개 중 하나인 프로메테우스-2도 오픈소스로 공개했다. 프로메테우스-2는 글로벌 상용모델 중 최고 성능을 보이는 GPT-4와 큰 차이 없이 평가자 역할을 하며 높은 평가 신뢰도를 보였다.

LG AI연구원은 빅젠 벤치를 기반으로 생성형 AI 모델 개발 과정에서 세부 항목별 성능을 자동으로 평가하는 후속 연구도 진행 중이다.