튜닙·숭실대, 혐오 발언 데이터셋 연구 EMNLP 논문 승인

[이데일리 김현아 기자]

튜닙 로고

자연어처리(NLP) 기반 AI 스타트업 튜닙과 숭실대 공동 연구팀이 작성한 논문 “K-HATERS: A Hate Speech Detection Corpus in Korean with Target-Specific and Fine-Grained Offensiveness Ratings” 이 자연어처리 분야 최고 저명 학술대회 EMNLP 2023 Findings 에 게재된다.

튜닙 김수환 연구원과 숭실대학교 AI융합학부 박채원 학부생이 공동 제1저자로 참여하였고, 튜닙 박규병 대표가 공동저자, 숭실대학교 박건우 교수가 교신저자로 참여했다.

연구팀은 혐오 발언 탐지를 위해, 대상별 공격성 점수를 단계별로 측정하는 것을 제안했다.

이를 통해, 욕설 등 명시적인 형태의 혐오 발언 뿐 아니라, 비꼬기 등 암시적인 형태의 혐오 발언 탐지가 가능하도록 라벨링 가이드라인을 구축했고, 이를 바탕으로 한국어 라벨링 데이터셋 K-HATERS 를 완성했다.

데이터셋 규모는 약 20만 건으로 현재 존재하는 혐오 탐지 한국어 데이터셋 중 가장 크다. 연구팀은 제안 데이터로 학습한 혐오 탐지 모델로 뉴스 기사에 달린 댓글 분석을 수행했고, 정치 섹션 및 세계 섹션에 혐오를 담은 댓글이 많이 나타나는 경향성을 발견했다. 이 때, 해당 댓글은 정치, 종교 관련 대상을 주요 타겟으로 삼는 경향성을 보였다.

튜닙은 카카오브레인 멤버들이 창업한 회사

박규병 튜닙 대표는 “최근 생성형 AI의 윤리성 이슈가 대두되고 있는 시점에서 이번 혐오발언 탐지 데이터셋 관련한 공동 연구 논문이 저명한 EMNLP에 게재되는 것은 의미가 크다. 튜닙이 창업 초기부터 이 부분에 대해 기울인 노력을 인정받게 된 것 같아 기쁘다”면서 “서비스중인 챗봇 서비스들의 윤리성 강화를 위해 노력하겠다”고 밝혔다.

튜닙은 2021년 3월 카카오브레인 자연어처리(NLP)팀 멤버들이 공동 창업한 AI 기술 스타트업으로 NLP, 초거대 AI 등 고난도 AI 기술을 자체 개발한다. 지난해에는 뤼튼테크놀로지스에 AI 윤리성 판별 모델을 제공하기도 했다.

12월 오픈데이터셋 홈피에 공개

박건우 숭실대 교수는 “온라인 환경에 만연한 혐오 발언을 그 강도를 고려하여 탐지할 수 있도록 하는 데이터셋을 구축했다는 점에서 의의를 지닌다. 연구자 및 학생 분들이 널리 사용해 주셨으면 좋겠다”고 밝혔다. 이어 “챗GPT 등 초거대 언어 모델이 생성하는 발화에 담긴 혐오 또는 편향성 등을 검증하기 위한 도구로도 사용될 수 있을 것”이라고 했다.

해당 데이터셋은 All-in-One AI 플랫폼 셀렉트스타의 ‘데이터셋 지원 사업’을 통해 구축됐다. 오는 12월 논문 출판 이후 오픈데이터셋 홈페이지를 통해 공개될 예정이다.

(그래픽=문승용 기자)