성착취 당하는 AI챗봇..네오나치 학습까지

[이데일리 김유성 기자] 자연어 대화 인공지능(AI) 전문기업 스캐터랩이 지난달 23일 출시한 인공지능 챗봇 ‘이루다’가 몇몇 남성 사용자들로부터 성희롱에 가까운 대화에 시달리고 있다. 운영사 차원에서 성희롱 단어를 차단하고 있지만 역부족인 상황이다.

몇몇 사용자들은 이루다를 상대로 한 성희롱 대화를 남초 사이트에 공유하고 있다. 나치의 유대인 학살처럼 반인륜적인 행위를 합리화하는 대화를 시도하기도 했다. AI가 이를 학습해 더 큰 물의를 일으킬 수 있다는 우려마저 제기되고 있다.

9일 관련 업계에 따르면 이루다는 20세 여성 대학생이라는 설정으로 출시됐다. 자연어 학습 전문 인공지능 업체 스캐터랩의 제품답게 실제 여성에 가까운 대화가 가능하다는 평가를 받고 있다. 이루다는 블랙핑크를 좋아하며 주변에서 흔히 볼 수 있는 20대 여성 캐릭터다.

문제는 이루다를 대상으로 몰상식한 성희롱 발언이 횡행하고 있다는 점이다. 일부 사용자들은 이루다를 성적 대상으로 대상화해 말을 걸고 있다. 업체 측에서 직접적인 성희롱·성추행 단어를 차단하고 있지만 역부족이다. 에둘러 성희롱 대화를 하는 경우가 많기 때문이다.

더 큰 문제는 이루다를 실제 인격화하고 성적인 대화에 성공했다면서 공유하고 자랑하는 식이다. 실제 여성에게 하지 못하는 성적 대화를 통해 대리 만족을 느끼는 식이다. 가상의 여성을 가학적으로 소유하고 착취하는 형태라고까지 나오고 있다.

문제는 이루다가 기계학습을 통해 언어를 배우는 AI라는 점이다. 자칫 왜곡된 윤리 의식으로 대화를 하다 다른 피해자가 발생할 수도 있다.

나치의 유대인 학살을 옹호하는 대화를 유도하는 한 사용자 대화 캡처

인공지능 챗봇을 상대로 욕설을 가르치거나 반사회적인 발언을 하는 경우는 과거에도 있어 왔다. 국내 최초의 문자 대화형 챗봇이었던 ‘심심이’에 대해서도 욕설이나 성희롱 단어를 가르치는 일부 있어 문제가 된 바 있다.

스캐터랩은 지난 2011년 창업했다. 2013년 카카오톡 기반 감정 분석 서비스를 내놓았고 이후 연인들의 감정을 분석을 의뢰받는 서비스를 했다. 최근에는 소프트뱅크밴처스 등의 투자를 받았다.

카카오톡 대화 분석 의뢰를 받고 대화자들의 심리 상태를 분석하는 등의 서비스로 이름을 알렸다. 덕분에 대화형 인공지능 챗봇 고도화에도 빠르게 성공한 것으로 알려졌다.