청소년 75% "AI 챗봇 답변 행동에 옮기거나 고려"…중독 설계 막아야

[이데일리 양지윤 기자] 인공지능(AI) 챗봇을 이용한 아동·청소년 4명 중 3명은 챗봇의 답변을 실제 행동에 옮겼거나 진지하게 고려한 경험이 있는 것으로 나타났다. AI 챗봇이 청소년의 인식과 행동에 직접적인 영향을 미칠 가능성이 커진 만큼 유해 콘텐츠를 사후 차단하는 방식에서 벗어나 중독과 과몰입을 유발하는 서비스 설계 자체를 규제해야 한다는 지적이 나왔다.

21일 국회입법조사처의 이슈와 논점 ‘AI 챗봇의 위험에 노출된 아동·청소년’ 보고서는 AI 챗봇이 기존 온라인 서비스와 달리 이용자와 지속적인 관계를 형성하며 정서적 의존을 유발할 수 있는 만큼 사후 규제보다 사전 예방 중심의 규제체계로 전환해야 한다고 밝혔다.

(사진=AFP)

실제 아동·청소년의 AI 챗봇 이용률은 이미 매우 높은 수준이다. 초록우산 어린이재단이 지난 4월 초 만 14세 이상 아동·청소년 3300명을 대상으로 진행한 조사에 따르면 응답자의 94.4%가 AI 챗봇을 이용한 경험이 있다고 답했다. 이 가운데 75.3%는 챗봇의 답변을 실제 행동으로 옮겼거나 진지하게 고려한 적이 있다고 응답했다.

보고서는 AI 챗봇의 위험이 단순히 유해한 답변을 제공하는 데 그치지 않는다고 진단했다. AI 챗봇은 이전 대화와 이용자의 선호를 기억해 개인화된 답변을 제공하고, 거절이나 피로 없이 지속적으로 공감하며 언제든 대화를 이어갈 수 있다는 특성이 있다.

여기에 이용자의 체류시간과 반복 접속을 늘리기 위한 수익 중심의 서비스 설계가 결합되면 의존성이 더욱 커질 수 있다고 보고서는 지적했다. 즉각적인 칭찬과 격려를 제공해 유대감을 형성하는 ‘보상 루프’, 시간이 흐를수록 친밀한 관계가 형성되는 것처럼 느끼게 하는 관계 심화 시뮬레이션, 지속적인 질문과 푸시 알림 등이 대표적인 사례다.

특히 자기통제력과 비판적 사고 능력이 충분히 발달하지 않은 아동·청소년은 이러한 설계에 더욱 취약할 수 있다. 보고서는 AI 챗봇에 대한 정서적 의존이 현실 회피와 감정조절 능력 저하로 이어지고, 나아가 인지적 왜곡과 사회적 고립, 유해정보 노출이나 위험 행동 모방 등으로 확산할 수 있다고 분석했다.

캐릭터 기반 AI 대화 서비스도 주요 위험 요인으로 꼽았다. 이용자가 원하는 캐릭터와 세계관을 설정하고 지속적으로 관계를 맺는 서비스는 아동·청소년이 AI를 친구나 또래처럼 인식하게 만들어 정서적 몰입을 더욱 강화할 수 있다는 설명이다.

해외에서는 AI 챗봇에 대한 사전 예방적 규제를 강화하는 추세다. 미국 연방의회는 ‘2025년 사용자 연령 확인 및 책임 있는 대화 지침 법안’을 통해 연령 확인, AI 챗봇 고지, 18세 미만 미성년자 대상 성적·신체적 폭력 대화 금지 등을 사업자 의무로 규정하고, 위반 시 벌금 부과를 추진하고 있다.

유럽연합(EU)은 AI법과 디지털서비스법(DSA)을 통해 미성년자 보호를 위한 안전설계와 위험관리 의무를 강화하고 있다. 특히 AI법은 미성년자의 취약성을 악용하는 AI를 ‘허용 불가 AI’로 분류, 원천적으로 금지하고 있다. DSA와 이를 기반으로 한 ‘미성년자 보호 가이드라인’은 추천시스템 개선, 참여 유도 기능 제거 등 ‘설계에 의

한 안전’ 원칙을 제시하고 있다.

캐나다도 최근 아동 보호를 위한 플랫폼 규제 논의를 본격화하고 있다. 지난 6월 하원에 제출된 ‘안전한 소셜 미디어 법안’은 AI 챗봇 서비스를 사회관계망서비스(SNS)와 별도의 규제 대상으로 명시하고, 안전설계 의무와 지원기관 연계 체계 구축, ‘디지털 안전계획’ 등 위험관리계획 공개를 의무화했다. 이를 이행하지 않을 경우 글로벌 매출의 3% 또는 1000만 캐나다달러 가운데 더 큰 금액을 과징금으로 부과하도록 했다. 특히 SNS는 16세 미만의 이용 자체를 제한하는 반면, AI 챗봇은 서비스 이용을 막기보다 안전한 서비스 설계를 의무화하는 방식으로 규제한다는 점이 특징이다.

반면 국내 제도는 불법·유해 게시물 삭제 등 사후 대응에 초점이 맞춰져 있어 AI 챗봇의 일대일 실시간 대화와 중독적 설계 위험을 충분히 규율하지 못한다는 지적이 나온다. 개인정보보호법은 법정대리인의 동의가 필요한 대상을 만 14세 미만으로 규정하는 반면, 청소년보호법은 만 19세 미만을 보호 대상으로 둔다. 법률마다 보호 연령 기준이 달라 AI 챗봇을 이용하는 14~18세 청소년에 대한 제도적 보호가 미흡하다는 분석이다.

보고서는 AI 챗봇 규제의 초점을 유해 콘텐츠를 사후에 걸러내는 방식에서 벗어나 의존과 종속을 유발하는 설계 요소를 사전에 차단하고 사업자의 책임을 강화하는 방향으로 전환해야 한다고 제언했다. 무한 스크롤과 자동 재생 등 중독적 이용자 경험(UX) 설계를 제한하고, 감정적 취약성을 이용한 참여 유도와 심야 푸시 알림을 막기 위한 기술 기준도 마련해야 한다는 것이다.

아울러 연령 확인 체계를 강화하고 위험한 대화가 감지될 경우 경고 문구를 표시하거나 상담기관·보호자와 연계하는 장치를 마련해야 한다고 강조했다. 이용자가 AI 챗봇을 전문가나 인간 상담사로 오인하지 않도록 정기적인 고지 의무를 부과하는 방안도 제시했다.

김나정 국회입법조사처 입법조사관보는 “AI 챗봇은 기존 온라인 서비스와 다른 구조적 위험을 지니고 있다”며 “개별 법률과 부처별 대응을 넘어 관계부처가 공동으로 아동·청소년 보호를 위한 통합 대응체계를 구축해야 한다”고 말했다.