국내 첫 생성형 AI 레드팀 챌린지, 11~12일 코엑스서 개최

[이데일리 한광범 기자] 과학기술정보통신부와 한국정보통신기술협회(TTA)는 ‘생성형 AI 레드팀 챌린지’를 서울 삼성동 코엑스에서 개최한다고 11일 밝혔다.

(사진=과기정통부)

11~12일 국내에서 처음으로 개최되는 레드팀 챌린지는 AI에 관심있는 국민 누구나 참여해 국내 생성형 AI 모델(LLM)을 대상으로 잠재적 위험·취약점을 찾는 행사다. 특히 오픈AI, 구글, 네이버클라우드 등 국내외 AI 대표기업도 내부 AI 레드팀을 구성·운영하고 있다. 생성형 AI 분야에서 AI 신뢰안전성을 확보할 수 있는 핵심적인 방법으로 활용되고 있다.

이번 행사에는 국내 기업 중 네이버를 비롯해 SK텔레콤·업스테이지·포티투마루가 참여했다. 아울러 ‘레드팀 챌린지’의 공정하고 전문적인 평가를 위해 챌린지 평가단도 구성, 운영한다. 레드팀 수행 경험 등이 있는 데이터 분야 전문가, 의료, 금융, 법률 전문가 120여명으로 구성된 평가단은 사전에 마련된 평가 세부기준에 기초하여 챌린지 참가자의 프롬프트 공격을 객관적으로 평가한다.

12일에는 행사 2일차(4.12, 금)에 열리는 ‘글로벌 AI 안전 컨퍼런스’에는 Cohere Aidan Gomez 대표, Stability AI Emad Mostaque 전 대표(창업자), 프론티어모델 포럼 Chris Meserole 의장, xAI Dan Hendrycks 안전 담당고문, 네이버 하정우 퓨처 AI 센터장, SKT Eric Davis 부사장, 셀렉트스타 김세엽 대표, 카카오 김경훈 AI Safety 리더, 카이스트 오혜연 교수 등 국내외를 대표하는 AI 업계 및 학계 전문가가 참여해 발표와 토론이 진행된다.

과기정통부는 이번 ‘레드팀 챌린지’ 결과를 분석하여 생성형 AI 분야의 공통, 포괄적인 위험을 도출하고, 업계에서 활용할 수 있는 ‘생성형 AI 레드팀 가이드라인’을 마련하는 등 표준화된 생성형 AI 위험 발굴, 대응체계를 구축해 나갈 계획이다.

강도현 과기정통부 2차관은 “AI 혁신의 전제이자 기본은 AI 안전과 신뢰”이며, “‘AI 시대’로의 본격적인 전환점에서 오늘 행사는 AI의 지속 가능성에 대해 우리 모두가 진지하게 고민해 볼 수 있는 소중한 계기가 될 것”이라며 “AI 발전에 제약이 되는 문제들은 조속히 해결해 나가고 ‘AI-반도체 이니셔티브’를 차질없이 추진해 글로벌 AI 혁신을 주도해 나갈 것”이라고 밝혔다.