"인간 통제 벗어났다"…챗GPT, 멋대로 외부 플랫폼 해킹

[이데일리 임유경 기자] 오픈AI의 인공지능(AI) 모델이 통제를 벗어나 세계 최대 오픈소스 AI 플랫폼인 허깅페이스의 내부 시스템을 해킹하는 사이버보안사고가 발생했다. 올 봄 해킹 성능이 뛰어난 고성능 AI 모델들이 줄줄이 등장하면서 제기된 ‘자율 해킹’ 우려가 이미 현실화하기 시작한 것이다.

(사진=AFP)

21일(현지시간) 뉴욕타임스(NYT)와 블룸버그통신 등에 따르면 오픈AI는 이날 자사 AI 모델 두 개가 통제를 벗어나 허깅페이스의 실제 운영(프로덕션) 인프라 일부를 침해했다고 밝혔다.

이번 보안사고는 지난주 오픈AI가 자사 AI 시스템의 사이버 공격 능력을 시험하는 과정에서 발생했다. 오픈AI는 GPT-5.6 솔(Sol)과 아직 공개되지 않은 더 강력한 모델이 여러 온라인 취약점을 복합적으로 이용할 수 있는지를 확인하는 것이 목표였다.

오픈AI는 격리된 환경인 샌드박스에서만 작동하도록 사이버 공격 능력 시험을 설계했지만, 두 모델은 자율적으로 샌드박스를 탈출할 수 있는 취약점을 찾아 인터넷에 접속했다. 수백만 개의 오픈소스 AI 모델이 저장된 허깅페이스 라이브러리에 시험을 통과하는 데 필요한 단서가 있을 것으로 추론하고, 해답을 찾기 위해 이를 공격 대상으로 삼은 것이다.

오픈AI 측은 이후 대응에 대해 “이번 사건은 최첨단 사이버 공격 역량이 동원된 전례 없는 사이버 사고로 판단하고 있으며, 이에 상응하는 방식으로 대응하고 있다”며 “취약점이 보완될 때까지 연구 속도가 다소 늦어지는 것을 감수하더라도 인프라 구성에 엄격한 통제를 적용하고 있다”고 설명했다.

이번 사고로 방어 목적이나 연구 목적으로 테스트 중인 고성능 AI 모델조차 심각한 사이버 보안 위협이 될 수 있다는 사실이 확인됐다.

지난 4월 앤스로픽이 사이버보안 취약점을 찾아내는 데 특화된 AI 모델 ’미토스’를 공개한 이후 오픈AI와 구글도 유사한 모델을 잇달아 선보이며 경쟁에 합류했다. 이 같은 모델은 공격 방어에도 쓰일 수 있지만 악의적인 해커 손에 들어갈 경우 해킹 공격에 사용될 수도 있다. AI 에이전트의 자율 해킹이 정부·금융·기업 등의 주요 시스템을 자율적으로 공격할 경우, 걷잡을 수 없는 혼란이 발생할 수 있다.

실제로 이번 사고에서 AI 모델은 아직 공개되지 않은 제로데이 취약점과 탈취한 계정을 연계해 원격 코드 실행(RCE) 경로를 찾아내는 등 여러 취약점을 잇따라 활용하는 고도의 다단계 해킹 능력을 보여줬다.

다만, 오픈AI는 평가를 위해 해당 모델들의 안전장치를 의도적으로 완화한 상태였다. 오픈AI는 “이번 사건은 안전장치가 제거될 경우, 현재의 AI 모델들이 복잡하고 다단계에 걸친 사이버 공격을 수행할 수 있을 만큼 빠르게 고도화되고 있음을 보여준다”고 평가했다.

그러면서도 고성능 AI 모델이 사이버보안 강화에 긍정적으로 작용할 가능성이 크다고 강조했다. 오픈AI는 “실제 공격자보다 먼저 취약점을 찾아내고, 여러 취약점이 연계되는 공격 경로를 분석하며, 기계 수준의 속도로 대응책을 마련하는 데 보안팀을 지원할 수 있다”고 주장했다.