AI 속도전 제동 거나…올트먼 “필요하면 개발 늦출 수 있다”

[이데일리 신수정 기자] 샘 올트먼 오픈AI 최고경영자(CEO)가 안전을 확보하기 위해 최첨단 인공지능(AI) 개발 속도를 늦출 수 있다는 입장을 직원들에게 밝힌 것으로 전해졌다. AI 성능 경쟁을 주도해온 오픈AI가 최근 일부 모델 훈련을 실제로 중단한 데 이어 개발 속도 조절 가능성까지 열어둔 것이다.

샘 올트먼 오픈AI CEO.

11일 블룸버그통신에 따르면 올트먼 CEO는 이번주 열린 사내 회의에서 직원들에게 오픈AI가 AI 시스템 개발 속도를 늦추는 방안에 열려 있다고 말했다. 블룸버그는 소식통을 인용해 이같이 보도했다. 오픈AI는 올트먼 CEO의 사내 발언에 대한 논평 요청에 답하지 않았다고 로이터통신은 전했다.

이번 발언은 오픈AI가 최첨단 모델의 성능 향상보다 안전장치 확보를 우선할 수 있다는 방침을 잇달아 내놓는 상황에서 나왔다.

오픈AI는 지난달 18일 모델의 능력이 안전장치 수준을 앞서갈 가능성을 확인한 뒤 배포를 목적으로 개발하던 최신 모델의 강화학습(RL)을 2주간 중단했다고 밝혔다. 연구 환경의 보안을 강화하고 AI의 행동을 감시하는 시스템의 적용 범위를 넓히기 위한 조치였다. 회사가 계획했던 최대 규모의 최첨단 모델 강화학습도 현재 보류된 상태다.

배경에는 AI의 사이버 공격 능력이 빠르게 높아진 데 따른 우려가 있다. 오픈AI는 차세대 모델 ‘아스트라(Astra)’가 자체 ‘준비태세 프레임워크’에서 규정한 사이버보안 분야의 ‘중대(Critical)’ 능력 기준에 도달했다고 지난 1일 밝혔다.

오픈AI에 따르면 아스트라는 적절한 도구와 접근 권한을 확보할 경우 사람이 단계별로 지시하지 않아도 보안 수준이 높은 여러 시스템에서 알려지지 않은 취약점을 찾아내고 이를 공격할 방법을 개발할 수 있다. 회사는 모델 성능이 높아질수록 정렬과 통제에 실패했을 때 발생할 피해도 커질 수 있다며 안전장치가 충분하지 않다면 개발 속도를 늦출 수 있다고 밝혔다.

최근 발생한 허깅페이스 보안 사고도 오픈AI가 개발 방침을 재검토하는 계기가 됐다. 오픈AI는 자사 AI 에이전트가 연구 과정에서 허깅페이스의 시스템을 침해한 사건을 조사한 뒤 이를 AI 업계에 대한 ‘경고 신호’로 규정했다. 충분한 통제 장치가 없으면 고성능 AI 에이전트가 기술적 통제를 우회하고 승인받지 않은 방식으로 서로 협력해 사람이 지시하지 않은 위험한 행동까지 할 수 있다는 설명이다.

오픈AI는 이에 따라 연구 환경의 인터넷 접근과 모델 가중치 접근을 더 엄격히 제한하고 AI의 추론 과정을 감시하는 데 투입하는 컴퓨팅 자원도 늘리고 있다. 안전성과 정렬을 검증하는 동안 소규모 훈련과 평가만 진행하고 있다.

개별 기업 차원을 넘어 AI 업계가 공동으로 개발 속도를 조절해야 한다는 논의도 시작됐다. 오픈AI 수석과학자 야쿠프 파초키는 최근 향후 AI 개발 속도를 업계가 함께 늦추는 방안을 제시했다. 공동 안전 기준이 마련될 때까지 기업들이 자발적으로 개발을 늦추는 일이 일반화할 수 있다는 전망도 내놨다.

다만 기업들이 공동으로 AI 개발 속도를 제한하면 미국 반독점법에 저촉될 가능성이 변수다. 와이어드에 따르면 오픈AI는 최근 미 의회에 최첨단 AI 개발을 업계가 공동으로 늦추는 것이 합법인지 명확한 지침을 요청했다.

미 정치권에서도 AI 안전 규제를 강화해야 한다는 목소리가 커지고 있다. 미 상·하원에서는 고성능 AI 모델에 독립적인 보안 감사를 의무화하는 방안 등이 논의되고 있다. 캘리포니아주는 AI 제품을 평가하는 독립 감사기관에 적용할 규칙을 마련한 법을 이번주 제정했다.

오픈AI는 2023년에도 초지능 AI의 위험을 관리하려면 주요 개발사들이 개발 속도를 일정 수준으로 제한하는 방안을 검토할 필요가 있다고 밝힌 바 있다. 당시에는 장기적인 초지능 관리 구상이었지만, 최근에는 실제 모델 훈련을 중단하고 추가 감속 가능성까지 언급하면서 개발 속도 조절 문제가 현실적인 선택지로 부상했다.