이 조직은 AI가 야기할 수 있는 치명적인 위험을 추적, 평가, 예측하고 이를 보호하는 것을 목표로 한다.
AI가 핵무기 등의 무기에 사용되는 ‘화학적, 생물학적, 방사능적 위협’과 함께 AI가 스스로 복제하는 위험인 ‘자율 복제’에도 대응한다.
이 조직은 현재 매사추세츠공대(MIT)의 머신러닝(기계학습) 센터장을 맡고 있는 알렉산더 매드리가 이끌게 된다. 조직 규모는 알려지지 않았다.
오픈AI의 최고경영자(CEO)인 샘 올트먼은 앞서 AI로 인한 재앙 가능성을 경고한 바 있다.
그는 지난 5월 다른 AI 연구자들과 함께 “AI로 인한 위험을 완화하는 것이 글로벌 우선순위가 돼야 한다”는 성명을 발표하고 인류의 절멸 가능성까지 언급하며 AI 기술 통제 필요성을 주장한 바 있다. 또 각국 정부가 AI를 핵무기처럼 “심각하게” 다뤄야 한다고 강조하기도 했다.