AI 주권을 묻다[김현정의 IT 세상]

[김현정 한국IBM 컨설팅 대표] 인공지능(AI) 주권을 이야기할 때 많은 이들이 가장 먼저 떠올리는 것은 자체 개발 거대언어모델(LLM)일 것이다. 우리 손으로 만든 LLM을 갖는 것, 그것이 AI 주권이라는 인식은 사실 광범위하게 퍼져 있는데 이는 AI 주권의 좁은 해석이다.

가트너는 올해 핵심 트렌드를 전망하면서 이 두 가지를 구별하지 못할 경우 지정학적 긴장감이나 불확실성이 커질 때 나타나는 기회와 취약점을 보지 못하고 경쟁에서 도태될 수 있다고 경고했다. AI가 기업, 나아가 산업, 국가의 새로운 운영 플랫폼(OS)으로 발전하고 있는 지금 모델은 AI 주권을 만드는 기술 기반의 일부일 수는 있지만 전체를 대표할 수는 없다. 지금 글로벌 기업과 국가들이 치열하게 경쟁하는 진짜 전선은 모델 그 자체가 아니라 모델을 지탱하는 아키텍처에 있다.

최근 미국 보스턴에서 열린 IBM 연례 행사 ‘싱크 2026’에서는 ‘소버린 바이 디자인’(Sovereign-by-design)이라는 원칙 아래 최근 주목받고 있는 AI 주권의 중요성을 강조했다. 기업이 AI 주권의 요소를 사후적으로 추가하는 것이 아니라 처음부터 운영 모델 설계에 내장해야 한다는 의미다. 어떤 모델을 선택하는지, 데이터가 어디서 어떻게 이동하는지, 추론이 어디서 실행되는지, 그 판단 과정을 감사하고 설명할 수 있는지를 도입 이후의 과제가 아니라 설계 단계에서 결정하지 않는다면 기업은 결국 특정 공급자에게 종속되는 ‘기술적 유배’ 상태에 빠질 수 있다. 이는 기술 부채보다도 더 깊은 제약이 된다. IBM 기업가치연구소 조사에서 글로벌 경영진의 93%가 AI 주권을 전략 필수 요소로 꼽았지만 절반은 특정 지역 컴퓨팅 자원에 과도하게 의존하고 있다는 사실 자체를 우려한다고 답했다. 알고 있지만 설계하지 않은 것, 선언하지만 실행하지 않은 것이 오늘날 AI 주권의 현주소다.

AI 주권이 설계의 문제라면 이 설계가 포함해야 하는 요소는 세 가지로 요약할 수 있다.

첫째는 데이터와 지식의 귀속권이다. AI가 내 조직의 핵심 의사결정 구조 안으로 들어왔을 때 그 학습에 활용된 데이터와 그로부터 만들어지는 지식이 어디에 귀속되는지가 핵심이다. 데이터를 제공하는 순간 그 데이터로 만들어진 지능의 소유권이 누구에게 있는지를 처음부터 설계해야 한다.

둘째는 운영 독립성이다. 공급자 환경이 바뀌거나 규제가 달라졌을 때 스스로 방향을 전환할 수 있는 유연성이 아키텍처에 내재되어 있는지의 문제다. 기업이 자율 운영 체계를 지향할수록 단일 공급자에 과도하게 의존하는 구조는 시간이 지남에 따라 전환 비용을 누적시키고 선택지를 좁힌다.

셋째는 설명 가능성과 감사 가능성이다. 비인간 신원(Non-human Identity)인 수많은 AI 에이전트의 활동을 모니터링하고 그 판단의 근거를 추적하고 책임 소재를 명확히 할 수 있는 거버넌스 체계를 갖추고 있는지가 규제 대응을 넘어 신뢰의 문제로 부상하고 있다.

올해부터 새롭게 강조되는 또 하나의 흐름은 ‘모델이 아니라 시스템이 AI 리더십을 정의한다’는 점이다. 소수의 거대 모델에 의존하던 시대에서 작고 도메인에 특화된 모델과 에이전트들이 조직의 경계 안에서 유기적으로 작동하는 시스템으로 전환되고 있다. 지식 증류(Knowledge Distillation), 양자화, 메모리 효율 런타임 기술의 발전으로 엣지와 온프레미스 환경에서도 고성능 추론이 가능해지면서 조직 경계 안에서 작동하는 수많은 특화한 모델과 에이전트 시스템이 곧 AI 퍼스트 기업의 운영 모델이 되고 있다. AI가 기술 레이어가 아니라 새로운 운영 모델로서 작동하게 되면 기업의 의사 결정 사이클은 압축되고 기능 간 경계가 사라진다. 그리고 경쟁사보다 더 빠르게 학습하고 적응하고 실행하는 기업이 경쟁 우위를 확보하게 된다. 이를 위해서는 AI 주권을 선언의 영역에서 실행의 영역으로 빠르게 이동시켜야 한다.

어떤 기업에게든 완전한 자립은 불가능하고 완전한 의존은 위험하다. 한국은 AI 기술 수용 속도 면에서 또 한 번 세계적인 경쟁력을 증명하고 있다. 이제 우리가 함께 가져야 할 AI 주권 관련 다음 단계 질문은 자체 모델을 갖느냐가 아니라 AI가 작동하는 전체 구조를 얼마나 주도적으로 설계하고 구현할 수 있느냐여야 한다. 무엇을 반드시 내 것으로 통제할 것인지, 어디까지를 글로벌 생태계와 연결할 것인지의 경계를 정교하게 그어내는 기업과 국가가 AI 인프라 시대 경쟁 우위를 먼저 쥘 수 있을 것이다. AI 주권은 기술 도입의 문제가 아니라 아키텍처와 운영의 문제다. 그리고 그 설계의 첫 번째 책임자는 인프라도 모델도 아닌 경영진 자신이다.