구글 클라우드-허깅페이스, 전략적 파트너십…자체 AI 구축 돕는다

[이데일리 한광범 기자] 구글 클라우드는 인공지능(AI) 스타트업 허깅페이스(Hugging Face)와 새로운 전략적 파트너십을 체결했다고 26일 밝혔다.

허깅페이스는 이번 파트너십 통해 AI 대중화 비전을 가속화하고 구글 클라우드는 오픈소스 AI 생태계 발전을 위한 지원을 강화한다. 개발자는 허깅페이스의 모든 서비스에서 구글 클라우드 인프라를 활용할 수 있고 구글 클라우드에서는 허깅페이스 모델을 학습 및 제공할 수 있게 된다.

구글 클라우드는 허깅페이스의 전략적 클라우드 파트너이자 학습 및 추론 워크로드를 위한 우선 대상자로 선정됐다. 개발자는 컴퓨팅, 텐서 처리 장치(TPU), 그래픽 처리 장치(GPU) 등 AI에 최적화된 구글 클라우드 인프라를 간편하게 이용해 오픈 모델을 학습 및 제공하고 새로운 생성형 AI 애플리케이션을 구축할 수 있다.

구글 클라우드와 허깅페이스는 개발자가 구글 클라우드에서 대규모 AI 모델을 더 빠르고 비용 효율적으로 학습 및 제공할 수 있도록 긴밀히 협력할 예정이다.

개발자는 허깅페이스 플랫폼에서 간단한 클릭만으로 버텍스 AI(Vertex AI)를 사용해 허깅페이스 모델을 학습, 튜닝 및 제공할 수 있다. 이를 통해 구글 클라우드의 특화된 엔드 투 엔드(end-to-end) MLOps 서비스를 쉽게 활용하여 생성형 AI 애플리케이션을 구축할 수 있다.

또 구글 쿠버네티스 엔진(GKE) 배포 지원으로 개발자는 허깅페이스에서 자체 설정한 인프라를 이용해 워크로드를 학습, 튜닝 및 제공하고 GKE에서 허깅페이스 전용 딥 러닝 컨테이너(Deep Learning Containers)를 이용해 모델을 확장할 수 있다.

버텍스 AI와 GKE는 2024년 상반기 중 허깅페이스 플랫폼에 배포 옵션으로 제공될 예정이다.

양사의 파트너십으로 더 많은 오픈소스 개발자가 클라우드 TPU(Cloud TPU) v5e를 사용할 수 있게 된다. 클라우드 TPU v5e는 이전 버전에 비해 달러당 최대 2.5배 더 높은 성능을 제공하고 추론 지연 시간은 최대 1.7배 단축한다. 엔비디아의 H100 텐서 코어 GPU를 탑재해 이전 세대에 비해 3배 빠른 학습과 10배 증가한 네트워크 대역폭을 제공하는 A3 VM에 대한 지원 또한 향후 확대할 계획이다.

이외에 인퍼런스(Inference), 엔드포인트(Endpoints), 스페이스(Space), 오토트레인(AutoTrain) 등 허깅페이스 관리형 플랫폼에 대한 간단한 관리 및 과금 기능이 구글 클라우드 마켓플레이스를 통해 제공될 예정이다.

토마스 쿠리안(Thomas Kurian) 구글 클라우드 CEO는 “구글 클라우드와 허깅페이스는 개발자가 생성형 AI를 보다 손쉽게 활용하고 영향력을 발휘할 수 있도록 지원하는 비전을 공유하고 있다”며 “이번 파트너십으로 개발자는 허깅페이스에서 구글 클라우드의 AI 플랫폼인 버텍스 AI와 보안 인프라를 활용해 차세대 AI 서비스와 애플리케이션 구축을 가속화할 수 있을 것”이라고 전했다.

클레망 드랑주(Clement Delangue) 허깅페이스 CEO는 “구글은 초기 트랜스포머 논문부터 T5 및 비전 트랜스포머(ViT) 모델에 이르기까지 AI 발전과 오픈 사이언스 운동을 이끌어 왔다”며 “이번 파트너십을 통해 허깅페이스 사용자와 구글 클라우드 고객이 최신 오픈 모델과 함께 버텍스 AI, TPU 등 AI에 최적화된 구글 클라우드의 대표 인프라와 도구를 더욱 쉽게 활용함으로써, 개발자가 자체 AI 모델을 구축하는 역량을 한층 더 발전시킬 수 있도록 지원하겠다”라고 밝혔다.