|
스퀴즈비츠와 연구진은 이번 연구를 통해 다양한 AI 응용 환경에서 가우디2의 성능과 전력 효율성을 분석하고, 엔비디아 A100 GPU와 비교 평가했다.
그 결과, 대형 언어모델(LLM) 기반 서비스에서는 가우디2가 평균 50%의 전력 효율 개선을 보이며 A100을 능가했지만, 추천 시스템(RecSys) 환경에서는 A100 대비 성능이 평균 20%, 전력 효율은 28% 낮은 것으로 나타났다.
스퀴즈비츠는 2022년 네이버 (NAVER(035420)) D2SF로부터 투자를 유치한 후, 네이버와 AI 모델 경량화 PoC(기술 검증)를 성공적으로 진행하며 협업을 이어오고 있다. 현재는 인텔 가우디2 기반 생성형 AI 추론 기술도 함께 개발 중이다.
스퀴즈비츠는 AI 모델의 성능 손실 없이 연산 속도를 높이는 경량화 및 최적화 기술을 보유한 스타트업으로, AI 모델 최적화 툴킷 ‘OwLite’, LLM 서빙 최적화 도구 ‘Fits on Chips’를 서비스형소프트웨어(SaaS) 형태로 제공하고 있다.
올해는 리벨리온 등 AI 반도체 기업들과의 협업을 확대하고, AI 모델 경량화 및 최적화 엔지니어링 강화를 위해 연구 인재 채용도 진행 중이다.