AI 모델보다 데이터가 우선… AI 시대 새 전략 'LLM 스크래핑'

[이데일리 이윤정 기자] 오픈AI, 구글, 메타 등 글로벌 AI 기업들이 공통적으로 의존하는 대규모 웹 크롤링 데이터셋의 중요성이 커지면서 데이터 확보 경쟁도 한층 치열해지고 있다.

AI 모델의 성능이 알고리즘 설계보다 학습 데이터의 양과 질에 더욱 크게 영향을 받으면서, 웹 데이터 수집 인프라는 AI 개발의 핵심 기반으로 자리 잡고 있다. 실제로 오픈AI의 자체 웹 크롤링 규모는 2025년 8월 이후 3배 이상 증가한 것으로 나타났으며, 이는 모델 성능 고도화와 함께 학습 데이터 확보를 위한 인프라 투자가 확대되고 있음을 보여준다.

업계에서는 ‘AI 성능은 알고리즘보다 데이터에 의해 좌우된다’는 분석이 현실적인 압박으로 다가오고 있다. 기업들은 어떤 모델을 선택하는가만큼이나 그 모델을 어떤 데이터로 운용하는가를 전략의 핵심으로 삼고 있다. 여기에 새로운 변수로 등장한 것이 바로 ‘LLM 스크래핑’이다.

챗GPT, 제미나이, 퍼플렉시티 같은 AI 모델의 응답, 인용 출처, 노출 링크, 메타데이터까지 구조화해 수집하는 LLM 스크래핑은 단순한 데이터 수집 도구를 넘어 AI가 어떤 정보를 우선시하고 어떤 브랜드를 노출하는지를 실시간으로 추적하는 ‘시장 정보 레이더’ 역할을 한다.

LLM 스크래핑의 영향력은 검색과 마케팅 분야에서 특히 두드러진다. AI 검색이 보편화되면서 기존의 SEO(검색엔진 최적화) 방식이 변화하고 있다. 소비자들이 구글의 링크 목록 대신 챗GPT나 퍼플렉시티의 요약 답변을 통해 정보를 얻으면서, 기업들은 AI 응답 내 자사 브랜드 노출을 추적하는 과제를 안게 됐다. 이에 따라 ‘AEO(AI 엔진 최적화)’ 전략이 핵심 과제로 부상했다. 또한 시장 조사와 경쟁 분석에서도 LLM 스크래핑은 AI 모델 응답 데이터를 기반으로 경쟁사의 콘텐츠 전략과 업계 트렌드를 파악하는 데 중요한 도구로 활용되고 있다.

이러한 수요에 맞춰 Apify, Scrapeless 같은 플랫폼들은 서버리스 기반 자동화 파이프라인과 통합 API 서비스를 제공하며, LLM 데이터 수집이 범용 인프라 서비스로 전환되고 있음을 보여준다. 데이터 인사이트 전문 기업 Bright Data 역시 AI 모델 응답과 메타데이터를 실시간으로 수집·분석하는 솔루션으로 시장에 진입했다.

기술적 진화도 계속되고 있다. 개발자 커뮤니티에서는 스크래핑 인프라와 LLM 분석 레이어를 분리해 정확성과 확장성을 동시에 확보해야 한다는 의견이 지배적이다. 데이터 수집과 해석은 서로 다른 최적화 논리를 따르기 때문이다.

학계 연구에 따르면 LLM 기반 자동화 스크래핑은 비전문가도 복잡한 데이터 추출을 수행할 수 있게 해 진입 장벽을 낮추고 있다. 그러나 경쟁 심화에 따라 규제 필요성도 커지고 있다. 향후 LLM 스크래핑 기술은 단순 대량 수집에서 합법적이고 품질 높은 데이터 확보 중심으로 재편될 전망이다. 데이터 경쟁의 승부처가 속도에서 신뢰성으로 이동하고 있는 것이다.

결국 AI 시장의 경쟁은 더 빠른 모델을 만드는 싸움이 아니라, 더 정확하고 신뢰할 수 있는 데이터를 먼저 확보하는 싸움이 되었다.