기업 AI 인프라 투자 급증…비용 측정 못하는 'AI 컴퓨팅 격차' 심각

핵심 요약

- 107개 기업 대상 조사 결과, AI 인프라 투자는 급증하나 83%가 GPU 가동률 50% 이하로 운영 중 - 44%만이 AI 컴퓨팅 비용을 엄격히 추적 가능하며, 투자 대비 경제성 가시성이 현저히 낮은 '컴퓨팅 격차' 발생 - 64%가 1년 내 AI 인프라 제공업체 전환 계획, 의사결정 기준은 토큰 단가보다 통합성과 총소유비용(TCO)

주요 내용

VentureBeat의 2026년 7월 발표 조사에 따르면, 기업들이 AI 인프라에 대한 투자를 가속화하고 있으나 그 경제성을 측정하고 통제할 수 있는 능력은 크게 뒤처지는 'AI 컴퓨팅 격차(Compute Gap)' 현상이 심화되고 있다. 107개 기업을 대상으로 한 이번 조사에서 실제 프로덕션 환경에서 대규모 AI를 운영하는 기업은 21%에 불과한 반면, 향후 1년간 AI 전용 클라우드 평가를 계획하는 기업은 45%에 달해 투자 의도가 성숙도를 크게 앞서고 있는 것으로 나타났다.

더욱 우려스러운 점은 이미 도입된 컴퓨팅 자원의 활용률이다. 조사 대상 기업의 83%가 GPU 가동률 50% 이하로 운영 중이며, AI 컴퓨팅 비용을 엄격하게 추적할 수 있는 기업은 44%에 그쳤다. 기업들은 현재 보유한 인프라의 경제성조차 파악하지 못한 채 더 많은 인프라를 더 빠르게 구매하고 있는 셈이다. 대부분의 조직이 하이퍼스케일러와 모델 제공업체 API를 기반으로 AI를 운영하고 있으나, 다음 투자는 현재 거의 사용하지 않는 전문화된 컴퓨팅에 집중될 예정이다.

인프라 제공업체에 대한 충성도 역시 낮은 것으로 확인됐다. 명확한 다수인 64%가 향후 1년 내 제공업체를 전환하거나 추가할 계획이며, 상당수는 분기 내 변경을 고려하고 있다. 흥미롭게도 구매 결정의 핵심 요소는 토큰 단가가 아닌 통합성과 총소유비용(TCO)으로 나타났다. 이는 기업들이 단순 가격보다 운영 효율성과 장기 경제성을 중시하기 시작했음을 의미하지만, 정작 자사의 단위 경제성(unit economics)을 명확히 파악하지 못하는 역설적 상황이 발생하고 있다.

전문가 시각

ISMS-P 심사 현장에서 관찰되는 바와 같이, 많은 기업들이 AI 도입에는 적극적이나 그 과정에서 발생하는 정보자산 관리와 비용 통제 체계는 취약한 경우가 많다. 특히 바이브 코딩(Vibe Coding) 등 AI 보조 개발 도구 사용이 확산되면서 개발 과정에서 외부 API 호출이 급증하고 있으나, 이에 대한 비용 추적과 개인정보 흐름 모니터링은 제대로 이루어지지 않는 실정이다. GPU 가동률 50% 이하라는 수치는 단순한 비효율을 넘어, AI 거버넌스 체계의 부재를 시사한다.

2026년 현재 AI기본법 시행을 앞두고 있는 시점에서, 기업들은 AI 인프라 투자와 함께 반드시 ①AI 컴퓨팅 자원 사용에 대한 실시간 모니터링 체계 구축 ②클라우드 및 API 사용에 따른 개인정보 국외이전 영향평가 ③AI 학습·추론 과정의 비용-편익 분석 프레임워크 마련을 병행해야 한다. 특히 개인정보를 활용한 AI 모델 학습 시 과도한 컴퓨팅 자원 사용은 '최소수집 원칙' 위반 소지가 있으며, 비용 추적 불능은 정보보호 관리체계의 '자산 관리' 통제항목 미준수로 이어질 수 있다.

CPPG·ISMS-P 연계 포인트

정보자산 분류 및 관리 (ISMS-P 2.5.1): AI 컴퓨팅 인프라(GPU, 클라우드 인스턴스, API 엔드포인트)는 개인정보 처리 정보자산으로 분류·관리되어야 하며, 각 자산의 사용량·비용·개인정보 처리 여부를 명확히 식별하고 주기적으로 검토해야 한다. GPU 가동률 50% 이하는 자산 관리의 효율성 측면에서 개선이 필요한 영역이다.

외부자 계약 및 관리 (ISMS-P 2.9.2): 하이퍼스케일러 및 AI 모델 제공업체와의 계약 시 개인정보 처리 위탁 계약서에 ①컴퓨팅 자원 사용량 모니터링 방법 ②비용 투명성 보장 조항 ③데이터 처리 위치 및 국외이전 통제 방안을 명시해야 하며, 제공업체 전환 시 개인정보 이전·파기 절차를 수립해야 한다.