[Post] AI 클라우드 시대의 권력 역학: 새로운 경쟁과 협력의 지형도

 

Power Dynamics in the AI Cloud Era | Greylock

 

핵심 요약:

• NVIDIA가 GPU 공급과 광범위한 파트너십을 통해 AI 혁명의 핵심 권력자로 부상
• AWS, Azure, GCP로 대표되던 클라우드 시장이 'Big 4' 시대로 진입
• 스타트업들은 기초 모델과 컴퓨팅 인프라보다는 상위 레이어에서 기회를 모색해야 함
• 수직 특화 AI 애플리케이션, 보안, 코드생성, 로보틱스 등이 유망한 영역으로 부상

 

빅테크와 스타트업이 공존하는 AI 생태계에서의 기회와 도전

 

클라우드와 LLM이 교차하고 GPU가 황금과 같은 이 새로운 세계 질서에서, 스타트업들은 어디서 가치를 구축할 수 있을까요?

 

드디어 빅 클라우드가 붕괴되고 있습니다.

AI를 향한 추진력이 스타트업들의 AWS, Microsoft Azure, GCP에 대한 의존도를 그 어느 때보다 높게 만들었지만, 동시에 전체 생태계의 NVIDIA에 대한 의존도도 높아졌습니다.

 

GPU에 대한 지배력(일시적일 수 있음)과 모든 규모의 AI 기업들과의 수많은 투자 및 파트너십을 넘어서, NVIDIA는 AI 특화 DGX 클라우드 개발로 Big 3와 정면 경쟁에 돌입했습니다. 이러한 움직임들은 NVIDIA를 오늘날 AI 혁명의 중심 권력 중개자로 확립했습니다. 이는 클라우드 제공업체들이 클라우드 플랫폼 전환에서 지배력을 확보한 이후 처음으로 실질적인 변화를 의미합니다.

 

NVIDIA는 3대 클라우드 제공업체 중 2곳과 중요한 파트너십을 맺는 데 이점을 활용할 수 있었을 뿐만 아니라, 중소 규모 컴퓨팅 기업들을 위한 경쟁의 장을 평평하게 만들었습니다. 이제 NVIDIA와의 파트너십 덕분에, 이러한 기업들은 클라우드 컴퓨팅 시장의 상당 부분을 차지(또는 재차지)할 수 있게 되었습니다.

 

작년에 우리가 썼듯이, NVIDIA와 Oracle의 파트너십은 이 레거시 기업을 현대 시대로 복귀시키는 데 핵심적인 역할을 했습니다. 이미 클라우드 전환 시대의 성공 사례였던 Databricks와 Snowflake는 NVIDIA와의 협력을 통해 AI에 전력을 기울이며 AI 컴퓨팅 생태계의 강력한 플레이어가 되었습니다. Databricks가 인수한 Mosaic는 계속 성장하여 고객을 위한 맞춤형 언어 모델 훈련과 DBRX와 같은 최첨단 모델 생산에서 데이터 플랫폼의 리더로 자리잡았고, Snowflake 팀은 이제 풀스택 AI 플랫폼을 제공합니다. 이러한 발전으로 Databricks와 Snowflake 모두 Big 3에 도전하기 위해 AI를 활용하면서 AI 스타트업들을 위한 매력적인 배포 파트너십을 제공할 수 있게 되었습니다.

 

추가로, NVIDIA의 파트너십과 상당한 투자는 성장하는 소규모 VC 지원 AI 특화 클라우드 기업들이 번창할 수 있게 했습니다. NVIDIA의 대규모 자금 조달 및/또는 GPU 할당으로 Coreweave, Together.ai, Crusoe, Lambda labs와 같은 기업들은 종종 제약이 있는 Big 3 클라우드와 비교하여 유연한 컴퓨팅 옵션과 가용성을 가진 고객을 확보할 수 있게 되었습니다.

 

이 모든 것은 우리가 클라우드의 "Big 4" 시대에 진입했음을 보여줍니다. Big 4는 전체 생태계에 힘을 실어주고 종종 가장 큰 자금 조달 라운드를 주도하며, 각각 AI 우위를 구축하기 위해 스타트업들과 중요한 파트너십을 맺기 위해 경쟁하고 있습니다.

 

기록적인 라운드는 LLM 제공자들에게 크게 치우쳐 있습니다. Microsoft만 해도 2023년 OpenAI에 130억 달러를 투자했고, AWS는 최근 Anthropic에 27억 달러를 투자했으며, Perplexity.ai의 급속한 가치 상승은 부분적으로 NVIDIA의 지원 덕분이었습니다.

이러한 새로운 권력 역학, 자금 조달 패턴, 독특한 incumbent-challenger 파트너십, 그리고 잠재적 exit 전략에 대한 집단적 영향은 스타트업들이 AI 시대의 경쟁에 다르게 접근해야 함을 의미합니다.

 

오늘날, 스타트업들이 우위를 가진 영역들이 있고, 여전히 더 많은 기회가 존재하는 영역들이 있으며, incumbent들이 승리할 가능성이 가장 높다고 우리가 믿는 영역들이 있습니다. 하이퍼스케일 클라우드와의 경쟁에 대한 우리의 원래 가이드라인 대부분이 여전히 유효합니다(예: incumbent들과의 직접 경쟁 피하기; 스택 상위로 이동; 깊은 IP 확립; 개발자 커뮤니티 소유 등).

 

우리는 투자자로서의 일상적인 업무, 창업자들과 기업 임원들과의 대화와 연구, 그리고 클라우드 생태계의 자금 조달과 기회를 매핑하기 위한 Greylock의 인터랙티브 데이터 프로젝트인 Castles in the Cloud 프로젝트를 위한 지속적인 데이터 수집과 분석을 통해 관찰한 트렌드들을 정리했습니다.

 

위에서 설명했듯이, 투자자 자금의 대부분은 컴퓨팅과 기초 모델로 가고 있으며, 이는 스타트업들이 지속적인 가치를 구축하기 위해 스택의 다른 레이어를 찾아야 함을 의미합니다. 이제 스타트업들이 툴링, 인프라, 그리고 수직 및 수평 앱, 보안, 코드생성, 로보틱스를 포함한 애플리케이션 레이어에서의 다양한 접근 방식으로 어떻게 견인력을 얻고 있는지 설명하겠습니다.

스택의 하단부터 시작하여 위로 올라가보겠습니다.

 

기초 모델 클라우드와 LLM의 교차점

AI의 엔진이 Big 4에 의해 연료 공급과 구동이 되는 반면, 스타트업이 제공하는 대규모 언어 모델이 이를 주도합니다. 대규모 자금 조달 라운드와 종종 독점적인 배포 계약으로, OpenAI, Anthropic, Mistral의 모델들은 Big 4의 AI 전략에 깊이 뿌리내렸습니다. Microsoft와 OpenAI의 파트너십, AWS와 Anthropic의 파트너십은 Big 4와 LLM 사이의 증가하는 권력 집중을 강조합니다.

자체적으로 기초 모델을 개발하는 유일한 클라우드 제공업체인 Google조차도 외부 LLM에 많은 투자를 했습니다.

 

Big 4와 LLM의 필수적인 교차는 붐빈 분야를 만들었습니다. Castles in the Cloud 프로젝트에서 LLM 제공자 카테고리에서 10개의 새로운 도전자들을 추적했지만, 이 분야가 더 크게 성장할 것으로 기대하지는 않습니다. 도메인 특화 모델들이 경쟁할 잠재력이 있고(AI 엔지니어링 코파일럿이나 에이전트의 기반이 될 수 있는 코드 특화 모델들도 마찬가지), 이는 여전히 상당한 미지수가 존재하는 자원 집약적인 시도입니다.

 

마찬가지로, 컴퓨팅은 스타트업들에게 또 다른 자본 집약적인 시도이며, Big 4와 벤처 캐피털 투자자들로부터 상당한 투자를 받았습니다. 앞서 언급했듯이, NVIDIA의 파트너십과 투자로 더 작은 AI 특화 클라우드들이 번창할 수 있었고, 이 섹터에 대한 전반적인 자금 조달이 급증했습니다. Castles in the Cloud 연례 업데이트에서, 우리는 2023년에 컴퓨팅 스타트업들이 거의 14억 달러를 조달한 것을 추적했습니다. 이는 2022년 투자된 2.32억 달러에서 6배 증가한 것입니다. 이 트렌드는 Foundry와 같은 사례로 2024년까지 계속되고 있습니다. 이 회사는 ML을 위해 특별히 설계된 퍼블릭 클라우드를 계속 개발하기 위해 3.5억 달러의 가치평가로 스텔스에서 나왔습니다.

현재로서는, 우리는 창업자들이 스택의 더 상위 기회들에 접근할 것을 권장합니다.

 

DevTools & 인프라

현재 AI 전환 시점에서, 우리는 인프라를 구축하는 스타트업들에게 엄청난 기회가 있다고 봅니다. 하지만 스타트업들은 이 지형을 탐색하는 데 집중해야 합니다. 기초 모델이 제공하는 기능이 개선되고 클라우드 제공업체들이 추가 서비스를 개발함에 따라, 애플리케이션이 인프라를 소비하는 방식이 변화합니다. 따라서 인프라는 이러한 유동성을 고려하여 구축되어야 하지만, 동시에 민첩하고 개발자 중심적이어야 합니다. 예를 들어, 투자자들과 AI 빌더들은 독립형 벡터 스토어의 장기적 내구성에 대해 논쟁해왔습니다: Pinecone과 Weaviate 같은 뛰어난 기업들은 작년에 총 1.5억 달러를 조달하고 많은 고객을 유치했지만, 다른 고객들은 pgvector와 MongoDB Atlas 벡터 데이터베이스와 같은 기존 데이터베이스의 애드온을 선호했습니다.

 

LLM 기반 애플리케이션이 향후 10년간 지배적인 애플리케이션 패러다임이 될 것으로 예상되는 가운데, 우리는 스택의 데이터 컴포넌트가 상당한 제품 깊이와 IP를 구축할 수 있는 최고의 기회를 제공한다고 믿습니다. 개발자들은 엔터프라이즈 데이터에 연결하고 오픈소스 모델을 그들의 특정 니즈에 맞게 조정하는 방법이 필요하며, 이는 LlamaIndex와 같은 스타트업들이 부상하게 했습니다. 이들은 맞춤형 RAG 애플리케이션을 쉽게 구축할 수 있는 데이터 프레임워크를 제공합니다.

 

또한 우리는 오픈소스 모델이 제공하는 매력적인 제어, 성능, 비용으로 인해 이를 더 효과적으로 만드는 도구에 대한 상당한 수요를 봅니다. Predibase와 같은 기업들은 개발자들이 오픈소스 모델을 파인튜닝하여 더 나은 지연시간과 성능을 가진 더 작은 모델을 구축할 수 있게 합니다. 이 회사는 최근 LoRA land를 출시했는데, 이는 기본 모델들을 일관되게 능가하는 것으로 보고된 25개의 파인튜닝된 Mistral-7 모델 컬렉션입니다.

 

맞춤형이든, 파인튜닝이든, 기본 모델이든, 모델을 규모에 맞게 효과적으로 서빙하는 것은 성장하는 스타트업들과 기업들이 직면하는 가장 큰 장애물 중 하나입니다. 빠르고 성능 좋은 추론과 즐거운 개발자 미학 및 워크플로우를 결합하면 기업들이 모델과 제품을 배포하는 데 집중할 수 있게 됩니다 - 이것이 Baseten과 같은 기업들이 최근 폭발적인 성장을 보인 이유입니다.

 

또한 LLM 애플리케이션 작업의 주요 과제 중 하나를 해결할 수 있는 스타트업들의 기회도 있습니다: 비결정적이기 때문에, 기업들은 응답의 품질을 신뢰성 있게 예측할 수 없습니다(또한 독점 데이터 사용으로 인한 프롬프트의 작은 변화가 출력에 영향을 미칠 수 있는지도). Observability 도구는 AGI 시대의 필수 제품이 되었습니다. 스타트업의 IP 무트의 강점은 그들의 성능만큼만 좋기 때문입니다. 최근 우리는 Braintrust에 투자했는데, 이는 개발자들에게 코드를 계측하고 평가를 실행하기 위한 도구킷을 제공하여 팀들이 시간이 지남에 따라 AI 지원 제품을 평가, 로깅, 개선, 향상시킬 수 있게 합니다.

 

에이전트

에이전트 기능의 등장은 애플리케이션 레이어의 많은 기회의 기반이 됩니다. 많은 선도적인 AI 애플리케이션 기업들은 다양한 작업을 추론하기 위해 다수의 서드파티 및 파인튜닝된 모델과 도메인 특화 도구들을 조율하면서 에이전트 레이어에서 핵심 IP를 구축하고 있습니다.

우리는 이 패러다임이 위에서 언급한 수직 및 수평 도메인뿐만 아니라 보안, observability의 근본 원인 분석, Devin과 같은 AI 엔지니어 등에서도 펼쳐지는 것을 보았습니다. 이러한 접근 방식은 가장 빠르게 성장하는 기업들을 만들어냈고 과거 LLM 위의 래퍼보다 더 깊은 무트를 제공합니다.

 

우리가 많은 에이전트 프레임워크를 보았지만, 우리가 이야기한 대부분의 기업들은 결국 자체 오케스트레이션 시스템을 대부분 구축하게 됩니다. 엔터프라이즈를 위한 맞춤형 AI 에이전트를 개발하고 있는 Adept가 이러한 전술을 취했습니다. 시간이 지남에 따라, 우리는 이 접근 방식이 산업 특화된 유틸리티를 안정적으로 제공하면서도 더 표준화될 수 있다고 믿습니다. 그 사이에, 에이전트 특화 도구를 제공하는 데 기회가 있습니다.

 

애플리케이션 계층

수직 & 수평적 시도들

작년의 수직 특화 증가 트렌드가 계속되면서, 우리는 더 많은 스타트업들이 ML 앱으로 자신만의 영역을 구축하는 것을 보고 있습니다. Castles in the Cloud 시장 지도 섹션에 10개의 새로운 진입자들이 추가되었으며, 여기에는 수직적 및 수평적 앱들이 혼합되어 있습니다.

 

우리의 동료 Christine Kim이 썼듯이, 수직 특화 AI 접근법들은 스타트업들에게 매력적인 선택지가 되고 있으며 Big 3의 관심 영역은 아닌 것으로 보입니다. 예를 들어, 법률에 초점을 맞춘 Harvey와 EvenUp이 2023년에 자금을 조달했고, 데이터베이스의 기존 기업들인 Adept와 Tome도 새로운 자금을 조달했습니다. 우리는 기업들이 그러한 도메인의 덜 전략적인 작업들을 보완하거나 자동화하려 함에 따라, 모든 기업 조직에 공통적인 기능(영업과 채용 등)을 위한 더 많은 수평적 앱들을 볼 것으로 예상합니다. 하지만 진정으로 핵심적인 수평 카테고리들이 AI 스타트업들에 의해 얼마나 붕괴될지는 불분명합니다: 클라우드 전환에 적응하는 데 어려움을 겪었던 과거 세대의 incumbent들과 달리, 오늘날의 incumbent들은 (지금까지는) 최신 플랫폼 변화에 훨씬 더 잘 적응하고 있는 것으로 보입니다.

 

보안

보안은 계속해서 가장 중요한 이슈이며, AI와 관련된 새로운 위험들이 새로운 기업 창출의 속도를 가속화했습니다. 2023년에는 Castles in the Cloud 데이터베이스에 13개의 새로운 스타트업이 추가되었고, 이 섹터는 벤처 캐피털 투자자들로부터 거의 8억 달러를 조달했습니다.

 

우리는 여러 클라우드 데이터 플랫폼과 함께 GenAI를 활용하는 수십 명의 CISO들과 데이터 팀들과 이야기를 나눴습니다. 그들은 반복해서 규제 데이터와 핵심 IP와 같은 보호된 정보가 AI 모델에 수집되지 않도록 하기 위해 클라우드 데이터 보안에 대한 새로운 접근법이 필요하다고 말했습니다. 우리는 GenAI 시대에 맞춘 마찰 없는 데이터 보안 서비스 플랫폼을 개발한 Bedrock을 인큐베이팅하고 투자했으며, AI 보안 스택의 다른 부분들에도 적극적으로 투자를 모색하고 있습니다.

 

보안 스타트업들은 또한 AI 에이전트 접근법을 사용하여 SOC, 신원확인을 혁신하고 앱과 인프라의 문제 해결을 개선하고 있습니다. 작년에 Greylock이 투자한 Kodem은 실제 애플리케이션 위험을 이해하기 위해 심층 런타임 인텔리전스를 활용합니다. 사용 중인 실제 애플리케이션의 잠재적 취약점과 잠재적으로 악용 가능한 기능을 예측할 수 있는 완전한 그림을 사용자에게 제공하기 위해, 이 회사는 런타임 인텔리전스 기능을 LLM 기반 기술과 병합합니다.

 

코드생성

오늘날 스타트업들에게 가장 흥미로운 기회 중 하나는 인간 엔지니어처럼 코드를 이해하고 "말할" 수 있는 AI 도구를 개발하는 것입니다. 우리의 동료 Corinne Riley가 이 영역의 작업을 주도하고 있으며 이 목표를 향한 세 가지 주요 접근 방식에 초점을 맞추고 있습니다: 기존 워크플로우를 향상시키는 AI 코파일럿; 엔지니어를 대체하는 AI 에이전트; 그리고 코드와 자연어의 조합으로 훈련된 코드 특화 모델. 2023년에는 Castles in the Cloud 데이터베이스에 코드생성 카테고리를 추가했고 9개의 새로운 스타트업을 추적했습니다. 이 emerging 섹터에 대한 Greylock의 관점은 Corinne의 곧 발표될 에세이에서 더 자세히 읽을 수 있습니다.

 

로보틱스

기초 모델들은 또한 작년 우리 데이터 세트에서 로보틱스 펀딩에도 호재가 되었으며, 투자자들은 로보틱스와 하드웨어의 발전이 기초 모델과 결합될 때의 잠재력을 인식하고 있습니다.

 

우리는 이 트렌드가 올해 더욱 가속화될 것으로 예상합니다. Figure는 최근 OpenAI, NVIDIA, Microsoft 등으로부터 6.75억 달러를 조달했으며, OpenAI와 협력하여 언어를 처리하고 추론할 수 있게 하는 로보틱스 기초 모델을 개발하기로 했습니다. Physical Intelligence는 스탠포드에서의 창업자들의 연구를 기반으로 범용 AI를 물리적 세계로 가져오기 위해 자금을 조달했습니다.

 

결론

AI 혁명은 새로운 세계 질서를 만들었습니다. 점점 더 경쟁이 치열해지는 이 환경에서 스타트업들은 분명 Big 4의 리소스와 파트너십을 필요로 할 것이지만, 진화하는 AI 스택의 상위 레이어에서 자신만의 영역을 구축할 수 있습니다. 앱에서 에이전트까지, 보안에서 코드생성과 로보틱스까지, incumbent들이 혁신을 challenger들에게 아웃소싱하기를 선호하는 영역에서 창업자들과 함께 일할 수 있기를 기대합니다.