[Post] 새로운 언어 모델 스택

 

The New Language Model Stack

 

핵심 요약:

• 세콰이어 네트워크 조사, 94%가 기반 모델 API 사용
• OpenAI GPT 91% 점유, Anthropic 관심 15% 성장
• 88%가 벡터 데이터베이스 검색 메커니즘 중요성 인정
• 맞춤형 언어 모델 개발 트렌드 부상

 

기업의 대규모 언어 모델(LLM) 도입 전략

 

ChatGPT가 대규모 언어 모델(LLMs)로 혁신의 물결을 일으켰습니다. 그 어느 때보다 많은 기업들이 자연어 상호작용의 힘을 제품에 도입하고 있습니다. 언어 모델 API의 채택으로 새로운 기술 스택이 형성되고 있습니다.

이러한 애플리케이션과 기술 스택을 더 잘 이해하기 위해, 우리는 시드 단계 스타트업부터 대기업에 이르는 시퀘이 네트워크의 33개 기업과 대화를 나눴습니다. 변화의 속도를 포착하기 위해 두 달 전과 지난주에 대화를 나눴습니다.

많은 창업자와 개발자들이 아직 자신들의 AI 전략을 모색하고 있는 중이기에, 이 분야가 빠르게 진화하고 있음에도 불구하고 우리의 발견을 공유하고자 합니다.

 

1. 시퀘이 네트워크의 거의 모든 기업이 제품에 언어 모델을 구축하고 있습니다. 코드(Sourcegraph, Warp, Github)부터 데이터 과학(Hex)까지 마법 같은 자동완성 기능을 보여주고 있습니다.

고객 지원부터 직원 지원, 소비자 엔터테인먼트까지 더 나은 챗봇을 만들어왔습니다. 다른 기업들은 AI 중심 렌즈로 전체 워크플로우를 재구상하고 있습니다: 시각 예술(Midjourney), 마케팅(Hubspot, Attentive, Drift, Jasper, Copy, Writer), 영업(Gong), 콜센터(Cresta), 법률(Ironclad, Harvey), 회계(Pilot), 생산성(Notion), 데이터 엔지니어링(dbt), 검색(Glean, Neeva), 식료품 쇼핑(Instacart), 소비자 결제(Klarna), 여행 계획(Airbnb).

이는 단지 몇 가지 예시일 뿐이며, 이제 시작에 불과합니다.

 

2. 이러한 애플리케이션의 새로운 기술 스택은 언어 모델 API, 검색, 오케스트레이션을 중심으로 하며, 오픈소스 사용도 증가하고 있습니다.

• 65%가 애플리케이션을 운영 중이며, 2개월 전 50%에서 증가했고, 나머지는 여전히 실험 중입니다.
• 94%가 기반 모델 API를 사용 중입니다. OpenAI의 GPT가 표본에서 91%로 명확한 선호도를 보였으며, Anthropic에 대한 관심은 지난 분기에 15%로 성장했습니다. (일부 기업은 복수의 모델을 사용합니다)
• 88%가 벡터 데이터베이스와 같은 검색 메커니즘이 스택의 핵심 부분으로 남을 것이라 믿습니다. 모델이 추론할 수 있는 관련 컨텍스트를 검색하면 결과 품질 향상, "환각"(부정확성) 감소, 데이터 최신성 문제 해결에 도움이 됩니다. 일부는 전용 벡터 데이터베이스(Pinecone, Weaviate, Chroma, Qdrant, Milvus 등)를 사용하고, 다른 일부는 pgvector나 AWS 제공 서비스를 사용합니다.
• 38%가 LangChain과 같은 LLM 오케스트레이션 및 애플리케이션 개발 프레임워크에 관심을 보였습니다. 일부는 프로토타이핑에 사용하고, 다른 일부는 운영 중이며, 최근 몇 달간 채택이 증가했습니다.
• 10% 미만이 LLM 출력, 비용, 성능을 모니터링하고 프롬프트를 A/B 테스트할 도구를 찾고 있습니다. 대기업과 규제 산업에서 언어 모델을 더 많이 채택함에 따라 이러한 영역에 대한 관심이 증가할 것으로 예상됩니다.
• 소수의 기업들이 생성형 텍스트와 음성 결합과 같은 보완적인 생성 기술을 모색하고 있습니다. 이 또한 흥미로운 성장 영역이라고 믿습니다.
• 15%가 LLM API 사용과 함께 처음부터 또는 오픈소스로 맞춤형 언어 모델을 구축했습니다. 맞춤형 모델 학습은 몇 달 전에 비해 상당히 증가했습니다. 이는 Hugging Face, Replicate, Foundry, Tecton, Weights & Biases, PyTorch, Scale 등의 기업들이 제공하는 컴퓨팅, 모델 허브, 호스팅, 학습 프레임워크, 실험 추적 등 고유의 스택을 필요로 합니다.

우리가 대화한 모든 실무자들은 AI가 너무 빠르게 변화하고 있어 최종 기술 스택에 대해 높은 확신을 가질 수 없다고 말했습니다. 하지만 LLM API가 핵심 축으로 남을 것이며, 그 다음으로 검색 메커니즘과 LangChain 같은 개발 프레임워크의 인기가 이어질 것이라는 데 의견을 같이했습니다.

오픈소스와 맞춤형 모델 학습 및 미세조정도 증가하는 추세입니다. 기술 스택의 다른 영역들도 중요하지만, 아직 성숙 단계 초기에 있습니다.

 

3. 기업들은 언어 모델을 고유한 컨텍스트에 맞게 맞춤화하길 원합니다.

일반화된 언어 모델은 강력하지만, 많은 사용 사례에서 차별화되거나 충분하지 않습니다. 기업들은 자사의 개발자 문서, 제품 재고, HR 또는 IT 규칙 등 자체 데이터에 대한 자연어 상호작용을 가능하게 하길 원합니다. 일부 기업은 사용자의 개인 노트, 디자인 레이아웃, 데이터 지표 또는 코드베이스에 맞춤화를 원하기도 합니다.

 

현재 언어 모델을 맞춤화하는 세 가지 주요 방법이 있습니다 (자세한 기술적 설명은 마이크로소프트 빌드의 앤드레이의 최근 GPT 상태 발표 참조):

• 처음부터 맞춤형 모델 학습. 가장 높은 난이도. 이는 이 문제를 해결하는 고전적이고 가장 어려운 방법입니다. 대개 고도로 숙련된 ML 과학자, 대량의 관련 데이터, 학습 인프라와 컴퓨팅을 필요로 합니다. 이는 역사적으로 많은 자연어 처리 혁신이 대규모 기술 기업 내에서 발생한 주요 이유 중 하나입니다. BloombergGPT는 대규모 기술 기업 외부의 맞춤형 모델 노력의 훌륭한 예로, Hugging Face와 다른 오픈소스 도구의 리소스를 활용했습니다. 오픈소스 도구가 개선되고 더 많은 기업이 LLM과 혁신하면서, 맞춤형 및 사전 학습된 모델 사용이 늘어날 것으로 예상됩니다.
• 기본 모델 미세조정. 중간 난이도. 이는 추가적인 사유 또는 도메인별 데이터를 통한 추가 학습으로 사전 학습된 모델의 가중치를 업데이트하는 것입니다. 오픈소스 혁신 또한 이 접근법을 점점 더 접근 가능하게 만들고 있지만, 여전히 종종 정교한 팀을 필요로 합니다. 일부 실무자들은 개인적으로 미세조정이 생각보다 훨씬 어렵고 모델 드리프트나 경고 없이 모델의 다른 기술을 "파괴"하는 것과 같은 의도치 않은 결과를 초래할 수 있다고 인정합니다. 이 접근법이 더 일반화될 가능성이 높지만, 현재는 대부분의 기업에게 아직 손이 닿지 않는 수준입니다. 하지만 다시 말해, 이는 빠르게 변화하고 있습니다.
• 사전 학습된 모델 사용 및 관련 컨텍스트 검색. 가장 낮은 난이도. 사람들은 종종 자신만을 위해 미세조정된 모델을 원한다고 생각하지만, 실제로는 적절한 시기에 자신의 정보에 대해 추론하기를 원합니다. 모델에 적절한 시기에 적절한 정보를 제공하는 방법은 많습니다: SQL 데이터베이스에 구조화된 쿼리 수행, 제품 카탈로그 검색, 외부 API 호출 또는 임베딩 검색 사용. 임베딩 검색의 이점은 비정형 데이터를 자연어로 쉽게 검색할 수 있다는 것입니다. 기술적으로 이는 데이터를 가져와 임베딩으로 변환하고, 이를 벡터 데이터베이스에 저장한 후, 쿼리 발생 시 가장 관련성 높은 컨텍스트를 검색하여 모델에 제공하는 방식입니다. 이 접근법은 모델의 제한된 컨텍스트 창을 해킹하고, 비용이 저렴하며, 데이터 최신성 문제(예: ChatGPT는 2021년 9월 이후 세계를 모름)를 해결하고, 공식 머신러닝 훈련 없이 솔로 개발자가 수행할 수 있습니다. 벡터 데이터베이스는 대규모에서 임베딩의 저장, 검색, 업데이트를 더 쉽게 만들기 때문에 유용합니다. 지금까지 대기업은 엔터프라이즈 클라우드 계약 내에서 클라우드 제공업체의 도구를 사용하는 반면, 스타트업은 전용 벡터 데이터베이스를 사용하는 경향이 있습니다. 그러나 이 공간은 매우 역동적입니다. 컨텍스트 창은 계속 확장되고 있으며(방금 OpenAI가 16K로 확장했고, Anthropic은 100K 토큰 컨텍스트 창을 출시했습니다), 기반 모델과 클라우드 데이터베이스가 검색 기능을 직접 서비스에 포함할 수 있습니다. 우리는 이 시장의 진화를 면밀히 지켜보고 있습니다.

4. 오늘날 LLM API 스택은 맞춤형 모델 학습 스택과 별개로 보이지만, 점차 융합되고 있습니다.

때로는 두 개의 스택이 존재하는 것 같습니다: 개발자 중심의 더 폐쇄적인 LLM API 스택과 더 정교한 머신러닝 팀 중심의 더 오픈소스 지향적인 맞춤형 언어 모델 학습 스택.

 

일부에서는 API를 통해 LLM이 쉽게 이용 가능해지면 기업들이 자체 맞춤 학습을 덜 할 것이라고 생각했습니다. 그러나 지금까지는 그 반대 현상이 일어나고 있습니다. AI에 대한 관심이 증가하고 오픈소스 개발이 가속화됨에 따라 많은 기업들이 자체 모델 학습과 미세조정에 점점 더 관심을 가지고 있습니다.

 

우리는 LLM API와 맞춤형 모델 스택이 시간이 지남에 따라 점점 더 수렴할 것으로 생각합니다. 예를 들어, 한 기업이 오픈소스로 자체 언어 모델을 학습한 후 데이터 최신성 문제를 해결하기 위해 벡터 데이터베이스를 통한 검색으로 보완할 수 있습니다. 맞춤형 모델 스택용 도구를 만드는 스마트한 스타트업들도 LLM API 혁명에 더 관련성 있게 자사 제품을 확장하기 위해 노력하고 있습니다.

 

5. 기술 스택이 점점 더 개발자 친화적으로 변화하고 있습니다.

언어 모델 API는 머신러닝 팀뿐만 아니라 평균적인 개발자들에게도 강력한 즉시 사용 가능한 모델을 제공합니다. 언어 모델을 다루는 인구가 모든 개발자로 확장됨에 따라, 개발자 중심 도구가 더 많이 등장할 것으로 예상됩니다. 예를 들어, LangChain은 모델 결합, 다중 모델 호출 연결, 도구 및 데이터 소스 연결, 에이전트 구축, 벤더 종속성 회피 등 일반적인 문제들을 추상화하여 개발자들의 LLM 애플리케이션 개발을 돕습니다. 일부는 프로토타이핑에, 다른 일부는 생산 환경에서 사용하고 있습니다.

 

6. 언어 모델의 신뢰성 확보가 필요합니다.

많은 기업들이 데이터 개인정보 보호, 보안, 저작권, 모델 출력 모니터링을 위한 더 나은 도구를 원합니다. 금융, 의료 등 규제 산업의 기업들이 특히 이 부분에 주목하고 있습니다.

 

기업들은 모델이 오류, 차별적 콘텐츠, 위험한 콘텐츠를 생성하거나 새로운 보안 취약점을 노출하는 것을 경고하거나 방지할 수 있는 소프트웨어를 요구하고 있습니다. Robust Intelligence는 특히 PayPal, Expedia 등의 고객을 대상으로 이러한 도전을 다루고 있습니다.

 

일부 기업들은 모델과 공유된 데이터의 학습 사용에 대해서도 우려하고 있습니다. 예를 들어, ChatGPT 소비자 데이터는 기본적으로 학습에 사용되지만, ChatGPT 비즈니스와 API 데이터는 그렇지 않다는 점을 이해하는 곳은 거의 없습니다.

 

정책이 명확해지고 더 많은 가드레일이 마련됨에 따라 언어 모델에 대한 신뢰도가 높아질 것이며, 채택에 있어 또 다른 단계적 변화를 볼 수 있을 것입니다.

 

7. 언어 모델 애플리케이션은 점점 더 멀티모달로 발전할 것입니다.

기업들은 이미 여러 생성 모델을 결합하는 흥미로운 방법을 찾고 있습니다. 텍스트와 음성을 결합한 챗봇은 대화 경험의 새로운 차원을 열어줍니다. 텍스트와 음성 모델을 결합하면 전체 영상을 다시 녹화하는 대신 빠르게 더빙할 수 있습니다.

모델 자체도 점점 더 멀티모달화되고 있습니다. 텍스트, 음성/오디오, 이미지/비디오 생성을 결합해 더욱 매력적인 사용자 경험을 만들고 복잡한 작업을 수행하는 소비자 및 기업용 AI 애플리케이션의 미래를 상상할 수 있습니다.

 

8. 아직 초기 단계입니다.

AI는 기술의 모든 영역에 스며들기 시작했습니다. 조사 대상의 65%만이 현재 운영 중이며, 대부분 비교적 단순한 애플리케이션입니다. 더 많은 기업들이 LLM 애플리케이션을 출시하면서 새로운 장애물이 생길 것이고, 이는 창업자들에게 더 많은 기회를 제공할 것입니다.

앞으로 몇 년간 인프라 계층은 계속 빠르게 진화할 것입니다. 보이는 데모의 절반만 실제 운영된다 해도, 우리는 흥미진진한 여정을 앞두고 있습니다. 초기 투자 단계부터 Zoom에 이르기까지 모든 창업자들이 AI로 사용자를 즐겁게 하는 데 집중하고 있는 모습이 흥미롭습니다.