AI 현황
OpenRouter와 함께한 100조 토큰 실증 연구
초록
지난 한 해는 대규모 언어 모델(LLM)의 발전과 실제 활용에 전환점이 되었습니다. 최초로 널리 채택된 추론 모델인 o1이 2024년 12월 5일에 출시되면서, 이 분야는 단일 패스 패턴 생성에서 다단계 숙고 추론으로 전환되었고, 배포와 실험, 새로운 유형의 애플리케이션 개발이 가속화되었습니다. 이러한 전환이 빠르게 진행되는 동안, 이 모델들이 실제로 어떻게 사용되어 왔는지에 대한 실증적 이해는 뒤처져 있었습니다. 본 연구에서는 다양한 LLM에 걸쳐 AI 추론을 제공하는 플랫폼인 OpenRouter를 활용하여 작업, 지역, 시간에 따른 실제 LLM 상호작용에서 발생한 100조 개 이상의 토큰을 분석합니다. 실증 연구를 통해 오픈 웨이트 모델의 상당한 도입 규모, 창의적 역할극(많은 사람이 주류라고 가정하는 생산성 작업을 넘어선)과 코딩 지원 범주의 두드러진 인기, 그리고 에이전트형 추론의 부상을 관찰했습니다. 또한 유지율 분석을 통해 후속 코호트보다 훨씬 오랫동안 참여를 지속하는 초기 사용자 집단을 식별했으며, 이를 기반 코호트라고 명명했습니다. 이 현상을 신데렐라 "유리 구두" 효과라고 부릅니다. 이러한 결과는 개발자와 최종 사용자가 실제 환경에서 LLM을 활용하는 방식이 복잡하고 다면적임을 보여줍니다. 모델 개발사, AI 개발자, 인프라 제공업체에 대한 시사점을 논의하고, 사용에 대한 데이터 기반 이해가 LLM 시스템의 더 나은 설계와 배포에 어떻게 기여할 수 있는지 개괄합니다.
소개
불과 일 년 전만 해도 대규모 언어 모델의 판도는 근본적으로 달랐습니다. 2024년 말 이전에는 텍스트 시퀀스를 이어 쓰도록 최적화된 단일 패스 자기회귀 예측 모델이 최첨단 시스템의 주류를 이루었습니다. 여러 선행 연구에서는 고급 지시 이행과 도구 사용을 통해 추론에 근접하려고 시도했습니다. 예를 들어, Anthropic의 Sonnet 2.1 & 3 모델은 정교한 도구 사용과 검색 증강 생성(RAG)에 뛰어났으며, Cohere의 Command R 모델은 구조화된 도구 계획 토큰을 도입했습니다. 이와 별개로, Reflection 에서 수행한 것과 같은 오픈 소스 프로젝트에서는 학습 중 지도 학습 기반 사고 사슬과 자기 비평 루프를 탐구했습니다. 이러한 고급 기법은 추론과 유사한 출력과 우수한 지시 이행 능력을 만들어 냈지만, 근본적인 추론 절차는 여전히 단일 순전파에 기반했으며, 반복적인 내부 계산을 수행하는 대신 데이터에서 학습한 표면적인 과정을 출력했습니다.
이 패러다임은 2024년 12월 5일에 OpenAI가 추론 모델 o1 의 첫 정식 버전(코드명 Strawberry)을 출시하면서 진화했습니다 . 2024년 9월 12일에 출시된 프리뷰는 이미 기존 자기회귀 추론 방식에서 벗어나는 변화를 보여주었습니다. 이전 시스템과 달리, o1 은 최종 출력을 생성하기 전에 내부 다단계 숙고, 잠재적 계획 수립, 반복적 개선을 수반하는 확장된 추론 시점 연산 과정을 활용했습니다. 실증적으로 이는 수학적 추론, 논리적 일관성, 다단계 의사결정의 체계적인 개선을 가능하게 했으며, 패턴 완성에서 구조화된 내부 인지로의 전환을 보여주었습니다. 돌이켜보면 지난해는 이 분야의 진정한 변곡점이었으며, 이전 접근 방식들이 추론의 가능성을 시사하는 데 그쳤다면 o1 은 의도적인 다단계 연산을 통해 추론을 수행하는, 널리 배포된 최초의 아키텍처를 도입했으며, 이는 추론을 단순히 설명 하는 것과는 달랐습니다 .
최근 LLM 역량의 발전은 널리 문서화되어 있지만, 이러한 모델이 실제로 어떻게 사용되는지에 대한 체계적인 근거는 여전히 제한적입니다 . 기존 설명은 대규모 행동 데이터보다는 정성적 시연이나 벤치마크 성능을 강조하는 경향이 있습니다. 이러한 간극을 메우기 위해 다양한 LLM 쿼리의 허브 역할을 하는 멀티 모델 AI 추론 플랫폼인 OpenRouter의 100조 토큰 데이터셋을 활용하여 LLM 사용에 대한 실증 연구를 수행합니다.
OpenRouter의 관점은 세분화된 사용 패턴을 살펴볼 수 있는 고유한 창을 제공합니다. OpenRouter는 폐쇄형 소스 API와 오픈 웨이트 배포를 아우르는 다양한 모델에 걸쳐 요청을 조율하므로, 개발자와 최종 사용자가 다양한 작업에 언어 모델을 실제로 어떻게 호출하는지 보여주는 대표적인 단면을 포착합니다. 이 풍부한 데이터 세트를 분석하면 어떤 작업에 어떤 모델이 선택되는지, 지역과 시간에 따라 사용량이 어떻게 달라지는지, 가격이나 새 모델 출시와 같은 외부 요인이 행동에 어떤 영향을 미치는지 관찰할 수 있습니다.
본 논문에서는 Anthropic의 경제적 영향 및 사용 분석 및 OpenAI의 보고서 사람들은 ChatGPT를 어떻게 사용하는가 등 AI 도입에 관한 기존 실증 연구에서 영감을 얻어 중립적이고 근거에 기반한 논의를 지향합니다. 먼저 작업과 모델을 분류하는 방식을 포함하여 데이터셋과 방법론을 설명합니다. 그런 다음 사용의 다양한 측면을 조명하는 일련의 분석을 자세히 살펴봅니다:
- 오픈 소스 모델과 비공개 소스 모델 비교: 독점 모델 대비 오픈 소스 모델의 도입 양상을 살펴보고, 오픈 소스 생태계의 추세와 주요 참여자를 파악합니다.
- 에이전트 기반 추론: 도구를 활용하는 다단계 추론 패턴의 등장을 조사하여, 사용자가 단일 턴 상호작용보다는 더 큰 자동화 시스템의 구성 요소로 모델을 점점 더 많이 활용하는 방식을 파악합니다.
- 범주 분류 체계: 작업 범주(프로그래밍, 역할극, 번역 등)별로 사용량을 분석하여, 어떤 응용 분야에서 가장 많은 활동이 발생하고 이러한 분포가 모델 제공업체별로 어떻게 다른지 밝힙니다.
- 지역: 전 세계 사용 패턴을 분석하여 대륙별 LLM 도입을 비교하고 미국 내 사용 현황을 자세히 살펴봅니다. 이를 통해 지역적 요인과 현지 모델 제공이 전체 수요에 어떤 영향을 미치는지 밝힙니다.
- 실효 비용과 사용량의 역학 관계: 사용량과 실효 비용의 관계를 평가하여 실제 LLM 도입의 경제적 민감도를 파악합니다. 이 지표는 평균 입력 토큰과 출력 토큰의 합을 기반으로 하며 캐싱 효과를 반영합니다.
- 유지율 패턴: 가장 널리 사용되는 모델의 장기 유지율을 분석하고, 지속적이고 고착성이 높은 행동을 규정하는 기반 코호트 를 식별합니다. 이를 신데렐라의 "유리 구두" 효과로 정의하며, 사용자 요구와 모델 특성 간의 초기 부합이 시간이 지나도 참여를 유지하는 지속적인 적합성을 만들어 내는 현상을 의미합니다.
마지막으로, 이러한 결과가 실제 LLM 사용에 관해 무엇을 보여주는지 논의하며, 예상치 못한 패턴을 강조하고 일부 오해를 바로잡습니다.
데이터 및 방법론
OpenRouter 플랫폼 및 데이터세트
당사의 분석은 OpenRouter 플랫폼에서 수집한 메타데이터를 기반으로 하며, 이 플랫폼은 사용자와 개발자를 수백 개의 대규모 언어 모델에 연결하는 통합 AI 추론 계층입니다. OpenRouter의 각 사용자 요청은 사용자가 선택한 모델에서 실행되며, 그 결과로 발생하는 "생성" 이벤트를 설명하는 구조화된 메타데이터가 로그에 남습니다. 이 연구에 사용된 데이터셋의 구성 요소는 다음과 같습니다: 익명화된 요청 수준 메타데이터 전체는 전 세계 사용자 기반의 수십억 개 프롬프트-완성 쌍에 대한 것으로, 작성 시점까지 약 두 해에 걸친 기간을 포함합니다. 특히 최근 일 년을 집중적으로 살펴봅니다.
중요한 점은 저희가 프롬프트나 완성 결과의 실제 텍스트에 접근할 수 없었다는 것입니다. 저희 분석은 전적으로 메타데이터 에 의존하며, 이 메타데이터는 각 생성의 구조, 시점 및 맥락을 포착하면서도 사용자 콘텐츠를 노출하지 않습니다. 이러한 개인정보 보호 설계는 대규모 행동 분석을 가능하게 합니다.
각 생성 레코드에는 시간 정보, 모델 및 제공업체 식별자, 토큰 사용량, 시스템 성능 지표가 포함됩니다. 토큰 수에는 프롬프트(입력) 토큰과 완성(출력) 토큰이 모두 포함되어 전체 모델 워크로드와 비용을 측정할 수 있습니다. 메타데이터에는 지리적 라우팅, 지연 시간, 사용 맥락과 관련된 필드도 포함됩니다(예: 요청이 스트리밍되거나 취소되었는지 또는 도구 호출 기능이 사용되었는지 여부). 이러한 속성은 함께 모델이 실제로 어떻게 사용되는지에 대한 상세한 비텍스트 정보를 제공합니다.
이 메타데이터를 기반으로 한 모든 분석, 집계 및 대부분의 시각화는 Hex 분석 플랫폼을 사용하여 수행되었으며, 이 플랫폼은 버전이 관리되는 SQL 쿼리, 변환 및 최종 도표 생성을 위한 재현 가능한 파이프라인을 제공했습니다.
이 데이터셋이 관찰 기반이라는 점을 강조하며, 이 데이터셋은 모델 가용성, 가격, 사용자 선호도의 영향을 받는 OpenRouter 플랫폼의 실제 활동을 반영합니다. 2025년 기준 OpenRouter는 70곳이 넘는 제공업체의 300+개가 넘는 활성 모델을 지원하고 수백만 명의 개발자와 최종 사용자에게 서비스를 제공하며, 사용량의 50%를 초과하는 비중이 미국 외 지역에서 발생합니다. 플랫폼 외부의 특정 사용 패턴은 포착되지 않지만, OpenRouter의 글로벌 규모와 다양성은 대규모 LLM 사용 양상을 살펴보는 대표성 있는 관점을 제공합니다.
콘텐츠 분류를 위한 GoogleTagClassifier
이 연구에서는 사용자 프롬프트나 모델 출력에 직접 접근할 수 없었습니다. 대신, OpenRouter는 전체 프롬프트 와 응답의 약 0.25%로 구성된 무작위 표본을 비독점 모듈인 GoogleTagClassifier로 내부 분류합니다. 이는 전체 활동의 일부에 불과하지만, OpenRouter가 처리하는 전체 쿼리 양을 고려하면 기반 데이터 세트의 규모는 여전히 상당합니다. GoogleTagClassifier는 Google Cloud Natural Language의 classifyText 콘텐츠 분류 API와 연동됩니다
API는 텍스트 입력에 언어에 구애받지 않는 계층적 분류 체계를 적용하여 하나 이상의 범주 경로(예: /Computers & Electronics/Programming, /Arts & Entertainment/Roleplaying Games)와 해당 경로의 [0,1] 범위 신뢰도 점수를 반환합니다. 분류기는 프롬프트 데이터(처음 1,000자까지)에 직접 작동합니다. 분류기는 OpenRouter 인프라 내에 배포되어 분류 결과의 익명성이 유지되고 개별 고객과 연결되지 않도록 합니다. 신뢰도 점수가 기본 임계값인 0.5 미만인 범주는 추가 분석에서 제외됩니다. 분류 시스템 자체는 전적으로 OpenRouter 인프라 내에서 작동하며 이 연구에는 포함되지 않았고, 분석에는 원본 프롬프트 내용이 아닌 결과 범주 출력(사실상 프롬프트 분류를 설명하는 메타데이터)만 사용했습니다.
이러한 세분화된 레이블을 대규모로 유용하게 활용하기 위해 GoogleTagClassifier의 분류 체계를 연구에서 정의한 간결한 그룹 집합에 매핑하고 각 요청에 태그를 할당합니다. 각 태그는 상위 수준의 카테고리 에 일대일로 매핑됩니다. 대표적인 매핑은 다음과 같습니다:
- 프로그래밍: 출처:
/Computers & Electronics/Programming또는/Science/Computer Science/* - 역할극: 출처:
/Games/Roleplaying Games및 다음 항목 아래의 창의적 대화 말단 분류:/Arts & Entertainment/* - 번역: 출처:
/Reference/Language Resources/* - 일반 질의응답 / 지식: 출처:
/Reference/General Reference/*및/News/*의도가 사실 조회로 보이는 경우 - 생산성/글쓰기: 출처:
/Computers & Electronics/Software/Business & Productivity Software또는/Business & Industrial/Business Services/Writing & Editing Services - 교육: 출처:
/Jobs & Education/Education/* - 문학/창작 글쓰기: 출처:
/Books & Literature/*및 다음 항목 아래의 서사 말단 분류:/Arts & Entertainment/* - 성인: 출처:
/Adult - 기타: 뚜렷하게 대응되는 분류가 없는 롱테일 프롬프트에 적용됩니다. (참고: 아래의 대부분 분석에서는 이 범주를 제외합니다.)
이 접근 방식에는 본질적인 한계가 있는데, 예를 들어 사전에 정의된 분류 체계에 의존하면 새로운 행동이나 여러 도메인에 걸친 행동을 분류하는 방식이 제한되며, 일부 상호작용 유형은 아직 기존 범주에 명확하게 들어맞지 않을 수 있습니다. 실제로 일부 프롬프트는 내용이 서로 겹치는 도메인에 걸쳐 있을 때 여러 범주 레이블을 받습니다. 그럼에도 분류기 기반 범주화는 후속 분석을 위한 관점을 제공합니다. 이를 통해 LLM의 ‘ 사용량 ’뿐 아니라 ‘사용 목적’도 정량화할 수 있습니다.
모델 및 토큰 변형
몇 가지 변형은 명시적으로 언급할 가치가 있습니다:
- 오픈 소스와 독점 모델 비교: 저희가 모델에 사용하는 분류는 오픈 소스(편의상 OSS) 로, 가중치가 공개된 경우에 해당하며, 클로즈드 소스 는 제한된 API를 통해서만 접근할 수 있는 경우(예: Anthropic의 Claude)에 해당합니다. 이러한 구분을 통해 커뮤니티 주도 모델과 독점 모델의 채택 현황을 비교 측정할 수 있습니다.
- 개발 지역(중국과 기타 지역 비교): 중국 LLM의 부상과 독자적인 생태계를 고려하여, 주요 개발 지역에 따라 모델에 태그를 지정합니다. 중국 모델 에는 중국, 대만 또는 홍콩의 조직에서 개발한 모델(예: Alibaba의 Qwen, Moonshot AI의 Kimi 또는 DeepSeek)이 포함됩니다. RoW(기타 지역) 모델 은 북아메리카, 유럽 및 그 외 지역을 포함합니다.
- 프롬프트 토큰과 완성 토큰 비교: 저희가 구분하는 토큰 유형: 프롬프트 토큰은 모델에 제공되는 입력 텍스트를 나타내고, 완성 토큰은 모델이 생성한 출력을 나타냅니다. 총 토큰 은 프롬프트 토큰과 완성 토큰의 합계입니다. 추론 토큰 은 기본 추론 기능을 갖춘 모델의 내부 추론 단계를 나타내며 다음 유형에 포함됩니다: 완성 토큰.
별도로 명시하지 않는 한, 토큰 수는 다음을 의미합니다: 프롬프트(입력) 토큰과 완성(출력) 토큰의 합계.
지역별 세분화
LLM 사용의 지역별 패턴을 이해하기 위해 사용자 지역에 따라 요청을 분류합니다. 직접적인 요청 메타데이터(IP 기반 위치 등)는 대개 부정확하거나 익명화되어 있습니다. 대신 각 계정에 연결된 청구지 를 기준으로 사용자 지역을 파악합니다. 청구 데이터는 사용자의 결제 수단이나 계정 등록에 연결된 국가 또는 지역을 반영하므로, 사용자 지역을 파악하는 데 더 신뢰할 수 있는 대리 지표가 됩니다. 지역별 도입 현황과 모델 선호도를 분석할 때 이 청구지 기반 분류를 사용합니다.
이 방법에는 한계가 있습니다. 일부 사용자는 타사 결제 서비스나 공유 조직 계정을 사용하며, 이는 실제 위치와 일치하지 않을 수 있습니다. 기업용 계정은 여러 지역의 활동을 하나의 청구 주체 아래 집계할 수 있습니다. 이러한 불완전성에도 불구하고, 접근할 수 있었던 메타데이터를 고려하면 청구 지역은 개인정보를 보호하는 지리적 분석에 사용할 수 있는 가장 안정적이고 해석 가능한 지표입니다.
기간 및 범위
본 분석은 주로 2025년 11월까지의 최근 13개월을 다루지만, 모든 기반 메타데이터가 이 전체 기간에 걸쳐 있지는 않습니다. 대부분의 모델별 분석과 가격 분석은 2024년 11월 3일~2025년 11월 30일에 초점을 맞췄습니다. 다만 카테고리별 분석(특히 GoogleTagClassifier 분류 체계를 사용하는 분석)은 OpenRouter에서 일관된 태깅이 가능해진 시점을 반영하여 2025년 5월부터 시작하는 더 짧은 기간을 기반으로 합니다. 특히 세부 작업 분류 필드(예: 프로그래밍, 롤플레잉 또는 기술 등의 태그)는 2025년 중반에야 추가되었습니다. 따라서 카테고리 섹션의 모든 결과는 이전 일 년 전체가 아닌 2025년 중반의 사용 현황을 대표하는 것으로 해석해야 합니다.
별도로 명시하지 않는 한, 모든 시계열 집계는 UTC로 정규화된 타임스탬프를 사용하여 주 단위로 계산하며 프롬프트 토큰과 완성 토큰을 합산합니다. 이 방식은 모델 계열 간 비교 가능성을 보장하고 일시적인 급증이나 지역별 시간대 효과로 인한 편향을 최소화합니다.
오픈 소스 모델과 클로즈드 소스 모델 비교
AI 생태계의 핵심 질문 중 하나는 오픈 웨이트 모델(편의상 OSS로 약칭)과 독점 모델 간의 균형입니다. 아래 그림은 지난 일 년간 OpenRouter에서 이 균형이 어떻게 변화했는지 보여 줍니다. 독점 모델, 특히 북미 주요 제공업체의 모델이 여전히 토큰의 대부분을 처리하고 있지만, OSS 모델의 사용량은 꾸준히 증가하여 2025년 말에는 전체 사용량의 약 삼분의 일에 도달했습니다.
이러한 확장은 우연이 아닙니다. 사용량 급증 시점은 DeepSeek V3 와 Kimi K2 같은 주요 오픈 모델 출시 시점(첫 번째 그림의 세로 점선으로 표시)과 일치하며, 이는 DeepSeek V3 및 GPT OSS 모델 같은 경쟁력 있는 OSS 출시 모델이 빠르게 도입되고 그 증가세가 유지됨을 시사합니다. 특히 이러한 증가는 출시 초기 몇 주가 지난 후에도 지속되므로, 단기 실험이 아닌 실제 프로덕션 환경에서의 사용을 의미합니다.
이러한 성장의 상당 부분은 중국에서 개발된 모델에서 비롯되었습니다. 2024년 말 미미한 수준(주간 점유율 최저 1.2%)에서 시작한 중국 OSS 모델은 꾸준히 입지를 넓혀 일부 주에는 전체 모델 사용량의 거의 30%에 도달했습니다. 일 년간 주간 토큰 사용량에서 차지한 비중은 평균 약 13.0%였으며, 강한 성장세는 2025년 하반기에 집중되었습니다. 비교하자면 중국 외 OSS 모델은 평균 13.7%를 차지한 반면, 중국 외 독점 모델은 가장 큰 점유율(평균 70%)을 유지했습니다. 중국 OSS의 확장은 경쟁력 있는 품질뿐만 아니라 빠른 개선과 잦은 출시 주기를 반영합니다. Qwen과 DeepSeek 같은 모델은 정기적인 모델 출시를 이어가며 새롭게 등장하는 워크로드에 빠르게 적응할 수 있었습니다. 이러한 패턴은 오픈 소스 부문을 실질적으로 재편하고 LLM 전반에 걸친 글로벌 경쟁을 진전시켰습니다.
이러한 추세는 LLM 생태계의 지속적인 이중 구조를 보여줍니다. 독점 시스템은 특히 규제 대상 또는 기업용 워크로드에서 신뢰성과 성능의 상한을 계속해서 정의합니다. 반면 OSS 모델은 비용 효율성, 투명성, 맞춤화 기능을 제공하여 특정 워크로드에 매력적인 선택지가 됩니다. 현재 균형점은 대략 30%에서 형성됩니다. 이러한 모델은 상호 배타적이지 않으며, 오히려 개발자와 인프라 제공업체가 점점 더 선호하는 다중 모델 스택 내에서 서로를 보완합니다.
주요 오픈 소스 주체
아래 표는 데이터 세트의 상위 모델 계열을 총 처리 토큰 수에 따라 순위를 매긴 것입니다. OSS 모델의 판도는 지난 한 해 동안 크게 변화했으며, DeepSeek은 여전히 처리량 기준 최대 단일 OSS 기여자이지만 새로운 모델들이 빠르게 입지를 넓히면서 그 지배력은 약해졌습니다. 현재 여러 오픈 소스 계열이 각각 상당한 사용량을 유지하며 생태계의 다변화를 보여주고 있습니다.
| 모델 개발사 | 총 토큰 수(조) |
|---|---|
| DeepSeek | 14.37 |
| Qwen | 5.59 |
| Meta LLaMA | 3.96 |
| Mistral AI | 2.92 |
| OpenAI | 1.65 |
| Minimax | 1.26 |
| Z-AI | 1.18 |
| TNGTech | 1.13 |
| MoonshotAI | 0.92 |
| 0.82 |
이 그림은 주요 개별 오픈 소스 모델의 시장 점유율이 주별로 크게 변화하는 모습을 보여줍니다. 해당 기간 초기(2024년 말)에는 시장이 매우 집중되어 있었으며, DeepSeek 계열의 두 모델(V3 와 R1)이 전체 OSS 토큰 사용량의 절반 이상을 지속적으로 차지하여 차트 하단에 넓고 진한 파란색 띠를 형성했습니다.
이러한 준독점 구조는 여름 변곡점(2025년 중반) 이후 무너졌습니다. 이후 시장은 폭과 깊이가 모두 확대되었으며, 사용 양상도 크게 다양해졌습니다. Qwen의 모델, Minimax의 M2, MoonshotAI의 Kimi K2, OpenAI의 GPT-OSS 시리즈 와 같은 신규 모델은 모두 빠르게 성장하여 상당한 비중의 요청을 처리하게 되었으며, 출시 후 몇 주 만에 프로덕션 규모로 도입되는 경우도 많았습니다. 이는 오픈 소스 커뮤니티와 AI 스타트업이 새로운 기능이나 뛰어난 효율성을 갖춘 모델을 선보여 빠르게 도입을 확산시킬 수 있음을 보여줍니다.
2025년 말까지 경쟁 구도는 사실상 독점 상태에서 다양한 모델이 공존하는 형태로 바뀌었습니다. 단일 모델의 OSS 토큰 점유율은 25%를 넘지 않으며, 이제 토큰 점유율은 다섯 개에서 일곱 개 모델에 더 고르게 분산되어 있습니다. 이는 실질적으로 사용자가 하나의 "최고" 선택지를 기본으로 택하기보다 더 다양한 선택지에서 가치를 찾고 있음을 의미합니다. 이 그림은 절대 사용량이 아닌 OSS 모델 간의 상대적 점유율을 시각화한 것이지만, 오픈 소스 생태계 내에서 시장이 세분화되고 경쟁이 심화되는 방향으로 뚜렷하게 전환되고 있다는 추세는 명확합니다.
전반적으로 오픈 소스 모델 생태계는 현재 매우 역동적입니다. 주요 인사이트는 다음과 같습니다:
- 최상위권의 다양성: 과거에는 한 모델 계열(DeepSeek)이 OSS 사용량을 지배했지만, 이제는 여섯 개가량의 모델이 각각 유의미한 점유율을 유지하는 현상이 점점 더 뚜렷해지고 있습니다. 어떤 단일 오픈 모델도 OSS 토큰의 약 20–25%를 넘는 점유율을 지속적으로 유지하지 못합니다.
- 신규 모델의 빠른 성장: 성능이 뛰어난 새로운 오픈 모델은 몇 주 만에 상당한 사용량을 확보할 수 있습니다. 예를 들어 MoonshotAI의 모델은 빠르게 성장하여 기존 OSS 선두 모델과 경쟁하게 되었으며, MiniMax 같은 신규 모델조차 단 한 분기 만에 트래픽이 전혀 없는 상태에서 상당한 수준으로 성장했습니다. 이는 전환 장벽이 낮고 사용자들이 새로운 모델을 적극적으로 실험하려 한다는 것을 보여줍니다.
- 반복적 개선의 이점: DeepSeek이 오랫동안 최상위권을 유지했다는 점은 지속적인 개선이 중요하다는 것을 보여줍니다. DeepSeek은 연이은 릴리스(Chat-V3, R1 등)를 통해 경쟁 모델이 등장하는 가운데서도 경쟁력을 유지했습니다. 개발이 정체된 OSS 모델은 최첨단 성능을 위한 업데이트나 특정 분야에 특화된 미세 조정을 자주 수행하는 모델에 점유율을 빼앗기는 경향이 있습니다.
2025년 현재 오픈 소스 LLM 분야는 혁신 주기가 빠르고 선두 지위가 보장되지 않는 경쟁 생태계와 유사합니다. 모델 개발자에게 이는 최첨단 성능의 개방형 모델을 출시하면 즉각적인 채택으로 이어질 수 있지만, 사용 점유율을 유지하려면 추가 개발에 지속적으로 투자해야 한다는 의미입니다. 사용자와 애플리케이션 개발자에게는 긍정적인 추세로, 선택할 수 있는 개방형 모델이 더욱 다양해지고 있으며 특정 영역(예: 역할극)에서는 독점 시스템과 비슷하거나 때로는 더 뛰어난 성능을 제공하는 경우가 많습니다.
모델 크기와 시장 적합성: 중형이 새로운 소형입니다
일 년 전 오픈 소스 모델 생태계는 대체로 수많은 작고 빠른 모델과 소수의 강력한 대규모 모델이라는 두 극단 사이의 절충에 관한 이야기였습니다. 그러나 지난 일 년을 돌아보면 시장이 크게 성숙했고 중형 모델이라는 새로운 범주가 등장해 성장하고 있음을 알 수 있습니다. 모델은 다음과 같이 매개변수 수에 따라 분류한다는 점에 유의하십시오:
- 소형: 파라미터가 150억 개 미만인 모델입니다.
- 중형: 파라미터가 150억 개에서 700억 개인 모델입니다.
- 대형: 파라미터가 700억 개 이상인 모델입니다.
개발자와 사용자 행동 데이터는 복합적인 양상을 보여줍니다. 수치는 모델 수는 모든 범주에서 증가했지만, 사용량 변화는 두드러졌음을 보여줍니다. 소형 모델의 선호도는 낮아지는 반면 중형 및 대형 모델이 그 가치를 차지하고 있습니다.
이러한 추세를 이끄는 모델을 자세히 살펴보면 뚜렷한 시장 역학이 드러납니다:
- "소형" 시장: 전반적인 사용량 감소. 새로운 모델이 꾸준히 공급되고 있음에도 소형 모델 범주 전체의 사용량 점유율은 감소하고 있습니다. 이 범주는 높은 파편화가 특징입니다. 어떤 단일 모델도 오랫동안 지배적인 위치를 유지하지 못하며, Meta, Google, Mistral, DeepSeek 등 다양한 제공업체의 새로운 모델이 끊임없이 등장하고 교체됩니다. 예를 들어,
Google Gemma 3.12B(2025년 8월 출시)는 빠르게 도입되었지만, 사용자가 계속해서 더 나은 대안을 찾는 치열한 경쟁 환경에 놓여 있습니다. - "중형" 시장: "모델-시장 적합성" 찾기. 중형 모델 범주는 시장 창출의 과정을 명확히 보여줍니다. 이 부문은
Qwen2.5 Coder 32B이 2024년 11월에 출시되어 사실상 이 범주를 확립하기 전까지는 미미한 수준이었습니다. 이후 이 부문은Mistral Small 3(2025년 1월) 및GPT-OSS 20B(2025년 8월) 같은 강력한 경쟁 모델이 등장하여 사용자의 인식 속에 자리를 잡으면서 경쟁적인 생태계로 성숙했습니다. 이 부문은 사용자가 성능과 효율성의 균형을 추구하고 있음을 보여줍니다. - "대형" 모델 부문: 다원적인 구도. "품질로의 이동"은 통합이 아닌 다각화로 이어졌습니다. 대형 모델 범주에는 이제
Qwen3 235B A22B Instruct(2025년 7월 출시) 및Z.AI GLM 4.5 Air부터OpenAI: GPT-OSS-120B(8월 5일)에 이르기까지 다양한 고성능 경쟁 모델이 있으며, 각 모델은 의미 있는 사용량을 지속적으로 확보하고 있습니다. 이러한 다원성은 사용자가 단일 표준으로 수렴하기보다는 여러 개방형 대형 모델을 적극적으로 벤치마킹하고 있음을 시사합니다.
소형 모델이 오픈 소스 생태계를 지배하던 시대는 지났을지도 모릅니다. 시장은 이제 양분되고 있으며, 사용자들은 새롭고 강력한 중형 모델군으로 이동하거나 가장 성능이 뛰어난 단일 대형 모델로 워크로드를 통합하고 있습니다.
오픈 소스 모델은 어디에 사용됩니까?
오늘날 오픈 소스 모델은 창작, 기술, 정보 분야에 걸쳐 매우 광범위한 작업에 활용되고 있습니다. 독점 모델이 여전히 구조화된 비즈니스 작업에서 우위를 점하고 있지만, OSS 모델은 특히 다음 두 분야에서 선도적인 위치를 확보했습니다: 창의적 역할극 및 프로그래밍 지원. 이 두 범주가 OSS 토큰 사용량의 대부분을 차지합니다.
위 그림은 전체 OSS 모델 사용량의 절반 이상을 차지하는 범주가 " 역할극"이며, 프로그래밍 이 두 번째로 큰 범주임을 보여줍니다. 이는 사용자가 주로 창의적인 대화형 상호작용(스토리텔링, 캐릭터 역할극, 게임 시나리오 등)과 코딩 관련 작업에 오픈 모델을 활용한다는 점을 나타냅니다. 역할극의 우세(전체 OSS 토큰의 50%를 넘는 수준)는 오픈 모델이 강점을 지닌 사용 사례를 부각하는데, 오픈 모델은 창의적인 활동에 활용할 수 있고 콘텐츠 필터의 제약이 적은 경우가 많아 판타지나 엔터테인먼트 애플리케이션에 매력적입니다. 역할극 작업에는 유연한 응답, 맥락 유지, 감정적 뉘앙스가 필요한데, 이는 오픈 모델이 상용 안전 또는 콘텐츠 검토 계층에 크게 제한받지 않고 효과적으로 제공할 수 있는 특성입니다. 따라서 오픈 모델은 캐릭터 중심 경험, 팬픽, 대화형 게임, 시뮬레이션 환경을 실험하는 커뮤니티에 특히 매력적입니다.
위 그림은 중국 OSS 모델만으로 범위를 좁혔을 때 시간에 따른 카테고리별 비중을 보여줍니다. 이러한 모델은 더 이상 주로 창작 작업에 사용되지 않습니다. 역할극은 약 33%로 여전히 가장 큰 카테고리이지만, 이제 프로그래밍과 기술을 합친 사용량이 과반(39%)을 차지합니다. 이러한 변화는 Qwen 및 DeepSeek 같은 모델이 코드 생성과 인프라 관련 워크로드에 점점 더 많이 사용되고 있음을 시사합니다. 사용량이 많은 기업 사용자가 특정 부문에 영향을 미칠 수 있지만, 전반적인 추세는 중국 OSS 모델이 기술 및 생산성 영역에서 직접 경쟁하고 있음을 보여줍니다.
프로그래밍 범주만 자세히 살펴보면, Anthropic의 Claude와 같은 강력한 모델을 바탕으로 독점 모델이 여전히 전체 코딩 지원의 대부분을 담당하고 있음(회색 영역)을 알 수 있습니다. 그러나 OSS 영역 내에서는 주목할 만한 전환이 있었는데, 2025년 중반에는 중국 OSS 모델(파란색)이 오픈 소스 코딩 지원의 대부분을 제공했습니다(초기 성공 사례: Qwen 3 Coder 등에 힘입음). 2025년 4분기에는 Meta의 LLaMA-2 Code와 OpenAI의 GPT-OSS 시리즈 와 같은 서구 OSS 모델(주황색)의 사용이 급증했지만, 최근 몇 주 동안 전체 점유율은 감소했습니다. 이러한 변동은 경쟁이 매우 치열한 환경임을 시사합니다. 실무적으로 얻을 수 있는 시사점은 오픈 소스 코드 어시스턴트 사용이 역동적이며 새로운 모델의 품질에 매우 민감하게 반응한다는 것으로, 개발자들은 현재 최고의 코딩 지원을 제공하는 OSS 모델이라면 무엇이든 사용할 의향이 있습니다. 한계점으로 이 그림은 절대적인 사용량을 보여주지 않으며, 오픈 소스 코딩 사용량은 전반적으로 증가했으므로 파란색 영역이 줄어든다고 해서 중국 OSS의 사용자가 감소한 것은 아니고 상대적 점유율만 감소한 것입니다.
이제 역할극 트래픽만 살펴보면, 중국 외 지역의 OSS 모델(주황색, 최근 몇 주간 43%)과 비공개 모델(회색, 가장 최근 약 42%)이 거의 동일한 비율로 처리하고 있음을 알 수 있습니다. 이는 독점 모델(회색)이 토큰 점유율 약 70%로 이 범주를 지배했던 2025년 초와 비교하면 상당한 변화입니다. 당시(2025년 5월) 서구권 OSS 모델은 트래픽의 약 22%만 차지했고, 중국 OSS 모델(파란색)은 약 8%의 작은 점유율을 차지했습니다. 한 해 동안 독점 모델의 점유율은 꾸준히 감소했습니다. 2025년 10월 말에는 서구권과 중국의 오픈 소스 모델이 모두 상당한 입지를 확보하면서 이러한 추세가 가속화되었습니다.
이러한 수렴은 건전한 경쟁을 나타내며, 사용자는 창의적인 채팅과 스토리텔링을 위해 오픈 모델과 독점 모델 양쪽에서 실용적인 선택지를 확보하고 있습니다. 이는 개발자들이 역할극/채팅 모델에 대한 수요를 인식하고 그에 맞게 출시 모델을 조정했음을 보여줍니다(예: 대화 데이터로 미세 조정, 캐릭터 일관성을 위한 정렬 추가). 주목할 점은 "역할극"이 다양한 하위 장르(가벼운 채팅부터 복잡한 게임 시나리오까지)를 포괄한다는 것입니다. 그러나 거시적인 관점에서 보면, 이 창작 영역에서 OSS 모델이 우위에 있다는 점은 분명합니다.
해석. 전반적으로 OSS 생태계의 주요 사용 사례는 다음과 같습니다: 역할극 및 창작 대화: 가장 큰 비중을 차지하는 범주로, 오픈 모델은 검열이 없거나 가상 페르소나 및 스토리 작업에 맞게 더 쉽게 맞춤화할 수 있기 때문으로 보입니다. 프로그래밍 지원: 두 번째로 큰 범주이며, 오픈 모델의 코드 처리 역량이 향상되면서 성장하고 있습니다. 많은 개발자가 API 비용을 피하기 위해 로컬에서 OSS 모델을 코딩에 활용합니다. 번역 및 다국어 지원: 꾸준한 사용 사례로, 특히 강력한 이중 언어 모델을 사용할 수 있다는 점이 뒷받침됩니다(이 분야에서는 중국 OSS 모델이 우위를 점합니다). 일반 지식 질의응답 및 교육: 사용량은 중간 수준이며, 오픈 모델도 질문에 답할 수 있지만 사용자는 최고의 사실 정확도를 위해 GPT-5 같은 폐쇄형 모델을 선호할 수 있습니다.
OSS 사용 패턴(역할극 위주)은 많은 사람이 "애호가" 또는 "인디 개발자"의 영역으로 여길 만한 분야, 즉 절대적인 정확성보다 맞춤화와 비용 효율성이 우선시되는 분야를 반영한다는 점에 주목할 만합니다. 하지만 경계는 흐려지고 있으며, OSS 모델은 기술 분야에서 빠르게 개선되고 있고 독점 모델도 창의적으로 사용되고 있습니다.
에이전트 기반 추론의 부상
이전 섹션에서 살펴본 진화하는 모델 환경(오픈 소스와 클로즈드 소스)을 바탕으로, 이제 LLM 사용 자체의 근본적인 형태 자체로 관심을 돌립니다. 프로덕션에서 언어 모델을 사용하는 방식은 단일 턴 텍스트 완성에서 다단계, 도구 통합, 추론 집약적 워크플로로 근본적인 전환을 겪고 있습니다. 이러한 변화를 에이전트형 추론의 부상이라고 부르며, 여기서 모델은 단순히 텍스트를 생성하는 데 그치지 않고 계획 수립, 도구 호출 또는 확장된 컨텍스트 전반의 상호작용을 통해 행동하도록 배포됩니다. 이 섹션에서는 추론 모델의 부상, 도구 호출 동작의 확대, 시퀀스 길이 프로필의 변화, 프로그래밍 사용이 복잡성을 높이는 방식이라는 다섯 가지 대리 지표를 통해 이러한 전환을 추적합니다.
이제 전체 사용량의 절반을 차지하는 추론 모델
위 그림에서 볼 수 있듯이, 추론에 최적화된 모델로 라우팅되는 전체 토큰의 비중은 2025년에 급격히 증가했습니다. 1분기 초에는 사실상 미미했던 사용량 비중이 이제는 오십 퍼센트를 넘어섭니다. 이러한 변화는 시장의 양측을 모두 반영합니다. 공급 측면에서는 더 높은 성능을 갖춘 시스템인 GPT-5, Claude 4.5와 Gemini 3 의 출시로 사용자가 단계별 추론에 기대할 수 있는 범위가 확대되었습니다. 수요 측면에서는 사용자가 단순히 텍스트를 생성하는 모델보다 작업 상태를 관리하고, 다단계 논리를 따르며, 에이전트형 워크플로를 지원할 수 있는 모델을 점점 더 선호하고 있습니다.
위 그림은 이러한 변화를 주도하는 주요 모델을 보여줍니다. 최신 데이터에서 xAI의 Grok Code Fast 1 은 이제 Google의 Gemini 2.5 Pro 와 Gemini 2.5 Flash를 앞서 추론 트래픽에서 가장 큰 비중을 차지합니다(출시 기념 무료 이용 제외). 이는 불과 몇 주 전 Gemini 2.5 Pro 가 이 부문을 선도하고 DeepSeek R1 과 Qwen3 역시 최상위권에 속했던 상황과 비교하면 주목할 만한 변화입니다. Grok Code Fast 1 과 Grok 4 Fast 는 xAI의 적극적인 출시 확대, 경쟁력 있는 가격, 코드 중심 변형 모델에 대한 개발자들의 관심에 힘입어 빠르게 점유율을 높였습니다. 동시에 OpenAI의 gpt-oss-120b 와 같은 오픈 모델이 계속 존재감을 유지한다는 점은 개발자들이 여전히 가능하면 OSS를 선택한다는 사실을 보여줍니다. 전반적으로 이러한 구성은 모델의 빠른 교체가 실제 워크로드를 지배하는 시스템을 결정하면서 추론 환경이 얼마나 역동적으로 변했는지를 보여줍니다.
데이터는 명확한 결론을 보여주며, 추론 중심 모델이 실제 워크로드의 기본 경로로 자리 잡고 있고, 이러한 모델을 통해 처리되는 토큰의 비중은 이제 사용자가 AI 시스템과 어떻게 상호작용하고 싶어 하는지를 보여주는 선행 지표입니다.
도구 호출 도입 증가
위 그림에서는 전체 토큰 중 종료 사유가 도구 호출인 요청에서 발생한 토큰의 비율을 보여줍니다. 이 지표는 정규화되었으며 도구가 실제로 호출된 상호작용만 반영합니다.
이는 입력 도구 신호와 대조되는데, 이 신호는 요청 중 모델에 도구가 제공되었는지를 호출 여부와 관계없이 기록합니다. 도구 제공은 성공적인 실행을 포함하는 상위 집합이므로, 입력 도구 수는 정의상 도구 호출 종료 사유 수보다 많습니다. 종료 사유 지표는 실제로 이루어진 도구 사용을 측정하는 반면, 입력 도구는 실제 호출이 아닌 잠재적 가용성을 반영합니다. 이 지표는 2025년 9월에야 도입되었으므로 본 논문에서는 보고하지 않습니다.
위 그림에서 5월에 나타난 뚜렷한 급증은 주로 대규모 계정 하나의 활동이 일시적으로 전체 사용량을 끌어올린 데서 비롯되었습니다. 이러한 이례적인 현상을 제외하면 도구 도입은 연중 일관된 상승 추세를 보였습니다.
위 그림에서 볼 수 있듯이, 초기에는 도구 호출이 OpenAI의 gpt-4o-mini 와 Anthropic의 Claude 3.5 및 3.7 시리즈 등 소수의 모델에 집중되었으며, 이 모델들이 2025년 초 도구 사용 토큰의 대부분을 차지했습니다. 그러나 연중 중반에는 더 다양한 모델이 도구 제공을 지원하기 시작하면서 더욱 경쟁적이고 다각화된 생태계를 반영했습니다. 9월 말부터는 신형 Claude 4.5 Sonnet 모델의 점유율이 빠르게 증가했습니다. 한편, Grok Code Fast 와 GLM 4.5 같은 신규 모델들도 눈에 띄게 입지를 넓히며 도구 사용이 가능한 배포 환경에서 실험과 다각화가 더욱 확대되고 있음을 보여주었습니다.
운영자에게 주는 시사점은 명확하며, 가치가 높은 워크플로에서 도구 사용을 활성화하는 추세가 증가하고 있습니다. 신뢰할 수 있는 도구 형식을 지원하지 않는 모델은 기업 도입과 오케스트레이션 환경에서 뒤처질 위험이 있습니다.
프롬프트-완성 형태의 구조
지난 한 해 동안 모델 워크로드의 형태가 크게 변화했습니다. 프롬프트(입력)와 완성(출력) 토큰 양은 모두 급격히 증가했지만, 그 규모와 속도에는 차이가 있습니다. 요청당 평균 프롬프트 토큰 수는 약 1.5K에서 6K 이상으로 대략 네 배 증가한 반면, 완성 토큰 수는 약 150개에서 400개로 거의 세 배 증가했습니다. 이러한 상대적 증가 폭은 더 복잡하고 맥락이 풍부한 워크로드로의 뚜렷한 전환을 보여줍니다.
이러한 패턴은 모델 사용의 새로운 균형을 반영합니다. 오늘날의 일반적인 요청은 개방형 생성("에세이를 작성해 주세요")보다는 코드베이스, 문서, 대화록 또는 긴 대화처럼 사용자가 제공한 방대한 자료를 추론하고 간결하면서 가치 있는 인사이트를 생성하는 데 더 중점을 둡니다. 모델은 창의적인 생성기보다는 분석 엔진으로서의 역할을 점점 더 많이 수행하고 있습니다.
범주별 데이터(2025년 봄부터만 제공)는 더 세밀한 양상을 보여주며, 프로그래밍 워크로드가 프롬프트 토큰 증가의 주된 동인입니다. 코드 이해, 디버깅, 코드 생성과 관련된 요청은 입력 토큰이 통상 20K를 초과하는 반면, 다른 모든 범주는 상대적으로 변화가 없고 양도 적습니다. 이러한 비대칭적 기여는 최근의 프롬프트 크기 확대가 작업 전반에 걸친 균일한 추세가 아니라 소프트웨어 개발 및 기술적 추론 사용 사례에 집중된 급증임을 시사합니다.
더 긴 시퀀스, 더 복잡한 상호작용
시퀀스 길이는 작업 복잡성과 상호작용 깊이를 나타내는 대리 지표입니다. 위 그림은 평균 시퀀스 길이가 지난 20개월 동안 2023년 말 2,000토큰 미만에서 2025년 말 5,400토큰 이상으로 세 배 넘게 증가했음을 보여줍니다. 이러한 증가는 더 긴 컨텍스트 윈도우, 더 깊이 있는 작업 이력, 더 정교한 완성으로의 구조적 전환을 반영합니다.
이전 섹션에 이어 두 번째 그림은 이를 더욱 명확하게 보여주며, 프로그래밍 관련 프롬프트의 평균 토큰 길이는 이제 범용 프롬프트의 3–4배에 달합니다. 이러한 격차는 소프트웨어 개발 워크플로가 더 긴 상호작용을 이끄는 주된 요인임을 나타냅니다. 긴 시퀀스는 단순히 사용자가 장황하게 말하기 때문이 아니라, 내장된 더 정교한 에이전트 워크플로의 특징입니다.
시사점: 새로운 기본 방식이 된 에이전트 추론
이러한 추세(추론 비중 증가, 도구 사용 확대, 시퀀스 길이 증가, 프로그래밍의 두드러진 복잡성)를 종합하면 LLM 사용의 무게중심이 이동했음을 알 수 있습니다. 이제 전형적인 LLM 요청은 더 이상 단순한 질문이나 독립적인 지시가 아닙니다. 대신 외부 도구를 호출하고, 상태를 바탕으로 추론하며, 더 긴 컨텍스트에 걸쳐 지속되는 구조화된 에이전트형 루프의 일부입니다.
모델 제공업체의 경우, 이는 기본 기능에 대한 기준을 높입니다. 지연 시간, 도구 처리, 컨텍스트 지원, 잘못된 형식이나 적대적인 도구 체인에 대한 견고성이 점점 더 중요해지고 있습니다. 인프라 운영자의 경우, 추론 플랫폼은 이제 상태 비저장 요청뿐 아니라 장시간 이어지는 대화, 실행 추적, 권한에 민감한 도구 통합까지 관리해야 합니다. 이미 그렇지 않더라도, 머지않아 에이전트 기반 추론이 전체 추론의 대부분을 차지하게 될 것입니다.
카테고리: 사람들은 LLM을 어떻게 사용하고 있습니까?
사용자가 LLM으로 수행하는 작업의 분포를 이해하는 것은 실제 수요와 모델-시장 적합성을 평가하는 데 핵심입니다. 데이터 및 방법론 섹션에서 설명한 대로, 수십억 건의 모델 상호작용을 상위 수준의 애플리케이션 범주로 분류했습니다. 오픈 소스와 폐쇄형 소스 모델 비교 섹션에서는 커뮤니티 주도의 사용 양상을 살펴보기 위해 오픈 소스 모델에 초점을 맞췄습니다. 여기서는 사람들이 실제로 LLM을 어떤 용도로 사용하는지 종합적으로 파악하기 위해 OpenRouter의 LLM 사용(폐쇄형 및 개방형 모델 모두) 전체 로 분석 범위를 넓힙니다.
주요 카테고리
프로그래밍은 모든 모델에서 가장 꾸준히 확장되는 범주가 되었습니다. 프로그래밍 관련 요청의 비중은 LLM 지원 개발 환경과 도구 통합의 확산과 함께 2025년 내내 꾸준히 증가했습니다. 위 그림에서 볼 수 있듯이 프로그래밍 쿼리는 2025년 초 전체 토큰 사용량의 약 11%를 차지했으며 최근 몇 주에는 50%를 넘어섰습니다. 이러한 추세는 탐색적 또는 대화형 사용에서 코드 생성, 디버깅, 데이터 스크립팅과 같은 실무 작업으로의 전환을 보여줍니다. LLM이 개발자 워크플로에 통합되면서 프로그래밍 도구로서의 역할이 보편화되고 있습니다. 이러한 변화는 코드 중심 학습 데이터의 중요성 증대, 다단계 프로그래밍 작업을 위한 추론 깊이 향상, 모델과 통합 개발 환경 간 피드백 루프 강화 등 모델 개발에 시사점을 제공합니다.
프로그래밍 지원에 대한 수요 증가는 모델 제공업체 간 경쟁 구도를 재편하고 있습니다. 아래 그림에서 볼 수 있듯이 Anthropic의 Claude 시리즈는 관측 기간 대부분에 프로그래밍 관련 지출의 60% 이상을 차지하며 이 범주에서 꾸준히 우위를 유지했습니다. 그럼에도 경쟁 구도에는 유의미한 변화가 있었습니다. 11월 17일이 포함된 주에 Anthropic의 점유율은 처음으로 60% 아래로 떨어졌습니다. 7월 이후 OpenAI는 약 2%였던 점유율을 최근 몇 주 동안 약 8%까지 확대했으며, 이는 개발자 중심 워크로드에 다시 집중한 결과로 보입니다. 같은 기간 Google의 점유율은 약 15%로 안정적으로 유지되었습니다. 중위권에서도 변화가 일어나고 있습니다. Z.AI, Qwen, Mistral AI를 비롯한 오픈 소스 제공업체들이 꾸준히 관심을 끌고 있습니다. 특히 MiniMax는 최근 몇 주 동안 눈에 띄는 성장세를 보이며 빠르게 부상하는 신규 주자로 자리매김했습니다.
전반적으로, 프로그래밍은 경쟁이 가장 치열하고 전략적으로 가장 중요한 모델 범주 중 하나가 되었습니다. 주요 연구소의 지속적인 관심을 끌고 있으며, 모델 품질이나 지연 시간의 작은 변화도 주간 점유율을 바꿀 수 있습니다. 인프라 제공업체와 개발자에게 이는 특히 최첨단 기술이 끊임없이 발전하는 상황에서 지속적인 벤치마킹과 평가가 필요함을 보여줍니다.
카테고리 내 태그 구성
위 그림은 가장 일반적인 열두 가지 콘텐츠 범주에 걸친 LLM 사용을 분석하여 각 범주의 내부 하위 주제 구조를 보여줍니다. 핵심 시사점은 대부분의 범주가 고르게 분포되어 있지 않으며, 한두 가지 반복적인 사용 패턴이 지배적이고 이는 특정 목적에 집중된 사용자 의도나 LLM의 강점과의 부합을 반영하는 경우가 많다는 점입니다.
사용량이 가장 많은 카테고리 중에서 롤플레잉 은 일관성과 전문성이 두드러집니다. 롤플레잉 토큰의 약 60%가 ' 게임/롤플레잉 게임'에 속하며, 이는 사용자가 LLM을 가벼운 챗봇보다는 체계적인 롤플레잉 또는 캐릭터 엔진으로 활용한다는 것을 시사합니다. 이러한 경향은 작가용 자료 (15.6%) 및 성인 콘텐츠(15.4%)의 존재로 더욱 뒷받침되며, 이는 인터랙티브 픽션, 시나리오 생성, 개인적 판타지가 혼합되어 있음을 보여줍니다. 롤플레잉이 주로 비격식적인 대화라는 가정과 달리, 데이터는 명확하게 정의되고 재현 가능한 장르 기반 사용 사례를 보여줍니다.
프로그래밍 역시 편중되어 있으며, 트래픽의 3분의 2 이상이 프로그래밍/기타로 분류됩니다. 이는 코드 관련 프롬프트의 광범위하고 범용적인 성격을 보여주며, 사용자는 특정 도구나 언어에만 집중하기보다 논리 디버깅부터 스크립트 초안 작성까지 모든 것을 LLM에 요청하고 있습니다. 다만, 개발 도구 (26.4%)와 스크립트 언어의 작은 비중은 전문화가 나타나고 있음을 보여줍니다. 이러한 세분화는 모델 개발자가 구조화된 프로그래밍 워크플로와 관련된 태깅이나 학습을 개선할 기회가 있음을 보여줍니다.
주요 범주인 롤플레잉과 프로그래밍 외에 나머지 분야는 다양하지만 사용량이 적은 LLM 활용의 롱테일을 형성합니다. 개별 규모는 작지만, 전문 분야와 새로운 작업에서 사용자가 모델과 상호작용하는 방식에 관한 중요한 패턴을 보여줍니다. 예를 들어, 번역, 과학, 건강 분야는 내부 구조가 비교적 고르게 분포합니다. 번역 분야의 사용량은 두 항목에 거의 균등하게 나뉘며( 외국어 리소스 (51.1%) 및 기타), 이는 지속적인 문서 단위 번역보다는 다국어 조회, 표현 바꾸기, 가벼운 언어 전환 등 요구가 분산되어 있음을 시사합니다. 과학 분야는 단일 태그가 지배적이며( 머신 러닝 및 AI (80.4%)), 이는 대부분의 과학 관련 질의가 물리학이나 생물학 같은 일반적인 STEM 주제보다는 AI 자체에 관한 질문임을 보여줍니다. 이는 사용자의 관심이나 모델의 강점이 자기 참조적 탐구에 치우쳐 있음을 반영합니다.
반면 건강은 상위 카테고리 중 가장 세분화되어 있으며, 25%를 초과하는 하위 태그가 없습니다. 토큰은 의학 연구, 상담 서비스, 치료 지침, 진단 정보 조회에 걸쳐 분산되어 있습니다. 이러한 다양성은 이 분야의 복잡성뿐 아니라 안전한 모델링의 어려움도 보여주는데, LLM은 단일 사용 사례에 뚜렷하게 집중되지 않은 채 민감한 맥락에서 크게 달라지는 사용자 의도를 폭넓게 다뤄야 합니다.
이러한 롱테일 범주를 연결하는 것은 그 범위의 넓이로, 사용자는 탐색적이거나 구조가 느슨하거나 도움을 구하는 상호작용을 위해 LLM을 이용하지만 프로그래밍이나 개인 비서에서 볼 수 있는 집중된 워크플로는 없습니다. 이러한 부차적 범주는 전체적으로 볼 때 사용량의 대부분을 차지하지는 않을 수 있지만 잠재 수요를 시사합니다. 이는 LLM이 번역부터 의료 안내, AI 자기 성찰에 이르기까지 여러 분야의 주변부에서 사용되고 있으며, 모델의 도메인 견고성과 도구 통합이 개선됨에 따라 이러한 산발적인 의도가 더 명확하고 사용량이 많은 애플리케이션으로 수렴할 수 있음을 보여 줍니다.
반면, 금융, 학계, 그리고 법률 분야는 훨씬 더 분산되어 있습니다. 금융 분야의 사용량은 외환, 사회적 책임 투자, 감사/회계에 걸쳐 분산되어 있으며, 어떤 단일 태그도 20%를 넘지 않습니다. 법률 분야도 유사한 엔트로피를 보이며, 사용량은 정부/기타 (43.0%) 및 법률/기타 (17.8%)로 나뉩니다. 이러한 분산은 해당 분야의 복잡성을 반영하거나, 단순히 코딩 및 채팅처럼 더 성숙한 범주에 비해 해당 분야에 특화된 LLM 워크플로가 부족하기 때문일 수 있습니다.
데이터에 따르면 실제 LLM 사용은 일률적으로 탐색적인 것이 아니라, 반복 가능하고 사용량이 많은 소수의 작업에 밀집되어 있습니다. 역할극, 프로그래밍, 개인 지원은 각각 명확한 구조와 지배적인 태그를 보입니다. 반면 과학, 건강, 법률 분야는 더 분산되어 있으며 최적화가 부족할 가능성이 높습니다. 이러한 내부 분포는 특히 LLM을 사용자 목표에 맞추는 데 있어 모델 설계, 도메인별 미세 조정, 애플리케이션 수준 인터페이스의 방향을 제시할 수 있습니다.
카테고리별 작성자 수준 인사이트
모델 개발사마다 활용되는 사용 패턴이 다릅니다. 아래 그림은 주요 모델 계열(Anthropic의 Claude, Google의 모델, OpenAI의 GPT 시리즈, DeepSeek, Qwen)의 콘텐츠 카테고리 분포를 보여줍니다. 각 막대는 해당 제공업체 토큰 사용량의 100%를 나타내며, 상위 태그별로 구분됩니다.
Anthropic의 Claude는 프로그래밍 + 기술 용도에 크게 편중되어 있으며, 이 두 용도가 전체 사용량의 80%를 넘습니다. 역할극과 일반 Q&A는 극히 일부에 불과합니다. 이는 Claude가 복잡한 추론, 코딩, 구조화된 작업에 최적화된 모델로 자리 잡고 있음을 확인해 주며, 개발자와 기업은 Claude를 주로 코딩 도우미와 문제 해결 도구로 사용하는 것으로 보입니다.
Google 모델의 사용 분야는 더 다양합니다. 두드러지는 분야는 번역, 과학, 기술이며, 일부는 일반 지식입니다. 예를 들어 Google 사용량의 약 5%는 법률 또는 정책 콘텐츠였으며, 또 다른 약 10%는 과학 관련이었습니다. 이는 Gemini의 광범위한 학습 초점을 시사할 수 있습니다. 다른 모델과 비교하면 Google은 코딩 비중이 상대적으로 낮고 실제로 2025년 말에는 약 18%까지 감소했으며, 비중이 작은 분야의 범위는 더 넓습니다. 이는 Google 모델이 범용 정보 엔진으로 더 많이 사용되고 있음을 시사합니다.
xAI의 사용 양상은 다른 제공업체와 뚜렷한 차이를 보입니다. 대부분의 기간 동안 사용량은 프로그래밍에 압도적으로 집중되어 있으며, 전체 토큰의 팔십 퍼센트를 넘는 경우가 많습니다. 11월 말에 이르러서야 분포가 넓어지며, 눈에 띄게 증가한 분야는 기술, 롤플레이, 그리고 학술입니다. 이러한 급격한 변화는 일부 소비자용 애플리케이션을 통해 xAI의 모델이 무료로 제공된 시점과 일치하며, 이로 인해 비개발자 트래픽이 대거 유입되었을 가능성이 높습니다. 그 결과 초기의 개발자 중심 핵심 사용자층과 갑작스러운 범용 사용의 물결이 혼합된 사용 구성이 나타났으며, 이는 xAI의 도입 경로가 기술 사용자와 프로모션 제공에 따른 간헐적인 사용 급증 모두에 의해 형성되고 있음을 시사합니다.
OpenAI의 사용 양상은 2025년 동안 크게 변화했습니다. 연초에는 과학 작업이 전체 OpenAI 토큰의 절반 이상을 차지했으나, 2025년 말에는 그 비중이 15% 미만으로 감소했습니다. 한편 프로그래밍 및 기술 관련 사용량은 현재 전체 사용량의 절반 이상(각각 29%)을 차지하며, 이는 개발자 워크플로, 생산성 도구 및 전문 애플리케이션에 더 깊이 통합되고 있음을 보여줍니다. OpenAI의 사용 구성은 이제 특정 분야에 집중된 Anthropic의 양상과 더 분산된 Google의 분포 사이에 위치하며, 폭넓은 활용 기반을 갖추면서 고부가가치의 구조화된 작업으로 점차 기울고 있음을 시사합니다.
DeepSeek과 Qwen은 앞서 논의한 다른 모델 계열과 상당히 다른 사용 패턴을 보입니다. DeepSeek의 토큰 분포는 역할극, 일상 대화, 엔터테인먼트 중심의 상호작용이 지배적이며, 전체 사용량의 삼분의 이를 넘는 경우가 많습니다. 프로그래밍이나 과학과 같은 구조화된 작업은 활동의 작은 비중만 차지합니다. 이러한 패턴은 DeepSeek의 강한 소비자 지향성과 높은 참여도를 유도하는 대화형 모델로서의 포지셔닝을 반영합니다. 특히 DeepSeek은 늦여름으로 갈수록 프로그래밍 관련 사용량이 완만하지만 꾸준히 증가하며, 이는 경량 개발 워크플로에서의 점진적인 도입을 시사합니다.
반면 Qwen은 거의 정반대의 양상을 보입니다. 표시된 전체 기간에 걸쳐 프로그래밍은 일관되게 전체 토큰의 40-60퍼센트를 차지하며, 기술 및 개발자 작업에 대한 뚜렷한 집중을 보여줍니다. 엔지니어링 중심의 구성이 비교적 안정적인 Anthropic과 비교하면, Qwen은 과학, 기술, 역할극 등 인접 범주에서 더 높은 변동성을 보입니다. 이러한 주간 변화는 이질적인 사용자 기반과 실제 활용 사례의 빠른 반복 개선을 시사합니다. 9월과 10월에 역할극 사용량이 눈에 띄게 증가한 뒤 11월에 감소한 것은 사용자 행동의 변화나 다운스트림 애플리케이션 라우팅의 조정을 암시합니다.
요약하면, 각 제공업체는 전략적 초점에 부합하는 뚜렷한 특성을 보입니다. 이러한 차이는 단일 모델이나 제공업체가 모든 사용 사례를 최적으로 처리할 수 없는 이유를 보여주며, 다중 모델 생태계의 잠재적 이점도 부각합니다.
지역: 지역별 LLM 사용 차이
전 세계 LLM 사용은 지역별로 뚜렷한 차이를 보입니다. 지리적 분포를 살펴보면 각 지역의 사용량과 지출이 LLM 사용 패턴에 어떤 영향을 미치는지 추론할 수 있습니다. 아래 수치는 OpenRouter 사용자 기반을 반영하지만, 지역별 활용 현황의 한 단면을 보여줍니다.
지역별 사용량 분포
아래 그림에 나타난 지출 분포는 AI 추론 시장이 점점 더 글로벌화되고 있음을 보여줍니다. 북아메리카는 여전히 단일 지역으로는 가장 큰 비중을 차지하지만, 관측 기간 대부분에서 전체 지출의 절반 미만을 차지합니다. 유럽은 안정적이고 지속적인 기여를 보입니다. 유럽의 주간 지출 비중은 전체 기간에 걸쳐 일관되게 유지되며, 대체로 십 퍼센트대 중반에서 이십 퍼센트대 초반 사이에 머뭅니다. 주목할 만한 변화는 아시아가 최첨단 모델의 생산지일 뿐 아니라 빠르게 성장하는 소비 시장으로도 부상하고 있다는 점입니다. 데이터셋의 초기 몇 주 동안 아시아는 전 세계 지출의 약 십삼 퍼센트를 차지했습니다. 시간이 지나면서 이 비중은 두 배 이상으로 증가하여 가장 최근 기간에는 약 31%에 도달했습니다.
| 대륙 | 점유율 (%) |
|---|---|
| 북아메리카 | 47.22 |
| 아시아 | 28.61 |
| 유럽 | 21.32 |
| 오세아니아 | 1.18 |
| 남아메리카 | 1.21 |
| 아프리카 | 0.46 |
| 국가 | 비중 (%) |
|---|---|
| 미국 | 47.17 |
| 싱가포르 | 9.21 |
| 독일 | 7.51 |
| 중국 | 6.01 |
| 대한민국 | 2.88 |
| 네덜란드 | 2.65 |
| 영국 | 2.52 |
| 캐나다 | 1.90 |
| 일본 | 1.77 |
| 인도 | 1.62 |
| 기타 (60개 이상 국가) | 16.76 |
언어 분포
| 언어 | 토큰 비중(%) |
|---|---|
| 영어 | 82.87 |
| 중국어(간체) | 4.95 |
| 러시아어 | 2.47 |
| 스페인어 | 1.43 |
| 태국어 | 1.03 |
| 기타(합계) | 7.25 |
위 표에서 볼 수 있듯이 영어가 전체 토큰의 80% 이상을 차지하며 사용량에서 압도적인 비중을 보입니다. 이는 영어 모델의 보편성과 OpenRouter 사용자층의 개발자 중심 성향을 모두 반영합니다. 그러나 다른 언어, 특히 중국어, 러시아어, 스페인어도 유의미한 비중을 차지합니다. 중국어 간체만으로도 전 세계 토큰의 약 5%를 차지하며, 특히 DeepSeek 및 Qwen과 같은 중국 OSS 모델의 성장을 고려할 때 이는 이중 언어 또는 중국어 우선 환경에서 사용자들이 지속적으로 이용하고 있음을 시사합니다.
LLM 도입이 전 세계적으로 확산되는 동시에 지역별로 최적화되는 상황에서, 모델 개발자와 인프라 운영자에게 언어, 규제 체계, 배포 환경을 아우르는 지역 간 사용성은 기본 요건이 되고 있습니다.
LLM 사용자 유지율 분석
신데렐라의 "유리 구두" 현상
코호트 유지율. 유지율은 활동 유지율로 측정되며, 비활성 기간이 있더라도 이후 월에 다시 방문한 사용자를 집계하므로 곡선에 작은 비단조적 상승 구간이 나타날 수 있습니다.
이 유지율 차트 모음은 주요 모델 전반에 걸친 LLM 사용자 시장의 역학을 보여줍니다. 언뜻 보면 높은 이탈률과 급격한 코호트 감소가 데이터를 지배합니다. 그러나 이러한 변동성 이면에는 더 미묘하면서도 중요한 신호가 있으며, 소수의 초기 사용자 코호트가 시간이 지나도 지속적인 유지율을 보입니다. 이러한 코호트를 기반 코호트라고 부릅니다.
이 코호트는 단순한 얼리 어답터가 아니라, 워크로드에서 깊고 지속적인 워크로드–모델 적합성을 달성한 사용자를 나타냅니다. 일단 확립된 이러한 적합성은 새로운 모델이 등장하더라도 대체에 저항하는 경제적 관성과 인지적 관성을 모두 만들어 냅니다.
이 현상을 설명하는 프레임워크로 신데렐라 유리 구두 효과 를 소개합니다. 이 가설은 빠르게 진화하는 AI 생태계에 여러 세대의 모델을 거쳐도 해결되지 않은 고가치 워크로드의 잠재적 분포가 존재한다고 봅니다. 새로운 프런티어 모델은 사실상 이러한 미해결 문제에 하나씩 "신겨 보는" 과정을 거칩니다. 새로 출시된 모델이 이전에는 충족되지 않았던 기술적, 경제적 제약 조건에 우연히 부합하면, 비유적으로 "유리 구두"에 딱 맞는 결과를 얻게 됩니다.
워크로드에 마침내 "적합한" 모델을 찾은 개발자나 조직에는 이러한 적합성이 강력한 종속 효과를 만듭니다. 이들의 시스템, 데이터 파이프라인, 사용자 경험은 문제를 처음 해결해 준 모델에 고정됩니다. 비용이 줄고 안정성이 높아질수록 플랫폼을 이전할 유인은 급격히 줄어듭니다. 반대로 이러한 적합성을 찾지 못한 워크로드는 자체적인 해결책을 찾아 모델을 옮겨 다니며 탐색 단계에 머뭅니다.
경험적으로 이 패턴은 Gemini 2.5 Pro 의 2025년 6월 코호트와 Claude 4 Sonnet의 2025년 5월 코호트에서 관찰되며, 이들은 5개월 차에 약 40%의 사용자를 유지하여 이후 코호트보다 상당히 높은 유지율을 보입니다. 이 코호트는 이전에는 불가능했던 워크로드를 마침내 가능하게 한 특정 기술적 돌파구(예: 추론 충실도 또는 도구 사용 안정성)에 대응하는 것으로 보입니다.
- 최초 해결이 만드는 지속적인 우위. 모델이 중요한 워크로드를 최초로 해결 할 때 전통적인 선점 우위는 더욱 중요해집니다. 초기 도입자는 파이프라인, 인프라, 사용자 행동 전반에 모델을 통합하므로 전환 마찰이 커집니다. 이로 인해 새로운 대안이 등장하더라도 모델이 핵심 사용자 코호트를 유지하는 안정적인 균형이 형성됩니다.
- 역량 변곡점의 지표로서의 유지율. 코호트별 유지율 패턴은 모델 차별화를 보여 주는 실증적 신호입니다. 하나 이상의 초기 코호트에서 지속적인 유지율이 나타나면 특정 유형의 워크로드가 불가능에서 가능으로 전환되는 유의미한 역량 변곡점이 있음을 나타냅니다. 이러한 패턴이 없으면 역량이 비슷하고 차별화의 깊이가 제한적임을 시사합니다.
- 프런티어 기회의 시간적 제약. 경쟁 환경에서 모델이 핵심 사용자를 확보할 수 있는 시간은 짧습니다. 후속 모델이 역량 격차를 좁힐수록 새로운 핵심 코호트가 형성될 확률은 급격히 낮아집니다. 따라서 모델과 워크로드가 정확히 맞아떨어지는 "신데렐라"의 순간은 일시적이지만 장기적인 도입 양상을 좌우합니다.
종합하면, 파운데이션 모델의 급격한 역량 변화는 사용자 유지율의 재정의를 요구합니다. 새로운 세대의 모델이 등장할 때마다 이전에는 해결하지 못했던 워크로드를 해결할 짧은 기회가 생깁니다. 이러한 부합이 이루어지면 해당 사용자들은 기반 코호트를 형성하며, 이는 이후 새로운 모델이 등장해도 유지율 추이가 안정적으로 유지되는 집단입니다.
출시 시점의 지배적 우위라는 이례적 현상. 해당 OpenAI GPT-4o Mini 차트는 이 현상을 극단적으로 보여줍니다. 단일 초기 코호트(2024년 7월, 주황색 선)가 출시 시점에 지배적이고 지속성 높은 워크로드-모델 적합성을 확립했습니다. 모든 후속 코호트는 이 적합성이 확립된 이후 시장이 이미 다음 단계로 넘어간 시점에 유입되었으며, 동일한 행동을 보입니다: 이탈하며 하단에 모입니다. 이는 이러한 근본적인 적합성을 확립할 기회가 단 한 번뿐이며, 모델이 "프런티어"로 인식되는 순간에만 찾아온다는 점을 시사합니다.
적합성을 확보하지 못한 결과. 다음 모델인 Gemini 2.0 Flash 와 Llama 4 Maverick 의 차트는 초기 적합성을 끝내 확보하지 못하면 어떤 일이 일어나는지 보여주는 경고 사례입니다. 다른 모델과 달리 성과가 높은 기반 코호트가 없습니다. 모든 코호트가 하나같이 저조한 성과를 보입니다. 이는 해당 모델들이 가치가 높고 지속적으로 사용되는 워크로드에서 "프런티어"로 인식된 적이 없음을 시사합니다. 이 모델은 곧바로 충분히 쓸 만한 수준의 시장에 진입했고, 따라서 어떤 사용자층도 확보하지 못했습니다. 마찬가지로 전반적으로 압도적인 성공을 거둔 DeepSeek의 혼란스러운 차트에서도 안정적인 기반 코호트를 형성하는 데 어려움을 겪는 모습이 나타납니다.
부메랑 효과. DeepSeek 모델은 더 복잡한 패턴을 보입니다. 이 모델들의 유지율 곡선에는 매우 이례적인 이상 현상인 재유입 급증이 나타납니다. 일반적으로 단조 감소하는 유지율과 달리, 여러 DeepSeek 코호트에서는 초기 이탈 기간 이후 유지율이 뚜렷하게 상승합니다(예: DeepSeek R1의 2025년 4월 코호트는 3개월 차 부근, DeepSeek Chat V3-0324의 2025년 7월 코호트는 2개월 차 부근). 이는 이탈한 사용자 중 일부가 해당 모델로 돌아오고 있음을 나타냅니다. 이러한 "부메랑 효과"는 이 사용자들이 대안을 시도한 후 경쟁 모델과의 비교 테스트를 통해 DeepSeek가 전문적인 기술 성능, 비용 효율성 또는 기타 고유 기능의 우수한 조합 덕분에 자신의 특정 워크로드에 최적이며 종종 더 적합하다는 점을 확인하고 DeepSeek로 돌아온다는 것을 시사합니다.
시사점. 이 유리 구두 현상은 리텐션을 결과가 아닌 역량의 획기적 발전을 이해하는 관점으로 재정의합니다. 기반 코호트는 실질적인 기술 발전의 지문으로, AI 모델이 새로움을 넘어 필수 요소가 된 지점을 나타냅니다. 개발자와 투자자 모두에게 이러한 코호트를 조기에 식별하는 것은 지속적인 모델-시장 우위를 예측하는 가장 강력한 단일 신호일 수 있습니다.
비용 대비 사용량 변화
모델 사용 비용은 사용자 행동에 영향을 미치는 핵심 요인입니다. 이 섹션에서는 다양한 AI 워크로드 범주가 비용–사용량 구도에서 어떻게 분포하는지 살펴봅니다. 비용 대 사용량의 로그–로그 그래프에서 범주가 군집하는 위치를 살펴봄으로써 워크로드가 저비용·대량 사용 영역과 고비용·특화 영역에 각각 집중되는 패턴을 파악합니다. 또한 저비용 범주가 더 높은 총사용량에 대응하는 경우가 많다는 점에서 제번스의 역설 효과와의 유사성도 언급하지만, 역설 자체나 인과관계를 정식으로 분석하지는 않습니다.
범주별 AI 워크로드 세분화 분석
위 산점도는 AI 사용 사례를 총사용량(총 토큰 수)과 단위 비용(1M 토큰당 비용)에 따라 배치하여 뚜렷하게 구분되는 양상을 보여줍니다. 먼저 주목해야 할 중요한 점은 두 축이 모두 로그 척도라는 것입니다. 이러한 로그 척도에서는 차트에서 시각적으로 작은 거리도 실제 사용량과 비용에서는 상당한 배수 차이에 해당합니다.
차트는 비용 중앙값( 토큰 1M개당 $0.73)을 지나는 수직선으로 이등분되어, 사실상 AI 시장을 범주별로 단순화하는 사분면 프레임워크를 형성합니다.
이러한 최종 비용은 공개된 정가와 다르다는 점에 유의하십시오. 고빈도 워크로드는 캐싱의 이점을 누리며, 이를 통해 실제 지출이 줄어들고 공개된 가격보다 실효 가격이 상당히 낮아집니다. 표시된 비용 지표는 프롬프트 토큰과 완성 토큰을 모두 합산한 혼합 요율을 반영하여 사용자가 실제로 지불하는 총비용을 더 정확하게 보여줍니다. 또한 이 데이터 세트는 표준화된 플랫폼 중개 사용량만 분리하고 맞춤형 인프라 구성으로 인한 왜곡을 방지하기 위해 BYOK 활동을 제외합니다.
프리미엄 워크로드(오른쪽 상단): 이 사분면에는 비용과 사용량이 모두 높은 애플리케이션이 포함되며, 이제는 technology 및 science가 바로 교차점에 위치합니다. 이들은 사용자가 성능이나 특화된 기능을 위해 프리미엄을 지불할 의향이 있는, 가치가 높고 많이 사용되는 전문 워크로드를 나타냅니다. Technology 범주는 다른 어떤 범주보다도 비용이 훨씬 높은 뚜렷한 이상치입니다. 이는 사용 사례로서 technology (아마도 복잡한 시스템 설계나 아키텍처와 관련됨)에는 추론을 위해 훨씬 더 강력하고 비싼 모델이 필요할 수 있지만, 높은 사용량을 유지하고 있어 그 필수적인 성격을 보여 준다는 점을 시사합니다.
대중 시장의 사용량 견인 분야(왼쪽 위): 이 사분면은 높은 사용량과 평균 이하의 낮은 비용으로 정의됩니다. 이 영역을 지배하는 두 가지 대규모 사용 사례는 roleplay, programming 및 science입니다.
Programming"킬러 전문가용" 범주로 두드러지며, 매우 최적화된 중앙값 비용으로 가장 높은 사용량을 보입니다.Roleplay의 사용량은 방대하며, 거의 필적하는 대상은programming입니다. 이는 놀라운 인사이트로, 소비자 대상 롤플레잉 애플리케이션이 최상위 전문가용 애플리케이션에 버금가는 참여량을 이끌어 냅니다.
이 두 범주의 막대한 규모는 업무 생산성과 대화형 엔터테인먼트가 모두 AI의 주요한 대규모 성장 동력임을 보여줍니다. 앞서 언급했듯이, 이 사분면의 비용 민감도는 오픈 소스 모델이 상당한 우위를 확보한 요인입니다.
전문 분야 전문가(오른쪽 하단): 이 사분면에는 사용량이 적고 비용이 높은 애플리케이션이 있으며, 여기에는 finance, academia, health, 그리고 marketing 등이 포함됩니다. 이들은 중대한 결과가 걸린 틈새 전문 분야입니다. "프로그래밍"보다 "건강"이나 "금융"에 관해 AI에 문의하는 빈도가 훨씬 낮을 수 있으므로 전체 사용량이 적은 것은 타당합니다. 사용자는 이러한 작업에 상당한 추가 비용을 지불할 의향이 있으며, 이는 정확성, 신뢰성, 분야별 전문 지식에 대한 요구가 매우 높기 때문일 가능성이 큽니다.
틈새 유틸리티(왼쪽 하단): 이 사분면에는 비용과 사용량이 낮은 작업이 있으며, 여기에는 translation, legal 및 trivia 등이 포함됩니다. 이들은 비용에 최적화된 실용적인 유틸리티입니다. Translation 의 사용량이 이 그룹에서 가장 높으며, trivia 의 사용량이 가장 낮습니다. 낮은 비용과 비교적 적은 사용량은 이러한 작업이 고도로 최적화되었거나, "해결되었거나", 범용화되어 충분히 쓸 만한 대안을 저렴하게 이용할 수 있음을 시사합니다.
앞서 언급했듯이 이 차트에서 가장 두드러지는 이상치는 technology입니다. 이 분야는 높은 사용량을 유지하면서도 토큰당 비용이 다른 분야보다 큰 폭으로 높습니다. 이는 고부가가치의 복잡한 답변(예: 시스템 아키텍처, 고급 기술 문제 해결)에 높은 비용을 지불할 의향이 있는 시장 부문이 존재함을 강하게 시사합니다. 핵심 질문 중 하나는 이러한 쿼리에 가장 강력한 프런티어 모델이 필요할 수 있는 만큼, 이 높은 가격이 높은 사용자 가치("수요 측" 기회)에서 비롯되는지 아니면 높은 서비스 제공 비용("공급 측" 과제)에서 비롯되는지입니다. technology 분야에서 취할 수 있는 전략은 이 고부가가치 시장에 서비스를 제공하는 것입니다. 고도로 최적화된 전문 모델 등을 통해 이 부문에 서비스를 제공할 수 있는 제공업체는 더 높은 마진을 내는 시장을 확보할 가능성이 있습니다.
AI 모델의 실질 비용과 사용량 비교
위 그림은 모델 사용량과 1M 토큰당 비용의 관계를 로그–로그 척도로 나타내며, 전반적인 상관관계가 약함을 보여줍니다. x축에는 편의를 위해 명목값을 표시합니다. 추세선이 거의 평평하여 수요가 상대적으로 가격 비탄력적임을 나타내며, 가격이 10% 하락해도 사용량은 약 0.5–0.7% 증가하는 데 그칩니다. 그러나 차트 전반의 분산은 상당하며, 이는 시장이 뚜렷하게 세분화되어 있음을 반영합니다. 두 가지 뚜렷한 양상이 나타나는데, OpenAI와 Anthropic의 독점 모델은 고비용·고사용량 영역을 차지하고 DeepSeek, Mistral, Qwen과 같은 개방형 모델은 저비용·대규모 사용량 영역에 분포합니다. 이 패턴은 다음과 같은 간단한 경험 법칙을 뒷받침합니다: 폐쇄형 소스 모델은 고가치 작업을 확보하고, 오픈 소스 모델은 가치가 낮지만 규모가 큰 작업을 확보합니다. 약한 가격 탄력성은 비용 차이가 극심하더라도 수요가 완전히 이동하지 않음을 나타내며, 독점 모델 제공업체는 핵심 업무용 애플리케이션에서 가격 결정력을 유지하는 반면 개방형 생태계는 비용에 민감한 사용자의 사용량을 흡수합니다.
| 세그먼트 | 모델 | 1M당 가격 | 사용량(로그) | 핵심 요점 |
|---|---|---|---|---|
| 효율적인 대형 모델 | google/gemini-2.0-flash | $0.147 | 6.68 | 낮은 가격과 강력한 유통망 덕분에 대량 처리의 기본 주력 모델로 자리매김합니다 |
| 효율적인 대형 모델 | deepseek/deepseek-v3-0324 | $0.394 | 6.55 | 저렴한 비용과 경쟁력 있는 품질이 대규모 도입을 견인합니다 |
| 프리미엄 선도 모델 | anthropic/claude-3.7-sonnet | $1.963 | 6.87 | 프리미엄 가격에도 사용량이 매우 높아 품질과 신뢰성에 대한 선호를 시사합니다 |
| 프리미엄 선도 모델 | anthropic/claude-sonnet-4 | $1.937 | 6.84 | 기업 워크로드는 신뢰할 수 있는 최첨단 모델에 대해 가격 비탄력적인 양상을 보입니다 |
| 롱테일 | qwen/qwen-2-7b-instruct | $0.052 | 2.91 | 가격은 매우 낮지만 도달 범위가 제한적이며, 이는 모델과 시장 간 적합성이 낮기 때문으로 추정됩니다 |
| 롱테일 | ibm/granite-4.0-micro | $0.036 | 2.95 | 저렴하지만 틈새 모델로, 주로 제한된 환경에서 사용됩니다 |
| 프리미엄 특화 모델 | openai/gpt-4 | $34.068 | 3.53 | 비용이 높고 사용량은 중간 수준이며, 가장 까다로운 작업에만 사용됩니다 |
| 프리미엄 특화 모델 | openai/gpt-5-pro | $34.965 | 3.42 | 특정한 고위험 워크로드에 집중하는 초고가 프리미엄 모델입니다. 최근 출시되어 아직 도입 초기 단계입니다. |
위 그림은 이전 그림과 유사하지만 모델 제작자를 표시합니다. 사용량과 비용에 따라 네 가지 유형이 나타납니다. 프리미엄 선두 모델에 해당하는 Anthropic의 Claude 3.7 Sonnet 과 Claude Sonnet 4는 100만 토큰당 약 $2의 비용에도 높은 사용량을 기록하며, 이는 사용자가 대규모 환경에서 뛰어난 추론 능력과 신뢰성을 위해 기꺼이 비용을 지불한다는 점을 시사합니다. 고효율 대형 모델에 해당하는 Google의 Gemini 2.0 Flash 와 DeepSeek V3 0324는 우수한 성능과 100만 토큰당 $0.40 미만의 가격을 결합하면서 비슷한 사용량을 달성하므로, 대용량 또는 긴 컨텍스트 워크로드의 기본 모델로 매력적입니다. 롱테일 모델인 Qwen 2 7B Instruct 와 IBM Granite 4.0 Micro는 100만 토큰당 가격이 몇 센트에 불과하지만 총사용량은 약 10^2.9에 머물러 있으며, 이는 상대적으로 낮은 성능, 제한적인 노출 또는 적은 통합으로 인한 제약을 반영합니다. 마지막으로, 프리미엄 특화 모델에 해당하는 OpenAI의 GPT-4와 GPT-5 Pro는 고비용·저사용량 사분면에 위치하며, 100만 토큰당 약 $35의 비용과 10^3.4에 가까운 사용량을 보이면서 추가 토큰 비용보다 출력 품질이 훨씬 더 중요한 특수 목적의 고위험 워크로드에 제한적으로 사용됩니다.
전반적으로 산점도는 LLM 시장의 가격 결정력이 균일하지 않다는 점을 보여줍니다. 저렴한 모델은 효율성과 통합을 통해 규모를 확대할 수 있지만, 프리미엄 모델은 여전히 중요한 사안에서 강한 수요를 확보하고 있습니다. 이러한 시장 분화는 시장이 아직 범용 상품화되지 않았으며, 지연 시간, 컨텍스트 길이, 출력 품질 등을 통한 차별화가 여전히 전략적 우위의 원천임을 시사합니다.
이러한 관찰 결과는 다음을 시사합니다:
- 거시적 수준에서 수요는 비탄력적이지만, 이로 인해 서로 다른 미시적 행동이 가려집니다. 미션 크리티컬 작업을 수행하는 기업은 높은 가격을 지불하므로 이러한 모델의 사용량이 높습니다. 반면 취미로 사용하는 사람들과 개발 파이프라인은 비용에 매우 민감하고 더 저렴한 모델로 몰리므로 효율적인 모델의 사용량이 많아집니다.
- 다음과 같은 현상에는 제번스의 역설의 증거가 일부 나타나는데, 일부 모델이 매우 저렴하고 빨라지자 사람들이 훨씬 더 많은 작업에 사용하게 되어 결국 전체 토큰 소비량이 늘어났습니다. 효율적인 대형 모델 그룹에서 이를 확인할 수 있는데, 토큰당 비용이 낮아지면서 이러한 모델이 곳곳에 통합되었고 전체 소비량이 급증했습니다(사람들이 더 긴 컨텍스트를 사용하고 더 많이 반복 실행하는 등).
- 품질과 기능은 비용보다 우선하는 경우가 많습니다: 고가 모델(Claude, GPT-4)의 높은 사용량은 모델의 성능이 상당히 뛰어나거나 신뢰 측면에서 우위에 있다면 사용자가 더 높은 비용을 감수한다는 것을 보여줍니다. 이러한 모델은 생산하는 결과물의 가치에 비해 비용이 미미한 워크플로에 통합되는 경우가 많습니다(예를 들어 개발자의 시간을 한 시간 절약해 주는 코드는 몇 달러의 API 호출 비용보다 훨씬 더 큰 가치가 있습니다).
- 반대로 단순히 저렴한 것만으로는 충분하지 않으며, 모델은 또한 차별화되고 충분한 성능을 갖춰야 합니다. 가격이 거의 0인 많은 오픈 모델은 그저 쓸 만한 수준일 뿐 워크로드와 모델 간의 적합성 을 찾지 못하거나 신뢰성이 충분하지 않아 개발자들이 깊이 통합하기를 주저합니다.
운영자 관점에서 보면 몇 가지 전략적 패턴이 나타납니다. Google과 같은 제공업체는 속도, 비용, 성능 간의 절충을 명시적으로 제시하며 계층형 제품군에 크게 주력해 왔습니다(대표적으로 Gemini Flash와 Pro). 이러한 계층화는 가격 민감도와 작업 중요도에 따른 시장 세분화를 가능하게 하며, 가벼운 작업은 더 저렴하고 빠른 모델로 라우팅되고 프리미엄 모델은 복잡하거나 지연 시간을 허용할 수 있는 워크로드를 처리합니다. 사용 사례와 안정성에 맞춘 최적화는 가격을 "인하"하는 것만큼 효과적일 때가 많습니다. 특히 프로덕션 환경에서는 더 저렴하지만 예측하기 어려운 모델보다 빠르고 특정 목적에 맞게 설계된 모델이 선호될 수 있습니다. 이에 따라 초점은 토큰당 비용에서 성공적인 결과당 비용으로 이동합니다. 상대적으로 낮은 수요 탄력성은 LLM이 아직 범용 상품이 아님을 시사하며, 많은 사용자는 품질, 기능 또는 안정성을 위해 더 높은 가격을 지불할 의향이 있습니다. 특히 토큰 비용의 소폭 절감보다 작업 결과가 더 중요할 때 차별화는 여전히 가치를 지닙니다.
토론
이 실증 연구는 LLM이 실제로 어떻게 사용되고 있는지에 대한 데이터 기반 관점을 제공하며, AI 배포에 대한 통념을 더 세밀하게 이해하도록 돕는 여러 주제를 강조합니다:
1. 다중 모델 생태계. 분석 결과, 단일 모델이 모든 사용량을 지배하지는 않는 것으로 나타났습니다. 대신 관찰된 것은 풍부한 다중 모델 생태계 로, 폐쇄형 모델과 개방형 모델 모두 상당한 점유율을 차지하고 있습니다. 예를 들어 OpenAI와 Anthropic 모델이 많은 프로그래밍 및 지식 작업에서 선두를 달리고 있지만, DeepSeek과 Qwen 같은 오픈 소스 모델은 합산하여 전체 토큰의 상당 부분(때로는 30% 이상)을 처리했습니다. 이는 향후 LLM 사용이 특정 모델에 종속되지 않고 이질적인 모델이 공존하는 형태가 될 가능성이 높음을 시사합니다. 개발자에게 이는 한 모델의 우위에 모든 것을 걸기보다는 유연성을 유지하고 여러 모델을 통합하며 각 작업에 가장 적합한 모델을 선택해야 한다는 의미입니다. 모델 제공업체에게는 예상치 못한 곳에서 경쟁이 발생할 수 있음을 강조합니다(예: 지속적으로 개선하고 차별화하지 않으면 커뮤니티 모델이 시장의 일부를 잠식할 수 있습니다).
2. 생산성을 넘어선 사용의 다양성. 놀라운 발견은 막대한 규모의 역할극 및 엔터테인먼트 중심 사용입니다. 오픈 소스 모델 사용의 절반 이상이 역할극과 스토리텔링을 위한 것이었습니다. 독점 플랫폼에서도 전문적인 사용 사례가 증가하기 전에는 초기 ChatGPT 사용의 적지 않은 비중이 일상적이고 창의적인 용도였습니다. 이는 LLM이 주로 코드, 이메일 또는 요약 작성에 사용된다는 가정과 상반됩니다. 실제로 많은 사용자는 교감이나 탐색을 위해 이러한 모델과 상호작용합니다. 여기에는 중요한 시사점이 있습니다. 이는 서사 설계, 정서적 몰입, 상호작용을 결합하는 소비자 대상 애플리케이션에 상당한 기회가 있음을 보여줍니다. 또한 개성이 진화하고, 선호도를 기억하거나, 장시간 상호작용을 이어가는 에이전트 등 개인화의 새로운 지평을 제시합니다. 모델 평가 지표도 재정의되는데, 성공 여부는 사실적 정확성보다는 일관성, 정합성, 흥미로운 대화를 지속하는 능력에 더 크게 좌우될 수 있습니다. 마지막으로, 인터랙티브 스토리텔링, 게임, 크리에이터 주도 가상 캐릭터 분야의 잠재력과 함께 AI와 엔터테인먼트 IP 간 융합의 길을 열어 줍니다.
3. 에이전트와 인간: 에이전트형 추론의 부상. LLM 사용은 단일 턴 상호작용에서 에이전트형 추론으로 전환되고 있으며, 모델은 여러 단계에 걸쳐 계획하고 추론하며 실행합니다. 이제 모델은 일회성 응답을 생성하는 대신 도구 호출을 조율하고, 외부 데이터에 접근하며, 목표를 달성하기 위해 출력을 반복적으로 개선합니다. 초기 증거에 따르면 다단계 쿼리와 연쇄적인 도구 사용이 증가하고 있으며, 이를 에이전트형 사용의 대리 지표로 삼고 있습니다. 이 패러다임이 확장됨에 따라 평가의 초점은 언어 품질에서 작업 완료와 효율성으로 이동할 것입니다. 다음 경쟁의 핵심은 모델이 얼마나 효과적으로 지속적인 추론을 수행할 수 있는지이며, 이러한 변화는 궁극적으로 대규모 에이전트형 추론이 실제로 무엇을 의미하는지 재정의할 수 있습니다.
4. 지리적 전망. LLM 사용은 점점 더 세계화되고 분산되고 있으며, 북아메리카 이외 지역에서 빠르게 성장하고 있습니다. 전체 토큰 수요에서 아시아가 차지하는 비중은 약 13%에서 31%로 상승했으며, 이는 기업 도입과 혁신이 더욱 활발해지고 있음을 보여줍니다. 한편, 중국은 주요 세력으로 부상했으며, 이는 국내 소비뿐 아니라 세계적으로 경쟁력 있는 모델을 개발한 데서도 비롯됩니다. 더 큰 시사점은 LLM이 전 세계에서 유용해야 하며 다양한 언어, 맥락, 시장에서 우수한 성능을 발휘해야 한다는 것입니다. 다음 단계의 경쟁은 단순한 모델 규모가 아니라 문화적 적응력과 다국어 역량에 달려 있습니다.
5. 비용과 사용량의 역학 관계. LLM 시장은 아직 범용 상품 시장처럼 움직이지 않는 것으로 보이며, 가격만으로는 사용량을 설명하기 어렵습니다. 사용자는 비용과 함께 추론 품질, 신뢰성, 기능의 폭을 고려합니다. 폐쇄형 모델은 매출과 직결되는 고부가가치 워크로드를 계속 확보하는 반면, 개방형 모델은 저비용 및 대규모 작업에서 우위를 점합니다. 이로 인해 안정성보다는 아래로부터의 끊임없는 압력으로 정의되는 역동적인 균형이 형성됩니다. 오픈 소스 모델은 효율적 프런티어를 지속적으로 확장하며, 특히 추론 및 코딩 분야(예: Kimi K2 Thinking)에서는 빠른 반복 개발과 OSS 혁신이 성능 격차를 좁힙니다. 개방형 모델이 개선될 때마다 독점 시스템의 가격 결정력이 줄어들어, 이들은 뛰어난 통합, 일관성, 기업 지원을 통해 높은 가격을 정당화해야 합니다. 그 결과 경쟁은 빠르게 전개되고 비대칭적이며 끊임없이 변화합니다. 시간이 지나 품질 수렴이 가속화되면서 가격 탄력성이 높아질 가능성이 크며, 한때 차별화되어 있던 시장은 더욱 유동적인 시장으로 바뀔 것입니다.
6. 리텐션과 신데렐라의 유리 구두 현상. 파운데이션 모델이 점진적 발전이 아닌 도약을 거듭하면서, 리텐션은 경쟁 우위를 지킬 수 있는지를 판단하는 진정한 척도가 되었습니다. 획기적인 발전이 일어날 때마다 모델이 가치 높은 워크로드에 완벽하게 "들어맞는" 짧은 출시 기회가 생기며(신데렐라의 유리 구두 순간), 사용자는 자신에게 맞는 모델을 찾으면 계속 사용합니다. 이 패러다임에서 제품-시장 적합성은 워크로드-모델 적합성과 같으며, 실제 문제를 가장 먼저 해결하면 사용자가 해당 기능을 중심으로 워크플로와 습관을 형성하면서 깊이 있고 지속적인 도입으로 이어집니다. 그러면 기술적으로나 행동적으로나 전환 비용이 커집니다. 개발자와 투자자가 주목해야 할 신호는 성장이 아니라 리텐션 곡선, 즉 모델 업데이트가 이루어져도 계속 남아 있는 핵심 사용자 코호트의 형성입니다. 점점 더 빠르게 변화하는 시장에서 이러한 중요한 미충족 수요를 일찍 포착하는 것이 다음 역량 도약 이후에도 누가 살아남을지를 결정합니다.
종합하면, LLM은 프로그래밍부터 창작 글쓰기에 이르기까지 여러 분야의 추론 유사 작업을 위한 필수적인 연산 기반으로 자리 잡고 있습니다. 모델이 계속 발전하고 배포가 확대됨에 따라, 실제 사용 동향에 대한 정확한 인사이트는 정보에 기반한 의사결정에 매우 중요해질 것입니다. 사람들이 LLM을 사용하는 방식은 항상 예상과 일치하지는 않으며 국가별, 주별, 사용 사례별로 크게 다릅니다. 대규모 사용 양상을 관찰하면 LLM의 영향에 대한 이해를 현실에 기반하도록 하여, 기술적 개선이든 제품 기능이든 규제든 이후의 발전이 실제 사용 패턴 및 요구와 부합하도록 할 수 있습니다. 이 연구가 더 많은 실증 연구의 토대가 되고, 차세대 프런티어 모델을 구축하는 과정에서 AI 커뮤니티가 실제 사용을 지속적으로 측정하고 그로부터 배우도록 장려하기를 바랍니다.
한계
이 연구는 단일 플랫폼인 OpenRouter에서 제한된 기간 동안 관찰된 패턴을 반영하므로, 더 넓은 생태계의 일부만을 보여줍니다. 기업 사용량, 로컬 호스팅 배포, 폐쇄형 내부 시스템 등 특정 영역은 데이터 범위에 포함되지 않습니다. 또한 여러 데이터 분석에서 활용하는 것은 대리 지표로, 예를 들어 다단계 호출이나 도구 호출을 통해 에이전트형 추론을 식별하거나 검증된 위치 데이터 대신 청구 정보를 통해 사용자의 지역을 추정합니다. 따라서 결과는 기저 현상에 대한 확정적인 측정치가 아니라 행동 패턴을 시사하는 것으로 해석해야 합니다.
결론
이 연구는 대규모 언어 모델이 전 세계 컴퓨팅 인프라에 어떻게 자리 잡고 있는지에 대한 실증적 관점을 제공합니다. 이제 대규모 언어 모델은 워크플로, 애플리케이션, 에이전트 기반 시스템의 필수 요소로서 정보가 생성되고 중개되며 소비되는 방식을 변화시키고 있습니다.
지난 한 해는 이 분야에서 바라보는 추론의 개념에 획기적인 변화를 촉발했습니다. 새롭게 등장한 o1급 모델은 장시간 숙고와 도구 사용을 일반화하여, 평가의 초점을 단일 시도 벤치마크에서 프로세스 기반 지표, 지연 시간과 비용 간의 절충, 오케스트레이션 환경에서의 작업 성공 여부로 옮겼습니다. 추론은 모델이 더 신뢰할 수 있는 결과를 제공하기 위해 얼마나 효과적으로 계획하고 검증할 수 있는지를 나타내는 척도가 되었습니다.
데이터는 LLM 생태계가 구조적으로 다원적임을 보여줍니다. 단일 모델이나 제공업체가 지배하지 않으며, 대신 사용자는 상황에 따라 성능, 지연 시간, 가격, 신뢰 등 여러 기준으로 시스템을 선택합니다. 이러한 이질성은 일시적인 단계가 아니라 시장의 근본적인 특성입니다. 이는 빠른 반복 개선을 촉진하고 특정 모델이나 스택에 대한 시스템 차원의 의존도를 줄입니다.
추론 자체도 변화하고 있습니다. 다단계 및 도구 연계 상호작용의 부상은 정적인 완성에서 동적인 오케스트레이션으로의 전환을 나타냅니다. 사용자는 복합적인 목표를 달성하기 위해 모델, API, 도구를 연쇄적으로 연결하며, 이를 통해 다음과 같은 개념이 등장하고 있습니다: 에이전트형 추론. 에이전트형 추론이 아직 인간의 추론을 능가하지 않았다 하더라도 앞으로 능가할 것이라고 믿을 만한 이유는 많습니다.
지리적으로 생태계는 더욱 분산되고 있습니다. 아시아의 사용량 점유율은 계속 확대되고 있으며, 특히 중국은 Moonshot AI, DeepSeek, Qwen과 같은 기업의 부상에서 드러나듯 모델 개발국이자 수출국으로 자리매김했습니다. 비서구권 오픈 웨이트 모델의 성공은 LLM이 진정한 글로벌 컴퓨팅 자원임을 보여줍니다.
사실상 o1 은 경쟁을 끝내지 않았습니다. 오히려 그 반대입니다. 설계 공간을 확장했습니다. 이 분야는 단일 모델에 대한 승부수 대신 시스템적 사고로, 직관 대신 계측으로, 순위표의 차이 대신 실증적인 사용량 분석으로 나아가고 있습니다. 지난 한 해가 에이전트 기반 추론이 대규모로 가능함을 입증했다면, 다음 한 해는 실제 작업 완료를 측정하고, 분포 변화에 따른 분산을 줄이며, 모델의 동작을 프로덕션 규모 워크로드의 실질적인 요구에 맞추는 운영 우수성에 초점을 맞출 것입니다.
참고 자료
- R. Appel, J. Zhao, C. Noll, O. K. Cheche, W. E. Brown Jr. Anthropic 경제 지수 보고서: 지역별 및 기업 AI 도입의 불균형. arXiv 사전 공개 논문 arXiv:2511.15080, 2025. URL https://arxiv.org/abs/2511.15080.
- A. Chatterji, T. Cunningham, D. J. Deming, Z. Hitzig, C. Ong, C. Y. Shan, K. Wadman. 사람들이 ChatGPT를 사용하는 방식. NBER 워킹 페이퍼 34255, 2025. URL https://cdn.openai.com/pdf/a253471f-8260-40c6-a2cc-aa93fe9f142e/economic-research-chatgpt-usage-paper.pdf.
- W. Zhao, X. Ren, J. Hessel, C. Cardie, Y. Choi, Y. Deng. WildChat: 실제 환경의 ChatGPT 상호작용 로그 1M개. arXiv 사전 공개 논문 arXiv:2405.01470, 2024. URL https://arxiv.org/abs/2405.01470.
- OpenAI. OpenAI o1 시스템 카드. arXiv 사전 공개 논문 arXiv:2412.16720, 2024. URL https://arxiv.org/abs/2412.16720.
- W. L. Chiang, L. Zheng, Y. Sheng, A. N. Angelopoulos, T. Li, D. Li, H. Zhang, B. Zhu, M. Jordan, J. Gonzalez, I. Stoica. Chatbot Arena: 인간의 선호도로 LLM을 평가하는 개방형 플랫폼. arXiv 사전 공개 논문 arXiv:2403.04132, 2024. URL https://arxiv.org/abs/2403.04132.
- J. Wei, X. Wang, D. Schuurmans, M. Bosma, E. H. Chi, F. Xia, Q. Le, D. Zhou. 사고 연쇄 프롬프팅은 대규모 언어 모델의 추론을 이끌어냅니다. Advances in Neural Information Processing Systems, 35:24824–24837, 2022. URL https://proceedings.neurips.cc/paper_files/paper/2022/hash/9d5609613524ecf4f15af0f7b31abca4-Abstract-Conference.html.
- S. Yao, J. Zhao, D. Yu, N. Du, I. Shafran, K. Narasimhan, Y. Cao. ReAct: 언어 모델에서 추론과 행동의 시너지 창출. 국제표현학습학회(ICLR), 2023. URL https://arxiv.org/abs/2210.03629.
- A. Grattafiori, A. Dubey, A. Jauhri, A. Pandey, A. Kadian, A. Al-Dahle, A. Letman, A. Mathur, A. Schelten, A. Yang, A. Fan 외. The Llama 3 Herd of Models. arXiv 사전 공개 논문 arXiv:2407.21783, 2024. URL https://arxiv.org/abs/2407.21783.
- DeepSeek-AI, A. Liu, B. Feng, B. Xue, B. Wang, B. Wu, C. Lu, C. Zhao, C. Deng, C. Zhang 외. DeepSeek-V3 기술 보고서. arXiv 사전 공개 논문 arXiv:2412.19437, 2024. URL https://arxiv.org/abs/2412.19437.
기여
이 작업은 OpenRouter 팀이 개발한 기반 플랫폼, 인프라, 데이터셋 및 기술적 비전 덕분에 가능했습니다. 특히 Alex Atallah, Chris Clark, Louis Vichy는 이 연구에서 수행한 탐구를 가능하게 한 엔지니어링 기반과 아키텍처 방향을 제공했습니다. Justin Summerville은 구현, 테스트 및 실험 개선 전반에 걸쳐 핵심적인 지원을 제공했습니다. 그 밖에도 Natwar Maheshwari의 출시 지원과 Julian Thayn의 디자인 수정이 기여했습니다.
Malika Aubakirova(a16z)는 주저자로서 실험 설계, 구현, 데이터 분석 및 논문 작성 전반을 담당했습니다. Anjney Midha는 전략적 지침을 제공하고 전체적인 구성과 방향을 정립했습니다.
Abhi Desai는 a16z에서 인턴십을 수행하는 동안 초기 탐색 실험과 시스템 설정을 지원했습니다. Rajko Radovanovic과 Tyler Burkett은 구체적인 기술적 통찰과 실질적인 지원을 제공하여 이 작업의 여러 핵심 구성 요소를 강화했습니다.
모든 기여자가 토론에 참여하고, 피드백을 제공하고, 최종 원고를 검토했습니다.
부록
카테고리 하위 구성 세부 정보
아래 그림은 역할극, 프로그래밍, 기술이라는 세 가지 주요 영역의 내부 하위 태그 구조를 세분화하여 보여줍니다. 각 영역은 사용자가 해당 범주에서 LLM과 상호작용하는 방식을 드러내는 고유한 내부 패턴을 보입니다.
세 영역(역할극, 기술, 프로그래밍) 모두 뚜렷한 내부 패턴을 보이며, 이는 각 주요 영역 내의 다양한 하위 범주에서 사용자가 LLM과 상호작용하는 방식을 반영합니다.