AI 现状
基于 OpenRouter 的 100 万亿 token 实证研究
摘要
过去一年是大型语言模型(LLM)演进及实际应用的转折点。随着首个被广泛采用的推理模型 o1于 2024 年 12 月 5 日发布,该领域从单次模式生成转向多步骤深思推理,加速了部署、实验以及新类别应用的发展。在这一转变快速推进的同时,我们对这些模型在实践中实际使用情况的实证认识却未能跟上。在这项工作中,我们利用为多种 LLM 提供 AI 推理服务的 OpenRouter 平台,分析了跨任务、地域和时间的真实 LLM 交互,涉及超过 100 万亿 token。在实证研究中,我们观察到开放权重模型被大量采用,创意角色扮演(而不仅仅是许多人认为占主导地位的生产力任务)和编程辅助类别格外受欢迎,以及智能体推理的兴起。此外,我们的留存分析识别出了 基础用户群体:这些早期用户的持续参与时间远超后来的用户群体。我们将这一现象称为灰姑娘 “玻璃鞋” 效应。这些发现凸显出,开发者和终端用户在真实环境中使用 LLM 的方式复杂且多元。我们讨论了这些发现对模型构建者、AI 开发者和基础设施提供商的启示,并概述了基于数据的使用情况认知如何帮助改进 LLM 系统的设计与部署。
简介
就在一年前,大语言模型的格局还截然不同。在 2024 年末之前,最先进的系统主要是经过优化以续写文本序列的单次自回归预测器。一些先驱工作尝试通过高级指令遵循和工具使用来近似实现推理。例如, Anthropic 的 Sonnet 2.1 & 3 模型擅长复杂的 工具使用和检索增强生成(RAG),而 Cohere 的 Command R 模型则引入了结构化的工具规划 token。另外,一些开源项目,例如由 Reflection 开展的项目,在训练期间探索了有监督思维链和自我批评循环。尽管这些先进技术产生了类似推理的输出,并提升了指令遵循能力,但其基本推理流程仍然基于单次前向传播,输出的是从数据中学到的表层轨迹,而非执行迭代式内部计算。
这一范式的演变发生在 2024 年 12 月 5 日,当时 OpenAI 发布了其推理模型 o1 的首个完整版本(代号为 Strawberry) 。2024 年 9 月 12 日发布的预览版就已表明,它偏离了传统的自回归推理方式。与以往的系统不同, o1 采用了扩展的推理时计算过程,在生成最终输出之前进行内部多步审思、潜在规划和迭代优化。实证结果表明,这使数学推理、逻辑一致性和多步决策能力得到系统性提升,体现了从模式补全向结构化内部认知的转变。回顾来看,去年标志着该领域真正的转折点:早期方法只是显露出推理的迹象,但 o1 首次引入了广泛部署的架构,通过审慎的多阶段计算进行推理,而非仅仅 描述 推理 。
尽管近期 LLM 能力的进展已得到广泛记录,但有关这些模型在实践中如何被实际使用的系统性证据仍然有限 。现有论述往往侧重于定性演示或基准测试表现,而非大规模行为数据。为弥补这一差距,我们利用来自 OpenRouter 的 100 万亿 token 数据集,对 LLM 的使用情况开展实证研究,该平台是一个多模型 AI 推理平台,汇集了各种 LLM 查询。
OpenRouter 的独特视角为观察细粒度使用模式提供了窗口。由于 OpenRouter 协调跨多种模型的请求(涵盖闭源 API 和开放权重部署),它能够捕捉具有代表性的横截面,展示开发者和最终用户实际如何调用语言模型完成各种任务。通过分析这一丰富的数据集,我们可以观察不同任务选用哪些模型、使用情况如何随地理区域和时间变化,以及定价或新模型发布等外部因素如何影响行为。
在本文中,我们借鉴了此前关于 AI 采用情况的实证研究,包括 Anthropic 的经济影响和使用情况分析 以及 OpenAI 的报告 人们如何使用 ChatGPT ,旨在开展中立、以证据为依据的讨论。我们首先介绍数据集和方法,包括如何对任务和模型进行分类。随后,我们深入开展一系列分析,揭示使用情况的不同侧面:
- 开源与闭源模型: 我们考察开源模型相对于专有模型的采用模式,识别开源生态系统中的趋势和关键参与者。
- 智能体推理: 我们研究多步骤、工具辅助推理模式的兴起,揭示用户如何越来越多地将模型用作更大规模自动化系统的组成部分,而非用于单轮交互。
- 类别分类体系: 我们按任务类别(如编程、角色扮演、翻译等)细分使用情况,揭示哪些应用领域带来的活动最多,以及这些分布如何因模型提供商而异。
- 地理分布: 我们分析全球使用模式,比较各大洲的 LLM 采用情况,并深入分析美国境内的使用情况。这凸显了区域因素和本地模型供给如何塑造整体需求。
- 实际成本与使用量动态: 我们评估使用量与实际成本的对应关系,揭示 LLM 采用在实践中对经济因素的敏感程度。该指标基于输入与输出 token 的平均总量,并考虑缓存的影响。
- 留存模式: 我们分析使用最广泛的模型的长期留存情况,识别出形成持续且黏性更强的行为模式的 基础用户群体 。我们将其定义为灰姑娘的 “玻璃鞋” 效应,即用户需求与模型特征在早期的契合形成持久的适配关系,从而长期维持用户参与。
最后,我们讨论这些发现揭示的真实世界 LLM 使用情况,重点介绍出乎意料的模式,并纠正一些误解。
数据与方法
OpenRouter 平台与数据集
我们的分析基于从以下平台收集的元数据: OpenRouter ,这是一个统一的 AI 推理层,将用户和开发者连接到数百个大型语言模型。OpenRouter 上的每个用户请求都由用户选择的模型执行,并记录描述所产生的“生成”事件的结构化元数据。本研究使用的数据集包含 匿名化的请求级元数据 ,涵盖全球用户的数十亿个提示词与补全对,时间跨度约为截至撰写时的两年。我们重点关注最近一年。
关键在于,我们无法访问提示词或补全内容的原始文本。我们的分析完全依赖 元数据 ,这些数据记录了每次 生成的结构、时间和上下文,而不暴露用户内容。这种保护隐私的设计使大规模行为分析成为可能。
每条生成记录都包含时间信息、模型和提供商标识符、token 使用量以及系统性能指标。token 数量涵盖提示词(输入)和补全(输出)token,使我们能够衡量模型的总体工作负载和成本。元数据还包括与地理路由、延迟和使用情境相关的字段(例如,请求是否以流式传输或被取消,或者是否调用了工具调用功能)。这些属性共同提供了模型实际使用情况的详细视图,但不包含文本内容。
基于这些元数据的所有分析、汇总和大部分可视化均使用 Hex 分析平台完成,该平台为版本化 SQL 查询、数据转换和最终图表生成提供了可复现的流水线。
我们强调,此数据集是 观察性数据集:它反映了 OpenRouter 平台上的真实活动,而平台本身受到模型可用性、定价和用户偏好的影响。截至 2025 年,OpenRouter 支持来自超过 70 家提供商的 300+ 个活跃模型,为数百万开发者和终端用户提供服务,其中超过 50% 的使用量来自美国以外的地区。虽然未涵盖平台外的某些使用模式,但 OpenRouter 的全球规模和多样性使其成为观察大规模 LLM 使用动态的代表性窗口。
用于内容分类的 GoogleTagClassifier
本研究无法直接访问用户提示词或模型输出。相反, OpenRouter 会对随机抽取的约占所有提示词 0.25% 的样本 及其响应进行内部分类,使用的非专有模块为 GoogleTagClassifier。虽然这只占总活动量的一小部分,但考虑到 OpenRouter 处理的整体查询量,底层数据集仍然相当庞大。GoogleTagClassifier 对接 Google Cloud Natural Language 的 classifyText 内容分类 API
该 API 对文本输入应用与语言无关的层级分类体系,返回一个或多个类别路径(例如, /Computers & Electronics/Programming、 /Arts & Entertainment/Roleplaying Games)及其对应的置信度分数,分数范围为 [0,1]。分类器直接处理提示词数据(最多前 1,000 个字符)。分类器部署在 OpenRouter 的基础设施内,确保分类结果保持匿名,且不与个别客户关联。置信度分数低于默认阈值 0.5 的类别将被排除在后续分析之外。分类系统本身完全在 OpenRouter 的基础设施内运行,并非本研究的一部分;我们的分析仅依赖其生成的类别输出(实际上是描述提示词分类的元数据),而非底层提示词内容。
为使这些细粒度标签在大规模应用中发挥作用,我们将 GoogleTagClassifier 的分类体系映射到一组精简的、由研究定义的分组,并为每个请求分配 标签。每个标签均以一对一方式归入更高层级的 类别 中。代表性映射包括:
- 编程: 来自
/Computers & Electronics/Programming或/Science/Computer Science/* - 角色扮演: 来自
/Games/Roleplaying Games以及以下类别下的创意对话叶节点/Arts & Entertainment/* - 翻译: 来自
/Reference/Language Resources/* - 通用问答/知识: 来自
/Reference/General Reference/*和/News/*当意图看起来是事实查询时 - 生产力/写作: 来自
/Computers & Electronics/Software/Business & Productivity Software或/Business & Industrial/Business Services/Writing & Editing Services - 教育: 来自
/Jobs & Education/Education/* - 文学/创意写作: 来自
/Books & Literature/*以及以下类别下的叙事叶节点/Arts & Entertainment/* - 成人: 来自
/Adult - 其他: 用于没有主要映射适用的长尾提示词。(注意:下文大多数分析均省略此类别。)
这种方法存在固有局限,例如,依赖预定义的分类体系会限制对新型或跨领域行为的分类方式,而某些交互类型可能尚无法明确归入现有类别。在实践中,当提示内容涉及相互重叠的领域时,某些提示会获得多个类别标签。尽管如此,由分类器驱动的分类仍为我们提供了开展下游分析的视角。这使我们不仅能量化 使用规模 ,还能了解 LLM 的 用途。
模型与 token 变体
有几种变体值得明确指出:
- 开源与专有: 我们将模型标记为 开源(为简便起见,简称 OSS) ,条件是其权重公开可用,或标记为 闭源 ,条件是只能通过受限 API 访问(例如 Anthropic 的 Claude)。这一区分使我们能够衡量社区驱动模型与专有模型的采用情况。
- 来源(中国与世界其他地区): 鉴于中国大语言模型的兴起及其独特的生态系统,我们按主要开发地区为模型添加标签。 中国模型 包括由中国大陆、台湾或香港的组织开发的模型(例如 Alibaba 的 Qwen、Moonshot AI 的 Kimi 或 DeepSeek)。 世界其他地区(RoW)的模型 涵盖北美洲、欧洲及其他地区。
- 提示 token 与补全 token: 我们区分 提示 token,它们表示提供给模型的输入文本,以及 补全 token,它们表示模型生成的输出。 总 token 数 等于提示 token 数与补全 token 数之和。 推理 token 表示具有原生推理能力的模型的内部推理步骤,并计入 补全 token。
除非另有说明, token 数量 指 提示词(输入)和补全(输出)的 token 总数。
地理细分
为了解 LLM 使用的区域模式,我们按用户地理位置对请求进行分组。直接请求元数据(例如基于 IP 的位置)通常不够精确或已匿名化。因此,我们根据每个账户关联的 账单地址 来确定用户所在区域。这能更可靠地代表用户地理位置,因为账单数据反映了与用户支付方式或账户注册相关联的国家或地区。我们在分析区域采用情况和模型偏好时使用这种基于账单信息的分组方式。
这种方法存在局限性。部分用户使用第三方计费或共享组织账户,其账单所在地可能与实际所在地不符。企业账户可能将多个地区的活动汇总到同一个计费实体下。尽管存在这些不足,但在我们能够获取的元数据范围内,账单地理位置仍是可用于保护隐私的地理分析的最稳定且最具可解释性的指标。
时间范围与覆盖范围
我们的分析主要涵盖截至 2025 年 11 月的滚动 13 个月期间,但并非所有底层元数据都覆盖这一完整时间窗口。大多数模型级别和定价分析聚焦于 2024 年 11 月 3 日至 2025 年 11 月 30 日这一时间段。然而,类别级别的分析(尤其是使用 GoogleTagClassifier 分类体系的分析)基于从 2025 年 5 月开始的较短时间区间,因为 OpenRouter 从那时起才有一致的标签数据。具体而言,详细的任务分类字段(例如 编程、 角色扮演或 技术等标签)直到 2025 年年中才添加。因此,类别部分的所有发现应被解读为反映 2025 年年中的使用情况,而非此前一整年的使用情况。
除非另有说明,所有时间序列聚合均使用归一化为 UTC 的时间戳按周计算,并将提示词和补全 token 相加。此方法可确保不同模型系列之间的可比性,并最大限度地减少短暂峰值或区域时区效应带来的偏差。
开源与闭源模型

AI 生态中的一个核心问题是开放权重模型(为简便起见,我们将其简称为 OSS)与专有模型之间的平衡。下图展示了过去一年中这种平衡在 OpenRouter 上的演变。尽管专有模型,尤其是北美主要提供商的模型,仍处理大多数 token,但 OSS 模型的使用量持续增长,到 2025 年末已达到总使用量的约三分之一。
这种扩张并非偶然。使用量激增与重大开放模型的发布同步,例如 DeepSeek V3 和 Kimi K2 (在第一张图中以垂直虚线标示),这表明具有竞争力的开源模型发布,例如 DeepSeek V3 和 GPT OSS 模型 会迅速得到采用,并保持其增长成果。重要的是,这些增长在发布后的最初几周之后仍持续存在,表明它们用于实际生产,而非短期试验。

这一增长的很大一部分来自 中国开发的模型。中国开源模型从 2024 年末微不足道的基数起步(每周份额低至 1.2%),稳步获得采用,在部分周次中占所有模型总用量的近 30%。在这一年的时间窗口内,它们平均占每周 token 用量的约 13.0%,强劲增长集中在 2025 年下半年。相比之下,世界其他地区的开源模型平均占比为 13.7%,而世界其他地区的专有模型仍占据最大份额(平均为 70%)。中国开源模型的扩张不仅反映了具有竞争力的质量,也体现了快速迭代和密集的发布周期。Qwen 和 DeepSeek 等模型保持定期发布,使其能够快速适应新兴工作负载。这一模式显著重塑了开源领域,并推动了整个 LLM 领域的全球竞争。
这些趋势表明,LLM 生态系统中存在持久的双重结构。专有系统继续定义可靠性和性能的上限,尤其是在受监管或企业工作负载方面。相比之下,开源模型具有成本效益、透明度和可定制性,因此对某些工作负载而言是颇具吸引力的选择。 目前的均衡点约为 30%。 这些模型并非相互排斥;相反,它们在开发者和基础设施提供商日益青睐的多模型技术栈中相互补充。
主要开源参与者
下表按提供的 token 总量对我们数据集中的主要模型系列进行排名。过去一年,开源模型格局发生了显著变化:虽然 DeepSeek 仍是按用量计算贡献最大的单个开源模型系列,但随着新入局者迅速扩大份额,其主导地位已减弱。如今,多个开源模型系列各自保持着可观的使用量,表明生态系统正趋于多元化。
| 模型作者 | token 总量(万亿) |
|---|---|
| DeepSeek | 14.37 |
| Qwen | 5.59 |
| Meta LLaMA | 3.96 |
| Mistral AI | 2.92 |
| OpenAI | 1.65 |
| Minimax | 1.26 |
| Z-AI | 1.18 |
| TNGTech | 1.13 |
| MoonshotAI | 0.92 |
| 0.82 |

此图展示了各个顶尖开源模型的市场份额逐周发生的显著变化。在这一时期的早期(2024 年末),市场高度集中:DeepSeek 系列的两个模型(V3 和 R1)始终占所有开源模型 token 用量的一半以上,形成了图表底部大面积的深蓝色带状区域。
这种近乎垄断的格局在夏季拐点(2025 年年中)之后被打破。此后,市场的广度和深度均有所拓展,使用情况显著多元化。Qwen 的模型、 Minimax 的 M2、MoonshotAI 的 Kimi K2 以及 OpenAI 的 GPT-OSS 系列 均迅速增长,承接了相当比例的请求,往往在发布后数周内就实现了生产规模的采用。这表明,开源社区和 AI 初创公司可以通过推出具备新颖能力或更高效率的模型,实现快速普及。
到 2025 年末,竞争格局已从近乎垄断转向多元化。没有任何单个模型占 OSS token 的份额超过 25%,token 份额如今更均匀地分布在五到七个模型之间。实际意义在于,用户正从更广泛的选项中发现价值,而非默认选择某个“最佳”选项。尽管此图展示的是 OSS 模型之间的相对份额(而非绝对用量),但趋势十分明确:开源生态系统正显著转向市场碎片化和更激烈的竞争。
总体而言,开源模型生态系统如今已非常活跃。 关键洞察包括:
- 头部模型多样化: 曾经由单一系列(DeepSeek)主导的开源模型使用量,如今越来越多地分布在六个各自保持可观份额的模型上。没有任何单个开放模型能持续占据开源模型 token 用量的 ≈20–25% 以上。
- 新入场模型快速增长: 能力出色的新开放模型可以在几周内获得显著用量。例如,MoonshotAI 的模型迅速成长到足以与老牌开源领先模型抗衡的水平,即便是 MiniMax 这样的新入场者,也在一个季度内从零发展到拥有可观流量。这表明切换阻力较低,且用户群体乐于尝试。
- 迭代优势: DeepSeek 长期位居前列,凸显了持续改进的重要性。DeepSeek 的连续版本发布(Chat-V3、 R1 等)使其即便在挑战者涌现时也能保持竞争力。开发停滞的开源模型往往会将份额拱手让给那些频繁进行前沿更新或特定领域微调的模型。
如今,2025 年的开源 LLM 领域呈现出一个竞争激烈的生态系统,创新周期很短,领先地位并无保障。对模型构建者而言,这意味着发布具备最先进性能的开放模型可以迅速吸引用户采用,但要保持使用份额,就需要持续投入后续开发。对用户和应用开发者而言,这一趋势是积极的:可供选择的开放模型更加丰富,在特定领域(如角色扮演)的能力往往可与专有系统媲美,有时甚至更胜一筹。
模型规模与市场契合度:中型成为新的小型

一年前,开源模型生态系统主要围绕两个极端之间的取舍展开:一端是数量庞大、速度快的小型模型,另一端是少数功能强大的大型模型。然而,回顾过去一年,可以发现市场已显著成熟,并涌现出一个不断壮大的新类别:中型模型。请注意,我们按参数量对模型进行如下分类:
- 小型: 参数少于 150 亿的模型。
- 中型: 参数为 150 亿至 700 亿的模型。
- 大型: 参数为 700 亿或以上的模型。
开发者和用户行为数据揭示了复杂的趋势。数据显示,虽然各类别的模型 数量 均有所增长,但 使用情况 已发生显著变化。小型模型逐渐失宠,而中型和大型模型正在获取这部分价值。

深入了解推动这些趋势的模型,可以发现不同的市场动态:
- “小型”模型市场:使用量整体下降。 尽管新模型不断涌现,小型模型类别的使用量份额整体上仍在下降。这一类别的特点是高度碎片化。没有任何模型能长期占据主导地位,Meta、Google、Mistral 和 DeepSeek 等不同提供商的新模型不断进入,持续更替。例如,
Google Gemma 3.12B(于 2025 年 8 月发布)迅速获得采用,但其所处的竞争环境十分拥挤,用户不断寻找下一个更好的替代选择。 - “中型”模型市场:寻找“模型与市场的契合点”。 中型模型类别清晰地展现了一个市场从无到有的过程。这一细分市场原本微不足道,直到
Qwen2.5 Coder 32B于 2024 年 11 月发布,才真正确立了这一类别。随后,随着其他强劲竞争者的到来,这一细分市场逐渐发展为一个竞争激烈的生态系统,例如Mistral Small 3(2025 年 1 月)和GPT-OSS 20B(2025 年 8 月),它们都占据了用户心智。这一细分市场表明,用户正在寻求能力与效率之间的平衡。 - “大型”模型细分市场:多元化格局。 “向高质量模型迁移”并未带来市场集中,反而推动了多元化。大型模型类别如今拥有一系列表现出色的竞争者,从
Qwen3 235B A22B Instruct(于 2025 年 7 月发布)和Z.AI GLM 4.5 Air到OpenAI: GPT-OSS-120B(8 月 5 日):每个模型都获得了可观且持续的使用量。这种多元化表明,用户正在积极对多个开放大型模型进行基准比较,而不是集中采用某一个标准。
小型模型主导开源生态系统的时代可能已经过去。市场如今正走向两极分化,用户要么转向新一类能力强劲的中型模型,要么将工作负载整合到能力最强的单个大型模型上。
开源模型用于哪些场景?
如今,开源模型被用于极其广泛的任务,涵盖创意、技术和信息领域。虽然专有模型在结构化业务任务中仍占主导地位,但开源模型已在两个特定领域取得领先地位: 创意角色扮演 和 编程辅助。这两个类别合计占开源模型 token 使用量的大部分。

上图表明,所有 OSS 模型用量中超过一半属于 角色扮演,其次是 编程 类别。这表明,用户使用开放模型主要是为了进行创造性交互对话(例如故事创作、角色扮演和游戏场景)以及编程相关任务。角色扮演占据主导地位(占所有 OSS token 的比例维持在 50% 以上),凸显了开放模型具有优势的一种用例:它们可用于创意活动,而且通常较少受到内容过滤器的约束,因此对幻想或娱乐应用很有吸引力。角色扮演任务需要灵活的回应、上下文保持能力和细腻的情感表达,而开放模型能够有效提供这些能力,且不会受到商业安全或内容审核层的过度限制。这使它们对探索角色驱动体验、同人小说、互动游戏和模拟环境的社区尤其具有吸引力。

上图展示了仅关注中国开源模型时,各类别占比随时间的变化。这些模型已不再主要用于创意任务。角色扮演仍是最大的类别,占比约为 33%,但编程和技术如今合计占据了使用量的多数(39%)。这一转变表明, Qwen 和 DeepSeek 等模型正越来越多地用于代码生成和基础设施相关工作负载。虽然高用量的企业用户可能会影响特定细分领域,但总体趋势表明,中国开源模型正在技术和生产力领域展开直接竞争。

如果只聚焦编程类别,我们可以看到,专有模型仍然承担着整体编码辅助的大部分工作(灰色区域),这反映了 Anthropic 的 Claude 等产品的强大实力。不过,在开源部分,出现了一次显著转变:2025 年中,中国开源模型(蓝色)提供了大部分开源编码帮助(这得益于一些早期成功案例,例如 Qwen 3 Coder)。到 2025 年第四季度,Meta 的 LLaMA-2 Code 和 OpenAI 的 GPT-OSS 系列 等西方开源模型(橙色)的使用量大幅增长,但最近几周其整体份额有所下降。这种波动表明竞争十分激烈。实际启示是,开源代码助手的使用情况变化迅速,对新模型的质量高度敏感:开发者愿意采用任何当前能提供最佳编码支持的开源模型。需要注意的是,这张图没有显示绝对使用量:开源编码的整体使用量有所增长,因此蓝色区域缩小并不意味着中国开源模型流失了用户,而只是相对份额下降。

现在,如果只看角色扮演流量,就会发现全球其他地区的开源模型(橙色,最近几周占 43%)与闭源模型(灰色,最近约占 42%)提供的服务已几乎平分秋色。这与 2025 年早些时候相比发生了显著变化,当时该类别由专有模型(灰色)主导,约占 token 份额的 70%。当时(2025 年 5 月),西方开源模型仅占流量的约 22%,中国开源模型(蓝色)的份额较小,约为 8%。全年,专有模型的份额持续下滑。到 2025 年 10 月底,随着西方和中国开源模型的份额均显著增长,这一趋势进一步加速。
由此呈现的趋同表明竞争良好;用户在创意聊天和故事创作方面,既有开源产品也有专有产品可供选择。这反映出开发者认识到了角色扮演/聊天模型的需求,并为此调整了发布的模型(例如,基于对话进行微调,增加对齐以保持角色一致性)。值得注意的是,“角色扮演”涵盖一系列子类型(从日常闲聊到复杂的游戏场景)。但从宏观角度来看,开源模型在这一创意领域显然占据优势。
解读。 总体而言,整个开源生态系统的主要用例包括: 角色扮演与创意对话: 这是最大的类别,可能是因为开放模型可以不受审查限制,或更容易针对虚构角色和故事任务进行定制。 编程辅助: 这是第二大类别,而且随着开放模型的代码能力增强而不断增长。许多开发者在本地使用开源模型编程,以避免 API 费用。 翻译与多语言支持: 这是一个需求稳定的用例,尤其是在已有强大双语模型可用的情况下(中国开源模型在这方面具有优势)。 通用知识问答与教育: 使用量适中;虽然开放模型能够回答问题,但为了获得最高的事实准确性,用户可能更倾向于选择 GPT-5 等闭源模型。
值得注意的是,OSS 的使用模式(侧重角色扮演)与许多人眼中的“爱好者”或“独立开发者”的使用模式相似,在这些领域,定制化和成本效益比绝对准确性更重要。不过,界限正在变得模糊:OSS 模型在技术领域迅速进步,而专有模型也被用于创意用途。
智能体推理的崛起
上一节探讨了不断演变的模型格局(开源与闭源),在此基础上,我们现在转向 LLM 使用本身的基本 形态 。语言模型在生产环境中的使用方式正在发生根本性转变:从单轮文本补全转向多步骤、集成工具且推理密集的工作流。我们将这一转变称为 智能体推理的兴起,模型部署后不仅生成文本,还会通过规划、调用工具或在扩展上下文中交互来采取行动。本节通过五个间接指标追踪这一转变:推理模型的兴起、工具调用行为的扩展、序列长度分布的变化,以及编程用途如何推动复杂性增长。
推理模型现已占全部使用量的一半

如上图所示,路由到推理优化模型的 token 占总 token 的比例在 2025 年大幅攀升。第一季度初几乎可以忽略不计的使用量占比,如今已超过百分之五十。这一转变反映了市场供需两端的变化。在供给侧,能力更强的系统相继发布,例如 GPT-5、 Claude 4.5 和 Gemini 3 ,拓展了用户对逐步推理能力的预期。在需求侧,用户越来越倾向于选择能够管理任务状态、遵循多步骤逻辑并支持智能体式工作流的模型,而不仅仅是生成文本的模型。

上图展示了推动这一转变的主要模型。在最新数据中,xAI 的 Grok Code Fast 1 目前占推理流量的最大份额(不包括发布初期的免费访问),领先于 Google 的 Gemini 2.5 Pro 和 Gemini 2.5 Flash。这与仅几周前相比发生了显著变化,当时 Gemini 2.5 Pro 在该类别中领先,而 DeepSeek R1 和 Qwen3 也位居第一梯队。 Grok Code Fast 1 和 Grok 4 Fast 的份额迅速增长,这得益于 xAI 积极的推广策略、有竞争力的定价,以及开发者对其面向代码的变体的关注。与此同时,OpenAI 的 gpt-oss-120b 等开放模型持续占据一席之地,凸显出开发者仍会在可能的情况下选择 OSS。总体而言,这种构成凸显了推理领域的高度动态性,模型的快速更迭正在决定哪些系统主导实际工作负载。
数据指向一个明确的结论:面向推理的模型正成为实际工作负载的默认选择,而流经这些模型的 token 占比,如今已成为反映用户希望如何与 AI 系统交互的先行指标。
工具调用的采用日益普及

在上图中,我们展示了结束原因为 工具调用 的请求所产生的 token 占总 token 的比例。该指标经过归一化处理,仅涵盖实际调用了工具的交互。
这与以下信号不同: 输入工具 ,该信号记录请求期间是否向模型提供了工具(无论是否调用)。根据定义,输入工具计数高于工具调用结束原因的计数,因为提供工具的情况涵盖了成功执行的所有情况。结束原因指标衡量实际的工具使用情况,而输入工具反映的是潜在可用性,而非实际调用。由于此指标直到 2025 年 9 月才引入,我们未在本文中报告该指标。
上图中五月的明显峰值主要归因于一个大型账户,其活动短暂推高了整体用量。除这一异常情况外,工具采用率全年一直保持稳定上升趋势。

如上图所示,工具调用最初集中在少数模型上:OpenAI 的 gpt-4o-mini 和 Anthropic 的 Claude 3.5 和 3.7 系列,它们共同占据了 2025 年初大部分启用工具的 token 用量。然而,到了年中,更多模型开始支持工具提供,反映出生态系统的竞争更加激烈且更加多元化。从九月底起,较新的 Claude 4.5 Sonnet 模型迅速扩大了份额。与此同时, Grok Code Fast 和 GLM 4.5 等新加入的模型也取得了明显进展,反映出支持工具的部署正在进行更广泛的尝试并变得更加多元化。
对于运营者而言,这一趋势的含义很明确:在高价值工作流中,启用工具调用的情况日益增多。缺乏可靠工具格式的模型,可能在企业采用和编排环境中落后。
提示词与补全形态剖析



过去一年,模型工作负载的形态发生了显著变化。提示(输入)和补全(输出)的 token 数量都大幅上升,但规模和增速各不相同。每次请求的平均提示 token 数量从约 1.5K 增至超过 6K,约为原来的四倍,而补全则从约 150 个 token 增至 400 个 token,接近原来的三倍。这种增长幅度的对比凸显了工作负载正明确转向更复杂、上下文更丰富的形式。
这一模式反映了模型使用的新平衡。当今的典型请求不再侧重于开放式生成(“给我写一篇文章”),而是更多地针对用户提供的大量材料(如代码库、文档、转录文本或长对话)进行推理,并产出简洁、高价值的洞见。模型正越来越多地充当分析引擎,而非创意生成器。
类别级数据(仅自 2025 年春季起可用)提供了更细致的视角:编程工作负载是提示 token 增长的主要驱动力。涉及代码理解、调试和代码生成的请求,其输入 token 通常超过 20K,而所有其他类别的用量仍相对平稳且较低。这种不对称的贡献表明,近期提示长度的增长并非所有任务的普遍趋势,而是集中在软件开发和技术推理用例上的激增。
更长的序列,更复杂的交互


序列长度是衡量任务复杂度和交互深度的间接指标。上图显示,在过去 20 个月中,平均序列长度已增至原来的三倍以上,从 2023 年末的不足 2,000 个 token 增至 2025 年末的超过 5,400 个 token。这一增长反映了向更长的上下文窗口、更深入的任务历史和更详尽的补全内容的结构性转变。
如上一节所述,第二张图进一步说明了这一点:编程相关提示词的平均 token 长度现已达到通用提示词的 3–4 倍。这种差异表明,软件开发工作流是交互变长的主要驱动力。长序列并非仅仅源于用户的冗长表达:它们标志着嵌入式、更复杂的智能体工作流。
影响:智能体推理成为新的默认方式
这些趋势(推理占比上升、工具使用扩大、序列变长,以及编程任务的超高复杂性)共同表明,LLM 使用的重心已经转移。典型的 LLM 请求不再是一个简单的问题或孤立的指令。相反,它是结构化、类似智能体的循环的一部分,会调用外部工具、基于状态进行推理,并在更长的上下文中持续运行。
对于模型提供商而言,这提高了默认能力的门槛。延迟、工具处理、上下文支持以及对格式错误或对抗性工具链的稳健性正变得越来越关键。对于基础设施运营方而言,推理平台现在不仅必须管理无状态请求,还必须管理长时间运行的对话、执行轨迹以及涉及权限的工具集成。 即使现在尚未如此,智能体推理也很快将占据推理的大部分。
类别:人们如何使用 LLM?
了解用户使用 LLM 执行的任务分布,是评估实际需求和 模型与市场契合度的关键。如数据与方法部分所述,我们将数十亿次模型交互归入高层级的应用类别。在开源与闭源模型部分,我们聚焦开源模型,以了解社区驱动的使用情况。在这里,我们将视角扩展到 所有 OpenRouter 上的 LLM 使用情况(包括闭源和开源模型),以全面了解人们在实践中使用 LLM 的用途。
主要类别

编程已成为所有模型中持续增长最稳定的类别。2025 年,编程相关请求的占比稳步增长,与 LLM 辅助开发环境和工具集成的兴起同步。如上图所示,编程查询在 2025 年初约占 token 总量的 11%,最近几周则超过了 50%。这一趋势反映出使用方式正从探索性或对话式使用转向代码生成、调试和数据脚本编写等实际任务。随着 LLM 融入开发者工作流,其作为编程工具的角色正逐渐常态化。这一演变对模型开发产生了影响,包括更加重视以代码为中心的训练数据、提升多步骤编程任务的推理深度,以及缩短模型与集成开发环境之间的反馈循环。
对编程支持日益增长的需求正在重塑模型提供商之间的竞争格局。如下图所示,Anthropic 的 Claude 系列始终在该类别中占据主导地位,在大部分观测期内占编程相关支出的 60% 以上。尽管如此,竞争格局仍发生了显著变化。在 11 月 17 日当周,Anthropic 的份额首次跌破 60% 的门槛。自 7 月以来,OpenAI 的份额已从约 2% 扩大至最近几周的约 8%,这可能反映出其重新重视以开发者为中心的工作负载。同期,Google 的份额保持稳定,约为 15%。中游梯队也在发生变化。包括 Z.AI、Qwen 和 Mistral AI 在内的开源提供商正稳步赢得更多关注。其中,MiniMax 已成为快速崛起的新进入者,在最近几周呈现出显著增长。

总体而言, 编程已成为竞争最激烈、战略意义最重大的模型类别之一。它持续吸引着顶尖实验室的关注,即使模型质量或延迟只有小幅变化,也可能导致份额每周发生变动。对于基础设施提供商和开发者而言,这凸显了持续开展基准测试和评估的必要性,尤其是在前沿技术不断演进的情况下。
各类别内的标签构成


上图按十二个最常见的内容类别细分了 LLM 使用情况,展示了各类别内部的子主题结构。一个关键发现是,大多数类别的分布并不均匀:它们由一两种反复出现的使用模式主导,通常反映出集中的用户意图或与 LLM 优势的契合。
在用量最大的类别中, 角色扮演 以其一致性和专业性脱颖而出。近 60% 的角色扮演 token 属于 游戏/角色扮演游戏,这表明用户更倾向于将 LLM 视为结构化的角色扮演或角色引擎,而非随意聊天的机器人。 写作资源 (15.6%)和 成人 内容(15.4%)的占比进一步印证了这一点,体现出互动小说、场景生成和个人幻想的融合。与角色扮演主要是非正式对话的假设相反,数据显示这是一种定义明确且可复现的、基于类型的用例。
编程 同样呈现偏斜分布,超过三分之二的流量被标记为 编程/其他。这表明与代码相关的提示词具有广泛的通用性:用户并不局限于特定工具或语言,而是向 LLM 提出从逻辑调试到脚本编写的各类需求。尽管如此, 开发工具 (26.4%)以及脚本语言所占的小部分份额表明,专业化趋势正在出现。这种碎片化分布凸显了模型构建者围绕结构化编程工作流改进标签或训练的机会。
除了占主导地位的角色扮演和编程类别之外,其余领域构成了 LLM 使用中多样化但用量较低的长尾。尽管各自规模较小,它们仍揭示了用户在专业和新兴任务中与模型交互的重要模式。例如, 翻译、 科学以及 健康 领域的内部结构相对扁平。在翻译领域,用量几乎平均分布在 外语资源 (51.1%)和 其他之间,表明需求较为分散:多语言查询、改写、轻度语码转换,而非持续的文档级翻译。科学领域由单一标签主导,即 机器学习与 AI (80.4%),表明大多数科学查询是关于 AI 本身的问题,而非物理或生物等一般 STEM 主题。这反映出用户兴趣或模型优势偏向于自指性探究。
相比之下,健康是主要类别中最分散的类别,没有任何子标签的占比超过 25%。token 分布于医学研究、咨询服务、治疗指导和诊断查询等领域。这种多样性凸显了该领域的复杂性,也凸显了对其进行安全建模的挑战:LLM 必须覆盖差异很大的用户意图,且往往涉及敏感情境,而非明确集中于单一用例。
这些长尾类别的共同点在于其广泛性:用户向 LLM 寻求探索性、结构较松散或寻求帮助的交互,但没有编程或个人助理场景中那样明确的工作流。总体而言,这些次要类别的使用量可能并不占主导地位,但它们暗示了潜在需求。它们表明,LLM 正被用于从翻译到医疗指导再到 AI 自省等众多领域的边缘场景,而随着模型在领域稳健性和工具集成方面不断改进,我们可能会看到这些分散的意图汇聚成更明确、使用量更大的应用。
相比之下, 金融、 学术以及 法律 领域的分布要分散得多。金融领域的使用量分布于外汇、社会责任投资以及审计/会计:没有任何单一标签的占比超过 20%。法律领域呈现出类似的熵,其使用量分布于 政府/其他 (43.0%)和 法律/其他 (17.8%)。这种碎片化可能反映了这些领域的复杂性,也可能只是因为与编程和聊天等更成熟的类别相比,这些领域缺乏有针对性的 LLM 工作流。
数据表明,现实中的 LLM 使用并非普遍以探索为主:使用高度集中在一小部分可重复、高频的任务上。角色扮演、编程和个人辅助各自呈现出清晰的结构和主导标签。相比之下,科学、健康和法律领域的使用更为分散,且可能尚未得到充分优化。这些内部的分布情况可以指导模型设计、领域专用微调和应用层界面设计,尤其有助于让 LLM 更贴合用户目标。
地理分布:各地区 LLM 使用情况的差异
全球 LLM 使用情况呈现出显著的地区差异。通过分析地理分布,我们可以推断当地的使用情况和支出如何影响 LLM 使用模式。虽然以下数据反映的是 OpenRouter 的用户群体,但也提供了各地区使用情况的一个缩影。
用量的地区分布
如下图所示,支出的分布凸显了 AI 推理市场日益全球化的特征。北美洲虽然仍是最大的单一区域,但在大部分观测期内,其支出占总支出的比例已不足一半。欧洲的贡献则稳定而持久。其每周支出的相对份额在整个时间段内保持稳定,通常处于百分之十五左右至百分之二十出头的区间。一个值得注意的发展趋势是,亚洲不仅正在崛起为前沿模型的生产者,也正在成为快速扩张的消费市场。在数据集最初的几周中,亚洲约占全球支出的百分之十三。随着时间推移,这一份额增长至原来的两倍以上,在最近一期达到约 31%。

| 洲 | 占比(%) |
|---|---|
| 北美洲 | 47.22 |
| 亚洲 | 28.61 |
| 欧洲 | 21.32 |
| 大洋洲 | 1.18 |
| 南美洲 | 1.21 |
| 非洲 | 0.46 |
| 国家 | 占比(%) |
|---|---|
| 美国 | 47.17 |
| 新加坡 | 9.21 |
| 德国 | 7.51 |
| 中国 | 6.01 |
| 韩国 | 2.88 |
| 荷兰 | 2.65 |
| 英国 | 2.52 |
| 加拿大 | 1.90 |
| 日本 | 1.77 |
| 印度 | 1.62 |
| 其他(60+ 个国家) | 16.76 |
语言分布
| 语言 | token 占比(%) |
|---|---|
| 英语 | 82.87 |
| 中文(简体) | 4.95 |
| 俄语 | 2.47 |
| 西班牙语 | 1.43 |
| 泰语 | 1.03 |
| 其他(合计) | 7.25 |
如上表所示,英语在使用量中占据主导地位,占所有 token 的 80% 以上。这既反映了英语模型的普及程度,也反映了 OpenRouter 用户群体以开发者为主的倾向。然而,其他语言,尤其是中文、俄语和西班牙语,也构成了不可忽视的长尾。仅简体中文就占全球 token 的近 5%,这表明双语或中文优先环境中的用户持续活跃,尤其是考虑到 DeepSeek 和 Qwen 等中国开源模型的增长。
对于模型构建者和基础设施运营者而言,在 LLM 的采用既全球化又因地制宜的世界中,跨越语言、合规体系和部署环境的跨区域可用性正成为基本要求。
LLM 用户留存分析
灰姑娘的“玻璃鞋”现象








同期群留存率。留存率以 活动留存率衡量,即用户在后续月份回访便计入留存,即使期间曾不活跃;因此,曲线可能出现小幅非单调波动。
这组留存图表呈现了各主流模型的 LLM 用户市场动态。乍看之下,数据以高流失率和用户群快速衰减为主要特征。然而,在这种波动之下,隐藏着一个更微妙且更具影响力的信号:少数早期用户群随着时间推移表现出持久的留存。我们将其称为 基础用户群。
这些用户群体不仅仅是早期采用者;他们代表了工作负载已实现深入且持久的 工作负载与模型契合的用户。这种契合一旦建立,就会形成经济和认知上的惯性,即使有更新的模型出现,也难以被替代。
我们引入灰姑娘的 玻璃鞋效应 作为描述这一现象的框架。该假说认为,在快速演进的 AI 生态系统中,高价值工作负载存在一种潜在分布,这些工作负载历经多代模型仍未得到解决。每个新的前沿模型实际上都会被用于“试穿”这些尚未解决的问题。当新发布的模型恰好满足此前未能满足的技术和经济约束时,它便实现了精准契合——也就是比喻中的“玻璃鞋”。
对于工作负载终于找到“契合”模型的开发者或组织而言,这种匹配会产生强烈的锁定效应。他们的系统、数据管道和用户体验会与最先解决其问题的模型紧密绑定。随着成本下降、可靠性提高,迁移到其他平台的动力会急剧减弱。相反,尚未找到这种契合的工作负载仍处于探索阶段,在不同模型之间迁移,寻找适合自己的解决方案。
从实证来看,这一模式可在 2025 年 6 月的 Gemini 2.5 Pro 用户组和 2025 年 5 月的 Claude 4 Sonnet 用户组中观察到,这两个用户组在第 5 个月仍保留约 40% 的用户,显著高于后续用户组。这些用户组似乎对应着特定的技术突破(例如推理保真度或工具使用稳定性),这些突破最终使此前无法实现的工作负载成为可能。
- 率先解决问题构成持久优势。 当模型率先 解决 关键工作负载时,经典的先发优势就具有了重要意义。早期采用者将模型嵌入各类流水线、基础设施和用户行为中,从而产生较高的切换阻力。这形成了一种稳定的均衡,即使出现更新的替代方案,模型仍能保留其基础用户群。
- 留存率作为能力拐点的指标。 用户群层面的留存模式是模型差异化的实证信号。一个或多个早期用户群的持续留存表明存在显著的能力拐点——某类工作负载从不可行变为可行。缺乏此类模式则表明模型能力相当,差异化深度有限。
- 前沿窗口期的时间约束。 竞争格局使模型只能在狭窄的时间窗口内获取基础用户。随着后续模型缩小能力差距,形成新基础用户群的概率会急剧下降。因此,模型与工作负载精准契合的“灰姑娘”时刻虽然短暂,却对长期采用动态具有决定性意义。
总的来说,基础模型能力的快速变化要求重新定义用户留存。每一代新模型都会带来短暂的机会,以解决此前未能满足的工作负载需求。当模型能力与需求契合时,相关用户便形成 基础用户群:这些用户群的留存轨迹在后续模型推出后仍保持稳定。
发布之初占据主导地位的异常现象。 该 OpenAI GPT-4o Mini 图表展示了这一现象的极端情况。单个基础群组(2024 年 7 月,橙色曲线)在发布时就建立了占据主导地位且持久的工作负载与模型契合关系。所有后续群组的到来时间都 晚于 这一契合确立且市场已转向之时,其表现完全一致:用户流失,留存率聚集在底部。这表明,建立这种基础契合关系的窗口只有一次,而且仅在模型被视为“前沿”的那一刻出现。
未能契合需求的后果。 以下模型: Gemini 2.0 Flash 和 Llama 4 Maverick 的图表展示了始终未能建立这种初始契合时的警示性案例。与其他模型不同,它们没有表现优异的基础用户群。每个用户群的表现都同样糟糕。这表明,这些模型从未被视为适合高价值、高黏性工作负载的“前沿”模型。它直接进入了 足够好 的市场,因此未能锁定任何用户群。同样,以下模型的图表也很混乱: DeepSeek,尽管整体上取得了巨大成功,却难以建立稳定的基础用户群。
回旋镖效应。 DeepSeek 模型呈现出更复杂的模式。它们的留存曲线显示出一种极不寻常的异常现象: 回流跃升。与通常单调递减的留存率不同,DeepSeek 的多个用户群组在经历初期流失后,留存率出现明显回升(例如, DeepSeek R1 的 2025 年 4 月用户群组在第 3 个月左右,以及 DeepSeek Chat V3-0324 的 2025 年 7 月用户群组在第 2 个月左右)。这表明部分已流失用户正在重新使用该模型。这种“回旋镖效应”表明,这些用户在尝试替代方案,并通过对比测试确认 DeepSeek 凭借专业技术性能、成本效益或其他独特功能的优越组合,能够为其特定工作负载提供最优且往往更合适的选择后,重新选择了 DeepSeek。
启示。 这一 玻璃鞋 现象将留存重新定义为理解能力突破的视角,而非一种结果。基础用户群体是真正技术进步的指纹:它们标志着 AI 模型从新奇事物转变为必需品的节点。对于构建者和投资者而言,及早识别这些群体,可能是预测持久的模型与市场匹配优势的最有效单一信号。
成本与使用量动态
使用模型的成本是影响用户行为的关键因素。本节重点关注不同 AI 工作负载类别在成本与用量分布中的位置。通过考察各类别在成本与用量双对数图上的聚集位置,我们识别出工作负载集中于低成本、高用量区域与高成本、专业化细分领域的模式。我们还提及与杰文斯悖论效应的相似之处,即成本较低的类别往往对应更高的总用量,但我们并不尝试对该悖论或因果关系进行正式分析。
按类别分析 AI 工作负载细分

上方散点图根据总用量(token 总数)与单位成本(每 1M token 的成本)之间的关系,清晰展示了 AI 使用场景的分布差异。首先需要注意的一个关键点是,两个坐标轴均采用对数刻度。这种对数刻度意味着,图表上看似很小的距离,对应的实际用量和成本却存在显著的倍数差异。
图表由一条位于成本中位数处的垂直线一分为二,该中位数为 每 1M token $0.73,由此形成四象限框架,简化对各类别 AI 市场的理解。
请注意,这些最终成本与公开标价不同。高频工作负载受益于缓存,从而降低实际支出,使有效价格显著低于公开标价。所展示的成本指标反映了提示和补全 token 的混合费率,更准确地呈现用户实际支付的总体费用。该数据集还排除了 BYOK 活动,以单独分析通过平台进行的标准化使用情况,避免自定义基础设施配置造成的数据失真。
高端工作负载(右上方): 此象限包含高成本、高使用量的应用,现在包括 technology 和 science,它们恰好位于交点处。这些代表了价值高且使用频繁的专业工作负载,用户愿意为其性能或专门能力支付溢价。 Technology 是一个显著的异常值,其成本远高于任何其他类别。这表明, technology 作为一种用例(可能与复杂的系统设计或架构有关),可能需要强大得多且昂贵得多的模型来进行推理,但它仍保持着较高的使用量,说明其不可或缺。
大众市场流量驱动因素(左上): 此象限的特点是使用量高,成本低于或等于平均水平。该区域主要由两大用例主导: roleplay、 programming 以及 science。
Programming作为“杀手级专业应用”类别脱颖而出,使用量最高,同时成本中位数也经过了高度优化。Roleplay的使用量极大,几乎可比肩programming。这是一个引人注目的发现:一款面向消费者的角色扮演应用,其互动量竟与顶级专业应用相当。
这两个类别的庞大规模证实,专业生产力和对话娱乐都是 AI 的主要大规模驱动力。如前所述,正是这一象限对成本的敏感性,让开源模型获得了显著优势。
专业专家(右下方): 此象限包含低用量、高成本的应用,包括 finance、 academia、 health 和 marketing。这些都是高风险的小众专业领域。总体用量较低是合理的,因为人们就“健康”或“金融”咨询 AI 的频率可能远低于“编程”。用户愿意为这些任务支付高额溢价,可能是因为这些任务对准确性、可靠性和领域专业知识的要求极高。
小众实用工具(左下象限): 该象限包含低成本、低用量的任务,包括 translation、 legal和 trivia。这些是注重功能、经过成本优化的实用工具。 Translation 在这一组中用量最高,而 trivia 用量最低。它们的低成本和相对较低的用量表明,这些任务可能已得到高度优化、已被“解决”或已商品化,能够以低廉的价格获得足够好用的替代方案。
如前所述,此图中最显著的异常值是 technology。它的每 token 成本远高于其他类别,同时仍保持较高的使用量。这强烈表明,存在一个愿意为高价值、复杂答案(例如系统架构、高级技术问题求解)支付高价的细分市场。一个关键问题是,这种高价究竟源于较高的用户价值(“需求侧”机会),还是较高的服务成本(“供给侧”挑战),因为这些查询可能需要最强大的前沿模型。在 technology 领域,可把握的“机会”是服务这一高价值市场。能够服务这一细分市场的提供商,或许可以借助高度优化的专用模型,赢得利润率更高的市场。
AI 模型的实际成本与使用量对比

上图展示了模型使用量与每 1M token 成本的关系(双对数坐标),表明两者总体相关性较弱。为便于查看,横轴标出了名义值。趋势线几乎水平,表明需求的价格弹性相对较低;价格下降 10% 仅对应约 0.5–0.7% 的使用量增长。然而,图中数据点的分散程度很高,反映出明显的市场分层。图中呈现出两种不同的格局:OpenAI 和 Anthropic 的专有模型位于高成本、高使用量区域,而 DeepSeek、Mistral 和 Qwen 等开放模型则位于低成本、高用量区域。这一模式支持一条简单的经验法则: 闭源模型承接高价值任务,而开源模型承接量大、价值较低的任务。 较弱的价格弹性表明,即使成本差异巨大,也无法完全转移需求;专有模型提供商在关键任务应用中仍保有定价权,而开放生态系统则吸纳了成本敏感用户的使用量。

| 细分领域 | 模型 | 每 1M 价格 | 用量(对数) | 要点 |
|---|---|---|---|---|
| 高效巨头 | google/gemini-2.0-flash | $0.147 | 6.68 | 低价和强大的分发能力使其成为大规模使用的默认主力模型 |
| 高效巨头 | deepseek/deepseek-v3-0324 | $0.394 | 6.55 | 以低廉成本提供有竞争力的质量,推动大规模采用 |
| 高端领跑者 | anthropic/claude-3.7-sonnet | $1.963 | 6.87 | 尽管价格高昂,使用量仍然很高,表明用户更看重质量和可靠性 |
| 高端领跑者 | anthropic/claude-sonnet-4 | $1.937 | 6.84 | 对于值得信赖的前沿模型,企业工作负载似乎对价格不敏感 |
| 长尾 | qwen/qwen-2-7b-instruct | $0.052 | 2.91 | 定价极低但覆盖有限,可能是因为模型与市场的契合度较低 |
| 长尾 | ibm/granite-4.0-micro | $0.036 | 2.95 | 价格低廉但受众小众,主要用于有限场景 |
| 高端专用模型 | openai/gpt-4 | $34.068 | 3.53 | 成本高、使用量中等,仅用于要求最严苛的任务 |
| 高端专用模型 | openai/gpt-5-pro | $34.965 | 3.42 | 超高端模型,专注于高风险工作负载。由于近期才发布,仍处于采用初期。 |
上图与前图类似,但展示的是模型开发者,可归纳出四种用量与成本类型。 高端领军模型,例如 Anthropic 的 Claude 3.7 Sonnet 和 Claude Sonnet 4,每 1M token 的成本约为 $2,却仍有很高的用量,表明用户愿意为大规模应用中的卓越推理能力和可靠性付费。 高效巨头,例如 Google 的 Gemini 2.0 Flash 和 DeepSeek V3 0324,兼具强劲性能和每 1M token 低于 $0.40 的价格,用量也达到类似水平,因此成为高用量或长上下文工作负载颇具吸引力的默认选择。 长尾 模型,包括 Qwen 2 7B Instruct 和 IBM Granite 4.0 Micro,每 1M token 的价格仅为几美分,但总用量约为 10^2.9,反映出性能较弱、曝光有限或集成较少带来的制约。最后, 高端专用模型,例如 OpenAI 的 GPT-4 和 GPT-5 Pro,处于高成本、低用量象限:每 1M token 约 $35,用量接近 10^3.4,仅少量用于小众且高风险的工作负载,在这些场景中,输出质量远比边际 token 成本重要。
总体而言,散点图表明,LLM 市场中的定价能力并不均衡。虽然价格较低的模型可以通过效率和集成推动规模增长,但在高风险场景中,高端产品仍有强劲需求。这种市场分化表明,市场尚未同质化,而无论是延迟、上下文长度还是输出质量方面的差异化,仍然是战略优势的来源。
这些观察结果表明:
- 从宏观层面看, 需求缺乏弹性,但这掩盖了不同的微观行为。执行关键业务任务的企业愿意支付高价(因此这些模型的使用量很高)。另一方面,业余爱好者和开发流水线对成本非常敏感,纷纷转向更便宜的模型(使高效模型获得大量使用)。
- 有一些证据表明存在 杰文斯悖论:让某些模型变得非常便宜(且快速),会促使人们将其用于更多任务,最终消耗更多 token 总量。我们在高效巨头模型组中看到了这一点:随着每个 token 的成本下降,这些模型被广泛集成,总消耗量飙升(人们使用更长的上下文、进行更多轮迭代等)。
- 质量和能力往往比成本更重要: 昂贵模型(Claude、GPT-4)的大量使用表明,如果模型明显更好或具有信任优势,用户就愿意承担更高的成本。这些模型通常被集成到工作流中,其成本相对于产出价值微不足道(例如,能为开发者节省一小时的代码,其价值远超几美元的 API 调用费用)。
- 反过来,仅仅便宜还不够,模型还必须 具有差异化且能力足够强。许多定价接近零的开放模型仍面临困境,因为它们只是勉强够用,却未找到 工作负载与模型的契合点 或者不够可靠,因此开发者不愿将其深度集成。
从运营者的角度来看,可以看到几种战略模式。Google 等提供商大力推行分层产品(最典型的是 Gemini Flash 和 Pro),明确在速度、成本和能力之间进行权衡。这种分层支持按价格敏感度和任务关键程度细分市场:轻量任务被路由到更便宜、更快的模型;高端模型则服务于复杂或可容忍延迟的工作负载。针对使用场景和可靠性进行优化,往往与“降价”同样有效。相比更便宜但表现不可预测的模型,速度更快、专为特定用途打造的模型可能更受青睐,尤其是在生产环境中。这使关注点从每 token 成本转向每次成功产出的成本。 相对平缓的需求弹性表明,LLM 尚未成为同质化商品——许多用户愿意为质量、能力或稳定性支付溢价。 差异化仍然具有价值,尤其是在任务结果比节省少量 token 费用更重要时。
讨论
这项实证研究以数据驱动的视角审视了 LLM 的实际使用情况,重点揭示了几个主题,为有关 AI 部署的传统看法增添了更细致的理解:
1. 多模型生态系统。 我们的分析表明,没有单一模型主导所有使用场景。相反,我们观察到一个丰富的 多模型生态系统 ,其中闭源模型和开放模型都占据了显著份额。例如,尽管 OpenAI 和 Anthropic 的模型在许多编程和知识任务中领先,但 DeepSeek 和 Qwen 等开源模型合计处理了总 token 量的很大一部分(有时超过 30%)。这表明,未来的 LLM 使用很可能不局限于特定模型,并呈现异构化。对于开发者而言,这意味着保持灵活性、集成多个模型并为每项任务选择最合适的模型,而不是将一切押注于某个模型的绝对优势。对于模型提供商而言,这凸显了竞争可能来自意想不到的地方(例如,除非您持续改进并实现差异化,否则社区模型可能会蚕食您的部分市场)。
2. 生产力之外的多样化用途。 一个令人意外的发现是,大量使用集中在 角色扮演和娱乐用途。开源模型超过一半的使用量用于角色扮演和故事创作。即使在专有平台上,在专业用途增长之前,早期 ChatGPT 使用中也有相当一部分属于休闲和创作用途。这与大语言模型主要用于编写代码、邮件或摘要的假设相悖。实际上,许多用户使用这些模型是为了获得陪伴或进行探索。这具有重要意义。它凸显了面向消费者的应用的一大机遇:融合叙事设计、情感互动与交互性。它揭示了个性化的新领域——智能体可以演化出个性、记住偏好,或维持长时间的互动。它还重新定义了模型评估指标:成功可能较少取决于事实准确性,而更多取决于一致性、连贯性以及维持引人入胜的对话的能力。最后,它为人工智能与娱乐 IP 的跨界融合开辟了道路,在互动叙事、游戏和创作者驱动的虚拟角色方面蕴藏潜力。
3. 智能体与人类:智能体推理的崛起。 LLM 的使用正从单轮交互转向 智能体推理,在这一模式下,模型跨多个步骤进行规划、推理和执行。它们不再只是生成一次性回复,而是协调工具调用、访问外部数据,并以迭代方式改进输出以实现目标。早期证据表明,多步骤查询和链式工具使用正在增加,我们将其作为智能体使用情况的代理指标。随着这一范式的扩展,评估将从语言质量转向任务完成情况和效率。下一个竞争前沿是模型能多有效地 进行持续推理,这一转变最终可能重新定义大规模智能体推理在实践中的含义。
4. 地域展望。 LLM 的使用正日益趋向 全球化和去中心化,在北美洲以外地区快速增长。亚洲在 token 总需求中的占比已从约 13% 上升至 31%,反映出企业采用和创新的增强。与此同时, 中国已崛起为一股重要力量,不仅体现在国内消费上,也体现在推出具有全球竞争力的模型上。更宏观的启示是: LLM 必须在全球范围内具备实用性 并在不同语言、语境和市场中表现良好。下一阶段的竞争将取决于文化适应性和多语言能力,而不仅仅是模型规模。
5. 成本与用量的动态关系。 LLM 市场似乎尚未呈现大宗商品市场的特征:仅凭价格难以解释用量。用户会在成本与推理质量、可靠性及能力广度之间寻求平衡。闭源模型继续承接高价值、与收入相关的工作负载,而开源模型则主导低成本和高用量任务。这形成了一种动态均衡——其特征与其说是稳定,不如说是持续来自下方的压力。开源模型不断推动 有效前沿向外扩展,尤其是在推理和编程领域(例如 Kimi K2 Thinking),快速迭代和开源创新正在缩小性能差距。开源模型的每次改进都在压缩专有系统的定价权,迫使它们通过更出色的集成、一致性和企业支持来证明其溢价的合理性。由此产生的竞争变化迅速、并不对称且持续演变。随着时间推移,质量趋同加速, 价格弹性很可能增大,使曾经差异化的市场变得更具流动性。
6. 留存与灰姑娘玻璃鞋现象。 随着基础模型以跳跃式而非渐进式的方式发展,留存已成为衡量防御能力的真正标准。每次突破都会带来一个转瞬即逝的发布窗口,让模型能够完美“契合”某项高价值工作负载(即灰姑娘玻璃鞋时刻),而用户一旦找到这种契合,就会留下来。在这一范式下,产品与市场的契合等同于工作负载与模型的契合:率先解决真实痛点,会促使用户围绕该能力建立工作流和习惯,从而推动深入且高黏性的采用。此后,无论在技术层面还是行为层面,切换的成本都会变得高昂。对于构建者和投资者而言,值得关注的信号不是增长,而是留存曲线,即那些历经模型更新仍然留存的核心用户群体的形成。在变化日益迅速的市场中,尽早抓住这些尚未满足的重要需求,决定了谁能在下一次能力跃升后持续立足。
总体而言,LLM 正在成为跨领域类推理任务的重要计算基础,涵盖从编程到创意写作的各种任务。随着模型不断进步、部署范围不断扩大,准确洞察真实世界的使用动态对于做出明智决策至关重要。人们使用 LLM 的方式并不总是符合预期,而且在不同国家、不同州和不同用例之间存在显著差异。通过大规模观察使用情况,我们可以基于现实理解 LLM 的影响,确保后续发展,无论是技术改进、产品功能还是法规,都与实际使用模式和需求相符。我们希望这项工作能为更多实证研究奠定基础,并鼓励 AI 社区在构建下一代前沿模型的过程中,持续衡量真实世界的使用情况并从中学习。
局限性
本研究反映了在单一平台 OpenRouter 上、有限时间窗口内观察到的模式,仅呈现了更广泛生态系统的局部情况。某些维度,例如企业使用情况、本地托管部署或封闭的内部系统,不在我们的数据范围内。此外,我们的多项数据分析依赖于 代理指标:例如,通过多步骤调用或工具调用识别智能体推理,或根据账单数据而非经过验证的位置数据推断用户所在地区。因此,这些结果应被解读为具有指示性的行为模式,而非对底层现象的确切测量。
结论
本研究以实证视角展现了大语言模型如何逐渐融入全球计算基础设施。它们如今已成为工作流、应用程序和智能体系统不可或缺的组成部分,正在改变信息的生成、传递和消费方式。
过去一年推动了该领域对 推理 的认知发生质变。 o1 级模型的出现使长时间思考和工具使用成为常态,推动评估从单次作答基准测试转向基于过程的指标、延迟与成本之间的权衡,以及编排下的任务成功率。推理已成为衡量模型能否有效规划和验证以交付更可靠结果的标准。
数据显示,LLM 生态系统在结构上具有多元性。没有任何单一模型或提供商占据主导地位;相反,用户会根据具体情境,沿能力、延迟、价格和信任等多个维度选择系统。这种异质性并非短暂阶段,而是市场的根本属性。它促进了快速迭代,并减少了对任何单一模型或技术栈的系统性依赖。
推理本身也在变化。多步骤和工具联动交互的兴起标志着从静态补全向动态编排的转变。用户正在将模型、API 和工具串联起来以完成复合目标,从而催生了可称为 智能体推理的方式。我们有很多理由相信,智能体推理即使尚未超越人类推理,也终将超越。
从地理分布来看,格局正变得更加分散。亚洲的使用量份额持续扩大,尤其是中国已成为模型开发者和出口方,Moonshot AI、DeepSeek 和 Qwen 等参与者的崛起便体现了这一点。非西方开放权重模型的成功表明,LLM 是真正的全球性计算资源。
事实上, o1 并未终结竞争。事实远非如此。它拓展了设计空间。该领域正从押注单体模型转向系统思维,从依赖直觉转向监测手段,从关注排行榜上的差距转向基于实证的使用情况分析。如果说过去一年证明了智能体推理在大规模场景下的可行性,那么接下来一年将聚焦卓越运营:衡量实际任务完成情况,降低分布偏移下的方差,并使模型行为契合生产级规模工作负载的实际需求。
参考资料
- R. Appel、J. Zhao、C. Noll、O. K. Cheche 和 W. E. Brown Jr. Anthropic 经济指数报告:不同地区与企业的 AI 采用不均衡。 arXiv 预印本 arXiv:2511.15080,2025。URL https://arxiv.org/abs/2511.15080。
- A. Chatterji、T. Cunningham、D. J. Deming、Z. Hitzig、C. Ong、C. Y. Shan 和 K. Wadman。人们如何使用 ChatGPT。 NBER 工作论文 34255,2025。网址 https://cdn.openai.com/pdf/a253471f-8260-40c6-a2cc-aa93fe9f142e/economic-research-chatgpt-usage-paper.pdf。
- W. Zhao、X. Ren、J. Hessel、C. Cardie、Y. Choi 和 Y. Deng。WildChat:真实场景中的 1M 条 ChatGPT 交互日志。 arXiv 预印本 arXiv:2405.01470,2024。URL https://arxiv.org/abs/2405.01470。
- OpenAI。OpenAI o1 系统卡。 arXiv 预印本 arXiv:2412.16720,2024。URL https://arxiv.org/abs/2412.16720。
- W. L. Chiang、L. Zheng、Y. Sheng、A. N. Angelopoulos、T. Li、D. Li、H. Zhang、B. Zhu、M. Jordan、J. Gonzalez 和 I. Stoica。Chatbot Arena:基于人类偏好评估大语言模型的开放平台。 arXiv 预印本 arXiv:2403.04132,2024。网址 https://arxiv.org/abs/2403.04132。
- J. Wei、X. Wang、D. Schuurmans、M. Bosma、E. H. Chi、F. Xia、Q. Le 和 D. Zhou。思维链提示激发大型语言模型的推理能力。 神经信息处理系统进展,35:24824–24837,2022。网址 https://proceedings.neurips.cc/paper_files/paper/2022/hash/9d5609613524ecf4f15af0f7b31abca4-Abstract-Conference.html。
- S. Yao、J. Zhao、D. Yu、N. Du、I. Shafran、K. Narasimhan 和 Y. Cao。ReAct:在语言模型中协同推理与行动。 国际学习表征会议(ICLR),2023。URL https://arxiv.org/abs/2210.03629。
- A. Grattafiori、A. Dubey、A. Jauhri、A. Pandey、A. Kadian、A. Al-Dahle、A. Letman、A. Mathur、A. Schelten、A. Yang、A. Fan 等。Llama 3 模型群。 arXiv 预印本 arXiv:2407.21783,2024。网址 https://arxiv.org/abs/2407.21783。
- DeepSeek-AI、A. Liu、B. Feng、B. Xue、B. Wang、B. Wu、C. Lu、C. Zhao、C. Deng、C. Zhang 等。DeepSeek-V3 技术报告。 arXiv 预印本 arXiv:2412.19437,2024。网址 https://arxiv.org/abs/2412.19437。
贡献
OpenRouter 团队开发的基础平台、基础设施、数据集和技术愿景使本项工作得以实现。特别是 Alex Atallah、Chris Clark 和 Louis Vichy 提供的工程基础和架构方向,使本研究中的探索得以开展。Justin Summerville 在实现、测试和实验改进方面提供了基础性支持。其他贡献包括 Natwar Maheshwari 提供的发布支持以及 Julian Thayn 提供的设计修改。
Malika Aubakirova(a16z)担任主要作者,负责实验设计、实施、数据分析及论文的全部撰写工作。Anjney Midha 提供了战略指导,并确立了总体框架与方向。
Abhi Desai 在 a16z 实习期间为早期探索性实验和系统搭建提供了支持。Rajko Radovanovic 和 Tyler Burkett 提供了有针对性的技术见解和实际帮助,强化了这项工作的若干关键组成部分。
所有贡献者均参与了讨论、提供了反馈,并审阅了最终稿。
附录
类别子构成详情
下图详细展示了角色扮演、编程和技术这三大领域的内部子标签结构。每个领域都呈现出不同的内部模式,揭示了用户在这些类别中如何与大语言模型互动。



三个领域(角色扮演、技术、编程)都呈现出各自独特的内部模式,反映了用户在每个主要领域的不同子类别中如何使用 LLM。





