大模型词元服务性能监测报告（2026年）

I大模型词元服务性能监测报告（2026 年）中国信息通信研究院人工智能研究所人工智能大模型及软硬件评测工业和信息化部重点实验室中国人工智能产业发展联盟2026年10月版权声明本报告版权属于中国信息通信研究院、人工智能大模型及软硬件评测工业和信息化部重点实验室和中国人工智能产业发展联盟，并受法律保护。转载、摘编或利用其他方式使用本报告文字或者观点的，应注明“来源：中国信息通信研究院、人工智能大模型及软硬件评测工业和信息化部重点实验室和中国人工智能产业发展联盟”。违反上述声明者，将追究其相关法律责任。前言随着大模型技术的迅速迭代，词元（Token）服务成为从技术走向应用的关键点，我国日均 Token 调用量持续攀升，2026 年 6 月，国内词元日均消耗量约 500 万亿，是 2025 年 12 月的近 4 倍。产业中越来越多的 MaaS（Model as a Service，模型即服务）平台厂商通过公有云 API 方式供给大模型 Token 服务。然而用户对 Token 服务性能缺乏直观的判断依据，且面临选型困难等各类问题。为有效衡量服务性能，中国信息通信研究院（以下简称“中国信通院”）人工智能研究所依托人工智能大模型及软硬件评测工业和信息化部重点实验室（以下简称“实验室”），联合中国人工智能产业发展联盟（AIIA）模型服务（MaaS）工作组和高质量词元服务工作组，自 2025 年以来持续开展公有云大模型 Token 服务性能监测工作。监测显示，大模型 Token 服务性能整体呈现提升态势，头部平台在每秒 Token 吞吐量等关键指标上持续优化，满足多数通用场景要求。本报告基于 2026 年 1 月-8 月的监测数据，围绕各平台 Token服务调用成功率、吞吐速度、首词时延、稳定性、价格、上下文窗口等维度，月均 TPS 相较 2025 年实现翻倍，原厂大模型整体时延有所增长，但开源模型在第三方平台上时延持续优化。对比原厂大模型在其官方平台，以及 DeepSeek、Qwen、GLM、Kimi 四款开源模型在第三方平台性能表现上的差异，并进一步分析影响 Token 服务性能的关键因素，旨在为用户选型提供参考，并为产业界优化服务能力提供方向指引。本报告中涉及的性能数据基于公开接口实测所得，受测试时间、网络环境、并发策略等因素影响，结果仅供技术参考，不构成对任何产品或服务的推荐、背书或商业评价。由于数据较多，报告整理可能存在疏漏之处，如有任何问题欢迎与我们沟通交流，后续将结合最新数据持续更新完善。目录一、 核心观察..............................................................................................................1（一）大模型 Token 服务吞吐与时延同步增加................................................1（二）大模型价格回升明显，向“能力跃迁”发展演进................................2（三）开源模型 Token 服务性能提升显著........................................................2二、 监测方法..............................................................................................................3（一）监测对象....................................................................................................3（二）监测指标....................................................................................................4（三）监测参数设置............................................................................................4三、 原厂大模型监测结果..........................................................................................5（一）调用成功率................................................................................................5（二）每秒输出词元数（TPS）.........................................................................8（三）首词时延（TTFT）................................................................................10（四）服务稳定指数..........................................................................................12（五）服务价格与费用......................................................................................15（六）模型上下文..............................................................................................17四、 开源大模型监测结果........................................................................................18（一）开源模型上线率......................................................................................18（二）DeepSeek 监测结果................................................................................ 20（三）Qwen 监测结果.......................................................................................22（四）GLM 监测结果...................................................................