计算机行业专题研究报告：ChatGPT 训练及多场景推理成本测算

敬请参阅最后一页特别声明 1 行业观点  2023 年 3 月 1 日，OpenAI 宣布开发者可通过 API 将 ChatGPT 和 Wisper 模型集成到他们的应用程序和产品中。本次 ChatGPT API 接入的模型名为 GPT-3.5-turbo，只需 0.2 美分/千 Tokens。本文尝试测算训练和不同推理场景之下的实际成本；未来随着模型压缩的持续发展，推理成本可能进一步降低，也有望大幅推动生成式模型在各个场景的大规模商用。我们的成本估算思路是：计算 AI 模型在进行训练与推理时所需的浮点运算次数，与 AI 算力集群的平均算力 (以每秒浮点运算次数计) 做比，以此估算 AI 模型的训练成本与推理成本。  在通用大模型训练方面，经测算，使用云计算时 ChatGPT 的训练成本约为 170 万美元，若自建 AI 算力中心进行模型训练，训练成本有望降至约 51 万美元；在大模型推理方面，使用云计算时的 ChatGPT 每处理 1,000Tokens信息需花费约 0.177 美分，自建 AI 算力中心有望将成本降至 0.053 美分。  不同应用场景中 AI 模型面临的任务复杂度有所不同，我们考虑模型缓存命中率、计算集群闲置率、模型压缩等因素，综合估算各典型场景下模型的推理成本：1）搜索引擎场景中，以新版 Bing 为例，完成一次搜索的成本约为 1.73 美分；2）办公软件融合 ChatGPT 后可支持文字生成、文字修改等功能，完成一次用户需求的成本约为1.70 美分；3）AI 客服作为对话场景应用，有望率先实现 B 端落地。经测算，AI 客服场景解决一次用户需求的成本约为 0.08 美分。  未来随着模型压缩技术的持续发展，推理成本可能进一步降低，也有望大幅推动生成式模型在各个场景的大规模商用。 投资逻辑  我们认为有海外场景的公司有可能率先与 GPT-3.5-turbo 进行对接，建议关注福昕软件、万兴科技等海外营收占比较高的应用公司。 风险提示 海外基础软硬件使用受限；应用落地不及预期；行业竞争加剧风险 行业专题研究报告 敬请参阅最后一页特别声明 2 内容目录 1. AI 模型训练成本估算 ......................................................................... 3 2. 通用 AI 模型推理成本估算 ..................................................................... 4 3. 多应用场景下 ChatGPT 推理成本估算 .......................................................... 4 3.1 搜索引擎场景 .....................................................................................................................................5 3.2 办公软件场景 ......................................................................................................................................6 3.3 AI 客服场景 .........................................................................................................................................6 4. 投资建议.................................................................................... 7 5. 风险提示.................................................................................... 7 图表目录 图表 1： AI 模型训练成本估算..................................................................... 3 图表 2： AI 模型训练所需浮点运算次数计算与模型参数规模正相关..................................... 3 图表 3： 前沿 AI 模型的有效算力比率 .............................................................. 3 图表 4： 考虑有效算力比率后的训练所需浮点运算次数计算 ........................................... 4 图表 5： AI 模型推理成本估算..................................................................... 4 图表 6： AI 模型推理所需浮点运算次数计算......................................................... 4 图表 7： 具体应用场景中 AI 模型完成一次任务所需成本 .............................................. 4 图表 8： 新版 Bing 搜索引擎的运作方式 ............................................................ 5 图表 9： Bing 搜索引擎场景任务的所需 Tokens...................................................... 5 图表 10： 办公软件场景任务的所需 Tokens ......................................................... 6 图表 11： AI 客服场景任务的所需 Tokens ........................................................... 6 行业专题研究报告 敬请参阅最后一页特别声明 3 2023 年 3 月 1 日，OpenAI 宣布开发者可通过 API 将 ChatGPT 和 Wisper 模型集成到他们的应用程序和产品中。本次 ChatGPT API 接入的模型名为 GPT-3.5-turbo，是许多非聊天用例的最佳模型，且只需 0.2 美分/千 Tokens。本文尝试测算训练和不同推理场景之下的实际成本；未来随着模型压缩的持续发展，推理成本可能进一步降低，也有望大幅推动生成式模型在各个场景的大规模商